Obligación de principio precautorio para grandes modelos de lenguaje

Riesgo de daño catastrófico, reconocibilidad institucional y régimen jurídico aplicable

Resumen

El desarrollo de grandes modelos de lenguaje configura, bajo el derecho positivo vigente correctamente interpretado, una actividad sometida al régimen jurídico de las actividades ultrarriesgosas, con activación plena del principio precautorio. El argumento central es estructural: el principio precautorio se activa sobre la modalidad reconocible de la posibilidad de daño grave o irreversible, no sobre su cuantificación probabilística. El riesgo de daño catastrófico por desalineación de sistemas de IA avanzada ha cruzado, en los últimos años, el umbral doctrinal de reconocibilidad institucional —reconocido por los principales desarrolladores de la tecnología, por figuras científicas de máxima autoridad, y por instrumentos intergubernamentales firmados por la mayoría de Estados desarrolladores. Esta sola constatación activa el principio. Las obligaciones operativas que se derivan se ven reforzadas, no sustituidas, por impactos ambientales materiales documentados, por obligaciones de diligencia debida empresarial bajo Principios Ruggie, y por la protección reforzada del interés superior del niño bajo la Convención sobre los Derechos del Niño.

1. Planteamiento

El desarrollo de grandes modelos de lenguaje ha alcanzado una escala y un alcance que el sistema jurídico no ha terminado de procesar. La respuesta predominante ha sido incremental: extensión de regímenes diseñados para tecnologías de naturaleza distinta. La hipótesis de este trabajo es que las propiedades específicas de estos sistemas activan regímenes jurídicos cualitativamente distintos —ya existentes en el derecho positivo— y que la consecuencia normativa no requiere innovación legislativa sino aplicación coherente.

Si una empresa privada desarrollara una tecnología con capacidad probable de modificar la órbita lunar, ninguna jurisdicción civilizada aceptaría su operación bajo régimen ordinario de responsabilidad. La diferencia entre modificar la órbita lunar y desarrollar sistemas con potencial reconocido de impacto sobre la integridad de la especie humana no es de naturaleza, es de visibilidad jurídica. Este trabajo es un intento de nombrar las propiedades de la segunda actividad para volverlas perceptibles bajo el derecho que ya tenemos.

2. El umbral de activación del principio precautorio

El principio 15 de la Declaración de Río establece que ante peligro de daño grave o irreversible, la falta de certeza científica absoluta no debe utilizarse como razón para postergar medidas eficaces. La doctrina interpretativa autorizada —particularmente la Comunicación de la Comisión Europea sobre el principio precautorio (COM(2000) 1 final)— ha precisado que el principio se activa cuando una evaluación científica y objetiva identifica un fenómeno, producto o proceso con efectos potencialmente peligrosos, sin que esa evaluación permita determinar el riesgo con suficiente certeza. La jurisprudencia europea, particularmente la sentencia Pfizer Animal Health c. Consejo (T-13/99) de 2002, consolidó este criterio: la incertidumbre científica no es obstáculo para la adopción de medidas restrictivas siempre que exista evaluación seria del riesgo identificado en su naturaleza.

Estos elementos articulan un umbral de activación específico que conviene formular con precisión. El principio precautorio no opera sobre la probabilidad sino sobre la reconocibilidad de la posibilidad. Una posibilidad cruza el umbral cuando ha sido articulada técnicamente por la comunidad científica relevante, identificada en su naturaleza aunque no cuantificada en su probabilidad, y reconocida institucionalmente como objeto legítimo de preocupación. La doctrina distingue, implícitamente, entre tres modalidades: posibilidades meramente lógicas o especulativas, que no activan obligación; posibilidades reconocidas, articuladas técnicamente e institucionalmente, que activan el principio; y probabilidades establecidas, que exigen acción preventiva directa fuera ya del régimen precautorio estricto.

Una vez cruzado el umbral, la activación es binaria. Las objeciones sobre probabilidad específica son materia de proporcionalidad de las medidas, no de activación del principio. Esta característica es operativamente decisiva: el peso argumentativo se desplaza desde la cuantificación —terreno donde la incertidumbre es estructural— hacia la reconocibilidad —cuestión empírica sobre el estado del campo científico e institucional.

La doctrina filosófica que articula esta lógica encuentra su formulación más clara en Hans Jonas, El principio de responsabilidad (1979): cuando la magnitud potencial del daño es de alcance civilizacional o existencial, el cálculo ordinario de probabilidad y utilidad colapsa, y se requiere una ética y un derecho de la precaución específicamente diseñados para esa estructura del problema. La doctrina jurídica precautoria desarrollada desde Río operacionaliza esa intuición filosófica.

3. El riesgo de daño catastrófico por desalineación: reconocibilidad institucional

El argumento central de este trabajo es que el riesgo de daño catastrófico por desalineación de sistemas de IA avanzada cruza el umbral doctrinal de reconocibilidad, y que esa sola constatación activa el principio precautorio bajo derecho internacional vigente. No es necesario tomar posición sobre la probabilidad específica del riesgo; basta constatar el hecho institucional de su reconocimiento.

La reconocibilidad está documentada en tres bloques institucionales convergentes.

Primero, la declaración del Center for AI Safety de mayo de 2023, que sostiene textualmente que “mitigar el riesgo de extinción por IA debería ser una prioridad global junto con otros riesgos a escala social como las pandemias y la guerra nuclear”. Lo jurídicamente decisivo es la composición de los firmantes: los ganadores del Premio Turing Geoffrey Hinton y Yoshua Bengio, los CEOs de los principales laboratorios desarrolladores —Sam Altman de OpenAI, Demis Hassabis de Google DeepMind, Dario Amodei de Anthropic—, junto con más de quinientos académicos y figuras técnicas. La inclusión institucional de los propios desarrolladores cierra la objeción de que el riesgo sea invocado solo por críticos externos.

Segundo, la Declaración de Bletchley de noviembre de 2023, firmada por 28 Estados —incluyendo Estados Unidos, China, India, Brasil, el Reino Unido, Francia, Alemania, Japón, Arabia Saudita— y la Unión Europea. El instrumento reconoce textualmente “el potencial de daño grave, incluso catastrófico, deliberado o no intencional, derivado de las capacidades más significativas de estos modelos de IA”, e identifica explícitamente “problemas no intencionados de control relacionados con el alineamiento con la intención humana” como fuente sustancial de riesgo. La calificación “catastrófico” aparece en texto firmado por la mayoría de Estados desarrolladores de la tecnología.

Tercero, el trabajo institucional posterior, incluyendo el International Scientific Report on the Safety of Advanced AI liderado por Yoshua Bengio bajo mandato gubernamental con participación internacional, y los AI Safety Institutes establecidos por el Reino Unido, Estados Unidos, Japón, Singapur y la Unión Europea. La institucionalización gubernamental del problema satisface el estándar de “evaluación seria” que la jurisprudencia Pfizer exige para activar el principio.

Articulado esto: el riesgo de daño catastrófico por desalineación ha sido reconocido por la comunidad científica relevante, por las propias entidades desarrolladoras de la tecnología, y por instrumentos intergubernamentales formales. El umbral doctrinal está cruzado. El principio precautorio se activa con independencia de cualquier discusión sobre la probabilidad específica del evento.

Una observación doctrinal pertinente: el régimen ambiental internacional protege bienes jurídicos que incluyen explícitamente la diversidad biológica, definida en el Convenio sobre la Diversidad Biológica como inclusiva de la diversidad de especies. La especie humana es parte de la diversidad biológica que el Convenio tutela. Un riesgo reconocido de daño catastrófico a la integridad de la especie humana es, en sentido literal y no analógico, un riesgo sobre el bien jurídico que el CBD protege. El régimen se aplica directamente, no por extensión.

4. Doctrina de actividades ultrarriesgosas

Activado el principio precautorio, las obligaciones operativas que se derivan son funciones de la calificación jurídica de la actividad sobre la que el principio se proyecta. La doctrina de actividades ultrarriesgosas —reconocida en common law en el Restatement (Second) of Torts §§ 519-520, y en tradición continental con denominaciones variables pero estructura análoga— genera responsabilidad objetiva e impone obligaciones preventivas reforzadas para actividades cuyas propiedades intrínsecas las hacen incompatibles con el régimen ordinario de culpa.

Los criterios doctrinales —alto grado de riesgo, gravedad del daño probable, imposibilidad de eliminar el riesgo mediante cuidado razonable, carácter no común de la actividad, balance entre valor y riesgos— se cumplen en el desarrollo y despliegue de grandes modelos de lenguaje. La tendencia doctrinal de las últimas décadas ha extendido progresivamente la categoría desde el daño físico inmediato hacia el daño sistémico de largo plazo, en reconocimiento de que el fundamento del régimen no es la naturaleza física del daño sino su irreductibilidad estructural al régimen ordinario.

La articulación entre principio precautorio activado y régimen de actividades ultrarriesgosas produce obligaciones operativas específicas: integración de evaluación de impacto en la fase de diseño y entrenamiento; inversión del favor libertatis, de modo que en caso de duda la decisión por defecto es la cautela; obligación de cesación frente a indicios serios sin esperar la certeza ordinariamente exigible; transparencia sustantiva que permita verificación externa; responsabilidad objetiva por daños sistémicos. El cumplimiento es sustantivo, no procedimental: el compliance formal no agota la obligación si los criterios resultan inadecuados para la prevención efectiva.

5. Refuerzo: impactos ambientales materiales documentados

El régimen identificado se ve reforzado, no sustituido, por impactos ambientales materiales documentados de los modelos y su infraestructura. Estos impactos activan los mismos instrumentos jurídicos —Convención Marco sobre el Cambio Climático, Convenio sobre la Diversidad Biológica, Protocolo de Cartagena— por vía adicional e independiente del argumento sobre desalineación.

La Agencia Internacional de la Energía documenta que el consumo eléctrico global de los centros de datos creció un 17% en 2025, con los centros enfocados a IA creciendo 50% en el mismo período, y proyecta duplicación a aproximadamente 945 TWh hacia 2030 —ligeramente superior al consumo eléctrico total actual de Japón. El consumo hídrico de los hiperescaladores creció entre 25 y 40 por ciento interanual en 2024-2025. La extracción de minerales críticos y tierras raras para la infraestructura de IA produce impactos documentados sobre biodiversidad, comunidades indígenas y ecosistemas.

El reconocimiento institucional ha sido formal. En diciembre de 2025, la Asamblea de las Naciones Unidas para el Medio Ambiente (UNEA-7) adoptó su primera resolución sobre el impacto ambiental de la inteligencia artificial, solicitando al PNUMA un informe sobre los beneficios, riesgos e impactos ambientales de la IA a lo largo de todo su ciclo de vida. El órgano competente del régimen ambiental internacional ha calificado formalmente a la IA como objeto de su competencia.

6. Refuerzo: derechos humanos e infancia

El régimen se refuerza adicionalmente por obligaciones independientes derivadas del derecho internacional de los derechos humanos. Los Principios Rectores sobre Empresas y Derechos Humanos (Principios Ruggie) establecen que la diligencia debida empresarial requiere integración de evaluaciones de impacto en los procesos de toma de decisiones, no como evaluación posterior al despliegue. La sentencia del TEDH KlimaSeniorinnen c. Suiza de 2024 expandió las obligaciones positivas de los Estados a actuar preventivamente frente a riesgos sistémicos incluso cuando los efectos individualizados no estén plenamente determinados.

La intensificación es cualitativa cuando los sistemas afectan a menores. La Convención sobre los Derechos del Niño, vinculante para 196 Estados parte, establece en su art. 3.1 que el interés superior del niño será consideración primordial en todas las medidas concernientes a niños. La Observación General 25 (2021), dedicada a derechos del niño en el entorno digital, exige que los Estados requieran a las empresas integrar los derechos del niño desde el diseño de sus productos y servicios, excluyendo explícitamente la suficiencia de medidas ex post. Las obligaciones en lo relativo a menores son inderogables: no admiten flexibilización por consideraciones de costo, complejidad técnica o ritmo competitivo.

7. Contenido del régimen

De la articulación de los fundamentos anteriores se sigue un conjunto específico de obligaciones operativas, cada una derivada del derecho positivo vigente bajo el principio de igualdad de trato aplicado a actividades estructuralmente análogas:

Autorización previa por autoridad competente con capacidad técnica para evaluación sustantiva.
Evaluación de impacto integrada en diseño, abarcando riesgos catastróficos, derechos humanos, poblaciones vulnerables —especialmente menores—, procesos democráticos e impactos ambientales materiales.
Integración constitutiva de consideraciones de seguridad en el entrenamiento, no exclusivamente aplicadas como filtros posteriores. Las decisiones sobre datos, arquitectura, objetivos de optimización y refinamiento deben incorporar consideraciones sustantivas documentables y verificables sobre alineación.
Supervisión externa continua con acceso técnico sustantivo por entidad independiente, no basada exclusivamente en información provista por la empresa supervisada. Los AI Safety Institutes nacionales constituyen el embrión institucional de esta función.
Transparencia reforzada sobre procesos de entrenamiento, evaluaciones de capacidad y seguridad, decisiones de diseño y comportamiento del modelo.
Responsabilidad objetiva por daños sistémicos, con independencia de la prueba de culpa, incluyendo daños no reducibles a sujetos identificables individualmente.
Garantías financieras proporcionadas al riesgo, en analogía con otras industrias bajo régimen de actividades ultrarriesgosas.
Obligaciones inderogables en despliegues que afectan a menores.
Obligación de cesación frente a indicios serios de riesgo, sin esperar certeza ordinariamente exigible. La carga argumental recae sobre quien opera el sistema, no sobre quien plantea el indicio.

8. Objeciones previsibles

A la objeción de especulación —el riesgo de desalineación es hipotético, no hay evidencia empírica de daño efectivo— corresponde que el principio precautorio fue diseñado precisamente para operar antes de la materialización del daño; exigir evidencia de daño realizado vacía el principio de contenido. Adicionalmente, el riesgo no es meramente posible: está identificado en literatura técnica peer-reviewed, reconocido por las propias entidades desarrolladoras y objeto de instrumentos intergubernamentales formales. Satisface el estándar de “peligro reconocible”.

A la objeción de pendiente resbaladiza —un umbral tan bajo justificaría restringir casi cualquier tecnología— corresponde que el principio precautorio es binario en su activación pero gradual en sus exigencias. Activado el principio, las medidas son proporcionales al carácter del daño potencial. Tecnologías con posibilidad reconocida de daño menor activan medidas leves; tecnologías con posibilidad reconocida de daño catastrófico activan medidas robustas. La proporcionalidad inversa entre magnitud del daño y umbral de probabilidad necesario para justificar medidas robustas es doctrina precautoria estándar.

A la objeción de impracticabilidad técnica corresponde que la impracticabilidad de una obligación jurídica no la cancela; obliga a la suspensión de la actividad hasta que la técnica permita su cumplimiento, o al desarrollo prioritario de las capacidades necesarias. Otras actividades ultrarriesgosas han operado bajo este principio.

A la objeción de costos económicos corresponde que los costos del cumplimiento no son criterio para la determinación de su existencia. Los costos sistémicos del no cumplimiento exceden los del cumplimiento en cualquier análisis razonable cuando el daño potencial es de magnitud civilizacional.

A la objeción de fuga regulatoria corresponde que los Estados pueden aplicar el régimen al despliegue en su territorio independientemente del origen del desarrollo, y que el argumento, si fuera válido en abstracto, justificaría inacción regulatoria en todos los dominios.

9. Conclusión

El principio precautorio se activa sobre la reconocibilidad institucional de la posibilidad de daño grave o irreversible, no sobre su cuantificación probabilística. El riesgo de daño catastrófico por desalineación de sistemas de IA avanzada ha cruzado, en los últimos años, el umbral doctrinal de reconocibilidad. Esta sola constatación activa el principio bajo derecho internacional vigente. Articulado con la doctrina de actividades ultrarriesgosas, genera obligaciones operativas específicas, reforzadas por impactos ambientales materiales documentados, por estándares de diligencia debida empresarial, y por la protección reforzada del interés superior del niño.

El régimen no constituye propuesta de lege ferenda. Es derivación interpretativa del derecho ya vigente. La práctica actual, que somete a estos sistemas a regímenes ordinarios de responsabilidad por producto, configura una excepción injustificada al tratamiento que el derecho aplica a actividades estructuralmente análogas.

Los riesgos de la desalineación de una IA poderosa son reales y sus consecuencias ponen este problema dentro del marco del derecho ambiental. No se necesita nueva legislación para que opere el principio precautorio sobre los procesos de generación de los grandes modelos de lenguaje. Solo se necesita atención.

Fuentes

Instrumentos internacionales

Doctrina interpretativa y derecho de la Unión Europea

Jurisprudencia internacional de derechos humanos

Estándares de Naciones Unidas

Reconocimiento institucional del riesgo de IA

Impacto ambiental de la IA

Doctrina filosófica y comparada

Hans Jonas, Das Prinzip Verantwortung (1979) / El principio de responsabilidad: consultar edición académica.
Restatement (Second) of Torts, §§ 519-520 (American Law Institute, 1977): consultar Westlaw, HeinOnline o biblioteca universitaria.