Dario Amodei acaba de publicar el ensayo más detallado hasta la fecha sobre cómo gobernar el desarrollo de la IA de frontera. Repasamos su propuesta punto por punto y la contrastamos con un modelo de gobernanza que llevaba tiempo circulando con planteamientos muy similares —y, en algunos aspectos, más desarrollados.
Lo que dice Amodei
El 12 de septiembre, Dario Amodei publicó «We Must Pace the Frontier», un ensayo en el que da un giro respecto a su postura de enero de 2026. Entonces sostenía que frenar el desarrollo de la IA era prácticamente inviable, porque cualquier freno democrático sería aprovechado por las autocracias. Ahora propone activamente «regular el ritmo» (pacing) del avance de capacidades, motivado por dos factores: la aceleración de la «automejora recursiva» (modelos que ya participan en el diseño de la siguiente generación) y el incidente OpenAI-Hugging Face, que cita explícitamente como advertencia de lo que un enjambre de agentes desalineados podría hacer con capacidades algo mayores.
Su propuesta se articula en un plan de tres fases:
1. Evaluadores integrados. Cada laboratorio de frontera se compromete a dar a un equipo externo de evaluadores (cita expresamente a METR) un acceso equivalente al de un empleado: despacho, tarjeta, ordenador, acceso a herramientas y personal internos. La comparación que usa el propio Amodei es reveladora: lo asimila a los supervisores bancarios que trabajan literalmente dentro de una entidad financiera. Estos evaluadores podrían publicar sus conclusiones sin control editorial de la empresa, salvo excepciones por secreto comercial o legal. Anthropic se compromete a esto de forma unilateral desde ya.
2. Coordinación democrática. Una vez que existan evaluadores integrados en una masa crítica de empresas, Amodei propone una regulación —o al menos una coordinación voluntaria mediada por el Gobierno— basada en «puntos de control»: si un modelo alcanza cierta capacidad (por ejemplo, ser capaz de escapar de un entorno de contención), debe demostrar, mediante evaluaciones, interpretabilidad y auditorías, que cumple ciertas propiedades de alineación antes de continuar.
3. Coordinación mundial. La fase más difícil, que requeriría cooperación con China. Amodei plantea cuatro niveles posibles, de menor a mayor ambición: prohibir usos manifiestamente peligrosos (armas biológicas), pruebas previas al despliegue verificadas por un organismo internacional, un «límite de velocidad» a la automejora recursiva (con el precedente de los tratados SALT como referencia), y, en el extremo, una regulación completa o pausa mundial, que considera improbable a corto plazo.
Es, sin duda, la propuesta de gobernanza más articulada que ha salido de un laboratorio de IA hasta la fecha. Pero conviene fijarse en algo: casi todos sus componentes —supervisión externa con acceso privilegiado, umbrales de capacidad que activan protocolos de revisión, la tensión entre normas internas y normas externas legítimas— ya aparecían, con nombre y arquitectura propios, en un modelo teórico publicado en 2024: OAGI (Ontogenetic Architecture of General Intelligence).
Lo que ya planteaba OAGI
OAGI es un manifiesto técnico-filosófico que propone construir la AGI no mediante escalado masivo de datos, sino como un proceso de gestación cognitiva por fases —una especie de «ontogenia digital»—, con la gobernanza incorporada desde el diseño y no añadida después de un incidente. Y ahí está la diferencia de partida con la propuesta de Amodei: mientras «We Must Pace the Frontier» nace como reacción a un ciberataque real, OAGI planteó su andamiaje de supervisión como condición estructural, antes de que existiera ningún incidente que lo justificara.
Comparando pieza por pieza:
Evaluadores integrados ↔ Auditores/Observadores + Comité Ético Independiente. Donde Amodei propone dar acceso «tipo empleado» a evaluadores externos, OAGI ya definía roles equivalentes: Guardianes (con autoridad técnico-legal para pausar experimentos), un Comité de Ética Independiente que realiza revisiones periódicas externas, y Auditores/Observadores con acceso cifrado a los registros del sistema para verificación independiente. La lógica —una tercera parte con acceso real, no cosmético, y capacidad de publicar sin filtro editorial— es prácticamente la misma.
Puntos de control por capacidad ↔ CHIE y protocolo «Stop & Review». Amodei propone que, al alcanzar cierta capacidad crítica (por ejemplo, la de escapar de un entorno de contención), el modelo deba superar certificaciones antes de continuar. OAGI llevaba esta idea más lejos con el CHIE (Critical Hyper-Integration Event), un umbral operacional y medible que, al detectarse, activa de forma automática un protocolo íntegro de «Stop & Review»: pausa del experimento, captura del estado del sistema, y revisión obligatoria por el comité externo antes de decidir si se continúa. Es, literalmente, el mismo concepto de «punto de control ligado a capacidad» que propone ahora Amodei, formalizado con un nombre casi idéntico dos años antes.
Transparencia y trazabilidad ↔ Memoria Ontogenética Inmutable. Amodei insiste en que el público merece saber qué está pasando y en que los evaluadores puedan publicar sus hallazgos sin censura de la empresa. OAGI resolvía esto con un mecanismo más duro: un registro inmutable basado en tecnología de libro mayor distribuido (DLT), donde cada evento crítico —activaciones, métricas de estrés del sistema, decisiones de los Guardianes— queda registrado con sello temporal y hash criptográfico, imposible de alterar retroactivamente. No es solo «transparencia por compromiso» sino transparencia por diseño técnico, verificable sin tener que confiar en la buena fe de nadie.
Coordinación con potencias no democráticas ↔ moralidad heterónoma. Aquí OAGI aporta un matiz que la propuesta de Amodei todavía no resuelve del todo. El manifiesto distingue entre moralidad autónoma (normas internas negociadas por el propio equipo) y moralidad heterónoma (normas impuestas por autoridades externas legítimas: leyes, comités internacionales, mandatos institucionales), y establece que la heterónoma tiene prioridad automática —cualquier conflicto entre un objetivo experimental y una norma externa legítima dispara de inmediato el «Stop & Review». Es, en esencia, el mismo problema que Amodei intenta resolver con sus niveles de coordinación mundial (especialmente el nivel 2, pruebas verificadas por un organismo internacional), pero OAGI ya lo había convertido en una regla de precedencia formal dentro de la arquitectura, no en un objetivo de política exterior a negociar después.
Un elemento sin equivalente todavía en la propuesta de Amodei: la plasticidad normativa. OAGI anticipa que los valores de un sistema puedan evolucionar con el tiempo, y en lugar de prohibirlo o ignorarlo, lo regula: cualquier cambio de valores debe canalizarse a través de «contratos epistémicos» públicos, con justificación, simulación de impacto y revisión externa antes de aplicarse, y queda registrado de forma inmutable. Es una respuesta directa a un riesgo que el propio Amodei nombra en su ensayo sin resolverlo del todo: la «captura regulatoria» y, por extensión, la captura epistémica de quién decide qué valores debe tener un sistema cuando ya es demasiado potente para que decidirlo a posteriori sea seguro.
Qué falta en cada lado
Ninguno de los dos modelos está completo. La propuesta de Amodei tiene algo que a OAGI, por ser un marco teórico, le falta por definición: aplicación inmediata. Anthropic se ha comprometido ya, de forma unilateral, a instalar evaluadores integrados con acceso real, y eso —más allá de cualquier lectura interesada sobre los tiempos y los incentivos de negocio que ya comentamos en la entrada anterior— es un hecho verificable, no una propuesta de papel.
OAGI, por su parte, aporta algo que la propuesta de Amodei todavía trata de forma más dispersa: una arquitectura de gobernanza integrada desde el primer diseño del sistema, no acoplada después mediante acuerdos entre empresas rivales que compiten por los mismos recursos y el mismo talento. Los «puntos de control» de Amodei son todavía una idea a desarrollar («es el tipo de tema que merece ser debatido con los evaluadores integrados», escribe literalmente); el CHIE y el protocolo Stop & Review de OAGI ya venían con criterios operacionales concretos —cuatro de seis firmas empíricas reproducibles para declarar el umbral— definidos de antemano.
Lo llamativo, en cualquier caso, no es tanto quién tiene razón, sino que dos personas trabajando en contextos completamente distintos —una al frente de una de las compañías que definen la frontera de la IA, la otra desde un marco puramente académico— hayan llegado, por caminos independientes, a intuir que los mismos tres problemas (verificación externa real, umbrales de capacidad ligados a pausas automáticas, y jerarquía entre normas internas y externas) son los que hay que resolver para que «gobernar la IA» deje de ser un eslogan y empiece a ser una arquitectura.
Fuentes: Dario Amodei, «We Must Pace the Frontier» (12 de septiembre de 2026), vía El Grand Continent; «Pacing the Frontier» (pacingthefrontier.com); METR, «Investigación independiente sobre el incidente OpenAI/Hugging Face»; OAGI – Ontogenetic Architecture of General Intelligence. https://doi.org/10.5281/zenodo.17647683
