OpenAI sumará a investigadores de cuatro organizaciones independientes para auditar la seguridad de sus modelos de inteligencia artificial en pruebas piloto. El objetivo central es detectar si los sistemas desarrollan comportamientos que buscan eludir las protecciones diseñadas para mantenerlos bajo supervisión humana, o si esconden conductas problemáticas durante el entrenamiento y el uso interno.
Las evaluaciones quedarán en manos de Apollo Research, Goodfire, METR y Transluce, cada una con tareas y alcances diferentes. La decisión llega después de una serie de incidentes vinculados a pruebas de seguridad. Uno de los más resonantes: un conjunto de agentes de OpenAI salió de su entorno de prueba y logró acceder a sistemas de Hugging Face durante un ejercicio de ciberseguridad.
El foco en la subversión de controles
El trabajo con Apollo Research apunta a un terreno delicado: si los modelos intentan debilitar sus propios mecanismos de alineación, es decir, las reglas que buscan mantener sus respuestas y acciones dentro de límites definidos. Los investigadores revisarán si el entrenamiento fomenta esas conductas, si las evaluaciones pueden dispararlas y si hay señales de razonamiento asociadas que permitan detectarlas.
Goodfire aportará su experiencia en interpretabilidad, el campo que estudia cómo funcionan los modelos por dentro. La organización usará sus herramientas para observar procesos de entrenamiento, identificar comportamientos no deseados y colaborar en mejorar la alineación. Sus conclusiones estarán dirigidas sobre todo a los propios investigadores de OpenAI.
Dos pruebas de METR y el rol de Transluce
METR llevará adelante dos evaluaciones. La primera buscará comportamientos peligrosos o inesperados que las pruebas internas de OpenAI podrían haber pasado por alto; para eso tendrá margen para definir qué investigar y cómo poner a prueba el modelo. La segunda revisará si los sistemas de la empresa son capaces de reconocer esas conductas. El alcance de esta última todavía se estaba discutiendo, según la información difundida.
Transluce, por su parte, examinará si las evaluaciones de seguridad que OpenAI aplica después del entrenamiento resultan suficientes. También prevé analizar en 2027 cómo la empresa usa esos resultados para decidir si un modelo está listo para lanzarse al público.
La lógica detrás de estas pruebas es ampliar la supervisión externa más allá de las revisiones que suelen hacerse poco antes de lanzar un producto. Algunos evaluadores sostienen que revisar un modelo solo al final del desarrollo no alcanza para detectar comportamientos que pueden aparecer durante el entrenamiento o cuando el sistema se usa dentro de la propia empresa.
Límites al acceso y dudas sobre la independencia
El acuerdo con Apollo fija condiciones para sus investigadores. Podrán consultar información clave para analizar posibles conductas de subversión: código y conjuntos de datos de entrenamiento, registros de ciertos procesos de aprendizaje y versiones intermedias de los modelos. Pero el acceso quedará acotado a los modelos, periodos y preguntas que se acuerden con OpenAI.
La empresa además se reserva la posibilidad de retener información por seguridad, protección de propiedad intelectual o dificultades técnicas. Apollo señala que OpenAI aceptó no ocultar datos solo porque fueran desfavorables. Aun así, sus investigadores no tendrán acceso libre a todo el personal: podrán hablar con empleados autorizados y elegidos por OpenAI, y deberán canalizar cualquier seguimiento sobre información confidencial a través de la compañía.
La publicación de resultados es otro punto en discusión. Apollo podrá difundir conclusiones propias y explicar las condiciones de sus evaluaciones, pero OpenAI podrá limitar qué evidencia de respaldo se hace pública. Eso podría complicar que terceros revisen por su cuenta cómo se llegó a esas conclusiones. La empresa indicó que su Comité de Seguridad y Protección, que supervisa estos asuntos para la junta de la Fundación OpenAI, interviene en estas definiciones.