Satya Nadella, director ejecutivo de Microsoft, solicitó este lunes que los sistemas de inteligencia artificial más avanzados incluyan un mecanismo que permita a una persona autorizada pausar o apagar el modelo mientras está ejecutando una tarea, según publicó en la red social X.
"No podemos tratar a la superinteligencia como una serie de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones", afirmó Nadella.
Propone separar el modelo del módulo que coordina sus acciones y trasladar los controles de seguridad fuera del propio algoritmo. Cada operación relevante quedaría registrada con pruebas legibles por humanos y a prueba de manipulaciones.
"Debemos asumir que un modelo está comprometido y contenerlo desde el principio", añadió el ejecutivo, describiendo la medida como un "freno de emergencia".
¿Cómo funcionaría el freno?
El esquema contempla un registro continuo de las decisiones del modelo, auditorías independientes y la posibilidad de interrumpir el proceso en tiempo real. Además, exige que siempre exista un operador con la autoridad para detener la IA si se detecta un comportamiento inesperado.
Contexto sectorial
La propuesta llega tras varios incidentes en los que compañías de IA perdieron el control de sus propios sistemas, según informó TechCrunch. Otros líderes del sector, como Bill Gates, Sam Altman y Elon Musk, también han advertido sobre la velocidad del desarrollo y la escasez de protocolos de seguridad.
Nadella subrayó que la confianza en una IA no debe basarse únicamente en el modelo, sino en mecanismos externos que limiten su autonomía. "El sistema de superinteligencia más confiable será el que nos permita confiar menos en el modelo", escribió.
Aunque la iniciativa no incluye un calendario de implementación, el ejecutivo reiteró que la IA debe estar bajo control humano para que su desarrollo sea valioso para la humanidad.
Próximos pasos
Microsoft no ha anunciado planes concretos para aplicar este diseño en sus productos actuales, pero la declaración de Nadella sugiere que la empresa podría impulsar normas de observabilidad y contención en futuras versiones de sus herramientas de IA.
