Satya Nadella, CEO de Microsoft, fijó una posición fuerte sobre cómo deben manejarse los sistemas de inteligencia artificial en las empresas. Lo hizo a través de una publicación en Twitter/X, donde dejó una frase que resume su postura: "Si no se puede observar, no se puede confiar". Su idea central es que la seguridad no puede apoyarse en la confianza ciega en el modelo, sino en el entorno que lo contiene.
El planteo llega en un contexto donde cada vez más compañías incorporan agentes de IA con acceso a datos sensibles y capacidad de actuar sobre sistemas reales. El problema, según Nadella, es que esos modelos funcionan como cajas negras: no hay una explicación clara de por qué toman las decisiones que toman.
La diferencia con el software de siempre
El argumento de Nadella es técnico pero fácil de seguir. Con el software tradicional, cualquier comportamiento raro se podía rastrear hasta una línea de código específica. Con los modelos de IA actuales, eso ya no es posible. Esa es la razón por la que los describe como cajas negras.
Si no se puede ver qué pasa adentro de un sistema, dice, la seguridad no puede depender de confiar en ese sistema. Tiene que depender del diseño del entorno que lo rodea. De ahí sale otra de sus definiciones: "debemos construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones siempre podamos contener".
La observación, entonces, deja de ser un agregado opcional y pasa a ser una condición previa para cualquier forma de confianza. Esta idea conecta con una publicación anterior del directivo en la misma red, donde ya había marcado: "si la IA que construimos no está ayudando a la humanidad y no está bajo control humano, no vale la pena perseguirla".
La responsabilidad no se terceriza
Nadella es especialmente directo con las empresas que contratan servicios de inteligencia artificial de terceros. Según escribió, "no podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre". El punto importa porque los agentes de IA ya no solo generan texto o responden consultas: actúan en nombre de las organizaciones, toman decisiones y ejecutan tareas sobre sistemas reales.
Frente a eso, el CEO de Microsoft advierte que las garantías que ofrece el proveedor del modelo no liberan a la empresa que lo usa de asumir las consecuencias. La responsabilidad, en su esquema, queda siempre del lado de quien despliega la tecnología, no de quien la fabrica.
Cómo gestionar el riesgo: la lógica del empleado con permisos
La propuesta concreta de Nadella es tratar a los modelos de IA como se trataría a un empleado con muchos permisos dentro de una organización. Eso implica tres cosas: darle la menor autoridad posible, registrar todo lo que hace y mantener siempre la capacidad de detenerlo.
El directivo aclara que este enfoque no parte de suponer que los modelos son maliciosos. La razón es otra: cualquier sistema capaz, con acceso a infraestructuras importantes, puede equivocarse o ser comprometido por terceros, más allá de cómo esté diseñado.
Por eso defiende que las herramientas de contención sean un estándar para toda la industria y no una medida excepcional para casos de alto riesgo. Ante un fallo grave, su apuesta es anticiparse con mecanismos de freno de emergencia ya integrados en el sistema, en lugar de reaccionar después del problema.
La discusión sobre cómo gobernar la IA en las empresas queda abierta, pero Nadella instala un criterio que puede marcar el rumbo: la confianza no se pide, se construye con visibilidad y control.
