El consejero delegado de Microsoft, Satya Nadella, publicó el sábado 10 de octubre de 2026 un largo texto titulado «Models as Insider Risks in the Super Intelligence Era» («Los modelos como riesgos internos en la era de la superinteligencia»), que difundió en su blog personal y en la red social X. En él sostiene que las organizaciones deben dejar de confiar en las garantías de los proveedores de modelos y empezar a tratar a los sistemas de inteligencia artificial más avanzados como se trata a un empleado con acceso privilegiado: alguien útil, pero cuyos permisos debe conceder y poder retirar otra persona.
Nadella parte de una constatación. Según escribe, «es hora de dar un paso atrás y evaluar la arquitectura de confianza» de esta nueva etapa. «No podemos tratar a la superinteligencia como un conjunto de cajas negras anidadas y simplemente aceptar o rechazar sus recomendaciones, respuestas y acciones», afirma. TechCrunch subrayó que el término «superinteligencia» es el preferido por la Administración de Donald Trump para referirse a la inteligencia artificial avanzada.
La idea central del texto es lo que Nadella llama separar «el suministro de inteligencia» de «la autoridad sobre ella». En la práctica, eso significa que los controles que determinan a qué puede acceder un modelo y qué acciones puede ejecutar deben estar fuera del propio modelo. Nadella recuerda que se trata de un principio de seguridad informática de los años setenta: un programa no debe poder saltarse ni manipular los mecanismos que hacen cumplir sus permisos.
Traducido a los sistemas actuales, el directivo propone separar el modelo del «arnés» que orquesta su trabajo y del «espacio de acción» que define lo que puede hacer, además de externalizar los controles y las salvaguardas. «Necesitamos rodear a los modelos no deterministas de un diseño de sistemas sólido y determinista, controles humanos y procedimientos operativos fiables, y establecer estándares en la industria donde los existentes sean insuficientes», escribió. Y añadió: «Tratar los modelos de frontera, cerrados y de pesos abiertos, como riesgos internos es una forma de construir un sistema así».
Nadella aclara que no considera a los modelos malintencionados por naturaleza. Su argumento es que cualquier cosa con acceso a sistemas vitales puede verse comprometida o cometer errores. De ahí que proponga partir del peor escenario: «Debemos asumir que un modelo está comprometido y contenerlo desde el principio», escribió. «Piénsalo como un freno de emergencia. Una persona autorizada siempre debería poder pausar o apagar un modelo a mitad de una tarea».
El texto organiza sus propuestas en torno a lo que llama principios de observabilidad. Según la cobertura de CNBC, incluyen la diversidad de modelos, para no depender de uno solo; una huella legible por humanos de todas las acciones del modelo; pruebas continuas del sistema; controles independientes y auditabilidad; contención; y divulgación de incidentes. Nadella pide que cada acción significativa de un modelo quede documentada con «evidencia legible por humanos y a prueba de manipulación».
Uno de los puntos más concretos se refiere a la auditoría. Nadella sostiene que la validación debe ser independiente de la inteligencia que se valida y que ningún modelo debería controlar a la vez el comportamiento de un sistema y la evidencia necesaria para juzgar si ese comportamiento se ajusta a la intención original. Es una advertencia directa contra la práctica, cada vez más común, de usar un modelo para supervisar a otro modelo del mismo proveedor sin ninguna capa externa.
También recalca que la responsabilidad no se puede delegar. «No podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre», escribe, y añade que las garantías de un proveedor de modelos no eximen a las organizaciones que los despliegan. El cierre del texto resume su tesis con una frase que circuló ampliamente: «El sistema de superinteligencia más fiable no será el del modelo en el que más confiemos. Será el que nos permita confiar lo mínimo en el modelo».
El mensaje llega en un momento delicado para la industria. TechCrunch recordó que las principales empresas de inteligencia artificial reconocen cada vez más incidentes en los que parecieron perder el control de sus modelos, y que el texto de Nadella se publicó después de que el consejero delegado de Anthropic, Dario Amodei, presentara un plan para un desarrollo más prudente de la tecnología. CNBC añadió que otros líderes del sector han pedido salvaguardas más fuertes y, en varios casos, frenar el ritmo del desarrollo de frontera.
La propuesta también tiene una dimensión política. CNBC señaló que el presidente Trump se opone a ralentizar el desarrollo de la inteligencia artificial en Estados Unidos, aunque su Administración ha puesto en marcha un grupo de trabajo centrado en la seguridad. El enfoque de Nadella evita pedir una pausa: su apuesta es por la ingeniería de sistemas y la contención, no por frenar la investigación, lo que lo hace más compatible con la línea de Washington.
La reacción en X fue inmediata. Según el resumen de la conversación en esa plataforma, el inversor David Sacks elogió que el texto se centre en controles de ingeniería en lugar de en el alineamiento moral de los modelos, mientras que Mustafa Suleyman, responsable de Microsoft AI, comparó el enfoque con la gobernanza que se aplica a los aviones o a los materiales nucleares. El debate enfrenta dos visiones: confiar en salvaguardas externas estrictas o intentar inculcar valores prosociales a los propios modelos.
Para las empresas, la consecuencia práctica es organizativa además de técnica. Si el modelo se trata como un empleado privilegiado, quien construye un agente no debería ser también quien escribe sus permisos y quien sostiene el freno, porque entonces los controles estarían en la misma unidad que el sistema que deben vigilar. Esa separación de funciones, habitual en finanzas o ciberseguridad, podría trasladarse a los equipos que despliegan agentes de inteligencia artificial.
El texto no anuncia productos ni compromisos concretos de Microsoft, y deja abierto cómo se estandarizarían las tecnologías de contención que, según el propio Nadella, necesitarán los modelos más avanzados. Pero fija una posición clara de una de las empresas que más agentes despliega en el mundo corporativo: la confianza no debe depositarse en el modelo, sino en el sistema que lo rodea. En los próximos meses se verá si esa idea se traduce en estándares compartidos de la industria.
