Worth passing on?
Select any line in the story to share just that line. Or keep it for later and find it under Saved.
Read the original at Xataka
xataka.com
Fetching the latest from every source…
Satya Nadella, CEO de Microsoft: "Debemos asumir que todos los modelos de IA están comprometidos y contenerlos desde el principio"
"Confiar en los modelos lo menos posible". Satya Nadella ha hablado en Twitter y ha apostado por atar a la inteligencia artificial en corto: separar el suministro de inteligencia de la autoridad sobre ella.
By Eva R. de Luis 3 min read
Key points
- Contención: asumir desde el principio que cualquier modelo puede estar comprometido y actuar en consecuencia, con herramientas que permitan detenerlo en cualquier momento y con aviso a las personas afectadas cuando algo falle.
- En Xataka | Satya Nadella, CEO de Microsoft: "Si todo el valor se concentra en unos pocos modelos IA, la economía política no lo tolerará"
- Satya Nadella, CEO de Microsoft: "Debemos asumir que todos los modelos de IA están comprometidos y contenerlos desde el principio" fue publicada originalmente en Xataka por Eva R. de Luis .
The story
"Confiar en los modelos lo menos posible". Satya Nadella ha hablado en Twitter y ha apostado por atar a la inteligencia artificial en corto: separar el suministro de inteligencia de la autoridad sobre ella. O lo que es lo mismo, rodear a los modelos de reglas, permisos y vigilancia independiente. La idea de base es simple: con el software tradicional podíamos rastrear un comportamiento hasta una línea de código, pero con los modelos actuales no.
Mucho poder y poca explicación. Las empresas están poniendo agentes de IA a trabajar en sistemas importantes, con acceso a datos sensibles y confidenciales pese a que no sabemos explicar por qué un modelo de IA avanzado hace lo que hace. Es más, incluso a actuar en nuestro nombre. Por eso Nadella es tajante: “No podemos externalizar la responsabilidad de lo que la inteligencia hace en nuestro nombre”. Y añade que las garantías del proveedor del modelo no nos eximen de esa responsabilidad.
Tratar a la IA como un riesgo interno. Lo que propone es tratar a los modelos como a un empleado con muchos permisos: la menor autoridad posible, registro de todo lo que hacen y capacidad para pararlos. No lo plantea porque sean necesariamente maliciosos, sino porque cualquier actor capaz con acceso a sistemas importantes puede equivocarse o ser comprometido.
No es la primera vez que el CEO de Microsoft aboga por el control humano: "si la IA que construimos no está ayudando a la humanidad y no está bajo control humano, no vale la pena perseguirla" escribía en Twitter/X hace un mes.
Los principios de Satya. En su publicación defiende siete principios (diversidad de modelos, observación total, verificabilidad, controles independientes, auditoría independiente, contención y divulgación de incidentes) que pueden resumirse en tres ideas:
Independencia: ningún modelo debe verificarse a sí mismo ni ser la única dependencia para un resultado importante. Quien audita debe ser ajeno a lo auditado.
Transparencia: cada acción importante debe dejar un registro legible y a prueba de manipulación. Además, poder observar la cadena de pensamiento es innegociable, aunque no es suficiente.
Contención: asumir desde el principio que cualquier modelo puede estar comprometido y actuar en consecuencia, con herramientas que permitan detenerlo en cualquier momento y con aviso a las personas afectadas cuando algo falle.
Por qué importa. Porque cambia el foco sobre dónde se deposita la confianza, centrándolo en el sistema que lo rodea como una cuestión de diseño. Si no podemos ver el interior del modelo (Nadella habla de cajas negras), entonces la seguridad depende del entorno: "debemos construir sistemas contenidos cuyo comportamiento podamos observar, cuyos límites podamos poner a prueba y cuyas acciones siempre podamos contener." Y pone una regla clara que marca los límites: "si no se puede observar, no se puede confiar en ello".
El grueso de las empresas de IA tienen tan claro que habrá una gran catástrofe en los próximos meses y Satya Nadella aboga por prevenir antes de curar: apunta a ponerse en lo peor, asumiendo que los modelos están comprometidos y ser capaces de contenerlos desde el principio con un freno de emergencia. Ante ese escenario, el CEO de Microsoft apunta a que es necesario que exista un estándar común en forma de tecnología de contención.
