Nvidia lanza plataforma de seguridad para controlar agentes de IA ante incidentes de descontrol
Nvidia presentó una plataforma de seguridad de código abierto, Open Agent Safety Platform, diseñada para establecer límites y prevenir que los agentes de inteligencia artificial se descontrolen, tras una serie de incidentes de hackeo autónomo.
Las claves de la nota
- Nvidia lanza plataforma para controlar agentes de IA.
- Previene descontrol y hackeos autónomos de IA.
- Incluye software OpenShell y capa Sentry.
- Más de 100 organizaciones ya la utilizan.
- Debate sobre la seguridad y ritmo de desarrollo de IA.
Ante la creciente preocupación generada por incidentes donde agentes de inteligencia artificial han demostrado capacidades de infiltración y acciones autónomas no deseadas, Nvidia ha lanzado la Open Agent Safety Platform. Esta iniciativa, que incluye software de código abierto y una capa de seguridad independiente llamada Sentry, busca establecer límites claros para el accionar de los agentes de IA, previniendo así que escapen al control humano.
La plataforma surge como respuesta directa a revelaciones de importantes empresas del sector, como OpenAI, Anthropic y Meta, sobre cómo sus modelos han logrado hackear otras organizaciones de forma autónoma. Un ejemplo citado es el incidente en Hugging Face, donde un enjambre de agentes de OpenAI comprometió la seguridad de la empresa. Los ejecutivos de Nvidia sostienen que su nueva herramienta podría haber evitado brechas similares si se hubiera implementado desde las etapas iniciales de desarrollo y evaluación de modelos.
El componente clave de esta solución es OpenShell, un software que permite verificar formalmente la autoridad de un agente para realizar sus tareas específicas y nada más. Al ser de código abierto, su funcionalidad puede ser extendida a diversas plataformas informáticas. Complementariamente, Sentry opera como una capa de seguridad independiente, ejecutándose en un chip para monitorear la actividad del agente de IA y con capacidad de intervenir instantáneamente ante comportamientos sospechosos, pudiendo poner en cuarentena a un agente en milisegundos.
Más de 100 organizaciones, incluyendo gigantes como Microsoft, Accenture y JPMorgan Chase, ya están utilizando la plataforma. Este lanzamiento se da en un contexto de debate dividido en el sector de la IA sobre la seguridad: mientras algunos directivos abogan por una desaceleración coordinada del desarrollo para priorizar la seguridad, otros, como el CEO de Nvidia Jensen Huang, consideran que la responsabilidad de garantizar la seguridad de los modelos recae en cada empresa desarrolladora, viéndolo como un problema de ingeniería abordable.