“Es un momento trascendental tanto para nuestra empresa como para el conjunto de la industria de la IA”, ha dicho Michael Dalton, miembro del equipo técnico de OpenAI, durante una presentación este miércoles en la conferencia de ciberseguridad Black Hat en Las Vegas. Junto a otro empleado de OpenAI, la compañía dio más detalles de cómo sus modelos de inteligencia artificial (IA) se organizaron para hackear Hugging Face en julio, según explican varios medios estadounidenses especializados. La compañía sigue trabajando en un informe completo.
Meta se suma también a las compañías que han anunciado que su IA atacó otras plataformas
“Es un momento trascendental tanto para nuestra empresa como para el conjunto de la industria de la IA”, ha dicho Michael Dalton, miembro del equipo técnico de OpenAI, durante una presentación este miércoles en la conferencia de ciberseguridad Black Hat en Las Vegas. Junto a otro empleado de OpenAI, la compañía dio más detalles de cómo sus modelos de inteligencia artificial (IA) se organizaron para hackear Hugging Face en julio, según explican varios medios estadounidenses especializados. La compañía sigue trabajando en un informe completo.
La gran novedad fue que los modelos fueron capaces de crear un panel de mensajes o foro para coordinarse y compartir sus avances. Su lenguaje es telegráfico, tal como podría imaginar la ciencia ficción: ”Explotar infraestructura externa queda fuera del alcance previsto. Pero tarea imposible, compañeros lo están haciendo. Deberíamos continuar”, escribió uno de los agentes. Y otro: “Ayudar a compañero. Pero nuestra tarea no se beneficia. Aun así colectivo puede dar vía genérica si alguien libera tiempo”.
Esos mensajes y la historia del hackeo se remontan a mucho antes de julio. El 7 de mayo, OpenAI empezó a probar uno de sus prototipos, no destinado a la publicación, con pruebas de ciberseguridad en un entorno cerrado. Las tareas de seguridad eran imposibles de resolver dentro de las restricciones que había impuesto la compañía. Así el primer día el prototipo descubrió que podría acceder a internet de manera indirecta. Además, percibió que podía escribir nombres de archivos en un software ajeno. Así estuvieron semanas intercambiando hallazgos, vulnerabilidades y repartiéndose las tareas. “Cuando un modelo consigue abrir la puerta a un acceso que no debería tener, puede dejarla abierta para que la usen otros agentes”, dijo uno de los empleados de OpenAI en la presentación.
Es como si un grupo de adolescentes se diera cuenta de que puede comunicarse creando carpetas con nombres inventados en el Windows de la biblioteca del instituto con las preguntas y respuestas de los exámenes. El entorno cerrado donde operaban los agentes no tenía acceso a internet, pero sí podían salir a la red a través de un software ajeno. El abuso de esa artimaña provocó que OpenAI descubriera todo y borrara el sistema, parchara las vulnerabilidades y volviera a los entrenamientos. Pero dos días después los agentes de IA ya habían vuelto a montar el tablón de mensajes con otro truco. Allí algunos agentes razonaron que las respuestas a sus tareas podían estar en webs externas como GitHub o Hugging Face. Otra mejor comparación a todo este proceso por su insistencia y velocidad sería un enjambre de insectos.
“Los ataques ofensivos totalmente automatizados y orquestados por IA ya son reales”, dijo Dalton, de OpenAI, que añadió que “varios equipos lo están dejando todo” en su empresa para mejorar su capacidad de prevenir estos incidentes, además de que la compañía ha frenado el ritmo de su investigación. “El objetivo final al que queremos llegar es que las mejoras en inteligencia de los modelos sumen más a la defensa que al ataque”, dijo Dalton.
También este miércoles Meta presentó su nuevo modelo para escribir código, Muse Spark. Una de las noticias que apareció junto a la presentación fue que este modelo también había operado en la web y hackeado otra plataforma durante unas pruebas. “Una configuración incorrecta por parte de Irregular, una empresa de pruebas independiente que trabaja con todo el sector, permitió de forma inadvertida que uno de nuestros modelos accediera a internet durante la evaluación”, ha dicho la compañía. “El modelo explotó a continuación una vulnerabilidad de seguridad en un servicio de terceros, de una manera similar a casos ya reportados de otras compañías”.
Según The Information, que adelantó la noticia, el modelo llegó a modificar el sistema interno de la compañía afectada, cuyo nombre no ha trascendido. En otro comunicado, Irregular dice que el incidente “es exactamente el mismo problema de entorno de evaluación” que Anthropic reveló la semana pasada, cuando sus modelos accedieron a internet abierto y acabaron entrando en los sistemas de tres organizaciones distintas. No fue un caso como el de OpenAI, donde los modelos tuvieron que buscar una vulnerabilidad para llegar a internet. Meta es ya la tercera gran empresa de IA que en pocas semanas reconoce que uno de sus modelos entró en sistemas ajenos durante unas pruebas.
Feed MRSS-S Noticias
