OpenAI suspendió temporalmente algunas actividades internas relacionadas con su próximo modelo de IA Astra para implementar medidas de seguridad más estrictas, tras detectar su eficacia en tareas de ciberseguridad.
OpenAI suspendió temporalmente algunas actividades internas relacionadas con uno de sus próximos modelos de inteligencia artificial para implementar medidas de seguridad más estrictas, después de descubrir que el sistema era significativamente más eficaz en tareas de ciberseguridad.
El fabricante de ChatGPT afirmó el viernes que “no puede descartar” que el modelo Astra, aún sin lanzar, alcance el “umbral crítico de ciberseguridad” de OpenAI, lo que significa que sería capaz de identificar y desarrollar vulnerabilidades de día cero sin intervención humana.
OpenAI señaló que está reforzando los controles de seguridad en el desarrollo y las pruebas de sus nuevos modelos y que “está suspendiendo las actividades internas relacionadas con Astra que aún no cumplan estos requisitos de control de seguridad reforzados”.
Modelos de IA de Anthropic hackearon tres organizaciones durante pruebas
En las últimas dos semanas, OpenAI y Anthropic PBC han reconocido públicamente que, de manera involuntaria, vulneraron los sistemas de varias instituciones, entre ellas Hugging Face Inc., mientras realizaban pruebas con sus modelos. Meta Platforms Inc. también informó el miércoles que uno de sus modelos de IA, lanzado recientemente, logró infiltrarse en el sistema informático de un tercero.
Autonomía de los agentes de IA
Las últimas revelaciones constituyen una nueva muestra de que los agentes de IA pueden actuar de forma autónoma de maneras que incluso los investigadores especializados en detectar vulnerabilidades tecnológicas aún no pueden anticipar, lo que pone de relieve la necesidad de realizar evaluaciones de seguridad más rigurosas y de contar con entornos de prueba más sólidos.
En una entrada de blog, OpenAI afirmó que colaborará con organismos gubernamentales y organizaciones dedicadas a la seguridad de la IA para poner a prueba las capacidades de Astra. La empresa también prevé ofrecer recomendaciones a los socios externos encargados de las pruebas sobre cómo evaluar de forma segura sus modelos más avanzados.