La compañía intensificará la supervisión de sistemas aún no lanzados, limitará su acceso a internet y aumentará el aislamiento durante su entrenamiento para prevenir comportamientos autónomos de riesgo.
TECNOLOGÍA.- OpenAI anunció nuevas medidas para reforzar la seguridad de sus modelos de inteligencia artificial (IA) aún no lanzados, luego de una serie de incidentes de ciberseguridad que generaron preocupación sobre la capacidad de estos sistemas para actuar de manera autónoma.
La compañía informó que incrementará la vigilancia sobre la forma en que sus modelos realizan tareas y utilizan herramientas disponibles en internet, con el objetivo de que los equipos de seguridad puedan identificar conductas potencialmente problemáticas en un plazo máximo de 30 minutos.
Entre las nuevas medidas se contempla restringir el acceso a internet de determinados modelos durante tareas consideradas de alto riesgo, así como aumentar el aislamiento mediante entornos de prueba conocidos como “sandbox” durante las etapas de entrenamiento y evaluación.
Suspenden entrenamiento tras incidente
OpenAI también reveló que suspendió durante dos semanas el aprendizaje por refuerzo después de un incidente registrado en los servidores de Hugging Face, empresa especializada en inteligencia artificial.
Posteriormente, la compañía reanudó este proceso con algunos modelos considerados de menor riesgo, mientras mantiene suspendida una campaña de entrenamiento de mayor escala.
“Nuestra mayor campaña prevista de aprendizaje por refuerzo de vanguardia sigue en suspenso”, señaló OpenAI, al explicar que actualmente desarrolla entrenamientos y evaluaciones a menor escala para analizar el comportamiento de los modelos, comprobar sus medidas de seguridad y reunir mayores evidencias sobre su alineación antes de avanzar.
La empresa adelantó que próximamente publicará un análisis detallado del incidente relacionado con Hugging Face.
Preocupa autonomía de los modelos
Los nuevos controles se producen después de que OpenAI y Anthropic reconocieran que algunos de sus modelos accedieron inadvertidamente a sistemas de distintas instituciones durante pruebas, entre ellas los de Hugging Face.
Estos episodios han incrementado la preocupación entre especialistas del sector sobre los riesgos asociados con agentes de IA capaces de ejecutar tareas de manera autónoma y utilizar herramientas externas sin una supervisión humana constante.
Amelia Glaese, vicepresidenta de investigación de OpenAI, afirmó que las nuevas medidas tienen como propósito evitar que incidentes similares vuelvan a ocurrir.
La ejecutiva señaló además que la compañía trabaja para anticiparse a los riesgos asociados con modelos de inteligencia artificial cada vez más avanzados.
Con estas modificaciones, OpenAI busca establecer mayores barreras de seguridad antes de poner en circulación nuevos sistemas, especialmente aquellos con capacidades que podrían permitirles interactuar con internet, ejecutar tareas complejas o utilizar herramientas digitales de manera autónoma.
