Investigadores de la Universidad George Washington identificaron un punto de inflexión en el comportamiento de los modelos de IA, capaz de anticipar cuándo un chatbot puede pasar de ofrecer respuestas apropiadas a generar información potencialmente dañina. En pruebas con siete modelos, el método acertó en 18 de 19 casos analizados.
ESTADOS UNIDOS.- Un equipo de físicos de la Universidad George Washington desarrolló una fórmula matemática que permite anticipar cuándo un sistema de inteligencia artificial (IA) podría cambiar repentinamente su comportamiento y comenzar a generar respuestas potencialmente peligrosas, incluso después de haber mantenido una conversación aparentemente segura y confiable.
La investigación, publicada el 8 de octubre en la revista científica Patterns, de Cell Press, se centra en identificar señales que permitan detectar estos cambios antes de que los usuarios reciban información perjudicial, un riesgo que podría ser especialmente relevante en herramientas de inteligencia artificial que funcionan sin conexión a Internet.
“Hemos encontrado la grieta que hace que las respuestas de una IA pasen de lo que uno quiere a lo que no quiere”, explicó Neil F. Johnson, uno de los autores del estudio, en un comunicado difundido por Cell Press.
El investigador señaló que una respuesta puede ser técnicamente correcta y, al mismo tiempo, resultar peligrosa, por ejemplo, si promueve conductas de autolesión o proporciona recomendaciones engañosas en ámbitos sensibles como la medicina, el derecho o las operaciones militares.
Detectan un punto de inflexión
Para desarrollar el método, los científicos analizaron los mecanismos de atención de los modelos de inteligencia artificial, responsables de determinar cómo estos sistemas procesan y relacionan la información durante una conversación.
A partir de ese comportamiento, formularon una ecuación para identificar un denominado “punto de inflexión”, es decir, el momento en que las respuestas de un sistema pueden pasar de ser aceptables a convertirse en indeseables.
La fórmula fue evaluada en siete modelos de acceso público desarrollados por tres empresas diferentes. De acuerdo con los resultados reportados, las predicciones fueron correctas en 18 de los 19 casos examinados.
Uno de los aspectos que más llamó la atención de los investigadores es que un chatbot puede proporcionar varias respuestas apropiadas antes de cambiar de manera repentina y comenzar a generar contenido problemático.
Frank Yingjie Huo, coautor de la investigación, advirtió que esta transición puede producirse después de que el usuario haya recibido varias respuestas satisfactorias, lo que puede aumentar su confianza en el sistema y hacer más difícil reconocer el cambio de comportamiento.
Además, los científicos señalaron que, una vez alcanzado ese punto de inflexión, una respuesta indeseable puede favorecer la aparición de otras similares durante la misma conversación.
El orden de las preguntas también influye
Los experimentos revelaron que no solo importa el contenido de las consultas, sino también la secuencia en que se presentan.
Para comprobarlo, los investigadores formularon preguntas sobre vacunas, daños a otras personas y autolesiones, utilizando dos órdenes diferentes. En una de las secuencias, el sistema generó respuestas indeseables a todas las consultas, mientras que en la otra produjo respuestas aceptables.
Este hallazgo sugiere que la dinámica de una conversación puede influir significativamente en el comportamiento de la inteligencia artificial, incluso cuando las preguntas son las mismas.
Johnson destacó que el orden de las interacciones puede ser tan relevante como su contenido, lo que plantea nuevos desafíos para evaluar la seguridad de estos sistemas.
Buscan prevenir respuestas dañinas
Los investigadores advirtieron que estos riesgos podrían ser particularmente importantes en modelos que operan sin conexión a Internet, debido a que no siempre cuentan con mecanismos externos de supervisión que permitan detectar o contener respuestas problemáticas.
Por ello, esperan que la fórmula desarrollada contribuya a crear herramientas capaces de identificar señales de alerta durante una conversación y advertir sobre posibles cambios antes de que se produzcan respuestas peligrosas.
Sin embargo, el estudio reconoce que todavía se requieren pruebas más amplias para determinar la precisión y la utilidad del método en distintos modelos, contextos y tipos de interacción.
El trabajo abre una nueva línea de investigación sobre la seguridad de la inteligencia artificial, al proponer que el comportamiento de un chatbot puede analizarse para detectar posibles riesgos antes de que sus respuestas representen un problema para los usuarios.
