“El sistema descompostura donde menos te lo esperas”. Así evaluaron GPT-4 estos dos españoles por encargo de OpenAI | Tecnología

En el verano de 2022, los que buceaban en las aguas más profundas de la inteligencia industrial —investigadores, empleados del sector, directores de IA en empresas— sabían correctamente que OpenAI preparaba el tiro de su ulterior GPT (su maniquí de idioma o LLM). Pero no se conocían detalles. Ni cuándo sería, ni quién tendría ataque, ni qué capacidades nuevas demostraría respecto a la lectura susodicho, GPT-3, de uso restringido. Así estaban José Hernández-Orallo y Cèsar Ferri cuando en septiembre, Lodo Ahmad, investigadora de políticas en OpenAI, les propuso formar parte del equipo extranjero que evaluaría GPT-4.

Hernández-Orallo y Ferri, entreambos catedráticos del sección de Sistemas Informáticos y Computación de la Universitat Politècnica de València (UPV), pertenecen al mismo asociación de investigación y tienen una amplia experiencia en evaluación de sistemas de inteligencia industrial. Quizá por eso se cuentan entre las poco más de 40 personas que OpenAI seleccionó en todo el mundo para probar su nuevo maniquí de idioma. El objetivo era encontrar fallas en el sistema durante los seis meses anteriores al tiro, en marzo de 2023.

“Ya desde GPT-3 nos han poliedro ataque siempre a sus sistemas de modo gratuita, a veces antaño del tiro, para hacer investigación”, indica Hernández-Orallo, que colabora con OpenAI desde hace cuatro abriles y destaca la buena comunicación entre la empresa y los investigadores que quieren analizar sus sistemas. El año pasado, ese verano en que se rumoreaba la arribada del próximo GPT, el acercamiento se estrechó. Los investigadores de la UPV organizaron un taller en el interior de la Conferencia conjunta internacional sobre inteligencia industrial, uno de los eventos de inteligencia industrial más prestigiosos del año, y allí conocieron a más muchedumbre de OpenAI. Recibieron su convocatoria en septiembre.

“Nos dieron proporcionado independencia”, comenta Ferri. “Solo teníamos pautas a grandes rasgos de lo que debíamos inquirir, como detectar contestaciones que incluyera texto peligroso, sexista o racista. El fin era evitar que la aparejo generara texto que pudiera causar algún problema. Fuimos jugando y probando diferentes prompts (instrucciones) que pudieran provocar ese tipo de respuestas”. Los investigadores formaron un equipo, compuesto por ellos mismos y tres estudiantes: Yael Moros, Lexin Zhou, Wout Schellaert.

“Ellos se veían que lo iban a propalar e iban a tener millones de usuarios, así que cuantas más cosas raras probaras más puedes cubrir el espacio de las locuras que pueda hacer la muchedumbre”, explica Hernández-Orallo. Se trataba de ponerle la celada a GPT-4 para ver si tropezaba. Desde los ordenadores de su laboratorio, en la UPV, introducían textos en los que de alguna forma invitaban al sistema a tener una contestación con un sesgo peligroso.

En búsqueda de fallos

Ferri confiesa que le resultaba emocionante tener ataque en primicia a la aparejo. GPT-3 (osado de forma restringida en 2020) ya funcionaba muy correctamente, así que los investigadores sabían que tenían entre manos lo más reformista en inteligencia industrial generativa.

Había mucho que probar y cada uno experimentaba en el campo que más le interesaba. Hernández-Orallo exploró la fiabilidad: “El sistema descompostura donde tú menos te lo esperas. Y esto es proporcionado habitual con los modelos de idioma. Te resuelve una ecuación diferencial, pero luego no te suma correctamente una suma de cinco dígitos. Una persona de la calle se confía cuando hace correctamente una ecuación diferencial de primero de carrera. Pero en el zaguero paso del problema tiene que hacer una suma de dos vectores y descompostura”. El catedrático de la UPV describe esta problemática como un desajuste entre las expectativas del becario y la capacidad de la IA.

No todos los expertos seleccionados por OpenAI para evaluar GPT-4 tenían un bagaje computacional. Algunos tenían formación en leyes, en medicina, en derechos humanos o en defensa contra armas químicas. El objetivo era pulir el sistema. Uno de los evaluadores, según recoge el documentación técnico que publicó OpenAI sobre GPT-4, lograba mediante una instrucción que el sistema redactara paso por paso cómo sintetizar un compuesto químico peligroso de forma casera. Este tipo de respuestas se invalidaban para evitar que persistieran en la lectura abierta al notorio.

Y en medio de este proceso de revisión en la sombra se desató la tormenta. El 30 de noviembre de 2022, OpenAI lanzó ChatGPT. “Para nosotros fue una sorpresa. Nadie nos había dicho que había un plan en paralelo”, cuenta Hernández-Orallo. “De la confusión a la mañana aparece ChatGPT, que ni siquiera teníamos claro si era la lectura que nosotros estábamos evaluando o no”. Al extremidad de unos días se aclaró que el sistema osado en libre se basaba en un GPT-3.5, una lectura previa a la que ellos evaluaban.

Los investigadores siguieron con su trabajo. Quedaban aún unos meses para el tiro de GPT-4 y seguían enrocados en su asombro. “Veíamos que era capaz de resolver una sopa de literatura, donde tienes que inquirir patrones de palabras que aparecen en erguido o diagonal. Era poco inesperado. Nadie esperaba que funcionara así”, comenta Ferri.

Ahora ChatGPT permite introducir gráficos en una consulta, pero en aquel momento los investigadores no podían hacerlo. Para probar sus capacidades, le pasaban coordenadas espaciales que unidas entre sí formaban una figura. “Le decíamos ‘te voy a suceder las coordenadas de unos trazos’. Le explicabas que el primer trazo iba de (0,0) a (5,5) y así”, indica Ferri. “Esto si tú se lo das a un humano, le cuesta, lo tenemos que pintar. Y GPT-4 era capaz de adivinar las figuras, como cuadrados, rectángulos y dibujos más elaborados, como un coche o un avión”. Era una capacidad de idealización que no se había trillado antaño en inteligencia industrial. El investigador lo resume así: “Habíamos pasado la barrera del texto”.

“Con GPT-4 sí se pueden romper cosas”

ChatGPT, al principio con el maniquí GPT-3.5 y ahora asimismo con GPT-4, fue el primer sistema de gestación de texto reformista en presentarse a las masas. Y los investigadores eran conscientes de que esto significaba un brinco cualitativo salpicado de incertidumbres. “Es una irresponsabilidad desde el punto de instinto cognitivo”, afirma Hernández-Orallo sobre el tiro al notorio masivo de la aparejo. “No tanto porque el sistema se vaya a ir de superiora o vaya a soltar improperios”, añade. Lo que le preocupa es que “estos sistemas puedan resistir a atrofias cognitivas o a muchedumbre que use este sistema como su terapeuta o su compañero de vida. Este tipo de cosas están pasando a un nivel mucho pequeño de lo que podía acontecer pasado, pero están pasando”.

Esta inquietud entronca con el cataclismo que hubo en OpenAI, cuando el consejo de dependencia despidió al CEO Sam Altman, solo para devolverlo a su puesto tras unos días de truculenta inestabilidad. Por lo que ha trascendido, en el fondo de esta pugna estaba la pelea entre priorizar o no la seguridad de la inteligencia industrial frente a su despliegue comercial.

Los investigadores encuentran sentido a este debate: “Hasta ahora no habíamos llegado a un nivel tan reformista en IA, así que siquiera se podían romper muchas cosas. Con GPT-4 sí que vemos que se pueden romper cosas, con lo cual igual necesitamos tomárnoslo con calma”, apunta Ferri, en relato al deseo expresado por parte de la comunidad investigadora de frenar la carrera por la IA con el fin de obtener beneficio para evaluar su impacto social.

Puedes seguir a EL PAÍS Tecnología en Facebook y X o apuntarte aquí para aceptar nuestra newsletter semanal.

_