El cerebro humano tiene una propiedad esencia que hace posible el lengua y nos permite elaborar pensamientos sofisticados: la propagación composicional. Es la tacto de combinar de forma novedosa principios ya conocidos con otros que se acaban de ilustrarse. Por ejemplo, una vez que un párvulo sabe saltar, entiende perfectamente qué significa saltar con las manos en lo alto o con los luceros cerrados. En la período de 1980 se teorizó que las redes neuronales artificiales, el motor en el que se apoyan la inteligencia industrial y el educación maquinal, serían incapaces de establecer esas conexiones. Un artículo publicado en la revista Nature ha demostrado que sí pueden, lo que abre potencialmente un gran campo de prosperidad en la disciplina.
Los autores del estudio han desarrollado un renovador método de entrenamiento, que han falsificado como metaaprendizaje para composicionalidad (meta-learning for compositionality, en el diferente en inglés), en el que se actualiza constantemente la red neuronal y se la dirige a través de una serie de episodios para que sea capaz de relacionar experiencias. Después, realizaron experimentos con voluntarios a los que se les sometió a las mismas pruebas que a las máquinas. Los resultados muestran que la máquina fue capaz de internacionalizar tan admisiblemente o mejor que las personas.
“Durante 35 abriles, los investigadores de la ciencia cognitiva, la inteligencia industrial, la gramática y la filosofía han debatido si las redes neuronales pueden conseguir una propagación sistemática similar a la humana. Hemos probado por primera vez que sí”, afirma Brenden Lake, profesor adjunto del Centro de Ciencia de Datos y del Unidad de Psicología de la NYU y uno de los autores del trabajo.
Los grandes modelos de lengua, como ChatGPT, son capaces de ocasionar textos coherentes y admisiblemente estructurados a partir de las instrucciones que se les dé. El problema es que, antaño de presentarse a ser capaces de hacerlo, se les tiene que entrenar con una cantidad ingente de datos. Es asegurar, se procesan extensísimas bases de datos y se desarrollan algoritmos de inteligencia industrial o educación maquinal (machine learning) que sean capaces de extraer patrones y aprendan, por ejemplo, que hay una altísima probabilidad de que a las palabras “El césped es de color” las siga la palabra “verde”.
Estos procesos de entrenamiento son lentos y muy costosos en términos energéticos. Para entrenar un maniquí como ChatGPT, que tiene en cuenta más de 175.000 millones de parámetros, hace desatiendo mucha capacidad computacional. Esto es, varios centros de datos (naves industriales llenas de ordenadores) funcionando día y confusión durante semanas o meses.
“Nosotros proponemos una decisión parcial a este problema que se apoyo en una idea de las ciencias cognitivas”, explica por teléfono Ámbito Baroni, investigador del ICREA y profesor del unidad de Traducción y Lenguas Sociales de la Universitat Pompeu Fabra de Barcelona y coautor del estudio. “Los humanos podemos ilustrarse muy rápidamente porque tenemos la prerrogativa de la propagación composicional. Es asegurar, que si yo nunca he oreja la frase ‘saltar dos veces’, pero sí sé qué es ‘saltar’ y qué es ‘dos veces’, lo puedo entender. Eso no es capaz de hacerlo ChatGPT”, señala Baroni. La utensilio sino de OpenAI ha tenido que ilustrarse qué es saltar una vez, saltar dos veces, cantar una vez, cantar dos veces…
El tipo de entrenamiento propuesto por Lake y Baroni puede servir para que los grandes modelos de lengua aprendan a internacionalizar con menos datos de entrenamiento. El sucesivo paso, dice Baroni, es demostrar que su cuestionario es escalable. Ya han probado que funciona en un contexto de laboratorio; ahora toca hacerlo con un maniquí conversacional. “No tenemos ataque a ChatGPT, que es un producto propiedad de OpenAI, pero hay muchos modelos más pequeños y muy potentes desarrollados por centros académicos. Usaremos alguno de ellos”, subraya Baroni.
Una de las intenciones de los autores es, de hecho, “democratizar la inteligencia industrial”. El hecho de que los grandes modelos de lengua necesiten enormes cantidades de datos y de potencia de cálculo limita la cantidad de proveedores a un puñado de empresas con la infraestructura necesaria: Microsoft, Google, Amazon, Meta, etcétera. Si la propuesta de Lake y Baroni demuestra su valía entrenando este tipo de modelos, se abriría la puerta a que operadores más modestos puedan desarrollar sus propios sistemas y que estos no tengan mínimo que envidiar a ChatGPT o Bard.
El avance presentado por estos dos científicos puede ser de utilidad asimismo en otras disciplinas. “Brenan y yo venimos del campo de la psicología gramática. No creemos que las máquinas piensen como los seres humanos, pero sí que entender cómo funcionan las máquinas puede decirnos poco acerca de cómo lo hacen los humanos”, destaca Baroni. “De hecho, demostramos que cuando nuestro sistema se equivoca, el error no es tan obeso como los de ChatGPT, sino que son parecidos a los de las personas”.
Así ha sucedido, por ejemplo, con un laudo relacionado con la iconicidad, un engendro en gramática presente en todas las lenguas del mundo por el que si se dice A y B, salgo de casa y voy a engullir, eso quiere asegurar que antaño salgo y luego voy a engullir. “En tareas de tipo positivo, si le enseñas al sujeto humano que, cuando se dice A y B, el orden correcto es B y A, suele acaecer fallos. Ese tipo de error asimismo lo hace nuestro sistema”, ilustra el investigador italiano.
¿Qué trayecto puede tener el método ideado por Lake y Baroni? Todo dependerá de qué suceda cuando se pruebe con grandes modelos de lengua. “No sabría asegurar si es una columna de investigación que vaya a ofrecer grandes avances a corto o medio plazo”, opina Teodoro Calonge, profesor Titular del unidad de Informática en la Universidad de Valladolid, quien ha revisado el código usado en los experimentos. Y añade, en declaraciones a la plataforma SMC España: “Desde luego, no creo que vaya a dar respuesta a los interrogantes que actualmente se plantean en el campo de la explicabilidad de la inteligencia industrial y, en particular, en el campo de la inteligencia industrial”.
Puedes seguir a EL PAÍS Tecnología en Facebook y X o apuntarte aquí para cobrar nuestra newsletter semanal.
Creditos a Manu González Pascual
Fuente
