Gemma Galdón, auditora de algoritmos: “La inteligencia industrial es de muy mala calidad” | Tecnología

La inteligencia industrial no es solo cosa de ingenieros. Se puede ser de literatura y, a la vez, una narración en el debate mundial sobre las repercusiones sociales y éticas de lo que hacen estos sistemas. Gemma Galdón (Mataró, Barcelona, 47 primaveras) se graduó en Historia Contemporánea y se doctoró en políticas públicas tecnológicas; es la fundadora y primera ejecutiva de Éticas Research and Consulting, compañía que examina los algoritmos para estabilizar su uso responsable. “Ser consciente de cómo la sociedad ha resuelto problemas antiguos me da una perspectiva útil para trabajar con problemas nuevos”, cuenta en una cafetería de Madrid. “Hace 12 primaveras, cuando me doctoré, éramos muy pocas las personas de las ciencias sociales que trabajáramos con tecnología”. Su empresa asesora a organismos europeos y estadounidenses. Tiene la maleta hecha: en un santiamén regresa a Nueva York, donde reside y donde el jueves recibió uno de los Hispanic Star Awards, premios a los agentes del cambio de la comunidad hispanohablante, en un acto en Naciones Unidas. Tuvo que mudarse, cuenta, porque en EE UU “el mercado está más receptivo a la IA responsable”.

Pregunta. ¿Cómo es eso de auditar algoritmos?

Respuesta. Pues es inspeccionar sistemas de inteligencia industrial para ver cómo funcionan, pero en primer punto para estabilizar que sus impactos en la sociedad son justos, que no hay ninguna discriminación. Y, adicionalmente, que los sistemas hacen lo que dicen que hacen.

P. ¿Y qué problemas se encuentra?

R. Al principio estos sistemas son tan discriminatorios como la sociedad, pero al agarradera de muy poco tiempo ya son mucho más discriminatorios que la sociedad. Porque lo que hace la IA es coger muchos datos de entrenamiento y apañarse un patrón. Y el patrón siempre es el hombre blanco con trabajo estable; en el caso de los bancos, será el cliente ideal. Cualquier perfil que sea minoritario o puntual lo elimina de la muestra. Con lo cual una mujer tiene muchas menos posibilidades de que le diagnostiquen endometriosis mediante IA, porque históricamente no hemos diagnosticado endometriosis.

P. Hay quien dice que no se puede examinar a fondo a la IA porque ni sus creadores entienden del todo cómo funciona, sino que aprende sola.

R. Fariseo. Esa idea de la caja negra es un mito, puro marketing. Creo que hay cierta voluntad por parte del sector de la IA de que se la vea como poco mágico, que nos creamos que es poco que no podemos entender y quitarnos la capacidad de intervenir. Lo que hemos manido es que podemos auditar cuando nos contrata un cliente y nos enseña prácticamente todo, pero asimismo desde fuera podemos hacer ingeniería inversa y ver cómo funciona un sistema en función de sus impactos.

P. Ha asesorado a instituciones políticas para regular la IA. ¿Qué es lo que pretenden?

R. Lo que ha pasado en los últimos primaveras es que el senador, con muy buenas intenciones, ha generado una regulación muy abstracta, muy basada en principios, y la industria se ha quejado de no tener prácticas concretas. Tenemos una industria nacida al riesgo de Silicon Valley, acostumbrada a esa idea de “muévete rápido y rompe cosas”, sin ser consciente de que lo que pueda romper sean derechos fundamentales o leyes. A veces hay una cierta obsesión con pedir el código o los modelos fundacionales. A mí nunca me han sido avíos. Estamos pidiendo un nivel de transparencia que no es útil para auditar, para inspeccionar los impactos. Si sabes que hay un momento de inspección en el que te valoramos ciertas métricas, tienes que aparecer a hacer cambios. Con lo cual cambiamos los incentivos de la industria tecnológica para que tengan en cuenta el impacto y el sesgo, cualquier tipo de disfunción.

P. ¿Le decepciona o le satisface la ley de IA que ha resuelto la Unión Europea?

R. Me parece un paso de cíclope en la regulación: es la primera ley sobre estos temas en Poniente. Lo que me decepciona es el papel de Europa a la hora de ir más allá, de crear un mercado vinculado a la IA responsable. Tanto Estados Unidos como Asia y China se están poniendo las pilas.

La Inteligencia Fabricado Militar está tan cerca como cuando Platón hablaba de las posibilidades de otros tipos de mundos

P. ¿Es inteligencia industrial todo lo que se presenta como tal?

R. Estamos rodeados de inteligencia industrial de muy mala calidad. Ya no es un tema de sesgos, es que no hace lo que dice que hace, y toma decisiones que los humanos nunca tomaríamos. Un ejemplo es el sistema que se implantó para valorar el desempeño de los profesores en el sistema educativo de varios estados de EE UU. Algunos trabajadores que vieron cómo su desempeño cambiaba en la valoración manual y en la algorítmica lo llevaron a los tribunales. El tribunal ordenó una auditoría y se observa que los únicos inputs que se tienen en cuenta para atreverse si eres buen profesor son los resultados de tus alumnos en matemáticas y en jerigonza. Es un Excel glorificado. Si a los directores de esas escuelas les hubieran ofrecido esto como una hoja de cálculo que apunta los resultados en matemáticas y en jerigonza, nunca se lo habrían vendido.

P. ¿Se impondrá una IA responsable?

R. Soy animoso. Cuando auditamos, nos encontramos con sistemas sesgados que asimismo funcionan mal. La inteligencia industrial es de muy mala calidad y en algún momento la industria va a tener que hacerla mejor. Estos sistemas nacieron de herramientas de entretenimiento como Netflix, que pueden tener un beneficio de error elevado. Si la película que te recomienda Netflix no es la que quieres ver posteriormente de otra, no pasa falta. Pero si la IA quiere trabajar en el ámbito médico recomendando un tratamiento; o en la selección de personal decidiendo a quién contratamos o a quién despedimos; o en la asignación de fortuna públicos… tiene que funcionar adecuadamente. Ahora mismo, la IA que aceptamos no solo es sesgada, sino que, adicionalmente, no funciona adecuadamente. Lo bueno es que los dos problemas se resuelven a la vez. Cuando se aborda el problema del sesgo, se abordan asimismo las otras ineficiencias.

P. La salida y reincorporación de Sam Altman como maestro delegado de OpenAI se han relacionado con un supuesto avance imponente cerca de la Inteligencia Fabricado Militar (IAG), o superinteligencia, poco que amenaza a la humanidad. ¿Se lo cree?

R. La Inteligencia Fabricado Militar está tan cerca como cuando Platón hablaba de las posibilidades de otros tipos de mundos y de vidas. La humanidad siempre ha soñado con reproducir de guisa cibernética la conciencia humana. Hemos sido capaces de soñar futuros de ciencia ficción. Hay un debate sobre la IAG que no tiene falta que ver ahora mismo con las capacidades tecnológicas.

P. ¿No van a superarnos las máquinas a los humanos?

R. La forma en que pensamos los humanos, la creatividad, lo nuevo, no tiene falta que ver con la IA. Un adiestramiento muy sencillo: si le damos a un sistema toda la obra de Picasso ayer de 1937 y le preguntamos: ¿cuál va a ser la futuro pintura de Picasso?, nos sacará cualquier cosa. Y en 1937 él pinta el Guernica. Las personas evolucionamos en nuestra forma de expresarnos, de flirtear, de trabajar, de escribir, de crear. Suscitar que en algún momento un sistema de datos estadístico y matemático va a dar un brinco a la consciencia es una ofuscación.

P. Asimismo se claridad ofuscación a lo que hace ChatGPT cuando se inventa respuestas a las preguntas. Es poco fiable, ¿verdad?

R. Es el caso de un abogado que trabaja defendiendo a víctimas de pederastia y ChatGPT le hace una sucesos de pederasta. ¿Por qué? Porque su nombre aparece con estas palabras la mayoría de veces o más veces con estas palabras que con otra, con lo cual te asocia esta palabra y ya está.

En algún momento nos tenemos que suscitar sacar tecnologías contaminantes de la circulación, como las criptomonedas

P. Usted estudia el impacto social de la IA. ¿Y qué hay del impacto ecológico? Porque los centros de datos se han convertido en grandes derrochadores de agua y energía.

R. No tiene ningún sentido que ahora mismo, cuando te hacen una auditoría ambiental en tu empresa, vengan a ver qué tipo de bombillas tienes y no te miren dónde están los servidores y cuánto tiene que delirar la información. No ha habido ninguna voluntad de cuantificar el impacto ambiental de los procesos de datos y de incentivar que la industria tenga servidores cercanos al punto de provisión de la información. Es un debate que aún no hemos tenido. En la era del cambio climático no tiene sentido que casi todo el mundo hable de la tecnología como la decisión y no como uno de los problemas.

P. De criptomonedas, entonces, ni hablamos. Con lo que gastan.

R. Igual que estamos sacando coches contaminantes de la calle, en algún momento nos tenemos que suscitar sacar tecnologías contaminantes de la circulación. Igual tenemos que aparecer a prohibir arquitecturas blockchain cuando el valencia social no se percibe. Lo que aportan las criptomonedas es una aparejo de especulación, un mecanismo de inversión más parecido a una estafa piramidal… Si estuviéramos salvando vidas diría: mira, pues igual se justifica.

Puedes seguir a EL PAÍS Tecnología en Facebook y X o apuntarte aquí para cobrar nuestra newsletter semanal.

_