Sesgos en las redes neuronales

“Yo no uso las cosas que no sé cómo funcionan”, le oí decir una vez al filósofo Leonardo Polo. Me pareció un poco exagerado, pero la sabiduría de esta aseveración me parece cada vez más clara. Y es que no se trata de tener el nivel de entendimiento del experto —porque esto haría imposible usar casi cualquier cosa y obligaría a renunciar a la especialización que tantos beneficios nos ha traído—, sino que consiste en entender a un nivel, digamos, “filosófico” el funcionamiento de lo que nos rodea, de las cosas que usamos, del ambiente en que vivimos. Se trata de no ser consumidores ciegos de lo que se nos ofrece, solo porque nos parece atractivo.

Son muchas las cosas que merecen ser mejor entendidas antes de usarlas. Sin embargo, quisiera concentrarme hoy en la llamada inteligencia artificial. Gran parte del debate se ha centrado en el peligro de perder los puestos de trabajo, lo que es, sin duda, una preocupación muy válida; pero hay también un problema cercano, real y presente que son lo sesgos (prejuicios) que tienen estos sistemas inteligentes.

Una forma relativamente evidente de que esto suceda se presenta cuando el programador, consciente o no ello, incluye sus sesgos al escribir el programa. Si, digamos, cree que un tipo de personas no debe desempeñar ciertas tareas importantes, esto llevara al programa a las mismas conclusiones y recomendaciones a las que llegaría su programador.

Pero hay una forma más sutil y peligrosa. Estamos acostumbrados a pensar en programas de computador como pasos secuenciales que son escritos por programadores y que luego son seguidos rígidamente por el computador. Intuitivamente, da la sensación de que el resultado es predecible, de que se entiende qué hace el programa. Sin embargo, este no es el caso con las redes neuronales. A un nivel muy básico estas redes van “aprendiendo” (ajustando sus parámetros) conforme comparan unos datos de ingreso con otros de salida, por ejemplo, fotos de perros y gatos. Poco a poco la red se va ajustando y cada vez es más efectiva en distinguir una foto de un perro de una de un gato. Este ajuste no lo hace un programador, sino el propio programa lo hace automáticamente mediante ensayo y error.

Ahora bien, si la red se entrena con información sesgada, los ajustes que hará esa red para distinguir un perro de un gato serán sesgados. Si las fotos, por ejemplo, no incluyen perros con orejas puntiagudas, el sistema inferirá que todo animal con orejas puntiagudas es un gato. Es importante entender que ningún programador le “dijo” al programa eso, simplemente el programa automáticamente lo dedujo.

Estas situaciones son las que llevan a que, por ejemplo, un programa que ayude en selección de personal pueda inferir, erradamente, que una mujer está menos capacitada para un cargo de alta dirección, sencillamente porque la base de datos en la que se ha entrenado tiene un número muy bajo de mujeres en cargos de alta dirección. Nuevamente, nadie programó así el sistema, no hay un programador machista detrás de este sesgo, sino una sociedad que tiene pocas mujeres en estos cargos.

Este ejemplo puede parecer muy directo e incluso fácil de corregir. Pero hay otros más sutiles, casi imperceptibles. Puede ser el nombre del candidato al cargo o la dirección de su residencia lo que le indique, erradamente, al programa que esta no es la persona adecuada, y algo así es muy difícil de deducir por el usuario humano. Podríamos decir que el programa encuentra relaciones estadísticas que los humanos desconocemos y las aplica veladamente sin que lo sepamos, pero con consecuencias reales que, además, pueden llevar a un círculo vicioso.

El peligro adicional es que tendemos a considerar objetivos los resultados cuando los presenta un computador. Si una persona de recursos humanos nos presenta tres candidatos hombres y ninguna mujer para un cargo importante, quizá sospechemos que algo puede estar pasando, quizá pidamos revisar el proceso. Pero si esos mismos resultados nos los presenta el análisis costoso de un programa de alta tecnología que, además, ostenta el sobrenombre de “inteligencia artificial”, es más probable que los aceptemos sin rechistar.

Agreguemos a todo esto que es muy probable que los programas que usemos sean desarrollados en otros países y que por tanto importemos sesgos.

Vale, pues, la pena entender qué programas estamos usando y no dejar de tener un ojo crítico sobre sus resultados.

*Profesor de INALDE Business School.

“Yo no uso las cosas que no sé cómo funcionan”, le oí decir una vez al filósofo Leonardo Polo. Me pareció un poco exagerado, pero la sabiduría de esta aseveración me parece cada vez más clara. Y es que no se trata de tener el nivel de entendimiento del experto —porque esto haría imposible usar casi cualquier cosa y obligaría a renunciar a la especialización que tantos beneficios nos ha traído—, sino que consiste en entender a un nivel, digamos, “filosófico” el funcionamiento de lo que nos rodea, de las cosas que usamos, del ambiente en que vivimos. Se trata de no ser consumidores ciegos de lo que se nos ofrece, solo porque nos parece atractivo.

Son muchas las cosas que merecen ser mejor entendidas antes de usarlas. Sin embargo, quisiera concentrarme hoy en la llamada inteligencia artificial. Gran parte del debate se ha centrado en el peligro de perder los puestos de trabajo, lo que es, sin duda, una preocupación muy válida; pero hay también un problema cercano, real y presente que son lo sesgos (prejuicios) que tienen estos sistemas inteligentes.

Una forma relativamente evidente de que esto suceda se presenta cuando el programador, consciente o no ello, incluye sus sesgos al escribir el programa. Si, digamos, cree que un tipo de personas no debe desempeñar ciertas tareas importantes, esto llevara al programa a las mismas conclusiones y recomendaciones a las que llegaría su programador.

Pero hay una forma más sutil y peligrosa. Estamos acostumbrados a pensar en programas de computador como pasos secuenciales que son escritos por programadores y que luego son seguidos rígidamente por el computador. Intuitivamente, da la sensación de que el resultado es predecible, de que se entiende qué hace el programa. Sin embargo, este no es el caso con las redes neuronales. A un nivel muy básico estas redes van “aprendiendo” (ajustando sus parámetros) conforme comparan unos datos de ingreso con otros de salida, por ejemplo, fotos de perros y gatos. Poco a poco la red se va ajustando y cada vez es más efectiva en distinguir una foto de un perro de una de un gato. Este ajuste no lo hace un programador, sino el propio programa lo hace automáticamente mediante ensayo y error.

Ahora bien, si la red se entrena con información sesgada, los ajustes que hará esa red para distinguir un perro de un gato serán sesgados. Si las fotos, por ejemplo, no incluyen perros con orejas puntiagudas, el sistema inferirá que todo animal con orejas puntiagudas es un gato. Es importante entender que ningún programador le “dijo” al programa eso, simplemente el programa automáticamente lo dedujo.

Estas situaciones son las que llevan a que, por ejemplo, un programa que ayude en selección de personal pueda inferir, erradamente, que una mujer está menos capacitada para un cargo de alta dirección, sencillamente porque la base de datos en la que se ha entrenado tiene un número muy bajo de mujeres en cargos de alta dirección. Nuevamente, nadie programó así el sistema, no hay un programador machista detrás de este sesgo, sino una sociedad que tiene pocas mujeres en estos cargos.

Este ejemplo puede parecer muy directo e incluso fácil de corregir. Pero hay otros más sutiles, casi imperceptibles. Puede ser el nombre del candidato al cargo o la dirección de su residencia lo que le indique, erradamente, al programa que esta no es la persona adecuada, y algo así es muy difícil de deducir por el usuario humano. Podríamos decir que el programa encuentra relaciones estadísticas que los humanos desconocemos y las aplica veladamente sin que lo sepamos, pero con consecuencias reales que, además, pueden llevar a un círculo vicioso.

El peligro adicional es que tendemos a considerar objetivos los resultados cuando los presenta un computador. Si una persona de recursos humanos nos presenta tres candidatos hombres y ninguna mujer para un cargo importante, quizá sospechemos que algo puede estar pasando, quizá pidamos revisar el proceso. Pero si esos mismos resultados nos los presenta el análisis costoso de un programa de alta tecnología que, además, ostenta el sobrenombre de “inteligencia artificial”, es más probable que los aceptemos sin rechistar.

Agreguemos a todo esto que es muy probable que los programas que usemos sean desarrollados en otros países y que por tanto importemos sesgos.

Vale, pues, la pena entender qué programas estamos usando y no dejar de tener un ojo crítico sobre sus resultados.

*Profesor de INALDE Business School.