Cuando el sistema no tiene la razón

“Confiamos en que las máquinas nos entregan un mundo más eficiente. Y esto es cierto para muchas cosas. Pero, a pesar de toda su velocidad y pragmatismo, hoy nos damos cuenta de que muchas cosas es preferible dejarlas en manos humanas. Una de las grandes tensiones de nuestra era será cómo diseñamos sistemas, modelos y algoritmos que no saquen a la gente de la ecuación”.

Alethea Lange trabaja en el Centro para la Democracia y la Tecnología (CDT), una institución estadounidense dedicada a investigar los cruces entre tecnología y derechos fundamentales. Su foco de análisis son los algoritmos y, en general, la aplicación de fórmulas matemáticas en la vida diaria.

Con el auge de compañías como Google y Facebook, algoritmo se ha convertido en una palabra de uso medianamente común: ¿quién decide cuáles son los resultados en el buscador? ¿Cómo sabe Netflix qué recomendarme? ¿Cómo se calcula el puntaje de crédito de cientos de miles de usuarios de un banco? La respuesta para todo es algoritmos, en mayor o menor medida.

Con los algoritmos hay una paradoja que resulta interesante, pero a la vez peligrosa, y cuyas implicaciones serán cada vez más profundas en todas las sociedades y en todos los sectores de ellas: a medida que su uso se vuelve más común, que más empresas los utilizan para resolver operaciones diarias, que más personas son conscientes de su presencia, sus métodos de funcionamiento se tornan más opacos. ¿Alguien sabe cómo funciona un algoritmo? La pregunta merece un corolario, ¿alguien que no sea un matemático lo sabe?

“Esto es un problema porque, a medida que los algoritmos gobiernan más partes de nuestra vida, es cada vez más necesario saber cómo operan, pero también tener mecanismos para pelear contra ellos, para debatir sus juicios, para apelar sus decisiones”, dice Lange.

La premisa básica es que un algoritmo no es un equivalente directo de justicia e imparcialidad, principalmente porque es una creación humana y los humanos no somos ninguna de las anteriores. “Las aplicaciones matemáticas que alimentan la economía de la información se basan en elecciones hechas por humanos falibles. (…) Muchos de estos modelos tienen codificados los prejuicios, sesgos y la ignorancia de las personas en sistemas de software que manejan crecientemente nuestras vidas”.

Cathy O’Neil es doctora en matemáticas de Harvard y en un punto de su carrera llegó al sistema financiero, uno de las grandes aspiradoras de este tipo de profesionales, como analista cuantitativa. Esta es una denominación que, en pocas palabras, cobija a quienes diseñan los algoritmos que deciden contra quién se apuesta su fondo de pensiones o su crédito hipotecario. Toda apuesta implica el riesgo de pérdida, pero para 2008 esto significó el colapso del mercado inmobiliario en Estados Unidos y, en general, de una economía global altamente conectada.

Para O’Neil, esto fue suficiente. Dejó su trabajo y se transformó en una suerte de activista contra la forma como se construyen los modelos y los algoritmos que definen qué profesores deben perder su trabajo en Washington, en Estados Unidos, o qué probabilidad tiene una persona de reincidir en un crimen. Sus observaciones están consignadas en Weapons of Math Destruction, un libro que el año pasado arrasó en ventas porque explica, con conocimiento de causa y en un lenguaje simple, un tema tan complicado como vital.

“Cuanto más complejo se vuelve un modelo es más complicado encontrar responsables, personas que respondan por qué no soy elegible para recibir fianza cuando soy arrestado o para obtener un crédito hipotecario. La respuesta no puede ser ‘es el sistema’ porque, en últimas, el sistema es una persona o un grupo de ellas. Alguien diseña esto y cuando lo hace bajo ciertos preceptos se pueden crear desbalances”, argumenta Lange del CDT.

O’Neil señala un punto básico: “Siempre habrá errores porque los modelos son, por naturaleza, simplificaciones”. Y la simplificación conlleva el riesgo inherente de crear desbalances. El punto es que los desbalances de un algoritmo pueden pasar desapercibidos o ser imposibles de solucionar. Muchos de estos desarrollos son algunas de las piezas de propiedad intelectual más valiosas, y resguardadas, del mundo. Hoy, la fórmula de la Coca-Cola puede no ser el secreto industrial mejor guardado del mundo, sino el algoritmo con el cual Google ordena y ofrece una narrativa de nuestro mundo.

Lange se pregunta: “¿Qué pasa cuando sistemas públicos toman decisiones bajo un sistema diseñado por un privado? No se obtienen respuestas de cómo un algoritmo presenta sus resultados, que, a la larga, puede tener efectos como la imposibilidad para conseguir un trabajo. No sé si estemos en este punto aún, pero un algoritmo de uso público debería tener niveles de transparencia públicos o ser diseñado en las mismas instituciones que lo usan”.

Hay varias razones para el creciente uso de algoritmos, pero quizá su mayor beneficio es su eficiencia. Un sistema puede analizar miles de hojas de vida y seleccionar los candidatos más deseables para un empleo o, como lo dice O’Neil, sopesar una gran cantidad de variables de una persona y decidir si el banco le debe prestar dinero o no. Y todos estos procesos se hacen en una escala impensable, 24 horas, toda la semana, sin pagar horas extras o parafiscales.

Pero la misma O’Neil advierte que las armas de destrucción matemática (weapons of math destruction, el término en inglés) suelen privilegiar al privilegiado, otra forma de decir “tienden a castigar al pobre. Esto, en parte, porque están diseñadas para evaluar grandes grupos de personas. Se especializan en la masa y son baratas. Ese es parte de su atractivo. Los adinerados, en cambio, se suelen beneficiar del contacto personal”.

Lange hace eco de esta idea al decir que “el toque personal está reservado para unos pocos, que suelen ser los más pudientes. Para todos los demás están la máquina y el sistema que toma decisiones y evalúa. Cuando el gerente de una multinacional va a pedir un crédito, lo recibe el gerente del banco y hay una negociación personal, no lo dejan con un funcionario en una ventanilla tecleando detrás de un vidrio”.

“Confiamos en que las máquinas nos entregan un mundo más eficiente. Y esto es cierto para muchas cosas. Pero, a pesar de toda su velocidad y pragmatismo, hoy nos damos cuenta de que muchas cosas es preferible dejarlas en manos humanas. Una de las grandes tensiones de nuestra era será cómo diseñamos sistemas, modelos y algoritmos que no saquen a la gente de la ecuación”.

Alethea Lange trabaja en el Centro para la Democracia y la Tecnología (CDT), una institución estadounidense dedicada a investigar los cruces entre tecnología y derechos fundamentales. Su foco de análisis son los algoritmos y, en general, la aplicación de fórmulas matemáticas en la vida diaria.

Con el auge de compañías como Google y Facebook, algoritmo se ha convertido en una palabra de uso medianamente común: ¿quién decide cuáles son los resultados en el buscador? ¿Cómo sabe Netflix qué recomendarme? ¿Cómo se calcula el puntaje de crédito de cientos de miles de usuarios de un banco? La respuesta para todo es algoritmos, en mayor o menor medida.

Con los algoritmos hay una paradoja que resulta interesante, pero a la vez peligrosa, y cuyas implicaciones serán cada vez más profundas en todas las sociedades y en todos los sectores de ellas: a medida que su uso se vuelve más común, que más empresas los utilizan para resolver operaciones diarias, que más personas son conscientes de su presencia, sus métodos de funcionamiento se tornan más opacos. ¿Alguien sabe cómo funciona un algoritmo? La pregunta merece un corolario, ¿alguien que no sea un matemático lo sabe?

“Esto es un problema porque, a medida que los algoritmos gobiernan más partes de nuestra vida, es cada vez más necesario saber cómo operan, pero también tener mecanismos para pelear contra ellos, para debatir sus juicios, para apelar sus decisiones”, dice Lange.

La premisa básica es que un algoritmo no es un equivalente directo de justicia e imparcialidad, principalmente porque es una creación humana y los humanos no somos ninguna de las anteriores. “Las aplicaciones matemáticas que alimentan la economía de la información se basan en elecciones hechas por humanos falibles. (…) Muchos de estos modelos tienen codificados los prejuicios, sesgos y la ignorancia de las personas en sistemas de software que manejan crecientemente nuestras vidas”.

Cathy O’Neil es doctora en matemáticas de Harvard y en un punto de su carrera llegó al sistema financiero, uno de las grandes aspiradoras de este tipo de profesionales, como analista cuantitativa. Esta es una denominación que, en pocas palabras, cobija a quienes diseñan los algoritmos que deciden contra quién se apuesta su fondo de pensiones o su crédito hipotecario. Toda apuesta implica el riesgo de pérdida, pero para 2008 esto significó el colapso del mercado inmobiliario en Estados Unidos y, en general, de una economía global altamente conectada.

Para O’Neil, esto fue suficiente. Dejó su trabajo y se transformó en una suerte de activista contra la forma como se construyen los modelos y los algoritmos que definen qué profesores deben perder su trabajo en Washington, en Estados Unidos, o qué probabilidad tiene una persona de reincidir en un crimen. Sus observaciones están consignadas en Weapons of Math Destruction, un libro que el año pasado arrasó en ventas porque explica, con conocimiento de causa y en un lenguaje simple, un tema tan complicado como vital.

“Cuanto más complejo se vuelve un modelo es más complicado encontrar responsables, personas que respondan por qué no soy elegible para recibir fianza cuando soy arrestado o para obtener un crédito hipotecario. La respuesta no puede ser ‘es el sistema’ porque, en últimas, el sistema es una persona o un grupo de ellas. Alguien diseña esto y cuando lo hace bajo ciertos preceptos se pueden crear desbalances”, argumenta Lange del CDT.

O’Neil señala un punto básico: “Siempre habrá errores porque los modelos son, por naturaleza, simplificaciones”. Y la simplificación conlleva el riesgo inherente de crear desbalances. El punto es que los desbalances de un algoritmo pueden pasar desapercibidos o ser imposibles de solucionar. Muchos de estos desarrollos son algunas de las piezas de propiedad intelectual más valiosas, y resguardadas, del mundo. Hoy, la fórmula de la Coca-Cola puede no ser el secreto industrial mejor guardado del mundo, sino el algoritmo con el cual Google ordena y ofrece una narrativa de nuestro mundo.

Lange se pregunta: “¿Qué pasa cuando sistemas públicos toman decisiones bajo un sistema diseñado por un privado? No se obtienen respuestas de cómo un algoritmo presenta sus resultados, que, a la larga, puede tener efectos como la imposibilidad para conseguir un trabajo. No sé si estemos en este punto aún, pero un algoritmo de uso público debería tener niveles de transparencia públicos o ser diseñado en las mismas instituciones que lo usan”.

Hay varias razones para el creciente uso de algoritmos, pero quizá su mayor beneficio es su eficiencia. Un sistema puede analizar miles de hojas de vida y seleccionar los candidatos más deseables para un empleo o, como lo dice O’Neil, sopesar una gran cantidad de variables de una persona y decidir si el banco le debe prestar dinero o no. Y todos estos procesos se hacen en una escala impensable, 24 horas, toda la semana, sin pagar horas extras o parafiscales.

Pero la misma O’Neil advierte que las armas de destrucción matemática (weapons of math destruction, el término en inglés) suelen privilegiar al privilegiado, otra forma de decir “tienden a castigar al pobre. Esto, en parte, porque están diseñadas para evaluar grandes grupos de personas. Se especializan en la masa y son baratas. Ese es parte de su atractivo. Los adinerados, en cambio, se suelen beneficiar del contacto personal”.

Lange hace eco de esta idea al decir que “el toque personal está reservado para unos pocos, que suelen ser los más pudientes. Para todos los demás están la máquina y el sistema que toma decisiones y evalúa. Cuando el gerente de una multinacional va a pedir un crédito, lo recibe el gerente del banco y hay una negociación personal, no lo dejan con un funcionario en una ventanilla tecleando detrás de un vidrio”.