¿Y si los carros autónomos no ven el signo Pare?

A pesar de su impresionante progreso en el dominio de las tareas humanas, la inteligencia artificial tiene un bochornoso secreto: es sorprendentemente fácil de engañar. Esto podría ser un gran problema a medida que asume una responsabilidad cada vez mayor por las vidas y los sustentos de las personas.

(Lea también: La conducción autónoma aún tiene un largo camino por delante) 

Gracias a los avances en las redes neuronales y el "aprendizaje profundo", los algoritmos informáticos ahora pueden vencer a los mejores jugadores humanos en juegos como Go, o reconocer animales y objetos en fotos. En el futuro previsible, es probable que asuman todo tipo de tareas mundanas, desde llevar a las personas al trabajo hasta administrar inversiones. Al ser menos propensos que los humanos a cometer errores, también podrían manejar tareas delicadas como el control de tráfico aéreo o escanear equipaje en busca de explosivos.

Pero en los últimos años, los científicos informáticos se han encontrado con algunas vulnerabilidades preocupantes. Cambios sutiles en una imagen, tan insignificantes que ningún ser humano los notaría siquiera, pueden hacer que un algoritmo vea algo que no está allí. Podría percibir ametralladoras colocadas sobre una mesa como un helicóptero o un gato atigrado como guacamole. Inicialmente, los investigadores necesitaban estar íntimamente familiarizados con un algoritmo para crear esos "ejemplos adversos". Últimamente, sin embargo, han descubierto cómo hacerlo sin ningún conocimiento interno.

(También le puede interesar: Así va Uber en la carrera por el desarrollo de carros autónomos)

Los algoritmos de reconocimiento de voz son igualmente vulnerables. En su sitio web, el científico informático Nicholas Carlini entrega algunos ejemplos alarmantes: una pequeña distorsión de una muestra de audio de cuatro segundos del Réquiem de Verdi induce al sistema de reconocimiento de voz de Google a transcribirlo como "Okay Google, browse to Evil.com" (que en español sería algo como "Ok Google, busca en Evil.com"). Los oídos humanos ni siquiera notan la diferencia. Adaptando el ruido ligeramente, dice Carlini, es fácil hacer que Google transcriba lenguaje hablado como cualquier cosa que desee, sin importar cuán diferente parezca.

No es difícil imaginar cómo estos trucos podrían usarse para fines nefastos. Las cámaras de vigilancia podrían ser engañadas para identificar a la persona equivocada -de hecho, a cualquier persona deseada- como delincuente. Modificaciones indistinguibles en un signo "Pare" podrían hacer que las computadoras de un automóvil autónomo lo lean como "Límite de velocidad 80". Música con sonido inofensivo podría hackear teléfonos cercanos y entregar comandos para enviar mensajes de texto o correos electrónicos con información delicada.

No hay una solución fácil. Los investigadores aún tienen que idear una estrategia de defensa exitosa. Incluso el objetivo menor de ayudar a los algoritmos a identificar ejemplos adversos (en lugar de burlarlos) ha sido difícil de lograr. En un trabajo reciente, Carlini y David Wagner, ambos de la Universidad de California, Berkeley, probaron 10 esquemas de detección propuestos durante el año pasado y descubrieron que todos podían evadirse. En su forma actual, la inteligencia artificial parece extremadamente frágil.

Hasta que se encuentre una solución, la gente tendrá que ser muy cautelosa al traspasar facultades y responsabilidades a las máquinas inteligentes. En una entrevista, Carlini sugirió que investigación adicional podría ayudarnos a saber dónde, cuándo y cómo podemos implementar algoritmos de forma segura, y también nos informará sobre soluciones que no sean de inteligencia artificial que podamos necesitar para mantenerlos seguros. Es posible que los vehículos autónomos necesiten restricciones aplicadas por otros sensores que podrían, por ejemplo, evitar que choquen con un objeto, independientemente de lo que la cámara del auto crea que ve.

La buena noticia es que los científicos identificaron el riesgo a tiempo, antes de que los humanos comenzáramos a confiar demasiado en la inteligencia artificial. Si los ingenieros prestan atención, podríamos al menos ser capaces de evitar que la tecnología haga cosas completamente locas.

A pesar de su impresionante progreso en el dominio de las tareas humanas, la inteligencia artificial tiene un bochornoso secreto: es sorprendentemente fácil de engañar. Esto podría ser un gran problema a medida que asume una responsabilidad cada vez mayor por las vidas y los sustentos de las personas.

(Lea también: La conducción autónoma aún tiene un largo camino por delante) 

Gracias a los avances en las redes neuronales y el "aprendizaje profundo", los algoritmos informáticos ahora pueden vencer a los mejores jugadores humanos en juegos como Go, o reconocer animales y objetos en fotos. En el futuro previsible, es probable que asuman todo tipo de tareas mundanas, desde llevar a las personas al trabajo hasta administrar inversiones. Al ser menos propensos que los humanos a cometer errores, también podrían manejar tareas delicadas como el control de tráfico aéreo o escanear equipaje en busca de explosivos.

Pero en los últimos años, los científicos informáticos se han encontrado con algunas vulnerabilidades preocupantes. Cambios sutiles en una imagen, tan insignificantes que ningún ser humano los notaría siquiera, pueden hacer que un algoritmo vea algo que no está allí. Podría percibir ametralladoras colocadas sobre una mesa como un helicóptero o un gato atigrado como guacamole. Inicialmente, los investigadores necesitaban estar íntimamente familiarizados con un algoritmo para crear esos "ejemplos adversos". Últimamente, sin embargo, han descubierto cómo hacerlo sin ningún conocimiento interno.

(También le puede interesar: Así va Uber en la carrera por el desarrollo de carros autónomos)

Los algoritmos de reconocimiento de voz son igualmente vulnerables. En su sitio web, el científico informático Nicholas Carlini entrega algunos ejemplos alarmantes: una pequeña distorsión de una muestra de audio de cuatro segundos del Réquiem de Verdi induce al sistema de reconocimiento de voz de Google a transcribirlo como "Okay Google, browse to Evil.com" (que en español sería algo como "Ok Google, busca en Evil.com"). Los oídos humanos ni siquiera notan la diferencia. Adaptando el ruido ligeramente, dice Carlini, es fácil hacer que Google transcriba lenguaje hablado como cualquier cosa que desee, sin importar cuán diferente parezca.

No es difícil imaginar cómo estos trucos podrían usarse para fines nefastos. Las cámaras de vigilancia podrían ser engañadas para identificar a la persona equivocada -de hecho, a cualquier persona deseada- como delincuente. Modificaciones indistinguibles en un signo "Pare" podrían hacer que las computadoras de un automóvil autónomo lo lean como "Límite de velocidad 80". Música con sonido inofensivo podría hackear teléfonos cercanos y entregar comandos para enviar mensajes de texto o correos electrónicos con información delicada.

No hay una solución fácil. Los investigadores aún tienen que idear una estrategia de defensa exitosa. Incluso el objetivo menor de ayudar a los algoritmos a identificar ejemplos adversos (en lugar de burlarlos) ha sido difícil de lograr. En un trabajo reciente, Carlini y David Wagner, ambos de la Universidad de California, Berkeley, probaron 10 esquemas de detección propuestos durante el año pasado y descubrieron que todos podían evadirse. En su forma actual, la inteligencia artificial parece extremadamente frágil.

Hasta que se encuentre una solución, la gente tendrá que ser muy cautelosa al traspasar facultades y responsabilidades a las máquinas inteligentes. En una entrevista, Carlini sugirió que investigación adicional podría ayudarnos a saber dónde, cuándo y cómo podemos implementar algoritmos de forma segura, y también nos informará sobre soluciones que no sean de inteligencia artificial que podamos necesitar para mantenerlos seguros. Es posible que los vehículos autónomos necesiten restricciones aplicadas por otros sensores que podrían, por ejemplo, evitar que choquen con un objeto, independientemente de lo que la cámara del auto crea que ve.

La buena noticia es que los científicos identificaron el riesgo a tiempo, antes de que los humanos comenzáramos a confiar demasiado en la inteligencia artificial. Si los ingenieros prestan atención, podríamos al menos ser capaces de evitar que la tecnología haga cosas completamente locas.