La IA y la sociedad, ¿es ChatGPT la respuesta, o parte del problema?

Cada cierto tiempo aparece una tecnología que nos plantea preguntas, incluso existenciales y futuristas. La del momento es ChatGPT. ¿Cómo cambian las actividades humanas si el computador te responde en forma creíble a cualquier pregunta? ¿Cuál es el futuro de las tareas escolares? ¿Cuántas profesiones desaparecerán? Hoy me interesa en especial reflexionar sobre su uso para tomar decisiones en materia de derechos.

ChatGPT es una herramienta que podemos ubicar en el campo de la inteligencia artificial. Su nombre significa Generative Pre-trained Transformer y es un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para diversas tareas relativas a la “comprensión” y generación del lenguaje. En la práctica permite chatear con un computador en forma natural consiguiendo respuestas que suenan muy exactas y en muchos casos convincentes.

Open AI, la empresa que desarrolló ChatGPT, dice que este modelo interactúa conversacionalmente. El formato de diálogo hace posible que ChatGPT conteste a preguntas de seguimiento, admita sus errores, desafíe premisas incorrectas o rechace preguntas inapropiadas –según lo que sus desarrolladores consideran inapropiado–, siendo esto solo la punta del iceberg.

Por ejemplo, usé ChatGPT en esta columna en un par de formas, la primera, pidiéndole que sugiriera un título. Me ofreció varias opciones de donde escogí una que no me pareció especialmente creativa, es más bien descriptiva. A juzgar por esa respuesta la capacidad de ofrecer títulos interesantes está a salvo como una virtud humana. La segunda ayuda la verán más adelante, esa me pareció más interesante.

Que una máquina haga diálogos que hacen sentido, asusta. Hasta ahora nuestra interacción más cotidiana es con los chatbots de atención al cliente de las empresas. Esa experiencia puede llegar a ser desesperante porque sus opciones de respuesta son limitadas. Al menos a mí pocas veces me resuelven el problema que tengo.

ChatGPT en cambio produce interacciones razonables tanto que ha despertado el ánimo cancelador en universidades por ejemplo, porque –de nuevo- los y las estudiantes tienen una herramienta para hacer tareas y responder exámenes usando “copy-paste”. Chat GPT es el nuevo “rincón del vago” y esto en lugar de cuestionar y retar al sistema educativo para repensar sus sistemas pedagógicos y de evaluación, lo que abre es una nueva veta de negocio e incentiva la cultura policiva. La misma Open AI ya anunció una herramienta para detectar texto generado por modelos de IA, no solo saltando de primera en este nuevo nicho, sino actuando como juez y parte.

Pero, es fácil demonizar a la tecnología, en lugar de recordar que son herramientas y que lo que importa es entender para qué sirven, para qué no, qué usos peligrosos permite y cuáles son los riesgos a mitigar o regular, según el caso.

ChatGPT puede tener usos interesantes en materia creativa por ejemplo. son muchas las posibilidades a explotar desde el arte. Eso sí deberá enfrentar desafíos en materia de propiedad intelectual, éticos y económicos –retará esquemas de compensación, por ejemplo–, pero como herramienta de creación es equivalente a una cámara de fotos cuya inserción también fue muy polémica.

En la práctica ChatGPT -al menos por ahora- es un asistente con limitaciones. No se pueden usar sus respuestas sin desconfiar, sin verificar, especialmente si van a ser la base para tomar decisiones importantes como aquellas de las que se derivan consecuencias legales. En estos casos recordemos que la responsabilidad sigue siendo de la persona y por tanto le corresponde a ella verificar el resultado.

Ese fue el cuestionamiento que le hicieron al juez de Cartagena que falló en primera instancia una tutela usando esta herramienta. Primero, puedo simpatizar con el juez, la tutela está concebida para motivaciones sencillas, y si la rama debe fallar más de 600 mil tutelas al año, comprendo que busquen herramientas que apoyen el proceso, pero no pueden hacerlo sin entender lo que hacen, su alcance y habiendo medido su impacto.

Esto lo dice hasta el propio ChatGPT, cuando le preguntamos ¿cuáles son las implicaciones de que un juez use ChatGPT en sus sentencias?, respondió: “El uso de ChatGPT por un juez en sus sentencias podría tener varias implicaciones, algunas de las cuales incluyen:

1. Bias [sesgo]: ChatGPT es entrenado con un gran corpus de texto, lo que significa que puede replicar los prejuicios y las actitudes presentes en ese corpus. Si el juez utiliza ChatGPT para ayudar en la toma de decisiones, esto podría perpetuar o exacerbar cualquier sesgo presente en el modelo.
2. Falta de transparencia: ChatGPT es un sistema basado en “black box”, lo que significa que su funcionamiento interno es difícil de entender y explicar. Si un juez utiliza ChatGPT para ayudar en la toma de decisiones, podría ser difícil para los partidos involucrados entender y cuestionar los procesos subyacentes que llevaron a esa decisión.
3. Legalidad: La utilización de ChatGPT en el ámbito jurídico podría plantear cuestiones legales, como la responsabilidad por los errores o decisiones incorrectas tomadas por el modelo, y la validez de las sentencias basadas en la ayuda de ChatGPT.
4. Desconfianza en el sistema judicial: La utilización de ChatGPT en el ámbito jurídico podría generar desconfianza en el sistema judicial y en la capacidad de los jueces para tomar decisiones justas y equitativas.

En general, es importante considerar cuidadosamente las implicaciones éticas y legales antes de utilizar ChatGPT o cualquier otro sistema basado en inteligencia artificial en un contexto jurídico”.

Dentro de las afirmaciones que hace ese fallo de tutela no aparecen algunas citas que debían estar y allí donde da referencias o citas se encontraron errores. El uso de la tecnología para tomar decisiones que van a definir y a tener efectos en el ejercicio de derechos de las personas no puede ser tomado a la ligera. El ensayo del juez no solo merece rechazo, ojalá la Corte la seleccione y dé su opinión.

Por ejemplo, hace poco la Corte, en una sentencia de unificación, dio la orden al Consejo Superior de la Judicatura sobre cómo llevar los expedientes digitales para mitigar los riesgos que implican. Es urgente que la rama judicial desarrolle lineamientos para el uso de este tipo de herramientas y para ello deberá entender los riesgos y explicar los límites.

Seguramente en unos días escribo algo sobre el show que un Tribunal del Magdalena montó con la primera audiencia ¡en el Metaverso! Por ahora, si esta es la aproximación al uso de la tecnología en la justicia, parece guiarse en el uso de herramientas por moda más que por el interés general.

Por cierto, puestos a pedir se podría pedir también que la Corte dé más detalles sobre Pretoria (la herramienta tecnológica que usa la Corte Constitucional para seleccionar tutelas en materia de salud) que permita a cualquiera evaluar sus resultados, las decisiones que ha tomado la Corte sobre ella, entender su impacto y hacia dónde va.

Cada cierto tiempo aparece una tecnología que nos plantea preguntas, incluso existenciales y futuristas. La del momento es ChatGPT. ¿Cómo cambian las actividades humanas si el computador te responde en forma creíble a cualquier pregunta? ¿Cuál es el futuro de las tareas escolares? ¿Cuántas profesiones desaparecerán? Hoy me interesa en especial reflexionar sobre su uso para tomar decisiones en materia de derechos.

ChatGPT es una herramienta que podemos ubicar en el campo de la inteligencia artificial. Su nombre significa Generative Pre-trained Transformer y es un modelo de lenguaje autorregresivo que emplea aprendizaje profundo para diversas tareas relativas a la “comprensión” y generación del lenguaje. En la práctica permite chatear con un computador en forma natural consiguiendo respuestas que suenan muy exactas y en muchos casos convincentes.

Open AI, la empresa que desarrolló ChatGPT, dice que este modelo interactúa conversacionalmente. El formato de diálogo hace posible que ChatGPT conteste a preguntas de seguimiento, admita sus errores, desafíe premisas incorrectas o rechace preguntas inapropiadas –según lo que sus desarrolladores consideran inapropiado–, siendo esto solo la punta del iceberg.

Por ejemplo, usé ChatGPT en esta columna en un par de formas, la primera, pidiéndole que sugiriera un título. Me ofreció varias opciones de donde escogí una que no me pareció especialmente creativa, es más bien descriptiva. A juzgar por esa respuesta la capacidad de ofrecer títulos interesantes está a salvo como una virtud humana. La segunda ayuda la verán más adelante, esa me pareció más interesante.

Que una máquina haga diálogos que hacen sentido, asusta. Hasta ahora nuestra interacción más cotidiana es con los chatbots de atención al cliente de las empresas. Esa experiencia puede llegar a ser desesperante porque sus opciones de respuesta son limitadas. Al menos a mí pocas veces me resuelven el problema que tengo.

ChatGPT en cambio produce interacciones razonables tanto que ha despertado el ánimo cancelador en universidades por ejemplo, porque –de nuevo- los y las estudiantes tienen una herramienta para hacer tareas y responder exámenes usando “copy-paste”. Chat GPT es el nuevo “rincón del vago” y esto en lugar de cuestionar y retar al sistema educativo para repensar sus sistemas pedagógicos y de evaluación, lo que abre es una nueva veta de negocio e incentiva la cultura policiva. La misma Open AI ya anunció una herramienta para detectar texto generado por modelos de IA, no solo saltando de primera en este nuevo nicho, sino actuando como juez y parte.

Pero, es fácil demonizar a la tecnología, en lugar de recordar que son herramientas y que lo que importa es entender para qué sirven, para qué no, qué usos peligrosos permite y cuáles son los riesgos a mitigar o regular, según el caso.

ChatGPT puede tener usos interesantes en materia creativa por ejemplo. son muchas las posibilidades a explotar desde el arte. Eso sí deberá enfrentar desafíos en materia de propiedad intelectual, éticos y económicos –retará esquemas de compensación, por ejemplo–, pero como herramienta de creación es equivalente a una cámara de fotos cuya inserción también fue muy polémica.

En la práctica ChatGPT -al menos por ahora- es un asistente con limitaciones. No se pueden usar sus respuestas sin desconfiar, sin verificar, especialmente si van a ser la base para tomar decisiones importantes como aquellas de las que se derivan consecuencias legales. En estos casos recordemos que la responsabilidad sigue siendo de la persona y por tanto le corresponde a ella verificar el resultado.

Ese fue el cuestionamiento que le hicieron al juez de Cartagena que falló en primera instancia una tutela usando esta herramienta. Primero, puedo simpatizar con el juez, la tutela está concebida para motivaciones sencillas, y si la rama debe fallar más de 600 mil tutelas al año, comprendo que busquen herramientas que apoyen el proceso, pero no pueden hacerlo sin entender lo que hacen, su alcance y habiendo medido su impacto.

Esto lo dice hasta el propio ChatGPT, cuando le preguntamos ¿cuáles son las implicaciones de que un juez use ChatGPT en sus sentencias?, respondió: “El uso de ChatGPT por un juez en sus sentencias podría tener varias implicaciones, algunas de las cuales incluyen:

1. Bias [sesgo]: ChatGPT es entrenado con un gran corpus de texto, lo que significa que puede replicar los prejuicios y las actitudes presentes en ese corpus. Si el juez utiliza ChatGPT para ayudar en la toma de decisiones, esto podría perpetuar o exacerbar cualquier sesgo presente en el modelo.
2. Falta de transparencia: ChatGPT es un sistema basado en “black box”, lo que significa que su funcionamiento interno es difícil de entender y explicar. Si un juez utiliza ChatGPT para ayudar en la toma de decisiones, podría ser difícil para los partidos involucrados entender y cuestionar los procesos subyacentes que llevaron a esa decisión.
3. Legalidad: La utilización de ChatGPT en el ámbito jurídico podría plantear cuestiones legales, como la responsabilidad por los errores o decisiones incorrectas tomadas por el modelo, y la validez de las sentencias basadas en la ayuda de ChatGPT.
4. Desconfianza en el sistema judicial: La utilización de ChatGPT en el ámbito jurídico podría generar desconfianza en el sistema judicial y en la capacidad de los jueces para tomar decisiones justas y equitativas.

En general, es importante considerar cuidadosamente las implicaciones éticas y legales antes de utilizar ChatGPT o cualquier otro sistema basado en inteligencia artificial en un contexto jurídico”.

Dentro de las afirmaciones que hace ese fallo de tutela no aparecen algunas citas que debían estar y allí donde da referencias o citas se encontraron errores. El uso de la tecnología para tomar decisiones que van a definir y a tener efectos en el ejercicio de derechos de las personas no puede ser tomado a la ligera. El ensayo del juez no solo merece rechazo, ojalá la Corte la seleccione y dé su opinión.

Por ejemplo, hace poco la Corte, en una sentencia de unificación, dio la orden al Consejo Superior de la Judicatura sobre cómo llevar los expedientes digitales para mitigar los riesgos que implican. Es urgente que la rama judicial desarrolle lineamientos para el uso de este tipo de herramientas y para ello deberá entender los riesgos y explicar los límites.

Seguramente en unos días escribo algo sobre el show que un Tribunal del Magdalena montó con la primera audiencia ¡en el Metaverso! Por ahora, si esta es la aproximación al uso de la tecnología en la justicia, parece guiarse en el uso de herramientas por moda más que por el interés general.

Por cierto, puestos a pedir se podría pedir también que la Corte dé más detalles sobre Pretoria (la herramienta tecnológica que usa la Corte Constitucional para seleccionar tutelas en materia de salud) que permita a cualquiera evaluar sus resultados, las decisiones que ha tomado la Corte sobre ella, entender su impacto y hacia dónde va.