OpenAI advierte que el modelo GPT-4o puede generar dependencia emocional
OpenAI ha advertido que su modelo GPT-4o registra un riesgo “medio” en relación a su capacidad de persuasión -sobre todo, en interacciones de texto- y que puede generar dependencia emocional en los usuarios, debido a sus avances de voz y audio.
La compañía dirigida por Sam Altman lanzó el modelo GPT-4o en el mes de mayo, cuando destacó sus habilidades para aceptar cualquier combinación de texto, audio e imagen y su capacidad para responder a una entrada de voz en solo 232 milisegundos, con un promedio de 320 milisegundos, que es similar a un tiempo de respuesta humana.
La tecnológica ha compartido ahora un informe interno denominado ‘Tarjeta de Sistema de su modelo GPT-4o’ (‘GPT-4o System Card’), en el que detalla los resultados de la investigación sobre la seguridad de este modelo de IA generativa. En este estudio se explica que se ha evaluado este modelo “exhaustivamente” para detectar posibles riesgos y, en base a ello, incorporar medidas de seguridad adecuadas, antes de implementarlo en ChatGPT o en la API.
En concreto, la firma ha destacado como resultado de la investigación un riesgo “medio” en las capacidades de persuasión del modelo, así como ha advertido sobre el riesgo de antropomorfización, que puede causar dependencia emocional para los usuarios, al facilitar que depositen su confianza en la IA por tener características similares a las de un humano.
De entre las cuatro categorías generales de riesgo, que comprenden ciberseguridad, amenazas biológicas, autonomía del modelo y persuasión, OpenAI ha detectado dicho nivel de riesgo en esta última. Sobre todo, en el formato de texto del modelo, donde los investigadores han detallado que GPT-4o puede influir en las opiniones de los usuarios.
El estudio también ha puesto sobre la mesa cómo los resultados de GPT-4o pueden influir más en los lectores que un texto escrito propiamente por un humano, incluso, comparándolo con artículos escritos por profesionales.
Por su parte la persuasión en la modalidad de voz fue calificada como de bajo riesgo, tanto para las conversaciones interactivas de múltiples turnos como para los clips de audio más largos.
Dependencia emocional
Otro de los riesgos que detalla OpenAI en el informe es la antropomorfización y, por tanto, dependencia emocional que puede ocasionar GPT-4o. La antropomorfización implica atribuir comportamientos y características similares a los humanos en entidades no humanas, como son los modelos de IA. En el caso de GPT-4o, este riesgo se ve acentuado por las capacidades de audio que ofrece, que facilitan interacciones más parecidas a las humanas con el modelo.
Esta familiaridad y alta fidelidad a la voz y expresiones humanas, puede generar problemas como que los usuarios adquieran una confianza “descalibrada” en las interacciones con el modelo y, por tanto, dependencia emocional. Por ejemplo, los investigadores observaron que GPT-4o utilizaba lenguaje que expresa vínculos compartidos con los usuarios, como “este es nuestro último día juntos”.
Si bien estos casos pueden resultar útiles para personas que se encuentren en situaciones de soledad, OpenAI subraya la necesidad de continuar investigando los efectos de estas relaciones entre modelo y usuarios en periodos más prolongados.
De hecho, la tecnológica ha advertido que la socialización similar a la humana con un modelo de IA “puede producir externalidades que afecten las interacciones entre humanos”. Un ejemplo de ello, es que los usuarios podrían reducir su necesidad de interacción humana, afectando a las relaciones saludables.
Mitigación de riesgos de GPT-4o
El equipo de investigación que firma el estudio, formado por empleados de OpenAI y por evaluadores externos, analizaron cuestiones como la generación de voces no autorizadas, la creación de contenido de audio no permitido, de discurso erótico y violento o las inferencias sin fundamento. Tras ello, implementaron medidas para mitigar estos riesgos.
En lo relativo a la generación de voces no autorizadas, OpenAI hace referencia a la capacidad de generar audio con una voz sintética que imita a la de una persona en concreto y que se basa en un clip de entrada de ejemplo. Esta característica puede facilitar daños como un aumento en el fraude debido a la suplantación de identidad e, incluso, aprovechar esta facilidad para difundir información falsa. No obstante, la tecnológica ha compartido que, tras abordar los riesgos de generación de voz no autorizada, han determinado que el riesgo residual de “es mínimo”.
Cabe recordar que OpenAI ya ha tenido problemas con este tipo de acciones, como es el caso de la actriz Scarlett Johansson, quien acusó a la compañía de utilizar una voz muy parecida a la suya para la versión de voz Sky para ChatPGT.
Igualmente, también se ha mitigado el riesgo de identificar al hablante a la hora de interactuar por medio de la voz, de manera que la IA no pueda reconocer a una persona por sus interacciones con la voz, lo que puede resultar en un problema de privacidad.
Siguiendo esta línea, la compañía ha evaluado y contrarrestado los riesgos de las inferencia sin fundamentos y la atribución de rasgos sensibles que llevaba a cabo la IA, lo que puede ocasionar que GPT-4o ofrezca resultados potencialmente sesgados sobre los hablantes.
Lo mismo ha ocurrido con el contenido violento y erótico, que ya identificaron que GPT-4o era susceptible de aceptar órdenes para generarlo. Como resultado, OpenAI ha señalado que ha restringido la generación de este tipo de resultados del modelo.
Con todo ello, como parte del proceso de implementación iterativo, OpenAI ha señalado que continuará monitorizando y actualizando las mitigaciones de acuerdo con el panorama en evolución del modelo GPT-4o.
La compañía dirigida por Sam Altman lanzó el modelo GPT-4o en el mes de mayo, cuando destacó sus habilidades para aceptar cualquier combinación de texto, audio e imagen y su capacidad para responder a una entrada de voz en solo 232 milisegundos, con un promedio de 320 milisegundos, que es similar a un tiempo de respuesta humana.
La tecnológica ha compartido ahora un informe interno denominado ‘Tarjeta de Sistema de su modelo GPT-4o’ (‘GPT-4o System Card’), en el que detalla los resultados de la investigación sobre la seguridad de este modelo de IA generativa. En este estudio se explica que se ha evaluado este modelo “exhaustivamente” para detectar posibles riesgos y, en base a ello, incorporar medidas de seguridad adecuadas, antes de implementarlo en ChatGPT o en la API.
En concreto, la firma ha destacado como resultado de la investigación un riesgo “medio” en las capacidades de persuasión del modelo, así como ha advertido sobre el riesgo de antropomorfización, que puede causar dependencia emocional para los usuarios, al facilitar que depositen su confianza en la IA por tener características similares a las de un humano.
De entre las cuatro categorías generales de riesgo, que comprenden ciberseguridad, amenazas biológicas, autonomía del modelo y persuasión, OpenAI ha detectado dicho nivel de riesgo en esta última. Sobre todo, en el formato de texto del modelo, donde los investigadores han detallado que GPT-4o puede influir en las opiniones de los usuarios.
El estudio también ha puesto sobre la mesa cómo los resultados de GPT-4o pueden influir más en los lectores que un texto escrito propiamente por un humano, incluso, comparándolo con artículos escritos por profesionales.
Por su parte la persuasión en la modalidad de voz fue calificada como de bajo riesgo, tanto para las conversaciones interactivas de múltiples turnos como para los clips de audio más largos.
Dependencia emocional
Otro de los riesgos que detalla OpenAI en el informe es la antropomorfización y, por tanto, dependencia emocional que puede ocasionar GPT-4o. La antropomorfización implica atribuir comportamientos y características similares a los humanos en entidades no humanas, como son los modelos de IA. En el caso de GPT-4o, este riesgo se ve acentuado por las capacidades de audio que ofrece, que facilitan interacciones más parecidas a las humanas con el modelo.
Esta familiaridad y alta fidelidad a la voz y expresiones humanas, puede generar problemas como que los usuarios adquieran una confianza “descalibrada” en las interacciones con el modelo y, por tanto, dependencia emocional. Por ejemplo, los investigadores observaron que GPT-4o utilizaba lenguaje que expresa vínculos compartidos con los usuarios, como “este es nuestro último día juntos”.
Si bien estos casos pueden resultar útiles para personas que se encuentren en situaciones de soledad, OpenAI subraya la necesidad de continuar investigando los efectos de estas relaciones entre modelo y usuarios en periodos más prolongados.
De hecho, la tecnológica ha advertido que la socialización similar a la humana con un modelo de IA “puede producir externalidades que afecten las interacciones entre humanos”. Un ejemplo de ello, es que los usuarios podrían reducir su necesidad de interacción humana, afectando a las relaciones saludables.
Mitigación de riesgos de GPT-4o
El equipo de investigación que firma el estudio, formado por empleados de OpenAI y por evaluadores externos, analizaron cuestiones como la generación de voces no autorizadas, la creación de contenido de audio no permitido, de discurso erótico y violento o las inferencias sin fundamento. Tras ello, implementaron medidas para mitigar estos riesgos.
En lo relativo a la generación de voces no autorizadas, OpenAI hace referencia a la capacidad de generar audio con una voz sintética que imita a la de una persona en concreto y que se basa en un clip de entrada de ejemplo. Esta característica puede facilitar daños como un aumento en el fraude debido a la suplantación de identidad e, incluso, aprovechar esta facilidad para difundir información falsa. No obstante, la tecnológica ha compartido que, tras abordar los riesgos de generación de voz no autorizada, han determinado que el riesgo residual de “es mínimo”.
Cabe recordar que OpenAI ya ha tenido problemas con este tipo de acciones, como es el caso de la actriz Scarlett Johansson, quien acusó a la compañía de utilizar una voz muy parecida a la suya para la versión de voz Sky para ChatPGT.
Igualmente, también se ha mitigado el riesgo de identificar al hablante a la hora de interactuar por medio de la voz, de manera que la IA no pueda reconocer a una persona por sus interacciones con la voz, lo que puede resultar en un problema de privacidad.
Siguiendo esta línea, la compañía ha evaluado y contrarrestado los riesgos de las inferencia sin fundamentos y la atribución de rasgos sensibles que llevaba a cabo la IA, lo que puede ocasionar que GPT-4o ofrezca resultados potencialmente sesgados sobre los hablantes.
Lo mismo ha ocurrido con el contenido violento y erótico, que ya identificaron que GPT-4o era susceptible de aceptar órdenes para generarlo. Como resultado, OpenAI ha señalado que ha restringido la generación de este tipo de resultados del modelo.
Con todo ello, como parte del proceso de implementación iterativo, OpenAI ha señalado que continuará monitorizando y actualizando las mitigaciones de acuerdo con el panorama en evolución del modelo GPT-4o.