/ sábado 12 de octubre de 2024

¿Por qué no funcionan las herramientas para detectar contenidos creados por Inteligencia Artificial?

El auge de modelos de lenguaje como GPT de OpenAI y Bard de Google ha generado una demanda de herramientas que detecten con precisión contenido generado por Inteligencia Artificial (IA).

Estas herramientas son cada vez más necesarias en un entorno digital más sofisticado, donde es difícil distinguir la realidad del contenido creado por IA. Esto resulta crucial para evitar fraudes, estafas y riesgos a la salud y la seguridad. Sin embargo, muchas de estas herramientas de detección con frecuencia resultan poco confiables, a pesar de las afirmaciones de sus desarrolladores en la industria.

Los modelos de IA evolucionan rápidamente, mejorando la coherencia y relevancia de sus respuestas, adoptando matices en tono, estilo e incluso humor. Estas mejoras hacen que sea cada vez más difícil distinguir entre contenidos creados por personas y por modelos de IA. Por ello, algunos de los principales problemas de las herramientas de detección radican en la rápida evolución de los modelos de IA, las limitaciones de los algoritmos de detección y la complejidad inherente de diferenciar ambos tipos de texto. Además, cuando se trata de contenido engañoso, la detección ocurre generalmente cuando el daño ya está hecho.

Un problema clave es que muchas herramientas de detección se entrenan con datos de modelos antiguos o más pequeños, lo que les permite identificar contenido generado por versiones anteriores de sistemas de IA. Sin embargo, tienen dificultades para detectar contenido de los modelos más avanzados. Al no actualizarse al mismo ritmo que los modelos generativos, estas herramientas se vuelven obsoletas rápidamente y su actualización constante las hace costosas.

Otra estrategia popular para la detección es el uso de marcas de agua (watermarking), favorecida por grandes empresas tecnológicas. Pero, hasta ahora no se ha podido crear una marca de agua capaz de resistir los intentos de borrarla por parte de usuarios hábiles y capacitados. Además, muchos modelos de IA generativa no requieren ni exigen el uso de marcas de agua.

La industria también ha implementado el etiquetado para señalar contenido creado por IA, ya sea pidiendo a los usuarios que lo especifiquen o que las plataformas lo indiquen. Aunque esta estrategia está presente en la Ley de IA de la Unión Europea, también tiene problemas. En julio, Meta tuvo que cambiar su etiqueta de “Hecho con IA” a “Información con IA” (IA Info) porque etiquetaba incluso fotos de usuarios con mínimos retoques. Una alternativa interesante es la estrategia de “credenciales de contenido” de Adobe, que etiqueta la procedencia y modificaciones de un contenido, buscando ofrecer mayor transparencia al usuario. Sin embargo, esta herramienta funciona de forma automática sólo con contenido creado en Adobe Firefly, y de manera voluntaria con otros programas.

Una limitación importante de las herramientas de detección es su dependencia en el análisis estilométrico, que examina patrones lingüísticos como la estructura de las oraciones o la frecuencia de palabras. El problema es que, dado que la escritura humana es muy diversa, influenciada por educación, cultura y contexto, estas herramientas terminan por clasificar como creado por IA contenido que simplemente se aparta del estilo normativo. Esto provoca una alta tasa de falsos positivos, socavando la confianza en el proceso.

Por último, las herramientas de detección tienen dificultades para generalizar en distintos tipos de contenido. Los modelos de IA se usan para crear desde informes técnicos hasta poesía, y un detector entrenado con bases “estrechas” de datos (narrow-data bases, como por ejemplo, sólo artículos de noticias o blogs) puede fallar al identificar correctamente contenido generado por IA en otros contextos. Esta falta de adaptabilidad significa que las herramientas funcionan bien en nichos específicos, pero fallan en generalizar en diversos dominios.

Los grandes retos para mejorar la precisión de las herramientas de detección de contenido generado por IA requieren, entre otras cosas, incorporar actualizaciones dinámicas que igualen la evolución existente de los modelos de IA. También es necesario utilizar análisis lingüísticos y contextuales avanzados, más allá de la estilometría, para adaptarse a diferentes tipos de contenido. Finalmente, la transparencia en los datos de entrenamiento y métodos de detección será fundamental para reducir los sesgos y falsos positivos que socavan la confianza en estos sistemas.

El auge de modelos de lenguaje como GPT de OpenAI y Bard de Google ha generado una demanda de herramientas que detecten con precisión contenido generado por Inteligencia Artificial (IA).

Estas herramientas son cada vez más necesarias en un entorno digital más sofisticado, donde es difícil distinguir la realidad del contenido creado por IA. Esto resulta crucial para evitar fraudes, estafas y riesgos a la salud y la seguridad. Sin embargo, muchas de estas herramientas de detección con frecuencia resultan poco confiables, a pesar de las afirmaciones de sus desarrolladores en la industria.

Los modelos de IA evolucionan rápidamente, mejorando la coherencia y relevancia de sus respuestas, adoptando matices en tono, estilo e incluso humor. Estas mejoras hacen que sea cada vez más difícil distinguir entre contenidos creados por personas y por modelos de IA. Por ello, algunos de los principales problemas de las herramientas de detección radican en la rápida evolución de los modelos de IA, las limitaciones de los algoritmos de detección y la complejidad inherente de diferenciar ambos tipos de texto. Además, cuando se trata de contenido engañoso, la detección ocurre generalmente cuando el daño ya está hecho.

Un problema clave es que muchas herramientas de detección se entrenan con datos de modelos antiguos o más pequeños, lo que les permite identificar contenido generado por versiones anteriores de sistemas de IA. Sin embargo, tienen dificultades para detectar contenido de los modelos más avanzados. Al no actualizarse al mismo ritmo que los modelos generativos, estas herramientas se vuelven obsoletas rápidamente y su actualización constante las hace costosas.

Otra estrategia popular para la detección es el uso de marcas de agua (watermarking), favorecida por grandes empresas tecnológicas. Pero, hasta ahora no se ha podido crear una marca de agua capaz de resistir los intentos de borrarla por parte de usuarios hábiles y capacitados. Además, muchos modelos de IA generativa no requieren ni exigen el uso de marcas de agua.

La industria también ha implementado el etiquetado para señalar contenido creado por IA, ya sea pidiendo a los usuarios que lo especifiquen o que las plataformas lo indiquen. Aunque esta estrategia está presente en la Ley de IA de la Unión Europea, también tiene problemas. En julio, Meta tuvo que cambiar su etiqueta de “Hecho con IA” a “Información con IA” (IA Info) porque etiquetaba incluso fotos de usuarios con mínimos retoques. Una alternativa interesante es la estrategia de “credenciales de contenido” de Adobe, que etiqueta la procedencia y modificaciones de un contenido, buscando ofrecer mayor transparencia al usuario. Sin embargo, esta herramienta funciona de forma automática sólo con contenido creado en Adobe Firefly, y de manera voluntaria con otros programas.

Una limitación importante de las herramientas de detección es su dependencia en el análisis estilométrico, que examina patrones lingüísticos como la estructura de las oraciones o la frecuencia de palabras. El problema es que, dado que la escritura humana es muy diversa, influenciada por educación, cultura y contexto, estas herramientas terminan por clasificar como creado por IA contenido que simplemente se aparta del estilo normativo. Esto provoca una alta tasa de falsos positivos, socavando la confianza en el proceso.

Por último, las herramientas de detección tienen dificultades para generalizar en distintos tipos de contenido. Los modelos de IA se usan para crear desde informes técnicos hasta poesía, y un detector entrenado con bases “estrechas” de datos (narrow-data bases, como por ejemplo, sólo artículos de noticias o blogs) puede fallar al identificar correctamente contenido generado por IA en otros contextos. Esta falta de adaptabilidad significa que las herramientas funcionan bien en nichos específicos, pero fallan en generalizar en diversos dominios.

Los grandes retos para mejorar la precisión de las herramientas de detección de contenido generado por IA requieren, entre otras cosas, incorporar actualizaciones dinámicas que igualen la evolución existente de los modelos de IA. También es necesario utilizar análisis lingüísticos y contextuales avanzados, más allá de la estilometría, para adaptarse a diferentes tipos de contenido. Finalmente, la transparencia en los datos de entrenamiento y métodos de detección será fundamental para reducir los sesgos y falsos positivos que socavan la confianza en estos sistemas.