Cuando la IA ‘escucha’ lo que escribimos: detección temprana y ética en la salud mental digital

A las dos de la madrugada, alguien escribe: “Me siento solo. Sin gritos, sin drama. Es sólo una frase más en el río de publicaciones que circula en las redes sociales todas las noches. Obtiene algunos me gusta, tal vez incluso un emoji, y queda sepultada bajo el siguiente vídeo”.

Al día siguiente, nada “sucede”. Pero a veces lo importante no sucede en un día. Porque una frase aislada puede ser sólo eso, una frase. Lo que determina la lectura es la trayectoria.

Hay motivo de preocupación cuando el tono se oscurece durante semanas, cuando se repiten temas de desesperanza, cuando las interacciones se diluyen, cuando el lenguaje se vuelve más autorreferencial o reflexivo. Y ahí es donde podemos utilizar el “oído digital”.

Un ‘oído’ que no ‘oye’ pero detecta patrones

Un modelo de lenguaje masivo (LLM), lo que comúnmente llamamos IA, no “entiende” como un humano. Su habilidad es otra: identificar regularidades del lenguaje en el nivel.

Los LLM se forman con grandes cantidades de texto. Al hacerlo, aprenden patrones del lenguaje, descubren qué expresiones suelen ir juntas, comprenden cómo está estructurada una historia y reconocen cambios de estilo que se repiten en determinados contextos.

Esta capacidad puede resultar muy útil para identificar tendencias en mensajes que, colectivamente y en poblaciones específicas, están asociados con problemas y angustias de salud mental.

Una alerta temprana no es un diagnóstico

Ya en 2018, antes del auge de ChatGPT, un estudio mostró algo sorprendente: el lenguaje de los mensajes publicados en Facebook podía predecir señales relacionadas con la depresión en los registros clínicos. Y estos signos aparecieron incluso meses antes de que hubiera un diagnóstico documentado. Cuando además hay imágenes, el análisis puede ganar contexto. Texto e imagen aportan información diferente y en ocasiones complementaria.

Además: ¿Por qué la IA no habla todos los idiomas igual? Brecha lingüística oculta por algoritmos

Pero es importante dejar claro que la capacidad de la tecnología para detectar señales no es un diagnóstico. La primera nos permite posiblemente alertarnos para priorizar una revisión, ofrecer recursos o activar el soporte humano. El diagnóstico clínico, por otra parte, es una decisión de salud que debe basarse en una historia clínica, en una conversación personal con un especialista.

El uso de sistemas tecnológicos para la detección temprana no pretende reemplazar al médico, sino más bien reducir los retrasos y activar alarmas antes de que el deterioro se vuelva más evidente.

Investigación en sistemas de detección digitales

Un buen sistema de detección temprana no se activa con una frase triste. Se activa, en todo caso, por un patrón constante: semanas de empeoramiento del tono, más aislamiento, más actividad nocturna, menos señales sociales. E incluso en esos casos, no impone sentencia. Simplemente sugiere “compruébalo”, como lo haría la clasificación.

Evaluar hasta qué punto el sistema avisa a tiempo, cuántos falsos positivos genera o cómo cambia su comportamiento cuando llegan nuevas publicaciones es a lo que nos dedicamos dentro del proyecto eRisk.

Escuchar donde nadie escucha, como sugiere el oído digital, suena esperanzador. Pero también abre un terreno frágil, porque en la salud mental, cometer errores tiene graves consecuencias.

Los falsos positivos, es decir, la detección de un deterioro de la salud mental cuando no lo hay, pueden provocar una intervención intrusiva, alarma familiar o estigma, con especial impacto en los menores.

En cuanto a los falsos negativos, es decir, cuando este deterioro no se detecta a tiempo, pueden tener graves consecuencias, especialmente si el sistema se presenta como una red de seguridad y excluye el apoyo humano o el acceso a los servicios.

Aspectos culturales del lenguaje.

El lenguaje del malestar no es universal. Varía según la cultura, la comunidad, la edad y el contexto socioeconómico. Sin ir más lejos, un estudio encontró que los modelos lingüísticos estándar predecían la gravedad de la depresión en usuarios blancos pero no en usuarios negros. Lo que parece ser una señal en un grupo puede no traducirse en otro.

Por tanto, el sistema debe cumplir otro requisito: la explicabilidad. No basta con que el modelo sea “correcto”, es necesario entender por qué señala una advertencia. ¿Qué patrones pesaron más? Sin esa trazabilidad es difícil auditar sesgos, corregir errores y, sobre todo, justificar la intervención. En contextos sensibles, la caja negra aumenta el riesgo de decisiones arbitrarias.

Volvamos al ejemplo inicial. Una frase como “me siento solo” no debería hacer saltar ninguna alarma. Pero si se mantiene en el tiempo, un buen sistema debería alertar con indicaciones como: “En las últimas semanas se ha observado un aislamiento creciente, un aumento de las publicaciones nocturnas y un giro progresivo hacia expresiones de desesperanza”.

Es decir, la advertencia se basa en patrones específicos y comprensibles. Y aunque no sustituye al juicio humano, ayuda a ver y explicar aquello que puede pasar desapercibido.

Plataformas y ley: cada vez menos zonas grises

Este debate se presenta a menudo como futurista. Pero ya existe un marco de obligaciones en Europa que empuja a las plataformas, especialmente cuando hay menores, a gestionar los riesgos para el bienestar.

Con la Ley de Servicios Digitales, las grandes plataformas deben identificar y evaluar los riesgos sistémicos asociados con su diseño y operación e implementar medidas de mitigación. Además, la Comisión Europea ha publicado orientaciones específicas sobre la protección de menores, reforzando el deber de diligencia en términos de seguridad, privacidad y diseño.

A este desafío se suma el procesamiento de datos personales. Para evitar que cada normativa “viva en su propia isla”, el Comité Europeo de Protección de Datos ha publicado guías sobre la interacción entre ambos marcos regulatorios.

Construya un oído digital que se preocupe

De la misma manera que un monitor continuo de glucosa no reemplaza al médico, pero ayuda a predecir problemas y tomar decisiones más seguras, el oído digital sensible puede identificar señales de que alguien necesita apoyo sin hacer un diagnóstico. La detección temprana debería ayudar a llegar lo antes posible, sin sustituir nunca lo esencial: cuidar a las personas.

Para que funcione así son necesarias cinco decisiones de diseño: debe tener un propósito de salud claro; contar con mecanismos de control y consentimiento real; priorizar la intervención y supervisión humana; estar sujetos a evaluación y revisión longitudinal y por subpoblaciones (no sólo promedios) y, finalmente, las intervenciones deben ser proporcionadas, no intrusivas, con recursos y apoyo.

Pero el mismo oído que puede preocuparse puede convertirse en la infraestructura donde se mide, etiqueta y monetiza la vulnerabilidad. Por tanto, el futuro de este oído digital no depende sólo de lo potente que sea el modelo: depende de quién lo gestione, con qué incentivos y bajo qué garantías.

Si vamos a construir sistemas que escuchen lo que escribimos, que esa sea la única preocupación.