Por Fernanda Lugo
Con el creciente uso de plataformas de inteligencia artificial (IA) con funciones de creación de imágenes generativas como Gemini o el caso específico de Grok, se han suscitado diversos episodios de violencia digital, como la elaboración de imágenes reales o manipuladas involucrando niñas, niños y adolescentes, o víctimas de crímenes que forman parte de noticias a nivel internacional, como el caso de la poeta asesinada por agentes de ICE en Minneapolis; con simples comandos dentro de la plataforma X (antes twitter), se le pidió a Grok elaborar imágenes explícitas de índole sexual de dicha víctima.
Esto nos coloca en un contexto totalmente nuevo como persona usuarias y espectadoras de redes sociales e Internet, la manifestación de violencias digitales avanza conforme el desarrollo de la misma tecnología, esto ha impactado cada vez más la experiencia cotidiana en los entornos digitales, tergiversando la línea entre lo real y lo generado por IA, que en sí mismo ya ha generado un impacto notable en la salud mental de miles de usuarias y usuarios. Desde la aparición de patologías específicas como “psicosis inducida por IA”, provocada por una relación para social con chatbots como ChatGPT o Character.AI, hasta la o el ser sujeto y observador no participe en violencias digitales propagadas por imágenes generativas.
Es prudente reconocer los riesgos que enfrentan las mujeres, niñas, niños, adolescentes y personas vulnerables ante el alza del mal uso de Grok y otras IAs, así como el impacto en tiempo real que muchos y muchas de las usuarias se encuentran experimentando, al estar expuestas a este tipo de contenido en espacios de coexistencia digital cotidiana. A pesar de que redes sociales como X cuenten con términos y sanciones contra el contenido de desnudo no consensual o que involucre a niñas, niños y adolescentes, la permisividad para postear -publicar- contenido explicito sexual, así como el funcionamiento de Grok en la misma red, debilita los filtros de seguridad; aunado a la imposibilidad para una inteligencia artificial de discernir contenido que puede estar vulnerando a otros.
Es así, que es posible argumentar que la experiencia digital ha cambiado completamente siendo apenas visible el alto impacto que ha generado en las y los usuarios, donde el hecho de subir fotografías a una cuenta personal puede terminar en imágenes publicadas y distorsionadas, lo cual puede gestar una sensación de hipervigilancia en redes, generando ansiedad respecto al uso de las mismas. Mientras que en el caso específico de quienes viven dichas violencias, el impacto psicológico tiende a ser mayor, ya que se experimenta un proceso de vergüenza, exposición, ansiedad, aunado del estrés de tomar acción para remover esas imágenes. Proceso que genera un impacto a mediano plazo, con posible estrés de que las mismas imágenes puedan ser vistas y confundidas por círculos cercanos.
(fuente: X)
Esto también puede generar afectaciones claras para las y los usuarios, los cuales podemos atravesarnos con este tipo de contenido de forma no consensuada o sin buscarlo, lo cual puede tener un impacto negativo al coincidir con material explicito especialmente que atente contra niñas, niños y adolescentes o fue creado sin consentimiento de las personas. Así mismo, estudios recientes revelen que el incremento en imágenes generadas por IA que destacan cualidades humanas deseables o las “mejoran”, genera todavía una mayor desconexión con la realidad corporal humana, estableciendo un estándar objetivamente inalcanzable e inhumano estético.
Sin embargo, el establecer únicamente un tono alarmista alrededor del uso de la IA generativa, no es la solución para establecer un uso que no genere un estrago negativo en nuestra salud mental.
El empujar por normas comunitarias dentro de los espacios de redes sociales con inteligencias artificiales integrales, así como el optar por una contribución a dichas redes denunciando contenido que infrinja normas o atente contra personas, así como exigir el etiquetado de “contenido generado por IA” más explícitamente.
De la misma forma, podemos optar por socializar los recursos para pedir que se retiren imágenes que atentan contra la dignidad y bienestar de otras personas, alertar de cuentas que activamente generen dicho contenido y movilizarse de manera colectiva digital para concientizar sobre que este tipo de hechos no son “hechos aislados”, son violencias estructurales que se valen de nuevas tecnologías para acosar, vulnerar y silenciar a mujeres, niñas, niños y grupos vulnerables en espacios digitales; los cuales tienen un impacto real en la vida de las personas que están viviendo dicha violencia y las personas usuarias que presencian dichos actos.
El normalizar el uso de la IA, no tiene que ser acompañado con la reproducción de violencias en los entornos digitales, y en orden de prevenir y desarrollar mecanismos de acción para proteger el bienestar de todos y todas las usuarias en el espacio digital, es necesario reconocer sus riesgos y exigir mejores condiciones para que nadie tenga que ser sujeto, espectador o en el peor de los casos perpetrador de dichas violencias en los entornos digitales.