La moderación de comentarios es tan antigua como los primeros foros web. De aprobarlos o rechazarlos generalmente se encargaba el “webmaster” o moderador. Pero el volumen de comentarios ha superado con creces cualquier expectativa, especialmente en redes sociales. ¿Usaremos inteligencia artificial para moderar comentarios? Bueno, ya está ocurriendo.
Mientras los expertos afirman que el contenido online no puede ser moderado mediante IA, varios medios y plataformas ya la usan para eliminar comentarios racistas, homófobos o sexistas. El problema radica en que hay que entrenar a la inteligencia artificial para detectarlos con éxito y en que, de momento, suele equivocarse.
¿Necesitamos moderar los comentarios online?
La primera pregunta que podríamos hacernos radica en la necesidad de intervenir foros, blogs o periódicos. ¿Hace falta? Cualquier visita a un foro no moderado nos indica que, como poco, resulta recomendable. Los trolls han existido desde siempre, pero últimamente se han dado dos sucesos en paralelo:
- El acceso asequible a la red ha hecho que mucha más gente pueda escribir comentarios
- El aumento de la potencia de los servidores ha logrado que las redes de bots se monten en cuestión de horas
Como resultado, nunca antes había existido un número comparable de cuentas insultando y metiendo ruido en foros de calidad, ya sean cuentas personales o automatizadas. Se hace necesario combatir este spam que, con frecuencia, se dirige hacia ciertos temas o colectivos.
La política es uno de estos temas. La apertura de cualquier periódico nacional da como resultado docenas de comentarios de corte agresivo casi sin importar la temática. Además, hay colectivos con los que el spam se ceba. Varios programas de inteligencia artificial peinaron Twitter hace unos meses en busca de mujeres periodistas y políticas.
El 7,1% de los tweets resultaron “problemáticos” o “abusivos” en palabras del estudio. Además, ser mujer negra implicaba recibir un 84% más de este tipo de comentarios frente a las mujeres blancas. Otro estudio, dentro de la campaña #MyGameMyName probó qué ocurría cuando gamers masculinos cambiaban su nombre por uno evidentemente femenino. Llovían insultos.
Incluso se ha dado el caso de famosos que han cerrado perfiles sociales debido a la agresividad de sus seguidores. De modo que parece que sí necesitamos herramientas automatizadas de moderación. El problema es que estas no funcionan siempre como a sus desarrolladores les gustaría.
El mecanismo de caja negra: ¿por qué se borra mi contenido?
En algunas ocasiones, usuarios que han colado artículos divulgativos en Facebook han sido llevados a una página que les informaba de que el artículo no cumplía con las normas de conducta de la red social. Un filtro automatizado lo había dejado en el limbo, y desde entonces ha dado igual el número de reclamaciones que hayan interpuesto. No se puede publicar.
Lo paradójico es que puede tratarse, por ejemplo, de contenido divulgativo sobre literatura y apoyo de la lectura en la infancia. Un tema que, en apariencia, no debiera dar conflicto en la moderación. No es que se hable de robots sexuales o se insulte a nadie. Algo parecido le ha ocurrido a la divulgadora Rocío Vidal al tratar de monetizar un vídeo sobre pseudociencia que podría ayudar a miles de personas.
Hola @YouTubeEspanol, desde hace unos días habéis quitado la monetización de mi vídeo de Gwyneth Paltrow y no recibo ingresos, pero me dicen que los anuncios siguen apareciendo. ¿Por qué razón me la habéis quitado? No hay nada obsceno, solo describo prácticas pseudocientíficas.
— Rocío Vidal (@SchrodingerGata) 12 de marzo de 2019
Sus vídeos tratan, desde una perspectiva siempre científica y con datos en mano, de hacernos aprender. De protegernos frente a los timos. No es la primera vez que le ocurre, a ella y a otros desarrolladores de contenido como Jaime Altozano. Este suele hacer uso de YouTube para mostrar cómo se hace la música, y muchos de sus vídeos son desactivados nada más volcarlos a la plataforma.
El problema más grave es que, cuando esto ocurre, no sabemos por qué ocurre. Se le llama mecanismo de caja negra, y es la consecuencia directa de la aplicación de una inteligencia artificial profunda: toma decisiones en base a un cálculo del que no somos conscientes.
Un ejemplo quizá demasiado simple pero que puede ayudar a visualizar el problema: si todas las personas que usen aparato dental insultan, la IA aprenderá a bloquear a la gente con aparato (no a los insultos como tales), porque habrá establecido una relación, oculta para nosotros, aparato-insulto-bloquear.
La inteligencia artificial ya modera algunos espacios
Arriba hemos hablado de Facebook y YouTube, pero podemos sumar otras plataformas como Instagram o Disqus. Esta plataforma, en principio un plugin para mejorar la experiencia de comentarios en WordPress, anunció en 2017 que iba a usar inteligencia artificial para moderar comentarios. Lo hizo de la mano de Smart Moderation, un software que, a su vez, bebe de los parámetros de moderación de Facebook.
Podría parecernos chocante que se use un algoritmo de caja negra como base para construir un sistema de moderación externo, especialmente cuando hemos mencionado que veta incluso contenido legítimo. Pero ocurre que la tecnología de moderación es poco asequible a nivel técnico y no todos pueden desarrollarla. Es más, Facebook la usa para sus publicaciones, pero no para sus comentarios.
También hay varias compañías tratando de desarrollar un sistema de moderación que no deje a nadie atrás. Por ejemplo, Perspective, que actualmente está siendo testado en el blog de El País. Perspective forma parte de una API de Google, a su vez una pieza de Jigsaw, un proyecto orientado a protegernos de los ataques en internet sin cohibir la libertad de expresión. Ahí es nada.
La complejidad de moderar comentarios vía IA
Un reciente artículo en The Verge traslada el problema a la dificultad de automatizar la cultura humana. No es un tema baladí. Eliminar ciertas palabras del discurso público (palabras malsonantes, por ejemplo) resulta sencillo y podría parecernos hasta coherente cuando son usadas contra otra persona. Pero, ¿hasta qué punto puede intervenir la tecnología? Pongamos un ejemplo.
Disponemos de un Huawei Mate 20 Pro capaz de traducir de forma simultánea de un idioma a otro. Para probarlo, hablamos con alguien en China. Cuando esta maldice, Microsoft Translator, el programa que saca jugo al chip Kirin presente en el terminal, busca la traducción más acertada. Quizá se desvirtúe un poco porque no hay una traducción directa, pero esta no cambia solo porque las palabras son malsonantes.
Buscar comentarios racistas o sexistas, en apariencia, es fácil. Basta con localizar términos muy concretos como “negro de mierda”. Hay muy poco margen de error en esa expresión, pero la mayoría serán más sutiles. “A fregar” o “a la cocina” son expresiones sexistas cuya persecución podría silenciar comentarios legítimos porque la IA sabe escuchar pero no entender.
La moderación de comentarios es necesaria debido a la presión de los trolls y personas poco cívicas en la red, pero un uso moderado de la misma también se presenta como la mejor estrategia si buscamos evitar una censura no dirigida. Los algoritmos de Facebook o de YouTube frenan algunos contenidos, pero también silencian ataques y vídeos terroristas o fake news.
Al igual que ocurre con aplicaciones policiales de la IA, la ética ha de formar parte de su espina dorsal. Poco a poco, la capacidad de análisis de la inteligencia artificial hará que se equivoquen menos, pero el error aún es elevado y podría resultar perjudicial en según qué ámbitos.
Imágenes | iStock/Rawpixel, iStock/fongfong2, iStock/lolostock
