Discursos de odio en redes sociales: ¿Qué se puede hacer para combatirlos?

Hace un par de semanas salimos en Informativos Telecinco, tanto en su programa del medio día, como en el de la noche, hablando de discursos de odio en redes sociales. Y más en particular, sobre cómo podemos defendernos de ellos.

La noticia venía dada por la crisis reputacional que sufrió los días anteriores la Lotería Nacional, que este año decidió que, de las dos niñas que recogerían los números, una de ellas tuviera rasgos africanos.

Y claro, vivimos en una sociedad de mierda donde ya no tardaron nada en salir los ya habituales gilipollas insultando a las pobres niñas. Que si de españolas tenían poco, que si ahora España era Senegal… Vamos, el ya habitual discurso de odio de las redes sociales.

Ya sea por racismo, xenofobia, machismo, feminismo, o lo que sea.

Como expliqué no hace mucho, Internet (y bueno, la sociedad en su conjunto) es ahora pasto de los extremismos.

Si quieres que tu discurso se viralice. Si quieres ser tendencia, no puedes ser moderado. Tienes que tirar hacia la hipérbole.

Y lo fácil, por supuesto, es conseguirlo siendo un cuñado.

Pues bien.

Ese mismo día me llamó Valentín, de Informativos Telecico, para ver si podían enviarme a un equipo de grabación a las oficinas para salir en directo. Lamentablemente, tenía comida de empresa, así que tuvimos que hacerlo mediante Zoom y a la carrera (de ahí la calidad de la imagen…).

En todo caso, fue una charla de alrededor de 10 minutos en la que les expliqué al medio cómo funcionan los sistemas de moderación de contenido en las redes sociales, qué problemáticas tienen, y qué podemos hacer para limitar el alcance de este tipo de discursos de odio.

Pero como suele ser habitual, en el reportaje apenas acabaron publicando unos 20 segundos con mis intervenciones.

Te dejo por aquí el reportaje del medio día (el de la noche era bastante parecido), y a continuación te cuento todo más en profundidad.

Cómo minimizar el impacto de los discursos de odio en Internet

Básicamente, hay dos acercamientos posibles. Y los dos conllevan una serie de problemáticas añadidas.

A saber.

Moderación del discurso mediante algoritmia

La tendencia, al menos desde el punto de vista de las empresas que gestionan las redes sociales y servicios digitales actuales, va por delegar en la inteligencia artificial las labores de control y filtrado de discursos del odio.

Sin embargo, esperar que una máquina por sí sola sea capaz de bloquear todo lo malo, y no bloquear de paso aquel contenido que no tenga connotaciones negativas, es pecar de ingenuo.

Eso sí, sale muchísimo más barata que la otra opción. Así que aquí realmente estamos hablando de un interés económico, y no funcional.

Entrando al detalle, ya hemos visto en múltiples ocasiones que los sistemas algorítmicos fallan más que una escopeta de perdigones.

Ejemplos como el filtrado anti-copyright que hace Youtube al subir un vídeo, o los controles frente a vídeos potencialmente dañinos (de tinte sexual o terrorismo, por ejemplo) funcionan… pero no pueden evitar que se cuelen tanto falsos positivos, como falsos negativos.

Sin ir más lejos, explicaba no hace mucho en uno de los programas del podcast cómo últimamente cada programa que subo es considerado por Youtube como infractor de copyright por una canción que pongo de fondo en algunos puntos del mismo. Una canción de la que YO YA HE PAGADO DERECHOS DE EXPLOTACIÓN, así que me toca para cada vídeo que subo, reclamarlo, y esperar unos días a que un humano lo revise y me acabe dando la razón. Mientras tanto, si monetizase mis vídeos (no lo hago), no podría monetizarlos, perdiendo por tanto justo los primeros días de monetización, que son, en esencia, cuando más suele verse el vídeo en cuestión.

Pues esto mismo, con cualquier sistema algorítmico de control de discursos de odio.

Para colmo, se junta en la ecuación que el español es un lenguaje muy rico (mucho más que el inglés, que es el que suele usarse de base para entrenar estos sistemas), y que encima, por temas puramente culturales, los españoles, y en definitiva todos los latinos, tendemos a hablar con mucha sátira e ironía. Lo que se traduce en que ya no solo habría que controlar los insultos típicos, sino hacer comprender el contexto de un contenido a una máquina para que esta sea capaz de entender si es o no vejatorio.

Que dos mismas frases, según en qué contexto se digan, pueden tener connotaciones totalmente distintas.

Vamos, que como herramienta inicial de moderación, está genial. Pero sí o sí vamos a seguir necesitando humanos por detrás.

Moderación del discurso mediante equipo humano

El sistema que mejor funciona es poner a personas de carne y hueso a leer y ver contenido. Y que ellos, intentando ser lo más profesionales posible, apliquen el TOS del servicio en cuestión con objetividad.

¿Es perfecto? Pues no.

• Primero porque los humanos somos subjetivos por naturaleza.
• Segundo porque necesitaríamos un ejército de centenares de miles de moderadores para que puedan seguir el pulso informativo de la sociedad.
• Y tercero, que es lo que más les importa a las tecnológicas, porque esta opción sale infinitamente más cara.

De hecho, en el reportaje que acabaron publicando en el informativo se hacían eco de una frase en la que les decía que, en efecto, la tendencia es justo a depender cada vez menos de trabajadores humanos. Y ponía el ejemplo de que X (la antigua Twitter) había despedido a todo su equipo español de moderadores.

¿Han conseguido con ello que X mejore a nivel de toxicidad?

Claramente no. En todo caso, ha empeorado.

Pero gracias a ello, se ahorran unos cuantos millones al año.

¿Queremos realmente un entorno bien moderado?

No quería terminar la entrevista haciéndoles esta pregunta, que al final veo que no ha tenido cabida en el informativo.

¿Realmente querríamos que estas plataformas estuviesen correctamente moderadas?

Y a ver, no me tomes como un cabronazi. Entiendo que cualquier persona con dos dedos de frente estará conmigo cuando dice que insultar a dos niñas que salen en televisión por su color de piel no es de ser un ciudadano ejemplar.

Pero, ¿dónde ponemos los límites?

Es decir, estamos la mayoría dispuestos a aceptar que quizás insultar a una persona por su raza o color de piel está mal. Pero, ¿y por sus acciones (imagínate un político corrupto)? ¿O por su propia ideología (pon el caso de un red skin)?

Y más importante, aún… ¿Dónde acaba el insulto y empieza la crítica?

¿Tenemos derecho por tanto a quejarnos de algo que no nos gusta?

¿Ves por dónde voy?

A priori, la mayoría estaremos de acuerdo de que hay puntos claramente intolerables en la red, como insultar a estas dos pobres niñas.

Pero de ahí a exigir a estas empresas que moderen el discurso de todos nosotros hay un largo trecho. Más que nada porque lo que a ti te puede parecer ofensivo, igual a mi me parece totalmente lícito como crítica.

Entramos por tanto en la típica disyuntiva entre derecho de opinión frente al derecho al honor.

Todo adobado con unas empresas que para nada quieren ser consideradas un medio de comunicación (y por tanto, obligadas a moderar el discurso de los contenidos en sus plataformas)… mientras realmente lo son (porque deciden, con sus algoritmos, qué contenido consumimos y cuál no).

Un contenido, el extremista, que aunque sea indirectamente (no hay ningún capo en estas compañías que diga «oye, viraliza estos insultos a estas dos niñas en España que nos vamos a hacer de oro»), llega a más gente porque los algoritmos que rigen qué vemos y qué no en estas plataformas, y que están diseñados por tanto para que pasemos el mayor tiempo posible en ellas (para así mostrarnos más publicidad), le dan prioridad sobre otros discursos más neutrales, simplemente porque la sociedad, recalco, es cada vez más extrema (quiere consumir contenido o que apoya totalmente, o que odia, ya que este le hace encenderse e interaccionar más).

¿Qué podemos hacer frente a estos discursos de odio?

Pues muy sencillo.

Acababa la entrevista diciéndoles al medio que tenemos un bonito botón en todas las redes sociales que se llama «denunciar».

Los discursos de odio está recogidos en el código penal, por lo que además, también podemos denunciarlos ante los cuerpos del orden (policía nacional, grupo de delitos telemáticos de la Guardia Civil…).

Y no será el primero, ni tampoco el último, que acaba en la cárcel por pasarse de listillo en redes sociales. Ya ni hablemos de la de multas que se acaban poniendo día sí, día también, a estos trolls.

Esto, y si la molestia no llega a ser considerada como insulto, tenemos los botones de bloqueo. Unos botones que como ya expliqué en su día, no están del todo bien diseñados (dejas de ver el contenido, pero el resto de tus círculos podrán verlo), pero que al menos mitigan el impacto personal que puedan conllevar.

Imagínate recibir en tu correo semanalmente historias como esta

Suscríbete ahora a «Las 7 de la Semana», la newsletter sobre Nuevas Tecnologías y Seguridad de la Información. Cada lunes a las 7AM horario español un resumen con todo lo importante de estos últimos días.

Suscríbete gratis ahora