Hablando sobre el funcionamiento interno de los sistemas de moderación en redes sociales

Abraham Andreu, del grupo Axel Springer, me escribía hace unos días para hacerme llegar unas dudas sobre el funcionamiento interno de los sistemas de moderación del discurso en redes sociales, con el fin de publicar un reportaje para el Business Insider.

Gustoso le respondí, y han acabado por publicar una pieza hablando de todo esto por el medio (ES).

Dejo, como siempre hago con este tipo de colaboraciones, el contenido completo por aquí de la entrevista.

Twitter, Facebook, Instagram… Todas ellas usan la tecnología para moderar los contenidos. ¿Cómo funcionan estos algoritmos?

Depende mucho de cada plataforma, pero podríamos decir que la mayoría, en mayor o menor cuantía y especialización, recurren a tres etapas:

• Etapa algorítmica: Esto es todo lo que tiene que ver con sistemas de filtrado automáticos, como por ejemplo los que buscan extractos de contenido con copyright en contenido audiovisual. Suelen funcionar bastante bien… siempre y cuando hablemos de identificar patrones PREVIAMENTE CONOCIDOS.
• Etapa social: Esto es todo lo que tiene que ver con los sistemas de denuncia propios de la plataforma. Si un contenido recibe en poco tiempo las denuncias suficientes, pasa a ser catalogado como potencialmente dañino, y según la plataforma o se le activan algunas restricciones automáticamente, o debe pasar a la siguiente etapa.
• Etapa de análisis humano: Entran en juego los moderadores de la plataforma que, aplicando el criterio previamente establecido en la política de uso de la misma, hacen de jueces y verdugos a la hora de decidir qué debe seguir indexado y qué no.

¿Existe un problema real sobre la moderación de contenidos por parte de máquinas? Existen muchos estudios que han concluido que algunas inteligencias artificiales son machistas, racistas, etc.

Te planteo la pregunta de otra manera: ¿Existe un problema real sobre la moderación de contenidos por parte de un ser humano?

¿Por parte de un ente subjetivo?

La respuesta es obvia: Por supuesto.

Los algoritmos no piensan. Simplemente aplican un conjunto de reglas que, oh casualidad, las ha diseñado un grupo de desarrolladores, es decir, un grupo de humanos. Personas como tú y como yo, con un bagaje ético y cultural específico, y que sea de forma premeditada, o totalmente inconsciente, trasladan sus prejuicios al código.

Empezando en efecto por cómo se define una regla, pero llegando hasta puntos tan difícilmente identificables, como son los sesgos innatos en el universo de datos con el que se da a comer un sistema de machine learning.

Y te pongo un ejemplo:

Si por ejemplo una plataforma como Google Imágenes se le da para entrenar millones de fotos de médicos asociándolos a su cargo, y de esas millones de fotos de médicos, en torno al 80% son varones caucásicos, ¿no es esperable que el algoritmo, que recordemos que ni siente ni padece, comprenda que es más habitual, y por tanto mostrará primero, hombres caucásicos antes que mujeres médicas o que un médico de raza negra?

Debemos quedarnos con la idea de que los algoritmos no son neutrales. Por mucho que nos gustaría que lo fueran. Padecen de las mismas taras que tienen los desarrolladores y el entorno social donde han sido creados.

Cuéntame más

¿Sabías que es posible eliminar tu huella digital de Internet?

Datos personales expuestos sin consentimiento, comentarios difamatorios sobre tí o tu empresa, fotos o vídeos subidos por terceros donde apareces… En Eliminamos Contenido te ayudamos a borrar esa información dañina que hay en Internet de forma rápida y sencilla.

¿Qué deben hacer grandes empresas como Twitter o Facebook para mejorar sus equipos de moderación?

Me pides la cuadratura del círculo. Si tuviera una respuesta sencilla, probablemente sería multimillonario.

La realidad es que todas las empresas cuyo modelo de negocio es gestionar el contenido subido por terceros lo tienen muy complicado precisamente por este mismo motivo.

Se trata de buscar el equilibrio entre esas tres fases que comentaba, y para colmo, adaptar unas plataforma creadas con un objetivo claramente globalizado, a las particularidades sociales, culturales, éticas y legales de cada país.

Por ejemplo, es de todos bien sabido que para Facebook, una empresa norteamericana, el salir en una foto sujetando una ametralladora es lo más normal del mundo, mientras que Dios te libre de que siendo mujer se te intuya en la foto un pezón.

Si Facebook o Instagram fueran empresas europeas, de seguro sería justo al revés.

¿Deberían existir equipos humanos para tratar este tema?

Lamentablemente sí.

Y digo lamentablemente porque pasamos a un escenario en el que la empresa en cada vez más países estará obligada a moderar el contenido que suben los usuarios según, en algunos casos, decisiones políticas totalmente arbitrarias.

Y añadiendo en la ecuación el simple hecho de que cada moderador no deja de ser, en sí, y nuevamente, otro agente humano con sus propias taras y sesgos.

Los sistemas de moderación de contenido nunca van a conseguir ese equilibrio que la sociedad demandaría. Es en la práctica imposible.

Y pese a ello, hay que buscarlo, ya que un escenario sin ninguna moderación también entraña sus riesgos.

Muchos creadores de contenido han criticado precisamente esto. Mientras que Twitch y TikTok mantienen buen contacto humano con estos, otras como Twitter o YouTube utilizan mayoritariamente algoritmos. ¿El futuro estará controlado por estos? ¿Serán las máquinas quienes decidan qué se puede decir y qué no? ¿Es un peligro para las democracias y la libertad de expresión?

Hombre, de cara a una empresa como cualquiera de estas tecnológicas, creada por uno o varios socios claramente fundamentalistas y objetivistas, está claro que el interés está puesto en eso.

Ya no solo por lo obvio (un algoritmo no se queja, ni hay que pagarle, ni se pone de baja; trabaja 24/7 y aplica las reglas de forma maximalista), sino porque además está en el propio ADN de estas compañías (buscar soluciones globales automatizadas para problemas de muy diversa índole humanos).

Y ojo, que de nuevo me temo que no hay una solución perfecta.

Sin ir más lejos es de todos conocido que TikTok cuenta con un ejército de moderadores… la mayoría chinos, y por ende, con los sesgos y taras de su bagaje cultural (distintos sesgos y taras a los que por ejemplo puedes tener tú o tengo yo). Y que además trabajan en una empresa china, obligada por ley a cumplir las estrictas directrices de un gobierno que ve como algo totalmente normal la censura de todo aquello que considera inadecuado para sus intereses políticos.

La cuestión aquí no es si los algoritmos sí o no, o si los sistemas de recomendación de contenido o de moderación del mismo mediante agentes humanos sí o no.

La cuestión es que ambos acercamientos son necesarios, ya que cumplen cada uno una agenda distinta:

• Los algoritmos son muy económicos y rápidos a la hora de cumplir una serie de reglas claramente marcadas.
• Los humanos salen muchísimo más caros, pero son capaces de identificar problemáticas complejas sin tener un patrón previo identificativo.

¿Qué pueden hacer España o Europa a nivel de legislación?

Hacer lo que ya se está haciendo: Regular igual que se ha hecho con el entorno analógico.

Realmente el digital no deja de ser una extrapolación artificial de nuestro mundo de carne y hueso, y por tanto, no creo que sea necesario regularlo de forma diferente.

Un crimen es un crimen tanto si se hace en la calle, como si se hace en una red social.

A nivel de geopolítica, eso sí, quizás nuestro papel, como a priori parece que es, sea el de marcar los límites de lo que se considera en occidente ético y moral. Europa en este escenario claramente es quien define los estándares que luego aplicará EEUU, y por ende acabará repercutiendo en el resto del mundo democrático.

Lo simpático de todo esto es que con la irrupción de plataformas chinas como TikTok este equilibrio se rompe, y va a ser interesante ver cómo Europa puede imponer su ideología, aunque sea en sus propias fronteras, cuando la plataforma ya no viene de los amigos yanquis, sino de los chinos.