Los límites algorítmicos del control del discurso en plataformas digitales

La semana pasada los habitantes de Christchurch, en Nueva Zelanda, se despertaban conmocionados tras darse a conocer el tiroteo de un grupo de neonazis a dos mezquitas (ES) de la zona, que se saldó con la vida de 49 personas y varias decenas de heridos.

El ataque, encuadrado dentro de esa oleada de odio supremacista que lamentablemente sigue presente y acapara titulares cada cierto tiempo, tiene al menos bajo mi humilde opinión mayor importancia debido a cómo se ha gestionado su comunicación.

Que pese a la tendencia, casi esperable, de que la acción pase desapercibida (por eso de que los asesinos se libren de la cárcel), todo se grabó con una GoPro (EN) puesta en la cabeza del tirador, y rápidamente se difundió por redes sociales, foros y plataformas como Facebook, Youtube, Twitter, 4Chan, 8Chan o Reddit bajo el paraguas de alguien que sabe bien cómo funcionan estos sistemas, consiguiendo que durante horas los 17 minutos de la cinta se viralizaran por todo el mundo.

¿No cuentan estas plataformas con herramientas de control?

Si alguna vez has subido un vídeo a una plataforma como Youtube, Instagram o Facebook, lo más probable es que te hayas encontrado a los pocos segundos de subirlo con que el sistema te alerta o directamente te bloquea el vídeo alegando que podría haber derechos de autor en alguna parte de la pieza. Quizás porque de fondo está sonando una canción, o porque has utilizado un extracto de una película o serie.

Todos estos servicios llevan años preparados para identificar contenido que presuntamente puede ser dañino para los intereses de la industria. Es más, en Europa ahora estamos a las puertas de la entrada en vigor de ese esperpento de Artículo 13 que pretende bloquear por defecto todo contenido que vulnere los derechos de autor, un negocio que de por sí tiene, como ya expliqué, más halo de lobby y especulación que de realmente protección al creador de contenido.

Para estas plataformas resulta casi inmediato identificar piezas con dichos derechos, y asociarlas a una serie de acciones que van desde limitar su alcance orgánico, pasando por bloquear los ingresos que pudiera obtener el que sube el contenido en base a la publicidad o cederlos parcial o íntegramente a quienes tengan esos derechos de uso, hasta por supuesto bloquear el contenido, al menos hasta que el que lo sube consiga demostrar que en efecto tiene derecho a hacerlo.

El problema es que controlar la viralización de un vídeo como el de la matanza de Nueva Zelanda se vuelve realmente difícil para estos mismos algoritmos. Y la razón es muy sencilla.

Sin listas negras es necesaria la participación del humano

Para que en efecto el sistema pueda reconocer un vídeo como éste, que claramente es dañino para la sociedad, y lo bloquee algorítmicamente, es necesario primero tener una huella que lo identifique.

Es decir, primero tiene que haberse agregado a una de las listas negras de contenido con los que cuentan las herramientas de control de derechos de autor y discurso como ContentID.

Y además, un operario tiene que haberlo identificado como tal, agregándolo a dicha lista.

El problema es que para que esto ocurra, un numero indeterminado de personas (dependiente de numerosos factores extra como es el ratio likes/dislikes, el tiempo que lleva subido, las interacciones del resto de espectadores…) tiene que haber marcado ese contenido como dañino, lo que hará saltar las alarmas en el sistema lo suficiente como para que entre en una lista de espera a falta de que el operario de turno lo analice y considere qué hacer.

Y esto, amigo mío, requiere como mínimo varias horas. Pese a que en efecto cualquier persona con dos dedos de frente identificaría este tipo de vídeos como peligrosos en un abrir y cerrar de ojos.

Además la cosa se complica ya que, como decía, el vídeo fue rápidamente subido en múltiples canales, utilizando diferentes cuentas, y aplicando mecánicas de tergiversación de discurso (compra de likes, reshares y comentarios, uso de granjas de cuentas fail…) y estrategias de desinformación de contenido (vídeos re-subidos con marcos o filtros, tanto de vídeo como de audio) que complican nuevamente el control. Ya no solo depende de que Youtube bloquee el contenido, sino que a partir de entonces ContentID sea capaz de identificar el mismo vídeo re-subido con un filtro creado precisamente para que a nivel algorítmico el contenido no sea el mismo, y que esto mismo lo consigan hacer también Facebook, Instagram, Reddit, 4Chan…

Todos siendo capaces, además, de entender que buena parte de las interacciones que ha recibido este contenido se deben a una campaña bien orquestada aprovechándose de las limitaciones de la propia plataforma (al contar con muchas interacciones positivas en poco tiempo, los algoritmos tenderán a mostrar más ese contenido a usuarios legítimos, favoreciendo así aún más la viralización que esperan los asesinos), y no a simplemente su alcance orgánico.

A sabiendas que algunas de estas plataformas son bastante más laxas con esto de la moderación, amparándose en el supuesto derecho a la libre expresión. Y que, aunque joda reconocerlo, no todos pueden aspirar a tener los algoritmos de reconocimiento de patrones con los que cuenta Google o Facebook.

OTRO ejemplo más de esa oleada de terrorismo creado para ser viral

Algunos medios que se han hecho eco de la noticia estos días hablaban de que la masacre de Nueva Zelanda era el primer ataque creado específicamente para ser viralizado en Internet.

Y lo cierto es que no. Llevamos literalmente años enfrentándonos a un terrorismo que utiliza las mismas herramientas del cine y la cultura para difundir su mensaje.

¿El mejor ejemplo? Las técnicas de captación de la Yihad, que ya analicé en profundidad por estos lares, y que como hicieran los supremacistas de Nueva Zelanda, también recurren a trivializar sus asesinatos creando una obra que parece sacada de un streaming de Call of Duty: Vista en primera persona, sin cortes de ningún tipo, arma con sloganes y poco más.

El uso de un lenguaje muy arraigado en el corolario de Internet hace el resto.

La duda ahora es cómo demonios vamos a encontrar un sistema que realmente bloquee este tipo de contenidos de los que a priori no tenemos huella, sin que con ello no generemos un entorno puramente infantilizado.

Difícil me parece la empresa, qué quieres que te diga.

Lo que nos lleva a plantear el eterno equilibrio entre qué podemos considerar control del discurso positivo y dónde entramos en las dinámicas de censura nocivas.