Échele un vistazo a la imagen que acompaña estas palabras, y póngase en el “cuerpo” de un sistema de videovigilancia como el implementado recientemente en algunas ciudades de EEUU o Reino Unido (ES), y algunos aeropuertos europeos como el de Ámsterdam (EN). ¿Quién de los transeúntes es un potencial terrorista?
Quizás para usted, mero humano, la pregunta no sea fácil de responder. A lo sumo apuntaríamos al corredor de camiseta roja, que llama mucho la atención. Pero una máquina lo tiene claro: El hombre de gorra y los dos ciudadanos que caminan juntos en primer plano.
¿La razón? ¿Qué ser en su sano juicio iría en dirección contraria al sentido normal de esta vía (de izquierda a derecha en el lado más cercano a la imagen, y de derecha a izquierda en el más alejado)?
¿La respuesta? Un humano.
Y ahora mire esta otra imagen: ¿Qué le llamaría la atención a una IA de videogilancia?
El hombre que está parado en medio, ¿verdad?
Pues no.
Las alarmas sonarían por esa maleta roja abandonada a su suerte junto a la señal de tráfico. Una maleta que cualquier humano sería capaz de contextualizar con ese hombre de camisa blanca y corbata que espera, presumiblemente, a que le vengan a recoger. Pero no así una máquina.
Estas fotografías, junto con otras muchas más, forman parte de una serie realizada por la artista holandesa Esther Hovers y titulada “False Positives“ (EN). En ella, la artista quiso ejemplificar lo absurdo del funcionamiento de estos algoritmos de identificación de amenazas.
Me meto mucho con las IAs de nuestra era, y no es para menos. Estas máquinas están generando un porcentaje de falsos positivos apabullante, siendo necesaria la labor de un analista para meter orden en el asunto.
Lo vimos recientemente con esos trolls bypaseando la moderación algorítmica aparentando ser muy educados en sus comentarios, lo hemos experimentado en nuestras carnes con la pugna que se está viviendo estos días con la viralización de noticias falsas en sistemas de recomendación como el de Facebook, lo sufrimos a diario con el surgimiento de algortimos pseudo racistas y xenófobos, y lo lamentaremos algún día no muy lejano.
Estas máquinas están aprendiendo de universos de datos ya, per sé, fuertemente sesgados. Pero además aún les falta muchísimo para llegar a ser tan eficientes a la hora de analizar el contexto como somos cualquiera de nosotros. Que claro está, partimos con ventaja. Llevamos literalmente milenios sofisticando nuestros sistemas biológicos para reconocer el peligro.
Y aun así erramos. Imagínese tener que llegar a esto en… ¿50 años?
El panopticón de la vigilancia masiva es una mera cortina de humo
La seguridad 100% efectiva no existe. Esto lo sabe usted, lo sabe un servidor, y lo sabe todo el mundo. Pero vivimos un escenario político que precisa de elementos históricamente tan adecuados como el miedo y la paranoia.
El enemigo del siglo XXI es uno que no podemos señalar con el dedo, ya que se oculta justo allí donde la vista no nos llega. El terrorista es un ser intangible, que tan pronto es un sirio con turbante como nuestro vecino, tan pronto un afgano yihadista como un camionero francés, o un adolescente pre-universitario de Colorado.
Y bajo una situación semejante, el único camino para asegurar la maltrecha seguridad nacional pasa porque todo ciudadano ceda cada vez más intimidad en favor de un supuesto bien común.
Así llegamos a un panopticón de la vigilancia masiva que tan pronto se difumina entre los continuos ataques a esos dispositivos que todos llevamos en nuestro bolsillo, como se ejemplifica con la más pura extrapolación de la vigilancia imaginada por Orwell y sus secuaces.
Deleguemos el control a una máquina, ya que una máquina es ¿siempre? neutral. Y no duerme, ni enferma, ni tampoco se queja cuando le piden hacer algo que va en contra de sus compañeros.
Una sociedad de control, controlada por muchas máquinas imperfectas cuyo único objetivo es mantener el control de la sociedad. Qué esto sirva para mejorar la seguridad todavía hay que demostrarlo. Por ahora, no ha sido así.
Por otro lado, una conducta que se sabe observada continuamente es una conducta antinatural. Evitar que alguien se le vaya la cabeza y mate con su vehículo a varios transeúntes está fuera, incluso, de la capacidad de una máquina. El humano es irracional por naturaleza, y esa misma estrategia mediática de escupir constantemente al ciudadano propaganda anti-terrorista tiene una doble lectura: tan pronto da sentido a partidas presupuestarias multimillonarias necesarias al parecer para controlar al terrorismo, como radicaliza a ese porcentaje de la sociedad que se siente excluída.
Estamos llegando a un punto en el que por defecto todos somos criminales. Y ya, si eso más adelante, se demostrará quiénes no lo son.
No hay misticismo en el machine learning, simplemente matemáticas. Las IAs son una mera herramienta, aún muy básica, para el fin que el ser humano quiera darle.
Los ocho patrones causantes de la mayoría de falsos positivos:
Según los investigadores cuyas reflexiones sirvieron a la artista para realizar este proyecto, existen 8 patrones que hoy en día hacen que cualquiera de nosotros sea considerado potencialmente peligroso frente al objetivo de una cámara asistida por estas IAs. A saber:
- Caminar con demasiada rapidez.
- Merodear lentamente sin rumbo durante cierto tiempo.
- Abandonar o alejarse de algún objeto que previamente hubiéramos portado.
- Permanecer quieto en una esquina.
- Mirar repetidamente hacia atrás.
- Caminar en contra del sentido del tráfico.
- Moverse de manera sincronizada.
- Que un grupo de personas se deshaga súbitamente.
Lo que de facto nos señalaría a cualquiera de nosotros como potencial terrorista: quién no ha salido alguna vez a “dar una vuelta”, quién no se ha quedado esperando a alguien en la calle, quién no ha coincidido con un grupo de personas que justo iban en su misma dirección…
Las apreciaciones son tan absurdas como ineficaces. Basta con que un terrorista sea consciente de esto para hacer justo lo contrario, y no ser marcado entonces como tal.
Estamos intentando analizar patrones humanos con sistemas informáticos, y eso, al menos al nivel de eficacia que parecemos interesados en dotarles, no va a acabar bien.
Y tiene un corolario aún menos halagüeño. Cómo explicaba en la pieza “Entrega tu mejor cara en el tercer entorno: tu vida depende de ello“, qué pasará cuando se le dote a la máquina de una suerte de juez y verdugo. Cuándo el margen de error sea lo suficientemente bajo como para que los supuestos beneficios sirvan de excusa para obviar los falsos positivos.
Cuando ese algoritmo decida que en efecto usted no es digno de entrar en un país, aplicar a ese puesto de trabajo, o peor aún, le señale como un potencial terrorista. Simplemente porque es humano, y porque de entre las miles de variables que estos sistemas acabarán analizando, considera que algunas de sus acciones son “demasiado caóticas” para no representar un riesgo potencial.
Una sociedad de control, nuevamente, bajo el auspicio de una suerte de normalización del abuso de intimidad, de que el ciudadano no debe tener nada que ocultar, y debe comportarse como el resto de masa.
Ser más máquina y menos humano, a fin de cuentas.
¿Vamos montando la brigada de precrimen? Preocupante lo que pueden hacer los gobiernos que tan sabiamente elegimos con estas herramientas.
Hay ya acercamientos más “humildes” al principio que comentas en gobiernos como el Chino. Esperemos que sólo se queden en acercamientos.
Esos acercamientos se irán dando, ya que la presunción de inocencia es un valor que no está intrínsecamente en la condición humana, y una tecnología de ese tipo puede ayudar a aquellas personas con pocos escrúpulos o crean que pueden pisotear los derechos individuales sin estar pisando los colectivos.
El miedo alimenta a este tipo de movimientos. Tan absurdo como que desde hace unas horas EEUU y Reino Unido hayan decidido prohibir el uso de dispositivos más grandes que un smartphone en vuelos… que provengan de países musulmanes.
Una medida estúpida, no infundada y profundamente racista.
Un grupo dejando cuatro maletines en cuatro esquinas distintas, mientras la IA indica al humano sentado frente a ella que hay cuatro puntos a tomar en consideracion para revision presencial. Mientras el grupo aprovecha y realiza su fechoria en otro punto del establecimiento/lugar/area.
Echa la ley, echa la trampa. Basta con darse cuenta de lo que se considera peligroso para hacer lo contrario y pasar desapercibido. O como bien dices, para crear situaciones que la máquina marcará como falsos positivos mientras por otro lado se lleva a cabo el verdadero ataque.
Geniales las dos imágenes y su explicación.
Una puntualización acerca de que no sabemos donde está el terrorista, puesto que puede que incluso señalando al terrorista no estemos señalando al verdadero culpable, pues nadie asegura que el celebro del atentado no sea un radical racista asentado en el propio país, por poner un ejemplo.
En general el poder suele vendernos que las cosas se hacen hoy por un motivo y mañana por otro que no tiene nada que ver. En el fondo suele haber otros intereses. Hoy lo que les interesa es acabar con nuestra intimidad (llamándola privacidad que parece menos importante) Saber como pensamos y por que pensamos como pensamos facilita democratizar el pensamiento único de turno y la supresión de cualquier otra idea.
Las máquinas no duermen, pero requieren un mantenimiento, no enferman, pero falla su hardware, es tan neutral como ha sido capaz de programar el humano que lo ha hecho, y cuando se le pide algo para lo que no se ha pensado, empieza a dar fallos que denominamos como bugs No obstante, es posible que haga cosas para las que no han sido pensadas y lo llamamos hacking… Digamos que la tecnología tiene sus propias cositas.
La tendencia es que pasemos a estar controlados por el gran hermano, lo que no saben los que lo financian es que sucumbirán a su poder.
El concepto de que todos somos criminales es tan antiguo como el que todos somos pecadores, y, en general, no veo grandes cambios en los principios que se aplican para controlar a las personas de los que se aplicaban hace miles de años, lo que ha cambiado es la tecnología. Por eso ahora no necesitamos los dioses y el pensamiento parece ir dirigido en este sentido, a acabar con ellas y criminalizar a los que las profesan. Ya no es necesario un ente superior que sabe lo que haces, sabe lo que piensas, lo que has hecho y lo que vas a hacer. Aquellos que hackeen matrix serán los que levantarán el siguiente orden mundial, y, como decían los electroduendes, “harán una revolución para explotarnos de una manera más sofisticada”
Interesante el análisis. Efectivamente la Seguridad al 100% no existe, se minimiza el riesgo y se trata de mantenerlo en un porcentaje muy bajo, el riesgo o la amenaza no desaparecen, es como un virus, no lo aniquilas, solo lo controlas y está latente en el cuerpo, para controlarlo necesitas realizar un buen perfil y pensar como “ellos”, meterte en la mente y en la piel, solo así sabrás donde hay una probabilidad potencial de riesgo, desgraciadamente, aún hoy, se dedica poca gente al análisis y estudio de las amenazas y riesgos potenciales, los ataques de cualquier tipo son causa de que les “damos la oportunidad de suceder”, una máquina se basará en datos pero le faltaria la experiencia humana del presentimiento, del sentimiento y de las emociones. Salud y Vida.