La «realidad» discriminada de los algoritmos

Voy a ir al grano: Resulta absurdo pensar que una máquina es per sé racista, o xenófoba, ¿verdad?

Para ello, tiene que tener personalidad, capacidad de crítica. No debe haber un «mens rea» que le permita juzgar.

Ahora bien, abra una pestaña nueva en su navegador y busque «Doctor» en Google Images. ¡Qué demonios! Le paso yo el enlace (ES), que por ahora no nos han prohibido hacerlo :P.

Seguramente ha obtenido algo parecido a la imagen que acompaña estas palabras, ¿verdad? De todas ellas, ¿cuántas personas de raza negra le han salido? ¿Y cuántas mujeres?

Vale, que a lo mejor ha sido casualidad.

Probemos a buscar «manos« (ES). ¿Ve muchas manos de una persona de raza negra? U «ojos» (ES), o «deportista« (ES), o «mujer« (ES), o «hombre« (ES),…

Y vale, que hasta cierto punto estamos dentro de una burbuja. Estoy escribiendo en español, con una IP… francesa (problemas con el proveedor de servicio, no pregunte :)), logueado con mi cuenta, con un historial muy… occidental.

Pero es que en el otro lado del charco, en otras culturas, y en otros idiomas, la cosa no mejora.

Y tampoco, como ya comentamos en alguna ocasión, podemos echarle la culpa a una pieza de código.

¿Qué está pasando, entonces?

El caso de Latanya Sweeney

Latanya Sweeney (EN) es una profesora de ciencias políticas y tecnología de la Universidad de Harvard, que un buen día, haciendo egosurfing, se dio cuenta de que al buscar su nombre, las primeras páginas que el buscador le ofrecía (publicidad, como bien sabe) estaban todas relacionadas con supuestos servicios de alerta por arrestos, robos, y demás.

Por supuesto, ninguno de estos daba un resultado afirmativo. Probó entonces con otros nombres, y en algunos aparecía publicidad semejante y en otros no.

Sabiendo que no había relación alguna a nivel de identidad (simplemente el buscador ofrecía a estos servicios (directorios de multas de tráfico, arrestos y delitos penales) publicidad segmentada a su nicho de mercado con nombres más susceptibles a este tipo de búsquedas), ¿cómo elegía entonces Google qué nombre es el más común para infractores de la ley?

Y surgió una idea.

¿Y si este resultado dependía de si tu nombre era un «nombre negro« (EN)?

Dicho y hecho. Después de realizar el estudio (EN) en buena parte de EEUU, se demostró que conforme más posibilidad había de que un nombre perteneciera a una persona de color, mayor probabilidad había de que apareciese vinculados a directorios de arrestos o robos anteriores.

Es decir, que simplificando al máximo el asunto, para Google, las personas de color negro, son potencialmente criminales. Que Google es racista, vamos.

¿Por qué ocurre esto?

Aquí llegamos al quid de la cuestión.

Salvando teorías conspiranoicas (Google es simplemente una empresa que espera ganar más y más dinero, como cualquier otra corporación), lo cierto es que los algoritmos que rigen Google, y en líneas generales, rigen el tercer entorno, están funcionando tan bien como deberían funcionar.

De hecho, el que haya una discriminación en los resultados de un algoritmo solo demuestra que la objetividad de un algoritmo llega hasta donde llegan las raíces subjetivas que le dan forma. Y esto, a su vez, depende dos factores:

1. El campo de aprendizaje: Todos estos algoritmos evolucionan gracias a técnicas de machine learning, que ya tratamos en profundidad en artículos anteriores. Gracias a ellas, un algoritmo a priori creado por un ser humano, puede «pseudo-aprender» del mundo que le rodea para enfrentarse el día de mañana a escenarios para los que seguramente no ha sido diseñado (como es el entender qué hay en una fotografía que nunca antes ha visto y que el desarrollador de turno no le ha dicho en qué elementos debe fijarse). El problema radica en que para ese aprendizaje se ha utilizado un universo de datos (imágenes, textos, enlaces, lo que sea) que no es completamente heterogéneo. Que no cubre todas las casuísticas de nuestra realidad. Por tanto, cuando ese algoritmo aprende, en verdad está aprendiendo de un subconjunto específico de elementos, y obrará a partir de entonces según ese criterio preestablecido, lo que nos lleva a situaciones tan lamentables como que una máquina categorice a varias personas de raza negra como monos (ES) en vez de como humanos, o a que en la práctica, para el sistema de pilotaje de un vehículo autónomo, una señal de STOP, y una señal de STOP medio tapada por las ramas de un árbol, no sean la misma cosa.
2. La subjetividad humana: Si el propio universo de datos que ha utilizado el algoritmo para aprender no es heterogéneo, las propias limitaciones humanas complican aún más las cosas. Por muy buena fe que se ponga a la hora de diseñar un algoritmo lo más objetivo posible, siempre habrá una subjetividad que empujará al diseñador, ingeniero, o profesional de turno a lateralizar sutilmente (y muchas veces, inconscientemente) el algoritmo. Unas líneas de código en vez de otras, una presuposición que no abarca absolutamente todo el abanico de posibilidades, la propia incapacidad para afrontar una compleja red de efectos de un escenario totalmente objetivo, o la estrategia de la compañía (producto diseñado para ser usado por un target específico), sirven al final como filtros que discriminan la objetividad final buscada.

Y por encima de todo esto, la propia burbuja de filtros que hemos creado, y seguimos alimentando, día tras día.

El que en el buscador, la prioridad de los resultados mostrados, dependa en primera instancia de factores sociales (subjetivos). El que seamos aún incapaces de valorar acertadamente la objetividad. El que esa misma burbuja de filtros hace que el propio desarrollador esté discriminando a la hora de diseñar el algoritmo, a la hora de dotarle de un universo de datos para que aprenda. Y el que esa burbuja de filtros que el algoritmo ha ayudado a crear le esté a él mismo afectando, llevando a situaciones incómodas desde el punto de vista moral como es la que me anima a escribir este artículo.

[Tweet «.@PYDotCom: ‘No hay objetividad pura en los algoritmos, por muy objetivos que queramos diseñarlos'»]

Frente a la discriminación algorítmica, la educación crítica y la transparencia

Ahí entra de nuevo el papel de los educadores, de aquellos que quizás vamos más avanzados en este escenario tecnológico, para hacer entender al resto de la sociedad que se precisa un conocimiento, y sobre todo, una labor crítica, para utilizar la tecnología.

Que hackear el sistema no es sino el único medio de hacer que éste funcione mejor, que evolucione en una sociedad menos dependiente de estímulos externos y con más capacidad para dirigir su propio futuro.

Y unas herramientas a las que hay que demandar mayor transparencia. Un servidor no se sentiría seguro en un coche autónomo cuyo algoritmo ante accidentes no está expuesto al escrutinio público: Llegado el caso, ¿intentará mantenerme con vida? ¿Intentará ser lo más justo en el resultado dependiendo de qué factores?…

Dos elementos que entiendo necesarios para aceptar una irrupción tecnológica que ya es imparable, y que es, de hecho, la mejor creación del ser humano.

Siempre que seamos conscientes de sus limitaciones, y aplicamos, nuevamente, subjetividad y crítica a sus resultados.