discriminacion algoritmica

El otro día mi madre me contaba la odisea que ha tenido que vivir para algo tan sencillo como que le calculen cuánto le quedará de pensión cuando se jubile.

Básicamente, fue al órgano a priori encargado de ello, y allí el administrativo que le tocó le informó que él no podía acceder a sus datos, ya que para ello tendría que pedir acceso en otra oficina en una ciudad cercana.

Pidió cita en el otro sitio donde le dijeron, y tras varios días de espera, ya en la otra oficina el administrativo de turno le comunicó que él no podía acceder a esos trámites. Que, para ello, debía pedirlo donde en primera instancia había estado.

¿Por qué te cuento todo esto?

Creo que todos somos conscientes de que la Administración Pública, con su complejidad actual, es de todo menos cómoda y accesible para el ciudadano de a pie.

Esto ha sido así desde que tengo uso de razón, y puesto que parece que no hay interés político en cambiarlo, me temo que seguiremos así por mucho más tiempo.

La diferencia, sin embargo, entre el escenario de hace unos años y el actual, es sutil pero terriblemente peligrosa.

Me explico.

Antes, cuando tenías que hacer algún trámite en la Administración Pública, y por la razón que fuera (tuviera o no razón el administrativo), al trabajador no le quedaba otra que decirte que no era posible por algo intrínseco al propio trámite.

No reúnes los requisitos para acceder a esta ayuda.

Tienes esta documentación incompleta.

Has completado mal esta petición.

Sin embargo, de un tiempo a esta parte, con la paulatina digitalización de los servicios administrativos, la excusa para todo es siempre la misma:

El sistema no me deja.

Que puede parecer lo mismo, pero créeme cuando te digo que el cambio es radical y terriblemente peligroso para el futuro de todos nosotros.

  • En el primer caso, es el administrativo el encargado de ayudarte, o aunque sea asesorarte en cómo solucionar el problema. Él debe asumir por tanto esa responsabilidad.
  • Sin embargo, en el segundo caso, la culpa la tiene un sistema informático, un ente abstracto al que, para colmo, y como llevamos ya literalmente años alertando, se le presupone una neutralidad que, en la práctica, no es tal. La responsabilidad pasa del administrativo al sistema, y por tanto, no hay queja posible por parte del ciudadano.

Varios casos recientes

Hace unos días dedicábamos un artículo en CyberBrainers a la situación que muchas familias han vivido con el BOSCO, el sistema de la Administración Pública que actualmente decide qué ciudadano tiene acceso al bono social y cuál no.

La cuestión es que esta herramienta informática es la que actualmente aplica los mismos controles que antaño el administrador de carne y hueso tenía que aplicar para tomar esta decisión, con la salvedad (para bien, y para mal), de que el sistema no es humano, por lo que aplica las reglas tal cual, sin posibles tergiversaciones (positivas o negativas, ojo) debidas a la subjetividad humana.

¿Cuál es el problema entonces?

Pues que el algoritmo (por llamarlo de alguna manera, que realmente seguro que no es más que un conjunto de condicionales iterativos…) no es accesible y analizable por el ciudadano. Y gracias a análisis externos (la única manera actualmente que tenemos de validar que funciona bien o mal) se ha llegado a la conclusión de que, por ejemplo, algunos ciudadanos en situación de viudedad, que sí deberían por ingresos brutos percibir esta ayuda, eran rechazados.

Pasamos así, de un riesgo local (el administrativo que te toca, por lo que sea, deniega una solicitud que cumple los requisitos) a uno global (es el propio sistema informático el que, debido probablemente a un error de código, está denegando sistemáticamente un perfil en particular de ciudadanos que deberían cumplir los requisitos).

Varios organismos han pedido auditoría externa del sistema, e incluso han llevado ante los tribunales a la Administración Pública por este hecho, y la resolución, que era de lo que iba el artículo en CyberBrainers, se ha puesto de lado de la Administración, al asegurar que este sistema, que recordemos está pagado por todos nosotros, y que recordemos cumple un propósito de ámbito puramente social, está protegido por los derechos de autor de la empresa que ganó el concurso público.

Otro ejemplo más de cómo las cláusulas de confidencialidad y los derechos copyright están mermando la capacidad social de entender cómo funciona el mundo que nos rodea.

Esta situación vivida con la administración española se repite una y otra vez en diferentes países.

Un algoritmo utilizado por los servicios sociales del condado de Allegheny (Estados Unidos) considera que nacer en una familia pobre o de clase trabajadora es un factor de riesgo para sufrir maltrato infantil. Esto se traduce en una mayor vigilancia de las familias latinas y negras, ya que en general son las que tienen una renta más baja. Las familias racializadas tienen también más posibilidades de recibir una visita de un asistente social y de perder a sus hijos que las familias blancas. 

Fuente: El Diario (ES)

Un blanqueamiento discriminatorio bajo la excusa de la transformación digital

Fíjate que el problema ya no solo es que haya intereses para que el ciudadano no pueda acceder al código fuente, y por tanto entender cómo funciona el sistema, sino que estos sistemas, a los que se les supone una esperable neutralidad algorítmica (a fin de cuentas solo aplican las reglas que les han enseñado a aplicar), siguen estando pervertidos por la propia subjetividad humana, al analizar datos que ya vienen sesgados, o replicar errores (intencionados o no) en las reglas algorítmicas.

  • Con el agravante, como decía, de que entonces el problema pasa de ser local a global.
  • Con el agravante, como decía, de que entonces «es el sistema quien no me deja tramitar la solicitud», y no mis propios sesgos o condicionantes como persona humana e imperfecta que soy.

Y ojo, que aquí los culpables no son los pobres administrativos que les toca lidiar con nosotros cuando pedimos cita. Realmente ellos también son esclavos de unos presuntos sistemas informáticos neutrales desarrollados por los de arriba, sin transparencia alguna, y que les roban la capacidad de toma de decisión.

De aplicar humanidad en su trabajo. Esa parte de la subjetividad humana que tan positiva es.

Estamos viviendo un verdadero blanqueamiento discriminatorio sin precedentes, amparado en la excusa de que el sistema informático es neutral. Cuando ni es neutral, ni cuenta con las garantías suficientes para confiar en él.

Todo porque, en efecto, simplifica hasta el absurdo (y para mal) la complejidad administrativa, lo que se traduce en una menor necesidad de gasto público en recursos humanos, y una mayor opacidad de la Administración Pública para con sus ciudadanos.

Newsletter nuevas tecnologias seguridad

Imagínate recibir en tu correo semanalmente historias como esta

Suscríbete ahora a «Las 7 de la Semana», la newsletter sobre Nuevas Tecnologías y Seguridad de la Información. Cada lunes a las 7AM horario español un resumen con todo lo importante de estos últimos días.