Estaba ayer viendo un capítulo de la segunda temporada de Real Humas (no Humans, el remake americano, sino la sueca del 2012 (ES)), y en un momento dado, un personaje al que llamaremos A (por no spoilear, más que nada), mantiene un interesante debate con otro (B), sobre si debe anteponerse, en el algoritmo que está desarrollando, la atracción por la muerte del instinto de supervivencia:
A: Mira esto, aquí estoy equilibrando la pulsión por la muerte al instinto de supervivencia. Un elección de lo más interesante, ¿no?
B: ¿Y cómo equilibras pulsión de la muerte e instinto de supervivencia?
A: ¿Tú qué crees?
B: A partes iguales.
A: Si están a partes iguales, ambas alternativas son buenas.
B: Pues prefiero que des preferencia a una de las dos.
A: ¿Y a cuál quieres que se la de?
B: A la de supervivencia.
A: ¿Por qué?
B: Bueno, si yo tuviera que elegir…
A: ¡Ahí! Precisamente ahí, es donde te estás equivocando. Si tú eliges acabas con la libertad. Eso destruiría el código.
B: Ya, pero si tu equilibras los dos y no das preferencia a una sobre otra, ¿qué pasará?
A: La capacidad de desarrollar estímulos propios se basa precisamente en estímulos externos…
Y la escena se corta para dar paso a la siguiente, pese a que de facto ha sido un guiño muy adecuado al detonante de toda la serie.
Es un simple diálogo, pero me hizo ponerme a pensar en un tema que ya hemos tratado en varias ocasiones por estos lares, y que retomo desde otra óptica.
Hablamos, como no podía ser de otra manera, de los dilemas morales a los que nos estamos enfrentando con la proliferación de la robótica, y en especial, con la conducción autónoma.
Dilemas morales aplicados a la robótica
No voy a descubrir nada nuevo: El ser humano tiene una capacidad asombrosa de simplificar al máximo la información que recibe de estímulos externos.
Lo hacemos en cada instante de nuestra vida, obviando toda la información exterior y quedándonos apenas con algún que otro elemento que consideramos importante (qué hemos comido, a quién hemos visto de camino al trabajo, qué tareas hemos finalizado, cómo se llamaba esta persona,…).
Y lo mejor de todo, es que lo hacemos sin darnos cuenta, priorizando automáticamente con una tasa de acierto lo suficientemente alta como para que no nos preocupe todo lo que dejamos detrás. Como para que no sea un lastre en nuestro día a día.
Ahora bien, tiene una lectura menos halagüeña, y es que esa simplificación afecta también a las decisiones (a fin de cuentas, partimos de unos datos de entrada específicos, y tenemos que tomar decisiones obviando muchos otros condicionantes), y esta se ve también afectada por la moralidad.
A la hora de elegir entre matar a varias personas o matar a una, la mayoría de las personas elegirían (no sin dolor) la segunda acción.
Pero ¿Qué pasa si esa otra persona es un bebé indefenso, una personita que tiene aún toda la vida por vivir, y en el otro caso, hablamos de varios ancianos o personas con alguna enfermedad terminal? La cosa ya no parece tan clara, ¿verdad?
¿Y si el primer grupo son desconocidos, y el otro es un familiar o amigo al que quieres? Casualmente, en este caso la mayoría cambiamos de idea, pese a que efectos puramente estadísticos, racionales y biológicos, estaríamos yendo contra natura.
Esta situación la estamos viviendo con cada vez mayor intensidad en esta feroz carrera tecnológica. Si de aquí a unos años se espera que la guerra la hagan las máquinas, que por aquí circulen solo vehículos autónomos, hay que definir cómo van a responder estos ante situaciones muy complejas de analizar, como ocurriría en el supuesto antes comentado.
Si ese grupo de personas son transeúntes, y la persona que está sola es usted, que va dentro del coche, ¿no querría sobrevivir?
Aunque eso significara matar a esas personas. Pese a que el “gasto” social es mayor.
Es más, como ya comentamos en algún momento, ¿esos algoritmos de decisión que llevarán implementados estos vehículos deberían entonces anteponer los intereses de su dueño (el que ha pagado por este servicio) frente al beneficio global (la disminución de accidentes y de víctimas mortales) a toda costa?
A nivel puramente objetivo, está claro que no. Pero a nivel de negocio es un sí rotundo. Porque si yo me entero que mi vehículo va a ser profundamente objetivo a la hora de acabar con la vida de mi persona o de terceros, es bastante probable que no quiera comprar esa máquina.
Es probable que no quiera pagar por un sistema teóricamente más seguro para la humanidad, que puede volverse en mi contra si considera que ese es el mal menor.
Y todo bajo la burbuja de una legislación que en muchos casos prohibe tajántemente comparar vidas humanas, como ocurre en Alemania, y leía de la mano de Drewbot (EN/enlace caído):
En Alemania la Constitución establece que la dignidad del ser humano es ‘inviolable’ y que el Estado tiene la obligación de protegerla. Los tribunales de aquel país generalmente interpretan esto como que es ilegal sopesar el valor de una vida contra otra. Que es ilegal reducir una vida humana a un valor que pueda procesarse con un algoritmo para decidir sobre ella.
Aleatoriedad y libertad algorítmica
Así vuelvo a llegar a la conversación que mantenían A y B en Real Humans.
Quizás, después de todo, el dotar al sistema de una suerte de aleatoriedad controlada permita “equilibrar” las tensiones entre los dos frentes. Que sea el sistema de toma de decisión quien, llegado a un punto de conflicto claro de intereses, lo tire a suertes. Eliminar el Mens Rea de la robótica.
Y suena tan terrible como sería que sistemáticamente aplicara una u otra acción, anteponiendo bien común o interés de su dueño.
Todo presuponiendo ese entorno controlado al que en algún momento esperamos llegar (solo coches autónomos corriendo por carreteras específicamente diseñadas para esta conducción), sin humanos al volante o por las calles (irracionalidad), sin condiciones atmosféricas/logísticas inadecuadas. Sin luchas de poder entre compañías, sin competencia desleal, sin hackeos. Con la capacidad de solucionar algorítmicamente conflictos más que asegurada (hoy en día, la mayoría de estos sistemas, se quedan bloqueados si descubren una inconsistencia en sus árboles de decisión).
Sin más complejidad, a fin de cuentas. Lo cual ni parece, ni será sencillo de conseguir.
Todo por conseguir una suerte de “libertad” algorítmica. Por dotarla del peso suficiente como para despreocuparnos de este asunto.
Una aleatoriedad consentida en un sistema, que recalco, gestiona vidas humanas. Que al final el accidente sea accidental y no voluntario.
Y me pregunto entonces si en verdad hemos ganado en algo (más que el hecho de estar consultando Twitter en carretera, me refiero). Si es ético voluntariamente no controlar el resultado de un accidente y dejar al libre albedrío que decida por nosotros.
Dios mío, la que nos espera…
No estoy muy familiarizado con esto de los sistemas autónomos, pero me pregunto que pasaría después del incidente, en una situación como la que se planteó, por lo menos habrá una víctima.
Si te refieres a la responsabilidad, en principio entraría en juego el mens rea de la robótica (si no hay capacidad de elección, no hay un culpable claro).
En la práctica, y llegado al punto, seguramente la legislación gestione este tipo de situaciones. Si hay intervención humana, como hasta ahora (culpable el que “conducía”). Si no hay intervención posible, analizarían si fue un fallo del sistema, y en tal caso el culpable sería bien el dueño del mismo (por no pasar los controles adecuados o haber modificado el sistema) o bien la empresa encargada (por no cumplir la normativa).
Me pregunto si no sería diabólico que en una situación extrema como la que planteas el resultado dependa de una función random que decide como un dios a quien protege y a quien perjudica. Muy buen artículo Pablo.
A lo que voy es justamente a eso. Que me resulta muy complicado dilucidar qué salida es la más ética a un problema que tarde o temprano nos encontraremos.
Porque la alternativa (que la máquina decida) tiene un peligro que no veas también :).