En Popsci (y más tarde en Microsiervos (ES)) hablaban de las matemáticas para un asesinato (EN), una suerte de ensayo sobre la liberación moral de la máquina frente al irraciocinio humano.


dfg

La rueda delantera de tu vehículo autónomo revienta y el coche gira bruscamente. Pero en lugar de dar un volantazo a la izquierda, hacia los carriles por los que vienen vehículos en sentido contrario, tu vehículo robotizado gira a la derecha. Clava los frenos mientras todos los controles electrónicos tratan de corregir la trayectoria, pero el coche lleva mucho impulso. Tu coche sale volando por un barranco como en una película de acción cutre.

Tu robot, ése por el que has pagado un buen dinero, ha decidido matarte. De hecho la decisión la ha tomado el algortimo de colisiones de tu coche al procesar una situación de choque frontal en una autopista contra un coche convencional, no autónomo y de menor tamaño. En ese coche iban dos personas y el tuyo sólo lo ocupas tú. La operación matemática no podría ser más sencilla.

La situación, aunque aún ciencia ficción, vaticina una realidad que muy pronto podría estar ante nosotros. Según las tres reglas de la robótica (Enlace de afiliado) de Asimov, todo robot debe asegurar la integridad de los seres humanos, anteponiendo ésta a la posible petición de otro humano, y ésta a su propia integridad.

Se cierra así un ciclo que a priori permitiría vivir en relativa seguridad en un mundo dominado por máquinas.

El problema surge cuando, a la hora de trabajar las espectativas ante un suceso (como el caso arriba mencionado), la algoritmia que rige los sistemas del vehículo decide (no sin razón) que resulta más práctico que muera el conductor del vehículo que el conductor y los pasajeros del otro vehículo.


Llegados a este punto, entra en juego el paradigma de la toma de decisión basada en la objetividad, y lo terrorífico que nos resulta a una civilización fuertemente arraigada en criterios subjetivos.

¿Debería entonces tener preferencia un servidor, consumidor y poseedor de la tecnología del automóvil frente a un tercero? En caso contrario ¿Significa eso que caminamos hacia un mundo donde la tecnología será ejecutora racional de nuestro porvenir?

La situación me recuerda profundamente a la arquitectura operacional de grupos de robot. En sistemas multiagente, hay en principio dos modelos de gestión en colmena. La postura del líder y la postura democrática. En la primera, un agente se encarga de dividir las tareas entre el número de agentes disponibles, repartiendo el flujo de operaciones con mayor o menor criterio. En la segunda, son el propio colectivo quien reparte ese flujo, autoasignándose tareas tan pronto completen otra.

Surgen entonces numerosas incógnitas que apunta a la aparición de un caos exponencial. En el primer caso, si el líder se pierde (queda inoperativo o incomunicado), el resto de agentes son incapaces de seguir, o en el peor de los casos, gestionan las tareas formando grupos más pequeños que acaban por desembocar en fracaso. En el segundo, y aún considerando agentes clónicos (mismo procesamiento y capacidad), surgen algunos que, por una u otra razón, son capaces de desenvolverse más rápido en el medio, lo que acaba repercutiendo en un deterioro de ese flujo de trabajo (peticiones de mensajes a agentes más lentos que aún no han recibido la tarea en sí) y a la generación de un nuevo caos.

El resultado final es un sistema imperfecto, terriblemente racional, pero incapaz de dar una solución “políticamente correcta” en un escenario complejo. Porque como ya hablamos recientemente, la irracionalidad humana es un elemento intrínseco en nuestra naturaleza, y difícilmente extrapolable a una máquina.

Edit unas horas más tarde: El CIGTR, medio de actualidad en seguridad informática del BBVA y la Universidad  Rey Juan Carlos, han visto oportuno tomar este artículo para el extracto informativo diario (versión en español (ES) y en inglés (EN))..

Así pues, la tecnología no es el problema, aunque con un uso mal intencionado o con una programación incorrecta pueda generar más de un problema. El colaborador del CIGTR, Pablo F. Iglesias, reflexiona sobre las contradicciones que implica el avance hacia una sociedad hiperconectada, robotizada y gobernada por algoritmos, con interesantes referencias a “las tres reglas de la robótica” de Asimov o los modelos contrapuestos de sistema multiagente. Apuntes que son plenamente válidos si los transportamos al entorno de la Seguridad de la Información: ¿qué máquinas han de tomar qué decisiones, en función de qué inputs y sobre qué algoritmos?


Edit a día 17 de Mayo del 2014: Stephen Hawking hablaba hoy precisamente de esta necesidad. La de definir de forma concreta la autonomía del robot para evitar un futuro en el que esta sea gestionada por ellos. O en caso contrario, aceptar que caminamos hacia esa realidad.