En Popsci (y más tarde en Microsiervos (ES)) hablaban de las matemáticas para un asesinato (EN), una suerte de ensayo sobre la liberación moral de la máquina frente al irraciocinio humano.
La rueda delantera de tu vehículo autónomo revienta y el coche gira bruscamente. Pero en lugar de dar un volantazo a la izquierda, hacia los carriles por los que vienen vehículos en sentido contrario, tu vehículo robotizado gira a la derecha. Clava los frenos mientras todos los controles electrónicos tratan de corregir la trayectoria, pero el coche lleva mucho impulso. Tu coche sale volando por un barranco como en una película de acción cutre.
Tu robot, ése por el que has pagado un buen dinero, ha decidido matarte. De hecho la decisión la ha tomado el algortimo de colisiones de tu coche al procesar una situación de choque frontal en una autopista contra un coche convencional, no autónomo y de menor tamaño. En ese coche iban dos personas y el tuyo sólo lo ocupas tú. La operación matemática no podría ser más sencilla.
La situación, aunque aún ciencia ficción, vaticina una realidad que muy pronto podría estar ante nosotros. Según las tres reglas de la robótica (Enlace de afiliado) de Asimov, todo robot debe asegurar la integridad de los seres humanos, anteponiendo ésta a la posible petición de otro humano, y ésta a su propia integridad.
Se cierra así un ciclo que a priori permitiría vivir en relativa seguridad en un mundo dominado por máquinas.
El problema surge cuando, a la hora de trabajar las espectativas ante un suceso (como el caso arriba mencionado), la algoritmia que rige los sistemas del vehículo decide (no sin razón) que resulta más práctico que muera el conductor del vehículo que el conductor y los pasajeros del otro vehículo.
Llegados a este punto, entra en juego el paradigma de la toma de decisión basada en la objetividad, y lo terrorífico que nos resulta a una civilización fuertemente arraigada en criterios subjetivos.
¿Debería entonces tener preferencia un servidor, consumidor y poseedor de la tecnología del automóvil frente a un tercero? En caso contrario ¿Significa eso que caminamos hacia un mundo donde la tecnología será ejecutora racional de nuestro porvenir?
La situación me recuerda profundamente a la arquitectura operacional de grupos de robot. En sistemas multiagente, hay en principio dos modelos de gestión en colmena. La postura del líder y la postura democrática. En la primera, un agente se encarga de dividir las tareas entre el número de agentes disponibles, repartiendo el flujo de operaciones con mayor o menor criterio. En la segunda, son el propio colectivo quien reparte ese flujo, autoasignándose tareas tan pronto completen otra.
Surgen entonces numerosas incógnitas que apunta a la aparición de un caos exponencial. En el primer caso, si el líder se pierde (queda inoperativo o incomunicado), el resto de agentes son incapaces de seguir, o en el peor de los casos, gestionan las tareas formando grupos más pequeños que acaban por desembocar en fracaso. En el segundo, y aún considerando agentes clónicos (mismo procesamiento y capacidad), surgen algunos que, por una u otra razón, son capaces de desenvolverse más rápido en el medio, lo que acaba repercutiendo en un deterioro de ese flujo de trabajo (peticiones de mensajes a agentes más lentos que aún no han recibido la tarea en sí) y a la generación de un nuevo caos.
El resultado final es un sistema imperfecto, terriblemente racional, pero incapaz de dar una solución “políticamente correcta” en un escenario complejo. Porque como ya hablamos recientemente, la irracionalidad humana es un elemento intrínseco en nuestra naturaleza, y difícilmente extrapolable a una máquina.
Edit unas horas más tarde: El CIGTR, medio de actualidad en seguridad informática del BBVA y la Universidad Rey Juan Carlos, han visto oportuno tomar este artículo para el extracto informativo diario (versión en español (ES) y en inglés (EN))..
Así pues, la tecnología no es el problema, aunque con un uso mal intencionado o con una programación incorrecta pueda generar más de un problema. El colaborador del CIGTR, Pablo F. Iglesias, reflexiona sobre las contradicciones que implica el avance hacia una sociedad hiperconectada, robotizada y gobernada por algoritmos, con interesantes referencias a “las tres reglas de la robótica” de Asimov o los modelos contrapuestos de sistema multiagente. Apuntes que son plenamente válidos si los transportamos al entorno de la Seguridad de la Información: ¿qué máquinas han de tomar qué decisiones, en función de qué inputs y sobre qué algoritmos?
Edit a día 17 de Mayo del 2014: Stephen Hawking hablaba hoy precisamente de esta necesidad. La de definir de forma concreta la autonomía del robot para evitar un futuro en el que esta sea gestionada por ellos. O en caso contrario, aceptar que caminamos hacia esa realidad.
La solución del dilema viene no por un algoritmo del tipo “sistema robótico” sino por el liderazgo personal que generan los propios grupos humanos en los que no se produce la ecuación habitual en las máquinas de que “[email protected] somos iguales”.
Aceptando como deseable la igualdad entre seres humanos debemos reconocer que afortunadamente somos diferentes y que en un grupo de trabajo crecemos aprendiendo de los demás y de nuestra propia interacción de forma que el liderazgo puede surgir del propio grupo, en cualquier momento, gracias a un fenómeno propio de humanos y muy distante aún para las máquinas como es la inteligencia colectiva.
Como reflexión sugiero leer lo que ha hecho Toyota en su cadena productiva en la que ha decidido reintroducir mas seres humanos http://www.jivablog.com/09-04-2014/toyota-le-da-la-vuelta-a-la-tortilla-los-humanos-son-mas-eficientes-que-los-robots.html
Toyota ha sido y sigue siendo un referente en cuanto a gestión de proyectos, y este es un paso más, aparentemente en contra de la tendencia del momento, al reintroducir trabajadores en la cadena de producción.
Y en eso esto muy de acuerdo. Frente a la postura apocalíptica de que la robótica y en general las nuevas tecnologías están haciendo desaparecer puestos de trabajo, lo cierto es que lo que están obligando es a generar trabajadores más cualificados que cooperen, o bien gestionen, esas máquinas.
Respecto a su aplicación en inteligencia artificial, estamos aún bastante por detrás de los mínimos esperables, lo que puede apuntar, como bien señalas, a una posible unificación de patrones (racionalidad mecánica e irracionalidad humana) trabajando en sintonía, y aprendiendo uno del otro.
Es fácil. Llevamos millones de años con la lógica subcortical de la supervivencia. Es nuestro sistema operativo animal, reptil, predador… Y nos ha permitido llegar hasta aquí. A costa de muchas cosas, claro. No es fácil cambiarlo por un algoritmo racional en el que el orden de prioridades – invididual o colectivo – sea diferente.
Precisamente Stephen Hawking hablaba sobre ello en un artículo que enlazo al final del post. Es importante saber gestionar la singularidad que ocurrirá cuando la robótica sea capaz de automejorarse, y previsiblemente, aplique una lógica racional que quizás no estemos dispuestos a sufrir.