Disfrutaba como un niño este fin de semana al conocer el proyecto artístico The Darknet: From Memes to Onionland (EN), de dos programadores, que en su día decidieron desarrollar un bot de compra aleatoria con 100 bitcoins semanales como cartera, y lanzarlo en la Dark Web a ver qué era capaz de traer.
El resultado, el esperado. Junto con ropa y demás accesorios geeks (no podía faltar la colección de El Señor de los Anillos), el pequeñín trajo a casa diversos enseres de espionaje, una VISA platino (presuntamente robada), un DNI húngaro falso y hasta unas cuantas pastillas de éxtasis convenientemente encubiertas en una caja de DVD.
Productos prohibidos, que podrían llevar ante los tribunales a cualquiera que decida comprarlos. Pero (y aquí empieza lo bueno), ¿a quién culpamos?
La respuesta más obvia es a los programadores, y siento decirle que el juicio, de base, ya está ganado. Estos vivaces desarrollaron un algoritmo ALEATORIO, por tanto, resulta prácticamente imposible “enchironarlos” por premeditación. El bot podía haber comprado cualquier cosa, pero decidió aleatoriamente hacerse con estos productos.
Queda pues el propio programa, pero entra en juego otro aspecto legal. Para que alguien (o algo) sea culpable, la ley requiere de mens rea (una mente con intención), y al carecer de ella el algoritmo, de nuevo nos encontramos en un callejón sin salida.
¿Quien es el culpable entonces? Según Ryan Calo, de la Universidad de Washington, nadie (EN). Ni el creador ni la obra pueden ser juzgados, aunque el delito se haya cometido. Y esto abre la veda a los crímenes sin autor, basados en la aleatoriedad matemática y la intermediación.
Todo queda dentro de los límites probabilísticos. El algoritmo ni fue diseñado con intenciones malignas, ni tiene capacidad de elección. Su programación es clara y concisa: busca productos al azar, y los compra.
Podríamos considerar que hay intención en haberlo puesto en alguno de los markets de la dark web, donde sabemos que puede llegar a comprar productos ilegales. Y en cambio, no es suficiente para penalizar el acto, puesto que si bien aumenta la probabilidad, sigue siendo eso.
El tema es preocupante, y adelanta uno de los problemas que tendremos en el futuro, regidos por la dictadura de unos algoritmos sin corazón, sin subjetividad. No hay culpa, no hay error en que un coche automático decida matar primero a sus pasajeros que a los pasajeros del coche que viene justo de frente, puesto que a nivel puramente objetivo, en el otro hay un mayor número de personas.
O peor aún, no habría mala praxis si ese mismo algoritmo decide proteger los intereses de sus clientes, intentando forzar al otro vehículo para que sea ese quien ocasione las víctimas mortales.
No hay cerebro pensante, solo un conjunto de reglas y asociaciones probabilísticas que permiten a la máquina decidir cómo obrar en cada caso.
¿Qué me dice de un bot de lenguaje natural que acabe por influenciar a un humano en redes sociales a cometer una locura? Posiblemente la persona ni siquiera sea capaz de saber que está ante un automatismo, y el automatismo, simplemente dirigirá la conversación con mayor o menor acierto, tergiversando sin intención la información, e influenciando de forma totalmente aleatoria los sentimientos de su interlocutor.
Pero el resultado es el mismo. Crímenes sin autor, que más pronto que tarde estarán entre nosotros.
Interesante,muy interesante, pero, ¿no entraría aquí una obligación del que diseña y programa la máquina. Una cosa es la culpabilidad, pero otra bien distinta y que obliga al creador es la responsabilidad ante los actos de esa creación. Si omites un sistema que obligue a la máquina a seguir ciertas normas cunado tome sus decisiones estás dejando de lado tu responsabilidad. Y supongo que, si esto lo hacemos de manera consciente, de alguna manera estamos admitiendo que somos culpables de omisión. Yo no tengo ni idea de derecho pero creo que si tu sueltas un tanque M1 o un T90, superblindado, peso 50 a 60 toneladas, si armamento y sin intención de dañar a nadie. A ese engendro mecánico al que has dotado de cierta inteligencia para que tome sus decisiones y al que tan solo le has dado unas pocas directivas, entre otras: intentar superar obstáculos (sin especificar que tiene que pasar de lado, en ningún caso por encima), a por lo menos metro y medio (reglamento de tráfico) y poco más, que, siempre que se acerque a una gasolinera, se ponga en el surtidor que da afuera para no romper nada…
En definitiva, el robot (algoritmo, IA, etc) que guía la máquina sería todo lo inocente que tu quieras pero el creador sería aparte de responsable, un villano, el hp que ha planchado mi coche (ver Mr. Bean) y el culpable de haber omitido ciertas reglas para la convivencia al bruto mecánico (ver Mazinguer Z).
Todo lo anterior para quitar hierro a tu magnífico artículo y echar unas risas a cuenta de lo que se nos viene encima. La verdad es que no se muy bien si ese tipo de robot existe en la actualidad pero creo que si se crea nadie dejará que tome el control de su propia “vida” aunque solo sea por precaución. Me viene a la cabeza el cuento de Pinocho. Tendrían que dotar a ese algoritmo una función llamada pepitoGrillo(¿Es esto legal?) que devuelva nooorl, no lo hagas!!! Pecadorrrr!
Jajaja, genial comentario, como siempre Mikel.
Y en efecto, vale más quitar hierro al asunto con buen sentido del humor. Me pregunto cómo diablos están gestionando la “IA” de los coches autónomos. Hace un par de años estuve trabajando con multisistemas inteligentes en la universidad, y la tecnología que intenta emular el sistema de toma de decisiones me parece, cuanto menos, simplista.
Tanto que lleva a casos como que unos robots destinados a mapear un circuito utilizando inteligencia colectiva se queden parados, incapaces de afrontar retos que supuestamente están convenientemente controlados en la fase de aprendizaje.
Ahora lleva esto a un sistema SCADA, a una infraestructura crítica, y como no, a los vehículos sin piloto, y échate a temblar xD.
Y mientras, empiezan a vender asistentes domóticos para personas en riesgo de exclusión social o gente de la tercera edad.
Skynet no está lejos de volverse realidad, pero no como pensamos. Quizás no sea tan inteligente. Quizás, de hecho, eso sea aún más peligroso.
Un artículo muy interesante. Os vais a reír, pero yo creo que algunas máquinas ya están tomando el control de nuestras vidas y vivimos en los inicios de una dictadura del algoritmo. Pongo dos ejemplos cotidianos:
1) Mi nevera bloquea la puerta durante 30 segundos una vez que la he cerrado, supuestamente para evitar “pérdidas energía”. Si me acuerdo de algo que iba a hacer y acabo de cerrar la puerta, tengo que esperar 30 segundos porque así lo ha decido el que ha diseñado el algoritmo. Pero, además, si dejo la puerta más de un minuto, la nevera me castiga con un pitido ensordecedor. Os podéis imaginar que los días en que uno hace compras grandes son un infierno 🙂
2) Mi telefonillo interrumpe la comunicación cuando ésta pasa de los 20 segundos, de forma que no puedo usarlo más que intercambiar mensajes muy cortos. Nada de hablar con los vecinos del barrio como hacíamos antes. Además, si un visitante se equivoca y llama por error a otro piso de manera seguida, el telefonillo considera que es alguien indeseable y bloquea la comunicación en ambos sentidos –ni oigo ni me oyen– durante un buen rato. Por este motivo he tenido problemas serios con algunos clientes.
Al final mis electrodomésticos no hacen lo que yo quiero, sino lo que quiere el que ha diseñado el algoritmo. Antes yo decidía el tiempo que dejaba abierta mi nevera y generalmente me iba muy bien; ahora lo decide por mí un ingeniero que, desde su despacho, cree conocer mi realidad cotidiana mejor que yo. Lo que he relatado son cosas pequeñas que en principio mueven a la sonrisa, pero marcan un camino un tanto peligroso. No quiero pensar lo que ocurrirá cuando se implanten los coches autónomos. Tengo entendido que Toyota anda en juicios por un algoritmo mal diseñado que ha producido varias muertes.
jojo, vaya dos pedazo de ejemplos Pidal. Tienes más razón que un santo. Lo del bloqueo de nevera me parece genial para esas noches frenéticas. A ver quien es el guapo que a las 4 de la mañana espera medio minuto para recoger la leche que se le había olvidado, jajaja.
Es un tema curioso, si señor, y todo apunta a que iremos cada vez más hacia ello. Eso sí, quiero pensar que los primeros pasos son siempre los peores. Es decir, esos bloqueos de los que hablas se realizan por falta de conocimiento.
Los electrodomésticos del futuro posiblemente aprendan de nuestras acciones, y sean capaces de “desbloquearse” si nuestra manera de actuar así lo requiere.
En todo caso, me lo guardo para un posible futuro artículo 🙂 ¡Muchas gracias!