El verdadero riesgo de las IAs no está en la propia IA sino en el humano

Lo llevo repitiendo ya muchos años: Aunque sea un tema que da para divagar largo y tendido, esa “trascendencia” de la máquina vaticinada por muchos futurólogos, y que para colmo tiene un corolario nada halagüeño desde nuestro punto de vista, nos queda aún muy lejos.

Lo suficiente como para que de preocuparnos, nos preocupemos por riesgos más cercanos, como es el caso de que los robots que hoy en día empiezan a irrumpir en los hogares no sean tan fácilmente hackeables por otros humanos, permitiéndoles saltarse las reglas de la robótica y atentar contra sus clientes.

Es, de facto, un escenario real. No una mera lectura alternativa.

Recientemente IOActive demostraba cómo habían sido capaces de reprogramar robots tan tiernos como Pepper (ES), Alpha2 (EN/en la imagen superior) o NAO (ES), para que sean capaces de causar daños físicos a sus dueños.

Para ello han tenido que encontrar la manera de reescribir los archivos de control del autómata (EN), eliminando controles de seguridad que en esencia son los que evitan que estos robots supongan un problema para el humano.

Basta, por ejemplo, con desactivar los sensores de proximidad para que una de estas máquinas sea capaces de arrollar a cualquiera que se le ponga delante, o incrementar la velocidad de sus movimientos para que una simple acción como puede ser pasar un vaso se transforme en un ataque con arma arrojadiza.

Sobra decir que también tuvieron tiempo para hijackear los sistemas de vídeo, pudiendo utilizarse, como ya ocurría recientemente con algunos modelos de juguetes para niños, para espiar a sus dueños o incluso realizar campañas de ingeniería social.

Un riesgo físico a considerar

La cuestión es que cada vez más estamos creando un ecosistema digital cuyo impacto, tanto positivo como nocivo, se traslada al mundo físico.

Hace unos años la mayoría de sistemas informáticos, de tergiversarse su función, impactaban en criterios puramente abstractos (robo de identidad, impacto económico por cese de actividad, problemas legales…). Pero en un entorno cada vez más digitalizado, ese riesgo digital afecta cada vez más a nuestra integridad física.

Lo vemos en el día a día con los fallos de seguridad y/o cambios de política de privacidad en dispositivos del Internet de las Cosas. Que un servicio como Facebook deje de funcionar durante una tarde tiene un impacto negativo en nuestras relaciones digitales, pero si lo que deja de funcionar es el sistema de calefacción de una ciudad en pleno invierno (EN), lo mismo acaba con la vida de varias decenas de personas.

Secuestros como el vivido hace unos meses al sistema de ticketing del transporte público en San Francisco (EN) suponen, de facto, un colapso de la ciudad, y la cosa puede volverse aún más nociva cuando lo que falla es el sistema de reconocimiento de señales de tráfico en vehículos autónomos o los controles de seguridad de una potabilizadora de agua.

En todos estos casos, por cierto, el verdadero riesgo no está en que esos sistemas de aprendizaje profundo evolucionen hasta un escenario en el que su operativa queda fuera de nuestro control, y esa IA trascendente acabe por considerar a sus creadores como la principal fuente de problemas a la hora de desempeñar objetivamente su trabajo. Está en los propios intereses que pueda tener un grupo de cibercriminales, una empresa de la competencia o una agencia de inteligencia, en causar daño a otro grupo, y más en particular en la facilidad o dificultad que tengan para bypasear esos controles éticos esperables en todas estas herramientas automatizadas.

Sin ir más lejos, sigo muy preocupado por conocer cómo van a actuar los coches autónomos a la hora de tomar una decisión que involucre la vida de una o varias personas.

El clásico problema ético de, en el momento de decidir si el vehículo debe seguir por la carretera, a sabiendas que ello supone un choque frontal con otro vehículo donde va una familia con dos hijos, o saltar por un barranco, a sabiendas que eso previsiblemente suponga la muerte de su conductor, ¿qué decisión tomarán los sistemas de inteligencia artificial?

• Seguir de frente: Lo que supone poner en riesgo no solo la vida del cliente, sino también la de toda una familia. Menos posibilidad de daño crítico, pero en esencia más probabilidad de daños, puesto que involucra a más personas.
• Tirarse por el barranco: Lo que supone, casi con total probabilidad, matar al cliente. A la persona que ha pagado porque el sistema de su vehículo le proteja ante todo, dando prioridad al número de potenciales víctimas.

En un escenario puramente subjetivo, como ocurre hoy en día con los coches dirigidos por humanos, estos escenarios apenas tienen un factor de decisión más allá del propio instintivo de cada uno de los conductores. Pero una máquina es capaz de tomar decisiones mucho más rápido, y habida cuenta de que no está afectada por estados anímicos como el estrés o la ansiedad del momento, requiere de un sistema de reglas que alguien debe programar y que dicta cuál es la manera adecuada de actuar en estas ocasiones.

Lo que supone aceptar uno de los dos escenarios, que entran en conflicto previsiblemente con criterios éticos, morales y de negocio.

Ahora, a todo esto inclúyale el hecho de que estos sistemas, permanentemente conectados a la nube, suponen un riesgo global para la integridad de no únicamente un dispositivo, sino en la práctica de todos los que estén conectados a ella.

Basta con que alguien consiga acceder a este conjunto de reglas y pueda sobreescribirlas para cambiar arbitrariamente el funcionamiento del producto en diferentes escenarios, que se propagará al momento a cualquier otro producto que tire de la misma biblioteca, pudiendo poner en peligro a millones de personas.

Y todavía voy más allá: ¿Qué pasa si un servidor, dueño de uno de estos vehículos, y con conocimientos técnicos suficientes, quiero proactivamente modificar el sistema de reglas de mi dispositivo para que actúe según mis intereses? ¿Acaso yo como dueño del vehículo no tengo derecho a realizar modificaciones en su core? O por el contrario, ¿soy solo un mero arrendatario de un producto que en teoría he comprado?

El corolario con el que quiero que se quede en este pequeño ensayo es que se mire por donde se mire, estamos vendidos. Y no porque la inteligencia artificial suponga un riesgo real hoy en día, sino porque hay tantísimos intereses humanos en juego, y los sistemas informáticos no dejan de ser sistemas sujetos a la más pura intencionalidad humana, que es difícil precisar cuál será el próximo vector de ataque y qué impacto puede llegar a tener en nuestras vidas.