En noviembre del año pasado publicaba una pieza exclusiva para mecenas de la Comunidad en la que hablaba de los retos legales a los que nos enfrentábamos con el auge de las GANs, o redes generativas antagónicas. Es decir, con herramientas como Stable Diffusion, Dall-E y compañía, que en teoría generan nuevas imágenes a partir de un universo de imágenes que ha utilizado la IA para aprender.
En él repasábamos los tres principales retos a los que nos enfrentamos:
- El uso malicioso de estas IAs
- La identificación de contenido generado por IA
- El potencial ab-uso que se ha hecho de contenido protegido por derechos de autor
Sobre este último punto, de hecho, estas semanas estamos viendo movimientos de grandes bancos de imágenes llevando a juicio a las empresas y organizaciones detrás de estos servicios, argumentando que están usando de forma ilícita su contenido para entrenar a sus sistemas.
El tema seguramente acabe, no obstante, en saco roto, habida cuenta de que recordemos que lo que hacen estas herramientas es usar bibliotecas PÚBLICAS, obtenidas con un scraping que es, y debe seguir siendo, una táctica de OSINT legal.
De hecho, se puede ver que es así al darnos cuenta de que muchas de estas creaciones han reproducido las marcas de agua que estas plataformas meten para evitar que usemos la versión pública de su contenido sin pagar. Si fuera al contrario (hubieran usado las imágenes originales), no intentarían reproducir la marca de agua.
Para muestra, dos ejemplos:
El debate a colación de esto está servido, ya que por ejemplo, ChatGPT se sabe que aprendió entre otros dataset de BookCorpus, una colección de escritos clásicos y modernos en teoría abiertos.
¿El problema? Pues que una investigación reciente (EN) demostraba que entre los 11.038 libros con los que cuenta esta biblioteca, la mitad eran duplicados, y no solo eso, sino que además había cientos de escritos protegidos por derechos de autor.
Pero no quería hablarte de este tema, sino de otro que viene de la mano.
¿Qué privacidad podríamos esperar de un ecosistema de apps que generan contenido a partir de contenido scrapeado de Internet?
Cómo funcionan las GANs
Antes de nada, un breve repaso de cómo funcionan estas herramientas.
Básicamente, en servicios que generan imágenes, los modelos de IA lo que hacen es analizar el dataset que le hayamos añadido previamente para intentar aprender qué funciona y qué no, y que luego, a peticiones del usuario, sea capaz de generar algo parecido y en teoría único.
Para ello, lo que hacen con cada par de imágenes/texto es deconstruir la imagen pixel a pixel, para luego volver a crear una nueva, pixel a pixel, ordenándolos de otra manera.
Al darle una suerte de valor a cada pixel, y repitiendo este proceso millones de veces, es cuando podrían generar para una petición del usuario una imagen nueva, que no deja de ser una secuencia de millones y millones de píxeles extraídos de todo el dataset cuya descripción coincide con la que ha puesto el usuario, y ordenado de forma pseudo-aleatoria, intentando obviamente mantener una coherencia realista (si pides un rostro, sabemos que tiene que haber dos ojos, que entre ellos hay una nariz…).
De hecho, esta es la razón de por qué parecen estar funcionando tan mal a la hora de crear imágenes donde se vean manos.
Las manos son muy complicadas de dibujar (tienen muchos elementos móviles y suelen estar en escorzo), y es que se han entrenado con datasets insuficientes, a diferencia de los rostros, donde sí que tenemos datasets para dar y tomar…
Hasta aquí, y de una manera muy simplificada, el cómo funcionan.
Ahora vamos a ver por dónde potencialmente están fallando, y por qué podrían estar exponiendo datos privados y personales de personas, negocios y lugares.
La privacidad de las GANs
En teoría, con este proceso se anonimizan las creaciones futuras.
Es más, en sistemas de generación de contenido como ChatGPT, verás que si le pides datos, por ejemplo, de tu persona, la respuesta que muy probablemente te de es que es incapaz de dártelos (a no ser que seas un personaje famoso), argumentando que no tiene acceso a toda la información de Internet, sino solo a una pequeña parte que además no está actualizada.
Por supuesto, esto se trata en parte de una verdad, y en otra parte de una suerte de control que los desarrolladores han puesto para evitar que un tercero use las IAs para el doxing o con cualquier fin malicioso.
Pues con imágenes debería pasar lo mismo.
Puesto que cada imagen del dataset se descompone y recompone pseudo-aleatoriamente, debería ser imposible generar la misma imagen a un prompt específico.
La realidad, sin embargo, es muy distinta.
Recientemente, los investigadores de Google, DeepMind, UC Berkeley, ETH Zürich y Princeton demostraron (EN/PDF) que es posible usar Stable Diffusion e Imagen de Google para generar imágenes de personas que eran IDÉNTICAS a las reales.
Concretamente, tras miles de intentos, el grupo logró extraer más de 100 réplicas de imágenes en el conjunto de entrenamiento de la IA que eran idénticas a las personas reales.
Esto se debe a que para peticiones muy específicas y coincidentes con la descripción del dataset, estas herramientas, que por razones obvias intentan crear el diseño más cercano posible a lo que el usuario pedía, simplemente reproducían el original, que a efectos prácticos es el más exacto posible, pero que aplicado a rostros de personas, pues claramente es un problema de privacidad.
Una debilidad en el sistema de las GANs que se me antoja verdaderamente complicado de resolver (no se trata de una mala implementación, ya que el sistema está devolviendo justo lo que el usuario pide), pero que tiene un impacto aún más crítico cuando hablamos de su implantación en sistemas enfocados a la salud, o que puedan tratar datos tan sensibles como los identficativos de una persona.
Como corolario, los investigadores llegaron a la conclusión de que quien peor lo tiene es precisamente aquellas personas cuyo nombre sea muy diferente al del resto. Al haber menos dataset en el que basarse, es más probable que la IA se quede con menor número de inputs, o en el peor de los casos, solo con uno, lo quedaría en efecto una manera de escrapear información identificativa de alguien o algo.
________
Puedes ver más artículos de esta serie en #MundoHacker, donde tratamos en varios tutoriales las medidas para atacar y/o defenderse en el mundo digital.
Y si el contenido que realizo te sirve para estar actualizado en tu día a día, piensa si merece la pena invitarme a lo que vale un café, aunque sea digitalmente.
