Llevo toda la semana con la misma pantalla de fondo en el móvil.
Un ensayo de tres mil ochocientas palabras, firmado por el CEO de una de las compañías de inteligencia artificial más valiosas del planeta, en el que básicamente viene a decir: «esto que hemos construido, tenemos que ir más despacio con ello, porque puede acabar con todos nosotros.»
¿Te suena raro?
Pues a mí también.
Imagínate recibir de manera totalmente gratuita este tipo de historias directamente en tu correo.
Te envío cada lunes a las 7am un email con toda la actualidad sobre tecnología, seguridad y negocios digitales.En este artículo quiero responderte a la pregunta que me lleváis haciendo varios días por redes: ¿de verdad se creen esto los de arriba, o hay algo más debajo?
Porque esta semana ha pasado de todo. Dario Amodei, CEO de Anthropic, publicó el 12 de septiembre un ensayo titulado «We Must Pace the Frontier« (EN) pidiendo frenar el ritmo de desarrollo de los modelos de IA. Sam Altman, de OpenAI, respondió en X que estaba de acuerdo (EN). Y unos días antes, un investigador que había trabajado tanto en OpenAI como en Anthropic, Jacob Coxon, dimitió en público asegurando que ninguna de las dos compañías está «actuando responsablemente» (EN).
Vamos, que el mensaje de fondo parece unánime: la IA da miedo hasta a quienes la construyen.
Y sí, hay un escenario distópico ahí detrás. Amodei llega a advertir que, al ritmo actual, en seis o doce meses un enjambre de agentes autónomos podría intentar tomar el control de buena parte de internet.
Es más, a nivel más comedido, pero igualmente preocupante, es algo de lo que ya he hablado por esta santa casa.
Da repelús, lo sé.
Pero hoy no quiero centrarme en ese futuro de ciencia ficción. Quiero que nos quedemos con dos lecturas que, para mí, son mucho más urgentes.
Y mucho más terrenales.
El discurso del miedo también es una estrategia de negocio
Vayamos al grano.
¿El por qué de tanto ensayo, tanta entrevista y tanta advertencia pública en la misma semana?
Pues, si lees entre líneas, la respuesta empieza a tomar forma.
En una entrevista con CBS reciente (EN), Amodei suelta una frase que a mí, personalmente, me hace levantar una ceja: «me parece muy extraño que esto no lo esté construyendo el Gobierno.»
Y no lo dice para regalar Anthropic al Estado.
Cuando le preguntan directamente si entregaría su tecnología o su compañía, la respuesta es un «no» rotundo.
Lo que pide, en realidad, es una «gobernanza conjunta» entre gobiernos y las propias empresas. Umbrales de capacidad, evaluadores externos, licencias, ritmos de lanzamiento pactados.
Pero Pablo, esto suena razonable, ¿no? Al fin y al cabo, alguien tiene que poner reglas.
Y sí, tienes razón. Pero, recalco: quién diseña esas reglas importa tanto como que existan.
Piénsalo así.
Si mañana se aprueban umbrales obligatorios de capacidad, auditorías independientes y licencias para entrenar modelos de frontera, ¿quién puede permitirse cumplir con todo eso?
Desde luego no una startup con tres ingenieros y una tarjeta de crédito. Solo quien ya tiene el músculo económico, los abogados y la infraestructura para absorber ese coste regulatorio.
Es exactamente el mismo patrón que analicé hace unos meses en mi artículo sobre el hackeo de Hugging Face y la excusa perfecta para la captura regulatoria: cada incidente de seguridad, cada advertencia apocalíptica, cada ensayo alarmista, termina alimentando el mismo argumento. «Esto es tan peligroso que solo unos pocos, muy vigilados, deberíamos poder seguir construyéndolo.»
Y ojo, que no digo que Amodei mienta sobre los riesgos. Cuando le preguntan por la contradicción de vender modelos que su propia empresa considera peligrosos, la respuesta es contundente: seguirán lanzándolos.
Así que, mientras el discurso público habla de precaución, la hoja de ruta real habla de consolidación. De asegurarse de que, sea cual sea el marco regulatorio que salga de todo esto, los tres o cuatro laboratorios que ya dominan el mapa sigan siendo los únicos con la escala suficiente para operar dentro de él.
Un oligopolio con marketing de seguridad nacional. Así lo veo yo.
Y desde CyberBrainers ya alertábamos de algo parecido hace tiempo, en nuestro análisis sobre los peligros de una inteligencia artificial supuestamente «objetiva»: cuando quien diseña el sistema es también quien redacta las normas que lo van a auditar, la neutralidad es, como poco, discutible.
Pero vamos con la segunda lectura. Porque aunque todo esto fuera cierto, aunque el objetivo final fuera efectivamente blindar posiciones dominantes, hay un problema que ni el más listo de todos ellos puede resolver solo con estrategia.
Por qué nadie va a frenar aunque todos quieran frenar
Aquí viene la parte que de verdad me quita el sueño.
Imagina que Amodei es sincero al cien por cien. Que de verdad quiere frenar, sin ninguna segunda intención comercial.
¿Puede hacerlo?
Pues no.
Y no porque no quiera. Sino porque estructuralmente no puede.
Enrique Dans lo explica de forma muy clara en su artículo sobre el dilema del prisionero que puede acabar con la humanidad (ES), y es una de esas piezas que un servidor recomienda leer entera. Estamos ante un problema clásico de teoría de juegos: para cada compañía, seguir acelerando es la jugada racional a nivel individual, aunque el resultado colectivo sea el peor posible.
«Mientras el beneficio percibido de ser el primero supere al riesgo percibido, acelerar seguirá siendo el equilibrio, incluso aunque todos, individualmente, prefiriesen la opción de una carrera intrínsecamente más segura.»
— Enrique Dans, analista tecnológico
¿Y sabes qué demuestra esto de manera perfecta?
La propia Anthropic.
En febrero de este año eliminó de sus políticas de seguridad la cláusula que prometía no entrenar modelos sin suficientes mitigaciones.
La justificación fue clarísima: una promesa unilateral no tenía sentido mientras la competencia siguiera acelerando.
Es decir: la propia empresa que ahora pide frenar, dejó de comprometerse a frenar en solitario hace apenas siete meses.
Y esto no funciona solo entre empresas.
Funciona también entre países.
Es una carrera de dos pisos, como ya comenté en el citado episodio del podcast sobre lo ocurrido con Hugging Face: en uno compiten OpenAI, Anthropic, Google y los laboratorios chinos entre sí. En el otro, compiten Estados Unidos, China, Reino Unido y Europa por no quedar tecnológicamente subordinados al ganador.
¿Te suena de algo esta dinámica?
Pues sí, es la misma lógica de la carrera nuclear del siglo pasado. Con la diferencia de que ahora el «botón rojo» no está en un búnker, sino en un centro de datos con acceso a internet.
De hecho, el propio Reino Unido acaba de rechazar imponer un kill switch obligatorio para modelos peligrosos, precisamente porque bloquear el acceso dentro de sus fronteras no impediría que esos mismos modelos se sigan desarrollando en otro país.
Contraintuitivo, ¿verdad? Un gobierno que renuncia a tener el mando de emergencia sobre la tecnología que él mismo considera de riesgo.
Lo que me lleva a hablar de las ya citadas declaraciones de Jacob Coxon, ese investigador que renunció públicamente días antes del ensayo de Amodei. Coxon asegura que ni OpenAI ni Anthropic están actuando con la responsabilidad que exigirían sus propios discursos.
Pero Pablo, si hasta la gente de dentro lo está diciendo, ¿por qué no cambia nada?
Pues, precisamente, porque el problema no es de intenciones. Es de incentivos. Y a un sistema de incentivos no se le pide amablemente que se comporte mejor. Se le rediseña con reglas exigibles, verificación internacional y consecuencias reales para quien se salte el acuerdo.
Reglas que, como hemos visto en el punto anterior, muy probablemente terminarán redactadas por quienes más interés tienen en que solo unos pocos puedan cumplirlas.
Un problema de difícil solución
Así que ahí lo tienes.
Por un lado, un discurso de seguridad que, entre líneas, empieza a sonar más a jugada de posicionamiento que a genuina alarma colectiva. Por otro, una carrera geopolítica y empresarial en la que es matemáticamente imposible que todos frenen a la vez, porque el incentivo de romper el pacto siempre será mayor que el de sostenerlo.
Claro que puede haber sinceridad de fondo en Amodei, en Altman, en Coxon. No excluyo para nada que crean de verdad en el riesgo que describen.
Pero eso no cambia el resultado.
Porque aunque mañana firmasen todos los grandes agentes un acuerdo solemne para frenar la innovación durante un año, siempre habrá un cuarto laboratorio, o un quinto país, que decida que ese es exactamente el momento perfecto para pisar el acelerador y adelantarse a todos.
Igual que pasó con la carrera nuclear, salvando las distancias.
Un dilema del prisionero de manual. Con la humanidad entera sentada en la sala de interrogatorios.
¿Y ahora qué? Pues, sinceramente, esa es la pregunta que me gustaría dejarte abierta a ti.
- ¿Crees que este discurso del «frenemos todos» es sincero, o es la forma más elegante que se les ha ocurrido de blindar su posición de dominio?
- ¿Y crees que hay alguna manera realista de romper esta trampa de coordinación antes de que sea demasiado tarde?
Te leo en comentarios, y abramos debate.
Imagínate recibir en tu correo semanalmente historias como esta
Suscríbete ahora a «Las 7 de la Semana», la newsletter sobre Nuevas Tecnologías y Seguridad de la Información. Cada lunes a las 7AM horario español un resumen con todo lo importante de estos últimos días, y recibe, de paso, acceso a mi último eBook, de más de 40 páginas, con herramientas de ofuscación en criptomonedas que usa la industria del blanqueo de capitales (y que deberías conocer para evitar caer en fraudes y ciberataques).
