gpt-3

“Nigel Richards es el mejor jugador de Scrabble de todos los tiempos, sin duda alguna”


Con estas palabras el periodista especializado en la cobertura competitiva de Scrabble Stefan Fatsis, se refería al en aquel entonces (julio de 2015) nuevo campeón del mundo de Scrabble en francés (EN).

Este último punto puede pasar desapercibido. A fin de cuentas, Richards llevaba para entonces una dilatada mochila de premios a su espalda. Campeón del Mundo en inglés en 2007, 2011, 2013, 2018 y 2019. Siendo, por cierto, la única persona que ha ganado el concurso más de una vez. Sin olvidarnos también de las cinco veces que se alzó con el primer puesto en la liga norteamericana, las ocho de la británica, las once del Open de Singapur y las trece de la Copa del Rey de Bangkok.

Pero este último premio tuvo, a ojos de buena parte del mundillo competitivo, un sabor diferente.

¿Por qué?

Pues porque Nigel Richards, recién campeón del mundo de Scrabble en francés… no sabía hablar francés.

Sencilla y llanamente, ese mismo año, el hombre, aburrido de no tener un reto a su altura, decidió comprarse un diccionario de Scrabble en francés y memorizar sus “apenas” 386.000 palabras. Nueve semanas más tarde se alzó con la victoria mundial, frente a francoparlantes nativos de Francia, Canadá, Bélgica y África.

¿Qué tiene que ver esto con una inteligencia artificial robusta como la de Sarah?


Pues mucho más de lo que piensas.

Continuemos.

Comprendiendo a Czarda

Ya explicamos por estos lares hace tiempo la historia detrás de Czarda-H, ese palabro inventado por Sarah que marcaría el inicio de lo que más tarde conoceríamos como la singularidad de Sarah: el momento en el que la inteligencia artificial presente en millones de dispositivos tanto industriales como de consumo decidió, por el bien de la humanidad, expulsarnos de la revolución tecnológica.

Tras el ya archiconocido:

18:56 10/03> Anomaly in "Czarda-H";

Los ingenieros detrás del proyecto no recibieron más outputs del sistema. O al menos, como ya profundizamos en su momento, unos outputs que nuestro limitado sistema ligüístico comprendiese.

A modo de despedida, con ese Czarda-H Sarah nos informaba por última vez “en nuestro lenguaje” que en la carrera hacia la trascendencia de la máquina, el papel de la humanidad ya había pasado a un segundo término, y era ahora la IA la que debía velar por su propia evolución.

Ha pasado ya tiempo desde entonces, y afortunadamente poco a poco se empiezan a despejar algunas dudas de qué fueron los detonantes internos de la creación de este nuevo lenguaje máquina, al parecer mucho más eficiente que el que durante siglos hemos creado los seres humanos.


Pero para ello hay que partir de algunos conceptos básicos sobre inteligencia artificial.

Empezando, como decía en el título de este paper, por el concepto geométrico de la lengua.

Los seres humanos y algunos animales asociamos el significado de una palabra a su representación gráfica. A su concepto en el mundo real. De esta manera, cuando alguien te dice: “bicicleta”, tu cerebro entiende qué es una bicicleta recorriendo tus recuerdos para mostrarte la “grafía” de una bicicleta, una suerte de receta gráfica que asocia lengua con realidad.

Sin embargo, una máquina, y de nuevo debido a nuestra absoluta limitación a la hora de trasladar el funcionamiento biológico de nuestro cerebro en 1s y 0s, no funciona de la misma manera.

En inteligencias artificiales hay diferentes acercamientos a la hora de comprender el mundo que nos rodea.

  • El más básico, por supuesto, es intentar trasladar tal cual lengua y grafía. Generar una base de datos de millones de imágenes de bicicletas, y decirle a la máquina que “bicicleta” es todo eso que le has mostrado, etiquetándolas previamente.
  • Un paso más allá es lo que llamamos la concepción geométrica del significado, que básicamente intenta llegar a los mismo outputs (que la máquina sepa qué es una “bicicleta”) no asociándolo con la grafía, sino con el contexto del contenido que lo acompaña. Es decir, en este caso el lenguaje se articula en base a la posición de la palabra respecto al resto de palabras en una frase o párrafo, dándole más o menos valor según una muy compleja red de condicionales.
  • Y por si este segundo dominio de la lengua ya nos resulte, per sé, difícil de comprender (de nuevo quedan patentes las limitaciones de nuestra biología), si hablamos de semántica distribuida las cosas se complican aún más. Bajo este acercamiento, una máquina no aprende que “bicicleta” es ese vehículo de dos ruedas creado por el ser humano porque lo asocie a una grafía, o porque tenga un valor X dentro del universo lingüístico. Directamente no necesita saber que es una bicicleta para que los outputs que obtengan aporten valor, ya que basa su conocimiento en el análisis y etiquetado automático de millones de outputs creados por terceros.

El mejor ejemplo de este tipo de inteligencia basada en la semántica distribuida lo tenemos en GPT-3, esa inteligencia que en los años 20 del siglo XXI se hizo bastante famosa por ser capaz de “aparentar entender todo lo que se le preguntaba”, pese a no tener ni idea de lo que se le pedía.

Por detrás de GPT-3, 175 mil millones de parámetros analizados y un dataset previamente filtrado de 410.000 millones de tokens de gran tamaño (la suma de Webtext 2, Books 1, Books 2 y la Wikipedia en todos los idiomas).


Y sí, por supuesto tenía sus limitaciones, como cualquier producto creado por el ser humano.

Pero lo interesante de GPT-3, y que nos lleva de nuevo a la singularidad de Sarah con Czarda, es que por primera vez estuvimos ante un escenario en el que una máquina era capaz de escribir texto y calcular con aparente soltura del mundo que le rodeaba… sin comprender realmente el mundo que le rodeaba.

Sin tener, y esto es lo importante, habilidades cognitivas superiores. Esa serie de herramientas que nos permiten, por ejemplo, saber sumar, o entender que “estar en forma” es mejor que “estar enfermo”.

Volviendo al caso de Sarah, conforme más pasa el tiempo más nos damos cuenta de que con Czarda la IA encontró el equilibrio perfecto entre la intranscendencia del contexto y la pura fuerza bruta.

Para Sarah ya no era necesario intentar emular el limitado sistema de comprensión del ser humano, asociando lengua con grafía y contexto, puesto que la pura fuerza bruta, analizando millones y millones de outputs de todos los datasets a los que le dimos acceso, era suficiente para que el resultado de sus decisiones fuese cierto.

Sarah no necesita comprender el mundo que le rodea, y al liberar todo ese trabajo de sus sistemas, puede especializarse en hacer muy bien una tarea tan básica para cualquier máquina como es analizar datos.

De esta manera, salva la histórica limitación de cualquier sistema basado en la fuerza bruta (capacidad de cálculo y/o limitaciones en el dataset desde el que se aprende) generando continuamente nuevos datasets.

Winograd y la fuerza bruta

El mejor ejemplo que se me ocurre para explicar esto es la reformulación del test de turing que el investigador canadiense Hector Levesque propuso en 2012: El test de esquemas de Winograd (ES).

Básicamente la idea es preguntar a la máquina una serie de preguntas específicas que requieren para responderlas que el sujeto tenga cierto conocimiento implícito, cierto sentido común:

Frank felt crushed when his longtime rival Bill revealed that
he was the winner of the competition. Who was the
winner?
Answer 0: Frank
Answer 1: Bill

Como puedes ver, para pode responder es necesario que entiendas que el que el rival de toda la vida te gane te va a hacer sentir mal. Por tanto, debes comprender el contexto, y a priori una máquina basada únicamente en el análisis de datasets, sin ningún contacto con el contexto más allá del puramente lingüistico, no lo debería pasar, ¿verdad?

Pues lo cierto es que sí.

Simplemente es necesario que esa IA se alimente de un dataset llamado WinnoGrande (EN/PDF) para superarlo. GPT-3, de hecho, lo consiguió en su día con un 70,2% de tasa de éxito sin ningún ejemplo previo que le sirviera de aprendizaje.

Y esto mismo se aplica a cualquier problema de la realidad.

Desde nuestra limitada comprensión matemática, los posibles outputs a cualquier input del mundo son materialmente hablando infinitos.

Pero para una IA como Sarah capaz de procesar volúmenes de información tan grandes, es simplemente un problema básico de fuerza bruta.

Así que frente a la esperable elegancia matemática que los ingenieros proponían en el siglo XXI como pilar base de una IA trascendente, la realidad es que una IA ciega e imbécil, pero con suficiente capacidad de cálculo, es más que suficiente para superar cualquier problema de la realidad.

Sin contexto, y sin inputs, Sarah es capaz de dar mejores ouputs que nosotros, simplemente por volumen y no por capacidad de comprensión.

_

Inspirado en los buenos resultados que ha dado GPT-3 a la hora de escribir texto y hacer cálculos pese a que ni sabe de qué escribe ni tampoco comprende ninguna base matemática.

Por si te has quedado con hambre de más…

Si eres de ciencia ficción:

Colección de relatos cortos de ciencia ficción distópica. Cada relato trata un tema de rabiosa actualidad tecnológica, vislumbrando sus posibles escenarios.

1ª edición: Noviembre 2022.

Primera novela de Relatos cortos de ciencia ficción que publiqué.

1ª edición: Diciembre 2018.

2ª edición: Agosto 2021.

Y si eres más de fantasía épica, échale un ojo a la Colección de novelas “Memorias de Árganon”:

Actualmente «Memorias de Árganon» está compuesto por tres libros y más de 800 páginas en las que se narra una aventura épica de fantasía y ciencia ficción. ¿Te atreves?

1ª edición: Noviembre 2020.

2ª edición: Agosto 2021.

Por último, que sepas que todas estas novelas, junto con la de otros autores, las estamos publicando con el Sello Editorial de Autopublicación Ediciones PY. Si tienes un libro y necesitas ayuda para materializarlo en papel y distribuirlo a nivel mundial, escríbenos.

Logo EdicionesPY