Leía este fin de semana el paper del investigador Daniel Martin Katz de la Facultad de Derecho de Chicago-Kent en Illinois titulado “Crowdsourcing accurately and robustly predicts Supreme Court decisions“ (EN/PDF), y no he podido más que traerlo por estos lares.
La premisa del estudio es la siguiente:
Imagine que la siguiente historia fuera real. En octubre de 2011 se anuncia un premio de un millón de dólares para predecir seis años de decisiones de la Corte Suprema de los Estados Unidos utilizando datos de crowdsourcing. Miles de equipos de la industria y la academia responden al desafío, cada uno de ellos toma decisiones ligeramente diferentes pero razonables sobre cómo emitir sus predicciones.
Partiendo de ello, la idea era ver qué maneras podrían llegar a utilizar los equipos interesados para abordar el problema. A saber:
- Tirar del argumento de autoridad: Perfiles influyentes en el sector que dieran su punto de vista.
- Ponderar las opiniones de terceros en base a un histórico de aciertos/fracasos.
- Basarse puramente en el historial de decisiones de la Corte Suprema.
- …
Ya expliqué en su día qué modelos se podían aplicar en esto de analizar grupos de inteligencia colectiva, así que no voy a repetirme.
Katz y los colaboradores crearon 250.000 modelos para acercarse al problema y los pusieron a trabajar, comparándolos con los datos que arroja FantasySCOTUS, una plataforma digital en la que los participantes compiten por predecir qué decisiones tomará la Corte Suprema. Y hablamos de cerca de 7.000 jugadores que han hecho algo más de 600.000 predicciones sobre 400 decisiones de la Corte, que se dice pronto.
Además, lo compararon con el modelo nulo, que en estadística no deja de ser el acercamiento más sencillo posible, y que en este caso se ejemplifica con que de media el 60% de las decisiones de cualquier tribunal inferior son revertidas por la Corte Suprema, y por supuesto, también en el puramente probabilístico (50% que sí, 50% que no), que no deja de ser otro modelo más.
Estos dos modelos son acercamientos profundamente simplistas, pero en según qué entornos han demostrado incluso a llegar a ser más exactos que otros acercamientos aparentemente más “inteligentes”, como los anteriormente mostrados.
En este caso, sin embargo, quedó patente que los modelos basados en la inteligencia colectiva arrojan mejores resultados. Un 80% de precisión, para ser exactos.
Brindamos un fuerte respaldo a la afirmación de que el crowdsourcing puede predecir de manera más precisa y sólida las decisiones de la Corte Suprema de los Estados Unidos.
La investigación termina preguntándose qué pasará si se aplicara el mismo procedimiento a la hora de predecir resultados legislativos o incluso elecciones, pero un servidor iría más allá.
¿Tendría sentido aplicar la inteligencia colectiva en derroteros puramente probabilísticos?
Es decir, qué hay del uso del crowdfunding en juegos de casinos como puede ser la ruleta, donde, dejando de lado quizás las limitaciones físicas o digitales del propio juego (series constantes de resultados, materiales con los que está hecho el tablero y/o la bola) no hay un factor humano como tal que impacte en el resultado final.
Quiero pensar que en estos derroteros la inteligencia colectiva no daría mejores resultados que la propia aleatoriedad, pero, ¿y si nos vamos a otro tipo de juegos donde la habilidad de los jugadores sí tiene importancia? ¿A sabiendas, no obstante, que como juegos que son, tienen un factor de aleatoriedad alto?
No he encontrado apenas información al respecto, y es un órdago que me gustaría lanzar a Katz y sus chicos. Porque lo mismo arrojaría información que podría ser de interés a todos aquellos que frecuentan habitualmente éste tipo de locales y páginas. Y aunque sea por el propio interés científico, me parece sumamente interesante su divulgación.
Imagínese qué podría llegar a pasar si en efecto descubrimos que uno de estos modelos basados en el crowdsourcing arroja mejores resultados a la hora de predecir cómo va a terminar un partido de fútbol.
¿Podrían los jugadores apostar en base a estos resultados, o estaríamos pervirtiendo las condiciones de uso de los casinos legales más populares (ES)? ¿Se consideraría entonces algo así como “el contar cartas” de los juegos de mesa?
El estudio tampoco profundiza nada en el impacto que tiene en las mecánicas de inteligencia colectiva el conocimiento previo de las predicciones del resto de participantes, por lo que entiendo que la recogida de datos se hizo de forma opaca (cada participante tenía que dar su resultado antes de conocer el resultado del resto).
Ya se ha demostrado en más de una ocasión que el conocimiento previo juega a la vez de efecto placebo, llegando en algunos casos, como puede ser en el de las predicciones, a volverse en nuestra contra, disparando el porcentaje de fracaso de este tipo de modelos.
Nada nuevo bajo el sol, que impacta por igual a derroteros académicos, como es el caso, y a derroteros propiamente sociales. ¿O por qué cree que en la mayoría de escenarios, el apoyo social tiende a ir siempre hacia los mismos elementos? Véase en elecciones, véase en el deporte, véase a la hora de elegir destino turístico… Esa tiranía de la mayoría de la que hemos hablado no hace mucho.
El problema, por tanto, radica en encontrar el equilibrio entre aprovechar esa suerte de inteligencia colectiva sin que sea la propia inteligencia colectiva la que pervierta el resultado final de sus decisiones. En entender por qué funciona dónde funciona, y por qué no lo hace tan bien en otros entornos.
Y como no, en ser capaces de aplicarlo cuando corresponda. La parte más complicada de todas, pero que podría tener un impacto verdaderamente disruptor en casi todos los escenarios que competen a nuestra vida en colectivo.
