Tecnologías de interacción en entornos de realidad virtual y aumentada

sphere hands

Como comentaba recientemente, vivimos una nueva edad de oro para esto de las experiencias inmersivas.

Ejemplificadas habitualmente en entornos de realidad virtual, pero que afectan a la forma que entendemos de disfrutar una experiencia de cualquier tipo, desde esa cocina-espectáculo del fin de semana, pasando en efecto por el mundo de los videojuegos, hasta el 3D del cine o incluso la telepresencia (ES).

Es un tema que me apasiona, como ya he dejado claro en más de una ocasión, y al que seguramente esté más dispuesto a dedicar artículos, y como no, a realizar reviews.

De hecho, no hace mucho tuve la suerte de probar en primera persona la mayoría de propuestas de la industria que han llegado o van a llegar este año a las tiendas. Y parte de esa investigación quedó materializada en aquel doble artículo que escribía sobre el estado del arte de la realidad virtual y aumentada (artículo 1, artículo 2).

Sin embargo, pese a que en sí la tecnología de virtualización de realidades parece que sí está a la altura, seguimos heredando tecnologías de interacción con ese nuevo entorno que no se prestan adecuadamente a la experiencia.

Falta que encontremos una forma más humana de comunicarnos con un escenario que está recreado artificialmente. 

Hay apaños, claro está. La mayoría, como veremos, recurren bien a mandos de videojuegos (lo más socorrido), bien a botones que sitúan en la propia gafa. Incluso hay algunas apuestas un poco más atrevidas, con prologaciones del brazo repletas de sensores.

Pero este artículo lo quiero dedicar a esos proyectos de interacción que se salen de la media. Esos mismos que intentan dibujar cómo debería ser el sistema de comunicación con la máquina del futuro próximo, renegando del teclado y del ratón, de los mandos de videoconsola, y aplicando sentido común y mucha, mucha nueva tecnología.

Las propuestas que van a llegar al mercado este año

En apenas unos meses, Oculus Rift, PlayStationVR y HTC Vive, estarán disponibles en los hogares de aquellos que estén dispuestos a pagar la suma necesaria. Alrededor de 500-700 euros tranquilamente por las gafas, a las que hay que incluir un PC potentillo o la PS (según el modelo), y quizás alguno de los periféricos para interaccionar con el entorno virtual (según el modelo, nuevamente).

move camera

De las tres propuestas que llegarán este año al mercado, la de PlayStation es la más floja respecto a interacción. Aún tenemos poca información, y quizás acaben por sorprendernos, pero todo parece apuntar (al menos, es lo que hemos podido probar hasta ahora) que PSVR se disfrutará bien con el mando de la Play, bien con una versión (¿nueva, quizás?) de los PlayStation Move (EN) que ya conocíamos. Sensores de movimiento y controles de botón, sin mucho más que decir.

oculus touch

Oculus no se ha rascado las vestiduras, y a falta de tener su mando preparado, parece que apuesta por enviar las gafas junto a un mando de XBox 360 “de toda la vida”. Una vez los Oculus Touch (EN) estén disponibles, éste será el modelo de interacción por defecto. Unos mandos (a fin de cuentas, es lo que son) que apuestan por separar la interacción entre manos (cada una lleva el suyo), repletos de sensores. Cada uno cuenta con dos gatillos, un joystick y dos botones para dar órdenes al juego, y además, una media circunferencia que rodea la mano del usuario en la que se encuentran los sensores que captan los movimientos que hacemos.

Apuesta de esta manera por un híbrido entre mando “tradicional” (botones y joystick) y al uso de sensores de movimiento.

htc vive

Por su parte, HTC Vive ha desarrollado el sistema lighthouse (EN), algo más elaborado que el de la competencia, en el que la unión de dos cámaras situadas en la estancia junto con los sensores de sus “mandos”, dan como resultado una experiencia inmersiva que se adapta a las necesidades del entorno donde se está disfrutando.

De esta manera, se rompe uno de los principales handicap que tiene la realidad virtual en entornos de escasa movilidad (como el típico salón que todos tenemos en casa), avisando de posibles elementos físicos al alcance, sin por ello tener que parar la experiencia, e integrando otros elementos dentro de la propia realidad virtual.

También admite un modo cercano a la realidad aumentada, en la que podemos seguir manteniendo por ejemplo una conversación con otra persona (viéndola, me refiero) mientras se disfruta de la experiencia.

Lo que nos queda por vivir

La mayoría de estas gafas, e incluso versiones más accesibles como las cardboard, ofrecen ya un sistema de interacción basado en el movimiento de la cabeza. Al menos a nivel de poder moverse por el espacio, y pilar clave de esa experiencia inmersiva esperable en la realidad virtual.

leap motion

Este viernes estuve en un taller de interacción en entornos virtuales que preparó el equipo de la Carlos III. Basado en Unity, utilizan el Leap Motion (EN) unido a las Oculus Rift V2 para reconocer las manos e interaccionar en un espacio virtual (una especie de aldea con animales). También han apostado por interfaces basadas en voz, usando la API de reconocimiento de voz de Android, aunque en la prueba que hicimos, quizás por la velocidad del WIFI, no iba del todo bien.

Y es que encontrar una forma humana e inmediata de interaccionar con elementos virtuales tiene su miga.

eyefluence

Eyefluence (EN), una startup californiana, está desarrollando una tecnología de rastreo ocular que permitiría realizar cualquier acción en un entorno virtual con la mirada, sin necesidad de otro periférico, y sin lugar a dudas, mucho más inmediato y humano (tendemos a mirar hacia el elemento con el que queremos interaccionar).

La empresa ha desarrollado un circuito flexible que aloja una cámara, fuentes de iluminación y otros trozos diminutos de hardware. Está diseñado para encajar dentro de un pequeño chasis de metal que la empresa espera incorporar a los futuros cascos de realidad virtual.

guest

Otra alternativa es usar las manos y los dedos, otra de las partes del cuerpo que usamos habitualmente para interaccionar con nuestro entorno.

No teniendo que adaptarnos a un periférico como el mando o el teclado, sino simplemente utilizando las manos como si estuviéramos sujetando algo que vemos en la RV, o “mapeando” la función de cada movimiento.

Gest (EN) es otra startup que está desarrollando un dispositivo repleto de sensores de movimiento, que envuelve la palma de la mano e incluye cuatro anillos que se colocan en los dedos.

tangible

Y pese a todo, y aunque estos modelos son mucho más accesibles, se pierde el atractivo de sentir físicamente la experiencia.

Algo que han solucionado de una manera brillante los chicos del Tangible Media Group (EN) del MIT con inFORM, una forma de visualización dinámica.

Hablamos de una mesa con un sistema capaz de representar físicamente elementos digitales en tiempo real, enfocado principalmente a la telepresencia o al manejo de planos y objetos 3D.

Ver en Vimeo (EN)

 

Como podemos ver en su vídeo de presentación, ofrecería una gran herramienta para esos sectores (quizás ya no tanto RV casera, pero sí como elemento de apoyo en labores profesionales) en los que la realidad virtual, el tacto y/o las experiencias inmersivas en colectivo (ES), de lo cual he hablado recientemente en un artículo exclusivo para patrones, juegan un papel importante.

Un paso más allá de lo que consideramos como experiencias inmersivas.

No me diga que no tiene ganas de como mínimo, probar alguna de estas :).