El metaverso involucrará los cinco sentidos

Sep 05, 2023

Dr. Jamón Jeroen Van | 07 abr 2023

A pesar de que la industria electrónica sigue mejorando la realidad virtual (VR) y la realidad aumentada (AR), aparece un concepto aún más expansivo: el metaverso. Donde AR y VR son esencialmente de naturaleza visual, esperamos que el metaverso atraiga todos nuestros sentidos para combinar mundos reales y digitales en una experiencia aún más rica.

La realidad virtual y la realidad aumentada pueden ser visuales, pero brindar esa experiencia visual requiere un conjunto de sensores y actuadores que no tienen nada que ver con la detección o emisión de luz. Los sensores de posicionamiento, estabilidad y movimiento son fundamentales. Los datos de estos diferentes sensores deben procesarse, y el software que puede integrar esos datos para producir experiencias progresivamente más ricas y agradables debe refinarse continuamente. Desarrollar VR/AR no ha sido un desafío menor.

La experiencia del metaverso requerirá más sensores, más tipos diferentes de sensores, una potencia de procesamiento mucho mayor y un software cada vez más sofisticado. Orquestar todo esto será una tarea mucho más formidable, eminentemente alcanzable, pero el proceso sin duda nos mantendrá a todos ocupados.

Para obtener una mejor comprensión de lo que podría ser el metaverso, será útil echar un vistazo rápido a dónde estamos hoy.

La realidad virtual podría incluir representaciones digitales de lugares reales en nuestro mundo físico, representaciones virtuales de entornos que de otro modo no existirían o cualquier combinación concebible de lo aparentemente real con lo fantástico, siempre que todo sea generado por computadora.

AR y realidad mixta (MR) comienzan con el mundo físico real y luego agregan algo virtual. El elemento virtual puede ser cualquier cosa, desde simples datos alfanuméricos hasta objetos, personajes o escenas animadas. Lo que distingue AR de MR sigue siendo una cuestión de opinión. Cuando se hacen distinciones, por lo general se trata de cuestiones de grado, sobre el equilibrio entre lo real y lo virtual.

Para hacer las cosas más turbias, también está XR. Para algunos, la X en XR es solo un sustituto de la V, A y M en VR, AR y MR, respectivamente. Otros dicen que la X en XR significa "extendido" y, por supuesto, tampoco hay acuerdo sobre lo que eso significa. La realidad extendida puede ser sinónimo del metaverso, o puede que no. O podría terminar siendo simplemente un término general que alivia a las personas de enumerar "VR, AR, MR y el metaverso" cada vez que surge el tema.

Si bien los términos siguen siendo confusos, las tecnologías involucradas pueden considerarse algo definitivas, al menos por ahora. Para empezar, la realidad virtual se define por el uso de gafas y probablemente siempre lo será.

A partir de hoy, AR y MR tienden a depender de algún medio transparente (anteojos o gafas) o algo con una combinación de cámara y pantalla que puede comportarse como si fuera transparente (un teléfono inteligente o, nuevamente, gafas) que están acompañados por algún mecanismo que permite a los usuarios percibir datos e imágenes digitales. Actualmente, las tecnologías para AR y MR son muy similares, y si XR es algo, no está adecuadamente definido, por lo que en el resto de este ensayo mantendremos las cosas simples y nos referiremos solo a VR, AR y el metaverso.

Tampoco hay acuerdo sobre la definición del metaverso, pero expresamos nuestra opinión anteriormente. Creemos que no tiene sentido construir un metaverso a menos que vaya más allá de la realidad virtual y la realidad aumentada para abarcar la vista, el oído, el tacto, el olfato y el gusto.

Así que creemos que el metaverso estará definido por la tecnología que complemente las gafas y los anteojos, y tal vez incluso los reemplace. Es casi seguro que esto incluirá dispositivos portátiles. Los wearables podrían tomar casi cualquier forma, desde joyas (por ejemplo, relojes inteligentes) hasta ropa inteligente y dispositivos protésicos, y algún día en un futuro lejano, tal vez incluso implantes médicos.

Los seres humanos son criaturas visuales y eso no va a cambiar, por lo que la realidad virtual y la realidad aumentada serán, naturalmente, elementos fundamentales del metaverso. Las pantallas son fundamentales tanto para la realidad virtual como para la realidad aumentada.

Los sistemas de realidad virtual se basan casi exclusivamente en pantallas digitales insertadas en gafas. Los diferentes sistemas AR adoptan diferentes enfoques, pero generalmente se reducen a montar una pequeña pantalla digital en algún lugar del campo de visión del usuario o proyectar contenido digital en las lentes de los anteojos.

TDK introdujo recientemente una nueva opción de proyección. Hemos creado un módulo láser pequeño y liviano que proyecta imágenes digitales a todo color. Un reflector integrado en las lentes de las gafas protectoras o anteojos dirige la proyección directamente a la retina de los usuarios. Un interesante beneficio complementario de esta técnica es que produce imágenes nítidas y claras incluso para personas que tienen una visión imperfecta.

Este enfoque hace posible construir auriculares que son más pequeños y pesan significativamente menos que los que usan otras técnicas de visualización. Es posible que el peso no sea un gran problema con las gafas de realidad virtual, pero sin duda se apreciarán los auriculares más ligeros. Sin embargo, el tamaño y el peso son problemas con los auriculares AR. La indiferencia del mercado masivo hacia la realidad aumentada hasta el momento se atribuye, al menos en parte, a que el hardware es molesto, pesado y poco atractivo.

Creemos que construir auriculares AR con pequeños módulos láser podría ayudar a acelerar las ventas de auriculares AR y el desarrollo de aplicaciones AR.

Literalmente, todos los movimientos humanos posibles podrían incorporarse dentro de una aplicación VR o AR, por lo que es necesario poder detectar cabezas girando, dedos señalando, cuerpos agachados, todo con seis grados de libertad (6DoF) o nueve (9DoF) . Estos sensores deben ser extremadamente precisos; La detección de movimiento imprecisa puede provocar diversos grados de desorientación en algunos usuarios.

El movimiento es una cosa; la posición es otra. Un usuario de VR puede moverse hacia adelante, hacia atrás o lateralmente en el espacio, pero generalmente las aplicaciones de VR no obligan a los usuarios a hacer eso. Dicho esto, siempre será una cuestión de seguridad del usuario que el equipo de realidad virtual pueda detectar y rastrear dónde se encuentran los usuarios en el espacio real, por ejemplo, para evitar colisiones con las paredes. Además, es útil para detectar cualquier otra cosa en ese entorno: muebles, otras personas, mascotas, etc.

Mientras tanto, la mayoría de los sistemas AR deben tener en cuenta la movilidad total en el espacio físico real y, por lo tanto, deben tener una detección de posición precisa. Inherente al concepto de AR está el peligro de la distracción; en cualquier momento mientras usa una plataforma AR, un usuario podría estar leyendo, viendo un video o reaccionando a algún objeto virtual. Es imperativo que el sistema AR compense la distracción del usuario siendo consciente del entorno en nombre del usuario.

Los sensores disponibles para detectar el entorno y la posición de fijación incluyen:

Los acelerómetros de tres ejes y los giroscopios de 3 ejes se combinan para detectar movimiento con 6DoF. La integración de un magnetómetro de 3 ejes conduce a una detección de 9DoF. Estos sensores se pueden usar en casi cualquier combinación, según los requisitos de cualquier aplicación VR o AR dada, o conjunto de aplicaciones.

¿Las aplicaciones de realidad virtual para un solo usuario necesitan detección de ToF, por ejemplo? Tal vez no. Pero, de nuevo, tal vez. Una razón para agregar la detección de ToF sería obtener una determinación precisa de dónde están las manos de los usuarios de VR en el espacio real, de modo que se puedan incorporar representaciones digitales precisas de sus manos en el mundo virtual. Con un cierto nivel mínimo de precisión, sería posible deshacerse de esos dispositivos de mano adicionales que algunas plataformas de realidad virtual usan para el seguimiento manual.

O considere un juego de realidad virtual multiusuario. Es posible que desee usar sensores ToF para determinar la posición relativa de los jugadores entre sí en el mundo real y usar esa información de dos modos: en el mundo real para evitar colisiones y en el mundo virtual para evitar que los avatares de los jugadores interfieran con entre sí.

Hay una escuela de pensamiento que dice que los equipos de realidad aumentada podrían no necesitar el conjunto de sensores más sofisticado para la detección de movimiento, posicionamiento y detección de objetos. La propuesta es que el entorno estará repleto de sensores, y los datos pertinentes se recopilarán y compartirán entre todos los usuarios de AR (y eventualmente los usuarios del metaverso) a través de alguna red inalámbrica.

Es muy posible que eso termine sucediendo, pero podría ser optimista pensar que el mundo será tan rico en sensores en el corto plazo, o que habrá una infraestructura inalámbrica adecuada con una amplia cobertura. En nuestra estimación, el mundo puede obtener AR útil (y el metaverso) mucho antes si las plataformas AR realizan la mayor parte o la totalidad de su propia detección. Es posible que requiera más procesamiento local, pero el riesgo de retraso o demora será menor, y también debería ser más fácil proteger los datos de los usuarios de esa manera.

Puede haber algunas razones para que los equipos de realidad virtual usen un micrófono para incorporar sonido del entorno del mundo real. Por otro lado, hay varias razones para que los equipos AR monitoreen el audio ambiental.

El reconocimiento de voz por sí solo podría ser útil de innumerables formas. Cualquier información que alguien transmita por voz podría usarse directamente. La dirección de una calle o las indicaciones para llegar a una ubicación se pueden ingresar automáticamente en una aplicación de mapas. Las aplicaciones de traducción de idiomas podrían activarse automáticamente. Hay varias razones para grabar audio ambiental solo o junto con video.

Querríamos incorporar cámaras en equipos AR para los mismos propósitos que las queremos en nuestros teléfonos inteligentes. De hecho, algunos esperan que las plataformas AR puedan reemplazar algunos teléfonos inteligentes, tal vez todos eventualmente. ¿Y quién sabe qué aplicaciones podrían diseñar los desarrolladores de AR que usen audio y video?

Si el metaverso termina involucrando todos nuestros sentidos, entonces las plataformas de metaverso seguramente también incorporarán sensores de movimiento, sensores de posición, cámaras y micrófonos.

Pero ¿qué pasa con el tacto? Los datos de muchos de los mismos sensores que se utilizan para la detección de movimiento, el posicionamiento y la detección de objetos se pueden introducir en dispositivos hápticos. Estos pueden ser cualquier cosa, desde pulseras hasta guantes y trajes de cuerpo completo y parcial.

Hay tecnologías hápticas en desarrollo hoy en día que no solo pueden proporcionar información física de que algo se está tocando, sino que también pueden transmitir cuál es la textura de ese objeto.

Con VR y AR, los "equipos" son esencialmente gafas, anteojos, auriculares de un tipo u otro. Sin embargo, el metaverso tiende a ser modular e involucra muchos dispositivos portátiles diferentes que podrían usarse en cualquier combinación dependiendo de las aplicaciones de metaverso que cada persona elija usar y cuán inmersivas quieran que sean sus experiencias de metaverso.

Completan los sentidos el gusto y el olfato. Los detectores de CO2, por ejemplo, están comúnmente disponibles y podrían proporcionar advertencias sobre condiciones ambientales potencialmente peligrosas que la mayoría de las personas no podrían detectar por sí mismas.

La detección de olores y sabores ya se está haciendo hoy en día utilizando una variedad de diferentes detectores y sensores capaces de identificar la presencia, ya veces incluso las proporciones, de varios compuestos químicos.

Recrear el gusto y el olfato para el usuario todavía está en el ámbito de la ciencia ficción. De hecho, las plataformas de metaverso probablemente nunca podrán transmitirnos cómo podría saber una receta o cómo podría oler una selección teórica de diferentes fragancias si se combinaran en un perfume. Dicho esto, una selección de detectores de gases y químicos podría decirle si un alimento no es seguro para comer o qué marca específica de licor se usó en el cóctel que acaba de pedir.

Más información sobre formatos de texto