Diseño de aplicaciones de realidad aumentada: interactuando con objetos

  1. Software
  2. Diseño de aplicaciones de realidad aumentada: interactuando con objetos

Libro Relacionado

Realidad Virtual y Aumentada para Tontos

Por Paul Mealy

A medida que te propongas diseñar tu aplicación de realidad aumentada, tendrás que tener en cuenta cómo interactuará el usuario con los objetos. La mayor parte de la interacción con la realidad virtual (RV) tiene lugar a través de un controlador de movimiento, pero la mayoría de los dispositivos de realidad aumentada (RA) basados en auriculares utilizan una combinación de seguimiento de la mirada y la mano para la interacción. A menudo, los auriculares AR utilizan la navegación basada en la mirada para rastrear el lugar donde el usuario está buscando objetos dentro del entorno. Cuando se ataca un objeto, el usuario suele interactuar con él mediante gestos con las manos.

Por lo tanto, debe diseñar su experiencia de RA para mantener las manos del usuario dentro del área de reconocimiento de los auriculares y trabajar con el conjunto específico de gestos de cada auricular. Educar al usuario sobre el área de reconocimiento de los gestos (y notificar a los usuarios cuando sus gestos están cerca de los límites) puede ayudar a crear una experiencia de usuario más exitosa.

Debido a que esta forma de interacción es nueva para casi todo el mundo, es importante mantener las interacciones tan simples como sea posible. La mayoría de sus usuarios ya estarán experimentando una curva de aprendizaje para interactuar en la RA, averiguando los gestos para su dispositivo específico (porque aún no se ha desarrollado un conjunto de gestos de RA universal). La mayoría de los auriculares AR que utilizan seguimiento manual vienen con un conjunto estándar de gestos básicos. Intente seguir estos gestos preempaquetados y evite abrumar a los usuarios introduciendo nuevos gestos específicos de su aplicación.

La siguiente imagen muestra ejemplos de los dos gestos principales de HoloLens, el «Air Tap» (A) y el «Bloom» (B). Un Air Tap es similar a un clic del ratón en una pantalla 2D estándar. El usuario mantiene su dedo en la posición de listo y presiona con el dedo para seleccionar o hacer clic en el elemento al que se dirige a través de la mirada del usuario. El gesto «Bloom» es un gesto universal para enviar un usuario al menú Inicio. El usuario mantiene las puntas de los dedos juntas y luego abre la mano.

Agarrar un objeto en el mundo real le da al usuario una retroalimentación tal como la sensación del objeto, el peso del objeto en su mano, y así sucesivamente. Los gestos de las manos realizados para seleccionar hologramas virtuales no proporcionarán al usuario nada de esta retroalimentación táctil estándar. Por lo tanto, es importante notificar al usuario sobre el estado de los hologramas digitales en el medio ambiente de diferentes maneras.

Proporcionar al usuario indicaciones sobre el estado de un objeto o del entorno, especialmente cuando el usuario intenta colocar o interactuar con hologramas digitales. Por ejemplo, si su usuario debe colocar un holograma digital en el espacio 3D, proporcionar un indicador visual puede ayudar a comunicarle dónde se colocará el objeto. Si el usuario puede interactuar con un objeto en su escena, es posible que desee indicarlo visualmente en el objeto, utilizando potencialmente la proximidad para alertar al usuario de que se está acercando a un objeto con el que puede interactuar. Si su usuario está intentando seleccionar un objeto entre muchos, resalte el elemento que ha seleccionado actualmente y proporcione pistas de audio para sus acciones.

Esta imagen muestra cómo el Meta 2 elige mostrar esta información al usuario. Un círculo con un anillo aparece en el dorso de la mano de un usuario cuando se acerca a un objeto interactivo (A). A medida que la mano del usuario se cierra a un puño, el anillo se hace más pequeño (B) y se acerca al círculo central. Un anillo que toca el círculo indica que el agarre ha sido exitoso (C). La mano de un usuario que se mueve cerca del borde del sensor también es detectada y marcada mediante un indicador rojo y un mensaje de advertencia (D).

Interacción de dispositivos móviles en aplicaciones de RA

Muchos de los principios de diseño para la RA se aplican tanto a los auriculares como a las experiencias móviles. Sin embargo, hay una diferencia considerable entre la funcionalidad interactiva de los auriculares AR y las experiencias móviles AR. Debido a las diferencias en el factor de forma entre los auriculares AR y los dispositivos móviles AR, la interacción requiere algunas reglas diferentes.

Mantener las interacciones simples y proporcionar retroalimentación al colocar o interactuar con un objeto son reglas que se aplican tanto a los auriculares como a las experiencias de RA móvil. Pero la mayor parte de la interacción de los usuarios en los dispositivos móviles tendrá lugar a través de gestos en la pantalla táctil del dispositivo en lugar de que los usuarios manipulen directamente objetos en 3D o utilicen gestos con las manos en el espacio en 3D.

Varias bibliotecas, como ManoMotion, pueden proporcionar seguimiento manual de gestos en 3D y reconocimiento de gestos para controlar hologramas en experiencias de RA móvil. Estas bibliotecas pueden valer la pena explorar dependiendo de los requisitos de su aplicación. Sólo recuerda que tu usuario probablemente estará sosteniendo el dispositivo con una mano mientras experimenta tu aplicación, lo que hace que sea potencialmente incómodo tratar de insertar también su otra mano delante de una cámara que mira hacia atrás.

Es probable que los usuarios ya comprendan los gestos de los dispositivos móviles, como los toques con un solo dedo, los arrastres, los pellizcos y las rotaciones con dos dedos, etc. Sin embargo, la mayoría de los usuarios entienden estas interacciones en relación con el mundo bidimensional de la pantalla en lugar de las tres dimensiones del mundo real.

Después de que un holograma se coloca en el espacio, considere la posibilidad de permitir el movimiento de ese holograma en sólo dos dimensiones, esencialmente permitiendo que sólo se deslice a través de la superficie sobre la cual fue colocado. Del mismo modo, considere limitar la rotación del objeto a un solo eje. Permitir el movimiento o la rotación en los tres ejes puede llegar a ser rápidamente muy confuso para el usuario final y resultar en consecuencias no deseadas o en la colocación de los hologramas.

Si está rotando un objeto, considere permitir la rotación sólo alrededor del eje y. Bloquear estos movimientos evita que el usuario mueva objetos de forma impredecible. También es posible que desee crear un método para «deshacer» cualquier movimiento involuntario de sus hologramas, ya que colocar estos hologramas en el espacio del mundo real puede ser un reto para que sus usuarios lo hagan correctamente.

La mayoría de los dispositivos móviles soportan una interacción de «pellizco» con la pantalla para ampliar un área o escalar un objeto. Debido a que un usuario se encuentra en un punto fijo en el espacio, tanto en el mundo real como en el mundo de los hologramas, probablemente no querrá utilizar este gesto para hacer zoom en la RA.

Del mismo modo, considere la posibilidad de eliminar la capacidad de un usuario para escalar un objeto en la RA. Un gesto de pellizco con dos dedos para escalar es una interacción estándar para los usuarios móviles. En AR, este gesto de escala a menudo no tiene sentido. Los modelos 3D de hologramas AR suelen ser de un tamaño determinado. El aspecto visual del tamaño del modelo 3D se ve influenciado por la distancia desde el dispositivo AR. Un usuario que escala un objeto en su lugar para hacer que el objeto se vea más cerca de la cámara está haciendo que el objeto sea más grande en su lugar, a menudo no es lo que el usuario pretendía. La conversión de pellizco a escala puede seguir utilizándose en la RA, pero su uso debe considerarse cuidadosamente.

Interacción de voz en aplicaciones de RA

Algunos dispositivos AR también soportan capacidades de interacción de voz. Aunque la interacción para la mayoría de los auriculares AR es principalmente la mirada y los gestos, para aquellos auriculares con capacidad de voz es necesario considerar cómo utilizar todos los métodos de interacción y cómo hacer que funcionen bien juntos. Los controles de voz pueden ser una forma muy conveniente de controlar su aplicación. A medida que la potencia de procesamiento crece exponencialmente, es de esperar que el control de voz se introduzca y perfeccione aún más en los auriculares AR.

Aquí hay algunas cosas que debe tener en cuenta al desarrollar comandos de voz para dispositivos AR que admiten esta función:

  • Utilice comandos simples. Mantener sus comandos simples le ayudará a evitar problemas potenciales de usuarios que hablan con diferentes dialectos o acentos. También minimiza la curva de aprendizaje de su aplicación. Por ejemplo, «Leer más» es probablemente una mejor opción que «Proporcionar más información sobre el artículo seleccionado».
  • Asegúrese de que los comandos de voz puedan deshacerse. Las interacciones de voz a veces pueden desencadenarse inadvertidamente capturando audio de otras personas cercanas. Asegúrese de que cualquier comando de voz puede deshacerse si se activa una interacción accidental.
  • Elimine las interacciones de sonido similar. Para evitar que el usuario desencadene acciones incorrectas, elimine los comandos hablados que puedan sonar similares pero realizar acciones diferentes. Por ejemplo, si «Leer más» realiza una acción particular en su aplicación (como revelar más texto), siempre debería realizar la misma interacción en toda la aplicación. También se deben evitar los comandos de sonido similar. Por ejemplo, «Referencia abierta» y «Preferencias abiertas» son demasiado susceptibles de ser confundidas entre sí.
  • Evite los comandos del sistema. Asegúrese de que su programa no anula los comandos de voz ya reservados por el sistema. Si el dispositivo AR reserva un comando como «pantalla de inicio», no reprograme ese comando para realizar diferentes funciones dentro de su aplicación.
  • Proporcione retroalimentación. Las interacciones de voz deben proporcionar el mismo nivel de señales de retroalimentación al usuario que los métodos de interacción estándar. Si un usuario está utilizando comandos de voz, proporcione retroalimentación de que su aplicación escuchó y entendió el comando. Un método para hacerlo sería proporcionar texto en pantalla de los comandos que el sistema interpreta desde el usuario. Esto proporcionará al usuario información sobre cómo el sistema está entendiendo sus comandos y le permitirá ajustar sus comandos si es necesario.

Leave a Reply

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *