Apple Vision Pro ha necesitado de mucha neurociencia para desarrollar algunas de sus características clave, según un ex ingeniero de Apple, para intentar predecir lo que una persona podría estar a punto de hacer en la interfaz.
La interfaz principal del Vision Pro de Apple se basa en la navegación utilizando el seguimiento ocular y los gestos, y el sistema necesita determinar lo que el usuario está mirando específicamente lo más rápido posible. En una publicación en Twitter el lunes, desvela algunos de las primeras ideas que conformaron el proyecto.
Sterling Crispin pasó un tiempo como investigador de prototipos de neurotecnología en el Grupo de Desarrollo de Tecnología de Apple durante más de tres años, el tiempo más largo que “trabajó en un único esfuerzo”. Mientras estuvo allí, trabajó en elementos que apoyaron el desarrollo fundamental del visor, incluidas las “experiencias de atención plena” y otra “ambiciosa investigación sobre neurotecnología”.
I spent 10% of my life contributing to the development of the #VisionPro while I worked at Apple as a Neurotechnology Prototyping Researcher in the Technology Development Group. It’s the longest I’ve ever worked on a single effort. I’m proud and relieved that it’s finally… pic.twitter.com/vCdlmiZ5Vm
— Sterling Crispin 🕊️ (@sterlingcrispin) June 5, 2023
Por ejemplo, Crispin equiparó casi con “lectura mental” la capacidad de predecir en qué haría clic un usuario antes de que lo haga.
“Orgulloso de contribuir a la visión inicial” de los auriculares, Crispin estaba en un pequeño equipo que “ayudó a dar luz verde a esa importante categoría de productos”, que cree que podría “tener un impacto global significativo algún día”.
Si bien la mayoría de su trabajo todavía está bajo acuerdo de confidencialidad, Crispin ya puede hablar de los detalles que se han publicado en las patentes.
Estados mentales
El trabajo de Crispin consistió en detectar el estado mental de los usuarios basándose en los datos recopilados “de su cuerpo y cerebro cuando estaban en experiencias inmersivas”.
Mediante el uso de seguimiento ocular, actividad eléctrica, latidos cardíacos, actividad muscular, presión arterial, conductancia de la piel y otras métricas, los modelos de IA podrían tratar de predecir los pensamientos del usuario. “Los modelos de IA están tratando de predecir si te sientes curioso, si estás vagando por el universo, asustado, prestando atención, recordando una experiencia pasada o algún otro estado cognitivo”, escribe Crispin.
Uno de los “resultados más geniales” fue poder predecir cuándo un usuario iba a hacer clic en algo antes de hacerlo.
“Tu pupila reacciona antes de hacer clic en parte porque esperas que suceda algo después de hacer clic”, explica Crispin. “Así que puedes crear biorretroalimentación con el cerebro de un usuario monitoreando su comportamiento ocular y rediseñando la interfaz de usuario en tiempo real para crear más de esta respuesta anticipatoria de los alumnos”.
Lo iguala a una “interfaz informática cerebral cruda a través de los ojos”, que se haría cargo de una “cirugía cerebral invasiva cualquier día”.
Influir en el usuario
En otro truco para determinar un estado, los usuarios podrían mostrar imágenes o reproducir sonidos de maneras que no perciben, y luego medir la reacción a ese estímulo.
Otra patente explica cómo el aprendizaje automático y las señales corporales podrían usarse para predecir el enfoque de un usuario, si está relajado o para determinar cómo de bien está aprendiendo. Usando esta información y estado, el sistema podría adaptar el entorno virtual para mejorar el estado requerido.
Crispin añade que hay un “montón de otras cosas en las que estuve involucrado” que no han surgido en las patentes, y espera que salgan más en el futuro.
Aunque en general está contento con el impacto del Vision Pro, todavía hay una advertencia de que “todavía está un queda mucho por recorrer en el camino hacia la realidad virtual”, y que la industria podría tardar una década más en ponerse al día por completo.
