Meta continue d’innover avec la version 74 de son SDK pour les casques Quest. Cette mise à jour introduit des fonctionnalités avancées, notamment les microgestes du pouce, permettant une interaction plus fluide et intuitive. De plus, les améliorations apportées à la technologie Audio to Expression renforcent le réalisme des avatars virtuels en optimisant la restitution des expressions faciales. Ces évolutions ouvrent de nouvelles perspectives pour les développeurs et utilisateurs de la plateforme.
Les microgestes du pouce : une nouvelle dimension d’interaction
Imaginez pouvoir naviguer dans votre environnement virtuel avec des gestes subtils de la main, sans avoir besoin de manettes encombrantes. C’est désormais possible grâce aux microgestes du pouce introduits dans le SDK v74. Cette fonctionnalité exploite le suivi des mains sans contrôleur des casques Quest pour détecter des mouvements précis du pouce sur l’index, transformant ainsi votre doigt en une sorte de pavé directionnel.
Comment fonctionnent les microgestes ?
Lorsque votre main est orientée sur le côté et que vos doigts sont légèrement repliés, le pouce peut effectuer des tapotements et des balayages sur l’index. Ces mouvements sont interprétés comme des commandes directionnelles, similaires à l’utilisation d’un pavé tactile. Pour les développeurs utilisant Unity, l’intégration de ces microgestes nécessite le Meta XR Core SDK. Pour d’autres moteurs, ils sont disponibles via l’extension OpenXR XR_META_hand_tracking_microgestures.
Applications potentielles des microgestes
Les possibilités offertes par les microgestes sont vastes. Par exemple, ils peuvent être utilisés pour implémenter des mécanismes de téléportation avec rotation instantanée, sans nécessiter de contrôleurs physiques. De plus, ces gestes permettent une navigation plus intuitive dans les interfaces, réduisant la fatigue liée aux mouvements répétitifs.
Vers une convergence avec les dispositifs neuronaux
Il est intéressant de noter que Meta utilise une approche similaire de microgestes du pouce pour son bracelet neuronal en développement, destiné à ses futures lunettes de réalité augmentée. Cela suggère que les casques Quest pourraient servir de plateforme de développement pour ces futurs dispositifs, exploitant les microgestes du pouce pour une interaction plus naturelle.
Améliorations de la fonctionnalité Audio to Expression
Introduite dans la version 71 du SDK, la fonctionnalité Audio to Expression est un modèle d’intelligence artificielle embarqué qui génère des mouvements plausibles des muscles faciaux à partir de l’entrée audio du microphone. Elle offre ainsi des expressions faciales estimées sans nécessiter de matériel de suivi facial spécifique.
Quoi de neuf dans la version 74 ?
Avec la mise à jour v74, Meta a amélioré ce modèle pour offrir une expressivité émotionnelle accrue, des mouvements de bouche plus précis et une meilleure reconnaissance des vocalisations non verbales. Ces améliorations enrichissent l’expérience utilisateur en rendant les interactions sociales en réalité virtuelle plus immersives et authentiques.
Remplacement de l’Oculus Lipsync SDK
Audio to Expression remplace l’ancien Oculus Lipsync SDK, qui ne supportait que les mouvements des lèvres et consommait davantage de ressources CPU. Cette transition vers une solution plus avancée et efficace témoigne de l’engagement de Meta à améliorer continuellement l’expérience utilisateur en réalité virtuelle.
Accès aux caméras passthrough : une nouvelle ère pour la réalité mixte
Outre les microgestes et les améliorations d’Audio to Expression, la version 74 du SDK introduit des utilitaires pour faciliter l’accès aux caméras passthrough. Cette fonctionnalité, récemment mise à disposition des développeurs, permet aux applications d’accéder aux caméras frontales en couleur du casque, ouvrant la voie à des expériences de réalité mixte plus complexes.
Comment cela fonctionne-t-il ?
Avec l’autorisation de l’utilisateur, les applications peuvent accéder aux caméras frontales du casque, ainsi qu’à des métadonnées telles que les caractéristiques des lentilles et la position du casque. Ces informations peuvent être utilisées pour exécuter des modèles de vision par ordinateur personnalisés, enrichissant ainsi les possibilités créatives pour les développeurs.
Implications pour les développeurs
L’accès aux caméras passthrough offre aux développeurs la possibilité de créer des applications de réalité mixte plus interactives et immersives. Par exemple, ils peuvent superposer des éléments virtuels sur le monde réel avec une précision accrue, offrant ainsi des expériences utilisateur plus riches et engageantes.
Vers une immersion toujours plus aboutie
Avec cette mise à jour, Meta renforce encore un peu plus l’expérience immersive sur Quest en rendant les interactions plus intuitives et les avatars plus expressifs. L’intégration des microgestes ouvre la voie à de nouvelles approches de navigation, tandis que l’amélioration d’Audio to Expression et l’accès au passthrough enrichissent considérablement les possibilités offertes aux développeurs.
Ces avancées confirment la volonté de Meta d’affiner son écosystème VR et MR pour proposer des interactions toujours plus naturelles. Pour ceux qui souhaitent explorer toutes les nouveautés en détail, la note de version complète est disponible ici : Meta XR Core SDK.