La réalité mixte est en pleine expansion, et les avancées technologiques ouvrent la voie à des expériences toujours plus immersives. L’une des innovations majeures dans ce domaine est l’introduction de l’API Passthrough Camera pour le Meta Quest, permettant aux développeurs d’accéder directement au flux vidéo des caméras du casque. Cette fonctionnalité offre de nouvelles perspectives pour la création d’applications mêlant le monde réel et virtuel.
Qu’est-ce que l’API Passthrough Camera ?
Le Passthrough est une technologie qui permet aux utilisateurs de voir leur environnement réel tout en portant le casque de réalité virtuelle. Jusqu’à récemment, cette fonctionnalité était principalement utilisée par le système pour des raisons de sécurité, comme la définition de zones de jeu sûres, ainsi que par certains professionnels du milieu. Cependant, avec l’introduction de l’API Passthrough Camera, tous les développeurs peuvent désormais accéder au flux vidéo en temps réel, ouvrant ainsi la voie à des expériences de réalité mixte plus riches.
Les avantages pour les développeurs
L’accès direct au flux des caméras offre plusieurs avantages significatifs :
- Reconnaissance d’objets : Les applications peuvent identifier et interagir avec des objets physiques spécifiques, comme des pièces de jeu ou des outils, enrichissant ainsi l’expérience utilisateur.
- Reconnaissance de l’environnement : Les applications peuvent adapter leur comportement en fonction du lieu où se trouve l’utilisateur, qu’il soit à l’intérieur, à l’extérieur ou dans un lieu spécifique.
- Modèles d’apprentissage automatique personnalisés : Les développeurs peuvent exécuter des modèles de vision par ordinateur en temps réel, permettant des fonctionnalités avancées comme la détection de personnes ou d’animaux.
Considérations techniques
L’API fournit un flux vidéo avec une résolution allant jusqu’à 1280×960 par caméra à 30 images par seconde, avec une latence de 40 à 60 millisecondes. Bien que cela ne convienne pas au suivi d’objets en mouvement rapide ou à la lecture de petits textes, cela suffit pour de nombreuses applications de réalité mixte.
Pour accéder à cette fonctionnalité, les développeurs doivent obtenir l’autorisation de l’utilisateur pour utiliser les caméras du casque, similaire à la manière dont les applications demandent l’accès au microphone. Une fois l’autorisation accordée, l’application peut exploiter les flux des caméras avant en couleur, ainsi que des métadonnées telles que les caractéristiques des lentilles et la position du casque.
Intégration avec les moteurs de jeu
L’API est conçue pour être compatible avec les principaux moteurs de jeu :
- Unity : Les développeurs peuvent utiliser l’API WebCamTexture de Unity pour accéder aux caméras, de la même manière qu’ils le feraient pour une caméra de smartphone ou de PC. Cependant, cette API ne prend en charge qu’une seule caméra à la fois.
- Moteurs personnalisés : Les développeurs utilisant des moteurs personnalisés ou des moteurs comme Unreal ou Godot peuvent tirer parti de l’API Camera2 d’Android, en conjonction avec les données de position obtenues via OpenXR.
Implications pour l’avenir de la réalité mixte
L’arrivée de l’API Passthrough Camera sur les casques Meta représente une avancée majeure pour la réalité mixte. En offrant aux applications la capacité de voir et d’interagir avec le monde réel de façon plus intelligente, elle ouvre la voie à des expériences toujours plus immersives et dynamiques.
Désormais, les développeurs ne se contentent plus de superposer du contenu virtuel à l’environnement réel : ils peuvent concevoir des applications capables de s’adapter et de réagir en fonction du contexte de l’utilisateur. Cette évolution promet des avancées significatives dans des domaines comme l’éducation, le divertissement ou encore la formation professionnelle.
Avec un accès direct aux flux vidéo des caméras du casque, les créateurs d’applications ont l’opportunité d’explorer de nouvelles façons d’enrichir l’expérience utilisateur, repoussant ainsi les frontières de la réalité mixte.