Une nouvelle façon de découvrir les expériences immersives en mélangeant le monde réel au monde virtuel
Le passthrough ou la réalité mixte se trouve à mi-chemin de la réalité virtuelle et de la réalité augmentée puisque cette technologie permet de mélanger virtuel et réel. En effet, en utilisant un casque VR, l’utilisateur peut voir et interagir avec des objets intégrés au monde réel. Étant depuis plusieurs années expérimentales ou peu développée, la réalité mixte a de beaux jours devant elle puisque le prochain casque Meta Quest Pro (ou projet Cambria) permettra une réalité mixte en haute qualité et en couleur grâce à de nouveaux capteurs plus performants que le casque Meta Quest.
Pourquoi allons nous entendre parler du passthrough dans les semaines qui viennent ?
Le responsable de l’ingénierie de Meta a révélé de nombreux détails sur Quest 3 pro Cambria qui sortira le 11 octobre. Les caméras orientées vers l’extérieur filment l’environnement et le transmettent aux écrans. Ainsi, l’image vue par l’utilisateur peut être augmentée en y intégrant divers éléments numériques. Idéal pour la formation virtuelle ! Par exemple, dans une formation de pompier , l’utilisateur se trouve dans un environnement réel et doit éteindre des incendies positionnés en 3D Comme dit plus tôt, cette technologie étonnante existe depuis longtemps mais elle n’a pas été autant médiatisée que la réalité virtuelle car jusqu’à présent, les applications de ce type étaient moins nombreuses et sont, pour la grande majorité, à destination des professionnels.
Cependant, ce nouveau casque va aller encore plus loin en améliorant grandement la qualité d’image qui sera plus nette et en couleurs. L’image granuleuse en noir et blanc qui existait sur le Meta Quest 2 disparaîtra donc.
Deux avantages notables existent avec le mode passthrough : il améliore la réalité augmentée en la rendant plus réaliste et il rend le monde physique visible dans son intégralité, augmentant ainsi le confort de l’utilisateur.
Comment fonctionne le mode passthrough avec le casque VR Quest 3 Pro Cambria ?
Andrew Bosworth, responsable de l’ingénierie de Meta a répondu aux questions des fans de VR sur Instagram. Il a révélé de nouveaux détails sur la technologie Passthrough.
« Nous avons de bien meilleures caméras, de sorte que les caméras RVB et noir et blanc fonctionnent conjointement pour faire passer la couleur. Nous utilisons également une détection de profondeur active plutôt que passive avec des faisceaux infrarouges qui permet d’avoir une meilleure reconstruction de l’image », a déclaré Bosworth.
Bosworth a ensuite expliqué comment l’image vidéo est créée : « Lorsque vous effectuez un passthrough de couleur, vous devez en quelque sorte reprojeter le monde car les caméras ne s’alignent pas, comme avec les pupilles alignées. Si vous avez utilisé le passthrough avec le Quest ou Quest 2 : c’est quelque chose de différent, c’est exaltant.
Pourquoi tant de caméras sur le Quest Pro ?
C’est la première fois que Meta confirme une combinaison de caméras noir et blanc et couleur pour le mode Passthrough. Nous ne savons pas encore combien mais les découvertes de code dans le micrologiciels Quest suggèrent qu’il existe deux caméras noir et blanc ainsi qu’une caméra couleur. Le premier devrait être responsable des contours et des mouvements tandis que l’autre de l’espace colorimétrique.
La fusion de toutes ces données de capteurs controlées par des algorithmes rend une image vidéo finale de l’environnement physique. Cette technologie complexe des capteurs devrait donner à Meta plus de flexibilité et permettre une optimisation logicielle au fil du temps. Nous pouvons penser que Meta améliorera probablement le mode passthrough dans le temps sans avoir directement à modifier le matériel.
Le mode passthrough s'adresse aux professionnels
Les industriels ont été parmi les premiers à utiliser la réalité mixte. Grâce à Microsoft et leur volonté d’orienter leurs lunettes pour des usages industriels, de nombreuses multinationales ont adopté cela dans leur process. Par exemple, l’affichage d’informations 3D superposés à des équipements a convaincu les opérateurs d’utiliser cette technologie car elle permet une liberté totale des mouvements.
Nous pouvons prendre l’exemple de Ford où le casque Hololens de Microsoft permet de remplacer des modélisations en argiles afin de proposer une maquette complète en 3D et entièrement modulable. Cette maquette est facilement mise à jour et elle permet de multiplier rapidement les essais de design et d’ingénierie. Pour les équipes, c’est un vrai gain de temps et cela permet d’avoir une maquette évolutive dans le temps. En effet, au fur et à mesure du projet, les ingénieurs et designers peuvent venir enrichir le modèle 3D du véhicule à mesure que le projet évolue.
En France, Renault Truck adopte également la réalité mixte en l’intégrant dans son contrôle qualité pour les moteurs de ses véhicules. L’opérateur va venir vérifier la conformité du montage moteur par rapport au détail de chaque pièce. C’est une aide visuelle précise qui permet de vérifier la qualité de l’assemblage.
Pour le rétail, la réalité mixte est de plus en plus présente en permettant au client de découvrir des éléments en 3D interactifs tel qu’un vrai catalogue. Il a l’impression d’être devant le produit comme s’il était vraiment présent en vrai. Nous pouvons prendre l’exemple de Volvo qui développe en collaboration avec Microsoft une expérience immersive où le but est de proposer au client une autre manière de choisir son véhicule en concession. En effet, il peut choisir les différentes options, la motorisation ou encore la peinture. L’ensemble des choix qu’il fera seront pris en compte sur la maquette 3D qui s’affichera devant lui.
La chirurgie est également un secteur qui utilise d’ores et déjà de façon avancée la réalité mixte. Plusieurs opérations chirurgicales se sont illustrées à plusieurs reprises comme celle du mardi 09 février 2021. 15 chirurgiens orthopédiques dans 13 pays ont procédé à des interventions chirurgicales grâce à des lunettes de réalité mixte. Piloté par le Professeur Thomas Grégory de l’hôpital Avicenne AP-HP, et de l’Université Sorbonne Paris Nord. Concretement, les chirurgiens peuvent consulter, en cours d’intervention toutes sortes de données dont ils peuvent avoir besoin, notamment des modélisations 3D des organes de leurs patients. Il faut imaginer que les images viennent se superposer, un peu comme des hologrammes, ce qui permet à un chirurgien de voir en images numériques ce qu’il ne voit pas en vrai, comme un organe caché derrière un os.
Dans le secteur de l’immobilier, la réalité mixte a un véritable avantage. Celui de pouvoir prendre en compte l’espace, la position et l’interactivité. Ainsi, il donne la possibilité aux visualiseurs de pouvoir se déplacer en toute liberté autour d’une maquette et d’interagir avec. Cette technologie se prête aussi à la visualisation de maquette 3D dans le cadre du BIM. Pour la maitrise d’oeuvre, la construction et la promotion immobilière, ce type de maquette numérique collaborative sera incontournable pour le secteur. Par exemple, il est possible de voir des gaines électriques, des tuyaux ou encore des fondations.
Faut-il utiliser la réalité mixte avec le prochaine casque QUEST 3 Pro de Méta ?
La réponse est OUI. Le prochain casque de Méta promet un confort et une facilité d’utilisation hors du commun pour la réalité mixte. De plus en plus d’applications en réalité mixte voient le jour et la demande ne cesse d’augmenter. Le fait que Méta adapte son prochain casque à la réalité mixte montre bien que la firme souhaite développer cet aspect de la réalité virtuelle / augmentée. Vous pouvez d’ores et déjà nous contacter pour discuter d’une éventuelle application en réalité mixte dont vous avez l’idée. Nous serions très heureux de travailler avec vous sur ce type d’application dont nous maîtrisons le développement technique et graphique.
Pour approfondir vos connaissances en réalité virtuelle et augmentée...
Contactez-nous !
-
Email :
contact@3dcreation.fr -
Téléphone :
+33 9 53 21 35 27