Étude et Utilisation de la Technologie Gaussian Splatting pour renforcer l'Immersion dans un Casque de Réalité Virtuelle

Le centre Inria d'Université Côte d'Azur regroupe 42 équipes de recherche et 9 services d’appui. Le personnel du centre (500 personnes environ) est composé de scientifiques de différentes nationalités, d’ingénieurs, de techniciens et d’administratifs. Les équipes sont principalement implantées sur les campus universitaires de Sophia Antipolis et Nice ainsi que Montpellier, en lien étroit avec les laboratoires et les établissements de recherche et d'enseignement supérieur (Université Côte d’Azur, CNRS, INRAE, INSERM ...), mais aussi avec les acteurs économiques du territoire.

Présent dans les domaines des neurosciences et biologie computationnelles, la science des données et la modélisation, le génie logiciel et la certification, ainsi que la robotique collaborative, le Centre Inria d’Université Côte d’Azur est un acteur majeur en termes d'excellence scientifique par les résultats obtenus et les collaborations tant au niveau européen qu'international.

Présentation de l'entreprise : Nous sommes une startup incubée au sein de l'INRIA, spécialisée dans l’utilisation des solutions immersives pour la mise en valeur des destinations de voyage. Nous proposons une expérience unique pour les commerciaux, leur permettant de présenter des destinations de voyage de manière immersive et interactive

Vous trouverez plus de détail sur notre site internet : http://Alternate-dimension.com

Description du stage : Notre solution actuelle utilise des photos 360 (2D ou 3D) agrémentées d'objets 3D, de vidéos 2D et d'interactions pour offrir une expérience immersive aux clients. Afin de renforcer l’immersion des clients, nous souhaiterions remplacer les images 360 par des modélisations 3D grâce à la technologie de Gaussian Splatting développée par l'INRIA (https://github.com/graphdeco-inria/gaussian-splatting).
Les solutions actuellement sur le marché de la réalité virtuelle fonctionne soit en streaming depuis un PC « Gamer » soit avec des solutions cloud. D’autre part il existe des solutions sur mobile en autonome (sans streaming).

Missions :

L’objectif du stage est de mettre en place une solution de visualisation de gaussian splats dans un casque de réalité virtuelle autonome type Meta Quest 3 sans connexion internet. La solution sera développée avec le moteur Unity 3D

Collaboration :
La personne recrutée sera en lien avec Benjamin Marcoux qui pourra lui presenter les solutions existantes.

Responsabilités :
La personne recrutée a la charge de Nicolas Roig et Benjamin Marcoux.

Missions :

1. Étude de l'état de l'art : Etude de la technologie de Gaussian Splatting pour comprendre son potentiel et ses limites.
2. Création d’un workflow de génération : Mise en place d’une méthodologie pour la capture et génération de gaussian splats à partir de photos, vidéos, panorama 360, application mobile…
   Le flow de génération du splats se fera sur un serveur. L’objectif est de générer un splats suffisamment léger pour fonctionner dans un casque autonome.
3. Validation de la solution sous Unity 3D Les splats seront validés dans un casque de réalité virtuelle Meta Quest 3 au travers d’une application Unity.
4. Optimisation de la solution La solution devant fonctionner dans des contraintes matérielles fortes (casques de réalité virtuelle autonomes sans connexion internet.), une étude et des développements seront réalisé pour trouver le meilleur compromis entre l’expérience immersive et les capacités matérielles. La modélisation pourra par exemple être utilisée que pour une partie de l’image.

Compétences techniques et niveau requis :

-développement Python, C++, Unity (C#) et en modélisation 3D

Langues :

- Francais, Anglais

Compétences relationnelles :

- Capacité à travailler de manière autonome et en équipe

Compétences additionnelles appréciées :

- Connaissance de la technologie de Gaussian Splatting serait un plus

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Accès à la formation professionnelle
• Participation mutuelle (sous conditions)

Gratification selon temps de présence.