Stage en TAL : sélection de comportements non-verbaux d'un agent conversationnel incarné

Télécharger l'offre au format PDF

Type de contrat : Stage

Niveau de diplôme exigé : Bac + 4 ou équivalent

Fonction : Stagiaire de la recherche

Contexte et atouts du poste

Ce stage s’inscrit au sein du projet “Son-of-Sara” (suite du projet “Sara” de l’Articulab, membre du groupe-projet ALMAnaCH de l'Inria Paris - plus de details ici  : <https://articulab.hcii.cs.cmu.edu/projects/sara/>), dont l’objectif est le développement d’un nouvel agent conversationnel incarné, basé sur l’utilisation de Large Language Models (embodied chatbot). Il comprend des modules de Traitement Automatique du Langage (TAL) pour la compréhension et la génération de langage, et un module agent virtuel Unity qui ajoute au langage les comportements non verbaux du visage et du corps, conduisant à un agent conversationnel incarne capable d’interagir, de manière naturelle, avec un utilisateur humain. Dans le cadre de notre projet, cela signifie qu’il va utiliser des modèles de machine learning pour traiter, analyser et générer, en temps réel, des informations multimodales (texte, audio et comportements corporels vidéos), qui sont ensuite réalisés par les animations de son corps virtuel. En effet, le système disposera d’un microphone et d’une caméra qui permettront de percevoir l’utilisateur (voix, gestes, expressions faciales, etc), le traitement et l’analyse de ces données lui permettront d’extraire des informations précises, puis de générer une réponse vocalement, verbalement, et visuellement adaptée via son agent (voix, gestes, expressions faciales, etc).

Mission confiée

Au sein de ce projet, le stagiaire se focalisera sur le développement d'un module de sélection de comportements non-verbaux (gestes, mouvements de mains, de la tête, expressions faciales, etc), à partir des données verbales et vocales (texte et audio) de la réponse de l’agent conversationnel. Dans le système global, les comportements non-verbaux sélectionnés seront performé en plus de la réponse verbale et vocale de l'agent.

De nombreux articles appuient l’importance du rôle que jouent les comportements non-verbaux (expressions faciales, mouvement des yeux, gestes, etc) lors des dialogues entre deux individus. Ces comportements non verbaux peuvent servir à remplir de nombreux buts, par exemple fluidifier les échanges en marquant une courte compréhension ou incompréhension (ex: acquiescement de la tête lorsque l’on écoute), ou compléter les informations apportées par la voix, avec des informations supplémentaires et non redondantes (gestes des bras et mains lorsque l’on parle). Toutes ces informations non-verbales sont perdues lors d’une interaction uniquement orale (appel téléphonique) ou textuelle (chat). C’est exactement pour ne pas subir cet appauvrissement d’interaction que l’agent que nous développons doit être capable de sélectionner et performer ces comportements non-verbaux, en temps réel.

Principales activités

  • Recherche bibliographique sur l’état de l’art.
  • Développement du module.
  • Intégration du module dans le système existant (avec l’aide de Marius).

Compétences

  • Python, bibliothèques de deep learning et TAL (Hugging Face, Transformers, scikit-learn, etc).
  • Expérience avec l’apprentissage et l’évaluation de modèles de deep learning et TAL.
  • Expérience avec le domaine du dialogue (interactions orales, données audio).
  • Langue : Les personnes parlant couramment l'anglais avec un niveau de français d'au moins B1, ou les personnes parlant couramment le français avec un niveau d'anglais d'au moins B1 sont invitées à poser leur candidature.

(Cette liste de compétences est fournie à titre indicatif. Nous vous encourageons à postuler, même si vous ne possédez que la plupart de celles-ci.)

Avantages

  • Restauration subventionnée
  • Transports publics remboursés partiellement
  • Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
  • Possibilité de télétravail et aménagement du temps de travail
  • Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
  • Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
  • Accès à la formation professionnelle
  • Sécurité sociale