Description du projet ANR VOCADOM

label_anr_bleuANR-16-CE33-0006

Commande vocale robuste adaptée à la personne et au contexte pour l’autonomie à domicile

Résumé : Le projet de recherche industrielle VOCADOM vise à définir, en lien avec les utilisateurs finaux, les fonctionnalités d’un système domotique à commande vocale s’adaptant à l’utilisateur et utilisable au domicile dans des conditions réelles (bruit, présence de plusieurs personnes). Les défits à relever concernent le contrôle par la voix à distance et la prise de décision ainsi que la prise en compte robuste de toute les informations disponibles (capteurs domotiques et sonores). Le partenariat inclut 3 équipes de recherche expertes en traitement de l’audio et de la parole, l’intelligence artificielle et les études d’usage ainsi qu’une entreprise spécialisée dans le domaine de l’informatique embarquée. Par ailleurs, une association d’utilisateurs âgés ou malvoyants assurera le lien avec le milieu socio-économique. Le projet disposera de l’appartement de test DOMUS pour valider expérimentalement la preuve de concept avec des utilisateurs finaux ; en complément, des expérimentations seront effectuées au domicile d’utilisateurs volontaires.

Mots clefs : Interaction vocale personnalisée en contexte ; Reconnaissance robuste de commandes vocales en environnement bruité ; Assistance domotique pour l’autonomie à domicile ; Prise de décision en contexte ; Adaptation automatique aux capacités et aux besoins de la personne ; Pré-étude, développement et validation en lien avec les usagers

Responsable scientifique : Michel VACHER (2017-2019), François PORTET (2019-2020).

Présentation détaillée : Le projet de recherche industrielle VOCADOM vise à définir, en lien avec les utilisateurs finaux, les fonctionnalités d’un système domotique à commande vocale s’adaptant à l’utilisateur et utilisable au domicile dans des conditions réelles. Ces conditions rendent le traitement particulièrement difficile en raison de bruits ambiants ou de la présence de plusieurs personnes dans l’appartement. Le système permettra une interaction mains libres (c’est à dire sans bouton), assurant le respect de la vie privée, adaptée aux personnes âgées et malvoyantes, et inclura les utilisateurs dès la conception. VOC@DOM associera : – 3 équipes de recherche sur les usages (GRePS), le traitement automatique de la parole et du son, l’intelligence artificielle (CNRS/LIG, Inria), – une entreprise du domaine de l’informatique embarquée (THEORIS) et un sous-traitant en lien avec les usagers (Accès.Cible.Production). Ce partenariat rassemble par sa complémentarité un ensemble de compétences jamais atteint à ce jour.

La réalisation d’une commande vocale nécessitera de relever plusieurs défis scientifiques dont la résolution s’appuiera sur l’utilisation conjointe de toutes les informations disponibles, à la fois sonores et issues des capteurs domotiques, et sur l’intégration statistique robuste des sorties des modules de traitement. La détection et localisation multimodale des personnes seront utilisées pour sélectionner les microphones pertinents et réduire les erreurs dues à la réverbération. La séparation informée de sources audio sera nécessaire pour la reconnaissance personnalisée d’ordres domotiques en condition de parole distante. La décision robuste en contexte à partir d’informations incomplètes et incertaines ainsi que l’adaptation automatique à la grammaire propre à chaque locuteur seront ensuite les clés pour agir en réponse à un ordre vocal ou à une situation à risque.

Pour assurer un bénéfice social effectif, le système doit répondre aux besoins spécifiques d’utilisateurs présentant diverses incapacités. Il doit en outre pouvoir s’intégrer et être accepté dans le contexte socio-domestique particulier de ces personnes. Une part importante du projet sera donc consacrée à l’acceptabilité de la solution grâce à une démarche centrée utilisateur et ethnographique basée sur l’analyse des situations et des activités de la vie quotidienne, et à trouver des critères d’évaluation génériques. L’objectif est de développer un « environnement capacitant » agissant durablement et favorablement sur les situations d’empêchement auxquelles ces publics fragilisés sont confrontés.

Pour assurer un apport effectif de nouvelles connaissances, le projet suivra une démarche d’évaluation rigoureuse, fortement expérimentale, qui vise une application réaliste. Le consortium disposera de l’appartement intelligent DOMUS du LIG pour valider la preuve de concept auprès des utilisateurs finaux, des évaluations seront également conduite au domicile de personnes âgées volontaires. L’utilisation de ces appartements équipés différemment permettra de tester l’adaptabilité à l’utilisateur ainsi que d’évaluer les bénéfices au service des personnes en perte d’autonomie. Ceci facilitera aussi l’évaluation du coût (fabrication et déploiement) et du modèle économique (exploitation ou valorisation) de cette technologie.

L’un des aspects les plus originaux du projet est le développement d’un système d’interaction vocale à domicile dans des conditions distantes, bruitées et multi-locuteurs. Le transfert industriel vers une solution abordable sera facilité par une solution s’interfaçant avec les standards domotiques et du matériel à bas coût. Ces objectifs sont nouveaux et au-delà de l’état de l’art. La solution sera transférable à d’autres domaines plus industriel tels que la commande de machine, le transport.

ABSTRACT: The industrial research project VOCADOM aims to define, in conjunction with end users, the features of a distant voice controlled home automation system that will adapt to the user and that can be used in real conditions (noise, presence of several people). To solve the challenges related to distant voice control and associated decision, robust integration of all available information (audio and home sensors) is needed. The partnership combines three research teams who are experts in speech and audio processing, artificial intelligence and methodology for user studies. In addition, a company in the field of embedded computing, and one subcontractor – a user society connected with elderly or visually impaired people – are involved to assure the socio-economic impact of the project. VOCADOM will dispose of one dedicated smart home in order to validate the experimental proof of concept with end users, in complement, some experiments will be made at personal home of such volunteer users.

logo_ANR new_logo-cnrs    logo_lig logo_getalp-h100     logo_INRIA     logo-GRePS-Vectoriel     logo_TEORIS