WO2023046902A1

WO2023046902A1 - Systeme d'interface homme-machine

Info

Publication number: WO2023046902A1
Application number: PCT/EP2022/076525
Authority: WO
Inventors: Eric Belmon
Original assignee: All Virtual
Priority date: 2021-09-27
Filing date: 2022-09-23
Publication date: 2023-03-30

Abstract

La présente invention concerne un système d'interface homme-machine, comprenant au moins un dispositif d'interaction (DI) visuelle, comprenant des moyens de capture d'image et des moyens d'affichage et des moyens informatiques exécutant une interface pour l'interaction d'un utilisateur avec ledit dispositif d'interaction (DI) visuelle, ledit système présentant à l'utilisateur un contenu au moins en partie virtuelle, en particulier pour de la réalité augmentée, ledit dispositif d'interaction (DI) capturant l'environnement réel de l'utilisateur pour le fournir à ladite interface qui génère un maillage de l'environnement et poursuit la visée de l'utilisateur, ladite interface étant configurée pour détecter lorsque la visée de l'utilisateur est orientée vers le sol et, suite à cette détection, démarrer un lanceur (1) présenté à l'utilisateur via ledit dispositif d'interaction (DI) sous la forme d'au moins un contenu de navigation comprenant une pluralité d'éléments graphiques (11) que l'utilisateur peut parcourir avec sa visée et qui sont représentatifs d'une fonction à laquelle ils correspondent.

Description

SYSTEME D’INTERFACE HOMME-MACHINE

DOMAINE TECHNIQUE DE L’INVENTION

La présente invention concerne un système d’interface homme-machine (HM) et plus précisément un dispositif d’interaction (DI) virtuelle.

ARRIERE-PLAN TECHNOLOGIQUE DE L’INVENTION

Les avancées en technologies de l’information, de l’image et du multimédia ont permis l’essor des systèmes et dispositifs de réalité virtuelle (RV) ou de réalité augmentée (RA), dans lesquelles des images, des éléments graphiques ou des objets produits numériquement sont présentées à un utilisateur de manière à ce qu’elles puissent être perçues comme réelles.

Il existe dans l’état de l’art actuel plusieurs systèmes et dispositifs permettant à un utilisateur d’interagir plus ou moins avec l’environnement virtuel produit par lesdits systèmes et dispositifs mais également avec les éléments ou objets qui s’y trouvent.

Néanmoins, les systèmes ou dispositifs d’interaction (DI) et interfaces connus à ce jour présentent souvent divers inconvénients, notamment en ce qui concerne l’ergonomie, la fiabilité, la collaboration à distance et les ressources de calcul mises en œuvre. En effet, concernant l’ergonomie, les solutions connues ne permettent souvent pas à l’utilisateur d’effectuer des mouvements de manière intuitive et précise soit. De plus, concernant la fiabilité, les solutions connues pour l’interaction de l’utilisateur avec le système ont une fiabilité qui dépend énormément de l’environnement réel extérieur dans lequel l’utilisateur se trouve. D’autre part, concernant la collaboration à distance, les solutions connues ne permettent souvent pas une évolution dynamique efficace de l’environnement virtuel affiché ou encore, ne sont pas adaptés à un partage de données avec d’autres systèmes ou dispositifs d’interaction (DI) directement présents dans le même environnement réel extérieur ou distants. Tous ces inconvénients sont généralement accompagnés d’un problème de ressources de calcul pour les dispositifs et systèmes car les solutions existantes requièrent des ressources trop importantes, avec un résultat peu efficace et/ou fiable.

DESCRIPTION GENERALE DE L’INVENTION

La présente invention a pour but de pallier certains inconvénients de l'art antérieur en offrant un système permettant d’améliorer l’interaction homme-machine.

Ce but est atteint par un système d’interface homme-machine, comprenant au moins un dispositif d’interaction (DI) visuelle, comprenant des moyens de capture d’image et des moyens d’affichage et des moyens informatiques comprenant au moins un processeur exécutant une interface pour l'interaction d'un utilisateur avec ledit dispositif d’interaction (DI) visuelle, ledit système présentant à l'utilisateur un contenu au moins en partie virtuelle, en particulier pour de la réalité augmentée, ledit dispositif d’interaction (DI) capturant l'environnement réel de l'utilisateur pour le fournir à ladite interface qui génère un maillage de l'environnement et poursuit la visée de l'utilisateur, ladite interface étant caractérisée en ce qu’elle est configurée pour détecter lorsque la visée de l'utilisateur est orientée vers le sol et, suite à cette détection, démarrer un lanceur présenté à l'utilisateur via ledit dispositif d’interaction (DI) sous la forme d’au moins un contenu de navigation comprenant une pluralité d’éléments graphiques que l’utilisateur peut parcourir avec sa visée et qui sont représentatifs d’une fonction à laquelle ils correspondent, ladite interface détectant le déplacement de la visée de l’utilisateur sur ces éléments graphiques (11) et, lorsque la visée de l’utilisateur s’est immobilisée sur l’un de ces éléments graphiques pendant une durée déterminée, le lanceur sélectionne cet élément graphique et déclenche ladite fonction à laquelle il correspond, l’ensemble des fonctions disponibles comprenant au moins :
a) l’exécution d'une application disponible via l’interface et exécutable sur ledit dispositif d’interaction (DI),
b) l’ouverture d’au moins un contenu ou document stocké dans des moyens de mémorisation accessible via l’interface,
c) le déploiement d’autres éléments graphiques dans le lanceur, sur lesquels l’utilisateur peut déplacer sa visée afin de déclencher les mêmes fonctions a), b) ou c) lorsqu’elle s’immobilise dessus pendant ladite durée déterminée.

Selon une autre particularité, ledit contenu de navigation, comprenant ladite pluralité d’éléments graphiques, comporte au moins une couronne affichée au sol et centrée autour de l’utilisateur, ladite pluralité d’éléments graphiques étant répartis angulairement sur ladite couronne, les uns à côté des autres.

Selon une autre particularité, , lorsque l’utilisateur s’immobilise sur un élément graphique correspondant à une fonction c) de déploiement, au sein d’un contenu de navigation, dit parent, le lanceur affiche un autre contenu de navigation, dit enfant, dépendant du contenu mère et comprenant une seconde couronne, de préférence concentrique à la première couronne, ou une ligne, de préférence radiale à la première couronne, et comprenant au moins un autre élément graphique correspondant également à une des fonctions a), b) ou c), avec éventuellement plusieurs répétitions de contenus de navigation parent-enfant de générations successives.

Selon une autre particularité, lorsque l’utilisateur parcourt un contenu de navigation enfant sans s’immobiliser sur l’un des éléments graphiques qu’il contient et déplace sa visée vers un contenu de navigation parent dont il dépend, éventuellement sur plusieurs générations parent-enfant, le lanceur replie, après un délai déterminé, le contenu enfant ou les contenus enfants en annulant son affichage ou leurs affichages sur ledit dispositif d’interaction (DI) et n’affiche plus que le contenu de navigation parent sur lequel l’utilisateur maintient sa visée.

Selon une autre particularité, l’interface propose à l’utilisateur, via ledit lanceur, des contenus de navigation qui sont contextuels, tenant compte de l’environnement de l’utilisateur et/ou d’un contexte dans lequel se trouve l’utilisateur, ladite interface déterminant le contexte grâce au dispositif d’interaction (DI) ou tout autre dispositif porté par l’utilisateur et connecté à ladite interface, lui fournissant des informations exploitées par l’interface, parmi au moins :
une réception d’images capturées par le dispositif d’interaction (DI), avec éventuellement une reconnaissance d’image et/ou une détection de codes électroniques (codes barres, QR codes, etc) ;
une géolocalisation,
une détection de diverses valeurs physiques par divers types de capteurs,
une réception d’informations fournies par des objets connectés présents dans ledit environnement de l’utilisateur et apte à communiquer avec lesdits moyens informatiques exécutant ladite interface.

Selon une autre particularité, ladite interface est configurée pour définir au moins une liste d’ applications et/ou contenus ou documents à afficher, notamment en fonction de l’environnement dans lequel l’utilisateur se trouve, ladite liste d’applications et/ou contenus ou documents pouvant être mise à jour sur requête de l’utilisateur via la sélection d’un élément graphique dédié lorsqu’ils ne font pas partie de la sélection affichée par ladite interface, afin d’obtenir un ensemble de fonction plus large, ledit dispositif d’interaction (DI) chargeant alors en mémoire les données nécessaires à cette mise à jour.

Selon une autre particularité, le dispositif d’interaction (DI) est configuré pour mettre à jour ladite interface , la sélection par l’utilisateur d’un élément dédié à cette mise à jour déclenchant la connexion et la synchronisation dudit dispositif d’interaction (DI) à des moyens informatiques contenant un ensemble de paramètres, d’applications, de contenus ou de documents chargeables en mémoire par ledit dispositif d’interaction (DI) afin de rendre compatible ce dernier et ladite interface avec les besoins ponctuels de l’utilisateurs.

Selon une autre particularité, le système comporte une pluralité de dispositifs d’interaction (DI) connectés les uns aux autres, de préférence de manière sécurisée pour former un groupe de dispositif partagés, au moins un de ces dispositifs d’interaction (DI) étant configuré pour partager par transmission des instructions relatives à des contenus à afficher sur l’interface des autres dispositifs en fonction des actions réalisées via ladite interface, de sorte que l’ensemble des dispositifs d’interaction (DI) affichent les mêmes éléments consécutifs aux actions ou sélections réalisées via ladite interface dudit dispositif d’interaction (DI).

Selon une autre particularité, la pluralité de dispositifs d’interaction (DI) visuelle comprend chacun des moyens de capture d’images et des moyens d’affichage et des moyens informatiques comprenant au moins un processeur exécutant une interface pour l'interaction d'un utilisateur avec ledit dispositif d’interaction (DI) visuelle, ledit système présentant à l'utilisateur un contenu au moins en partie virtuelle, en particulier pour de la réalité virtuelle et/ou de la réalité augmentée, ledit dispositif d’interaction (DI) capturant l'environnement réel de l'utilisateur pour le fournir à ladite interface qui génère un maillage de l'environnement et poursuit la visée de l'utilisateur, ladite interface étant connectée à chacun des dispositifs d’interaction (DI) visuelle des utilisateurs pour leur permettre de partager des données entre eux via lesdits moyens informatiques et leur afficher des contenus qui sont synchronisés sur les divers dispositifs d’interaction (DI) visuelle en communication sécurisée, ledit système comportant des moyens de mémorisation de données contenant des objets, des documents et des cartographies 3D (des cartographies d’environnements virtuels établis à partir d’environnements réels et représentatifs de cartographies de sites ou lieux réels préalablement enregistrés avec divers niveaux de détails sur leur topographie et/ou leur géolocalisation et/ou diverses informations techniques relatives aux éléments physiques présents dans ces sites ou lieux), ladite interface étant configurée pour suivre les actions de chacun des utilisateurs dans l’environnement virtuel ainsi présenté aux utilisateurs des dispositifs en communication auxquels l’interface propose un ensemble de contenus, objets, ou documents partageables avec lesdits utilisateurs, de sorte que le suivi de leurs actions respectives leur permettent de placer ces divers contenus, objets ou documents au sein dudit environnement virtuel, ledit système étant également connecté à au moins un capteur ou dispositif communiquant d’un utilisateur présent au sein de l’environnement réel ainsi simulé afin de fournir à ladite interface, en temps réel ou en prédiction selon un horaire, des informations relatives aux paramètres physiques mesurés en temps réel dans l’environnement réel ou prédit pour un horaire ou une date ultérieure, afin de fournir aux utilisateurs des dispositifs en communication les informations physiques réelles présentes ou prévisibles au sein de l’environnement réel.

L’invention concerne également un procédé d’interaction entre un utilisateur et des moyens informatiques grâce à un dispositif d’interaction (DI) visuelle.

Selon une autre particularité, le procédé comporte une exécution sur lesdits moyens informatiques, d’une interface homme-machine d’un système selon l’invention.

DESCRIPTION DES FIGURES ILLUSTRATIVES

D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description qui suit en référence aux figures annexées, qui illustre:
La est une représentation schématique du lanceur du dispositif d’interaction selon un mode de réalisation ;
La est une représentation schématique dudit lanceur ;
La est une représentation schématique de l’utilisation du dispositif d’interaction, selon un mode de réalisation ;
La est une représentation schématique d’un ensemble de dispositifs d’interaction communiquant entre eux via un réseau, selon un mode de réalisation;
La est une représentation schématique dudit lanceur, selon un mode de réalisation;
La est une représentation schématique d’un élément « information dispositif » du lanceur, selon un mode de réalisation ;
La est une représentation schématique d’un élément « bouton catégorie » du lanceur, selon un mode de réalisation;
La est une représentation schématique d’un élément « bouton catégorie enfant » du lanceur, selon un mode de réalisation ;
La est une représentation schématique d’un élément « bouton catégorie enfant 2» du lanceur, selon un mode de réalisation ;
La est une représentation schématique d’un élément « bouton retour couronne» du lanceur, selon un mode de réalisation ;
La est une représentation schématique d’un élément « bouton remonter couronne » du lanceur, selon un mode de réalisation ;
La est une représentation schématique d’un élément « bouton défiler» du lanceur avec flèche vers la gauche, selon un mode de réalisation ;
La est une représentation schématique d’un élément « bouton défiler» du lanceur avec flèche vers la droite, selon un mode de réalisation.

DESCRIPTION DES MODES DE REALISATION PREFERES DE L'INVENTION

De nombreuses combinaisons peuvent être envisagées sans sortir du cadre de l'invention ; l'homme de métier choisira l'une ou l'autre en fonction des contraintes économiques, ergonomiques, dimensionnelles ou autres qu'il devra respecter.

De manière générale, la présente invention concerne un système d’interface homme-machine, comprenant au moins un dispositif d’interaction (DI) visuelle, comprenant des moyens de capture d’image et des moyens d’affichage. Le dispositif d’interaction (DI) visuel sera classiquement un casque ou des lunettes, notamment de réalité augmentée (RA). Cependant, l'invention s'applique également à la réalité virtuelle pour laquelle les fonctionnalités offertes par la présente invention reste avantageuse, notamment grâce à la facilité de la navigation de l'utilisateur au sein de l'environnement (réel augmenté ou virtuel). Le dispositif d’interaction (DI) visuelle comprend en outre des moyens informatiques comprenant au moins un processeur exécutant une interface pour l'interaction d'un utilisateur avec ledit dispositif d’interaction (DI) visuelle.

Le système présente à l'utilisateur un contenu au moins en partie virtuelle, en particulier pour de la réalité augmentée. Le dispositif d’interaction (DI) capture l'environnement réel de l'utilisateur pour le fournir à l’interface exécuté par le processeur du dispositif d’interaction (DI) visuelle. Ladite interface génère un maillage de l'environnement et poursuit la visée de l'utilisateur.

L’homme du métier comprendra que le dispositif d’interaction (DI) peut ainsi être munis de capteurs, par exemple des caméras, permettant de capturer des images de l’environnement et au moins un programme, stockés dans les moyens informatiques, et dont l’exécution sur le processeur desdits moyens informatiques permet de calculer un maillage à partir des images capturées de l’environnement.

Le terme « visée » désigne, dans la présente demande, l'orientation de la tête ou du regard de l'utilisateur, avec éventuellement un réel suivi des yeux, par exemple par des techniques connues de l’art antérieur qui ne nécessitent pas d’être précisée ici. De même, il n’est pas nécessaire ici de détailler les techniques de la poursuite de la visée qui est également connue de l’art antérieur et peut soit se baser sur le regard soit sur l’orientation du casque ou des lunettes au sein du maillage réalisé. Un gyroscope pourrait être utilisé mais n’est généralement pas nécessaire et les techniques sont connues de l’homme du métier.

L’interface exécutée par le processeur du dispositif d’interaction (DI) visuelle, est configurée pour détecter lorsque la visée de l'utilisateur est orientée vers le sol. On entend par là, une orientation avec un angle déterminé par rapport à l’horizontal ou la verticale, avec une visée orientée en direction de la portion du maillage détectée comme étant le sol sur lequel repose l'utilisateur et à proximité de ce dernier, par exemple à proximité des pieds et/ou en référence à la base de sustentation de l'utilisateur.

L’interface exécutée par le processeur du dispositif d’interaction (DI) visuelle est également configurée pour démarrer, suite à la détection du cas où la visée de l'utilisateur est orientée vers le sol, un lanceur (1) présenté à l'utilisateur via ledit dispositif d’interaction (DI) sous la forme d’au moins un contenu de navigation. Ce contenu de navigation est « projeté » sur un support vers lequel l’utilisateur a orienté son regard, de préférence le sol. Le terme « projeté » est utilisé ici pour indiquer que le contenu est affiché comme s’il reposait sur le support, même s’il est en fait affiché sur le dispositif d’interaction. Le sol est un support avantageux pour la fiabilité de l’affichage puisqu’il est généralement plus homogène, par exemple avec moins de détails contrastés, que le reste de l’environnement et souvent moins soumis à des différences d’exposition lumineuse. Le sol présente également l’avantage d’être facile à détecter et les calculs pour le détecter et y afficher le contenu sont plus rapides. Cependant, il est possible d’utiliser d’autres supports pour projeter le contenu de navigation de l’interface. Par exemple, notamment dans les modes collaboratifs décrits plus loin dans la présente demande, il est possible d’afficher le contenu de navigation, par exemple avec une taille réduite par rapport à celui généralement affiché au sol, sur un support, tel qu’une table par exemple, et notamment le même support sur lequel est projeté la simulation qui fait l’objet de la réunion dans le mode collaboratif. Ainsi, avec le menu affiché sur le même support, le passage des utilisateurs entre les fonctionnalités proposées dans la simulation et celles fournies pour la navigation se trouve facilitée et nécessite des mouvements moins amples pour la visée de l’utilisateur. Les et illustre un lanceur (1) selon un mode de réalisation de l’invention avec divers contenus. Un contenu comprend une pluralité d’éléments graphiques (11), comme illustré sur les et , que l’utilisateur peut parcourir avec sa visée et qui sont représentatifs d’une fonction à laquelle ils correspondent. Ladite interface détecte le déplacement de la visée de l’utilisateur sur ces éléments graphiques (11).

Le dispositif d’interaction est configuré pour réaliser un retour visuel en mettant en avant (par exemple avec une surbrillance) la zone de visée (par exemple en mettant en surbrillance la zone de visée ou l’élément graphique visé) ou en affichant un pointeur (par exemple en émettant un point lumineux) montrant la visée de l’utilisateur. Ce retour visuel permet à l’utilisateur d’orienter facilement sa visée par rapport auxdits éléments graphiques (11) et de sélectionner plus aisément les fonctions des éléments graphiques en visualisant l’immobilisation de sa visée dans l’espace.

Avantageusement, l’homme du métier comprendra que le retour visuel du dispositif d’interaction améliore la précision de la visée et l’ergonomie pour l’utilisateur qui obtient un retour perceptible physiquement de ses actions, ce qui s’accompagne par conséquent d’un gain en temps.

Lorsque la visée de l’utilisateur s’est immobilisée sur l’un de ces éléments graphiques (11) pendant une durée déterminée, le lanceur (1) sélectionne cet élément graphique (11) et déclenche ladite fonction à laquelle il correspond, l’ensemble des fonctions disponibles comprenant au moins :
a) l’exécution d'une application disponible via l’interface et exécutable sur ledit dispositif d’interaction (DI),
b) l’ouverture d’au moins un contenu ou document stocké dans des moyens de mémorisation accessible via l’interface,
c) le déploiement d’autres éléments graphiques (11) dans le lanceur (1), sur lesquels l’utilisateur peut déplacer sa visée afin de déclencher les mêmes fonctions a), b) ou c) lorsqu’elle s’immobilise dessus pendant ladite durée déterminée.

Ladite durée déterminée, correspondant à la durée d’immobilisation de la visée de l’utilisateur sur un élément graphique (11) est généralement prédéterminé et optimisé pour tous les utilisateurs. Néanmoins, dans certains modes de réalisation, il peut être paramétrable par l'utilisateur en fonction de sa vitesse de navigation. La durée déterminée est généralement de l’ordre de 100ms à 2s et de préférence de 500ms. Les valeurs de la durée déterminée, qui sont considérées comme représentatives d’une immobilité, permettent de valider une sélection. Ainsi, l’utilisateur sait combien de temps il lui suffit d’immobiliser son regard pour qu’une fonction soit lancée et il peut donc naviguer de manière fluide et rapide sur les éléments graphiques disponible sous son regard.

On notera par ailleurs que les paramètres relatifs aux diverses fonctions disponibles via l'interface exécutée, sont paramétrables via ladite l'interface, grâce à un élément graphique (11) de type "configuration" ou "réglage", avec par exemple un logo ou un icone correspondant tels que ceux classiquement utilisés.

Dans certains modes de réalisation, le contenu de navigation, comprenant ladite pluralité d’éléments graphiques (11), comporte au moins une couronne (10) affichée au sol et centrée autour de l’utilisateur comme illustré sur la , plus précisément autour de sa base de sustentation et dans son champ visuel suite à sa visée vers le sol, ladite pluralité d’éléments graphiques (11) étant répartis angulairement sur ladite couronne (10), les uns à côté des autres.

Lorsque l’utilisateur s’immobilise sur un élément graphique (11) correspondant à une fonction c) de déploiement, au sein d’un contenu de navigation, dit contenu parent (première couronne sur les et , en partant du bas vers le haut), le lanceur (1) affiche un autre contenu de navigation, dit contenu enfant (seconde couronne sur les et ). Le contenu enfant dépend du contenu parent et comprend une couronne (10) (ou seconde couronne (10)), de préférence concentrique à la couronne (10) du contenu parent (ou première couronne (10)), ou une ligne, de préférence radiale à la première couronne (10). Ledit contenu enfant comprend au moins un autre élément graphique (11) correspondant également à une des fonctions a), b) ou c), avec éventuellement plusieurs répétitions de contenus de navigation parent-enfant de générations successives.

Dans le cas où c'est une ligne qui est déployée, cela signifie en général la fin des possibilités de déploiement, à moins que les éléments graphiques (11) qu'elle contient ne permettent un déploiement par des lignes parallèles ou perpendiculaires ou par une nouvelle couronne (10), de sorte que l'utilisateur ne se perde pas dans l'arborescence fournie par l'interface. Sa navigation restera alors fluide, intuitive, ergonomique, claire et aisée.

Ainsi, on obtient une fluidité de navigation qui rend l’ interface, exécutée par le processeur du dispositif d’interaction (DI) visuelle, parfaitement ergonomique, notamment dans le cas de contenus contextuels comme on le verra ci-après.

L'invention présente donc l'avantage d'une ergonomie mais également d'un paramètrage adaptatif en fonction de l'utilisation que l'utilisateur souhaite faire du système selon l'invention. La demanderesse de la présente demande a pu observer que le balayage de la visée au sein de couronnes (10) concentriques est totalement intutitif et particulièrement avantageux en terme de rapididité fluidité et efficacité.

Le fait que ladite interface détecte une visée vers le sol, accélère le processus de détection par les moyens informatiques car, le sol est un emplacement stable par rapport à l'utilisateur quelle que soit sa position dans un environnement donné et elle est moins sensible aux problèmes liés à l'exposition par rapport au soleil ou autre phénomène pouvant parasiter la détection de l'action que souhaite réaliser l'utilisateur. En effet, un utilisateur perdu aura tendance à regarder ses pieds ou à lever les yeux au ciel mais, dans ce dernier cas, il rencontrerait alors des problèmes liés à une forte exposition à la lumière et à un manque de contraste du contenu virtuel affiché sur le dispositif d’interaction (DI).

Lorsque l’utilisateur parcourt un contenu de navigation enfant sans s’immobiliser sur l’un des éléments graphiques (11) qu’il contient et déplace sa visée vers un contenu de navigation parent dont il dépend, éventuellement sur plusieurs générations parent-enfant, le lanceur (1) replie, après un délai déterminé dit de repliement, le contenu enfant ou les contenus enfants en annulant son affichage ou leurs affichages sur ledit dispositif d’interaction (DI) et n’affiche plus que le contenu de navigation parent sur lequel l’utilisateur maintient sa visée.

Ce délai de repliement peut être du même ordre de grandeur que le délai d’immobilisation, de préférence. Ce délai ou cette durée déterminé(e) est de l’ordre de 100ms à 2s et de préférence, de 500ms.. De plus, dans certains modes de réalisation, les éléments graphiques comportent des éléments donc la fonction est le repliement du menu dans lequel ils se trouvent. On n’a alors pas besoin de ce délai, mais il peut être présent quand même, de sorte qu’il suffise de viser sur un élément graphique de repliement ou de dévier la visée pour obtenir le repliement.

De même que pour le délai d’immobilisation, certains modes de réalisation prévoit que le dispositif d’interaction (DI) soit configuré pour permettre à l’utilisateur de paramétrer le délai de repliement (via ladite l'interface, grâce à un élément graphique (11) de type "configuration" ou "réglage", avec par exemple un logo ou un icone correspondant tels que ceux classiquement utilisés). L'utilisateur peut ainsi choisir pendant combien de temps les contenus restent affichés, notamment s'il veut pouvoir revenir sur un contenu enfant plus rapidement sans avoir à viser de nouveau sur l'élément de déploiement qui y conduit.

Divers exemples illustratifs et non limitatifs du lanceur (1) vont maintenant être décrits un peu plus en détail, notamment en ce qui concerne les formes possibles de présentation, de navigation et de fonctionnalités. Les figures à , illustrent un exemple du lanceur (ou « lanceur Tools », sous la forme d’un menu qui permet de lancer des outils et applications ou ouvrir des contenus). Comme mentionné ci-dessus, ledit lanceur peut être formé de couronnes de plusieurs niveaux. Chaque couronne contient des boutons (« button » en anglais, ici représentés par des segments formés d’un arc de cercle) de couleur, d’épaisseur et d’angle spécifiques comme illustré sur la . Chaque bouton aura des effets ou fonctions spécifiques qui seront décrit plus loin dans la présente demande.

Dans l’exemple illustratif et non limitatif de la , la première couronne (qui correspond à un contenu parent) contient l’ « information dispositif » ( « Device Info » en anglais) et plusieurs boutons catégorie (« Button Category » en anglais) qui eux même contiennent plusieurs boutons catégorie enfant (« Button Category Child » en anglais). La deuxième couronne (qui correspond au contenu enfant) contient la résultante des boutons catégorie enfant (« Button Category Child » en anglais) de la première couronne. La résultante est composée de plusieurs boutons catégorie enfant 2 (« Button Category Child 2 » en anglais), un bouton « retour couronne » (« Button Crown2Back » en anglais), un bouton «remonter couronne » (« Button Crown2Up » en anglais) et deux boutons «défilement » (« Button Scroll » en anglais).

Interaction: Toutes les interactions, que ce soit pour le lanceur ou pour les boutons dans le lanceur, se font selon notre regard (le regard de l’utilisateur). Ainsi, comme décrit ci-dessus, regarder en bas vers les pieds permet d’afficher le lanceur (Lanceur Tools) au niveau du sol et le fige. De même, diriger ou ramener le regard ailleurs cache le lanceur et le fait nous suivre en position et en rotation.

L’information dispositif (le « device info »), dans l’exemple illustratif et non limitatif de la est un segment formé d’un arc de cercle, d’un angle compris entre 10° et 25°, de la première couronne ou contenu parent. Il a une épaisseur comprise, par exemple, entre 0.5cm et 4cm et se trouve à 90 degrés à gauche de l’utilisateur, la couronne étant centrée autour de l’utilisateur comme décrit ci-dessus. Ce segment est séparé en plusieurs parties par des bandes horizontales. La partie haute contient des icônes systèmes : Microphone, Caméra et Réseau. Le milieu contient une icône de batterie remplissable et des cercles qui représentent le niveau de batterie en pourcentage. Un cercle rempli est égal à x% de batterie. La partie basse contient le date et l’heure actuel et la langue sous forme d’un drapeau. Les fonctionnalités associées aux différentes icônes sont :
Réseau : Icône qui représente l’état de connexion au réseau Wifi ;
Caméra : Icône qui montre si la caméra est activée/désactivée ;
Micro : Icône qui montre si le microphone est activé/désactivé ;
Date : Texte qui décrit la date actuelle dans le format « jour en deux chiffres/mois en lettres/deux derniers chiffres de l’année » et l’heure actuel dans le format « heure/minutes AM ou PM » ;
Langue : Icône sous forme de drapeau de langue actuel. La langue peut changer. Il passe tous les textes du menu dans la langue choisie.

Le bouton catégorie (« button category » en anglais), comme dans l’exemple illustratif et non limitatif de la est un segment formé d’un arc de cercle, d’un angle compris entre 5° et 10°, de la première couronne. Il a une épaisseur comprise, par exemple, entre 0.5cm et 4cm. Il contient une icône sur la partie haute du segment qui décrit le type de catégorie. Ledit bouton catégorie (« button category ») a pour fonctionnalités ou effets d’afficher/cacher les applications ou les outils de la catégorie choisi parmi plusieurs catégories tels que : Application, « Tools », « Widgets », Test.

Interaction : Pour interagir avec le bouton catégorie (« button category »), l’utilisateur doit garder le curseur lié à la tête, c'est-à-dire maintenir sa visée, sur ce bouton pendant moins d’une seconde pour la sélection.

Animation d’ouverture : Les boutons catégorie enfant (« Button Category Child »), qui représentent les Applications/Outils liées à la catégorie choisie, seront dépliées en éventail. Ce dépliement prend environ une seconde. Pendant ce dépliement les icônes et textes des boutons catégorie enfant (« Button Category Child ») deviendront de plus en plus opaques jusqu’à devenir 100% opaques quand le dépliement est terminé.

Animation de fermeture : Les boutons catégorie enfant (« Button Category Child »), qui représentent les Applications/Outils liées à la catégorie choisie, seront repliées en éventail. Ce repliement prend environ une seconde. Pendant ce repliement les icônes et textes des boutons catégorie enfant deviendront de plus en plus transparent jusqu’à devenir 100% transparent quand le repliement est terminé.

Le bouton catégorie enfant (« button category child» en anglais), est un segment formé d’un arc de cercle, d’un angle compris entre 10° et 25°, de la première couronne, comme dans l’exemple illustratif et non limitatif de la . Il a une épaisseur comprise, par exemple, entre 0.5cm et 4cm. Il contient le titre d’une application sur la partie haute du segment et une icône au milieu du segment. Chaque segment est séparé par une bande. Le bouton catégorie enfant (effet ou fonctionnalités) lance une application ou ouvre une deuxième couronne contenant des fichiers qui se lance dans l’application choisie.

Interaction : Pour interagir avec le bouton catégorie enfant (« button category child»), l’utilisateur doit garder le curseur lié à la tête, c'est-à-dire maintenir sa visée, sur ce bouton pendant moins d’une seconde pour la sélection et puis rester sur ce bouton pendant environ une seconde pour valider la sélection.

Animation de validation de la sélection : Le bouton catégorie enfant (« Button Category Child ») se remplit de l’intérieur du cercle vers l’extérieur du cercle. Il prend environ une seconde pour remplir à 100%. Le remplissage est arrêté si l’on ne regarde plus ce bouton catégorie enfant. Le remplissage est remis à zéro si on regarde un autre bouton catégorie enfant.

Quant au bouton catégorie enfant 2 (« button category child 2») c’est un segment formé d’un arc de cercle, d’un angle compris entre 10° et 25°, de la deuxième couronne, comme dans l’exemple illustratif et non limitatif de la . Il a une épaisseur comprise, par exemple, entre 0.5cm et 4cm pour représenter les dossiers et les fichiers. Il contient un titre arrondi pour le dossier et fichier. Comme effet ou fonctionnalité, Si c’est un bouton catégorie enfant 2 (« Button Category Child 2 ») blanc qui est sélectionné, ça ouvre un fichier lié à l’application. Si, cependant, c’est un bouton catégorie enfant 2 jaune qui est sélectionné, ça ouvre un dossier.

Interaction : Pour interagir avec le bouton catégorie enfant 2 (« Button Category Child 2 »), l’utilisateur doit garder le curseur lié à la tête, c'est-à-dire maintenir sa visée, sur ce bouton pendant moins d’une seconde pour la sélection.

Le bouton retour couronne (« button crown2Back» en anglais) est un segment formé d’un arc de cercle, d’un angle compris entre 2° et 5°, de la deuxième couronne comme dans l’exemple illustratif et non limitatif de la . Il a une épaisseur comprise, par exemple, entre 0.5cm et 4cm. Il contient une flèche vers la gauche. Ledit bouton retour couronne (effet ou fonctionnalité) permet de revenir au dossier ouvert précédent celui ouvert actuellement.

Interaction : Pour interagir avec le bouton retour couronne , l’utilisateur doit garder le curseur à la tête sur ce bouton, c'est-à-dire maintenir sa visée, pendant environ une seconde pour la sélection.

Le bouton remonter couronne ( « button crown2up» en anglais) est, quant à lui, un segment formé d’un arc de cercle, d’un angle compris entre 2° et 5°, de la deuxième couronne, comme dans l’exemple illustratif et non limitatif de la . Il a une épaisseur comprise, par exemple, entre 0.5cm et 4cm. Il contient une flèche vers le haut. Ledit bouton remonter couronne (effet ou fonctionnalité) permet de remonter dans le dossier précédent hiérarchiquement.

Interaction : Pour interagir avec le bouton remonter couronne , l’utilisateur doit garder le curseur lié à la tête, c'est-à-dire maintenir sa visée, sur ce bouton pendant moins d’une seconde pour la sélection.

Le bouton défiler (« button scroll» en anglais) est un segment formé d’un arc de cercle, d’un angle compris entre 2° et 5°, de la deuxième couronne (ou contenu enfant). Il a une épaisseur comprise, par exemple, entre 0.5cm et 4cm. Il contient une flèche vers la gauche ou la droite comme illustré de manière non limitative respectivement sur les et . Ledit bouton défiler (effet ou fonctionnalité) permet de défiler les dossiers ou fichiers dans la deuxième couronne vu que seul 4 dossiers ou fichiers peuvent être affichés. On peut défiler à gauche ou à droite. Le défilement (scroll en anglais) à droite permet d’afficher les objets plus bas dans la hiérarchie et celui à gauche les objets plus haut dans la hiérarchie.

Interaction : Pour interagir avec le bouton défiler, l’utilisateur doit garder le curseur lié à la tête, c'est-à-dire maintenir sa visée, sur ce bouton. Ce qui fait défiler la deuxième couronne. Ne pas le regarder arrête le défilement.

Animation ou actions possibles: Regarder le défilement à droite fait défiler les boutons catégorie enfant 2 (« Button Category Child 2 ») dans le sens inverse de l’horloge. Regarder le défilement à gauche fait défiler les boutons catégorie enfant 2 dans le sens de l’horloge. Il prend environ une seconde pour qu’un bouton catégorie enfant 2 défile jusqu’au prochain ou précédent bouton catégorie enfant 2. Si on atteint le début ou la fin du défilement, le bouton défiler sera caché. Les boutons retour couronne et remonter couronne se collent au premier bouton catégorie enfant 2 de la deuxième couronne si le bouton défiler gauche est caché.

Dans certains modes de réalisation, le dispositif d’interaction (DI) est configuré pour autoriser l’utilisateur à paramétrer les capteurs (caméras, micros, etc.).

Avantageusement, L’homme du métier comprendra que l’invention telle que décrite permet également une économie de ressources matérielles ou informatiques requises pour permettre à l’utilisateur d’interagir efficacement avec le dispositif d’interaction (DI). En effet, la selection et l’actionnement d’un élément graphique (11) de l’interface ne requiert pas un mouvement de la tête en direction dudit élément (visée) suivi d’un mouvement de la main pointant vers l’élément et d’un geste du doigt pour la sélection ledit élément comme on peut l’observer dans certains systèmes ou dispositifs d’interaction (DI). De tels systèmes peuvent nécessiter l’utilisation de ressources informatiques ou matérielles supplémentaires telles que, par exemple et de manière non-limitative, des dispositifs ou programmes de reconnaissance de gestes afin d’interpréter chaque gestes de la main de l’utilisateur. En plus d’être ergonomique en facilitant la navigation, la présente invention est donc également économique.

Dans certains modes de réalisation, l’interface exécutée par le processeur du dispositif d’interaction (DI) visuelle peut proposer à l’utilisateur, via le lanceur (1), des contenus de navigation qui sont contextuels, tenant compte de l’environnement de l’utilisateur et/ou d’un contexte dans lequel se trouve l’utilisateur.

Le contexte peut être déterminé par l’interface grâce au dispositif d’interaction (DI) ou tout autre dispositif porté par l’utilisateur et connecté à ladite interface, lui fournissant des informations exploitées par l’interface, parmi au moins .
une réception d’images capturées par le dispositif d’interaction (DI), avec éventuellement une reconnaissance d’image et/ou une détection de codes électroniques (codes barres, QR codes, etc);
une géolocalisation;
une détection de diverses valeurs physiques par divers types de capteurs (capteurs de pression, de température, etc) ;
une réception d’informations fournies par des objets connectés présents dans ledit environnement de l’utilisateur et apte à communiquer avec lesdits moyens informatiques exécutant ladite interface.

Le dispositif d’interaction (DI) est configuré pour une reconnaissance visuelle d’un environnement ou d’objets présents dans un environnement donné. Le dispositif d’interaction (DI) comprend ainsi au moins des programmes/algorithmes et des modèles d’apprentissage automatique (Machine Learning) dont l’exécution sur le processeur dudit dispositif permet d’implémenter les fonctionnalités de reconnaissance visuelle et/ou sonore sur la base d’images capturées par les capteurs dudit dispositif d’interaction (DI) et/ou de données chargées en mémoire dudit dispositif d’interaction (DI).

Dans certains modes de réalisation, le dispositif d’interaction (DI) peut en outre être configuré pour la reconnaissance vocale ou sonore via l’exécution de programmes/algorithmes et modèles d’apprentissage automatique.

Dans certains modes de réalisation, le dispositif d’interaction (DI) peut être également configuré pour traduire automatiquement les informations présentées à l’utilisateur via l’interface dans une langue compréhensible pour ce dernier par l’exécution d’un programme/algorithme ou d’un modèle d’apprentissage automatique basé sur l’historique du contenu des navigations de l’utilisateur et/ou la reconnaissance vocale dudit utilisateur et/ou de données chargées en mémoire dudit dispositif d’interaction (DI).

Avantageusement, le système tel que décrit et en particulier le dispositif d’interaction (DI) est adapté pour une aide à la maintenance en guidant, pas à pas, l’utilisateur via l’interface dans les actions à réaliser et, à vérifier après chaque action de l’utilisateur si ladite action a été correctement réalisée ou pas. Dans le cas où l’action n’a pas été correctement réalisée, le dispositif est configuré pour le notifier à l’utilisateur via l’interface afin que ledit utilisateur puisse répéter ladite action.

L’homme du métier comprendra ainsi que le dispositif peut comprendre des moyens informatiques (programmes, dispositifs, …) adaptés pour analyser les effets physiques consécutives aux actions de l’utilisateur, sur la base de données capturées par les capteurs dudit dispositifs et/ou de données chargées en mémoire. Par exemple, et de manière non limitative, lorsque l’instruction communiquer par le dispositif à l’utilisateur comprend le déplacement d’un objet dans l’environnement réel, l’analyse peut consister à la comparaison des positions capturées de l’objet avant la communication de l’instruction et après un délai déterminé ou un retour de l’utilisateur via l’interface pour confirmer le déplacement de l’objet.

Dans un autre exemple relatif à un compteur disjoncté, le dispositif d’interaction (DI) peut guider l’utilisateur à la mise en route un compteur disjoncté. Le dispositif d’interaction (DI) peut être configuré pour un guidage visuel (par exemple, l’affichage de flèches lumineuses au sol) de l’utilisateur jusqu’à l’endroit où se trouve le compteur. On comprend que des données cartographiques en 3D de l’environnement réel peuvent être chargées en mémoire avec l’emplacement déterminé dudit compteur. Le dispositif sur la base de cette cartographie et de la fonctionnalité de reconnaissance visuelle va guider l’utilisateur jusqu’à l’emplacement du compteur. Par reconnaissance visuelle, le dispositif peut déterminer le type de compteur et charger en mémoire les caractéristiques relatives au compteur et à sa maintenance en cas de panne. L’utilisateur peut être alors guidé dans la maintenance sur la base de ces informations.

L’invention permet ainsi une simplification de l'accès de l'utilisateur à divers types d'informations, via le dispositif d’interaction (DI), éventuellement sélectionnées au préalable pour déterminer les fonctions correspondant aux éléments graphiques (11) qui lui seront présentés dans un environnement donné, ainsi que d'autres informations dans d'autres environnements, en fonction de ses préférences, enregistrées dans des moyens de mémorisation accessibles aux moyens informatiques exécutant l’interface.

Dans certains modes de réalisation, l’interface exécutée par le processeur du dispositif d’interaction (DI) visuelle est configurée pour définir au moins une liste d’applications et/ou contenus ou documents à afficher, notamment en fonction de l’environnement dans lequel l’utilisateur se trouve, ladite liste d’applications et/ou contenus ou documents pouvant être mise à jour sur requête de l’utilisateur via la sélection d’un élément graphique (11) dédié lorsqu’ils ne font pas partie de la sélection affichée par ladite interface, afin d’obtenir un ensemble de fonction plus large, ledit dispositif d’interaction (DI) chargeant alors en mémoire les données nécessaires à cette mise à jour.

Par exemple et de manière non limitative, un utilisateur se trouvant à proximité de l’édifice de Notre Dame se verrait proposer, via l’interface, ledit édifice affiché par exemple en 1712 avec des scènes animées correspondantes à à ladite époque, ou en mode architectural. Le dispositif peut également charger en mémoire les informations relatives à l’édifice et les présenter à l’utilisateur. Dans un autre exemple, l’utilisateur pourrait également se trouver à proximité d’une machine dans une usine. Dans ce cas, l’interface pourrait lui afficher le modèle de la machine et ses caractéristiques techniques.

Avantageusement, l’homme du métier comprendra que le système tel que décrit est configuré pour dynamiquement adapter l’environnement virtuel et le contenu des informations affichées en fonction de l’environnement réel extérieur et/ou des données des capteurs du dispositif d’interaction (DI) chargées en mémoire (pour éventuellement la reconnaissance visuelle).

Dans une autre variante, le dispositif d’interaction (DI) peut être configuré pour autoriser l’utilisateur à personnaliser l’interface en définissant au moins :
une liste d’applications et/ou contenus ou documents qu’il souhaite voir affichés, notamment en fonction de l’environnement dans lequel il se trouve ;
une liste d’applications et/ou contenus ou documents dont il peut demander la mise à jour lorsqu’ils ne font pas partie de sa sélection actuelle, afin d’obtenir un ensemble de fonction plus large, ledit dispositif d’interaction (DI) téléchargeant alors les données nécessaires à cette mise à jour.

Dans certains modes de réalisation, le dispositif d’interaction (DI) visuelle peut être configuré pour la surveillance du fonctionnement d’une machine ou d’un dispositif, l’interface exécutée par le processeur du dispositif d’interaction (DI) visuelle étant adaptée pour afficher des informations relatives au fonctionnement de ladite machine ou dudit dispositif. Ainsi, dans la réalisation du processus de surveillance, le processeur du dispositif peut être configuré pour communiquer directement avec des capteurs disposés sur la machine ou le dispositif à surveiller et une base de données contenant au moins des informations relatives à la structure interne et externe de ladite machine ou dudit dispositif. Dans une autre variante, les informations concernant la structure de la machine ou du dispositif sont pré-enregistrées dans une mémoire du système informatique du dispositif d’interaction (DI) et accessible audit processeur.

Les capteurs peuvent être disposés de manière à fournir des mesures de paramètres que l’utilisateur souhaite surveiller. Par exemple et de manière non-limitative, ce paramètre peut être la température de la machine ou dispositif ou d’un composant spécifique de la machine ou du dispositif tel qu’un moteur. Le paramètre peut également être le courant électrique dans un circuit électronique de la machine ou du dispositif, etc.

Le processeur du dispositif d’interaction (DI) visuelle est configuré pour :
récupérer ou recevoir les informations concernant la structure de la machine ou du dispositif à surveiller stockées dans la base de données ou dans la mémoire du système informatique dudit dispositif d’interaction (DI) visuelle, ;
construire, par l’exécution d’un programme, une représentation externe et interne en 3D de la machine ou dispositif à surveiller à partir des informations récupérées ou reçues; et
afficher via l’interface exécutée, la structure en 3D externe et interne de la machine ou dispositif à surveiller avec l’emplacement de chaque capteur.

Les valeurs des paramètres mesurées par les capteurs sont transmises en temps réel, en même temps que la position des capteurs, au dispositif d’interaction (DI) visuelle et, communiquées à l’utilisateur via l’interface exécutée. Ainsi, en cas de valeurs anormales mesurées l’emplacement de l’anomalie est automatiquement détecté.

Avantageusement, l’homme du métier comprendra que le système tel que décrit permet d’améliorer efficacement la maintenance de machines ou dispositifs et également un gain de temps en cas de panne. En effet, la détection d’anomalie et son affichage via l’interface exécutée du dispositif d’interaction (DI) visuelle permet de connaître exactement l’emplacement de l’anomalie qui correspond au positionnement du capteur ayant mesuré cette anomalie. Ainsi, cette information peut permettre à l’utilisateur de réparer efficacement et rapidement l’anomalie tout en réduisant le nombre de ressources matérielles utiles à la maintenance de la machine.

Dans certains modes de réalisation, le processeur du dispositif d’interaction (DI) visuelle est configuré pour actionner un dispositif connecté via l’interface exécutée. Ladite interface comprend au moins un élément graphique (11) dont l’actionnement envoie un signal au processeur du dispositif qui active un dispositif d’émission de signal disposé sur le dispositif d’interaction (DI) visuelle. Le dispositif d’émission de signal émet un signal d’activation comportant au moins des instructions d’activation en direction du dispositif connecté, ledit dispositif connecté étant configuré pour reconnaître, via un protocole qui peut être sécurisé, le signal d’activation émis, l’enregistrer en mémoire et exécuter sur un processeur les instructions d’activation pour s’activer.

Dans certains modes de réalisation, le dispositif d’interaction (DI) est configuré pour mettre à jour ladite interface, la sélection par l’utilisateur d’un élément dédié à cette mise à jour déclenchant la connexion et la synchronisation dudit dispositif d’interaction (DI) à des moyens informatiques contenant un ensemble de paramètres, d’applications, de contenus ou de documents chargeables en mémoire (téléchargement, enregistrer…) par ledit dispositif d’interaction (DI) afin de rendre compatible ce dernier et ladite interface avec les besoins ponctuels de l’utilisateurs.

Le dispositif d’interaction (DI) est configuré pour synchroniser les données relatives à des actions réalisées par un utilisateur, via l’interface, avec une pluralité de dispositifs d’interaction (DI) d’autres utilisateurs avec lesquels ledit dispositif d’interaction (DI) est connecté via un réseau.

Dans certains modes de réalisation, le système comporte une pluralité de dispositifs d’interaction (DI) connectés les uns aux autres, de préférence de manière sécurisée pour former un groupe (cluster en anglais) de dispositif partagés. Au moins un de ces dispositifs d’interaction (DI) générant des contenus à afficher sur les autres dispositifs d’interaction (DI) est, configuré pour partager par transmission des instructions relatives à des contenus à afficher sur l’interface des autres dispositifs en fonction des actions réalisées via ladite interface, de sorte que l’ensemble des dispositifs d’interaction (DI) affichent les mêmes éléments consécutifs aux actions ou sélections réalisées via ladite interface dudit dispositif d’interaction (DI).

Ainsi lorsque plusieurs dispositifs sont connectés entre eux via un réseau, comme illustré sur la , l’action réalisée par l’un des utilisateurs via l’interface de son dispositif d’interaction (DI) est automatiquement reproduite chez les autres utilisateurs sans que ces derniers n’aient à intervenir. Par exemple et de manière non-limitative, dans le cas d’une représentation tridimensionnelle d’un environnement réel (ou d’une machine, d’un objet, d’une usine, etc.), partagée entre N dispositifs d’interaction (DI) qui collaborent (DI₁, DI₂, …, DI_N) via leurs interfaces respectives, lorsqu’un utilisateur possesseur d’un dispositif d’interaction (DI_i) (i = 1, N) déplace, par exemple un objet dans l’environnement représenté, via son interface, d’un emplacement PA à un emplacement PB, la position de l’objet déplacé est mise à jour dans le champ visuel des autres utilisateurs en possession des autres dispositifs d’interaction DI₁, …, DI_(i-1), DI_(i+1), …DI_N qui collaborent avec le dispositif d’interaction (DI_i ) à l’origine de l’action.

Ainsi, on comprendra, que chaque dispositif d’interaction (DI) est configuré pour transmettre des instructions ou programmes relatifs à des actions et/ou contenus à d’autres dispositifs d’interaction (DI) avec lesquels il communique en réseau de telle sorte que l’exécution desdites instructions ou desdits programmes sur les processeurs desdits autres dispositifs commande ces derniers à mettre à jour l’environnement affiché via leur interfaces respectives ou à reproduire, de manière synchrone les actions réalisées via l’interface du dispositif d’interaction (DI) ayant transmis les instructions ou codes.

Dans certains modes de réalisation, le procédé comporte une exécution sur lesdits moyens informatiques, d’une interface homme-machine d’un système tel que décrit dans la présente demande.

Dans certains modes de réalisation, le système d’interface homme-machine, comprend une pluralité de dispositifs d’interaction (DI) visuelle comprenant chacun des moyens de capture d’images et des moyens d’affichage et des moyens informatiques comprenant au moins un processeur exécutant une interface pour l'interaction d'un utilisateur avec ledit dispositif d’interaction (DI) visuelle. Ledit système peut présenter à l'utilisateur un contenu au moins en partie virtuelle, en particulier pour de la réalité virtuelle et/ou de la réalité augmentée. Le dispositif d’interaction (DI) capture, via ses moyens de capture d’images, l'environnement réel de l'utilisateur pour le fournir à ladite interface. Cette dernière comprend des moyens ou éléments d’actionnement automatique du processeur du dispositif d’interaction (DI) qui, par l’exécution d’un programme, génère un maillage de l'environnement réel sur la base des images capturées. L’interface est configurée pour poursuivre la visée de l'utilisateur dans le maillage généré (qui sert de base à la création de l’environnement virtuel). Ladite interface est configuré pour se connecter à chacun des dispositifs d’interaction (DI) visuelle des utilisateurs pour leur permettre de partager des données entre eux via lesdits moyens informatiques du dispositif d’interaction (DI) et leur afficher des contenus qui sont synchronisés sur les divers dispositifs d’interaction (DI) visuelle en communication sécurisée (par exemple des utilisateurs participant à une réunion privée). Ledit système comporte des moyens de mémorisation de données contenant des objets, des documents et des cartographies 3D (environnements virtuels établis à partir d’environnements réels et représentatifs de cartographies de sites ou lieux réels préalablement enregistrés avec divers niveaux de détails sur leur topographie et/ou leur géolocalisation et/ou diverses informations techniques relatives aux éléments physiques présents dans ces sites ou lieux). Ladite interface est également configurée pour suivre les actions de chacun des utilisateurs dans un environnement virtuel ainsi présenté aux utilisateurs des dispositifs en communication (par exemple des utilisateurs participant à la réunion privée) auxquels l’interface propose un ensemble de contenus, objets ou documents partageables avec lesdits utilisateurs , de sorte que le suivi de leurs actions respectives leur permettent de placer ces divers contenus, objets ou documents au sein dudit environnement virtuel. De préférence, ledit système est également configuré pour se connecter à au moins un capteur ou dispositif communiquant d’un utilisateur (ou un serveur) présent au sein de l’environnement réel ainsi simulé afin de fournir à ladite interface, en temps réel ou en prédiction selon un horaire, des informations relatives aux paramètres physiques mesurés en temps réel dans l’environnement réel ou prédit pour un horaire ou une date ultérieure, afin de fournir aux utilisateurs des dispositifs en communication (par exemple des utilisateurs participant à la réunion privée) les informations physiques réelles présentes ou prévisibles au sein de l’environnement réel. L’invention peut donc porter également sur un tel système collaboratif de plusieurs dispositifs d’interaction (DI) visuelle, qu’il intègre ou non l’interface de suivi de visée décrite dans la présente demande.

Avantageusement, l’homme du métier comprendra que le système ainsi décrit est configuré pour une collaboration à distance et au partage de données entre un dispositif d’interaction (DI) et d’autres dispositifs pouvant être directement présents dans le même environnement réel extérieur que ledit dispositif d’interaction (DI) ou éloignés de celui-ci, dans un environnement distinct.

Ladite interface fournit auxdits utilisateurs, d’une part, un ensemble contenus, objets ou documents qui sont sélectionnés d’après un contexte défini, tel que par exemple celui d’une intervention des forces de l’ordre ou des forces armées, sur un site ou lieu menacé par une attaque, avec, en outre, un ensemble de membres des forces de l’ordre ou des forces armées disponibles, de l’armement et/ou des protections disponibles, avec éventuellement un délai pour leur disponibilité et leur déploiement dans l’environnement réel.

La présente demande décrit diverses caractéristiques techniques et divers avantages avec référence aux figures et/ou aux divers modes de réalisation. Les hommes du métier comprendront que les caractéristiques techniques d’un mode de réalisation donné peuvent en fait être combinées avec des caractéristiques d’un autre mode de réalisation, sauf spécification contraire, ou sauf si la combinaison ne fournit pas une solution à au moins l’un des problèmes techniques mentionnés dans la présente demande. De plus, les caractéristiques techniques décrites dans un mode de réalisation donné peuvent être isolées des autres caractéristiques techniques de ce mode de réalisation, sauf spécification contraire.

Il doit être évident pour les personnes versées dans l’art que la présente invention permet des modes de réalisation sous de nombreuses autres formes spécifiques sans l’éloigner du domaine défini par la portée des revendications jointes, ils doivent être considérés à titre d'illustration et l’invention ne doit pas être limitée aux détails donnés ci-dessus.

Claims

Système d’interface homme-machine, comprenant au moins un dispositif d’interaction (DI) visuelle, comprenant des moyens de capture d’image et des moyens d’affichage et des moyens informatiques comprenant au moins un processeur exécutant une interface pour l'interaction d'un utilisateur avec ledit dispositif d’interaction (DI) visuelle, ledit système présentant à l'utilisateur un contenu au moins en partie virtuelle, en particulier pour de la réalité augmentée, ledit dispositif d’interaction (DI) capturant l'environnement réel de l'utilisateur pour le fournir à ladite interface qui génère un maillage de l'environnement et poursuit la visée de l'utilisateur, ladite interface étant caractérisée en ce qu’elle est configurée pour détecter lorsque la visée de l'utilisateur est orientée vers le sol et, suite à cette détection, démarrer un lanceur (1) présenté à l'utilisateur via ledit dispositif d’interaction (DI) sous la forme d’au moins un contenu de navigation comprenant une pluralité d’éléments graphiques (11) que l’utilisateur peut parcourir avec sa visée et qui sont représentatifs d’une fonction à laquelle ils correspondent, ladite interface détectant le déplacement de la visée de l’utilisateur sur ces éléments graphiques (11) et, lorsque la visée de l’utilisateur s’est immobilisée sur l’un de ces éléments graphiques (11) pendant une durée déterminée, le lanceur (1) sélectionne cet élément graphique (11) et déclenche ladite fonction à laquelle il correspond, l’ensemble des fonctions disponibles comprenant au moins :
a) l’exécution d'une application disponible via l’interface et exécutable sur ledit dispositif d’interaction (DI);
b) l’ouverture d’au moins un contenu ou document stocké dans des moyens de mémorisation accessible via l’interface ;
c) le déploiement d’autres éléments graphiques (11) dans le lanceur (1), sur lesquels l’utilisateur peut déplacer sa visée afin de déclencher les mêmes fonctions a), b) ou c) lorsqu’elle s’immobilise dessus pendant ladite durée déterminée.
Système selon la revendication 1, caractérisé en ce que le ledit contenu de navigation, comprenant ladite pluralité d’éléments graphiques (11), comporte au moins une couronne (10) affichée au sol et centrée autour de l’utilisateur, ladite pluralité d’éléments graphiques (11) étant répartis angulairement sur ladite couronne (10), les uns à côté des autres.
Système selon la revendication 2, caractérisé en ce que, lorsque l’utilisateur s’immobilise sur un élément graphique (11) correspondant à une fonction c) de déploiement, au sein d’un contenu de navigation, dit parent, le lanceur (1) affiche un autre contenu de navigation, dit enfant, dépendant du contenu parent et comprenant une seconde couronne (10), de préférence concentrique à la première couronne (10), ou une ligne, de préférence radiale à la première couronne (10), et comprenant au moins un autre élément graphique (11) correspondant également à une des fonctions a), b) ou c), avec éventuellement plusieurs répétitions de contenus de navigation parent-enfant de générations successives.
Système selon la revendication 3, caractérisé en ce que, lorsque l’utilisateur parcourt un contenu de navigation enfant sans s’immobiliser sur l’un des éléments graphiques (11) qu’il contient et déplace sa visée vers un contenu de navigation parent dont il dépend, éventuellement sur plusieurs générations parent-enfant, le lanceur (1) replie, après un délai déterminé, le contenu enfant ou les contenus enfants en annulant son affichage ou leurs affichages sur ledit dispositif d’interaction (DI) et n’affiche plus que le contenu de navigation parent sur lequel l’utilisateur maintient sa visée.
Système selon la revendication 1, caractérisé en ce que l’interface propose à l’utilisateur, via ledit lanceur (1), des contenus de navigation qui sont contextuels, tenant compte de l’environnement de l’utilisateur et/ou d’un contexte dans lequel se trouve l’utilisateur, ladite interface déterminant le contexte grâce au dispositif d’interaction (DI) ou tout autre dispositif porté par l’utilisateur et connecté à ladite interface, lui fournissant des informations exploitées par l’interface, parmi au moins :
une réception d’images capturées par le dispositif d’interaction (DI), avec éventuellement une reconnaissance d’image et/ou une détection de codes électroniques (codes barres, QR codes, etc) ;
une géolocalisation ;
une détection de diverses valeurs physiques par divers types de capteurs ;
une réception d’informations fournies par des objets connectés présents dans ledit environnement de l’utilisateur et apte à communiquer avec lesdits moyens informatiques exécutant ladite interface.
Système selon la revendication 5, caractérisé en ce que ladite interface est configurée pour définir au moins une liste d’ applications et/ou contenus ou documents à afficher, notamment en fonction de l’environnement dans lequel l’utilisateur se trouve, ladite liste d’applications et/ou contenus ou documents pouvant être mise à jour sur requête de l’utilisateur via la sélection d’un élément graphique (11) dédié lorsqu’ils ne font pas partie de la sélection affichée par ladite interface, afin d’obtenir un ensemble de fonction plus large, ledit dispositif d’interaction (DI) chargeant alors en mémoire les données nécessaires à cette mise à jour.
Système selon la revendication 6, caractérisé en ce que le dispositif d’interaction (DI) est configuré pour mettre à jour ladite interface , la sélection par l’utilisateur d’un élément dédié à cette mise à jour déclenchant la connexion et la synchronisation dudit dispositif d’interaction (DI) à des moyens informatiques contenant un ensemble de paramètres, d’applications, de contenus ou de documents chargeables en mémoire par ledit dispositif d’interaction (DI) afin de rendre compatible ce dernier et ladite interface avec les besoins ponctuels de l’utilisateurs.
Système selon la revendication 7, caractérisé en ce qu’il comporte une pluralité de dispositifs d’interaction (DI) connectés les uns aux autres, de préférence de manière sécurisée pour former un groupe de dispositif partagés, au moins un de ces dispositifs d’interaction (DI) étant configuré pour partager par transmission des instructions relatives à des contenus à afficher sur l’interface des autres dispositifs en fonction des actions réalisées via ladite interface, de sorte que l’ensemble des dispositifs d’interaction (DI) affichent les mêmes éléments consécutifs aux actions ou sélections réalisées via ladite interface dudit dispositif d’interaction (DI).
Procédé d’interaction entre un utilisateur et des moyens informatiques grâce à un dispositif d’interaction (DI) visuelle, caractérisé en ce qu’il comporte une exécution sur lesdits moyens informatiques, d’une interface homme-machine d’un système selon l’une des revendications précédentes.
Système d’interface homme-machine selon la revendication 8, caractérisé en ce que la pluralité de dispositifs d’interaction (DI) visuelle comprend chacun des moyens de capture d’images et des moyens d’affichage et des moyens informatiques comprenant au moins un processeur exécutant une interface pour l'interaction d'un utilisateur avec ledit dispositif d’interaction (DI) visuelle, ledit système présentant à l'utilisateur un contenu au moins en partie virtuelle, en particulier pour de la réalité virtuelle et/ou de la réalité augmentée, ledit dispositif d’interaction (DI) capturant l'environnement réel de l'utilisateur pour le fournir à ladite interface qui génère un maillage de l'environnement et poursuit la visée de l'utilisateur, ladite interface étant connectée à chacun des dispositifs d’interaction (DI) visuelle des utilisateurs pour leur permettre de partager des données entre eux via lesdits moyens informatiques et leur afficher des contenus qui sont synchronisés sur les divers dispositifs d’interaction (DI) visuelle en communication sécurisée, ledit système comportant des moyens de mémorisation de données contenant des objets, des documents et des cartographies 3D (des cartographies d’environnements virtuels établis à partir d’environnements réels et représentatifs de cartographies de sites ou lieux réels préalablement enregistrés avec divers niveaux de détails sur leur topographie et/ou leur géolocalisation et/ou diverses informations techniques relatives aux éléments physiques présents dans ces sites ou lieux), ladite interface étant configurée pour suivre les actions de chacun des utilisateurs dans l’environnement virtuel ainsi présenté aux utilisateurs des dispositifs en communication auxquels l’interface propose un ensemble de contenus, objets, ou documents partageables avec lesdits utilisateurs, de sorte que le suivi de leurs actions respectives leur permettent de placer ces divers contenus, objets ou documents au sein dudit environnement virtuel, ledit système étant également connecté à au moins un capteur ou dispositif communiquant d’un utilisateur présent au sein de l’environnement réel ainsi simulé afin de fournir à ladite interface, en temps réel ou en prédiction selon un horaire, des informations relatives aux paramètres physiques mesurés en temps réel dans l’environnement réel ou prédit pour un horaire ou une date ultérieure, afin de fournir aux utilisateurs des dispositifs en communication les informations physiques réelles présentes ou prévisibles au sein de l’environnement réel.