WO2015082817A1 - Procédé de commande de l'interaction avec un écran tactile et équipement mettant en oeuvre ce procédé - Google Patents
Procédé de commande de l'interaction avec un écran tactile et équipement mettant en oeuvre ce procédé Download PDFInfo
- Publication number
- WO2015082817A1 WO2015082817A1 PCT/FR2014/053100 FR2014053100W WO2015082817A1 WO 2015082817 A1 WO2015082817 A1 WO 2015082817A1 FR 2014053100 W FR2014053100 W FR 2014053100W WO 2015082817 A1 WO2015082817 A1 WO 2015082817A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- zone
- interaction
- screen
- graphic
- user
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Definitions
- U.S. Patent Application US 2007/211039 discloses a multifunction device with a touch screen with an interaction zone comprising a first zone and a second zone.
- This application also describes a method, which allows the selection of a function according to a sequential displacement of the tactile contact in the interaction zone.
- the first function is activated by the tactile contact movement within the first zone
- the second function is activated by the tactile contact movement from the second zone to the first zone (claim 1).
- the acquisition data processing is performed by the operating system of the associated equipment, which imposes its grammar for the interpretation of gestures.
- a second visual state E 2 corresponding to the selection of said graphic zone Z l a single graphic zone Z L of said multimedia representation that can be selected at the same time and
- the selection of the graphic zones Z L being carried out according to said order, in both directions, by the periodic acquisition, at time t 1, of the position of a characteristic point P j of the nominal interaction surface S j between said screen and said sensory organ, according to a path of any shape, and to calculate after each acquisition the index k of the graphical zone Z k to be selected according to:
- the method further comprising an activation step consisting, by another mode of interaction between a sensory organ of the user and the viewing area, to update the display of the multimedia representation R as a function of the index k of said selected zone Z k , said representation being modified by the change of the visual state E 2 to the state E 3 of said selected zone and being activated Z k
- the execution of said action Ai associated with the active zone Z L consists of loading a new multimedia representation R.
- the interaction is performed between the user's thumb and a touch screen, the interaction zone being limited to the surface of the screen that can be scanned by the thumb of the user holding a only one hand the equipment comprising said screen, said paths being determined by the usual displacements of said thumb.
- the method comprises an additional processing applied after a predetermined period following the transition to the state E 2 of a graphic zone, said method automatically triggering a new action when no new interaction with the active zone of the screen n 'is detected during a T hold period.
- said new action consists in emitting a sound signal or a visual signal, in controlling the return to the initial graphic zone or in a reference graphical zone, in automatically activating the functionality associated with the selected graphic zone, in controlling a magnification of the selected graphic zone, or the neighborhood of this zone or to emit a voice message
- a second visual state E 2 corresponding to the selection of said graphic zone Z l a single graphic zone Z L of said multimedia representation that can be selected at the same time and
- the selection of the graphic zones Z L being carried out according to said order, in both directions, by the periodic acquisition, at time t ⁇ , of the position of a characteristic point P j of the nominal interaction surface S j enter said screen and said sensory organ, according to a path of any shape, and to calculate after each acquisition the index k of the graphical zone Z k to be selected according to:
- the display screen is comprised on equipment that is separate from the equipment intended to detect the interactions with the sensory organ of the user.
- the invention also relates to a computer program for controlling the operation of equipment according to claim 9 or 10, characterized in that it comprises the computer code for executing said recognition processes tactile interactions and to control the functionality of the equipment, according to the digital information recorded in a content sheet containing all the digital data, in the form of descriptors, for controlling the display of the graphic areas, in their different states and also to identify the address of the content to which to navigate or giving a description of the action for the user, sound or visual.
- FIG. 1 represents a view of the display screen for a man-machine interface according to the invention
- FIG. 2 shows a schematic view of the software architecture.
- the invention is particularly adapted to the realization of human-machine interface in situations such as:
- the apparent surface of the screen is small relative to the surface associated with the direction of gaze.
- the invention is particularly useful when the display of content and selectable icons tactilely or visually has a high density.
- the solutions of the prior art are poorly adapted and do not correctly select an icon among those proposed.
- the detection surface can cover several icons, and in the case of a touch screen, the active finger can hide one or more selectable icons.
- the viewing area of the touch screen is divided into:
- These interaction zones (20, 21) are located in the parts of the thumb-accessible touch screen when the equipment is held with one hand. This area is defined by the naturally sweeping surface of the thumb, when the user makes movements allowed by the thumb joint without constraining effort.
- the two zones (20, 21) are symmetrical to allow use by either a right-handed or left-handed user.
- the interaction zone is unique and selectable for adaptation to a right-handed or left-handed user. It then takes the general shape of an arched surface corresponding to the surface swept by the thumb when the equipment is held with one hand.
- the display sequence is typically as follows:
- buttons are represented as a graphic object whose visual state changes between three possible states: a default state, a visually different state when it has been selected, and a visually different state when it has been activated. .
- the selection of a button is carried out via a single control area which is not superimposed on the button, and which allows the buttons to be successively highlighted (or "roll-over, or other mode of selection) by a tactile movement that does not hide the buttons, and the activation by another gesture, usually also in an area that does not hide the activated button (highlighted for example).
- defined minimum interaction surface means the resolving power, or separation power, or spatial resolution, is the minimum distance that must exist between two contiguous points so that they are correctly discerned by a measurement or observation system.
- the "detection area” is the smallest area below which this resolving power is defined:
- nominal interaction surface S j between said screen and said sensory organ means the optimal surface, determined as a function of the resolution and the characteristics of the interaction element to enable the user to control the functionalities. without excessive precision efforts, which assumes a sufficient surface to avoid difficulties in positioning the organ, while preserving the possibility of multiplying the interaction zones (which supposes a limited surface area of interaction).
- the nominal interaction surface S j is 40 ⁇ 40 pixels, making it possible to place the palmar area of the thumb or the index without difficulty on the active zone, so as to match the barycenter of the palmar zone of the finger and the center of gravity of the nominal interaction zone, with a sufficiently small standard deviation to avoid any ambiguity with another active zone.
- the displacement between the zones is determined by a parametric control law, to ensure a kinematics of type:
- the invention aims to enable:
- Another advantage is the possibility of a "rich" manipulation of a mobile phone held by one hand, by a thumb action only, while respecting ergonomics.
- the range of motion of the finger on the touch screen is reduced by avoiding movement of the whole hand to scan the entire surface of the screen.
- Another embodiment consists of actions in the interaction zone corresponding to displacements of the organ in a one-dimensional trajectory, with a succession of displacement in the same zone and return to an initial point.
- This displacement or "swip" uni-dimensional translates, for a touch screen, the movement of the finger on the control area by small successive slips, not just a linear slip.
- the movement between the end of a small slip and the beginning of a new slip can be done by transient suspension of the interaction (one slightly raises the finger to prevent the movement during this return path is taken into account) . It can also be done by a processing of the acquisition data taking into account only the displacements oriented in the direction of the beginning of the first slip, and omitting the taking into account of the slips whose main vector is oriented in a direction opposite to the vector the beginning of the slide. This treatment is applied, for example, for all the slips acquired during a limited time interval between the end of a detected displacement and the beginning of the next slip.
- a control activation zone located where the thumb naturally comes to rest in a neutral position when the equipment is held with one hand.
- the switch from one button to the other is according to the amplitude of movement in any direction.
- the activation of the button is done by a local movement of type "tap" on the neutral position (or any touch zone).
- the control zone can become contextual (for example display of an information message) in case of improper handling, ie does not correspond to what is estimated as the will of the user:
- Reduced size of representations Another embodiment consists in providing for some areas control the display of icons of very small area, less than the nominal area of interaction (eg 320x140 pixels) without scrolling screens.
- FIG. 2 shows the block diagram of a controlled equipment according to the invention. It comprises a touch screen (1) associated in known manner by a driver (2) (driver).
- the touch screen (1) generates raw data (or raw-data).
- This driver (2) performs information processing by means of a calculation algorithm. It determines the point or points of impact (in the case of multi-touch), the direction of movement, sometimes the pressure exerted, and acts accordingly.
- the driver (2) is used to decode the raw information of the touch screen (1). These data are transformed into points (coordinates) or contacts area depending on the type of technology used (multi-point or multi-touch).
- An optional layer which is not integrated in all the systems, makes it possible to calibrate the points or zones of contacts in the case where these do not reflect exactly the actual points of contact. This occurs especially in the case of optical devices, where the camera that records the contact points is not exactly in alignment with the pointing device. In these cases, it is necessary to make a translation of coordinates, for example, to fall back on the initial contact points.
- This generator (3) provides the data of type "touch event 'representing the event that occurs when the touch action changes.
- a multi-touch event may contain information such as the following:
- the system "understands” the touch gesture performed by the user, and generates the corresponding multi-touch event by associating these values.
- This panel is only a small part of the data that potentially make up a multi-touch event. We can imagine a whole range of other information depending on what touch devices and software layers allow.
- the operation of the event generator includes a step of initializing the event handler.
- This step is used to initialize event observers to handle events as they occur.
- the new touches detected by the pilot (2) produce an "early touch” event.
- the information from the event manager (3) is processed by a gesture recognition module (4) which interprets the set of displacements, for series of events to deduce standard gestures such as "zoom” when moving several fingers in opposite directions, or “sweeping”, in case of accelerated movement.
- this recognition module generally resident in the equipment, is not activated.
- the data from the event manager (3) and the pilot (2) are processed by a specific module (5) carrying out the processing operations corresponding to the aforementioned method.
- This specific module (5) exploits the processing of the lower layers (1 to 3), as well as the processing of the application layers (6), but not the complex processing module usually performed by the gesture recognition module (4).
- This specific module dialogs with the application layer (6) to control the interactions between the application and the touch screen.
- the screen For equipment with a large screen, the screen is divided into three areas
- an additional zone for displaying the mosaic-shaped list, to move from one active zone to another.
- the additional display area may be the edge of a curved touch screen.
- the main zone and the control zone are displayed simultaneously on the same touch screen.
- the additional zone is displayed alternately, in the form of an initial screen, with a "classic" selection by a tap.
- the main zone is displayed on the TV screen.
- the "player” application is adapted to each platform, depending in particular on the operating system and the specificities of the interfaces.
- the content sheets are universal and exploitable by any "player” application.
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
La présente invention concerne un procédé mis en oeuvre par un ordinateur pour la commande d'une action Ai par une interaction entre un organe sensoriel visuel et/ou tactile de l'utilisateur et un écran, consistant à : a) afficher sur ledit écran une représentation multimédia R comportant des zones graphiques Zi présentant des dimensions inférieures au pouvoir de résolution des moyens de détection de l'interaction entre ledit organe sensoriel et 1 'écran, b) sélectionner des zones graphiques Zi, selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia, c) activer, par un autre mode d'interaction entre un organe sensoriel de l'utilisateur et la zone de visualisation, d) renouveler périodiquement lesdites étapes de sélection et d'activation. L'invention concerne aussi un équipement mettant en oeuvre ce procédé et un programme informatique.
Description
PROCEDE DE COMMANDE DE L ' INTERACTION AVEC UN ECRAN TACTILE ET EQUIPEMENT METTANT EN OEUVRE CE PROCEDE
Domaine de 1 ' invention
La présente invention concerne des procédés et systèmes pour la gestion de l'interface homme-machine sur des équipements informatiques.
Plus particulièrement, elle concerne les solutions où l'utilisateur intervient directement par l'intermédiaire d'un organe sensoriel qui est tactile (l'organe étant alors un ou plusieurs doigts dont on détermine la position et le déplacement par rapport à une surface tactile ou à l'aide d'un capteur de position) ou visuel (l'organe étant alors un oeuil ou les deux yeux dont on détermine la position et le déplacement à l'aide d'un système de suivi du regard).
Dans l'état de la technique, on a développé différentes solutions pour enrichir les modes d'interaction entre l'homme et la machine.
Pour les interfaces tactiles, on a développé les solutions dites «multitouch» qui permettent d'analyser simultanément la position de plusieurs doigts et donc de multiplier les combinaisons possibles.
Pour les interfaces gestuelles, on a développé les modes d'acquisitions des mouvements pour augmenter le nombre d'actions possibles.
Pour le suivi du regard, on a également développé les techniques d'analyse pour fournir une information ignorant partiellement les mouvements erratiques de l'oeil susceptibles de fausser l'acquisition de la direction du regard.
Du fait de l'augmentation des combinaisons détectables, on a également développé des « grammaires » ou gesture, pour définir un langage de communication particulier qui
se base sur les mouvements de l'organe sensoriel à la place de la parole .
Ces gestures ont été étudiées par des psychologues et des scientifiques pour établir la base des recherches dans le domaine de la reconnaissance des gestures. Parmi les gestures fondamentales, on peut citer les suivantes, désignées à partir du terme technique usuel dans la librairie proposée par le système d'exploitation iOS :
— TapGesture qui consiste à mettre un point de contact et de l'enlever sans bouger et ceci pendant une petite durée .
— TapAndHoldGesture qui ressemble au TapGesture sauf que là on maintient la position.
— PanGesture qui consiste à déplacer le point de contact ajouté (un mouvement de déplacement).
— SwipeGesture qui ressemble au PanGesture sauf qu'il tient compte de la vitesse et de l'accélération.
— PinchGesture utilisé essentiellement pour faire un agrandissement ou une rotation.
Ces gestures sont généralement reconnues par une couche applicative incluse dans le système d'exploitation.
Etat de la technique
On connaît dans l'état de la technique la demande de brevet américaine US 2010/245268 concernant un dispositif électronique comprenant une étape de sélection d'une zone graphique associée à une action exécutable, qui correspond au changement de l'état de cette zone graphique. Cependant, l'étape de l'activation de l'action exécutable est représentée par une barre de progression affichée séparément dans la zone d'affichage de l'information.
La demande de brevet américaine US 2007/211039 décrit
un appareil multifonction à écran tactile avec une zone d'interaction comprenant une première zone et une seconde zone. Cette demande décrit également une méthode, qui permet la sélection d'une fonction selon un déplacement séquentiel du contact tactile dans la zone d'interaction. En particulier, la première fonction est activée par le mouvement de contact tactile à l'intérieur de la première zone, tandis que la seconde fonction est activée par le déplacement de contact tactile de la seconde zone vers la première zone ( la revendication 1 ) .
Inconvénients de l'art antérieur
Ces différentes solutions présentent des difficultés de mise en œuvre pour des interfaces de visualisation de petite dimension et/ou une présentation dense d'éléments sélectionnables
- pour l'acquisition tactile, c'est le cas pour des écrans tactiles de petite dimension, sur des téléphones portables, des montres ou de petits équipements, où la surface tactile est souvent superposée à la surface de visualisation.
- pour l'acquisition oculaire, c'est le cas pour des écrans de visualisation disposés loin de la position de l'utilisateur, ce qui se traduit par une surface apparente dans le champ d'observation et de visualisation petite.
Il est alors difficile de sélectionner une zone parmi les nombreuses zones proposées : la précision du déplacement de l'organe sensoriel peut être insuffisante pour un utilisateur non entraîné, et la résolution de la détection de la position de l'organe sensoriel peut être supérieure à la taille des objets sélectionnables visualisés.
Cet inconvénient est encore aggravé pour les écrans tactile « multitouch » car la présence de plusieurs doigts peut occulter de manière préjudiciable un ou plusieurs objets
commandables . Ce phénomène se produit également avec des écrans tactiles « monodoigts », lorsque les dimensions des objets commandables sont inférieures à la surface de détection de la position du doigt, typiquement 40x40 pixels pour les écrans de résolution moyenne et 80x80 pixels pour les écrans de haute résolution .
Enfin, les actions tactiles prévues dans les documents de l'art antérieur sont mal adaptées pour des écrans de très petites dimensions, telles que les écrans des montres. La surface disponible pour l'interaction est très limitée (la surface totale de l'écran étant de l'ordre de 300x300 pixels), et ne permet pas une bonne définition de l'acquisition des positions pour la sélection des zones graphiques. Les solutions de l'art antérieur proposent de commander la sélection en prenant en compte l'amplitude du déplacement sur la zone tactile, ou éventuellement la vitesse du déplacement. Ceci implique une surface active suffisante pour permettre de parcourir toutes les zones graphiques possibles sur la trajectoire utile. Si le nombre de zones graphiques est élevé, il faut, pour permettre un défilement de la première à la dernière zone graphique, une dimension suffisante pour permettre à l'utilisateur de parcourir l'ensemble des zones, avec un pas suffisant pour éviter toute ambiguïté dans la sélection d'une des zones graphiques.
Par ailleurs, le traitement des données d'acquisition est réalisé par le système d'exploitation de l'équipement associé, qui impose sa grammaire pour l'interprétation des gestures .
Solution apportée par l'invention
Afin de remédier à ces inconvénients, l'invention concerne selon son acception la plus générale un procédé mis en oeuvre par un ordinateur pour la commande d'une action Ai par une
interaction entre un organe sensoriel visuel et/ou tactile de l'utilisateur et un écran, consistant à :
a) afficher sur ledit écran une représentation multimédia R comportant N zones graphiques ZL associées chacune à une action exécutable Al N étant un entier supérieur à 2,
- certaines desdites zones graphiques ZL présentant des dimensions inférieures au pouvoir de résolution des moyens de détection de l'interaction entre ledit organe sensoriel et 1 'écran,
- chacune de ces zones graphiques ZL présentant :
• un premier état visuel E1 au repos, en l'absence de sélection de ladite zone graphique Zl
• un second état visuel E2 correspondant à la sélection de ladite zone graphique Zl une seule zone graphique ZL de ladite représentation multimédia pouvant être sélectionnée à un même moment et
• un troisième état visuel E3 correspondant à 1 ' activation de la fonction Ai associée à ladite zone graphique
b) le procédé comprenant une étape de sélection des zones graphiques ZL, selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia,
- la sélection des zones graphiques ZL étant réalisée selon ledit ordre, dans les deux sens, par l'acquisition périodique, à l'instant t^ , de la position d'un point caractéristique Pj de la surface d'interaction nominale Sj entre ledit écran et ledit organe sensoriel, selon un chemin de forme quelconque, et à calculer après chaque acquisition l'indice k de la zone graphique Zk à sélectionner en fonction :
de 1 ' indice c de la zone sélectionnée Zc courante d'une part
et d'un traitement portant sur au moins trois
dernières acquisitions d'autre part, ledit traitement n'étant pas seulement le calcul du rapport de la distance entre les deux dernières acquisitions au temps écoulé (vitesse)
de mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de la nouvelle zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E1 vers l'état E2 de ladite zone sélectionnée Zk, c ) le procédé comprenant en outre une étape d'activation consistant, par un autre mode d'interaction entre un organe sensoriel de l'utilisateur et la zone de visualisation, à mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de ladite zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E2 vers l'état E3 de ladite zone sélectionnée et en cours d'activation Zk
à commander l'exécution de l'action Ak correspondant à ladite zone sélectionnée courante Zk d) le procédé consistant en outre à renouveler périodiquement lesdites étapes de sélection et d'activation.
Selon un mode de mise en œuvre particulier, l'exécution de ladite action Ai associée à la zone active ZL consiste à charger une nouvelle représentation multimédia R.
Avantageusement, ledit calcul de l'indice k lors de l'étape de sélection est réalisé par une fonction prenant en compte la position du point P à l'instant t ainsi que de la vitesse ou de l'accélération de déplacement du point P pendant les instants t antérieurs.
Selon un mode de réalisation particulier, ledit calcul de l'indice k lors de l'étape de sélection est réalisé par une fonction prenant en compte une succession de déplacements courts sur ledit chemin, l'amplitude desdits déplacements courts étant inférieure à l'amplitude du déplacement continu pour le passage à l'indice suivant.
Avantageusement, les moyens informatiques de détection de la position instantanée du point P à l'instant t sont ceux compris dans le système d'exploitation de l'équipement comprenant ledit écran, et que les moyens informatiques d'interprétation de la position et de l'évolution de la position ne sont pas ceux prévus par ledit système d'exploitation.
Selon une variante, l'interaction est réalisée entre le pouce de l'utilisateur et un écran tactile, la zone d'interaction étant limitée à la surface de l'écran apte à être balayée par le pouce de l'utilisateur tenant d'une seule main l'équipement comportant ledit écran, lesdits chemins étant déterminés par les déplacements usuels dudit pouce.
Selon une variante, le procédé comporte un traitement additionnel appliqué après une période prédéterminée suivant le passage à l'état E2 d'une zone graphique, ledit procédé déclenchant automatiquement une nouvelle action lorsque aucune nouvelle interaction avec la zone active de l'écran n'est détectée pendant une période Thold.
Avantageusement, ladite action nouvelle consiste à émettre un signal sonore ou un signal visuel, à commander le retour à la zone graphique de départ ou à une zone graphique de référence, à activer automatique de la fonctionnalité associée à la zone graphique sélectionnée, à commander un grossissement de
la zone graphique sélectionné, ou du voisinage de cette zone ou à émettre un message vocal
L'invention concerne également un équipement comprenant un écran de visualisation et des moyens de capture de la position d'un organe sensoriel d'un utilisateur, caractérisé en ce qu'il comporte un calculateur et des moyens pour enregistrer un code informatique dont l'exécution commande :
a) l'affichage sur ledit écran d'une représentation multimédia R comportant N zones graphiques ZL associées chacune à une action exécutable Al N étant un entier supérieur à 2,
- certaines desdites zones graphiques ZL présentant des dimensions inférieures au pouvoir de résolution des moyens de détection de l'interaction entre ledit organe sensoriel et 1 'écran,
- chacune de ces zones graphiques ZL présentant :
• un premier état visuel E1 au repos, en l'absence de sélection de ladite zone graphique Zl
• un second état visuel E2 correspondant à la sélection de ladite zone graphique Zl une seule zone graphique ZL de ladite représentation multimédia pouvant être sélectionnée à un même moment et
• un troisième état visuel E3 correspondant à 1 ' activation de la fonction A± associée à ladite zone graphique ZL, b) la sélection des zones graphiques Zlf selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia,
la sélection des zones graphiques ZL étant réalisée selon ledit ordre, dans les deux sens, par l'acquisition périodique, à l'instant t^ , de la position d'un point caractéristique Pj de la surface d'interaction nominale Sj entre
ledit écran et ledit organe sensoriel, selon un chemin de forme quelconque, et à calculer après chaque acquisition l'indice k de la zone graphique Zk à sélectionner en fonction :
- de 1 ' indice c de la zone sélectionnée Zc courante d'une part
- et d'un traitement portant sur au moins deux dernières acquisitions d'autre part, de mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de la nouvelle zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel vers l'état E2 de ladite zone sélectionnée Zk, c) l'activation consistant, par un autre mode d'interaction entre un organe sensoriel de l'utilisateur et la zone de visualisation, à mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de ladite zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E2 vers l'état E3 de ladite zone sélectionnée et en cours d'activation Zk
à commander l'exécution de l'action Ak correspondant à ladite zone sélectionnée courante Zk d) le renouvellement périodique desdites étapes de sélection et d ' activation .
Selon une variante, l'écran de visualisation est compris sur un équipement distinct de l'équipement destiné à détecter les interactions avec l'organe sensoriel de 1 ' utilisateur .
L'invention concerne aussi un programme d'ordinateur pour commander le fonctionnement d'un équipement conforme à la revendication 9 ou 10 caractérisé en ce qu'il intè le code informatique pour exécuter lesdits traitements de reconnaissance
des interactions tactiles et pour commander les fonctionnalités de l'équipement, en fonction des informations numériques enregistrées dans une fiche de contenu contenant toute les données numériques, sous forme de descripteurs, permettant de commander l'affichage des zones graphiques, dans leurs différents états et aussi d'identifier l'adresse du contenu vers lequel naviguer ou en donnant une description de l'action pour l'utilisateur, sonore ou visuelle.
L'invention sera mieux comprise à la lecture de la description qui suit, se référant aux dessins annexés relatifs à des exemples de réalisation non limitatifs où :
- la figure 1 représente une vue de l'écran de visualisation pour une interface homme machine selon l'invention
- la figure 2 représente une vue schématique de l'architecture logicielle.
L'invention est particulièrement adaptée à la réalisation d'interface homme-machine dans des situations telles que :
L'utilisation sur des équipements comportant un écran tactile de petite dimension, typiquement des écrans de moins de 4 centimètres (1,5 pouces), par exemple des montres ou des téléphones portables, dont la surface est petite par rapport à la surface de contact d'un doigt
- l'utilisation avec des équipements commandés par un système d'analyse du regard (eye tracking), dont la surface apparente de l'écran est petite par rapport à la surface associée à la direction du regard.
L'invention est particulièrement utile lorsque l'affichage de contenu et d'icônes sélectionnables tactilement ou visuellement présente une forte densité.
Dans ces cas, les solutions de l'art antérieur sont mal adaptées et ne permettent pas de sélectionner correctement une icône parmi celles proposées. En effet, la surface de détection peut recouvrir plusieurs icônes, et dans le cas d'un écran tactile, le doigt actif peut masquer une ou plusieurs icônes sélectionnables .
Dans l'exemple décrit en référence à la figure 1, la zone de visualisation de l'écran tactile est divisée en :
- une zone d'affichage ou « display zone » (10)
- des zones d'interaction (20, 21).
Ces zones d'interaction (20, 21) sont situées dans les parties de l'écran tactile atteignable par le pouce lorsque l'équipement est tenu d'une seule main. Cette zone est définie par la surface naturellement balayable par le pouce, lorsque l'utilisateur fait des mouvements permis par l'articulation du pouce sans efforts contraignant. Les deux zones (20, 21) sont symétriques pour permettre une utilisation indifféremment par une utilisateur droitier ou gaucher.
Optionnellement , la zone d'interaction est unique et sélectionnable pour une adaptation à un utilisateur droitier ou gaucher. Elle prend alors la forme générale d'une surface arquée correspondant à la surface balayée par le pouce lors que l'équipement est tenu d'une seule main.
La séquence d'affichage est typiquement la suivante :
- Affichage d'une page avec des « boutons » de sélection pour la navigation dans le contenu du site. Ces boutons sont représentés sous forme d'un objet graphique dont l'état visuel change entre trois états possibles : un état par défaut, un état visuellement différent lorsqu'il a été sélectionné, et un état visuellement encore différent lorsqu'il a été activé.
La sélection d'un bouton s'effectue par l'intermédiaire d'une zone de contrôle unique qui n'est pas superposée au bouton, et qui permet de mettre les boutons successivement en surbrillance (ou « roll-over, ou autre mode de sélection) par un déplacement tactile qui ne masque pas les boutons, et l'activation par un autre geste, généralement également dans une zone qui ne masque pas le bouton activé (en surbrillance par exemple).
On entend au sens du présent brevet par « surface minimum d'interaction définie » Le pouvoir de résolution, ou pouvoir de séparation, ou la résolution spatiale, est la distance minimale qui doit exister entre deux points contigus pour qu'ils soient correctement discernés par un système de mesure ou d ' observation .
La « surface de détection » est la plus petite surface en-dessous de laquelle ce pouvoir de résolution étant défini :
- dans le cas d'une interaction tactile, par la taille nominale de la surface du bout d'un doigt,
et dans le cas d'une interaction visuelle ou gestique par la taille nominale de la surface de résolution.
On entend par « surface d'interaction nominale Sj entre ledit écran et ledit organe sensoriel » , la surface optimale, déterminée en fonction de la résolution et les caractéristiques de l'organe d'interaction pour permettre à l'utilisateur de commander les fonctionnalités sans efforts de précision excessif, ce qui suppose une surface suffisante pour éviter des difficultés de positionnement de l'organe, tout en préservant la possibilité de multiplier les zones d'interaction (ce qui suppose une surface d'interaction limitée). Typiquement, pour un écran tactile dont les dimensions sont de quelques
dizaines de centimètres carrés, la surface d'interaction nominale Sj est de 40x40 pixels, permettant de placer la zone palmaire du pouce ou de l'index sans difficulté sur la zone active, de façon à faire correspondre le barycentre de la zone palmaire du doigt et le barycentre de la zone d'interaction nominale, avec un écart-type suffisamment faible pour éviter toute ambiguïté avec une autre zone active.
Le déplacement entre les zones est déterminé par une loi de commande paramétrable, pour assurer une cinématique de type :
- « bondissante», avec une réponse qui reste inchangée pendant un premier déplacement de faible amplitude, puis bascule sur la zone suivante lorsqu'une amplitude seuil est atteinte
- « élastique », avec une réponse où l'amplitude de déplacement varie en fonction de l'écart de la position par rapport à des positions indexées. En particulier, l'amplitude de déplacement est faible lorsqu'on est proche d'une position indexée, et plus importante lorsqu'on est entre deux zones indexées
- « absolue » , avec une réponse discrète limitée à un nombre fini de positions possibles.
De façon générale, l'invention a pour but de permettre :
o une grande densité des zones graphiques compatible avec une manipulation facile, o une augmentation artificielle du pouvoir de résolution pour petits écrans, sans utiliser de zoom de l'écran. On évite ainsi les solutions peut ergonomiques consistant à zoomer la zone, puis procéder à la sélection, ce qui implique deux actions consécutives o une meilleure visibilité de l'information
visualisée sur l'écran en évitant l'occultation du contenu (le zoom occulte le contenu lors de la saisie).
Un autre avantage est la possibilité d'une manipulation « riche » d'un téléphone portable tenu d'une seule main, par une action du pouce seulement, en respectant au mieux l'ergonomie. On réduit l'amplitude des déplacements du doigt sur l'écran tactile en évitant un mouvement de toute la main pour balayer l'ensemble de la surface de l'écran.
Manipulation de liens « petits »
Un des modes de mise en œuvre vise à faciliter la manipulation de boutons dont certains présentent une taille inférieure à la surface d'appui du doigt (40x40 points), et/ou une pluralité de boutons juxtaposés avec une écart inférieur à la taille de la surface d'appui du doigt, par un déplacement du doigt sur une zone extérieure à la zone d'affichage des boutons, avec un action de déplacement provoquant l'activation successives des boutons (avec une surbrillance par exemple ou un changement de couleur du bouton activé), selon un ordre paramétrable, qui n'est pas nécessairement topologique.
Ceci va à l' encontre de la contrainte que s'impose les créateurs d'interface graphique actuels, qui choisissent souvent de gros boutons facilitant l'usage mais réduisant la densité d'information et donnant une apparence « régressive ».
Boutons invisibles
Un autre mode de réalisation consiste à modifier la forme graphique des boutons associés aux zones actives en
commandant un affichage du bouton dont la forme graphique est confondue avec le fond, au repos, et qui prend une forme
graphique spécifique et distincte du fond lorsqu'il est activé.
Glissements répétés ( « swip » )
Un autre mode de réalisation consiste par des actions dans la zone d'interaction correspondant à des déplacements de l'organe selon une trajectoire unidimensionnelle, avec une succession de déplacement dans la même zone et de retour à un point initial.
Ce déplacement ou « swip » uni-dimensionnel se traduit, pour un écran tactile, par le déplacement du doigt sur la zone de commande par petits glissements successifs, et pas seulement par un glissement linéaire. Le mouvement entre la fin d'un petit glissement et le début d'un nouveau glissement peut se faire par suspension transitoire de l'interaction (on lève légèrement le doigt pour éviter que le déplacement pendant cette trajectoire de retour ne soit prise en compte). Elle peut aussi se faire par un traitement des données d'acquisition ne prenant en compte que les déplacements orientés dans la direction du début du premier glissement, et omettant la prise en compte les glissements dont le vecteur principal est orienté dans un sens opposé au vecteur principal du début du glissement. Ce traitement est appliqué, par exemple, pour tous les glissements acquis pendant un intervalle de temps limité entre la fin d'un déplacement détecté et le début du glissement suivant.
Contrairement aux touches tactiles (trackpad) connus dans des dispositifs de l'art antérieur, on prend en compte non pas un déplacement en deux dimensions, mais la différence de déplacement ou de glissement :
- soit selon une direction déterminée par la forme de la zone de contrôle,
- soit selon une direction quelconque, mais on prend alors en compte
- soit seulement la longueur du chemin parcouru par le doigt, et pas l'orientation du déplacement du doigt
- soit seulement la longueur de la projection sur un axe du chemin parcouru par le doigt, et pas l'orientation du déplacement du doigt.
Option de gestique
Une zone d'activation du contrôle, se trouvant là où le pouce vient naturellement se poser en une position neutre lorsque l'équipement est tenu avec une seule main.
Le passage d'un bouton à l'autre se fait en fonction de l'amplitude de déplacement selon une direction quelconque.
L'activation du bouton se fait par un déplacement local de type « tap » sur la position neutre (ou une zone tactile quelconque ) .
Animation de la zone de commande
La zone de commande peut devenir contextuel (par exemple affichage d'un message d'information) en cas de manipulation non conforme, c'est à dire ne correspond pas à ce qui est estimé comme étant la volonté de l'utilisateur :
Exemple : si l'utilisateur clique sur l'icône alors qu'il a sélectionné un bouton, mais n'a pas procédé à l'activation par un « tap » sur la zone de contrôle, la zone de commande devient surbrillante ou affiche un message de type « cliquez ici pour naviguer » .
Taille réduite des représentations (icônes) autre mode de réalisation consiste a prévoir pour
certaines zones de commande l'affichage d'icônes de très faible surface, inférieure à la zone nominale d'interaction (par exemple 320x140 pixels) sans écrans déroulants.
La figure 2 représente le schéma de principe d'un équipement commandé selon l'invention. Il comprend un écran tactile (1) associé de façon connue par un pilote (2) (driver).
L'écran tactile (1) génère des données brutes (ou raw-data) .
Ce pilote (2) effectue un traitement de l'information au moyen d'un algorithme de calcul. Il détermine le ou les points d'impact (dans le cas du multi-touch), le sens du mouvement, parfois la pression exercée, et agit en conséquence.
Le pilote (2) permet de décoder les informations brutes de l'écran tactile (1). Ces données sont transformées en points (coordonnées) ou en zone de contacts en fonction du type de technologie utilisée (multi-point ou multi-touch) .
Une couche optionnelle, qui n'est pas intégrée dans tous les systèmes, permet de calibrer les points ou zones de contacts dans le cas où ces derniers ne reflètent pas exactement les points de contacts réels. Ceci se produit notamment dans le cas des dispositifs optiques, où la caméra qui enregistre les points de contacts n'est pas exactement dans l'alignement du dispositif de pointage. Dans ces cas, il est nécessaire de faire une translation de coordonnées, par exemple, pour retomber sur les points de contacts initiaux.
Ces informations ensuite traitées par un générateur d'événements (3) permettent d'interpréter les interactions tactiles et déterminer le type d'événement ou de geste qui a été produit par l'utilisateur à partir des points ou zones de contacts,. Un ensemble de zones particulières pourra être compris comme un geste de rotation par exemple..
Ce générateur (3) fournit les données de type « touch
event » représentant 1 ' événement qui se produit quand 1 ' action de toucher change.
Un événement multi-touch peut contenir des informations telles que les suivantes :
• la position initiale du contact
• la direction
• la position finale du contact
• la vitesse
• l'angle d'approche du doigt ou du stylet
• la pression
En fonction de la valeur de chacune de ces données, le système « comprend » le geste tactile effectué par l'utilisateur, et génère l'événement multi-touch correspondant en y associant ces valeurs.
Ce panel n'est qu'une petite partie des données qui composent potentiellement un événement multi-touch. Nous pouvons imaginer tout un ensemble d'autres informations en fonction de ce que permettent les dispositifs tactiles et les couches logicielles .
Le fonctionnement du générateur d'événement comporte une étape d'initialisation du gestionnaire d'événements.
Cette étape permet d ' initialiser les observateurs d'événements pour gérer ceux-ci lorsqu'ils se produisent.
Les nouveaux touchers détectés par le pilote (2) produisent un événement de type « début de toucher » .
Après quoi, on fait une boucle sur les différents événements de type « déplacement de toucher » .
Gestion de fin d'un toucher
Lorsqu'un utilisateur enlève son doigt de la surface, un événement de type « fin de toucher » est envoyé.
Dans les solutions connues, les informations provenant du gestionnaire d'événements (3) sont traitées par un module de reconnaissance de gestures (4) qui interprète l'ensemble des déplacements, pour des séries d'événements pour en déduire des gestes types tels que le « zoom » en cas de déplacement de plusieurs doigts dans des directions opposées, ou de « balayage », en cas de déplacement accéléré. Dans le cas de l'invention, ce module de reconnaissance, généralement résident dans l'équipement, n'est pas activé.
Selon l'invention, on procède à un traitement des données provenant du gestionnaire d'événements (3) et du pilote (2) par un module spécifique (5) réalisant les traitements correspondant au procédé susvisé. Ce module spécifique (5) exploite les traitements des couches basses (1 à 3), ainsi que les traitements des couches applicatives (6), mais pas le module de traitement complexe habituellement réalisé par le module de reconnaissance de gestures (4).
Ce module spécifique dialogue avec la couche applicative (6) pour commander les interactions entre l'application et l'écran tactile.
Alternative « tablette »
Pour des équipements disposant d'un écran de grande dimension, l'écran est divisé en trois zones
- une zone principale d'affichage de la zone active, avec ses boutons activables
une zone de contrôle de la sélection et de
l'activation d'un bouton de l'icône
- une zone additionnelle d'affichage de la mosaïque en forme liste, pour passer d'une zone active à une autre.
La zone additionnelle d'affichage peut être la tranche d'un écran tactile incurvé.
Exploitation sur un téléphone portable
La zone principale et la zone de contrôle sont affichées simultanément sur le même écran tactile.
La zone additionnelle est affichée en alternance, sous forme d'écran initial, avec une sélection « classique » par un tap.
Sur un téléviseur connecté, la zone principale est affichée sur l'écran du téléviseur.
La zone de contrôle est affichée sur l'écran tactile d'un périphérique (téléphone portable ou tablette)
La zone additionnelle est affichée sur le périphérique et/ou sur le téléviseur.
Optionnellement , le code de l'objet numérique comprend :
- un noyau contenant tous les éléments communs aux différentes plateformes
- une partie contenant les éléments de commande de l'interface spécifiques aux trois interfaces possibles, et appelant les éléments du noyau pour un affichage adapté à la plateforme sur laquelle le code est exécutée.
Alternatives de mise en oeuvre
La description qui suit concerne une alternative de mise en œuvre du procédé selon l'invention.
Elle consiste à prévoir un traitement additionnel appliqué après une période prédéterminée suivant le passage à l'état E2 d'une zone graphique.
Lorsque aucune nouvelle interaction avec la zone active de l'écran n'est détectée pendant une période Thold, le procédé déclenche automatiquement une nouvelle action. Cette nouvelle action est par exemple :
- l'émission d'un signal sonore : ce signal alerte l'utilisateur qu'il a sélectionné une fonctionnalité, qu'il n'a pas encore activée
- l'émission d'un signal visuel : dans le même but que précédemment, cette action se traduit par exemple par un clignotement de la zone graphique dans l'état E2 ou une surbrillance, ou une modification de l'intensité ou de la couleur du fond d'écran, ou encore une alternance entre deux types de fonds d'écran
- le retour à la zone graphique de départ ou à une zone graphique de référence : cette action évite que l'équipement ne reste dans un état E2 sélectionné mais pas activé, avec un risque d'activation ultérieur inopiné
l'activation automatique de la fonctionnalité associée à la zone graphique sélectionnée, évitant à l'utilisateur d'exercer une interaction spécifique additionnelle
- un grossissement de la zone graphique sélectionné, ou du voisinage de cette zone graphique : par exemple pour permettre une visualisation plus détaillée d'informations associées à la zone sélectionnée
- l'émission d'un message vocal : pour permettre par exemple à des mal voyants de prendre connaissance de la nature et des fonctionnalités associées à la zone graphique sélectionnée.
Implémentation du procédé
La description qui suit concerne un exemple d ' implémentation informatique du procédé selon l'invention.
Elle comprend :
- une application de type « player » intégrant le code informatique pour exécuter les traitements de reconnaissance des interactions tactiles et commander les fonctionnalités de l'équipement sur lequel est installé l'application
- des fichiers numériques ou « fiches de contenu » contenant toute les données numériques, sous forme de descripteurs, permettant de commander l'affichage des zones graphiques, dans leurs différents états, et ce quel que soit l'équipement informatique hôte.
Une fiche de contenu comprend des descripteurs dont le langage correspond à celui utilisé par l'application « player » . Les fiches de contenu ne contiennent pas de code exécutable par le système d'exploitation de l'équipement hôte, ce qui garantie l'absence de virus informatiques ou d'utilisation malveillante de tels fichiers pour interagir frauduleusement avec un équipement hôte .
Une fiche de contenu comprend des descripteurs marqués par des drapeaux :
- des descripteurs des zones graphiques, dont la structure est par exemple :
<layerl ; position^ orientation^ transparence^ forme! ->
Ces descripteurs peuvent être regroupés pour permettre l'affichage d'une zone graphique étendue, avec
plusieurs objets (par exemple une icône, un texte et une vidéo) .
La fiche de contenu comprend également des descripteurs de bouton, correspondant aux zones graphiques sélectionnables et activables. La structure est par exemple :
<button 1>
<layerl ; position, orientation, transparence, attribut « allways »« visible » - forme -> <buttonl>
L'application « player » est adaptée à chaque plateforme, en fonction notamment du système d'exploitation et des spécificités des interfaces.
Les fiches de contenus sont universelles et exploitables par n'importe quelle application « player ».
Cela permet d'échanger des contenus sans avoir à se préoccuper de l'équipement cible, et d'être assuré d'un fonctionnement prévu, sans risque de détournement par des virus, dans la mesure où l'application « player » et les fiches de contenus ne contiennent pas de code directement exécutable par le système d'exploitation de l'équipement hôte.
Claims
Revendications
1 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action AL par une interaction entre un organe sensoriel visuel et/ou tactile de l'utilisateur et un écran, consistant à :
a) afficher sur ledit écran une représentation multimédia R comportant N zones graphiques ZL associées chacune à une action exécutable Al N étant un entier supérieur à 2,
- certaines desdites zones graphiques ZL présentant des dimensions inférieures au pouvoir de résolution des moyens de détection de l'interaction entre ledit organe sensoriel et 1 'écran,
- chacune de ces zones graphiques ZL présentant :
• un premier état visuel E1 au repos, en l'absence de sélection de ladite zone graphique Zl
• un second état visuel E2 correspondant à la sélection de ladite zone graphique Zl une seule zone graphique ZL de ladite représentation multimédia pouvant être sélectionnée à un même moment et
• optionnellement , un troisième état visuel E3 correspondant à 1 ' activation de la fonction A± associée à ladite zone graphique ZL, b) le procédé comprenant une étape de sélection des zones graphiques Zlf selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia,
la sélection des zones graphiques ZL étant réalisée selon ledit ordre, dans les deux sens, par l'acquisition périodique, à l'instant t^ , de la position d'un point caractéristique Pj de la surface d'interaction nominale Sj entre ledit écran et ledit organe sensoriel, selon un chemin de forme
quelconque, et à calculer après chaque acquisition l'indice k de la zone graphique Zk à sélectionner en fonction :
- de 1 ' indice c de la zone sélectionnée Zc courante d'une part
- et d'un traitement portant sur au moins trois dernières acquisitions d'autre part, ledit traitement n'étant pas seulement le calcul du rapport de la distance entre les deux dernières acquisitions au temps écoulé (vitesse) de mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de la nouvelle zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel vers l'état E2 de ladite zone sélectionnée Zk, c) le procédé comprenant en outre une étape d'activation consistant, par un autre mode d'interaction entre un organe sensoriel de l'utilisateur et la zone de visualisation, à mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de ladite zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E2 vers l'état E3 de ladite zone sélectionnée et en cours d'activation Zk
à commander l'exécution de l'action Ak correspondant à ladite zone sélectionnée courante Zk d) le procédé consistant en outre à renouveler périodiquement lesdites étapes de sélection et d'activation.
2 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action AL par une interaction entre un organe sensoriel visuel et/ou tactile de l'utilisateur selon la revendication 1 caractérisé en ce que 1 ' exécution de ladite action A± associée à la zone active Z± consiste à charger une
nouvelle représentation multimédia R.
3 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action par une interaction entre l'utilisateur et un écran selon la revendication 1 ou 2 caractérisé en ce que ledit calcul de l'indice k lors de l'étape de sélection est réalisé par une fonction prenant en compte la position du point P à l'instant t ainsi que de la vitesse ou de l'accélération de déplacement du point P pendant les instants t antérieurs.
4 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action par une interaction entre l'utilisateur et un écran selon l'une quelconque des revendications précédentes caractérisé en ce que ledit calcul de l'indice k lors de l'étape de sélection est réalisé par une fonction prenant en compte une succession de déplacements courts sur ledit chemin, l'amplitude desdits déplacements courts étant inférieure à l'amplitude du déplacement continu pour le passage à l'indice suivant.
5 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action par une interaction entre l'utilisateur et un écran selon l'une quelconque des revendications précédentes caractérisé en ce que les moyens informatiques de détection de la position instantanée du point P à l'instant t sont ceux compris dans le système d'exploitation de l'équipement comprenant ledit écran, et que les moyens informatiques d'interprétation de la position et de l'évolution de la position ne sont pas ceux prévus par ledit système d'exploitation.
6 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action par une interaction entre l'utilisateur et un écran selon l'une quelconque des revendications précédentes caractérisé en ce que l'interaction est réalisée entre le pouce
de l'utilisateur et un écran tactile, la zone d'interaction étant limitée à la surface de l'écran apte à être balayée par le pouce de l'utilisateur tenant d'une seule main l'équipement comportant ledit écran, lesdits chemins étant déterminés par les déplacements usuels dudit pouce.
7 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action par une interaction entre l'utilisateur et un écran selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comporte un traitement additionnel appliqué après une période prédéterminée suivant le passage à l'état E2 d'une zone graphique, ledit procédé déclenchant automatiquement une nouvelle action lorsque aucune nouvelle interaction avec la zone active de l'écran n'est détectée pendant une période Thold.
8 - Procédé mis en oeuvre par un ordinateur pour la commande d'une action par une interaction entre l'utilisateur et un écran selon la revendications précédente caractérisé en ce que ladite action nouvelle consiste à émettre un signal sonore ou un signal visuel, à commander le retour à la zone graphique de départ ou à une zone graphique de référence, à activer automatiquement la fonctionnalité associée à la zone graphique sélectionnée, à commander un grossissement de la zone graphique sélectionnée, ou du voisinage de cette zone ou à émettre un message vocal.
9 — Equipement comprenant un écran de visualisation et des moyens de capture de la position d'un organe sensoriel d'un utilisateur, caractérisé en ce qu'il comporte un calculateur et des moyens pour enregistrer un code informatique dont l'exécution commande :
a) l'affichage sur ledit écran d'une représentation
multimédia R comportant N zones graphiques ZL associées chacune à une action exécutable Al N étant un entier supérieur à 2,
- certaines desdites zones graphiques ZL présentant des dimensions inférieures au pouvoir de résolution des moyens de détection de l'interaction entre ledit organe sensoriel et l 'écran,
- chacune de ces zones graphiques ZL présentant :
• un premier état visuel E1 au repos, en l'absence de sélection de ladite zone graphique Zl
• un second état visuel E2 correspondant à la sélection de ladite zone graphique Zl une seule zone graphique ZL de ladite représentation multimédia pouvant être sélectionnée à un même moment et
• un troisième état visuel E3 correspondant à 1 ' activation de la fonction A± associée à ladite zone graphique ZL, b) la sélection des zones graphiques Zlf selon l'ordre des indices i prédéfini par une séquence liée à ladite représentation multimédia,
la sélection des zones graphiques ZL étant réalisée selon ledit ordre, dans les deux sens, par l'acquisition périodique, à l'instant t^ , de la position d'un point caractéristique Pj de la surface d'interaction nominale Sj entre ledit écran et ledit organe sensoriel, selon un chemin de forme quelconque, et à calculer après chaque acquisition l'indice k de la zone graphique Zk à sélectionner en fonction :
- de 1 ' indice c de la zone sélectionnée Zc courante d'une part
- et d'un traitement portant sur au moins deux dernières acquisitions d'autre part, de mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de la nouvelle zone sélectionnée Zk,
ladite représentation étant modifiée par le changement de l'état visuel vers l'état E2 de ladite zone sélectionnée Zk, c) l'activation consistant, par un autre mode d'interaction entre un organe sensoriel de l'utilisateur et la zone de visualisation, à mettre à jour l'affichage de la représentation multimédia R en fonction de l'indice k de ladite zone sélectionnée Zk, ladite représentation étant modifiée par le changement de l'état visuel E2 vers l'état E3 de ladite zone sélectionnée et en cours d'activation Zk
à commander l'exécution de l'action Ak correspondant à ladite zone sélectionnée courante Zk d) le renouvellement périodique desdites étapes de sélection et d ' activation .
10 - Equipement selon la revendication précédente caractérisé en ce que l'écran de visualisation est compris sur un équipement distinct de l'équipement destiné à détecter les interactions avec l'organe sensoriel de l'utilisateur.
11 — Programme d'ordinateur pour commander le fonctionnement d'un équipement conforme à la revendication 9 ou 10 caractérisé en ce qu'il intègre le code informatique pour exécuter lesdits traitements de reconnaissance des interactions tactiles et pour commander les fonctionnalités de l'équipement, en fonction des informations numériques enregistrées dans une fiche de contenu contenant toute les données numériques, sous forme de descripteurs, permettant de commander l'affichage des zones graphiques, dans leurs différents états.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR1362164A FR3014572B1 (fr) | 2013-12-05 | 2013-12-05 | Procede de commande de l'interaction avec un ecran tactile et equipement mettant en oeuvre ce procede |
| FR1362164 | 2013-12-05 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015082817A1 true WO2015082817A1 (fr) | 2015-06-11 |
Family
ID=50473421
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/FR2014/053100 WO2015082817A1 (fr) | 2013-12-05 | 2014-12-01 | Procédé de commande de l'interaction avec un écran tactile et équipement mettant en oeuvre ce procédé |
Country Status (2)
| Country | Link |
|---|---|
| FR (1) | FR3014572B1 (fr) |
| WO (1) | WO2015082817A1 (fr) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111752381A (zh) * | 2019-05-23 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 人机交互方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070211039A1 (en) | 2006-03-08 | 2007-09-13 | High Tech Computer, Corp. | Multifunction activation methods and related devices |
| WO2007107949A1 (fr) * | 2006-03-23 | 2007-09-27 | Koninklijke Philips Electronics N.V. | Zones actives permettant la commande de la manipulation d'images par suivi oculaire |
| EP1840520A1 (fr) * | 2006-03-31 | 2007-10-03 | Research In Motion Limited | Procédés d'interface d'utilisateur et appareil de commande à affichage visuel de table de correspondance avec éléments de table de correspondance à sélectionner dans les dispositifs de communication portables |
| US20090007001A1 (en) * | 2007-06-28 | 2009-01-01 | Matsushita Electric Industrial Co., Ltd. | Virtual keypad systems and methods |
| US20100245268A1 (en) | 2009-03-30 | 2010-09-30 | Stg Interactive S.A. | User-friendly process for interacting with informational content on touchscreen devices |
-
2013
- 2013-12-05 FR FR1362164A patent/FR3014572B1/fr active Active
-
2014
- 2014-12-01 WO PCT/FR2014/053100 patent/WO2015082817A1/fr active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070211039A1 (en) | 2006-03-08 | 2007-09-13 | High Tech Computer, Corp. | Multifunction activation methods and related devices |
| WO2007107949A1 (fr) * | 2006-03-23 | 2007-09-27 | Koninklijke Philips Electronics N.V. | Zones actives permettant la commande de la manipulation d'images par suivi oculaire |
| EP1840520A1 (fr) * | 2006-03-31 | 2007-10-03 | Research In Motion Limited | Procédés d'interface d'utilisateur et appareil de commande à affichage visuel de table de correspondance avec éléments de table de correspondance à sélectionner dans les dispositifs de communication portables |
| US20090007001A1 (en) * | 2007-06-28 | 2009-01-01 | Matsushita Electric Industrial Co., Ltd. | Virtual keypad systems and methods |
| US20100245268A1 (en) | 2009-03-30 | 2010-09-30 | Stg Interactive S.A. | User-friendly process for interacting with informational content on touchscreen devices |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111752381A (zh) * | 2019-05-23 | 2020-10-09 | 北京京东尚科信息技术有限公司 | 人机交互方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| FR3014572B1 (fr) | 2016-01-01 |
| FR3014572A1 (fr) | 2015-06-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8413075B2 (en) | Gesture movies | |
| US11132120B2 (en) | Device, method, and graphical user interface for transitioning between user interfaces | |
| EP2524294B1 (fr) | Procede de selection d'un element d'une interface utilisateur et dispositif mettant en oeuvre un tel procede. | |
| KR102174225B1 (ko) | 사용자 인터페이스들 사이에 내비게이팅하기 위한 디바이스 및 방법 | |
| US20200097093A1 (en) | Touch free interface for augmented reality systems | |
| US20190258373A1 (en) | Scrollable set of content items with locking feature | |
| AU2013259637B2 (en) | Device, method, and graphical user interface for selecting user interface objects | |
| TWI545496B (zh) | 用於調整控制件外觀之裝置、方法及圖形使用者介面 | |
| EP2778885B1 (fr) | Procédé de traitement d'un geste composé, dispositif et terminal d'utilisateur associés | |
| EP2956846B1 (fr) | Procédé, appareil et support de stockage pour naviguer dans un écran d'affichage | |
| WO2010103195A2 (fr) | Dispositif pour le controle d'appareil electronique par la manipulation d'objets graphiques sur un ecran tactile multicontacts | |
| KR20170122283A (ko) | 터치 입력 커서 조작 | |
| DK201570791A1 (en) | Remote camera user interface | |
| EP2671146A1 (fr) | Interface homme-machine tridimensionnelle | |
| FR2980004A1 (fr) | Dispositif de pointage temporaire pour terminal mobile equipe d'un ecran de visualisation tactile principal et d'un ecran de visualisation auxiliaire | |
| FR3005173A1 (fr) | Procede d'interaction dans un cockpit d'aeronef entre un pilote et son environnement | |
| US10007418B2 (en) | Device, method, and graphical user interface for enabling generation of contact-intensity-dependent interface responses | |
| US20210360372A1 (en) | User interfaces for viewing and refining the current location of an electronic device | |
| WO2015082817A1 (fr) | Procédé de commande de l'interaction avec un écran tactile et équipement mettant en oeuvre ce procédé | |
| WO2021197689A1 (fr) | Procede et dispositif pour gerer des appuis multiples sur une surface tactile | |
| FR2946768A1 (fr) | Procede d'entree tactile d'instructions de commande d'un programme d'ordinateur et systeme pour la mise en oeuvre de ce procede | |
| WO2015121303A1 (fr) | Procede de saisie sur un clavier numerique, interface homme machine et appareil mettant en oeuvre un tel procede | |
| FR2878343A1 (fr) | Dispositif d'entree de donnees | |
| FR2860890A1 (fr) | Procede et dispositif de controle discret de la selection des objets dans un espace graphique d'une interface visuelle d'ordinateur, support informatique |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14821765 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 14821765 Country of ref document: EP Kind code of ref document: A1 |