WO2001043062A1 - Interface a retour d'effort a deux dimensions - Google Patents

Interface a retour d'effort a deux dimensions Download PDF

Info

Publication number
WO2001043062A1
WO2001043062A1 PCT/FR2000/003444 FR0003444W WO0143062A1 WO 2001043062 A1 WO2001043062 A1 WO 2001043062A1 FR 0003444 W FR0003444 W FR 0003444W WO 0143062 A1 WO0143062 A1 WO 0143062A1
Authority
WO
WIPO (PCT)
Prior art keywords
carriage
wheels
plate
hand
work surface
Prior art date
Application number
PCT/FR2000/003444
Other languages
English (en)
Inventor
François MINON
Original Assignee
Minon Francois
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minon Francois filed Critical Minon Francois
Publication of WO2001043062A1 publication Critical patent/WO2001043062A1/fr

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543Mice or pucks

Definitions

  • the present invention describes an interface between an operator and a machine using changes in the characteristics of a force exerted by the machine on the operator. This involves using the sense of touch and the proprioceptive sense of the hand muscles, a so-called haptic interface.
  • a sensor measures the force exerted by the hand on the device while a motor provides the reaction force of the device.
  • This latter force is calculated by the computer according to the desired effect.
  • the force is calculated in a fixed frame of reference, the force feedback device being integral with a fixed support except in the case of the exoskeleton where the machine marries the hand of the user. It should be emphasized that they introduce an instrumental relationship with the information world (slang function). Thanks to them, information is no longer disembodied but results in movement, work.
  • a) devices with one degree of freedom i) steering wheels with force feedback intended for video games, ii) triggers, pedals or keys with force feedback
  • two-axis linear guide tables iii) brush handles allowing force feedback according to the two degrees of freedom of the handle.
  • devices with three degrees of freedom i) three-axis tables with a handle or fingering and which produce force feedback.
  • machines of the “desk lamp” type fixed on a table and comprising elements in rotation according to several degrees of freedom with a handle or a fingering and motors associated with force sensors allowing a force feedback.
  • devices with more than three degrees of freedom i) device consisting of an exosquellette of the hand with force feedback on each of the fingers of the hand. ii) platforms animated by several jacks such as those used in airplane simulators.
  • the present invention is a computer interface with two degrees of freedom which can be used in the manner of a mouse and provides force feedback. on a large workspace.
  • the device can be declined according to several sizes, going from the device intended for portable computers, to the device of large dimension able to support a person. Force feedback effects can be produced uniformly over the entire work surface.
  • the device does not need to be fixed to the work surface.
  • the device of the present invention is used in place of any other pointing device for a computer, such as for example a computer mouse.
  • a vehicle with two or four wheels can roll without sliding on a plane only by following a trajectory imposed by the configuration of the axes of these wheels. It is said to be a non-holonomic mobile.
  • an automobile is a non-holonomic object.
  • a spherical ball can move without sliding on a flat surface following any trajectory. It is a holonomic mobile. This is why the mechanical computer mouse uses a rolling ball without sliding on a flat work surface called a mouse pad.
  • the combination of the two displacements makes it possible to describe the whole of the plan.
  • the two trajectories can be rectilinear along two orthogonal axes, ⁇ for example X and Y.
  • the hand can thus give a movement in two dimensions to the tray which then behaves like a computer mouse.
  • the wheels are fitted with treads to allow good grip. At least one of the wheels participating in the first trajectory is driven by a motor and at least one of the wheels participating in the second trajectory is driven by a motor. These two motors are controlled by the host computer.
  • the position, speed and acceleration of the platter are measured using an appropriate device and transmitted to the host computer.
  • This measuring device can consist of an angular encoder measuring the rotation of the wheels for each trajectory.
  • This measurement device can also consist of a mouse attached to the flat plate and whose ball rolls on the work surface.
  • This measuring device can be any other means of knowing the position of the plate.
  • This measurement device can be external to the device of the invention.
  • a safety device makes it possible, on the one hand, to limit the extent of movement of the carriage and the tray, on the other hand, to inhibit the operation of the interface as long as a hand or any other part of the body does is not placed correctly on the pan.
  • This security device allows movement of the tray and the cart without the computer updating the position of the tray in the same way as when you lift the mouse when it comes out of the mouse pad.
  • the trolley can also be fitted with a probe to avoid a fall when it reaches the edge of the worktop (if for example it is a table).
  • the upper face of the tray is equipped with a fixing means in order to adapt various modules to it:
  • a module allowing to use it using a stylus
  • a sensitive module which makes it possible to give indications to the host computer, for example simulating a keyboard on the board
  • a module comprising a flat screen possibly with a sensitive surface.
  • the tray can include in its upper part a shape adapted to the morphology of the hand.
  • the tray can also include in its upper part a housing intended to allow the introduction of the tip of a stylus.
  • the movable plate can also include one or more click zones.
  • the movable tray can also include a sensitive upper part enabling the position of the user's finger on the tray to be known.
  • the tray can also include an upper part constituted by a flat screen possibly with a sensitive surface.
  • the device of the invention comprises an electronic card which manages its operation.
  • This card is built around a microcontroller that operates independently or in connection with a host computer equipped with a graphical interface.
  • the tray may be equipped with a flat screen in order to integrate the graphical interface with the device.
  • the connection between the device of the invention and the host computer is provided either by a serial link and a cable, or by a wireless infrared or radio link.
  • the energy required for operation can be supplied either by an external power supply, or by cells or batteries placed in the carriage or the tray.
  • Figure 1 shows the schematic diagram, front view along section A- A, of the first embodiment of the invention.
  • FIG. 2 represents the schematic diagram, seen from above in a section BB, of the first embodiment of the invention.
  • FIG. 3 represents the block diagram of the electronic card managing the first embodiments of the invention.
  • FIG. 4 represents a perspective view, with a partial section of the plate, of the first embodiment of the invention.
  • Figure 5 shows in detail, top view, the carriage of the first embodiment of the invention with the details of a possible reducer and a possible angular position detector.
  • Figure 6 shows, front view, the carriage of the first embodiment of the invention with the details of a possible reducer.
  • FIG. 7 represents, seen from the left, the carriage of the first embodiment of the invention with the details of a possible reducer.
  • FIG. 8 represents a perspective view on a work surface, of a variant of the first embodiment of the invention with two click zones.
  • Figure 9 shows, front view, the first embodiment of the invention by highlighting the device for limiting the vertical movements of the plate.
  • FIG. 10 represents, front view, of the first embodiments of the invention by highlighting the device for fixing the various possible upper faces of the plate.
  • FIG. 11 represents a front view of a variant of the first embodiment of the invention, showing a possible face of the plate having a shape adapted to the palm of the hand.
  • FIG. 12 represents, seen from the front, a variant of the first embodiment of the invention by highlighting a possible plate face comprising a shape suitable for the insertion of a stylus.
  • FIG. 13 represents a front view of a variant of the first embodiment of the invention, showing a possible position detector.
  • FIG. 14 represents, seen from above, the second embodiment of the invention by highlighting the eight motors and a position detector fixed on the plate.
  • the X and Y axes are orthogonal which allows the board to describe the entire plane.
  • This carriage (2) is equipped with four other wheels (5, 6, 26 and 27) on two parallel axes (9 and 30), at least one of which is driven by a motor (21). On these four wheels, a rigid plate (1) of a certain weight is placed.
  • two angular position sensors placed on two of the four wheel axles (respectively 7 and 30), make it possible to determine, on the one hand, the position of the
  • Each wheel is fitted with a rubber or tire tread allowing adhesion between the table and the carriage on the one hand, between the carriage and the tray on the other hand.
  • Each motor is fitted with a torque limiter in order to avoid overheating.
  • Each motor is optionally equipped ( Figure 2) with a reversible reducer (22 and 23) preferably with straight gears in order to limit the resistance torque of the motor and non-powered reducer assembly. Any type of reversible reducer may be suitable.
  • This motor reducer assembly can be replaced by a standard geared motor.
  • the motors (32 and 31) are fitted with reversible reducers based on correctly dimensioned spur gears.
  • reversible reducers may be suitable. It is also possible to replace the more reducing motor assembly with a standard geared motor provided that these dimensions are adapted.
  • the reduction gear consists of a small pinion on the axis (47) of the motor (31), a large intermediate pinion fixedly coupled to a second small pinion (46), finally a second large pinion ( 45) fixedly coupled to the axle (7) of a wheel axle.
  • the reducer is composed of a small pinion on the axis (54) of the motor (32), a large intermediate pinion fixedly coupled to a second small pinion (55), finally a second large pinion ( 56) fixedly coupled with the axle (30) of a wheel axle.
  • the pinions are dimensioned and adjusted so as to allow reversibility of the system and transmit the necessary power. For cost reasons, they can be molded plastic.
  • the angular position encoder ( Figure 5) for the first axis of movement, axis X, consists of:
  • - a toothed wheel (41) secured to the axis of the motor, that is to say before reduction, - a double infrared optical fork (42) through which the toothed wheel passes.
  • the angular position encoder ( Figure 5) for the second displacement axis, Y axis, consists of:
  • optical forks include a transmitter and opposite two receivers. - -
  • the inner face of the tray must allow good adhesion to the wheels of the carriage, for this purpose a non-slip sheet may be stuck on the bottom of the tray.
  • the external face of the plate must allow a pleasant touch and a good contact with the hand of the user because it is this face which transmits the forces between the device and the hand of the user.
  • the tray may consist of a stainless steel plate, a slightly rough plastic plate or any other suitable material.
  • the tray may include in its upper part a shape adapted to the morphology of the hand.
  • the tray may include in its upper part a housing intended to allow the introduction of the tip of a stylus.
  • the different types of possible trays can be interchangeable.
  • the device is connected to the computer via an electronic interface which can be integrated into the cart.
  • Adapted software allows you to render haptic sensations.
  • the carriage comprises one or two T-grooves (52) on its upper part, to which correspond one or two T-rails (51) with which the plate (1) is provided.
  • the rail (s) known as vertical retaining rails, slide freely in the grooving so as not to hinder the contact between the wheels and the plate. This device prevents excessive vertical movement of the platform but must allow the platform to be raised slightly so that it can be moved without turning the wheels.
  • the carriage has a safety switch (50) active when the hand is placed correctly on the tray.
  • This safety device makes it possible to inhibit the operation of the interface as long as a hand or any other part of the body is not placed correctly on the plate.
  • the motors are deactivated and the position is no longer updated by the computer as soon as the user's hand is no longer placed correctly on the table. This allows the user to put the tray back in a position where handling is more comfortable, just like the user of a mouse. lift it up and put it back in the center of the mouse pad
  • the tray ( Figure 8) includes mechanical keys (60 and 61) or sensitive areas in order to authorize click functions similar to those of a conventional mouse.
  • the upper face of the plate can be interchangeable by screwing (65 and 66), clipping or any other fixing means.
  • the threads necessary for screwing are made in holes drilled in the rail (57) called vertical retaining, and this, without hindering "the movement of this rail in the corresponding groove (58) of the carriage.
  • the upper face of the plate (1 ) may have a shape (62) adapted to the palm of the hand (FIG. 11).
  • the upper face of the tray (1) may have a shape (63) suitable for the insertion of a stylus (64) (FIG. 12)
  • the upper face may also include a flat screen, possibly with a surface.
  • each wheel is coupled to a direct current motor without reducer (66 to 73).
  • the diameter of the wheels can be reduced to 0 in order to benefit from maximum torque.
  • the position of the interface tray is determined by a simple optical system fixed on the tray (74).
  • a safety device makes it possible, on the one hand, to limit the extent of movement of the carriage and the tray, on the other hand, to inhibit the operation of the interface as long as a hand or any other part of the body n is not asked
  • the device of the invention is put to rest as soon as the user's hand is no longer placed correctly on the tray. This allows the movement of the plate without modifying the position calculated by the computer.
  • the tray further comprises a sensitive upper part making it possible to know the position of the user's finger on the tray.
  • the tray further comprises an upper part consisting of a flat screen
  • the measurements of position can be achieved by means of a conventional mouse secured to the tray and whose ball is in contact with the work surface.
  • the position measurements can be carried out by means of two optical readers (FIG. 13) placed on the carriage.
  • the first reader consisting of an infrared transmitter (76) and an infrared receiver (77) having the same optical center, reads a pattern drawn on the plate.
  • the second reader consisting of an infrared transmitter (75) and an infrared receiver (74) having the same optical center, reads another pattern placed on the work surface.
  • the position measurements can be carried out by means of a tracker external to the device.
  • the electronic interface can be placed in the cha ⁇ ot (78) ( Figure 13).
  • the electronic control card (Figure 3) is built around a standard microcontroller (301), that is to say an integrated circuit containing a microprocessor, random access memory and dead, input and output ports.
  • the electronic card can be contained in an external box or integrated in the carriage (2) or the tray (1) ( Figure 4).
  • this microcontroller we find:
  • the angular optical encoders (312 and 313) consist of a double optical fork through which the teeth of a toothed wheel secured to the axis of the drive motors (306 and 307) pass.
  • Other inputs (314) are available for: - a safety contactor (50) (figure 9) or a sensitive surface. - keys or sensitive areas for clicking. It can also include a serial interface for connecting a conventional mouse or any other standard tracking device.
  • the microcontroller software ensures: a) the reception of orders from the host computer. b) the emission of the state of the interface: errors, position, speed and acceleration of the platform. Either periodically like a conventional mouse, or in response to an order from the host computer.
  • the orders accepted by the interface are:
  • Haptic functions can be programmed in the microcontroller
  • the security functions are managed by the microcontroller with a
  • the trolley can also be fitted with a probe to prevent thetician,. workplan.
  • the device of the invention can be used in connection with a host computer equipped with a graphics operating system. Adaptation software allows the device to be used from standard software or games existing.
  • the device of the invention can be used from software specially designed for this purpose.
  • the device of the invention can be used from a video game console.
  • the device of the invention can integrate a graphics microcomputer in the manner of a standalone game console.
  • the device of the invention makes it possible to simulate haptic sensations such as:

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

La présente invention décrit un dispositif qui se substitue à tout autre dispositif de pointage à deux dimensions telle que la souris d'ordinateur, et procure un retour d'effort suivant deux dimensions. Ce dispositif permet de simuler des sensations haptiques réalistes. Il comprend : un chariot mobile (2) se déplaçant rectilignement sans glissement sur le plan (10) de la surface de travail fixe suivant l'axe X ceci grâce à des roues (3 et 4) équipant la partie inférieure du chariot et en contact avec la surface de travail. - un plateau plan (1) se déplaçant rectilignement sans glissement sur le dessus du chariot suivant l'axe Y, ceci au moyen de roues (6 et 27) équipant la partie supérieure du chariot et n'étant pas en contact avec la surface de travail fixe.Les deux axes X et Y sont orthogonaux. La combinaison des deux déplacements permet à la main posée sur le plateau de décrire un plan. Chaque axe est équipé d'un moteur et d'un capteur de position.

Description

_ _
INTERFACE A RETOUR D'EFFORT A DEUX DIMENSIONS
La présente invention décrit une interface entre un opérateur et une machine utilisant les modifications des caractéristiques d'une force exercée par la machine sur l'opérateur. Il s'agit d'utiliser le sens du toucher et le sens proprioceptif des muscles de la main, interface dite haptique.
Jusqu'à présent, l'aspect sensori-moteur a été absent des interfaces hommes machines. Mais les techniques de réalité virtuelle imposent la prise en compte de cet aspect parce que les interfaces de simulations habituelles , visuelles ou i Q auditives ne suffisent plus à appréhender un environnement virtuel complexe. Par exemple : la vue d'un objet même en relief ne renseigne ni sur son poids ni sur sa structure interne ( répartition du poids, élasticité, résistance, contenu dans le cas d'un récipient...).
Aussi ces dernières années un certain nombre de solutions ont vu le jour. Il 15 s'agit soit d'interface sensitive, soit d'interface dite haptique faisant appel au retour d'effort.
On peut regrouper ces interfaces en deux grandes catégories : a) les interfaces sensitives :
Elles permettent de stimuler la peau de l'utilisateur. On peut ainsi simuler 2Q une texture ou l'état de surface d'un objet. On peut aussi communiquer de manière plus complexe par exemple en utilisant le braille.
Il s'agit d'appareils créant des effets très limités appelés retours tactiles. On peut énumérer :
- le retour tactile à matrice d'aiguilles ( Par exemple pour afficher un texte 25 en braille ).
- le retour tactile par vibration, équipant par exemple les extrémités des doigts d'un gant de donnée ou le boitier de commandes des consoles de jeux vidéo.
- le retour tactile pneumatique. 3Q - le retour tactile thermique. b) les interfaces haptiques :
Elles permettent d'agir sur les muscles de l'utilisateur.
En général, un capteur mesure la force exercée par la main sur le dispositif tandis qu'un moteur fourni la force de réaction du dispositif. 35 Cette dernière force est calculée par l'ordinateur en fonction de l'effet souhaité. La force est calculée dans un référentiel fixe, le dispositif de retour d'effort étant solidaire d'un support fixe sauf dans le cas de l'exosquelette où l'engin épouse la main de l'utilisateur. Il faut souligner qu'elles introduisent une relation instrumentale avec le monde informationnel ( fonction argotique). Grâce à elles, l'information n'est plus désincarnée mais se traduit par un mouvement, un travail. On peut énumérer : a) les dispositifs à un degré de liberté : i) les volants avec retour d'effort destinés à des jeux vidéo, ii) les gâchettes, pédales ou touches avec retours d'efforts b) les dispositifs à deux degrés de liberté : i) le pantographe à deux degrés de liberté, dont s'inspire les souris à retours d'effort existantes. ii) les tables à guidage linéaire deux axes, iii) les manches à balais permettant un retour d'effort suivant les deux degrés de liberté du manche. c) les dispositifs à trois degrés de liberté : i) les tables trois axes avec une poignée ou un doigté et qui produisent un retour d'effort. ii) les engins de type "lampe de bureau" fixé sur une table et comportant des éléments en rotation suivant plusieurs degrés de liberté avec une poignée ou un doigté et des moteurs associés à des capteurs de force permettant un retour d'effort. Ces dispositifs s'inspirent directement des bras de robot trois ou quatre axes. d) les dispositifs à plus de trois degrés de liberté : i) dispositif constitué d'un exosquellette de la main avec retour d'effort sur chacun des doigts de la main. ii) les plates formes animées par plusieurs vérins telles celles utilisées dans les simulateurs d'avion.
Le fait que l'appareil doit être fixé entraine une limitation de l'espace de travail à un volume assez faible et proportionnel au coût de l'équipement. Pour ce qui concerne les interfaces à deux degrés de libertés, les interfaces existantes ne permettent pas une grande surface de travail avec des possiblités de retour d'effort indépendantes de la position de l'interface dans sa zone de travail. C'est le cas des dispositifs inspirés du pantographe à cause du couple exercé par l'utilisateur qui dépend de l'état du pantographe. Exposé de l'invention
La présente invention est une interface pour ordinateur à deux degrés de libertés s'utilisant à la manière d'une souris et procurant des retours d'efforts sur un grand espace de travail.
Le dispositif peut se décliner suivant plusieurs tailles, allant du dispositif destiné aux ordinateurs portables, jusqu'au dispositif de grande dimension capable de supporter une personne. Les effets de retour d'effort peuvent être produit de manière uniforme sur toute la surface de travail.
D'autre part, le dispositif ne nécessite pas d'être fixé à la surface de travail.
Enfin, la simplicité du dispositif permet d'obtenir des coûts très bas.
Le dispositif de la présente invention, s'utilise en lieu et place de tout autre dispositif de pointage pour ordinateur, tel que par exemple une souris d'ordinateur.
Un véhicule à deux ou quatres roues ne peut rouler sans glissement sur un plan qu'en suivant une trajectoire imposée par la configuration des axes de ces roues. On dit qu'il s'agit d'un mobile non holonome. Par exemple, une automobile est un objet non holonome. Par contre une balle sphéπque peut se déplacer sans glissement sur une surface plane suivant une trajectoire quelconque. Il s'agit d'un mobile holonome. C'est pourquoi, la souris mécanique pour ordinateur, utilise une boule roulant sans glissement sur une surface de travail plane dite tapis de souris. Dans la présente invention, nous reconstituons un objet holonome à partir de deux éléments :
-un chariot mobile se déplaçant, suivant une première trajectoire, en roulant sans glissement sur le plan de la surface de travail fixe au moyen de roues équipant la partie inférieure du chariot et en contact avec la surface de travail. - un plateau plan se déplaçant, suivant une deuxième trajectoire, en roulant sans glissement sur le dessus du chariot au moyen de roues équipant la partie supérieure du chariot et n'étant pas en contact avec la surface de travail fixe.
La combinaison des deux déplacements permet de décrire l'ensemble du plan. Les deux trajectoires peuvent être rectilignes suivant deux axes orthogonaux,^ par exemple X et Y.
Pour utiliser ce dispositif, on pose la main, un doigt ou une partie quelconque du corps sur le plateau. La main peut ainsi donner un mouvement suivant deux dimensions au plateau qui se comporte alors à la manière d'une souris d'ordinateur. Les roues sont munies de bandes de roulement pour permettre une bonne adhérence. Au moins une des roues participant à la première trajectoire est mue par un moteur et au moins une des roues participant à la deuxième trajectoire est mue par un moteur. Ces deux moteurs sont commandés par l'ordinateur hôte.
La position, la vitesse et l'accélération du plateau sont mesurées au moyen d'un dispositif approprié et transmisent à l'ordinateur hôte. Ce dispositif de mesure peut être constitué d'un codeur angulaire mesurant la rotation des roues et ce pour chaque trajectoire. Ce dispositif de mesure peut être aussi constitué d'une souris attachée au plateau plan et dont la boule roule sur la surface de travail. Ce dispositif de mesure peut être tout autre moyen de connaître la position du plateau. Ce dispositif de mesure peut être externe au dispositif de l'invention. Un dispositif de sécurité permet d'une part, de limiter l'étendu du déplacement du chariot et du plateau, d'autre part, d'inhiber le fonctionnement de l'interface tant qu'une main ou tout autre partie du corps n'est pas posée correctement sur le plateau. Ce dispositif de sécurité autorise le déplacement du plateau et du chariot sans que l'ordinateur ne mette à jour la position du plateau de la même façon que lorsque l'on soulève la souris lorsqu'elle sort du tapis de souris.
Le chariot peut aussi être équipé de palpeur afin d'éviter une chute lorsqu'il atteint les bord du plan de travail ( si par exemple celui-ci est une table). Pour adapter le dispositif aux diverses utilisations possibles, la face supérieure du plateau est équipé d'un moyen de fixation dans le but d'y adapter divers modules :
- un module de forme adaptée à la morphologie de la main ou à un doigt ou à plusieurs doigts avec des touches pour le cliquage,
- un module permettant de l'utiliser à l'aide d'un stylet, - un module sensitif qui permet de donner des indications à l'ordinateur hôte, par exemple simuler un clavier sur le plateau,
- un module comportant un écran plat éventuellement à surface sensitive.
Pour adapter le dispositif aux diverses utilisations possibles, le plateau peut comprendre dans sa partie supérieure une forme adaptée à la morphologie de la main. Le plateau peut également comprendre dans sa partie supérieure un logement destiner à permettre l'introduction de la pointe d'un stylet. Le plateau mobile peut également comporter une ou plusieurs zones de cliquage. Le plateau mobile peut également comporter une partie supérieure sensitive permettant de connaître la position du doigt de l'utilisateur sur le plateau. Le plateau peut comporter également une partie supérieure constituée par un écran plat éventuellement à surface sensitive.
Le dispositif de l'invention comprend une carte électronique qui gère son fonctionnement. Cette carte est construite autour d'un microcontrôleur qui fonctionne de façon autonome ou en liaison avec un ordinateur hôte équipé d'une interface graphique. Dans le cas d'un fonctionnement autonome du dispositif de l'invention, le plateau peut-être équipé d'un écran plat afin d'intégrer l'interface graphique au dispositif. La liaison entre le dispositif de l'invention et l'ordinateur hôte est assurée soit par une liaison série et un cable, soit par une liaison sans fils infrarouge ou radio. L'énergie nécessaire au fonctionnement peut être apportée, soit par une alimentation extérieure, soit par des piles ou batteries placées dans le chariot ou le plateau.
Brève description des dessins :
La figure 1 représente le shéma de principe, vue de face suivant la coupe A- A, de la première réalisation de l'invention.
La figure 2 représente le shéma de principe, vue de dessus suivant une coupe BB, de la première réalisation de l'invention.
La figure 3 représente le shéma de principe de la carte électronique gérant les premières réalisations de l'invention.
La figure 4 représente une vue en perspective, avec une coupe partielle du plateau, de la première réalisation de l'invention.
La figure 5 représente en détail, vue de dessus, le chariot de la première réalisation de l'invention avec les détails d'un réducteur possible et d'un détecteur de position angulaire possible.
La figure 6 représente, vue de face, le chariot de la première réalisation de l'invention avec les détails d'un réducteur possible.
La figure 7 représente, vue de gauche, le chariot de la première réalisation de l'invention avec les détails d'un réducteur possible.
La figure 8 représente une vue en perspective sur un plan de travail, d'une variante de la première réalisation de l'invention avec deux zones de cliquage.
La figure 9 représente, vue de face, la première réalisation de l'invention en mettant en évidence le dispositif de limitation des mouvements verticaux du plateau.
La figure 10 représente, vue de face, des premières réalisations de l'invention en mettant en évidence le dispositif de fixation des différentes faces supérieures de plateau possibles.
La figure 11 représente, vue de face, une variante de la première réalisation de l'invention en mettant en évidence une face de plateau possible comportant une forme adaptée à la paume de la main. La figure 12 représente, vue de face, une variante de la première réalisation de l'invention en mettant en évidence une face de plateau possible comportant une forme adaptée à l'insertion d'un stylet.
La figure 13 représente, vue de face, une variante de la première réalisation de l'invention en mettant en évidence un détecteur de position possible.
La figure 14 représente, vue de dessus, la deuxième réalisation de l'invention en mettant en évidence les huit moteurs et un détecteur de position fixé sur le plateau.
I Description détaillée des meilleurs modes de réalisations :
Dans le premier mode de réalisation de l'invention (figure 4), nous reconstituons un objet holonome à partir de deux éléments :
- un chariot mobile (2) se déplaçant rectilignement sans glissement sur le plan (10) de la surface de travail fixe suivant l'axe X ceci grâce à des roues (3
15 et 4) équipant la partie inférieure du chariot et en contact avec la surface de travail.
- un plateau plan (1) se déplaçant rectilignement sans glissement sur le dessus du chariot suivant l'axe Y, ceci au moyen de roues (6 et 27) équipant la partie supérieure du chariot (2) et n'étant pas en contact avec la surface de
20 travail fixe (10).
Les axes X et Y sont orthogonaux ce qui permet au plateau de décrire l'ensemble du plan.
Dans la première réalisation de l'invention (Figure 1 et 2), il s'agit d'un chariot (2) muni de quatre roues (3, 4, 28 et 29) assemblées sur deux axes
25 parallèles (7 et 8), au moins un (8) des axes est entrainé par un moteur (20). Ce chariot (2) est équipé de quatre autres roues (5, 6, 26 et 27) sur deux axes parallèles (9 et 30) dont un au moins est entrainé par un moteur (21). Sur ces quatre roues, un plateau (1) rigide et d'un certain poids est posé.
En l'absence d'alimentation des moteurs, les roues doivent pouvoir tourner
30 librement afin de ne pas gêner le mouvement du plateau et de la main qui le met en mouvement.
Dans la réalisation principale de l'invention, deux capteurs de positions angulaires (respectivement 24 et 25) placés sur deux des quatre axes de roues (respectivement 7 et 30), permettent de déterminer, d'une part, la position du
35 chariot (2) par rapport à la table (10) et d'autre part la position du plateau (1) par rapport au chariot (2).
Chaque roue est équipée d'une bande de roulement en caoutchouc ou pneu permettant l'adhérence entre la table et le chariot d'une part, entre le chariot et le plateau d'autre part. Chaque moteur est équipé d'un limiteur de couple afin d'éviter la surchauffe.
Chaque moteur est éventuellement équipé (Figure 2) d'un réducteur réversible (22 et 23) de préférence à engrenages droits afin de limiter le couple de résistance de l'ensemble moteur et réducteur non alimenté. Tout type de réducteur réversible peut convenir. Cette ensemble réducteur moteur peut être remplacé par un motoréducteur standard.
Dans la première réalisation de l'invention (Figure 5, 6 et 7), les moteurs ( 32 et 31 ) sont équipés de réducteurs réversible à base d'engrenages droits correctement dimensionnés. Cependant, tous les types de réducteurs réversibles peuvent convenir. On peut aussi remplacer l'ensemble moteur plus réducteur par un motoréducteur standard pourvu que ces dimensions soient adaptées. Pour le premier moteur, le réducteur est composé d'un petit pignon sur l'axe (47) du moteur (31), d'un grand pignon intermédiaire accouplé fixement à un deuxième petit pignon (46), enfin un deuxième grand pignon (45) accouplé fixement avec l'axe (7) d'un essieu de roues. Pour le deuxième moteur, le réducteur est composé d'un petit pignon sur l'axe (54) du moteur (32), d'un grand pignon intermédiaire accouplé fixement à un deuxième petit pignon (55), enfin un deuxième grand pignon (56) accouplé fixement avec l'axe (30) d'un essieu de roues.
Les pignons sont dimensionnés et réglés de manière à permettre une réversibilité du système et transmettre la puissance nécessaire. Pour des raisons de coût, ils peuvent être en plastique moulé.
Le codeur de position angulaire (Figure 5) pour le premier axe de déplacement , axe X, est constitué par :
- une roue dentée (41) solidaire de l'axe du moteur c'est à dire avant réduction, - une double fourche optique infra rouge (42) dans laquelle passe la roue dentée.
Le codeur de position angulaire (Figure 5) pour le deuxième axe de déplacement, axe Y, est constitué par :
- une roue dentée (44) solidaire de l'axe du moteur c'est à dire avant réduction,
- une double fourche optique infra rouge (43) dans laquelle passe la roue dentée.
Ces fourches optiques comprennent un émetteur et en face deux récepteurs. - -
Elles permettent de déterminer : le sens du mouvement, la position par comptage, la période entre deux passages de dents pour calculer la vitesse de rotation instantanée.
La face intérieure du plateau doit permettre une bonne adhérence aux roues du chariot, à cet effet une feuille antidérapante peut-être collée sur le fond du plateau. La face extérieure du plateau doit permettre un touché agréable et un bon contact avec la main de l'utilisateur car c'est cette face qui transmet les forces entre le dispositif et la main de l'utilisateur. Le plateau peut être constitué d'une plaque de métal inoxydable, d'une plaque de plastique légèrement rugueuse ou de toute autre matière appropriée. Le plateau peut comprendre dans sa partie supérieure une forme adaptée à la morphologie de la main. Le plateau peut comprendre dans sa partie supérieure un logement destiner à permettre l'introduction de la pointe d'un stylet. Les différents types de plateaux possibles peuvent être interchangeables. Le dispositif est relié à l'ordinateur par l'intermédiaire d'une interface électronique qui peut être intégrée dans le chariot.
Pour utiliser ce dispositif, on pose la main, un doigt ou une partie quelconque du corps sur le plateau. La main peut ainsi donner un mouvement suivant deux dimensions au plateau qui se comporte alors à la manière d'une souris d'ordinateur.
Un logiciel adapté permet de rendre des sensations haptiques.
Dans une variante de la première réalisation (figure 9), le chariot comprend un ou deux rainurages (52) en T sur sa partie supérieure, auxquels correspondent un ou deux rails en T (51 ) dont est muni le plateau (1). Le ou les rails, dits de retenue verticale, glissent librement dans le rainurage de façon à ne pas gêner le contact entre les roues et le plateau. Ce dispositif empêche les déplacements verticaux trop important du plateau mais doit permettre de soulever légèrement le plateau pour pouvoir le déplacer sans faire tourner les roues.
D'autre part (figure 9), le chariot dispose d'un contacteur de sécurité (50) actif lorsque la main est posée correctement sur le plateau. Ce dispositif de sécurité permet d'inhiber le fonctionnement de l'interface tant qu'une main ou tout autre partie du corps n'est pas posée correctement sur le plateau. Les moteurs sont désactivés et la position n'est plus mise à jour par l'ordinateur dès que la main de l'utilisateur n'est plus placée correctement sur le plateau. Cela autorise l'utilisateur à remettre le plateau dans une position où la manipulation est plus confortable, tout comme l'utilisateur d'une souris d'ordinateur la soulève pour la replacer au centre du tapis de souris
Le plateau (figure 8) comprend des touches mécaniques (60 et 61 ) ou des zones sensibles dans le but d'autoriser des fonctions de cliquage similaire à celles d'une souris classique.
Dans une variante de la première réalisation (figure 10), la face supérieure du plateau peut être interchangeable par vissage (65 et 66), clipsage ou tout autre moyen de fixation. Les taraudages nécessaires au vissage sont réalisés dans des trous percés dans le rail (57) dit de retenue verticale, et ce, sans gêner " le mouvement de ce rail dans la rainure (58) correspondante du chariot. La face supérieure du plateau ( 1) peut comporter une forme (62) adaptée à la paume de la main (figure 11). La face supérieure du plateau ( 1 ) peut comporter une forme (63) adaptée à l'insertion d'un stylet (64) (figure 12). La face supérieure peut aussi comporter un écran plat éventuellement à surface
^ sensitive.
Dans une deuxième réalisation de l'invention (figure 14), afin de réduire l'épaisseur du dispositif de l'invention, chaque roue est couplée à un moteur à courant continu sans réducteur (66 à 73). Le diamètre des roues peut-être 0 réduit afin de profiter d'un couple maximum. La position du plateau de l'interface est déterminée par un système optique simple fixé sur le plateau (74). Un dispositif de sécurité permet, d'une part, de limiter l'étendu du déplacement du chariot et du plateau, d'autre part, d'inhiber le fonctionnement de l'interface tant qu'une main ou tout autre partie du corps n'est pas posée
25 correctement sur le plateau. Le dispositif de l'invention est mis au repos dès que la main de l'utilisateur n'est plus placée correctement sur le plateau. Cela autorise le déplacement du plateau sans modifier la position calculer par l'ordinateur.
30 Dans une variante des premières réalisations de l'invention, le plateau comporte, en plus, une partie supérieure sensitive permettant de connaître la position du doigt de l'utilisateur sur le plateau.
Dans une variante des premières réalisations de l'invention, le plateau comporte, en plus, une partie supérieure constituée par un écran plat
35 éventuellement à surface sensitive.
Dans toutes les réalisations du dispositif de l'invention, les mesures de position peuvent être réalisées au moyen d'une souris classique solidaire du plateau et dont la boule est en contact avec la surface de travail. Dans toutes les réalisations du dispositif de l'invention, les mesures de position peuvent être réalisées au moyen de deux lecteurs optiques (figure 13) placés sur le chariot. Le premier lecteur constitué d'un émetteur infrarouge (76) et d'un récepteur infrarouge (77) ayant le même centre optique, lit un motif dessiné sur le plateau. Le deuxième lecteur constitué d'un émetteur infrarouge (75) et d'un récepteur infrarouge (74) ayant le même centre optique, lit un autre motif placé sur la surface de travail. Dans toutes les réalisations du dispositif de l'invention, les mesures de position peuvent être réalisées au moyen d'un traqueur extérieur au dispositif. L'interface électronique peut être placée dans le chaπot (78) (figure 13).
Pour toutes les réalisations du dispositif de l'invention, la carte électronique de commande (Figure 3), est construite autour d'un microcontrôleur standard (301) c'est à dire d'un circuit intégré contenant un microprocesseur, de la mémoire vive et morte, des ports d'entrée sortie. La carte électronique peut être contenue dans un boîtier externe ou intégrée dans le chariot (2) ou le plateau (1) (figure 4). Autour de ce microcontrôleur, on trouve :
- une alimentation (302) pour l'électronique digitale, cinq Volts et une alimentation (303) pour les moteurs, l'énergie peut être fournie par un transformateur branché sur le secteur ou par une ou plusieurs batteries, - un circuit adaptateur bidirectionnel (304) pour l'interface série ou parallèle,
- un circuit de commande des moteurs à courant continus (305),
- deux codeurs optiques (312 et 313) ou des lecteurs optiques.
- un dispositif de liaison (310) avec l'ordinateur hôte (311), cable ou liaison sans fils infrarouge ou radio.
Les codeurs optiques angulaires (312 et 313) sont constitués d'une double fourche optique dans laquelle passe les dentures d'une roue dentée solidaire de l'axe des moteurs d'entraînement (306 et 307). D'autre entrées (314) sont disponibles pour : - un contacteur de sécurité (50) (figure9) ou une surface sensitive. - des touches ou des zones sensibles pour le cliquage. Elle peut comprendre aussi une interface série destinée à y raccorder une souris classique ou tout autre dispositif traqueur standard. Le logiciel du microcontrôleur assure : a) la réception des ordres de l'ordinateur hôte. b) l'émission de l'état de l'interface : erreurs, position, vitesse et accélération du plateau. Soit périodiquement comme une souris classique, soit en réponse à un ordre de l'ordinateur hôte. c) l'interprétation de l'information issue des codeurs optiques ou des lecteurs optiques afin d'en déduire la position, la vitesse puis l'accélération du 0 plateau et donc de la main de l'utilisateur. d) la commande des moteurs en sens et intensité. L'intensité et donc la puissance développé par le moteur, est déterminé au moyen d'un signal à rapport cyclique variable ou d'un convertisseur digital analogique. e) éventuellement, un algorithme de régulation afin de respecter des 15 consignes de position, vitesse accélération, trajectoire. Cette régulation est programmée sous la forme d'un régulateur Position Intégrale Dérivé ou d'une régulation prédictive.
Les ordres acceptés par l'interface sont :
- demande d'information sur l'état de l'interface. 0 - remise à zéro.
- annulation des ordres précédents.
- entrée de consignes de régulation : position, vitesse, accélération, trajectoire.
- commande directe des moteurs à courants continus. 5
Des fonctions haptiques peuvent être programmées dans le microcontrôleur
: simulation de murs, d'élasticité, de choc, de frottement, de glissement, d'attraction, d'accélération, de vibration.
Les fonctions de sécurité sont gérées par le microcontrôleur avec une
»π éventuelle procédure d'arrêt d'urgence. Outre la prise en compte de la présence de la main sur le plateau par le contacteur de sécurité :
- la durée d'activation des moteurs est limitée,
- l'espace de travail est limité,
- le chariot peut aussi être équipé de palpeur afin d'éviter une chute du „,. plan de travail.
Le dispositif de l'invention peut être utilisé en relation avec un ordinateur hôte équipé d'un système d'exploitation graphique. Un logiciel d'adaptation permet d'utiliser le dispositif à partir de progiciels standards ou de jeux existants. Le dispositif de l'invention peut être utilisé à partir de logiciels spécialement conçus à cette effet. Le dispositif de l'invention peut être utilisé à partir d'une console de jeux vidéo.
Le dispositif de l'invention peut intégré un microordinateur graphique à la manière d'une console de jeu autonome.
Le dispositif de l'invention permet de simuler des sensations haptiques telles que :
- sensations de rencontre d'un obstacle dur, mou, élastique,
- sensations de glissade, de déplacement sur un tapis roulant, - sensations de chocs, d'accélération, de freinage,
- sensations de vibrations, de tremblements. Cette liste est non exhaustive.

Claims

Revendications
1) Dispositif d'interface entre un ordinateur et un utilisateur permettant d'entrer des coordonnées sur une surface de travail et de procurer un retour de force. ledit dispositif d'interface comprenant : a) un plateau mobile rigide manipulé par l'utilisateur soit par une main, un doigt ou tout autre partie du corps, b) un chariot caractérisé en ce qu'il comporte : i) une ou plusieurs roues assurant le roulement dudit plateau sur ledit chariot, au moins une roue étant solidaire de l'axe d'un moteur commandé par ledit ordinateur. ii) une ou plusieurs roues assurant le roulement dudit chariot sur ladite surface de travail, au moins une roue étant solidaire de l'axe d'un moteur commandé par ledit ordinateur, c) un détecteur permettant d'indiquer à l'ordinateur la position ou les caractéristiques du mouvement dudit plateau par rapport à ladite surface de travail.
2) Dispositif selon la revendication 1 caractérisé en ce que : a) lesdites roues de liaison entre le plateau et le chariot sont disposées de telles façons que le mouvement de translation du plateau par rapport au chariot soit rectiligne. b) lesdites roues de liaison entre le chariot et la surface de travail sont disposées de telles façons que le mouvement de translation du chariot par rapport à la surface de travail soit rectiligne. 3) Dispositif selon la revendication 2 caractérisé en ce que : a) au moins une des roues de liaison entre ledit plateau et ledit chariot est solidaire d'un axe comportant un capteur de mouvement angulaire, b) au moins une des roues de liaison entre ledit chariot et ladite surface de travail est solidaire d'un axe comportant un capteur de mouvement angulaire.
4) Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce qu'il comporte : a) un dispositif limitant les mouvements verticaux dudit plateau par rapport audit chariot, b) un dispositif de sécurité actif lorsque la main ou tout autre partie du corps n'est pas posée correctement sur le plateau.
5) Dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que ledit plateau mobile comprend une forme apte à être saisie par la main de l'utilisateur.
6) un dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que ledit plateau mobile comporte une ou plusieurs zones de cliquage comprenant soit des touches mécaniques, soit des surfaces sensitives. 7) un dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que ledit plateau comprend une face supérieur sensitive. 8) un dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que ledit plateau comprend une forme adaptée à l'insertion de la pointe d'un stylet. 9) un dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que ledit plateau comprend un écran de visualisation plat. 10) un dispositif selon l'une quelconque des revendications précédentes caractérisé en ce que ledit plateau comprend une face supérieure amovible.
PCT/FR2000/003444 1999-12-07 2000-12-07 Interface a retour d'effort a deux dimensions WO2001043062A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR9915377A FR2801988A1 (fr) 1999-12-07 1999-12-07 Dispositifd'interface entre une machine et un operateur permettant d'entrer la position ou les mouvements et de procurer un retour de force
FR99/15377 1999-12-07

Publications (1)

Publication Number Publication Date
WO2001043062A1 true WO2001043062A1 (fr) 2001-06-14

Family

ID=9552944

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2000/003444 WO2001043062A1 (fr) 1999-12-07 2000-12-07 Interface a retour d'effort a deux dimensions

Country Status (2)

Country Link
FR (1) FR2801988A1 (fr)
WO (1) WO2001043062A1 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2399618A (en) * 2003-03-06 2004-09-22 Stewart David Albon Combined computer mouse and remote controlled model vehicle

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1406207B1 (it) * 2011-02-21 2014-02-14 Humanware S R L Dispositivo robotico aptico planare su ruote omnidirezionali

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5552808A (en) * 1995-03-09 1996-09-03 Hsu; Caven Point-and-draw device coordinatively driven by two gear systems
EP0782093A1 (fr) * 1995-12-28 1997-07-02 THOMSON multimedia S.A. Dispositif d'entrée de données
US5704037A (en) * 1996-03-20 1997-12-30 Chen; Mei Yun Cursor positioning device for computer system
US5721566A (en) * 1995-01-18 1998-02-24 Immersion Human Interface Corp. Method and apparatus for providing damping force feedback
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889670A (en) * 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5721566A (en) * 1995-01-18 1998-02-24 Immersion Human Interface Corp. Method and apparatus for providing damping force feedback
US5552808A (en) * 1995-03-09 1996-09-03 Hsu; Caven Point-and-draw device coordinatively driven by two gear systems
EP0782093A1 (fr) * 1995-12-28 1997-07-02 THOMSON multimedia S.A. Dispositif d'entrée de données
US5704037A (en) * 1996-03-20 1997-12-30 Chen; Mei Yun Cursor positioning device for computer system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2399618A (en) * 2003-03-06 2004-09-22 Stewart David Albon Combined computer mouse and remote controlled model vehicle

Also Published As

Publication number Publication date
FR2801988A1 (fr) 2001-06-08

Similar Documents

Publication Publication Date Title
Choi et al. Claw: A multifunctional handheld haptic controller for grasping, touching, and triggering in virtual reality
US9874944B2 (en) System, method and device for foot-operated motion and movement control in virtual reality and simulated environments
JPH09503603A (ja) フォース感応触覚インターフェース
EP2452329B1 (fr) Simulateur de parcours en fauteuil roulant
JP2020163145A (ja) 振動防止器具、及びその振動防止装置、並びに補助把持装置
Otaran et al. Haptic ankle platform for interactive walking in virtual reality
US20100253627A1 (en) Motorized Mouse
Jie et al. An interactive upper limb rehab device for elderly stroke patients
Spiers et al. First validation of the haptic sandwich: A shape changing handheld haptic navigation aid
Stoffregen et al. Exploratory movement and affordances in design
US20210380189A1 (en) Rotating Platform With Navigation Controller For Use With Or Without A Chair
ITRM20130553A1 (it) Dispositivo di controllo remoto del movimento.
Gonzalez-Franco et al. Taxonomy of hand-object haptics for virtual reality
WO2001043062A1 (fr) Interface a retour d'effort a deux dimensions
CN200990072Y (zh) 立式手握鼠标
US20120299829A1 (en) Computer Input Device
US10580318B2 (en) System and method for bimanual training
Hsu et al. Seat adjustment design of an intelligent robotic wheelchair based on the Stewart platform
CN108562272B (zh) 一种儿童坐姿模拟交互装置及方法
KR102024759B1 (ko) 모바일기기를 이용한 휠체어 조작 세부 기술 훈련 방법
Romero et al. Incremental and radical innovation: design in robotics for autism. Teo and Riby robots. Evolutionary development
GB2580888A (en) Wheelchair simulator
KR101366345B1 (ko) 자동 그립각 조절 기능을 갖는 컴퓨터용 마우스
CN207575755U (zh) 虚拟现实手柄
RU168961U1 (ru) Тренажер-вертикальная компьютерная мышь для занятий по восстановлению двигательных функций рук у больных неврологической клиники

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN JP US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP