WO2004107241A2 - Simulation en temps réel d'actions effectuées sur un objet virtuel par un outil virtuel téléopéré par des dispositifs à retour d'effort corrélés - Google Patents

Simulation en temps réel d'actions effectuées sur un objet virtuel par un outil virtuel téléopéré par des dispositifs à retour d'effort corrélés Download PDF

Info

Publication number
WO2004107241A2
WO2004107241A2 PCT/FR2004/001193 FR2004001193W WO2004107241A2 WO 2004107241 A2 WO2004107241 A2 WO 2004107241A2 FR 2004001193 W FR2004001193 W FR 2004001193W WO 2004107241 A2 WO2004107241 A2 WO 2004107241A2
Authority
WO
WIPO (PCT)
Prior art keywords
force feedback
dre
simulation
feedback device
virtual tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/FR2004/001193
Other languages
English (en)
Other versions
WO2004107241A3 (fr
Inventor
Eve Coste-Maniere
Stevan Donal
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut National de Recherche en Informatique et en Automatique INRIA
Original Assignee
Institut National de Recherche en Informatique et en Automatique INRIA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut National de Recherche en Informatique et en Automatique INRIA filed Critical Institut National de Recherche en Informatique et en Automatique INRIA
Publication of WO2004107241A2 publication Critical patent/WO2004107241A2/fr
Publication of WO2004107241A3 publication Critical patent/WO2004107241A3/fr
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders

Definitions

  • the invention relates to the field of simulation, and more particularly the real-time simulation of interactions between a virtual object and a virtual tool (or instrument).
  • Simulation is a particularly useful technique during the preparation phase of an intervention (or operation), in particular when the intervention conditions are difficult and / or when the actual interventions are rare and / or dangerous and / or require several participants. , possibly distant from each other. This is particularly the case in the field of surgery where learning surgical procedures is of considerable importance due to the risks run by patients. However, this is also the case in other fields such as functional rehabilitation or underwater robotics.
  • installations comprising, on the one hand, a server provided with the volume model (3D), and sometimes dynamic and behavioral, with at least one virtual object and with the volume and behavioral model d '' at least one virtual intervention tool (or instrument) with multiple degrees of freedom, and on the other hand, one or more stations coupled to the server and equipped with a force feedback device making it possible to remotely control all or part of the virtual intervention tool (s).
  • Each station includes a display, reconstructing the scene, supplied in real time by the server, with image data defining sequences of virtual images of the virtual object (s) and of the virtual tool (s) teleoperated by the device (s)) force feedback.
  • This type of installation therefore allows distant people to act simultaneously on the same intervention tool and therefore to coordinate their actions.
  • this type of installation can also be used in the field of training (or apprenticeship).
  • the teacher can observe in real time, on his display, the result of the actions taken by his (his) students using his (their) force feedback device, and provide him (them) advice and / or send him (their) instructions or information, via a man / machine interface.
  • the installation can also allow students to view the results of actions taken by the teacher using their feedback device on their displays.
  • a teacher cannot force the force feedback device piloted by one of his students to physically reproduce, in real time, the actions he undertakes with his own force feedback device.
  • a student's gestures cannot be physically corrected, which is a real drawback.
  • the invention therefore aims to remedy this drawback.
  • This device is characterized by the fact that it includes processing means loaded, when they receive primary data representative of the states of a virtual tool on which two force feedback devices act (for example those of a master and a student), to determine secondary data representative of a vector (or torsor) force function of a difference between the primary data received, and to transmit the secondary data determined to at least one of the simulation stations (for example that of the student) so that it adapts the force applied to its force feedback device as a function of the secondary data transmitted.
  • processing means loaded, when they receive primary data representative of the states of a virtual tool on which two force feedback devices act (for example those of a master and a student), to determine secondary data representative of a vector (or torsor) force function of a difference between the primary data received, and to transmit the secondary data determined to at least one of the simulation stations (for example that of the student) so that it adapts the force applied to its force feedback device as a function of the secondary data transmitted.
  • the primary data are advantageously transmitted by the simulation stations which determine them using sensor (s). Furthermore, each state is preferably representative of the position and of the orientation of the corresponding force feedback device. In addition, certain primary data may also be representative of additional information relating to the virtual remote-controlled tool, such as for example the articular coordinates of an articulated arm or the degree of opening of a clamp.
  • a priority level can for example define an action authorization on an adjustment parameter and / or an action authorization on another force feedback device and / or an authorization to modify the force applied to another. force feedback device.
  • the simulation device according to the invention may include other characteristics which can be taken separately or in combination, and in particular:
  • processing means capable of defining sessions each associating a simulation station of the "master” type and at least one simulation station of the "student" type
  • processing means capable of associating a master simulation station with at least two sessions
  • processing means arranged so as to transmit the secondary data representative of the force vectors (or torsors) only to student simulation stations, so that the teacher can correct and / or guide the gestures of his students,
  • processing means capable of storing in a memory the operating parameters which define the successive states of the virtual tool due to the actions carried out using force feedback devices whose simulation stations are associated in a same session and involved in the same intervention sequence.
  • the processing means are preferably responsible for transmitting to master and student simulation stations, which are associated in the same session (and which request it), the operating parameters of a stored sequence, so that they can replay this sequence simultaneously on their respective displays.
  • the processing means can be arranged, when one of the two force feedback devices is the subject of an intervention during the viewing of an old sequence, so as to interrupt the transmission of the operating parameters. of this old sequence, then to determine and transmit the secondary data corresponding to the intervention, while proceeding to the recording of the operating parameters representative of the new states of the force feedback devices concerned,
  • processing means that can place, on order, the simulation stations in different operating modes, and in particular:
  • sending in which its force feedback device is authorized to remote operate the tool and its operating parameters are transmitted to the other force feedback devices of its session so that they apply them
  • the invention further relates to a simulation station intended to be part of an installation for real-time simulation of actions carried out on at least one virtual object by at least one virtual tool.
  • This simulation station includes a force feedback device making it possible to remotely control the operation of at least part of the virtual tool as a function of its state, and provided with at least one sensor, delivering data representative of the state of this device, from which primary data representative of the state of the virtual tool on which at least the force feedback device acts, and of control means supplied with primary data and data are determined secondary by a simulation device of the type presented above, and responsible for adapting the force applied to the force feedback device as a function of the primary and secondary data received.
  • the invention also relates to an installation dedicated to the real-time simulation of actions performed on at least one virtual object by at least one virtual tool teleoperated by at least two simulation stations of the type presented above, and comprising a server equipped with a simulation device of the type presented above.
  • Such an installation can for example define an open agent architecture (or OAA for "Open Agent Architecture").
  • the invention also relates to a method dedicated to the real-time simulation of actions performed on at least one virtual object by at least one virtual tool teleoperated by at least two simulation stations of the type presented above.
  • This method consists in determining primary data representative of the states of a virtual tool on which two force feedback devices act, then in determining secondary data representative of a force vector (or torsor) as a function of a difference between the primary data, and to transmit the determined secondary data to at least one of the simulation stations so that it adapts the force applied to its force feedback device as a function of these secondary data.
  • the method according to the invention may include other characteristics which can be taken separately or in combination, and in particular:
  • sessions can be defined, each associating a master simulation station and at least one student simulation station, several sessions that can be managed in parallel, and a master simulation station that can be associated with at least two sessions,
  • the operating parameters of a stored sequence can be transmitted to master and student simulation stations, associated in the same session, so that they simultaneously rebroadcast the sequence on their respective displays.
  • a force feedback device is the subject of an intervention during the replay of an old sequence, it is possible to interrupt the transmission of the operating parameters of this old sequence, then determine and transmit secondary data. corresponding to the intervention, while recording the operating parameters representative of the new states of the force feedback devices concerned,
  • FIG. 1 schematically illustrates an embodiment of an installation according to invention, in a network
  • FIG. 2 schematically illustrates a simulation station on the screen of which the arm of a virtual intervention robot and a virtual organ are materialized.
  • the invention relates to real-time simulation of actions performed on at least one virtual object by at least one virtual tool (or instrument) within a simulation installation.
  • virtual tool or instrument
  • other types of virtual tool (or instrument) can be envisaged, such as, for example, a non-robotic laparoscopic instrument.
  • the simulation installation according to the invention is suitable for learning action sequences making it possible to intervene on a virtual object H, of the deformable organ type. , using a virtual robot R controlled by a force feedback device DRE.
  • the installation is arranged in the form of a network N comprising a server S to which several simulation stations SS are connected (here three)
  • the installation defines for example an open agent architecture ( or OAA for
  • the server S is equipped with a DS simulation device according to the invention, to which we will return later.
  • Each simulation station S S is coupled to a man / machine interface and to a force feedback device DRE comprising at least one control lever 1 (here of the type
  • the man / machine interface can take any form. It can be a keyboard control and / or one or more control keys 4 (sensitive type, or push button, or “mouse”, including a 3D mouse (or "space mouse”)). Graphic tablets, for example of the WACOM type, and / or electronic control pens, and / or means making it possible to address voice commands can also be used.
  • the simulation station SS has been dissociated from the force feedback device DRE, but, they can be integrated into a console opposite which is installed a chair 5 on which a user can be installed.
  • any type of force feedback device can be envisaged, and in particular a pantascope, an immersion type device (or “Impulse engine”), a PHANToM type arm manufactured by the company Sensable Technologies (described for example at the address internet "http://www.sensable.com/products/phantom_ghost/phantom.asp"), a DELTA type arm manufactured by the company Force Dimension (described for example at the internet address "http: //www.forcedimension .com / products / index.html "), or an Freedom 6S type arm manufactured by the company MPB Technologies (described for example at the internet address” http://www.mpb-teclmologies.ca/space/freedom6_ ⁇ 2000 / fés / freedom6s.html "), or a virtual laparoscopy interface with force feedback of PHANToM type manufactured by the company Immersion (described for example at the internet address” http: //www.immersion -
  • the force feedback device is a haptic system.
  • Each force feedback device DRE is equipped with at least one sensor C1 capable of determining at all times its position vector (which defines its position and its orientation). More precisely, each sensor C1 delivers primary data representative of the position vector of the force feedback device DRE with respect to the reference frame of the virtual tool R. These primary data define the state of the virtual tool R on which acts the DRE force feedback device. They can be supplemented by additional (or auxiliary) information relating to the virtual remote-controlled tool R, such as for example the articular coordinates of an articulated arm or the degree of opening of a clamp.
  • Each simulation station SS also includes a screen SC making it possible to display sequences of virtual images (or of synthesis) of the intervention zone, and in particular of the virtual organ H, object of the intervention, and of the arms 2 and 3 of the virtual robot R.
  • the SC screen can also be used to display information relating, for example, to the intervention.
  • each SS simulation station is equipped with an MC control module coupled to the DRE force feedback device.
  • This control module MC receives from the sensor C1 the primary data representative of the position vector (or state) of the associated force feedback device DRE, and consequently of the state of the virtual tool R. It also receives the commands and piloting instructions provided by the user, for example using the keyboard and the keys 4. As will be seen below, he can send commands intended to adapt the force applied to the associated force feedback device DRE .
  • the virtual image sequences displayed on the screens SC are transmitted to the various simulation stations SS by the server S. More specifically, these virtual images are constructed from digital image data delivered by the simulation device DS, according to the 'invention.
  • image data are developed from the volume model (3D), and possibly from the dynamic and / or behavioral model, from the virtual organ, and from the volume and behavior model of the virtual robot R with multiple degrees of freedom, as well as primary data, auxiliary data and control commands and instructions which are transmitted to it, via the network N, by the various control modules MC.
  • the models are preferably stored in a memory MEM of the simulation device DS. Any type of model can be considered, whether static or dynamic, and any type of image processing can be envisaged, whether or not it incorporates deformation, or cutting, or texture, l 'virtual organ.
  • the DS simulation device is conventionally capable of delivering the sequences to each SS simulation station.
  • virtual (or synthetic) images which correspond to the interaction between an instance (or copy) of the virtual object H and an instance (or copy) of the virtual robot R controlled by the associated force feedback device DRE at said SS simulation station.
  • each user can observe on the screen SC of his own simulation station SS the state of the virtual robot R which corresponds to the state of his own force feedback device DRE.
  • the simulation device DS comprises a processing module MT responsible, first of all, for establishing sessions, independent of each other, and each grouping together at least two simulation stations SS.
  • a session corresponds to a "state" common to several clients (or users).
  • the link between a client and a session is established by the S server and can be modified at any time.
  • the different customers share several parameters, and in particular the scene, which is the virtual representation of the observation area, the common virtual object, which is the subject of the intervention, any obstacles and the virtual robot R.
  • Certain parameters can however be modified by each customer, such as for example the position / orientation of the virtual tools placed at the ends of arms 2 and 3 of the robot R.
  • Each customer is associated with a priority level which defines the parameters that it is authorized to modify and therefore what his simulation station SS is authorized to do.
  • a priority level defines the action authorization on an installation adjustment parameter, and / or the action authorization on the force feedback device DRE of another simulation station SS , and / or the authorization to modify the force applied to a force feedback device DRE from another simulation station SS.
  • a priority level therefore defines a mode of operation governing the relationship of the client concerned with clients who belong to the same session and who control the same virtual robot R.
  • a session in the case of learning, includes an SS-M simulation station piloted by a teacher (or teacher) and at least one SS-E simulation station piloted by a student E, and the priority levels associates define a mode of operation in which the master shows a sequence of operating gestures, the student tries to reproduce the sequence and the master corrects the student's sequence.
  • the processing module MT is also responsible for calculating a difference between the primary data representative of the states of the virtual tool R driven by a force feedback device and the primary data representative of the states of this same virtual tool R driven by another force feedback device. More specifically, the state of the tool is characterized with respect to the successive positions and orientations of each force feedback device DRE. Consequently, the difference is preferably the vector difference between the position vectors (or position / orientation defined by the primary data received) of pairs of force feedback devices DRE which act on the same virtual tool R.
  • the module of MT processing is also responsible for calculating secondary data representative of a force vector as a function of the calculated vector difference. For example, a couple is made up of a DRE-E1 or DRE-E2 force feedback device controlled by a student El or E2 and a DRE-M force feedback device controlled by a M teacher (or teacher).
  • each DRE force feedback device both in terms of position / orientation and in terms of the intensity of the force feedback that it exerts, is entirely defined by a so-called matrix. of transformation, known to the processing module MT and whose values are constituted in particular by the primary data supplied by the associated control module MC. Consequently, the secondary data actually represent what a person skilled in the art calls a force torsor representative of the difference between the transformation matrices of two force feedback devices.
  • the secondary data which represent this force torsor (or vector), are transmitted to at least one of the SS simulation stations (for example that of the pupil's SS-E) so that it adapts the force applied to their device DRE-E force feedback as a function of said secondary data.
  • the force variation depends on the position deviations (and if necessary orientation) of the virtual robot R teleoperated by the two force feedback devices DRE.
  • any difference in positioning / orientation of the virtual robot R teleoperated by one of the two force feedback devices DRE of the master M and of the student E can be detected and estimated by the processing module MT, then corrected at the level of the DRE-E force feedback device of pupil E after a transposition in the form of a force vector.
  • the master M can make his pupil E feel what he is doing using his force feedback device DRE and which is defined at all times by his state.
  • the student can not only be corrected, but also guided in his gestures.
  • the secondary data (representing the force vector) are transmitted, via the network N, to the control module MC of the student simulation server SM-E, which converts them into a force variation command which it addresses to its force feedback device DRE-E so that it adapts the force it applies.
  • the student acts on the force feedback device DRE-M of the master M, by means of the processing module MT, in particular so that said master physically feels via his feedback device d effort what his student feels.
  • the processing module MT of the simulation device DS can define several operating modes between clients belonging to the same session.
  • the force feedback device DRE In a so-called “independent” mode, the force feedback device DRE is authorized to remote-operate the virtual robot R independently of the actions exerted by the other force feedback devices of its session. In a so-called “send” mode, the force feedback device DRE is authorized to teleoperate the virtual robot R, and its operating parameters are transmitted to the other force feedback devices DRE of its session so that they apply them. In a so-called “listening” mode, the force feedback device DRE applies the operating parameters it receives without being able to remote-operate the virtual robot R independently.
  • the force feedback device DRE is authorized to remote-operate the virtual robot R, taking into account the adaptation commands which are transmitted to it by its control module MC and which have been developed from secondary data sent by the processing module MT.
  • the force feedback device DRE is prohibited from teleoperating the virtual robot R but is authorized to transmit its primary data (at least) and to force another force feedback device DRE, to its session, to remote-operate the virtual robot R taking into account the secondary data transmitted by the processing module MT and developed from the primary data transmitted and its own primary data.
  • the MT processing module is arranged so as to make available to the simulation stations SS of the same session a function for replaying an intervention sequence.
  • the processing module MT stores in a memory, for example that (MEM) containing the models, the operating parameters which define the successive states taken by the virtual robot R due to the actions carried out using the devices DRE force feedback from different SS simulation stations associated in the same session and involved in the same intervention sequence.
  • MEM memory, for example that
  • the speed of the replay is preferably adjustable.
  • the MT processing module can also be configured so as to allow the SS simulation stations to intervene at any time during a replay phase of an intervention sequence in order to continue the sequence using their device.
  • DRE force feedback This allows a student or a teacher to restart (or continue) part of a sequence, at the time of their choice, with their own DRE force feedback device.
  • the processing module MT when it receives a replay interruption order from a simulation station SM (authorized), it extracts from the memory MEM the operating parameters which define the state of the virtual robot R at l moment of the interruption. Then, it transmits these operating parameters at least to the MC control of the SS simulation station which requested the interruption (it can also transmit them to the other simulation stations of the session), so that it determines the positioning / orientation commands and / or the return commands of effort that match them. These commands are then transmitted to the associated DRE force feedback device so that it places itself in the corresponding state. Its user (E or M) can then actuate its control lever 1 and send commands and instructions to the processing module MT, with its control keys 4 and / or its keyboard and / or its voice synthesis means.
  • E or M can then actuate its control lever 1 and send commands and instructions to the processing module MT, with its control keys 4 and / or its keyboard and / or its voice synthesis means.
  • the operating parameters which define the new successive states of the virtual robot R are also recorded, with a view to possible replay.
  • the session continues with a new sequence in which the simulation stations S S can intervene at any time according to their respective priority levels (which have possibly been modified).
  • the simulation device DS and in particular its processing module MT, and the control module MC, equipping the simulation stations SS, can be produced in the form of electronic circuits, software (or computer) modules, or a combination of software modules and electronic circuits.
  • the invention also relates to a method dedicated to the real-time simulation of actions performed on at least one virtual object H by at least one virtual tool R teleoperated by at least two simulation stations SS each comprising a force feedback device DRE.
  • the main and optional functions and sub-functions provided by the steps of this process being substantially identical to those provided by the various means constituting the installation, only the steps implementing the main functions of the process according to the following will be summarized below: invention.
  • This method is characterized by the fact that it consists in determining primary data representative of the states of a virtual tool on which two force feedback devices act, then in determining secondary data representative of a vector (or torsor) force as a function of a difference between the primary data, and to transmit the determined secondary data to at least one of the simulation stations so that it adapts the force applied to its force feedback device as a function of these data secondary.
  • a simulation installation has been described in the form of a network supervised by a simulation server.
  • a reduced simulation installation in which the simulation server and one of the simulation stations are combined into a single system.

Landscapes

  • Medical Informatics (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Manipulator (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

Un dispositif (DS) est dédié à la simulation en temps réel d'actions effectuées sur un objet virtuel par un outil virtuel téléopéré par au moins deux stations de simulation (SS-E, SS-M) comprenant chacune un dispositif à retour d'effort (DRE-E, DRE-M). Ce dispositif (DS) comprend des moyens de traitement (MT) chargés, lorsqu'ils reçoivent des données primaires représentatives des états d'un outil virtuel (R) sur lequel agissent deux dispositifs à retour d'effort (DRE-E, DRE-M), de déterminer des données secondaires représentatives d'un vecteur (ou torseur) force fonction d'un écart entre les données primaires reçues, et de transmettre les données secondaires déterminées à l'une au moins des stations de simulation (SS-E, SS-M) de sorte qu'elle adapte la force appliquée à son dispositif à retour d'effort (DRE-E, DRE-M) en fonction des données secondaires transmises.

Description

SIMULATION EN TEMPS REEL D'ACTIONS EFFECTUEES SUR UN OBJET VIRTUEL PAR UN OUTIL VIRTUEL TÉLÉOPÉRÉ PAR DES DISPOSITIFS À RETOUR D'EFFORT CORRÉLÉS
L'invention concerne le domaine de la simulation, et plus particulièrement la simulation en temps réel d'interactions entre un objet virtuel et un outil (ou instrument) virtuel.
La simulation est une technique particulièrement utile pendant la phase de préparation d'une intervention (ou opération), en particulier lorsque les conditions d'intervention sont difficiles et/ou lorsque les interventions réelles sont rares et/ou dangereuses et/ou nécessitent plusieurs intervenants, éventuellement distants les uns des autres. C'est notamment le cas dans le domaine de la chirurgie où l'apprentissage des gestes opératoires revêt une importance considérable du fait des risques encourus par les patients. Mais, c'est également le cas dans d'autres domaines tels que la rééducation fonctionnelle ou la robotique sous-marine.
Afin de permettre de telles simulations, il a été proposé des installations comportant, d'une part, un serveur muni du modèle volumique (3D), et parfois dynamique et comportemental, d'au moins un objet virtuel et du modèle volumique et comportemental d'au moins un outil (ou instrument) virtuel d'intervention à degrés de liberté multiples, et d'autre part, une ou plusieurs stations couplées au serveur et équipées d'un dispositif à retour d'effort permettant de piloter à distance tout ou partie du ou des outils d'intervention virtuels. Chaque station comporte un afficheur, reconstruisant la scène, alimenté en temps réel, par le serveur, en données d'image définissant des séquences d'images virtuelles du ou des objets virtuels et du ou des outils virtuels téléopérés par le(s) dispositifs) à retour d'effort.
Ce type d'installation permet donc à des personnes distantes d'agir simultanément sur un même outil d'intervention et par conséquent de coordonner leurs actions. Mais, ce type d'installation peut également servir dans le domaine de la formation (ou l'apprentissage). Dans ce cas, l'enseignant peut observer en temps réel, sur son afficheur, le résultat des actions entreprises par son (ses) élèves à l'aide de son (leur) dispositif à retour d'effort, et lui (leur) dispenser des conseils et/ou lui (leur) adresser des instructions ou des informations, via une interface homme/machine.
L'installation peut également permettre aux élèves de visualiser sur leurs afficheurs le résultat des actions entreprises par l'enseignant à l'aide de son dispositif à retour d'effort. Mais, un enseignant ne peut pas contraindre le dispositif à retour d'effort piloté par l'un de ses élèves à reproduire physiquement, en temps réel, les actions qu'il entreprend avec son propre dispositif à retour d'effort. En d'autres termes, la gestuelle d'un élève ne peut pas être physiquement corrigée, ce qui constitue un réel inconvénient.
L'invention a donc pour but de remédier à cet inconvénient.
Elle propose à cet effet un dispositif dédié à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel téléopéré par au moins deux stations de simulation comprenant chacune un dispositif à retour d'effort.
Ce dispositif se caractérise par le fait qu'il comprend des moyens de traitement chargés, lorsqu'ils reçoivent des données primaires représentatives des états d'un outil virtuel sur lequel agissent deux dispositifs à retour d'effort (par exemple ceux d'un maître et d'un élève), de déterminer des données secondaires représentatives d'un vecteur (ou torseur) force fonction d'un écart entre les données primaires reçues, et de transmettre les données secondaires déterminées à l'une au moins des stations de simulation (par exemple celle de l'élève) de sorte qu'elle adapte la force appliquée à son dispositif à retour d'effort en fonction des données secondaires transmises.
Les données primaires sont avantageusement transmises par les stations de simulation qui les déterminent à l'aide de capteur(s). Par ailleurs, chaque état est préférentiellement représentatif de la position et de l' orientation du dispositif à retour d'effort correspondant. En outre, certaines données primaires peuvent être également représentatives d'informations complémentaires relatives à l'outil virtuel téléopéré, comme par exemple des coordonnées articulaires d'un bras articulé ou le degré d'ouverture d'une pince.
Préférentiellement, ce qui différencie une station de simulation élève d'une station de simulation maître c'est le niveau de priorité auquel elle est associée. Un tel niveau de priorité peut par exemple définir une autorisation d' action sur un paramètre de réglage et/ou une autorisation d' action sur un autre dispositif à retour d' effort et/ou une autorisation de modification de la force appliquée à un autre dispositif à retour d'effort.
Le dispositif de simulation selon l'invention peut comporter d'autres caractéristiques qui pourront être prises séparément ou en combinaison, et notamment:
* des moyens de traitement capables de définir des sessions associant chacune une station de simulation de type " maître" et au moins une station de simulation de type "élève",
* des moyens de traitement capables de gérer en parallèle plusieurs sessions,
* des moyens de traitement capables d'associer une station de simulation maître à au moins deux sessions,
* des moyens de traitement agencés de manière à ne transmettre les données secondaires représentatives des vecteurs (ou torseurs) force qu'aux stations de simulation élève, de sorte que le maître puisse corriger et/ou guider la gestuelle de ses élèves,
* des moyens de traitement capables de stocker dans une mémoire les paramètres de fonctionnement qui définissent les états successifs de l'outil virtuel du fait des actions effectuées à l'aide des dispositifs à retour d'effort dont les stations de simulation sont associées dans une même session et impliquées dans une même séquence d'intervention. Dans ce cas, les moyens de traitement sont préférentiellement chargés de transmettre à des stations de simulation maître et élève, qui sont associées dans une même session (et qui en font la demande), les paramètres de fonctionnement d'une séquence stockée, afin qu'elles puissent rediffuser simultanément cette séquence sur leurs afficheurs respectifs. Par ailleurs, les moyens de traitement peuvent être agencés, lorsque l'un des deux dispositifs à retour d'effort fait l'objet d'une intervention pendant la visualisation d'une ancienne séquence, de manière à interrompre la transmission des paramètres de fonctionnement de cette ancienne séquence, puis à déterminer et transmettre les données secondaires correspondant à l'intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort concernés,
* des moyens de traitement pouvant placer, sur ordre, les stations de simulation dans différents modes de fonctionnement, et notamment:
- un mode dit "indépendant" dans lequel son dispositif à retour d'effort peut téléopérer l'outil indépendamment des actions exercées par les autres dispositifs à retour d'effort de sa session,
- un mode dit "d'envoi" dans lequel son dispositif à retour d'effort est autorisé à téléopérer l'outil et ses paramètres de fonctionnement sont transmis aux autres dispositifs à retour d'effort de sa session afin qu'ils les appliquent,
- un mode dit "d'écoute" dans lequel son dispositif à retour d'effort applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer indépendamment l'outil,
- un mode dit "guidé" dans lequel son dispositif à retour d'effort peut téléopérer l'outil en tenant compte des données secondaires qu'il reçoit, et
- un mode dit "guide" dans lequel son dispositif à retour d'effort ne peut pas téléopérer l'outil mais transmet ses données primaires et contraint un autre dispositif à retour d'effort, de sa session, à téléopérer l'outil compte tenu de données secondaires élaborées à partir des données primaires transmises et de ses propres données primaires.
L'invention concerne en outre une station de simulation destinée à faire partie d'une installation de simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel. Cette station de simulation comprend un dispositif à retour d'effort permettant de contrôler à distance le fonctionnement d'une partie au moins de l'outil virtuel en fonction de son état, et muni d'au moins un capteur, délivrant des données représentatives de l'état de ce dispositif, à partir desquelles sont déterminées des données primaires représentatives de l'état de l'outil virtuel sur lequel agit au moins le dispositif à retour d'effort, et de moyens de contrôle alimentés en données primaires et en données secondaires par un dispositif de simulation du type de celui présenté ci-avant, et chargés d'adapter la force appliquée au dispositif à retour d'effort en fonction des données primaires et secondaires reçues.
L'invention concerne également une installation dédiée à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel téléopéré par au moins deux stations de simulation du type de celle présentée ci-avant, et comprenant un serveur équipé d'un dispositif de simulation du type de celui présenté ci-avant. Une telle installation peut par exemple définir une architecture d' agent ouverte (ou OAA pour "Open Agent Architecture") .
L'invention concerne également un procédé dédié à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil virtuel téléopéré par au moins deux stations de simulation du type de celle présentée ci-avant.
Ce procédé consiste à déterminer des données primaires représentatives des états d'un outil virtuel sur lequel agissent deux dispositifs à retour d'effort, puis à déterminer des données secondaires représentatives d'un vecteur (ou torseur) force fonction d'un écart entre les données primaires, et à transmettre les données secondaires déterminées à l'une au moins des stations de simulation de sorte qu' elle adapte la force appliquée à son dispositif à retour d'effort en fonction de ces données secondaires.
Le procédé selon l'invention peut comporter d'autres caractéristiques qui pourront être prises séparément ou en combinaison, et notamment:
* des données primaires préférentiellement déterminées au niveau des stations de simulation, * des états représentatifs au moins de la position et de l'orientation du dispositif à retour d'effort correspondant,
*des données primaires représentatives d'informations complémentaires relatives à l'outil virtuel,
* on peut définir des sessions associant chacune une station de simulation maître et au moins une station de simulation élève, plusieurs sessions pouvant être gérées en parallèle, et une station de simulation maître pouvant être associée à au moins deux sessions,
* on peut transmettre les données secondaires au moins à la station de simulation élève,
* on peut stocker dans une mémoire les paramètres de fonctionnement représentatifs des états successifs de l'outil virtuel du fait des actions effectuées à l'aide des différents dispositifs à retour d'effort dont les stations de simulation sont associées dans une même session et impliquées dans une même séquence. Dans ce cas, on peut transmettre à des stations de simulation maître et élève, associées dans une même session, les paramètres de fonctionnement d'une séquence stockée, afin qu' elles rediffusent simultanément la séquence sur leurs afficheurs respectifs. Par ailleurs, lorsqu'un dispositif à retour d'effort fait l'objet d'une intervention pendant la rediffusion d'une ancienne séquence, on peut interrompre la transmission des paramètres de fonctionnement de cette ancienne séquence, puis déterminer et transmettre des données secondaires correspondant à l'intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort concernés,
* on peut placer les stations de simulation dans l'un des modes de fonctionnement présentés ci-avant.
L'invention trouve une application particulièrement intéressante, bien que non exclusive, dans le domaine de la simulation d'interventions chirurgicales sur des objets virtuels, par exemple lorsque ces objets représentent des organes, éventuellement déformables. D'autres caractéristiques et avantages de l'invention apparaîtront à l'examen de la description détaillée ci-après, et des dessins annexés, sur lesquels : -la figure 1 illustre de façon schématique un exemple de réalisation d'une installation selon l'invention, en réseau, et -la figure 2 illustre schématiquement une station de simulation sur l'écran de laquelle sont matérialisés le bras d'un robot virtuel d'intervention et un organe virtuel.
Les dessins annexés pourront non seulement servir à compléter l'invention, mais aussi contribuer à sa définition, le cas échéant.
L'invention concerne la simulation en temps réel d'actions effectuées sur au moins un objet virtuel par au moins un outil (ou instrument) virtuel au sein d'une installation de simulation. Dans ce qui suit, il sera fait référence à une installation de simulation adaptée à l'enseignement à distance dans laquelle l'outil virtuel est un robot. Mais, d'autres types d'outil (ou instrument) virtuel peuvent être envisagés, comme par exemple un instrument laparosco- pique non robotisé.
L'installation de simulation selon l'invention, illustrée à titre d'exemple non limitatif sur les figures 1 et 2, est adaptée à l'apprentissage de séquences d'actions permettant d'intervenir sur un objet virtuel H, de type organe déformable, à l'aide d'un robot virtuel R piloté par un dispositif à retour d'effort DRE.
Plus précisément, dans 1 ' exemple illustré l' installation est agencée sous la forme d'un réseau N comportant un serveur S auxquels sont raccordées plusieurs stations de simulation S S (ici trois)L'installation définit par exemple une architecture d'agent ouverte (ou OAA pour
"Open Agent Architecture"). Par ailleurs, le serveur S est équipé d'un dispositif de simulation DS, selon l'invention, sur lequel on reviendra plus loin.
Chaque station de simulation S S est couplée à une interface homme/machine et à un dispositif à retour d'effort DRE comportant au moins un levier de pilotage 1 (ici de type
"joystick"), destiné à piloter l'un au moins des bras manipulateurs 2, 3 du robot virtuel R. L'interface homme/machine peut prendre n'importe quelle forme. Il peut s'agir d'un clavier de commande et/ou d'une ou plusieurs touches 4 de commande (de type sensitif, ou bouton-poussoir, ou encore "souris", y compris une souris 3D (ou "space mouse")). On peut également utiliser des tablettes graphiques, par exemple de type WACOM, et/ou des stylos électroniques de commande, et/ou des moyens permettant d'adresser des commandes vocales.
Dans cet exemple, on a dissocié la station de simulation SS du dispositif à retour d'effort DRE, mais, ils peuvent être intégrés dans une console en regard de laquelle est installée une chaise 5 sur laquelle peut s'installer un utilisateur.
Tout type de dispositif à retour d'effort peut être envisagé, et notamment un pantascope, un dispositif de type Immersion (ou "Impulse engine"), un bras de type PHANToM fabriqué par la société Sensable Technologies (décrit par exemple à l'adresse internet "http://www.sensable.com/products/phantom_ghost/phantom.asp"), un bras de type DELTA fabriqué par la société Force Dimension (décrit par exemple à l'adresse internet "http://www.forcedimension.com/products/index.html"),ou un bras de type Freedom 6S fabriqué par la société MPB Technologies (décrit par exemple à l'adresse internet "http://www.mpb-teclmologies.ca/space/freedom6_^2000/fés/freedom6s.html"), ou encore d'une interface de laparoscopie virtuelle à retour d' effort bras de type PHANToM fabriqué par la société Immersion (décrite par exemple à l'adresse internet "http://www.immersion-
.com/products/medical/laparoscopy_hardware.html"). D'une manière générale, le dispositif à retour d'effort est un système haptique.
Chaque dispositif à retour d'effort DRE est équipé d'au moins un capteur Cl capable de déterminer à chaque instant son vecteur de position (qui définit sa position et son orientation). Plus précisément, chaque capteur Cl délivre des données primaires représentatives du vecteur de position du dispositif à retour d'effort DRE par rapport au référentiel de l'outil virtuel R. Ces données primaires définissent l'état de l'outil virtuel R sur lequel agit le dispositif à retour d'effort DRE. Elles peuvent être complétées par des informations complémentaires (ou auxiliaires) relatives à l'outil virtuel téléopéré R, comme par exemple des coordonnées articulaires d'un bras articulé ou le degré d'ouverture d'une pince. Chaque station de simulation SS comporte également un écran SC permettant d'afficher des séquences d'images virtuelles (ou de synthèse) de la zone d'intervention, et notamment de l'organe virtuel H, objet de l'intervention, et des bras 2 et 3 du robot virtuel R. L'écran SC peut également permettre d'afficher des informations relatives, par exemple, à l'interven- tion.
Enfin, chaque station de simulation SS est équipée d'un module de contrôle MC couplé au dispositif à retour d'effort DRE. Ce module de contrôle MC reçoit du capteur Cl les données primaires représentatives du vecteur de position (ou état) du dispositif à retour d' effort DRE associé, et par conséquent de l' état de l' outil virtuel R. Il reçoit également les commandes et instructions de pilotage fournies par l'utilisateur, par exemple à l'aide du clavier et des touches 4. Comme on le verra plus loin, il peut adresser des commandes destinées à adapter la force appliquée au dispositif à retour d'effort DRE associé.
Les séquences d'images virtuelles affichées sur les écrans SC sont transmises aux différentes stations de simulation S S par le serveur S. Plus précisément, ces images virtuelles sont construites à partir de données d'image numériques délivrées par le dispositif de simulation DS, selon l'invention.
Ces données d'image sont élaborées à partir du modèle volumique (3D), et éventuellement du modèle dynamique et/ou comportemental, de l'organe virtuel, et du modèle volumique et comportemental du robot virtuel R à degrés de liberté multiples, ainsi que des données primaires, données auxiliaires et commandes et instructions de pilotage qui lui sont transmises, via le réseau N, par les différents modules de contrôle MC.
Les modèles sont préférentiellement stockés dans une mémoire MEM du dispositif de simulation DS. Tout type de modèle peut être envisagé, qu'il soit statique ou dynamique, et tout type de traitement d'image peut être envisagé, qu'il intègre ou non des modèles de déformation, ou de découpe, ou encore de texture, de l'organe virtuel.
Lorsque l'installation présente une architecture de type OAA, le dispositif de simulation DS est classiquement capable de délivrer à chaque station de simulation S S les séquences d'images virtuelles (ou de synthèse) qui correspondent à l'interaction entre une instance (ou copie) de l'objet virtuel H et une instance (ou copie) du robot virtuel R piloté par le dispositif à retour d'effort DRE associé à ladite station de simulation SS. Ainsi, chaque utilisateur peut observer sur l'écran SC de sa propre station de simulation SS l'état du robot virtuel R qui correspond à l'état de son propre dispositif à retour d'effort DRE.
Le dispositif de simulation DS comporte un module de traitement MT chargé, tout d'abord, d'établir des sessions, indépendantes les unes des autres, et regroupant chacune au moins deux stations de simulation SS. Une session correspond à un "état" commun à plusieurs clients (ou utilisateurs). Le lien entre un client et une session est établi par le serveur S et peut être modifié à chaque instant. Au sein d'une session, les différents clients partagent plusieurs paramètres, et notamment la scène, qui est la représentation virtuelle de la zone d'observation, l'objet virtuel commun, qui fait l'objet de l'intervention, les éventuels obstacles et le robot virtuel R.
Certains paramètres sont en revanche modifiables par chaque client, comme par exemple la position/orientation des outils virtuels placés aux extrémités des bras 2 et 3 du robot R. A chaque client est associé un niveau de priorité qui définit les paramètres qu'il est autorisé à modifier et par conséquent ce que sa station de simulation S S est autorisée à faire. Par exemple, un niveau de priorité définit l'autorisation d'action sur un paramètre de réglage de l'installation, et/ou l'autorisation d'action sur le dispositif à retour d'effort DRE d'une autre station de simulation SS, et/ou l'autorisation de modifier la force appliquée à un dispositif à retour d'effort DRE d'une autre station de simulation SS.
Un niveau de priorité définit donc un mode de fonctionnement régissant la relation du client concerné avec les clients qui appartiennent à la même session et qui pilotent un même robot virtuel R.
Par exemple, dans le cas de l'apprentissage, une session regroupe une station de simulation SS-M pilotée par un maître (ou enseignant) et au moins une station de simulation SS-E pilotée par un élève E, et les niveaux de priorité associés définissent un mode de fonctionnement dans lequel le maître montre une séquence de gestes opératoires, l'élève tente de reproduire la séquence et le maître corrige la séquence de l'élève.
Il est important de noter qu'une même station de simulation maître SS-M peut être associée à plusieurs sessions différentes.
Le module de traitement MT est en outre chargé de calculer un écart entre les données primaires représentatives des états de l'outil virtuel R piloté par un dispositif à retour d'effort et les données primaires représentatives des états de ce même outil virtuel R piloté par un autre dispositif à retour d'effort. Plus précisément, l'état de l'outil est caractérisé par rapport aux positions et orientations successives de chaque dispositif à retour d' effort DRE. Par conséquent, l'écart est préférentiellement la différence vectorielle entre les vecteurs de position (ou position/orientation définies par les données primaires reçues) de couples de dispositifs à retour d'effort DRE qui agissent sur un même outil virtuel R. Le module de traitement MT est également chargé de calculer des données secondaires représentatives d'un vecteur force fonction de la différence vectorielle calculée. Par exemple un couple est constitué d'un dispositif à retour d'effort DRE-E1 ou DRE-E2 piloté par un élève El ou E2 et un dispositif à retour d'effort DRE-M piloté par un maître M (ou enseignant).
En fait, l'état de chaque dispositif à retour d'effort DRE, tant sur le plan de la position/orientation que sur le plan de l'intensité du retour d'effort qu'il exerce, est entièrement défini par une matrice dite de transformation, connue du module de traitement MT et dont les valeurs sont constituées notamment par les données primaires fournies par le module de contrôle MC associé. Par conséquent, les données secondaires représentent en réalité ce que l'homme de l'art appelle un torseur force représentatif de la différence entre les matrices de transformation de deux dispositifs à retour d'effort.
Les données secondaires, qui représentent ce torseur (ou vecteur) force, sont transmises à l'une au moins des stations de simulation SS (par exemple celle SS-E de l'élève) afin qu'elle adapte la force appliquée à son dispositif à retour d'effort DRE-E en fonction desdites données secondaires. La variation de force dépend des écarts de position (et si besoin d'orientation) du robot virtuel R téléopéré par les deux dispositifs à retour d'effort DRE. Ainsi, toute différence de positionnement/orientation du robot virtuel R téléopéré par l'un des deux dispositifs à retour d'effort DRE du maître M et de l'élève E, peut être détectée et estimée par le module de traitement MT, puis corrigée au niveau du dispositif à retour d'effort DRE-E de l'élève E après une transposition sous la forme d'un vecteur force. En d'autres termes, le maître M peut faire ressentir à son élève E ce qu'il fait à l'aide de son dispositif à retour d'effort DRE et qui est défini à chaque instant par son état.
L'élève peut ainsi être non seulement corrigé, mais également guidé dans sa gestuelle.
De façon plus détaillée, les données secondaires (représentant le vecteur force) sont transmises, via le réseau N, au module de contrôle MC du serveur de simulation élève SM- E, lequel les convertit en commande de variation de force qu'il adresse à son dispositif à retour d'effort DRE-E de sorte qu'il adapte la force qu'il applique.
Bien entendu, on pourrait également envisager que l'élève agisse sur le dispositif à retour d'effort DRE-M du maître M, par l'intermédiaire du module de traitement MT, notamment pour que ledit maître ressente physiquement via son dispositif à retour d'effort ce que ressent son élève.
Grâce à cette nouvelle fonctionnalité qu'autorise l'invention, le module de traitement MT du dispositif de simulation DS peut définir plusieurs modes de fonctionnement entre des clients appartenant à une même session.
Dans un mode dit "indépendant" le dispositif à retour d' effort DRE est autorisé à téléopérer le robot virtuel R indépendamment des actions exercées par les autres dispositifs à retour d'effort de sa session. Dans un mode dit "d'envoi", le dispositif à retour d'effort DRE est autorisé à téléopérer le robot virtuel R, et ses paramètres de fonctionnement sont transmis aux autres dispositifs à retour d'effort DRE de sa session afin qu'ils les appliquent. Dans un mode dit "d'écoute", le dispositif à retour d'effort DRE applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer le robot virtuel R indépendamment. Dans un mode dit "guidé", le dispositif à retour d'effort DRE est autorisé à téléopérer le robot virtuel R en tenant compte des commandes d'adaptation qui lui sont transmises par son module de contrôle MC et qui ont été élaborées à partir des données secondaires adressées par le module de traitement MT. Dans un mode dit "guide", le dispositif à retour d'effort DRE est interdit de téléopérer le robot virtuel R mais est autorisé à transmettre ses données primaires (au moins) et à contraindre un autre dispositif à retour d'effort DRE, de sa session, à téléopérer le robot virtuel R compte tenu des données secondaires transmises par le module de traitement MT et élaborées à partir des données primaires transmises et de ses propres données primaires.
Préférentiellement, le module de traitement MT est agencé de manière à mettre à la disposition des stations de simulation SS d'une même session une fonction de rediffusion d'une séquence d'intervention.
A cet effet, le module de traitement MT stocke dans une mémoire, par exemple celle (MEM) contenant les modèles, les paramètres de fonctionnement qui définissent les états successifs pris par le robot virtuel R du fait des actions effectuées à l'aide des dispositifs à retour d'effort DRE des différentes stations de simulation SS associées dans une même session et impliquées dans une même séquence d'intervention.
Les utilisateurs (maître et élève(s)) peuvent ainsi visualiser l'intégralité d'une séquence à laquelle ils ont participé. La vitesse de la rediffusion est préférentiellement réglable.
Mais, le module de traitement MT peut également être configuré de manière à permettre aux stations de simulation SS d'intervenir à tout moment pendant une phase de rediffusion d'une séquence d'intervention afin de poursuivre la séquence à l'aide de leur dispositif à retour d'effort DRE. Cela permet à un élève ou à un maître de recommencer (ou poursuivre) une partie d'une séquence, à l'instant de son choix, avec son propre dispositif à retour d'effort DRE.
Pour ce faire, lorsque le module de traitement MT reçoit un ordre d'interruption de rediffusion d'une station de simulation SM (autorisée), il extrait de la mémoire MEM les paramètres de fonctionnement qui définissent l'état du robot virtuel R à l'instant de l'interruption. Puis, il transmet ces paramètres de fonctionnement au moins au module de contrôle MC de la station de simulation SS qui a demandé l'interruption (il peut également les transmettre aux autres stations de simulation de la session), afin qu'il détermine les commandes de positionnement/orientation et/ou les commandes de retour d'effort qui leurs correspondent. Ces commandes sont alors transmises au dispositif à retour d'effort DRE associé afin qu'il se place dans l'état correspondant. Son utilisateur (E ou M) peut alors actionner son levier de pilotage 1 et adresser des commandes et instructions au module de traitement MT, avec ses touches de commande 4 et/ou son clavier et/ou ses moyens de synthèse vocale.
Les paramètres de fonctionnement qui définissent les nouveaux états successifs du robot virtuel R sont également enregistrés, en vue d'une éventuelle rediffusion. En fait, la session se poursuit avec une nouvelle séquence dans laquelle les stations de simulation S S peuvent intervenir à tout moment selon leurs niveaux de priorité respectifs (lesquels ont éventuellement été modifiés).
Le dispositif de simulation DS, et notamment son module de traitement MT, et le module de contrôle MC, équipant les stations de simulation SS, peuvent être réalisés sous la forme de circuits électroniques, de modules logiciels (ou informatiques), ou d'une combinaison de modules logiciels et de circuits électroniques.
L'invention concerne également un procédé dédié à la simulation en temps réel d'actions effectuées sur au moins un objet virtuel H par au moins un outil virtuel R téléopéré par au moins deux stations de simulation S S comprenant chacune un dispositif à retour d'effort DRE.
Celui-ci peut être mis en œuvre à l'aide d'une installation de simulation du type de celle présentée ci-avant. Les fonctions et sous-fonctions principales et optionnelles assurées par les étapes de ce procédé étant sensiblement identiques à celles assurées par les différents moyens constituant l'installation, seules seront résumées ci-après les étapes mettant en œuvre les fonctions principales du procédé selon l'invention. Ce procédé se caractérise par le fait qu'il consiste à déterminer des données primaires représentatives des états d'un outil virtuel sur lequel agissent deux dispositifs à retour d'effort, puis à déterminer des données secondaires représentatives d'un vecteur (ou torseur) force fonction d'un écart entre les données primaires, et à transmettre les données secondaires déterminées à l'une au moins des stations de simulation de sorte qu' elle adapte la force appliquée à son dispositif à retour d'effort en fonction de ces données secondaires.
L'invention ne se limite pas aux modes de réalisation de dispositif de simulation, station de simulation, installation de simulation et procédé de simulation décrits ci-avant, seulement à titre d'exemple, mais elle englobe toutes les variantes que pourra envisager l'homme de l'art dans le cadre des revendications ci-après.
Ainsi, on a décrit une installation de simulation agencée sous la forme d'un réseau supervisé par un serveur de simulation. Mais, on peut envisager une installation de simulation réduite dans laquelle le serveur de simulation et l'une des stations de simulation sont confondus en un unique système.

Claims

REVENDICATIONS
1. Dispositif (D) de simulation en temps réel d' actions effectuées sur au moins un objet virtuel (H) par au moins un outil virtuel (R) téléopéré par au moins deux stations de simulation (SS) comprenant chacune un dispositif à retour d'effort (DRE), caractérisé en ce qu'il comprend des moyens de traitement (MT) agencés, à réception de données primaires représentatives des états d'un outil virtuel (R) sur lequel agissent deux dispositifs à retour d'effort (DRE), pour déterminer des données secondaires représentatives d'un vecteur force fonction d'un écart entre lesdites données primaires, et pour transmettre lesdites données secondaires déterminées à l'une au moins desdites stations de simulation (SS) de sorte qu'elle adapte la force appliquée à son dispositif à retour d'effort (DRE) en fonction desdites données secondaires.
2. Dispositif selon la revendication 1 , caractérisé en ce que lesdites données primaires sont transmises par lesdites stations de simulation.
3. Dispositif selon l'une des revendications 1 et 2, caractérisé en ce que chaque état est représentatif au moins de la position et de l'orientation du dispositif à retour d' effort correspondant.
4. Dispositif selon l'une des revendications 1 à 3, caractérisé en ce que certaines au moins desdits données primaires sont représentatives d'informations complémentaires relatives audit outil virtuel (R).
5. Dispositif selon l'une des revendications 1 à 4, caractérisé en ce que lesdites stations de simulation (SS) étant de type " maître" ou "élève" et étant associées à des niveaux de priorité fonction de leur type, lesdits moyens de traitement (MT) sont agencés pour définir des sessions associant chacune une station de simulation (S S) de type " maître" (SS-M) et au moins une station de simulation de type "élève" (S S-
E).
6. Dispositif selon la revendication 5 , caractérisé en ce qu'un niveau de priorité définit une autorisation d'action sur un paramètre de réglage et/ou une autorisation d'action sur un autre dispositif à retour d'effort (DRE) et/ou une autorisation de modification d'une force appliquée à un autre dispositif à retour d'effort (DRE).
7. Dispositif selon l'une des revendications 5 et 6, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour gérer en parallèle plusieurs sessions.
8. Dispositif selon la revendication 7, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour associer une station de simulation maître (SS-
M) à au moins deux sessions.
9. Dispositif selon l'une des revendications 5 à 8, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour transmettre lesdites données secondaires au moins à ladite station de simulation élève (SS-E).
10. Dispositif selon l'une des revendications 5 à 9, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour stocker dans une mémoire (MEM) les paramètres de fonctionnement représentatifs des états successifs de l'outil virtuel (R) du fait des actions effectuées à l'aide des différents dispositifs à retour d'effort
(DRE) dont les stations de simulation (S S) sont associées dans une même session et impliquées dans une même séquence.
11. Dispositif selon la revendication 10, caractérisé en ce que, lesdites stations de simulation comportant chacune un afficheur (SC), lesdits moyens de traitement
(MT) sont agencés pour transmettre à une station de simulation maître (SS-M) et à une station de simulation élève (SS-E) associées dans une même session les paramètres de fonctionnement d'une séquence stockée, de sorte qu'elles rediffusent simultanément ladite séquence sur leurs afficheurs (SC) respectifs.
12. Dispositif selon la revendication 11, caractérisé en ce qu'en cas d'intervention sur un dispositif à retour d'effort (DRE) pendant une rediffusion de séquence, lesdits moyens de traitement (MT) sont agencés pour interrompre la transmission des paramètres de fonctionnement de ladite séquence, puis effectuer la détermination et la transmission des données secondaires correspondant à ladite intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort (DRE) concernés.
13. Dispositif selon l'une des revendications 1 à 12, caractérisé en ce que lesdits moyens de traitement (MT) sont agencés pour placer lesdites stations de simulation (S S) dans un mode de fonctionnement choisi parmi un groupe de modes de fonctionnement comprenant un premier mode dit "indépendant" dans lequel son dispositif à retour d'effort peut téléopérer ledit outil virtuel (R) indépendamment des actions exercées par les autres dispositifs à retour d'effort (DRE) de sa session, un deuxième mode dit "d'envoi" dans lequel son dispositif à retour d'effort (DRE) est autorisé à téléopérer ledit outil virtuel (R) et ses paramètres de fonctionnement correspondants sont transmis aux autres dispositifs à retour d'effort de sa session de sorte qu'ils les appliquent, un troisième mode dit "d'écoute" dans lequel son dispositif à retour d'effort (DRE) applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer indépendamment ledit outil virtuel (R), un quatrième mode dit "guidé" dans lequel son dispositif à retour d'effort (DRE) peut téléopérer ledit outil virtuel (R) en tenant compte desdites données secondaires qu'il reçoit, et un cinquième mode dit "guide" dans lequel son dispositif à retour d'effort ne peut pas téléopérer ledit outil virtuel (R) mais transmet des données primaires et contraint un autre dispositif à retour d'effort (DRE) de sa session à téléopérer ledit outil virtuel (R) compte tenu de données secondaires élaborées à partir desdites données primaires transmises et de ses propres données primaires. .
14. Station de simulation (SS) pour une installation de simulation en temps réel d'actions effectuées sur au moins un objet virtuel (H) par au moins un outil virtuel (R), comprenant un dispositif à retour d'effort (DRE) propre à contrôler à distance le fonctionnement d'une partie au moins dudit outil virtuel (R) en fonction de son état, et muni d'au moins un capteur (Cl) délivrant des données représentatives de l'état dudit dispositif (DRE), à partir desquelles sont déterminées des données primaires représentatives de l'état de l'outil virtuel (R) sur lequel agit au moins le dispositif à retour d'effort, caractérisé en ce qu'il comprend des moyens de contrôle (MC) alimentés en données primaires et en données secondaires par un dispositif de simulation (DS) selon l'une des revendications précédentes, et agencés pour adapter la force appliquée audit dispositif à retour d'effort (DRE) en fonction desdites données primaires et secondaires.
15. Installation de simulation en temps réel d'actions effectuées sur au moins un objet virtuel (H) par au moins un outil virtuel (R), caractérisée en ce qu'elle comprend au moins deux stations de simulation (S S) selon la revendication 14 couplées à un serveur (S) équipé d'un dispositif de simulation (DS) selon l'une des revendications 1 à 13.
16. Procédé de simulation en temps réel d'actions entre au moins un objet virtuel (H) et au moins un outil virtuel (R) téléopéré par au moins deux stations de simulation
(SS) comprenant chacune un dispositif à retour d'effort (DRE), caractérisé en ce qu'il consiste à déterminer des données primaires représentatives des états d'un outil virtuel (R) sur lequel agissent deux dispositifs à retour d'effort (DRE), puis à déterminer des données secondaires représentatives d'un vecteur force fonction d'un écart entre lesdites données primaires, et à transmettre lesdites données secondaires déterminées à l'une au moins desdites stations de simulation (SS) de sorte qu'elle adapte la force appliquée à son dispositif à retour d'effort (DRE) en fonction desdites données secondaires.
17. Procédé selon la revendication 16, caractérisé en ce que lesdites données primaires sont déterminées au niveau desdites stations de simulation.
18. Procédé selon l'une des revendications 16 et 17, caractérisé en ce que chaque état est représentatif au moins de la position et de l'orientation du dispositif à retour d'effort correspondant.
19. Procédé selon l'une des revendications 16 à 18, caractérisé en ce que certaines au moins desdits données primaires sont représentatives d'informations complémentaires relatives audit outil virtuel (R).
20. Procédé selon l'une des revendications 16 à 19, caractérisé en ce que l'on définit des sessions associant chacune une station de simulation de type "maître" (SS-M) et au moins une station de simulation (SS-E) de type "élève" (DRE-E), associées à des niveaux de priorité fonction de leur type.
21. Procédé selon la revendication 20, caractérisé en ce qu'un niveau de priorité définit une autorisation d'action sur un paramètre de réglage et/ou une autorisation d'action sur un autre dispositif à retour d'effort (DRE) et/ou une autorisation de modification d'une force appliquée à un autre dispositif à retour d'effort (DRE).
22. Procédé selon l'une des revendications 20 et 21, caractérisé en ce que l'on gère en parallèle plusieurs sessions.
23. Procédé selon la revendication 22, caractérisé en ce que l' on associe une station de simulation (SS-M) à au moins deux sessions.
24. Procédé selon l'une des revendications 20 à 23, caractérisé en ce que l'on transmet lesdites données secondaires au moins à ladite station de simulation élève (SS-E).
25. Procédé selon l'une des revendications 20 à 24, caractérisé en ce que l'on stocke dans une mémoire (MEM) les paramètres de fonctionnement représentatifs des états successifs de l'outil virtuel (R) du fait des actions effectuées à l'aide des différents dispositifs à retour d'effort (DRE) dont les stations de simulation (SS) sont associées dans une même session et impliquées dans une même séquence.
26. Procédé selon la revendication 25, caractérisé en ce que, lesdits dispositifs à retour d'effort (DRE) étant chacun associé à un afficheur (SC), on transmet à une station de simulation maître (SS-M) et aune station de simulation élève (SS-E), associées dans une même session, les paramètres de fonctionnement d'une séquence stockée, de sorte qu'elles rediffusent simultanément ladite séquence sur leurs afficheurs (SC) respectifs.
27. Procédé selon la revendication 26, caractérisé en ce qu'en cas d'intervention sur un dispositif à retour d'effort (DRE) pendant une rediffusion de séquence, on interrompt la transmission des paramètres de fonctionnement de ladite séquence, puis on effectue la détermination et la transmission des données secondaires correspondant à ladite intervention, tout en procédant à l'enregistrement des paramètres de fonctionnement représentatifs des nouveaux états des dispositifs à retour d'effort (DRE) concernés.
28. Procédé selon l'une des revendications 16 à 27, caractérisé en ce que l'on place lesdites stations de simulation (SS) dans un mode de fonctionnement choisi parmi un groupe de modes de fonctionnement comprenant un premier mode dit "indépendant" dans lequel son dispositif à retour d'effort (DRE) peut téléopérer ledit outil virtuel (R) indépendamment des actions exercées par les autres dispositifs à retour d'effort de ladite session, un deuxième mode dit "d'envoi" dans lequel son dispositif à retour d'effort est autorisé à téléopérer ledit outil virtuel (R) et ses paramètres de fonctionnement correspondants sont transmis aux autres dispositifs à retour d' effort de ladite session de sorte qu'ils les appliquent, un troisième mode dit "d'écoute" dans lequel son dispositif à retour d'effort (DRE) applique les paramètres de fonctionnement qu'il reçoit sans pouvoir téléopérer indépendamment ledit outil virtuel (R), un quatrième mode dit "guidé" dans lequel son dispositif à retour d'effort (DRE) peut téléopérer ledit outil virtuel (R) en tenant desdites données secondaires qu'il reçoit, et un cinquième mode dit "guide" dans lequel son dispositif à retour d'effort (DRE) ne peut pas téléopérer ledit outil virtuel (R) mais transmet des données primaires et contraint un autre dispositif à retour d'effort, de sa session, à téléopérer ledit outil virtuel (R) compte tenu de données secondaires élaborées à partir desdites données primaires transmises et de ses propres données primaires.
9. Utilisation des dispositif de simulation (DS), station de simulation (SS), installation de simulation et procédé de simulation selon l'une des revendications précédentes, dans le domaine de la simulation d'intervention chirurgicale.
PCT/FR2004/001193 2003-05-22 2004-05-14 Simulation en temps réel d'actions effectuées sur un objet virtuel par un outil virtuel téléopéré par des dispositifs à retour d'effort corrélés Ceased WO2004107241A2 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0306178A FR2855293B1 (fr) 2003-05-22 2003-05-22 Simulation en temps reel d'actions effectuees sur un objet virtuel par un outil virtuel teleopere par des dispositifs a retour d'effort correles
FR03/06178 2003-05-22

Publications (2)

Publication Number Publication Date
WO2004107241A2 true WO2004107241A2 (fr) 2004-12-09
WO2004107241A3 WO2004107241A3 (fr) 2005-10-13

Family

ID=33396678

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2004/001193 Ceased WO2004107241A2 (fr) 2003-05-22 2004-05-14 Simulation en temps réel d'actions effectuées sur un objet virtuel par un outil virtuel téléopéré par des dispositifs à retour d'effort corrélés

Country Status (2)

Country Link
FR (1) FR2855293B1 (fr)
WO (1) WO2004107241A2 (fr)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157200A (zh) * 2014-08-06 2014-11-19 胡青 一种新型智能化心血管介入虚拟手术仿真系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2387760B1 (fr) * 2009-01-15 2019-05-01 SimQuest LLC Simulation interactive de tissu biologique
CN111080802A (zh) * 2019-12-31 2020-04-28 氧乐互动(天津)科技有限公司 使用Unity引擎实时控制力反馈装置参数的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5882206A (en) * 1995-03-29 1999-03-16 Gillio; Robert G. Virtual surgery system
WO1999017265A1 (fr) * 1997-09-26 1999-04-08 Boston Dynamics, Inc. Procede et appareil d'entrainement chirurgical et de simulation d'operation chirurgicale
WO1999042978A1 (fr) * 1998-02-19 1999-08-26 Boston Dynamics, Inc. Procede et dispositif pour l'entrainement et la simulation pour interventions chirurgicales
US20010055748A1 (en) * 2000-05-15 2001-12-27 Bailey Bradford E. System for training persons to perform minimally invasive surgical procedures

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104157200A (zh) * 2014-08-06 2014-11-19 胡青 一种新型智能化心血管介入虚拟手术仿真系统

Also Published As

Publication number Publication date
WO2004107241A3 (fr) 2005-10-13
FR2855293A1 (fr) 2004-11-26
FR2855293B1 (fr) 2005-08-19

Similar Documents

Publication Publication Date Title
US20210336784A1 (en) Extended reality authentication
US20090271715A1 (en) Collaborative augmented virtuality system
CA2942652C (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
EP2478513B1 (fr) Procédé de simulation de mouvements propres par retour haptique et dispositif mettant en oeuvre le procédé
FR3032346A1 (fr) Procede d'assistance a la manipulation d'un instrument
FR2790319A1 (fr) Conception de sensations de force destinees aux applications programmees, y compris les sons
EP2158762A2 (fr) Procede et systeme de mise en relation entre des personnes dans un systeme de telecommunications
EP1227442A1 (fr) Procédé- de traitement d'images en 2D appliquées sur des objets en 3D
US12254786B2 (en) Recorded physical interaction playback
WO2001082266A1 (fr) Systeme et procede d'apprentissage en realite virtuelle pour l'odontologie
FR3008531A1 (fr) Simulateur d'un engin de travail
WO2002074177A1 (fr) Procede et systeme de reconstruction a distance d'une surface
EP1207448A1 (fr) Procédé et système de commande d'un élément à retour d'effort
FR2855293A1 (fr) Simulation en temps reel d'actions effectuees sur un objet virtuel par un outil virtuel teleopere par des dispositifs a retour d'effort correles
FR3123532A1 (fr) Procédé de communication en réalité mixte, système de communication, programme d‘ordinateur et support d’informations
Plesniak et al. Spatial interaction with haptic holograms
FR3054048A1 (fr) Procede et systeme de commande hierarchique en temps reel d'une structure articulee exploitant un nombre limite de capteurs de mouvement
FR3081572A1 (fr) Procede et systeme d'authentification d'un utilisateur porteur d'un dispositif d'immersion
Roberts Communication infrastructures for inhabited information spaces
FR2932099A1 (fr) Systeme de realite virtuelle pour jouer de la guitare avec effet special visuel et sonore
EP1463980B1 (fr) Procede et systeme de commande dynamique d un element a reto ur d effort
FR3104743A1 (fr) Dispositif d’affichage portatif de contenu 3D, système et procédé correspondants.
US20080201423A1 (en) Multisensorial Communication Method Between Services and Remote Users and System Architecture for Actuating It
EP4348460A1 (fr) Procédé et dispositif de caractérisation d'un utilisateur, et dispositif de fourniture de services l'utilisant
Lee et al. The Hitchhiker’s Guide to the Metaverse

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase