WO2021205130A1 - Système de connexion d'un dispositif d'entraînement chirurgical à un dispositif virtuel - Google Patents

Système de connexion d'un dispositif d'entraînement chirurgical à un dispositif virtuel Download PDF

Info

Publication number
WO2021205130A1
WO2021205130A1 PCT/FR2021/050632 FR2021050632W WO2021205130A1 WO 2021205130 A1 WO2021205130 A1 WO 2021205130A1 FR 2021050632 W FR2021050632 W FR 2021050632W WO 2021205130 A1 WO2021205130 A1 WO 2021205130A1
Authority
WO
WIPO (PCT)
Prior art keywords
virtual
surgical
calibration
tool
console
Prior art date
Application number
PCT/FR2021/050632
Other languages
English (en)
Inventor
Damien DOURY
Nicolas MIGNAN
David REVERSAT
Original Assignee
Virtualisurg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Virtualisurg filed Critical Virtualisurg
Publication of WO2021205130A1 publication Critical patent/WO2021205130A1/fr

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28—Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine

Definitions

  • the present invention relates to the field of medical instruments and materials. More particularly, the invention relates to a device for surgical simulations.
  • EP1746558 B discloses a system for simulating a surgical operation, by a user, on a body, simulated with at least two real instruments.
  • the system comprises a longitudinal track and a plurality of carriages movable along said track. Each carriage has clamping means and means for rotating and moving said real instruments longitudinally.
  • the system also comprises feedback means for receiving and transmitting, to the user's hand, a feedback force from said real instrument with respect to the simulation characteristic, means for recognizing a real instrument to be inserted into said clamping means , whereby said actual instrument can be fixed within said clamping means to be longitudinally moved and rotated by the user.
  • WO 2019204615 discloses an apparatus comprising an endoscopy device, and a tracking device adapted to work with a three-dimensional tracking system to track the location and orientation of the endoscopy device in three dimensions in a simulated operating room environment.
  • the apparatus also includes a physical model of a patient's head comprising hard and soft components, and the endoscopy device is configured to be inserted into the physical model to provide haptic feedback of the endoscopic surgery.
  • Both documents disclose surgical training devices by combining a mechanical system (surgical instruments and / or training consoles) with a sensor system and a display system.
  • the sensors make it possible to determine the positioning of the instruments used by the operator in relation to the components of the training console. Data is displayed on a display system to help the learner surgeon in his process.
  • none of these devices allow real immersion.
  • the conditions of the operating room are not reproduced and the learner cannot find all the sensations specific to an en bloc surgery.
  • State-of-the-art disclosures lack a virtual component to the simulation, in order to significantly approximate bulk operating conditions. The only way to reproduce these conditions in a meaningful way is to immerse the operator in a virtual world, while allowing him to manipulate real surgical instruments in order to best prepare him for the real conditions of the operating room.
  • WO 2017114834 discloses a control unit for a surgical robot system, comprising a robot configured to operate a surgical tool on a patient.
  • the control unit includes a processor configured to transmit live images acquired from the patient to a virtual reality (VR) device for display.
  • the unit processes the input data received from the VR device to determine a target in the patient and determine a path for the tool to surgical hits the target based on the live images and processed input data; and to transmit control signals to cause the robot to guide the surgical tool to the target via the determined path.
  • VR virtual reality
  • the disclosures of the state of the art do not allow the user to manipulate real surgical instruments simultaneously in the physical world and in a virtual world reproducing the operating conditions of the block, in particular with sufficient precision to really allow a user not to feel any difference between his physical manipulation in the real world and the effect felt in the virtual operating room.
  • the invention more particularly intends to remedy by proposing a surgical simulation device combining a virtual world with the use of real surgical instruments by connecting the two worlds, one real, the other virtual. with great precision.
  • the object of the present invention is in particular to propose, on the one hand, a connection system between a virtual world and a reliable and robust real world, making it possible to connect a mobile surgical simulation device with a recreating virtual universe, for the user, operating room conditions.
  • the surgical training device comprising: a surgical training console forming a work zone, at least one surgical tool intended to be handled by an operator in interaction with the surgical training console, - a calculation unit,
  • the virtual device comprising: a virtual console having a geometry corresponding to the geometry of the surgical training console, at least one virtual tool, each virtual tool having an avatar of the surgical tool, a first virtual frame of reference defining a first virtual universe associated with the movement capture member, - a second virtual frame of reference defining a second virtual universe associated with the display device , the virtual console and the at least one virtual tool being made visible to the operator by the display device, the surgical training device further comprising a plate than calibration, this calibration plate having: a first reference structure intended to be associated with the first virtual reference frame, and
  • the second reference structure intended to be associated with the second virtual reference frame, the second reference structure being a footprint having a shape complementary to that of the mobile calibration tool, so as to obtain the alignment of the two virtual reference frames, this alignment allowing a stable superposition of the two virtual universes.
  • connection system according to the invention is compact, it requires only a few real elements and it can be mounted in any environment.
  • Each surgical instrument used as part of the operative steps of a simulated surgical procedure and the surgical training console are connected in real time to virtual reality and allow any user to immerse themselves in a quality virtual environment while letting them manipulate real surgical tools, in a real environment which can be extremely far from that of a real operating theater. For example, it could be a student room or a classroom.
  • connection system can comprise one or more of the following characteristics, taken in isolation from one another or in combination with one another: the first reference structure of the calibration plate can comprise three reference elements intended for form an orthogonal mark, each reference element of the calibration plate can be a reflecting element intended to interact with the movement capture member, - the mobile calibration tool can be a surgical tool, the at least one body reflective of the surgical tool may be a non-planar carrier having at least three reflective balls, the surgical training console may be provided with at least one reflecting element such that the position of the surgical training console is real-time tracking by the motion capture device, the surgical training console can have two parts, a first part ie forming a frame and a second part forming a surgical drive plate, the at least one reflecting element being located on the surgical drive plate, - the calibration plate can be a removable calibration plate, the surgical drive plate may be a removable surgical training plate, the removable calibration plate being able to be positioned on the frame of the surgical training console, in addition to or as a replacement for the removable surgical training plate,
  • a subject of the present invention is also a method for calibrating a connection system according to any one of the preceding claims, characterized in that the calibration comprises the following steps, in the order listed: a. positioning of the surgical training console (12) in a detection zone of the motion capture device (16), b. positioning of the calibration plate (19) in the detection area of the motion capture device (16), c. calibration of the movement capture device (16) on the first reference structure (32) of the calibration plate (19) so as to associate the first virtual reference (RI) with the calibration plate (19), d . calibration of the display device (18) on the second reference structure (34) of the calibration plate (19) so as to associate the second virtual reference (R2) with the calibration plate (19), e. alignment of the two virtual repositories (RI, R2).
  • the step of calibrating the motion capture device and the step of calibrating the display device can be performed by means of a computer program stored in the computing unit.
  • FIG. 1A is a diagram showing a first embodiment of a connection system according to the invention
  • FIG. 1B is a diagram showing a second embodiment of a connection system according to the invention
  • FIG. 2 is a perspective view of a surgical training console according to the invention
  • Figure 3 is a top view of a surgical drive plate according to the invention
  • FIG. 4 is a perspective view of a surgical tool intended to be used in the connection system according to the invention
  • FIG. 5 is a perspective view of a calibration plate according to a first embodiment
  • Figure 6 is a perspective view of the calibration plate of the previous figure, mounted on the surgical drive console frame of Figure 2
  • FIG. 7 is a front view of an operator carrying a display device and a mobile calibration member according to the invention
  • FIG. 8 is a diagram showing the different reference systems of the system according to the invention.
  • the present invention relates to a system 10 for connecting a surgical training device to a virtual device.
  • a surgical training device we will, first, describe the surgical training device 10, then we will describe the virtual device and finally, the connection of the two devices to each other.
  • the surgical drive device 10 comprises: a surgical drive console 12 forming a work zone, - at least one surgical tool 13 intended to be handled by an operator in interaction with the training console 12. a calculation unit 14 comprising tracking software,
  • the surgical training console 12 shown in FIG. 2 comprises two parts, a first part 12a forming a frame and a second part 12b forming a surgical training plate.
  • the frame 12a has a general table structure with four height adjustable legs and a frame 20.
  • the surgical drive plate 12b has a plate 22 dimensionally adjusted to the frame 20 of the frame 12a.
  • the plate 22 of the surgical drive plate 12b is intended to be placed on the frame 20 of the frame 12a, so that the frame 12a supports the surgical drive plate 12b.
  • an imitation 24 of the anatomical structure is attached on the tray 22 of the surgical drive plate 12b.
  • This imitation 24 has substantially the same dimensions and mechanical properties as the biological anatomical structure.
  • the surgical drive plate 12b is a removable surgical drive plate, that is, it can be removed from the frame 12a.
  • a surgical training console 12 can thus comprise several different surgical training plates 12b, each surgical training plate 12b comprising a different imitation 24.
  • the surgical drive plate 12b is secured to the frame 12a by means of, for example, screws 25.
  • a stabilization plate is positioned between the frame 12a and the surgical drive plate 12b to. increase the stability of the surgical training console 12.
  • the surgical training console 12 is provided with at least one reflective element 26 (see FIG. 3).
  • this reflecting element 26 is an infrared reflecting element. In this way, the position of the surgical training console 12 can be followed in real time by the motion capture member 16.
  • This reflecting element 25 is a tracking ball.
  • This reflective element is located on the plate 22 of the surgical drive plate 12b.
  • the plate 22 of the surgical drive plate 12b has a substantially rectangular shape and it comprises a member reflecting 26 (a tracking ball) in the vicinity of each of its corners. More precisely, the four reflecting elements 26 are fixed (for example by screwing) on the widths of the plate 22, two on each side. The distance between two reflective elements 26 is not the same on one side and the other, 9cm for one and 11cm for the other, so as to allow the motion capture device to identify orientation of the surgical training console 12.
  • the surgical training console 12 should be positioned so that it is seen by the motion capture member 16 even if it is moved slightly, for example if a user is inadvertently kicked in the body. frame feet 12a. indeed, as explained below, the surgical training console 12 is directly connected, after calibration of the system, to the position at which the operator perceives, in the virtual world, the patient to be operated on. If this position is not sensed in space, an offset of the surgical training console 12 can cause an offset with the image (of the patient to be operated on) perceived by the operator in the virtual world. When an operator uses the surgical training device, they are cut off from all visual interaction with the real world and only visually interact with the virtual world.
  • the frame 12a (and therefore the working area of the surgical training console 12) is positioned at an ideal distance of 1.9m from the motion capture member 16.
  • the member 16 faces the body.
  • console 12 work zone and the center of its field of view must be 0.5m above the frame 12a (see figure 1).
  • the operator uses the surgical drive device, he manipulates the surgical tool 13 and interacts with the imitation 24 of the surgical drive plate 12b of the surgical drive console 12.
  • the tool shown in Figure 4 is a tool for tissue dissection and hemostasis. This makes it possible to simulate a surgical intervention.
  • the at least one surgical tool 13 is moreover provided with at least one reflecting body 28.
  • this reflecting body 28 is an infrared reflecting body.
  • the reflecting body 28 of the surgical tool 13 is a non-planar support 29 comprising at least three reflecting elements 26. These elements reflective 26 are infrared reflective beads.
  • the size of the balls is 12mm in diameter. It has been observed that beads having a smaller diameter cause a loss of tracking. In addition, larger beads cause occlusion of the beads between them.
  • the reflecting body 28 comprising a non-planar support 29 is conventionally called a cluster.
  • the support 29 is designed to ensure the minimum presence of three balls forming a plane, in the field of vision of the motion capture member 16. This makes it possible to precisely define the position and orientation of the reflecting body 28 ( cluster) and therefore of the surgical tool 13.
  • the shape of this cluster can be related to an aggregation of incongruent triangles to avoid a reconstruction error by the tracking software.
  • the non-planar shape of the reflective body 28 implies that each trinomial of reflective beads forms / is contained in a different plane.
  • this non-planar shape makes it possible to obtain 60 ° more freedom during a rotation of the surgical tool 13 on itself but also a reduction in the loss of tracking by 50% during of the phase of insertion of the surgical instrument in the imitation 24 of the surgical training console 12.
  • This shape also facilitates the simultaneous manipulation of two surgical instruments 13 without causing discomfort or conflict between them: in fact , it minimizes the risk of collision and occlusion of clusters when two instruments are close to each other (during laparoscopic surgery for example).
  • the cluster has been developed to allow easy mounting on any type of surgical tool 13. It thus has two M4 holes to guarantee the orientation of the cluster once attached to a surgical tool 13. M4 is called a 4mm diameter hole. in ISO standard (M4).
  • M4 is called a 4mm diameter hole. in ISO standard (M4).
  • the shape of the cluster has been designed to guarantee a maximum degree of freedom in the movements of the operator and also to minimize the impact of the addition of the cluster on the surgical tool 13. Indeed, the ergonomics of the cluster are thoughtful so as not to hamper the operator's actions: for example, turning a dial with the index finger. Likewise, all the functionalities of the surgical instrument 13 must remain unchanged. Thus, the working area of the console 12 must maximize the freedom of movement of the operator and also maximize the visibility of the reflective elements 26 of the reflective body 28 of each surgical tool 13.
  • the computing unit 14 is chosen so as to be capable of rendering high-resolution real-time rendering in virtual reality.
  • the present invention is not a simple device gesture analysis, but a visual learning device, the virtual reality perceived by the operator must therefore be of very good quality.
  • the motion capture member 16 is, in the embodiment of FIG. 1A, a tracking bar.
  • This tracking bar is made up of three infrared cameras each spaced 25cm apart from each other, each camera having three infrared emitters arranged around it.
  • the cameras have a resolution of 640x480 pixels with a maximum frequency of 120Hz.
  • Each camera lens has an 800nm infrared filter.
  • Each infrared emitter is composed of a circular strip of 26 infrared LEDs of variable power (range between 0.6m and 4.5m) and a bandwidth of 850nm.
  • the motion capture device 16 is fixed on a mobile support adjustable to 2 meters in height. In another embodiment (see FIG.
  • the motion capture member 16 may include four independent infrared cameras, positioned around the console 12 and each connected to the computing unit 14.
  • the connection system according to FIG. The invention is based on infrared. This makes it possible to limit the risks of occlusion which can penalize the continuous monitoring of the positioning of the surgical instrument 13 and of the surgical drive console 12. This also makes it possible to simultaneously connect a large number of surgical instruments 13 and to ensure to the perfect recognition of each of these surgical instruments 13 by the tracking system.
  • the display device 18 can for example be a virtual reality headset, adjustable to the user and able to provide audio feedback.
  • it may be an HP reverb® headset with two screens with a resolution of 2160x2160 pixels. Each screen has a display frequency of 90 Hz.
  • the headset is connected to the computing unit 14 by a cable (for example a displayport.or hdmi cable).
  • the display device 18 is associated with a mobile calibration tool 30 (see FIG. 6).
  • the mobile calibration tool 30 can take the form of a conventional joystick but it can also, among other solutions, be a surgical tool 13.
  • the display device 18 forms the link between the surgical training device 10 and the virtual device. Indeed, the surgical training device 10 is the device manipulated by the operator but the virtual device is that which is perceived by the operator.
  • the virtual console and the at least one virtual tool are made visible to the operator by the display device 18.
  • the virtual device comprises: a virtual console having a geometry corresponding to the geometry of the surgical training console 12, at least one virtual tool, each virtual tool having an avatar of the surgical tool 13, this avatar possibly being a copy presenting a geometry corresponding to that of the surgical tool 13 or which can take any other form.
  • the virtual console takes the geometry of the imitation 24 of the surgical training console 12.
  • the virtual tool is an image of the surgical tool 13 without the reflecting body 28.
  • the virtual device also comprises: a first virtual frame of reference RI defining a first virtual universe U 1 associated with the motion capture device 16, a second virtual frame of reference R2 defining a second virtual universe U2 associated with the display device 18.
  • connection system 10 comprises four different benchmarks: RI, R2, Rp, Rc.
  • the objective is to calibrate:
  • the calibration plate 30 is a removable calibration plate, that is to say it has dimensions making it suitable for being positioned on the frame 12a of the surgical training console 12.
  • the calibration plate 30 can be positioned on the frame 12a of the surgical training console 12. be positioned on the frame 12a in addition to or as a replacement for the surgical drive plate removable 12b.
  • the calibration plate 30 has the same dimensions as the surgical training console 12.
  • the calibration plate 19 has a first reference structure 32 intended to be associated with the first virtual reference frame RI, and a second reference structure 34 intended to be associated with the second virtual reference frame R2.
  • the first reference structure 32 of the calibration plate 30 comprises three reference elements intended to form an orthogonal mark.
  • Each reference element of the calibration plate is a reflecting element 26 intended to interact with the movement capture member 16.
  • the reference elements of the calibration plate 30 are therefore infrared reflecting elements 26. In particular, they are infrared reflective balls 14mm in diameter. The balls are positioned so as to build an orthogonal reference: X axis - 125mm between the two balls, and Z axis - 229mm between the two balls.
  • the Z axis is positioned on the motion capture member 16 side and perpendicular to the visual field of the member 16.
  • the X axis is directed towards the operator.
  • the second reference structure 34 is an indentation having a shape complementary to that of the mobile calibration tool 30. A keying device centered at the level of the center of this indentation makes it possible to guarantee the position and the orientation of the mobile calibration tool 30 when the latter is positioned on the calibration plate 19, during the calibration step.
  • the first reference structure 32 of the calibration plate 19 must be seen by the movement capture member 16 and, on the other hand, the mobile calibration tool 30 must be placed on the second reference structure 34.
  • the calibration plate 19 represents the origin of the real world. In this way, we obtain the alignment of the two virtual frames of reference RI, R2. This alignment allows a stable superposition of the two virtual universes U1, U2.
  • the calibration of the connection system is carried out according to the following steps: a. Positioning of the surgical training console 12 in a detection zone of the motion capture member 16. It is also possible to simply position the frame 12a of the surgical training console 12. b. Positioning of the calibration plate 19 in the detection zone of the motion capture member 16. In particular, the calibration plate 19 can be positioned on the frame 12a of the surgical console 12. c. Calibration of the movement capture member 16 on the first reference structure 32 of the calibration plate 19 so as to associate the first virtual reference system RI with the calibration plate 19. d. Calibration of the display device 18 on the second reference structure 34 of the calibration plate 19 so as to associate the second virtual reference frame R2 with the calibration plate 19. e. Alignment of the two virtual repositories RI, R2. f. Removing the calibration plate 19. g. Positioning of the removable surgical drive plate 12b on the frame 12a.
  • the calibration plate 19 and the mobile calibration tool 30 can be removed from the environment because the two virtual universes U1, U2 are stable reference points.
  • the surgical instrument 13 physically held in the operator's hand moves at the same time, in the real world and in the virtual world with sub-millimeter precision in the three planes of the machine. 'space.
  • the present connection system is a robust and precise tracking method that can accurately capture the movements of the instruments. This method guarantees the mobility and transportability of the simulators.
  • the surgical training console 12 is connected to the position of the patient perceived by the operator in the virtual scene. This position is therefore monitored in real time with infra-millimeter precision in the three planes of space in order to avoid any discrepancy between the virtual world and the real world.
  • a configuration wizard has been developed: thus, the step of calibrating the motion capture device 30 and the step of calibrating the device. display 18 are carried out by means of a computer program recorded in the calculation unit 14.
  • This wizard is executed when starting the calculation unit 14.
  • the wizard calculates the transformation matrix between the two virtual references RI, R2 and stores it in the calculation unit 14.
  • the assistant communicates with the operator by means of a screen and can thus give instructions to the operator. It is thus possible to run any simulation without having to perform a new calibration. If the motion capture member 16 is moved, however, a new calibration must be carried out. On the other hand, if the surgical training console 12 is moved during a simulation, the virtual scene is automatically registered to correspond to reality.
  • a function is executed at regular intervals (for example every 10 or 300 milliseconds) to check whether the surgical training console 12 has moved. If the console 12 has moved, the computing unit 14 automatically resets the virtual scene as a function of the position of the console 12. This routine running throughout the simulation thus makes it possible to detect a movement of the console 12 and to recalculate the position of the virtual scene in relation to the motion capture device 16.
  • connection system goes against the techniques currently used.
  • Existing techniques employ a single frame of reference, which is that of the motion capture device.
  • the display device 18 is positioned in the virtual universe U1 associated with the capture organ 16 using passive markers (balls reflecting infrared emitted with an external illuminator) or active (balls generating infrared light).
  • passive markers balls reflecting infrared emitted with an external illuminator
  • active balls generating infrared light.
  • the present invention takes the state of the art in reverse, in order to mitigate or eliminate these drawbacks.
  • the display device 18 therefore operates in its own virtual frame of reference R2, different from that of the tracked surgical tools 13 which operate in the virtual frame of reference RI of the tracking cameras of the movement sensor member 16. It is therefore necessary to superimpose the tracks.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Instructional Devices (AREA)

Abstract

Le dispositif d'entraînement chirurgical (10) comporte une console d'entrainement chirurgical (12), au moins un outil chirurgical, une unité de calcul (14), un organe de capture de mouvement (16), un dispositif d'affichage (18). Le dispositif d'affichage (18) est associé à un outil de calibration mobile. Le dispositif virtuel comporte une console virtuelle, au moins un outil virtuel, chaque outil virtuel présentant un avatar de l'outil chirurgical, un premier référentiel virtuel associé à l'organe de capture de mouvement (16), un deuxième référentiel virtuel associé au dispositif d'affichage (18). Le dispositif d'entraînement chirurgical comporte en outre une plaque de calibration qui présente une première structure de référence destinée à être associée au premier référentiel virtuel, et une deuxième structure de référence destinée à être associée au deuxième référentiel virtuel.

Description

SYSTÈME DE CONNEXION D’UN DISPOSITIF D’ENTRAÎNEMENT CHIRURGICAL À UN DISPOSITIF VIRTUEL
DOMAINE TECHNIQUE DE L'INVENTION La présente invention concerne le domaine des instruments et matériels médicaux. Plus particulièrement, l’invention concerne un dispositif de simulations chirurgicales.
ARRIÈRE-PLAN TECHNIQUE
Il est connu, dans le domaine de la médecine, de proposer des dispositifs d’entraînement aux apprenants chirurgiens et chirurgiennes. Les apprenants peuvent bien évidemment s’entraîner sur des corps de défunts mais ceux-ci sont en nombre limité. Les apprenants peuvent également s’entraîner sur des patients vivants sous la supervision d’un chirurgien ou d’une chirurgienne confirmé(e), mais cette pratique présente toutefois un risque pour le patient. Il est donc essentiel de proposer des systèmes permettant de libérer l’apprentissage de la chirurgie de la disponibilité de corps de défunts ou de patients.
De nombreux exemples de tels systèmes existent déjà dans l’état de la technique, comme illustrés par exemple, dans les documents EP 1746558 Bl, et WO 2019204615 (Al).
Le document EP1746558 B divulgue un système pour simuler une opération chirurgicale, par un utilisateur, sur un corps, simulé avec au moins deux instruments réels. Le système comprend une piste longitudinale et une pluralité de chariots mobiles le long de ladite piste. Chaque chariot a des moyens de serrage et des moyens pour faire tourner et déplacer longitudinalement lesdits instruments réels. Le système comprend également des moyens de rétroaction pour recevoir et transmettre, à la main de l'utilisateur, une force de rétroaction dudit instrument réel par rapport à la caractéristique de simulation, des moyens pour reconnaître un instrument réel à insérer dans lesdits moyens de serrage, moyennant quoi ledit instrument réel peut être fixé à l’intérieur desdits moyens de serrage pour être déplacé longitudinalement et tourné par l'utilisateur. Le document WO 2019204615 (Al) divulgue un appareil comprenant un dispositif d’endoscopie, et un dispositif de suivi adapté pour fonctionner avec un système de suivi tridimensionnel pour suivre l'emplacement et l'orientation du dispositif d’endoscopie dans trois dimensions dans un environnement simulé de salle d’opération. L’appareil comprend également un modèle physique de tête de patient comprenant des composants durs et mous, et le dispositif d’endoscopie est configuré pour être inséré dans le modèle physique pour fournir une rétroaction haptique de la chirurgie endoscopique.
Les deux documents divulguent des dispositifs d’entraînement à la chirurgie en combinant un système mécanique (instruments chirurgicaux et/ou consoles d’entraînement) avec un système de capteurs et un système d’affichage. Les capteurs permettent de déterminer le positionnement des instruments utilisés par l’opérateur par rapport aux éléments de la console d’entraînement. Des données sont affichées sur un système d’affichage pour aider l’apprenant chirurgien dans ses démarches. Toutefois, aucun de ces dispositifs ne permet une immersion réelle. Les conditions du bloc opératoire ne sont pas reproduites et l’apprenant ne peut pas retrouver toutes les sensations propres à une intervention chirurgicale en bloc. Il manque, aux divulgations de l’état de la technique, une composante virtuelle à la simulation, afin de se rapprocher de manière significative des conditions d’opération en bloc. La seule manière de reproduire ces conditions de manière pertinente est de plonger l’opérateur dans un monde virtuel, tout en lui permettant de manipuler des instruments chirurgicaux réels afin de le préparer au mieux, aux véritables conditions du bloc.
La réalité virtuelle est par ailleurs utilisée pour accompagner un(e) chirurgien(ne) au cours d’une intervention chirurgicale, comme par exemple illustré par le document WO 2017114834 (Al). Le document WO 2017114834 (Al) divulgue une unité de commande prévue pour un système de robot chirurgical, comprenant un robot configuré pour faire fonctionner un outil chirurgical sur un patient. L'unité de commande comprend un processeur configuré pour transmettre des images en direct acquises sur le patient à un dispositif de réalité virtuelle (VR) pour affichage. L’unité traite les données d'entrée reçues du dispositif VR pour déterminer une cible chez le patient et déterminer un chemin pour que l’outil chirurgical atteigne la cible sur la base des images en direct et des données d'entrée traitées ; et pour transmettre des signaux de commande pour amener le robot à guider l’outil chirurgical vers la cible via le chemin déterminé.
Toutefois, dans un cas d’accompagnement d’un chirurgien(ne) au cours d’une opération, il ne s’agit pas de recréer les conditions du bloc opératoire dans le but d’y familiariser un(e) débutant(e).
Les divulgations de l’état de la technique ne permettent pas à l’utilisateur de manipuler de véritables instruments de chirurgie simultanément dans le monde physique et dans un monde virtuel reproduisant les conditions opératoires du bloc, notamment avec une précision suffisante pour vraiment permettre à un utilisateur de ne pas sentir de décalage entre sa manipulation physique dans le monde réel et l’effet ressenti dans le bloc opératoire virtuel.
C’est à ces inconvénients qu’entend plus particulièrement remédier l’invention en proposant un dispositif de simulation chirurgicale alliant un monde virtuel à l’utilisation d’instruments chirurgicaux réels en connectant les deux univers, l’un réel, l’autre virtuel avec une grande précision.
RÉSUMÉ DE L’INVENTION
La présente invention a notamment pour objectif de proposer d’une part, un système de connexion entre un monde virtuel et un monde réel fiable et robuste, permettant de relier un dispositif de simulation chirurgicale mobile avec un univers virtuel recréant, pour l’utilisateur, les conditions du bloc opératoire.
On parvient à réaliser cet objectif, conformément à l’invention grâce à un système de connexion d’un dispositif d’entraînement chirurgical à un dispositif virtuel, le dispositif d’entraînement chirurgical comportant : une console d’entrainement chirurgical formant zone de travail, au moins un outil chirurgical destiné à être manipulé par un opérateur en interaction avec la console d’entraînement chirurgical, - une unité de calcul,
- un organe de capture de mouvement relié à l’organe de calcul,
- un dispositif d’affichage relié à l’unité de calcul, le dispositif d’affichage étant associé à un outil de calibration mobile, - l’au moins un outil chirurgical étant muni d’au moins un corps réfléchissant de manière à ce que la position de l’au moins un outil chirurgical soit suivie en temps réel par l’organe de capture de mouvement, le dispositif virtuel comportant : une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical, au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical, un premier référentiel virtuel définissant un premier univers virtuel associé à l’organe de capture de mouvement, - un deuxième référentiel virtuel définissant un deuxième univers virtuel associé au dispositif d’affichage, la console virtuelle et l’au moins un outil virtuel étant rendus visibles, pour l’opérateur, par le dispositif d’affichage, le dispositif d’entraînement chirurgical comportant en outre une plaque de calibration, cette plaque de calibration présentant : une première structure de référence destinée à être associée au premier référentiel virtuel, et
- une deuxième structure de référence destinée à être associée au deuxième référentiel virtuel, la deuxième structure de référence étant une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile, de manière à obtenir l’alignement des deux référentiels virtuels, cet alignement permettant une superposition stable des deux univers virtuels.
Ainsi, cette solution permet d’atteindre l’objectif susmentionné. En particulier, Le système de connexion selon l’invention est peu encombrant, il ne nécessite que peu d’éléments réels et il peut être monté dans n’importe quel environnement. Chaque instrument de chirurgie utilisé dans le cadre des étapes opératoires d’une procédure chirurgicale simulée et la console d’entraînement chirurgical sont connectés en temps réel à la réalité virtuelle et permettent de plonger tout utilisateur dans un environnement virtuel de qualité tout en le laissant manipuler de véritables outils chirurgicaux, dans un environnement réel qui peut être extrêmement éloigné de celui d’un bloc opératoire réel. Il pourrait par exemple s’agir d’une chambre d’étudiant ou d’une salle de classe.
Le système de connexion selon l’invention peut comprendre une ou plusieurs des caractéristiques suivantes, prises isolément les unes des autres ou en combinaison les unes avec les autres : la première structure de référence de la plaque de calibration peut comporter trois éléments de référence destinés à former un repère orthogonal, chaque élément de référence de la plaque de calibration peut être un élément réfléchissant destiné à interagir avec l’organe de capture de mouvement, - l’outil de calibration mobile peut être un outil chirurgical, l’au moins un corps réfléchissant de l’outil chirurgical peut être un support non planaire comportant au moins trois billes réfléchissantes, la console d’entraînement chirurgical peut être munie d’au moins un élément réfléchissant de manière à ce que la position de la console d’entraînement chirurgical soit suivi en temps réel par l’organe de capture de mouvement, la console d’entraînement chirurgical peut comporter deux parties, une première partie formant bâti et une deuxième partie formant plaque d’entraînement chirurgical, l’au moins un élément réfléchissant étant situé sur la plaque d’entraînement chirurgical, - la plaque de calibration peut être une plaque de calibration amovible, la plaque d’entraînement chirurgical peut être une plaque d’entraînement chirurgical amovible, la plaque de calibration amovible étant apte à être positionnée sur le bâti de la console d’entraînement chirurgical, en complément ou en remplacement de la plaque d’entraînement chirurgical amovible, l’organe de capture de mouvement peut comporter au moins une caméra infrarouge et au moins un émetteur infrarouge, chaque élément et/ou corps réfléchissant étant un élément e/ou corps réfléchissant aux infrarouges.
La présente invention a également pour objet, un procédé de calibration d’un système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que la calibration comporte les étapes suivantes, dans l’ordre d’énonciation : a. positionnement de la console d’entrainement chirurgical (12) dans une zone de détection de l’organe de capture de mouvement (16), b. positionnement de la plaque de calibration (19) dans la zone de détection de l’organe de capture de mouvement (16), c. calibration de l’organe de capture de mouvements (16) sur la première structure de référence (32) de la plaque de calibration (19) de manière à associer le premier référentiel virtuel (RI) à la plaque de calibration (19), d. calibration du dispositif d’affichage (18) sur la deuxième structure de référence (34) de la plaque de calibration (19) de manière à associer le deuxième référentiel (R2) virtuel à la plaque de calibration (19), e. alignement des deux référentiels virtuels (RI, R2).
L’étape de calibration de l’organe de capture de mouvement et l’étape de calibration du dispositif d’affichage peuvent être réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul.
BRÈVE DESCRIPTION DES FIGURES
D'autres caractéristiques et avantages de l'invention apparaîtront au cours de la lecture de la description détaillée qui va suivre pour la compréhension de laquelle on se reportera aux dessins annexés dans lesquels : la figure IA est un schéma représentant un premier mode de réalisation d’un système de connexion selon l’invention, la figure IB est un schéma représentant un deuxième mode de réalisation d’un système de connexion selon l’invention ; la figure 2 est une vue en perspective d’une console d’entrainement chirurgical selon l’invention ; la figure 3 est une vue de dessus d’une plaque d’entraînement chirurgical selon l’invention ; la figure 4 est une vue en perspective d’un outil chirurgical destiné à servir dans le système de connexion selon l’invention ; la figure 5 est une vue en perspective d’une plaque de calibration selon un premier mode de réalisation ; la figure 6 est une vue en perspective de la plaque de calibration de la figure précédente, montée sur le bâti de console d’entraînement chirurgical de la figure 2 ; la figure 7 est une vue de face d’une opératrice portant un dispositif d’affichage et un organe de calibration mobile selon l’invention ; la figure 8 est un schéma représentant les différents référentiels du système selon l’invention.
DESCRIPTION DÉTAILLÉE DE L'INVENTION
La présente invention porte sur un système de connexion 10 d’un dispositif d’entraînement chirurgical à un dispositif virtuel. Nous allons, dans un premier temps, décrire le dispositif d’entraînement chirurgical 10 puis nous décrirons le dispositif virtuel et finalement, la connexion des deux dispositifs entre eux.
Comme représenté schématiquement sur la figure, 1, on voit que le dispositif d’entraînement chirurgical 10 comporte : une console d'entraînement chirurgical 12 formant zone de travail, - au moins un outil chirurgical 13 destiné à être manipulé par un opérateur en interaction avec la console d’entraînement 12. une unité de calcul 14 comportant un logiciel de tracking,
- un organe de capture de mouvement 16 relié à l’organe de calcul 14,
- un dispositif d’affichage 18 relié à l’unité de calcul 14, - une plaque de calibration 19. La puissance électrique du système est donnée par un bloc d’alimentation 12V/3A (non représenté). Les données sont quant à elles transmises par un moyen de communication fïlaire (USB 2.0, Ethernet) ou par un moyen de communication non fïlaire (Wifï, Bluetooth, ...). La console d’entraînement chirurgical 12 représentée sur la figure 2, comporte deux parties, une première partie 12a formant bâti et une deuxième partie 12b formant plaque d’entraînement chirurgical. Le bâti 12a présente une structure générale de table avec quatre pieds à hauteur réglable et un cadre 20. La plaque d’entraînement chirurgical 12b comporte un plateau 22 aux dimensions ajustées au cadre 20 du bâti 12a. Le plateau 22 de la plaque d’entraînement chirurgical 12b est destiné à être posée sur le cadre 20 du bâti 12a, de manière à ce que le bâti 12a supporte la plaque d’entraînement chirurgical 12b. Sur le plateau 22 de la plaque d’entraînement chirurgical 12b, une imitation 24 de structure anatomique est fixée. Cette imitation 24 présente sensiblement les mêmes dimensions et propriétés mécaniques que la structure anatomique biologique. La plaque d’entraînement chirurgical 12b est une plaque d’entraînement chirurgical amovible, c’est-à-dire qu’elle peut être retirée du bâti 12a. Une console d’entraînement chirurgical 12 peut ainsi comprendre plusieurs plaques d’entraînement chirurgical 12b différentes, chaque plaque d’entraînement chirurgical 12b comportant une imitation 24 différente. La plaque d’entraînement chirurgical 12b est fixée sur le bâti 12a au moyen, par exemple, de vis 25. Dans un mode de réalisation non représenté, une plaque de stabilisation est positionnée entre le bâti 12a et la plaque d’entraînement chirurgical 12b pour augmenter la stabilité de la console d’entraînement chirurgical 12.
La console d’entraînement chirurgical 12 est munie d’au moins un élément réfléchissant 26 (voir figure 3). En particulier, cet élément réfléchissant 26 est un élément réfléchissant aux infrarouges. De cette manière, la position de la console d’entraînement chirurgical 12 peut être suivie en temps réel par l’organe de capture de mouvement 16. Cet élément réfléchissant 25 est une bille de tracking. Cet élément réfléchissant est situé sur le plateau 22 de la plaque d’entraînement chirurgical 12b. Dans le mode de réalisation illustre aux figures 2 et 3, le plateau 22 de la plaque d’entraînement chirurgical 12b présente une forme sensiblement rectangulaire et elle comporte un élément réfléchissant 26 (une bille de tracking) au voisinage de chacun de ses coins. De manière plus précise, les quatre éléments réfléchissants 26 sont fixés (par exemple par vissage) sur les largeurs de la plaque 22, deux de chaque côté. La distance entre deux éléments réfléchissants 26 n’est pas la même d’un côté et de l’autre, 9cm pour l’un et 11cm pour l’autre, de manière à permettre à l’organe de capture de mouvement d’identifier l’orientation de la console d’entraînement chirurgical 12.
La console d'entraînement chirurgical 12 doit être positionnée de telle sorte qu’elle soit vue par l’organe de capture de mouvement 16 même si elle est légèrement déplacée, par exemple si un utilisateur donné, par mégarde, un coup de pied dans les pieds du bâti 12a. en effet, comme explicité plus loin, la console d’entraînement chirurgical 12 est directement connectée, après calibration du système, à la position à laquelle l’opérateur perçoit, dans le monde virtuel, le patient à opérer. Si cette position n’est pas captée dans l’espace, un décalage de la console d’entraînement chirurgical 12 peut engendrer un décalage avec l’image (du patient à opérer) perçue par l’opérateur le monde virtuel. Lorsqu’un opérateur utilise le dispositif d’entraînement chirurgical, il est coupé de toute interaction visuelle avec le monde réel et n’a d’interaction visuelle qu’avec le monde virtuel. Il est donc essentiel d’éviter tout décalage temporel entre les interactions de l’opérateur avec la console d’entraînement chirurgicale 12 et les interactions perçues dans le monde virtuel, pour éviter tout décalage au niveau du cerveau de l’opérateur et tout inconfort induit. Par ailleurs une parfaite coordination entre les interactions de l’opérateur avec la console d’entraînement chirurgicale 12 et les interactions perçues dans le monde virtuel sont indispensables à un bon entraînement de la mémoire visuelle en harmonie avec la mémoire musculaire.
De préférence, le bâti 12a (et donc la zone de travail de la console d’entraînement chirurgical 12) est positionné à une distance idéale de 1,9m de l’organe de capture de mouvement 16. L’organe 16 fait face à la zone de travail de la console 12 et le centre de son champ de vue doit se situer à 0,5m au-dessus du bâti 12a (voir figure 1). Lorsque l’opérateur utilise le dispositif d’entraînement chirurgical, il manipule l’outil chirurgical 13 et interagit avec l’imitation 24 de la plaque d’entraînement chirurgical 12b de la console d’entraînement chirurgical 12.
L’outil représenté en figure 4 est un outil pour la dissection des tissus et l’hémostase. Ceci permet de simuler une intervention chirurgicale. L’au moins un outil chirurgical 13 est par ailleurs muni d’au moins un corps réfléchissant 28. De même que pour la console d’entrainement chirurgical 12, ce corps réfléchissant 28 est un corps réfléchissant aux infrarouges. Ainsi la position de cet outil chirurgical 13 est également suivie en temps réel par l’organe de capture de mouvement 16. Le corps réfléchissant 28 de l’outil chirurgical 13 est un support 29 non planaire comportant au moins trois éléments réfléchissants 26. Ces éléments réfléchissants 26 sont des billes réfléchissantes aux infrarouges. La taille des billes est de 12mm de diamètre. Il a été constaté que des billes présentant un diamètre plus petit, engendrent une perte de tracking. Par ailleurs, des billes plus grosses provoquent une occlusion des billes entres elles. Le corps réfléchissant 28 comportant un support 29 non planaire est classiquement appelé cluster. Le support 29 est conçu afin de garantir la présence minimale de trois billes formant un plan, dans le champ de vision de l’organe de capture de mouvement 16. Cela permet de définir avec précision la position et l’orientation du corps réfléchissant 28 (cluster) et donc de l’outil chirurgical 13. La forme de ce cluster peut être apparentée à une agrégation de triangles non congruents pour éviter une erreur de reconstruction par le logiciel de tracking. La forme non planaire du corps réfléchissant 28 implique que chaque trinôme de billes réfléchissantes forme/est contenu dans un plan différent. Comparativement à un cluster de géométrie plane, cette forme non planaire permet d’obtenir 60° de liberté en plus lors d’une rotation de l’outil chirurgical 13 sur lui-même mais aussi une diminution de la perte de tracking de 50%lors de la phase d’insertion de l’instrument chirurgical dans l’imitation 24 de la console d’entrainement chirurgical 12. Cette forme facilite de plus la manipulation simultanée de deux instruments chirurgicaux 13 sans provoquer de gêne ou de conflit entre eux : en effet, elle minimise le risque de collision et l’occlusion de clusters lorsque deux instruments sont proches l’un de l’autre (lors d’une chirurgie coelioscopique par exemple).
On appelle occlusion la superposition de deux objets 3D dans un plan 2D avec pour conséquence une perte d'information. Dans le cas présent, si on regarde un objet muni de billes réfléchissantes avec l’organe de capture de mouvement 16, on peut faire tourner l'objet jusqu'à ce que deux billes se "superposent" visuellement, la première bille cachant la seconde, et on observe une perte d'information sur la position de la seconde bille. Il devient alors impossible de savoir si elle est située 2 cm ou 1km derrière la première bille. On peut donc voir ça comme un angle mort où on ne voit pas ce qu'il passe à cause du premier objet qui cache le deuxième objet.
Le cluster a été développé pour permettre un montage facile sur tout type d’outils chirurgicaux 13. Il présente ainsi deux trous M4 pour garantir l’orientation du cluster une fois fixé à un outil chirurgical 13. On appelle M4, un trou de diamètre 4mm en norme ISO (M4). La forme du cluster a été conçue pour garantir un maximum de degré de liberté dans les mouvements de l’opérateur et aussi minimiser l’impact de l’ajout du cluster sur l’outil chirurgical 13. En effet, l’ergonomie du cluster est réfléchie pour ne pas gêner l’opérateur dans ses gestes : par exemple tourner une molette avec l’index. De même, toutes les fonctionnalités de l’instrument chirurgical 13 doivent rester inchangées. Ainsi, la zone de travail de la console 12 doit maximiser la liberté des mouvements de l’opérateur et aussi maximiser la visibilité des éléments réfléchissants 26 du corps réfléchissant 28 de chaque outil chirurgical 13. Une position trop proche de l’organe de capture de mouvement 16 ne permet pas de voir tous les mouvements de l’outil chirurgical 13 manipulé par l’opérateur. Une position de l’organe de capture de mouvement 16 trop éloignée pénalise la reconstruction des clusters : en effet, plus l’organe de capture de mouvement 16 est loin, moins les billes vont réfléchir la lumière émise par l’organe 16 et celui-ci les confond ou ne les voit plus.
L’unité de calcul 14 est choisie pour être capable de faire un rendu temps réel de haute résolution en réalité virtuelle. En effet, la présente invention n’est pas un simple dispositif d’analyse de geste, mais un dispositif d’apprentissage visuel, la réalité virtuelle perçue par l’opérateur doit ainsi être de très bonne qualité.
L’organe de capture de mouvement 16 est, dans le mode de réalisation de la figure IA, une barre de tracking. Cette barre de tracking est composée de trois caméras infrarouges espacées chacune de 25cm l’une de l’autre, chaque caméra ayant trois émetteurs infrarouges disposés autour d’elle. Les caméras présentent une résolution de 640x480 pixels avec une fréquence maximum de 120Hz. Chaque lentille de caméra possède un filtre infrarouge de 800nm. Chaque émetteur infrarouge est composé d’un bandeau circulaire de 26 LED infrarouges de puissance variable (portée comprise entre 0.6m et 4.5m) et d’une bande passante de 850nm. L’organe de capture de mouvement 16 est fixé sur un support mobile réglable à 2 mètres de hauteur. Dans un autre mode de réalisation (voir figure IB), l’organe de capture de mouvement 16 peut comporter quatre caméras infrarouges indépendantes, positionnées autour de la console 12 et chacune reliée à l’unité de calcul 14. Le système de connexion selon l’invention est basé sur l’infrarouge. Ceci permet de limiter les risques d’occlusion qui peuvent pénaliser le suivi continu du positionnement de l’instrument chirurgical 13 et de la console d’entraînement chirurgical 12. Ceci permet également de connecter simultanément un grand nombre d’instruments chirurgicaux 13 et de veiller à la parfaite reconnaissance de chacun de ces instruments chirurgicaux 13 par le système de suivi.
Le dispositif d’affichage 18 (voir figure 7) peut par exemple être un casque de réalité virtuelle, ajustable à l'utilisateur et pouvant fournir un retour audio. Plus particulièrement, il peut s’agir d’un casque HP reverb® possédant deux écrans d’une résolution de 2160x2160 pixels. Chaque écran a une fréquence d’affichage de 90 Hz. Le casque est relié à l'unité de calcul 14 par un câble (par exemple un câble displayport.ou hdmi).
De manière connue en soi, le dispositif d’affichage 18 est associé à un outil de calibration mobile 30 (voir figure 6). L’outil de calibration mobile 30 peut prendre la forme d’une manette classique mais il peut aussi, parmi d’autres solutions, être un outil chirurgical 13. Le dispositif d’affichage 18 fait le lien entre le dispositif d’entraînement chirurgical 10 et le dispositif virtuel. En effet, le dispositif d’entraînement chirurgical 10 est le dispositif manipulé par l’opérateur mais le dispositif virtuel est celui qui est perçu par l’opérateur. La console virtuelle et l’au moins un outil virtuel sont rendus visibles, pour l’opérateur, par le dispositif d’affichage 18.
Le dispositif virtuel comporte : une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical 12, au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical 13, cette avatar pouvant être une copie présentant une géométrie correspondant à celle de l’outil chirurgical 13 ou pouvant prendre une toute autre forme.
La console virtuelle reprend la géométrie de l’imitation 24 de la console d’entrainement chirurgical 12. L’outil virtuel est une image de l’outil chirurgical 13 sans le corps réfléchissant 28.
Le dispositif virtuel comporte par ailleurs : un premier référentiel virtuel RI définissant un premier univers virtuel U 1 associé à l’organe de capture de mouvement 16, un deuxième référentiel virtuel R2 définissant un deuxième univers virtuel U2 associé au dispositif d’affichage 18.
Plus précisément, il s’agit de déterminer la transformée entre RI et R2. Cette transformée s’obtient en déterminant la transformée entre un référentiel Rp de la plaque de calibration 19 et un référentiel Rc de l’outil de calibration mobile 30. Comme illustré sur la figure 8, on voit donc que le système de connexion 10 comporte quatre référentiels différents : RI, R2, Rp, Rc. L'objectif est de calibrer :
RI par rapport à R2 en utilisant les données obtenues par Rp dans le repère RI , et Rc dans le repère R2.
En connaissant la transformée entre Rp et Rc nous pouvons en déduire la transformée entre RI et R2. La position et l'orientation de la plaque de calibration 19 sont connues dans le repère RI de l’organe de capture de mouvement 16, ainsi on peut en déduire la matrice Mlp qui est la transformée entre le repère 0 (RI) de l’organe de capture de mouvement 16 et le repère de la plaque (Rp). D'autre part, la position et l'orientation de l’outil de calibration mobile 30 (Rc) dans le repère R2 du dispositif d’affichage 18. On peut donc créer la matrice MC2 qui correspond à la transformée entre l’outil de calibration mobile 30 (classiquement une manette) et le dispositif d’affichage 18 (qui peut être un casque). Par ailleurs, les dimensions et le dessin de la plaque de calibration 19 étant connus, la transformée entre la plaque de calibration 19 et l’outil de calibration mobile 30 est connue. Cette matrice est notée Mpc. Il s’agit de la matrice de transformation entre le repère de la plaque de calibration 19 (Rp) et le repère de l’outil de calibration mobile 30 (Rc)
Ainsi pour avoir la matrice de transformation (M12) entre les deux univers Ul, U2, celui de l’organe de capture de mouvement 16 (Ul), et celui du dispositif d’affichage 18 (U2), nous avons à calculer M12 :
Figure imgf000016_0001
Afin de faire coïncider le dispositif d’entraînement chirurgical 10 avec le dispositif virtuel, il faut donc faire coïncider les deux référentiels virtuels RI, R2 par une étape de calibration. Cette calibration des deux référentiels virtuels RI, R2 permet donc de calibrer le monde virtuel sur le monde réel. La calibration entre le monde réel et le monde virtuel est cruciale car elle permet d’obtenir une parfaite concordance des mouvements de l’opérateur dans le monde virtuel. Cette étape permet aussi de définir la position d’origine du monde virtuel. Cette étape est réalisée au moyen de la plaque de calibration 19.
La plaque de calibration 30 est une plaque de calibration amovible, c’est-à-dire qu’elle présente des dimensions la rendant apte à être positionnée sur le bâti 12a de la console d’entraînement chirurgical 12. La plaque de calibration 30 peut être positionnée sur le bâti 12a en complément ou en remplacement de la plaque d’entraînement chirurgical amovible 12b. La plaque de calibration 30 présente les mêmes dimensions que la console d’entraînement chirurgical 12.
Comme visible sur les figures 5 et 6, la plaque de calibration 19 présente une première structure de référence 32 destinée à être associée au premier référentiel virtuel RI, et une deuxième structure de référence 34 destinée à être associée au deuxième référentiel virtuel R2. Comme visible sur les figures 5 et 6, la première structure de référence 32 de la plaque de calibration 30 comporte trois éléments de référence destinés à former un repère orthogonal. Chaque élément de référence de la plaque de calibration est un élément réfléchissant 26 destiné à interagir avec l’organe de capture de mouvement 16. Les éléments de référence de la plaque de calibration 30 sont donc des éléments réfléchissants 26 aux infrarouges. En particulier, il s’agit de billes réfléchissantes aux infrarouges de 14mm de diamètre. Les billes sont positionnées de façon à construire un repère orthogonal : axe X - 125mm entre les deux billes, et axe Z - 229mm entre les deux billes. L’axe Z est positionné côté organe de capture de mouvement 16 et perpendiculaire au champ visuel de l’organe 16. L’axe X est dirigé vers l’opérateur. Comme visible sur les figures 5 et 6, la deuxième structure de référence 34 est une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile 30. Un détrompeur centré au niveau du centre de cette empreinte permet de garantir la position et l'orientation de l’outil de calibration mobile 30 lorsque celui-ci est positionnée sur la plaque de calibration 19, pendant l’étape de calibration.
Pour effectuer la calibration, d’une part la première structure de référence 32 de la plaque de calibration 19 doit être vue par l’organe de capture de mouvement 16 et, d’autre part, l’outil de calibration mobile 30 doit être placé sur la deuxième structure de référence 34. Au cours de cette étape de calibration, la plaque de calibration 19 représente l’origine du monde réel. On obtient de cette façon l’alignement des deux référentiels virtuels RI, R2. Cet alignement permet une superposition stable des deux univers virtuels Ul, U2.
La calibration du système de connexion est réalisée selon les étapes suivantes : a. Positionnement de la console d’entrainement chirurgical 12 dans une zone de détection de l’organe de capture de mouvement 16. On peut aussi simplement positionner le bâti 12a de la console d’entraînement chirurgical 12. b. Positionnement de la plaque de calibration 19 dans la zone de détection de l’organe de capture de mouvement 16. En particulier, la plaque de calibration 19 peut être positionnée sur le bâti 12a de la console chirurgical 12. c. Calibration de l’organe de capture de mouvements 16 sur la première structure de référence 32 de la plaque de calibration 19 de manière à associer le premier référentiel virtuel RI à la plaque de calibration 19. d. Calibration du dispositif d’affichage 18 sur la deuxième structure de référence 34 de la plaque de calibration 19 de manière à associer le deuxième référentiel virtuel R2 à la plaque de calibration 19. e. Alignement des deux référentiels virtuels RI, R2. f. Retrait de la plaque de calibration 19. g. Mise en place de la plaque d’entraînement chirurgical amovible 12b sur le bâti 12a.
Une fois cette calibration effectuée, la plaque de calibration 19 et l’outil de calibration mobile 30 peuvent être retirés de l’environnement car les deux univers virtuels Ul, U2 sont des points de référence stables.
Une fois que la calibration est effectuée, l’instrument de chirurgie 13 physiquement tenu dans la main de l’opérateur se déplace en même temps, dans le monde réel et dans le monde virtuel avec une précision infra-millimétrique dans les trois plans de l’espace. Le présent système de connexion est une méthode de suivi robuste et précise qui permet de capter avec précision les mouvements des instruments. Cette méthode garantit la mobilité et la transportabilité des simulateurs. La console d’entraînement chirurgical 12 est connectée à la position du patient perçu par l’opérateur dans la scène virtuelle. Cette position est donc suivie en temps réel avec une précision infra-millimétrique dans les trois plans de l’espace afin d’éviter tout décalage entre le monde virtuel et le monde réel.
Pour faciliter la mise en place et garantir la répétabilité du positionnement de la zone de travail, un assistant de configuration a été développé : ainsi, l’étape de calibration de l’organe de capture de mouvement 30 et l’étape de calibration du dispositif d’affichage 18 sont réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul 14. Cet assistant s'exécute au démarrage de l’unité de calcul 14. L’assistant calcule la matrice de transformation entre les deux repères virtuels RI , R2 et la stocke dans l’unité de calcul 14. L’assistant communique avec l’opérateur au moyen d’un écran et peut ainsi donner des instructions à l’opérateur. Il est ainsi possible d'exécuter n’importe quelle simulation sans avoir à effectuer une nouvelle calibration. Si l’organe de capture de mouvement 16 est déplacé, il faut toutefois effectuer une nouvelle calibration. Par contre, si la console d’entraînement chirurgical 12 est déplacée pendant une simulation, la scène virtuelle est recalée automatiquement pour correspondre à la réalité. En effet, une fonction s’exécute à intervalle régulier (par exemple toutes les 10 ou 300 millisecondes) pour vérifier si la console d’entraînement chirurgical 12 a bougé. Si la console 12 a bougé, l’unité de calcul 14 recale automatiquement la scène virtuelle en fonction de la position de la console 12. Cette routine s’exécutant pendant toute la simulation permet ainsi de détecter un mouvement de la console 12 et de recalculer la position de la scène virtuelle par rapport à l’organe de capture de mouvement 16.
Le système de connexion selon l’invention, vient prendre à contrepied les techniques actuellement employées. Les techniques existantes emploient un référentiel unique, qui est celui de l’organe de capture de mouvement. Le dispositif d’affichage 18 est positionné dans l’univers virtuel U1 associé à l’organe de capture 16 grâce à des marqueurs passifs (boules réfléchissant les infrarouges émis avec un illuminateur externe) ou actifs (boules générant de la lumière infrarouge). Ces techniques présentes les inconvénients suivants : - coût élevé à cause de la modification physiquement de chaque dispositif d’affichage 18 et, des organes de calibration mobiles 30 associés ; augmentation de l’espace de stockage nécessaire pour le dispositif d’affichage 18 ; qualité de suivi (tracking) limitée par les capacités de suivi de l’organe de capture de mouvement 16 , avec plus ou moins de problèmes d’occlusion selon le nombre et la position des caméras de tracking optique de l’organe de capture de mouvement 16.
La présente invention vient prendre l’état de l’art à contrepied, afin d’atténuer ou supprimer ces inconvénients.
En effet, le tracking natif du dispositif d’affichage 18 est conservé, en l'occurrence un tracking inside-out qui limite les problèmes d’occlusion et dont la latence et le positionnement sont parfaitement optimisés. Le dispositif d’affichage évolue donc dans son propre référentiel virtuel R2, différent de celui des outils chirurgicaux 13 trackés qui évoluent dans le référentiel virtuel RI des caméras de tracking de l’organe de capteur de mouvement 16. Il est donc nécessaire de superposer les deux univers virtuels Ul, U2, en alignant leurs référentiels virtuels RI, R2, afin que les objets trackés apparaissent à leur position réelle dans l’univers virtuel U2 du dispositif d’affichage 18.

Claims

REVENDICATIONS
1. Système de connexion d’un dispositif d’entraînement chirurgical (10) à un dispositif virtuel, le dispositif d’entraînement chirurgical (10) comportant :
- une console d’entrainement chirurgical (12) formant zone de travail,
- au moins un outil chirurgical (13) destiné à être manipulé par un opérateur en interaction avec la console d’entraînement chirurgical (12),
- une unité de calcul (14),
- un organe de capture de mouvement (16) relié à l’organe de calcul (14),
- un dispositif d’affichage (18) relié à l’unité de calcul (14), le dispositif d’affichage (18) étant associé à un outil de calibration mobile (30), l’au moins un outil chirurgical (13) étant muni d’au moins un corps réfléchissant (28) de manière à ce que la position de l’au moins un outil chirurgical (13) soit suivie en temps réel par l’organe de capture de mouvement (16), le dispositif virtuel comportant :
- une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical (12),
- au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical (13),
- un premier référentiel virtuel (RI) définissant un premier univers virtuel (Ul) associé à l’organe de capture de mouvement (16),
- un deuxième référentiel virtuel (R2) définissant un deuxième univers virtuel (U2) associé au dispositif d’affichage (18), la console virtuelle et l’au moins un outil virtuel étant rendus visibles, pour l’opérateur, par le dispositif d’affichage (18), le dispositif d’entraînement chirurgical (10) comportant en outre une plaque de calibration (19), cette plaque de calibration (19) présentant :
- une première structure de référence (32) destinée à être associée au premier référentiel virtuel (RI), et - une deuxième structure de référence (34) destinée à être associée au deuxième référentiel virtuel (R2), la deuxième structure de référence (34) étant une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile (30), de manière à obtenir l’alignement des deux référentiels virtuels (RI, R2), cet alignement permettant une superposition stable des deux univers virtuels (Ul, U2).
2. Système de connexion selon la revendication précédente, caractérisé en ce que la première structure de référence (32) de la plaque de calibration (19) comporte trois éléments de référence destinés à former un repère orthogonal.
3. Système de connexion selon la revendication précédente, caractérisé en ce que chaque élément de référence de la plaque de calibration est un élément réfléchissant (26) destiné à interagir avec l’organe de capture de mouvement (16).
4. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que l’outil de calibration mobile (30) est un outil chirurgical.
5. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que l’au moins un corps réfléchissant (28) de l’outil chirurgical (13) est un support non planaire comportant au moins trois billes réfléchissantes.
6. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que la console d’entraînement chirurgical (12) est munie d’au moins un élément réfléchissant (26) de manière à ce que la position de la console d’entraînement chirurgical (12) soit suivi en temps réel par l’organe de capture de mouvement (16).
7. Système de connexion selon la revendication précédente, caractérisé en ce que la console d’entraînement chirurgical (12) comporte deux parties, une première partie formant bâti (12a) et une deuxième partie formant plaque d’entraînement chirurgical (12b), l’au moins un élément réfléchissant (26) étant situé sur la plaque d’entraînement chirurgical (12).
8. Système de connexion selon la revendication précédente, caractérisé en ce que
- la plaque de calibration (19) est une plaque de calibration amovible, - la plaque d’entraînement chirurgical (12) est une plaque d’entraînement chirurgical amovible,
- la plaque de calibration amovible (19) étant apte à être positionnée sur le bâti (12a) de la console d’entraînement chirurgical (12), en complément ou en remplacement de la plaque d’entraînement chirurgical amovible (19).
9. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que l’organe de capture de mouvement (16) comporte au moins une caméra infrarouge et au moins un émetteur infrarouge, chaque élément et/ou corps réfléchissant étant un élément e/ou corps réfléchissant aux infrarouges.
10. Procédé de calibration d’un système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que la calibration comporte les étapes suivantes, dans l’ordre d’énonciation : a. positionnement de la console d’entrainement chirurgical (12) dans une zone de détection de l’organe de capture de mouvement (16), b. positionnement de la plaque de calibration (19) dans la zone de détection de l’organe de capture de mouvement (16), c. calibration de l’organe de capture de mouvements (16) sur la première structure de référence (32) de la plaque de calibration (19) de manière à associer le premier référentiel virtuel (RI) à la plaque de calibration (19), d. calibration du dispositif d’affichage (18) sur la deuxième structure de référence (34) de la plaque de calibration (19) de manière à associer le deuxième référentiel (R2) virtuel à la plaque de calibration (19), e. alignement des deux référentiels virtuels (RI, R2).
11. Procédé de calibration d’un système de connexion selon la revendication précédente, caractérisé en ce que l’étape de calibration de l’organe de capture de mouvement (16) et l’étape de calibration du dispositif d’affichage (18) sont réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul (14).
PCT/FR2021/050632 2020-04-10 2021-04-09 Système de connexion d'un dispositif d'entraînement chirurgical à un dispositif virtuel WO2021205130A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2003651 2020-04-10
FR2003651A FR3109237B1 (fr) 2020-04-10 2020-04-10 Système de connexion d’un dispositif d’entraînement chirurgical à un dispositif virtuel

Publications (1)

Publication Number Publication Date
WO2021205130A1 true WO2021205130A1 (fr) 2021-10-14

Family

ID=74183173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2021/050632 WO2021205130A1 (fr) 2020-04-10 2021-04-09 Système de connexion d'un dispositif d'entraînement chirurgical à un dispositif virtuel

Country Status (2)

Country Link
FR (1) FR3109237B1 (fr)
WO (1) WO2021205130A1 (fr)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1746558B1 (fr) 2005-07-20 2013-07-17 MedTAG Ltd. Système de simulation d' intervention d'une méthode d' opération faite par l'utilisateur lors d'une procédure médicale
US20160030131A1 (en) * 2010-04-28 2016-02-04 Ryerson University System and methods for intraoperative guidance feedback
WO2016040376A1 (fr) * 2014-09-08 2016-03-17 Simx, Llc Simulateur de réalité augmentée pour un apprentissage de professionnels et d'étudiants
WO2017114834A1 (fr) 2015-12-29 2017-07-06 Koninklijke Philips N.V. Système, dispositif de commande et procédé utilisant un dispositif de réalité virtuelle pour chirurgie robotique
US20170221387A1 (en) * 2010-04-09 2017-08-03 University Of Florida Research Foundation, Incorporated Interactive mixed reality system and uses thereof
WO2019204615A1 (fr) 2018-04-18 2019-10-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Endoscope à réalité mixte et outils chirurgicaux à rétroaction haptique pour une simulation chirurgicale intégrée visuelle et haptique de réalité virtuelle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1746558B1 (fr) 2005-07-20 2013-07-17 MedTAG Ltd. Système de simulation d' intervention d'une méthode d' opération faite par l'utilisateur lors d'une procédure médicale
US20170221387A1 (en) * 2010-04-09 2017-08-03 University Of Florida Research Foundation, Incorporated Interactive mixed reality system and uses thereof
US20160030131A1 (en) * 2010-04-28 2016-02-04 Ryerson University System and methods for intraoperative guidance feedback
WO2016040376A1 (fr) * 2014-09-08 2016-03-17 Simx, Llc Simulateur de réalité augmentée pour un apprentissage de professionnels et d'étudiants
WO2017114834A1 (fr) 2015-12-29 2017-07-06 Koninklijke Philips N.V. Système, dispositif de commande et procédé utilisant un dispositif de réalité virtuelle pour chirurgie robotique
WO2019204615A1 (fr) 2018-04-18 2019-10-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Endoscope à réalité mixte et outils chirurgicaux à rétroaction haptique pour une simulation chirurgicale intégrée visuelle et haptique de réalité virtuelle

Also Published As

Publication number Publication date
FR3109237B1 (fr) 2022-08-05
FR3109237A1 (fr) 2021-10-15

Similar Documents

Publication Publication Date Title
EP0758477B1 (fr) Dispositif et procede de simulation d'un examen ou d'une operation chirurgicale effectuee sur un organe simule
CA2067209C (fr) Systeme intractif d'intervention locale a l'interieur d'une zone d'une structure non homogene
CA2942652C (fr) Systeme de simulation tridimensionnelle virtuelle propre a engendrer un environnement virtuel reunissant une pluralite d'utilisateurs et procede associe
CN107636534A (zh) 一般球面捕获方法
WO2019152619A1 (fr) Étalonnage basé sur le clignement d'un visiocasque transparent optique
FR2980681A3 (fr) Procede de determination des mesures oculaires et optiques d'interet pour la fabrication et le montage de verre de lunettes correcteurs, a l'aide d'une camera en contexte non controle
US20110091856A1 (en) Opthalmoscope simulator
US20200371338A1 (en) Microscope assembly for capturing and displaying three-dimensional images of a sample
JP2022519153A (ja) 頭部伝達関数へのヘッドセットの影響を補償すること
CN110554501B (zh) 头戴式显示器及用于确定佩戴其的用户的视线的方法
WO2021205130A1 (fr) Système de connexion d'un dispositif d'entraînement chirurgical à un dispositif virtuel
US11192246B2 (en) Two-axis rotatable mechanical eyeball
WO2017187095A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
US7764283B2 (en) Eye movement data replacement in motion capture
FR3042399A1 (fr) Methode de determination d'un parametre de comportement visuel d'un individu et dispositif de test associe
US11376733B2 (en) Mechanical eyeball for animatronic devices
FR3056770A1 (fr) Dispositif et procede de partage d'immersion dans un environnement virtuel
CN116457883A (zh) 3d环境中的内容回放和修改
Barabas Holographic television: measuring visual performance with holographic and other 3D television technologies
FR2894684A1 (fr) Systeme de visualisation pour la manipulation d'un objet
EP4133474A1 (fr) Dispositif de simulation chirurgicale
US20230129708A1 (en) Procedure guidance and training apparatus, methods and systems
WO2023218155A1 (fr) Plateforme d'entraînement
PATTI Reducing motion sickness on mobile phone based VR applications using 6DoF tracking
Chavez I3. 3: Invited Paper: Immersive Virtual Reality on the Desktop—System Integration of a Stereoscopic Display and Image‐based Tracking System

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21726147

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21726147

Country of ref document: EP

Kind code of ref document: A1