WO2024089352A1 - Systeme d'aide en temps reel a la realisation d'au moins un tunnel osseux par arthroscopie - Google Patents

Systeme d'aide en temps reel a la realisation d'au moins un tunnel osseux par arthroscopie Download PDF

Info

Publication number
WO2024089352A1
WO2024089352A1 PCT/FR2023/051659 FR2023051659W WO2024089352A1 WO 2024089352 A1 WO2024089352 A1 WO 2024089352A1 FR 2023051659 W FR2023051659 W FR 2023051659W WO 2024089352 A1 WO2024089352 A1 WO 2024089352A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
interest
current
intraoperative
projection
Prior art date
Application number
PCT/FR2023/051659
Other languages
English (en)
Inventor
Christian Lutz
Bertrand SONNERY-COTTET
Pierre Imbert
Yvon GAUTIER
Romain Benoit
Original Assignee
Areas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Areas filed Critical Areas
Publication of WO2024089352A1 publication Critical patent/WO2024089352A1/fr

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/317—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for bones or joints, e.g. osteoscopes, arthroscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Definitions

  • the present invention relates to assistance in arthroscopic surgery. More particularly, the invention relates to a real-time assistance system for the creation of at least one bone tunnel in a joint of a patient during an intervention.
  • Knee ligament reconstruction surgeries are interventions which consist of replacing one or more ligaments of the knee joint, connecting the femur to the tibia with a strip of tendon tissue, which will constitute the neoligament, taken from the patient (autograft), or more rarely, taken post mortem from donors (allograft). The surgeon will then create a bone tunnel in the femur and a bone tunnel in the tibia and position these tunnels in the insertions of the injured ligament, then pass the graft through these tunnels before fixing it.
  • ligaments there are the intra-articular ligaments, which connect the femur to the tibia passing through the joint space of the knee, a space defined and limited by the joint capsule.
  • the other category of ligament concerns the extra-articular ligaments, located on the periphery of the knee and which connect the knee to the tibia without passing into the joint space.
  • the intra-articular ligaments are easily identifiable and individualizable ligaments. In particular, they can be observed using an arthroscope, that is to say by introducing a mini camera into the joint space through a mini incision (arthroscopic portal).
  • the extra-articular ligaments are located at the periphery of the joint, and are “glued” to the joint capsule. These ligaments are therefore not observable under arthroscopy, they are difficult to identify and individualize. During surgery, identifying these extra-articular ligaments and in particular their bony insertions to reconstruct them requires making large incisions and a long dissection stage. Certain very thin extra-articular ligaments stuck to the joint capsule, such as for example the anterolateral ligament or the medial patellofemoral ligament, are almost impossible to identify by dissection.
  • ACL anterior cruciate ligament
  • ALL anterolateral ligament
  • a first targeting technique called “IN OUT”
  • the femoral pin is placed from the inside to the outside of the joint.
  • the exit from the tunnel on the external part of the bone is not controlled and is likely to cause iatrogenic lesions.
  • this technique does not allow the positioning of the grafts for the reconstruction of extra-articular ligaments such as the anterolateral ligament.
  • OUT IN In a second aiming technique called “OUT IN”, the pin is placed from the outside towards the inside of the joint. This technique makes it possible to achieve sightings with the knee at 90 degrees of flexion.
  • OUT IN sights the entry point on the outside of the bone is made percutaneously (ie through the skin) and the area is chosen after palpation of the bony relief (here, the lateral epicondyle). The positioning of this entry point by palpation therefore remains unreliable and difficult to reproduce.
  • the invention relates to a system for assisting in the creation of at least one bone tunnel arthroscopically in a joint of a patient using a surgical drilling instrument, comprising an imaging device or a monitoring device. measurement, a tracking device and a programmable device, said programmable device being adapted to:
  • an intraoperative partial three-dimensional anatomical model comprising a representation of the at least one portion of interest of the joint, by:
  • the invention relates to a real-time assistance system for creating at least one bone tunnel arthroscopically in a patient's joint using a surgical drilling instrument, comprising an imaging device capable of acquiring two-dimensional images of portions of the patient's joint, a monitoring device and a programmable device, said programmable device being adapted to: - obtain a preoperative three-dimensional anatomical model specific to the patient, said model comprising a representation of at least one portion of interest of the patient's joint and a representation of anatomical structures of interest,
  • a surgeon carrying out an intervention requiring the creation of at least one bone tunnel can know in real time, depending on the position and orientation of his surgical drilling instrument, the corresponding positions of the zone d the entrance and exit zone of the bone tunnel to be created. The surgeon can thus adjust the position and orientation of the surgical drilling instrument in order to target a precise entry zone, or exit zone, of the bone tunnel.
  • the registration of the preoperative three-dimensional anatomical model on the intraoperative partial three-dimensional anatomical model is obtained via a 3D/3D registration technique.
  • said intraoperative partial three-dimensional anatomical model comprising a representation of the portion of interest of the joint.
  • the programmable device is further configured to calculate:
  • first projections of a first part of the representation of the anatomical structures of interest during an intervention phase and/or
  • anatomical structures of interest we mean anatomical landmarks making it possible to help during the intervention to position the working instruments such as the surgical drilling instrument to create a bone tunnel.
  • the anatomical structures of interest include bony contours of the femur, tibia, patella and head of the fibula, a representation of the cartilaginous contours of the femur, tibia, a complete or partial representation of the anterior cruciate ligament , posterior cruciate ligament, external lateral ligament, internal lateral ligament, patellofemoral ligament.
  • the anatomical structures of interest include bony reliefs, cartilaginous boundaries, tendinous or ligamentous structures.
  • the anatomical structures of interest include anatomical landmarks and any so-called noble structure not to be damaged during an intervention.
  • the real-time help system further comprises a display unit and is further adapted to display on the display unit:
  • a surgeon during an operation can visualize in real time the position of the entry zone and the exit zone and adjust the position/orientation of his surgical drilling instrument so as to avoid any damage to the anatomical structures of the surgical instrument. 'interest.
  • the real-time assistance system is further adapted to, before obtaining the preoperative three-dimensional anatomical model, obtain and store a plurality of preoperative two-dimensional and/or three-dimensional images comprising the portion of interest of the joint.
  • the real-time assistance system is further adapted to calculate an intersection between the current estimate of the location zone of the first orifice, respectively of the second orifice, current with the first projections of the first part , respectively the second projections of the second part of the representation of the anatomical structures of interest.
  • the real-time assistance system makes it possible to detect, depending on the position and orientation of the surgical drilling instrument, any possibility of intersection of the corresponding bone tunnel with this position and this orientation.
  • the real-time assistance system is further adapted, when the intersection with the first, respectively second, projections comprises a portion of the first projections of the first part of the representation of the anatomical structures of interest or a portion of the second projections of the second part of the representation of the anatomical structures of interest, to display an information message on the first, respectively, the second overlay.
  • the display of an information message helps the surgeon in real time to adjust the current position and orientation of his surgical drilling instrument, and therefore reduces the risk of error during surgery.
  • the real-time assistance system is further adapted to, after making a first bone tunnel in the patient's joint, calculate on the first, respectively second, current projection a first, respectively second, pattern representative of the location of the first bone tunnel.
  • the system is further configured to calculate a three-dimensional representation of the first bone tunnel and to calculate, on the first, respectively second, current projection, a first , respectively second, two-dimensional view of said three-dimensional representation of the first bone tunnel.
  • the location of the first bone tunnel made is known and will be able to be used by the surgeon to find his way in his work space in order to create a second bone tunnel without the latter interfering with the first bone tunnel.
  • the real-time assistance system is further adapted to display, on the first projection, the first pattern (ie the first two-dimensional view of said three-dimensional representation of the first bone tunnel) and, on the second projection , the second pattern (ie the second two-dimensional view of said three-dimensional representation of the first bone tunnel).
  • the real-time assistance system is further adapted to calculate a three-dimensional representation of the first bone tunnel produced.
  • the display of the calculated three-dimensional representation thus makes it possible to check, for example, whether the first bone tunnel made is indeed made in the bone over its entire length and whether it has sufficiently thick walls so as not to risk fracture of the first bone tunnel.
  • means of fixing an intratunnel graft such as interference screws.
  • the fracture of a tunnel is known by the English name “cortical wall blow out”.
  • an extra-tunnel fixation means such as a button.
  • the real-time assistance system is further adapted to calculate an intersection between the current estimate of the location zone of the first, respectively the second, orifice and, on the one hand, the first pattern (i.e. the first two-dimensional view), on the other hand, the second pattern (i.e. the second two-dimensional view).
  • the real-time help system is further adapted when the intersection with the first (i.e. the first two-dimensional view), respectively second pattern (i.e. the second two-dimensional view), comprises at least a portion of the first pattern (i.e. the first two-dimensional view), respectively a portion of the second pattern (i.e. the second two-dimensional view), to display an information message on the first, respectively second, superposition.
  • the display of an information message helps the surgeon in real time to adjust the current position and orientation of his surgical drilling instrument.
  • Another aspect of the invention relates to a computer-implemented method of assisting in the creation of at least one bone tunnel arthroscopically in a joint of a patient using a surgical drilling instrument, said method comprising: - obtain a preoperative three-dimensional anatomical model specific to the patient, said model comprising a representation of at least one portion of interest of the patient's joint and a representation of anatomical structures of interest,
  • an intraoperative partial three-dimensional anatomical model comprising a representation of said at least one portion of interest of the joint, by:
  • Another aspect of the invention relates to a computer program product comprising instructions which cause the system described above to execute the steps of the method according to the present invention.
  • the invention relates to a computer program product comprising instructions for implementing the following steps of a method of assisting in real time in the creation of at least one bone tunnel by arthroscopy in a joint of a patient during execution of the program by a processor of a programmable device:
  • the invention relates to a method of real-time assistance in creating at least one bone tunnel arthroscopically in a patient's joint, comprising the following steps:
  • Another aspect of the invention relates to a computer readable medium (non-transitory), on which the computer program described above is recorded.
  • the present invention relates to a real-time assistance system 1 for the creation of at least one bone tunnel by arthroscopy in a patient's joint.
  • the joint is one of the patient's knees.
  • bone tunnel is meant a tunnel made in a bone of the patient, in particular the femur and the tibia, and intended to receive a neoligament.
  • the installation of a neoligament of the knee involves drilling the femoral and/or tibial ends for the passage of the neoligament, these drillings constituting the aforementioned bone tunnel.
  • Figure 1 is a representation of a real-time assistance system for creating a bone tunnel according to one or more embodiments of the invention.
  • Figure 2 represents an example of a preoperative three-dimensional model of a portion of interest of a patient's joint.
  • Figure 3 represents a flowchart of the steps carried out during a three-dimensional model reconstruction algorithm according to one or more embodiments.
  • Figure 4 represents a first type of correction carried out during step E20 of the flowchart of Figure 3.
  • Figure 5 represents a second type of correction carried out during step E20 of the flowchart of Figure 3.
  • Figure 6 represents a superposition of an intraoperative partial three-dimensional model and a preoperative three-dimensional model according to one or more embodiments of the invention.
  • Figure 7 represents a partitioning of a knee according to one or more embodiments of the invention.
  • the subfigures of Figure 8 are different examples of two-dimensional projections of parts of the knee and in different directions.
  • Figure 8h and Figure 8i are schematic representations of a femoral epiphysis and a tibial epiphysis.
  • Figure 9 represents a two-dimensional projection of a portion of interest of a patient's knee with several projections of anatomical structures of interest according to one or more embodiments.
  • Figure 10 represents another two-dimensional projection of a portion of interest of a patient's knee with several projections of anatomical structures of interest according to one or more embodiments.
  • Figure 11 represents a superposition of an intraoperative two-dimensional image with a current location zone of one end of a surgical drilling instrument according to one or more embodiments.
  • Figure 12a represents a superposition of a first orifice of a bone tunnel to be produced on a first two-dimensional projection according to one or more embodiments.
  • Figure 12b is another example of superposition of an intraoperative two-dimensional image with a current location zone of one end of a surgical drilling instrument according to one or more embodiments such as the superposition of Figure 11.
  • Figure 12c represents a superposition of a second orifice of the bone tunnel to be produced in Figure 12a on a second two-dimensional projection according to one or more embodiments.
  • Figure 13a represents a superposition of an alert message on the first two-dimensional projection of Figure 9.
  • Figure 13b is another example of superposition of an intraoperative two-dimensional image with a current location zone of one end of a surgical drilling instrument such as the superposition of Figure 11, according to one or more embodiments.
  • Figure 13c represents a superposition of another alert message on the other two-dimensional projection of Figure 10 according to one or more embodiments.
  • Figure 14 represents an overlay of a positive message for the creation of a bone tunnel according to one or more embodiments.
  • Figure 15 represents a superposition of a representation of a bone tunnel produced on a two-dimensional projection according to one or more embodiments.
  • Figure 16 represents a superposition of a representation of a first bone tunnel already made and a planned representation of a second bone tunnel to be made during the same intervention according to one or more embodiments.
  • Figure 17 is a flowchart of the steps carried out during a method of real-time assistance in the creation by arthroscopy of at least one bone tunnel according to one or more embodiments.
  • the real-time assistance system shown in Figure 1, comprises an imaging device 2 capable of acquiring two-dimensional images of portions of the patient's joint, a tracking device 3 and a programmable device 6.
  • the imaging device 2 is for example an arthroscope.
  • An arthroscope is a thin tube equipped with a miniaturized lens connected to a camera allowing you to visualize the inside of a joint.
  • the arthroscope is inserted into the joint after incision.
  • the diameter of the arthroscope is of the order of a few millimeters.
  • the imaging device 2 acquires a stream, preferably continuous, of two-dimensional images of all or part of the patient's joint.
  • a surgeon uses a surgical drilling instrument 5 such as a motor surgical, comprising a piercing end.
  • the drilling end allows tunnels to be made in bone structures.
  • the end of the surgical drilling instrument 5 is a drill or a pin.
  • the tracking device 3 comprises for example one or more cameras making it possible to identify and monitor in real time the position in space of the different instruments used during the intervention, such as the imaging device 2 and the surgical instrument. drilling device 5.
  • On the imaging device 2 and the surgical drilling instrument 5 are fixed one or more markers configured to emit, receive, or reflect electromagnetic radiation, so as to be identified by the tracking device 3.
  • one or more passive markers can be fixed on the imaging device 2 and the surgical drilling instrument 5, so as to be visible on images acquired by the tracking device 3.
  • the passive markers are QR codes, AR tags or 3D markers.
  • the system 1 is configured to receive measurements obtained using a measuring device, for example a contact probe. This measuring device makes it possible to obtain a cloud of points representative of the contact surface, in the case of the present invention of the surface of the portion of interest of the joint.
  • the measuring device can be mounted on a robotic arm or coupled with a marker rigidly attached to the probe itself. If a marker is used, it can be located in space by the tracking device 3 or another equivalent tracking device.
  • the measuring device can be a depth camera (for example: “ToF or Time of Flight” cameras, “EiDAR”, Kinect camera, RGB-D camera, etc.) configured to acquire images, in grayscale or color, which indicate the distance between the camera and objects in the scene. These images make it possible to obtain a 3D point cloud representative of the objects in the scene.
  • the system 1 may further comprise said measuring device.
  • the position in space of the imaging device 2 and the drilling instrument 5 relative to the tracking device 3 can then be known by triangulation.
  • the tracking device 3 recognizes directly without providing them with markers and their respective position and orientation relative to the tracking device is known.
  • the tracking device 3 is a Hololens TM type system making it possible to locate, using cameras, among others, the imaging device 2 and the surgical drilling instrument 5 in an operating room. Thus, as soon as the imaging device 2 or the surgical drilling instrument 5 are in the field of view of the cameras, the latter or these are identified and their positions are calculated and recorded.
  • the programmable device 6 is a processing device which can be for example a computer, a microprocessor, an integrated circuit, or even a programmable logic device (PLD).
  • the programmable device 6 may also include one or more graphics processors (GPU).
  • the programmable device 6 is configured to execute instructions stored on a computer-readable medium, such as an integrated circuit, a hard disk, a CD, a DVD, a RAM memory or a ROM memory.
  • a computer-readable medium such as an integrated circuit, a hard disk, a CD, a DVD, a RAM memory or a ROM memory.
  • the real-time assistance system 1 is adapted to assist in the creation of one or more bone tunnels during an arthroscopic intervention in the knee of a patient requiring a graft of one or several ligaments.
  • a preoperative three-dimensional model 7 of a portion of interest of the knee 8 is obtained as described below.
  • a preoperative three-dimensional model 7 is for example shown in Figure 2.
  • the portion of interest of the knee 8 includes the areas of the knee where the graft of the ligament(s) must be carried out.
  • the data is first obtained by magnetic resonance imaging (MRI).
  • the data includes different sections of the portion of interest of the knee 8.
  • section is meant a two-dimensional image.
  • the different sections are sections in planes parallel respectively to the sagittal, axial and coronal planes as defined in the field of magnetic resonance imaging.
  • the MRI technique can be two-dimensional, that is to say based on sequential acquisition triplets, or three-dimensional, that is to say based on volume acquisitions.
  • other techniques making it possible to acquire several sections of areas of interest can be used, such as for example computational axial tomography.
  • a programmable preoperative device generates, by applying a reconstruction algorithm to the data, the preoperative three-dimensional model 7.
  • the magnetic resonance imaging technique has the advantage of providing data relating to anatomical structures not accessible by techniques such as radiography.
  • the three-dimensional model 7 can include, for example, in addition to a representation of the bony contours of the femur, the tibia, the patella and the head of the fibula, a representation of the cartilaginous contours of the femur, the tibia, a complete representation or partial anterior cruciate ligament, posterior cruciate ligament, external lateral ligament, internal lateral ligament, patellofemoral ligament.
  • the reconstruction algorithm comprises two successive steps E10 and E20.
  • Figure 3 represents a flowchart of the different stages of the reconstruction algorithm.
  • a first step E10 the data acquired by MRI, for a plurality of subjects, are segmented and labeled, so as to generate a training database.
  • a deep neural network of the CNN type (Convolutional Neural Network) can be trained on said training database so as to generate as output a segmentation of the anatomical structures when the network receives as input at least one 3D image or a collection of 2D sections, representing the portion of interest of the patient's knee 8 (ie, data acquired by MRI).
  • a convolutional artificial neural network of the RCNN type (“Region-based Convolutional Neural Network”), such as the YOLACT++ architecture, can for example be used.
  • the operation of such a network is, for example, described in the article “YOLACT++ Better Real-Time Instance Segmentation”.
  • the model implemented by this type of artificial network once trained, carries out the prediction, in other words, the detection, segmentation and classification of structures present in each cut. Following the predictions, the sections are first merged by section plane (axial, sagittal or coronal) using a “slice matching” algorithm to generate three first 3D models. Then, an interplane fusion of these first three 3D models is carried out using 3D/3D registration. The preliminary 3D model generated is then obtained by refinement with a filtering algorithm and by elimination of outliers.
  • RCNN Faster, Mask RCNN
  • Computer Vision U-net
  • MeshCNN MeshCNN
  • SDU-Net SDU-Net
  • 3D CNN+ type neural network i.e., type of convolutional neural network used for the analysis of three-dimensional data
  • a preliminary three-dimensional model can then be reconstructed, for example, by using techniques described in patents FR2920565B1 or US7123255.
  • the preliminary three-dimensional model may contain errors (for example, poorly reconstructed anatomical structures) or present incomplete elements (for example as a result of the trauma suffered by the patient).
  • the second step E20 of the reconstruction algorithm aims to correct the preliminary three-dimensional model, on the basis of lessons learned from the literature related to the anatomy of the knee, as will be explained below.
  • a first type of correction carried out during the second step is the repositioning of a poorly placed structure during the generation of the preliminary three-dimensional model.
  • Figure 4 left shows the femoral insertion structure of the anterior cruciate ligament circled. In this figure 4, this femoral insertion structure is poorly positioned.
  • this femoral insertion structure is repositioned in the correct location, denoted H, as indicated in Figure 4, right.
  • the correct location is known, for example, from the literature on knee anatomy.
  • the repositioning from the incorrect position to the correct position is for example carried out manually by a designer in view of this knowledge.
  • an algorithm for reconstructing curves or surfaces will be applied to the incorrect element. positioned.
  • the repositioning is carried out using a neural network trained on a database of 3D models from step E10.
  • a network such as the 3D CNN network can be used.
  • a second type of correction carried out during the second step is the completion of incomplete elements.
  • Figure 5 left illustrates, inside the oval shape K, a representation of the external lateral ligament in the preliminary three-dimensional model. This representation is incomplete. Thus, during the second step, this representation will be completed as illustrated in Figure 5, right.
  • surgeon manipulates a surgical drilling instrument 5 of the surgical motor type equipped with a drill or a pin.
  • the surgical drilling instrument 5 is used to first identify areas of the skin to make incisions at the appropriate locations in the patient's knee in order to create the bone tunnel(s).
  • One aspect of the invention relates to the capacity of the real-time assistance system 1 to allow visualization in real time, and before performing the surgical act, when the surgeon manipulates the surgical drilling instrument 5 in order to make a tunnel bone 10, a first orifice l ia representing the entrance to the bone tunnel and a second orifice 11b representing the exit from the bone tunnel.
  • the first orifice 1 la and the second orifice 11b are determined, as will be described subsequently, as a function of the position and orientation, in real time, of the end of the surgical drilling instrument 5.
  • Entrance of the bone tunnel 10 means the surface area of the bone structure through which the end of the surgical drilling instrument 5 enters.
  • exit of the bone tunnel is meant the surface area of the structure bone through which the end of the surgical drilling instrument 5 emerges.
  • the system makes it possible to see in real time the position that the entry and exit orifices would occupy (respectively orifices l ia and 11b) if the surgeon continued the drilling operation with the drilling instrument according to a trajectory defined by the position and orientation of the instrument.
  • the surgeon will be able to adjust the position and orientation in space, relative to the knee, of the surgical drilling instrument. 5, to correctly position the bone tunnel 10 in relation to anatomical structures of interest which are known anatomical landmarks, and without damaging “noble” anatomical structures, such as neighboring tendinous or ligamentous structures.
  • the programmable device 6 Prior to the intervention, the programmable device 6 received the preoperative three-dimensional model 7 generated by the preoperative programmable device.
  • the preoperative three-dimensional model 7 is for example stored in a memory associated with the programmable device 6 or in a database accessible by the programmable device 6.
  • the position of the patient's knee in relation to the surgical drilling instrument 5 and the imaging device 2 must be known at all times.
  • markers such as pins
  • the frame of reference R is used to know the position of the knee to be operated on in relation to the surgical drilling instrument. 5.
  • the tracking device 3 captures information on the position and orientation of the fixed markers to the patient.
  • the R frame of reference allows the registration of the preoperative three-dimensional model 7 on the patient's knee.
  • the real-time position of the patient's knee in the operating room space is known.
  • the position of the knee in the space of the operating room can be known from the stream of images. Indeed, it is possible to obtain, from the image stream, a current partial three-dimensional model and to realign the preoperative three-dimensional model 7 on the current partial three-dimensional model. In particular, the distance between the imaging device 2 and the anatomical structures of which the latter produces the image can be known. Thus, the position of the knee in space can be known after registration.
  • the programmable device 6 of the real-time assistance system 1 can be configured to control all of the equipment used during the intervention.
  • the programmable device 6 is configured to receive signals from the tracking device 3, and calculate, on the basis of these signals, the position and orientation in real time in the space of the operating room of the elements of interest followed by the tracking device 3 (i.e., the patient's femur and tibia, the imaging device 2, the surgical drilling instrument 5 and optionally the measuring device).
  • An intraoperative partial three-dimensional model 9 of the portion of interest of the knee 8 is generated by the programmable device 6.
  • the term "partial” refers to the fact that the model concerns only all or part of the portion of interest of the knee and not the entire anatomical structure of the knee. It is recalled that the portion of interest of the knee 8 includes the areas of the knee where the graft of the ligament(s) must be carried out.
  • an operator palpates using a probe (ie, the measuring device), on which a marker is fixed, points on the surface of the patient's knee.
  • the marker can be spotted.
  • the marker fixed on the probe allows you to know the position in space of each point in the cloud of points obtained.
  • a probe mounted on a robotic arm can be used.
  • a depth camera ie, the measuring device
  • the measuring device measurement makes it possible to acquire the cloud of points representative of the portion of interest of the joint, in particular representative of the surface of the portion of interest of the joint.
  • An algorithm then generates at least one three-dimensional surface from this cloud of points, corresponding for example to a part of the femoral condyle in three dimensions.
  • a “bone morphing” algorithm can be used.
  • This algorithm(s) can be executed by the programmable device 6 in order to generate the intraoperative partial three-dimensional model 9.
  • an auxiliary programmable device can execute F(the) algorithm(s) and send the three-dimensional model intraoperative partial 9 generated to the programmable device 6.
  • the two-dimensional images acquired by the imaging device 2 can be used to generate the intraoperative partial three-dimensional model 9 in real time using depth maps generated from the image stream recorded by the device imaging device 2 and a SLAM algorithm (in English: “simultaneous localization and mapping”) executed by the programmable device 6.
  • the image flow is monocular. Thanks to the tracking device 3, we know in real time the position in space of the imaging device 2 which generates the video stream from which the partial three-dimensional model is generated, we thus know in real time the three-dimensional position of the model intraoperative partial three-dimensional 9 in space and also the position in space of the preoperative three-dimensional model 7.
  • a SLAM type algorithm is used to calculate the current partial three-dimensional model 8.
  • the SLAM type algorithms allow, from the use of two-dimensional images, acquired by an image sensor, and the position in the space of the image sensor, to produce, through predictions of depth maps associated with the two-dimensional images, a three-dimensional map of the scene observed in the two-dimensional images.
  • the three-dimensional map obtained can then be located in an associated repository to the image sensor which acquires the two-dimensional images.
  • this three-dimensional mapping is dynamic. In other words, it can be obtained in real time, as the image sensor acquires two-dimensional images of the scene.
  • a description of SLAM type algorithms can be found in the article “Visual SLAM algorithms: a survey from 2010 to 2016”, T. Taketomi et al., IPSJ Transactions on Computer Vision and Applications (2017).
  • the programmable device 6 executes, in real time, a 3D/3D registration algorithm making it possible to superimpose in real time the preoperative three-dimensional model 7 on the intraoperative partial three-dimensional model 9.
  • a 3D/registration 3D advantageously makes it possible to obtain a more precise superposition than in the case of a 2D/3D registration.
  • Such a superposition is shown in Figure 6. For example, an algorithm minimizing the distance between corresponding points can be used.
  • a superposition S(t) can be displayed on a display screen visible to the surgeon, so that the latter can view in real time, based on the correspondence between the preoperative three-dimensional model 7 and the intraoperative partial three-dimensional model 9 the position of the anatomical structures represented in the preoperative three-dimensional model in relation to the real position of the structures represented in the intraoperative partial three-dimensional model 9.
  • precise registration makes it possible to precisely locate the drilling tool and thus better calculate the information allowing the position of the bone tunnel to be anticipated, thus reducing the risk of error for the surgeon.
  • the S(t) overlay can be used to identify skin incision areas on the skin.
  • the intraoperative partial three-dimensional model 9 is superimposed on the preoperative three-dimensional model 7, three parts of the patient's knee can be defined on the superposition S(t), for example, by implementing a division algorithm by the device programmable 6.
  • the division algorithm creates three volumes in real time on the intraoperative partial three-dimensional model 9 by: separating the femur and the tibia by a plane passing through the joint space; separating the femur into two compartments (internal and external) at the level of a sagittal plane perpendicular to the plane of the joint space and passing through the apex of the notch.
  • a first part PGI corresponds to the volume occupied by the external condyle; a second part PG2 corresponds to the volume occupied by the internal condyle; finally, a third part PG3 corresponds to the volume occupied by the patient's tibial epiphysis.
  • the programmable device 6 executes an algorithm for calculating and generating a plurality of two-dimensional projections of the preoperative three-dimensional model 7.
  • This generation of two-dimensional images makes it possible to represent or display the preoperative three-dimensional model, which is a 3D object, on a two-dimensional medium such as a computer screen.
  • projection is meant a view of the preoperative three-dimensional model 7.
  • a geometric perspective projection or an orthogonal (or parallel) projection can be calculated and generated.
  • the calculation algorithm initially separates the femur from the tibia along a plane passing through the joint space.
  • These three parts i.e. the three volumes on the intraoperative partial three-dimensional model 9) PGI, PG2 and PG3 are then used to generate said plurality of two-dimensional projections.
  • Figure 9 is an example of the external projection (or lateral view) of the external condyle Pi. It can be observed: the femoral insertion zone A of the popliteus tendon, the femoral insertion zone B of the external lateral ligament, and the insertion zone of the anterolateral ligament C. These different elements represent the projections of the corresponding structures in the preoperative three-dimensional model 7 resulting from step E20.
  • Figure 10 is an example of the interior projection (or medial view) of the external condyle P2. H can be observed: the insertion surface D of the anterior cruciate ligament, the lower cartilaginous limit E, the proximal limit of the inter-condylar notch and the roof of the notch.
  • the insertion zone of the anterolateral ligament was not identifiable in the preliminary three-dimensional model obtained during the phase Preoperative Tl for data acquisition by magnetic resonance imaging and generation of the three-dimensional model 7. This area was typically reconstructed during the second step (E20) of the reconstruction algorithm aimed at correcting the preliminary three-dimensional model.
  • the imaging device 2 of the real-time assistance system 1 captures in real time a continuous stream of two-dimensional images.
  • the surgeon can view on a display device 12 such as a screen a current two-dimensional image I(t) of the portion of interest of the knee 8.
  • the programmable device 6 receives in real time a signal from the tracking device 3, on the basis of which it calculates the position and orientation Di(t) in real time of the monitoring device. imaging 2 relative to the reference frame R.
  • the position and orientation Di(t) include for example three coordinates and three angles.
  • the programmable device 6 receives in real time a signal from the tracking device 3, on the basis of which it calculates the position and orientation Ip(t) in real time of the end of drilling of the surgical drilling instrument 5.
  • the position and F orientation Ip(t) include for example three coordinates and three angles.
  • the real-time assistance system 1 allows the surgeon to adequately position and orient the surgical drilling instrument 5, before drilling the tunnel. bone, so as not to damage anatomical structures to be preserved during drilling.
  • a first projection P a and a second projection Pb among the projections Pi to P7 will be displayed on a first auxiliary display screen and a second screen visualization auxiliary, depending on the position and current orientation of the end of the surgical drilling instrument 5 and/or the imaging device 2.
  • current it is understood current, that is say corresponding to the current time t of the intervention.
  • the position and current orientation of the end of the surgical drilling instrument 5 and/or the imaging device 2 are known thanks to the second tracking device 3 and are collected and recorded by the programmable device 6.
  • the selection of the projections P a and Pb is carried out according to the following rules.
  • the first projection P a is the external projection (or lateral view) of the external condyle Pi
  • the second projection Pb is the interior projection (or medial view) of the external condyle P2.
  • the real-time position of the first part PGI, the second part PG2, and the third part PG3, is determined thanks to the real-time knowledge of the position of the patient's knee in the space of the operating room .
  • the first part PGI, the second part PG2, and the third part PG3 are calculated by the division algorithm previously described, applied to the preoperative three-dimensional model 7.
  • the latter is adjusted in real time to the intraoperative partial three-dimensional model 9 , whose position in the operating room space is known using the real-time position of the patient's knee.
  • the first projection P a is the external projection (or medial view) of the condyle internal Pi
  • the second projection Pb is the internal projection (or lateral view) of the internal condyle P2.
  • the first projection P a is the projection of the external tibia (or lateral view of the tibia) P ⁇
  • the second projection Pb is the projection of the internal tibia (or medial view of the tibia) P7.
  • the first projection P a is displayed and corresponds to the axial projection of the tibia P5
  • the second projection Pb corresponding to the projection of the internal tibia (or medial view of the tibia) P7.
  • the programmable device 6 executes an algorithm for calculating a current estimate of the current location zone L, in the current intraoperative two-dimensional image I(t), of the drilling end of the surgical drilling instrument 5.
  • the programmable device 6 executes an algorithm for calculating a current estimate of a location zone d a first orifice 1 la of the bone tunnel 10 to be produced, in the first projection P a , and a current estimate of a location zone of a second orifice 11b of the bone tunnel 10 to be produced, in the second projection Pb , for said current position and orientation Ip(t) of the end of the surgical drilling instrument 5.
  • the calculations are carried out on the basis of information obtained with the registration of the preoperative three-dimensional anatomical model with the intraoperative partial three-dimensional anatomical model ( on the basis of knowledge of the position in real time in the space of the operating room of the preoperative three-dimensional model -from step E20- real-time registered on the intraoperative three-dimensional model 9) and of the position and current orientation Ip(t) of the surgical drilling instrument 5.
  • the location zone of the first orifice I la of the bone tunnel 10 to be produced is superimposed on the first projection P a .
  • the location zone of the second orifice 11b of the bone tunnel 10 to be produced is superimposed on the second projection Pb.
  • the programmable device 6 is configured to produce a superposition image to be displayed on the display unit comprising this superposition of the location zone of the first orifice l ia of the bone tunnel 10 on the first projection P a .
  • the programmable device 6 is configured to produce a superposition image to be displayed on the display unit comprising this superposition of the location zone of the second orifice 11b of the bone tunnel 10 on the second projection Pb.
  • the first orifice l ia corresponds for example to the entry orifice of the bone tunnel 10 and the second orifice 1 then corresponds to the exit orifice of the bone tunnel 10, or vice versa.
  • Figure 12a represents the exterior projection of the external condyle Pi of Figure 8a, where a circle representative of the location zone of the first orifice 1a of the bone tunnel 10 has been superimposed.
  • the circle intersects with the femoral insertion zone of the popliteal tendon B.
  • Such a position of the first orifice l ia of the bone tunnel 10 is therefore not possible because the latter would damage the femoral insertion zone of the tendon popliteus b.
  • Figure 12c represents the interior projection of the external condyle P2 (i.e., section) of Figure 8b, where a circle representative of the location zone of the second orifice 11b of the bone tunnel 10 has been superimposed.
  • the circle intersects with the insertion zone of the anterolateral ligament E.
  • Such a position of the second orifice 11b of the bone tunnel 10 is therefore not possible because the latter would damage the femoral insertion zone of the anterolateral ligament.
  • the superposition of the current two-dimensional image I(t) and the current location zone L of the end of the drilling instrument 5 can be displayed between these two superpositions, by aligning Figures 12a , 12b and 12c.
  • the surgeon can adaptively move the surgical instrument drilling 5 in order to avoid any intersection with anatomical structures to be preserved represented in the projections.
  • the programmable device 6 executes a first algorithm for calculating the intersection of the location zone of the first orifice 1 la of the bone tunnel 10 with the projections of the anatomical structures present in the first projection P a .
  • the first intersection calculation algorithm is carried out on the basis of knowledge of the position in real time in the space of the operating room of the preoperative three-dimensional model 9 (from step E20) adjusted in real time on the intraoperative three-dimensional model 7.
  • the programmable device 6 executes a second algorithm for calculating the intersection of the location zone of the second orifice 11b of the bone tunnel 10 with the projections of the anatomical structures present in the second projection Pb.
  • the second algorithm for calculating d The intersection is carried out on the basis of knowledge of the position in real time in the space of the operating room of the preoperative three-dimensional model 9 (from step E20) real-time registered on the intraoperative three-dimensional model 7.
  • the programmable device 6 can execute a display algorithm, on the first projection P a , or respectively, the second projection Pb, an information message to warn the surgeon of the danger of damage, for example.
  • Figures 13a and 13c show examples of such overlays (i.e., overlay images).
  • the superposition image further includes the information message “LLE” meaning that there is a detected intersection of an orifice to be made with the femoral insertion of the external lateral ligament B.
  • the superposition image further includes the information message “cartilage” meaning that there is an intersection between the second orifice 11b to be made and the lower cartilage limit.
  • the programmable device 6 can execute a display algorithm, on the first projection P a , or respectively, the second projection Pb, of a positive message aimed at warning the surgeon that the positioning and orientation of the surgical instrument 5 are reliable and that he can drill the bone tunnel 10.
  • Figure 14 shows an example of such a superposition.
  • the “Safe” information message means that the position and orientation of the end of the surgical drilling instrument 5 are compatible with safe drilling of the bone tunnel 10.
  • the real-time assistance system 1 also makes it possible to assist the surgeon in the creation of several bone tunnels during the same operation.
  • the programmable device 6 executes an algorithm calculation aimed at calculating a three-dimensional representation of the first bone tunnel 10a (already made and present in the bone) as well as the location of this representation in the superposition S(t) (ie, superposition image calculated and displayed in real time) as follows.
  • the calculation algorithm is executed on the basis of knowledge of the real-time position in the space of the operating room of the preoperative three-dimensional model 9 (from step E20) real-time registered on the three-dimensional model intraoperative 7, and on the basis of knowledge of the position in real time in the space of the operating room of the surgical drilling instrument 5.
  • the algorithm thus makes it possible to record the trajectory of the surgical instrument drilling 5 when it penetrates and is moved inside a bony structure.
  • the recorded trajectory can then be displayed in real time.
  • the three-dimensional representation of the first bone tunnel 10a corresponds to the recorded trajectory.
  • the three-dimensional representation of the first bone tunnel 10a can be displayed either on the overlay S(t).
  • a two-dimensional view of the three-dimensional representation of the first bone tunnel 10a can be calculated and displayed superimposed on one of the first projection P a and the second projection Pb.
  • the programmable device 6 executes a display algorithm, on the first current projection P a and on the second current projection Pb, of the representation of the first bone tunnel 10a already produced.
  • the system is configured to generate a two-dimensional view of the three-dimensional representation of the first bone tunnel 10a already produced and produce an overlay image which includes an overlay of the first projection P a .
  • This two-dimensional view can be displayed (or rendered) on the overlay image using a first pattern, for example a dotted or hatched pattern.
  • the system is configured to generate a two-dimensional view of the three-dimensional representation of the first bone tunnel 10a already produced and to produce an overlay image which includes an overlay of the second projection Pb.
  • This two-dimensional view can be displayed (or rendered) on the overlay image using a second pattern, identical to or different from the first, for example a dotted or hatched pattern .
  • Figure 15 illustrates an example of such a display, where the two-dimensional view of the three-dimensional representation of the first bone tunnel 10a is represented in hatching (i.e. pattern).
  • the representation of the first bone tunnel is displayed in the form of a digital hologram superimposed on the first current projection P a , respectively the second current projection Pb.
  • This allows the surgeon to have a three-dimensional vision of his work space.
  • the surgeon can view the current first projection P a through augmented reality glasses, such as viewing glasses of a HololensTM system.
  • the programmable device 6 advantageously executes, in addition to the first intersection calculation algorithm and the second intersection calculation algorithm, a third algorithm for calculating intersection between the trajectory of the second bone tunnel 10b to be produced which is calculated in real time from the position in the space of the operating room of the drilling instrument 5 and the position in the space of the pre-operative three-dimensional model 7 and the representation of the first bone tunnel 10a.
  • the programmable device 6 advantageously executes a fourth algorithm for calculating the intersection between the trajectory of the second bone tunnel 10b to be produced and the representation of the first bone tunnel 10a.
  • the device programmable 6 can execute a display algorithm, on the first projection P a , or respectively, the second projection Pb, of an information message in order to warn the surgeon of the risk of intersection with the first bone tunnel 10a already accomplished.
  • the programmable device 6 can execute a display algorithm, on the first projection P a , or respectively, the second projection Pb, of a positive message aimed at warning the surgeon that the positioning and orientation of the surgical instrument 5 are reliable and that he can proceed to drilling the second bone tunnel 10b.
  • Figure 16 illustrates a projection among the first projection P a and the second projection Pb, on which have been superimposed a two-dimensional view of the three-dimensional representation of the first bone tunnel 10a already produced and a two-dimensional view of the predicted three-dimensional representation of the second bone tunnel 10b to be produced corresponding to the current position and orientation of the end of the drilling instrument 5.
  • Such an illustration of the superposition makes it possible to adjust the position and current orientation of the end of the drilling instrument 5 in order to avoid any interference between the first bone tunnel 10a already existing and the second bone tunnel 10b to be produced.
  • Another aspect of the invention relates to a method of real-time assistance in the creation of at least one bone tunnel 10 by arthroscopy in a joint of a patient, comprising the following steps:
  • an intraoperative partial three-dimensional anatomical model 9 from the flow of intraoperative two-dimensional images (and information monitoring the position and current orientation Di(t) of the imaging device) or alternatively , the cloud of points representative of the portion of interest of the joint obtained using the measuring device (and information tracking the position and current orientation of the measuring device),

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

L'invention concerne un système d'aide en temps réel (1) à la réalisation d'au moins un tunnel osseux (10) par arthroscopie dans une articulation d'un patient, comprenant un dispositif d'imagerie (2) apte à acquérir des images bidimensionnelles de portions de l'articulation du patient, un premier dispositif de suivi (3) et un dispositif programmable (6).

Description

SYSTEME D’AIDE EN TEMPS REEL A LA REALISATION D’AU MOINS UN
TUNNEL OSSEUX PAR ARTHROSCOPIE
DOMAINE DE L’INVENTION
La présente invention concerne l’assistance à la chirurgie par arthroscopie. Plus particulièrement, l’invention porte sur un système d’aide en temps réel à la réalisation d’au moins un tunnel osseux dans une articulation d’un patient lors d’une intervention.
ÉTAT DE LA TECHNIQUE
Les chirurgies de reconstruction ligamentaires du genou sont des interventions qui consistent à remplacer un ou plusieurs ligaments de l’articulation du genou, reliant le fémur au tibia avec une bandelette de tissu tendineux, qui constituera le néoligament, prélevée sur le patient (autogreffe), ou plus rarement, prélevée post mortem sur des donneurs (allogreffe). Le chirurgien va alors réaliser un tunnel osseux dans le fémur et un tunnel osseux dans le tibia et positionner ces tunnels dans les insertions du ligament lésé, puis faire passer la greffe dans ces tunnels avant de la fixer.
On peut distinguer deux grands types de ligaments. Tout d’abord, il existe les ligaments intra-articulaires, qui relient le fémur au tibia en passant dans l’espace articulaire du genou, espace défini et limité par la capsule articulaire. L’autre catégorie de ligament concerne les ligaments extra-articulaires, situés à la périphérie du genou et qui relient le genou au tibia sans passer dans l’espace articulaire.
Les ligaments intra-articulaires sont des ligaments facilement identifiables et individualisables. On peut en particulier les observer à l’aide d’un arthroscope, c’est-à- dire en introduisant à travers une mini incision (porte arthroscopique) une mini caméra dans l’espace articulaire.
A contrario, les ligaments extra- articulaires sont situés à la périphérie de l’articulation, et sont « collés » à la capsule articulaire. Ces ligaments ne sont donc pas observables sous arthroscopie, ils sont difficilement identifiables et individualisables. Lors d’une chirurgie, repérer ces ligaments extra-articulaires et en particulier leurs insertions osseuses pour les reconstruire nécessite la réalisation de larges incisions et une longue étape de dissection. Certains ligaments extra-articulaires très fins et collés à la capsule articulaire, comme par exemple le ligament antérolatéral ou le ligament fémoro-patellaire médial, ne sont quasiment pas identifiables par dissection.
Le placement de tunnels osseux dans l’insertion native des ligaments n’est donc pas toujours possible pour certaines structures ou dans certain cas lorsque cette insertion a été altérée lors du traumatisme (comme par exemple l’insertion fémorale du ligament croisé antérieur -LCA, qui est souvent lésée lors de la rupture de ce dernier).
Par ailleurs, il est souvent nécessaire, au cours d’une même intervention, de positionner plusieurs tunnels osseux. En effet, les études d’imagerie médicale de ces dernières années ont permis de démontrer que la rupture isolée du ligament croisé antérieur (LCA) est en fait rare et s’accompagne dans la grande majorité des cas d’une lésion d’un ligament extra- articulaire bien spécifique, le ligament antéro latéral (LAL). La reconstruction du LCA et du LAL est aujourd’hui indiquée pour la majorité des patients. Aussi, dans des cas plus rares d’entorse grave du genou, plusieurs ligaments intra- et extra- articulaires sont lésés et doivent être reconstruits.
Actuellement, des viseurs mécaniques aident au positionnement de tunnels osseux lors d’une intervention chirurgicale du genou pour les reconstructions des ligaments intra articulaires. Le principe repose sur la mise en place d’une broche guide sur laquelle sera ensuite percé le tunnel à l’aide d’une mèche canulée.
Dans une première technique de visée dites « IN OUT », la broche fémorale est mise en place de l’intérieur ver l’extérieur de l’articulation. Dans cette technique, la sortie du tunnel sur la partie externe de l’os n’est pas maîtrisée et est susceptible d’engendrer des lésions iatrogènes. Par ailleurs, cette technique ne permet pas le positionnement des greffes pour la reconstruction des ligaments extra-articulaires tel que le ligament antérolatéral.
Dans une deuxième technique de visée dite « OUT IN », la broche est mise en place de l’extérieur vers l’intérieur de l’articulation. Cette technique permet de réaliser des visées avec le genou à 90 degrés de flexion. Pour ces viseurs OUT IN, le point d’entrée sur l’extérieur de l’os est fait en percutané (i.e. à travers la peau) et la zone est choisie après palpation du relief osseux (ici, l’épicondyle latéral). Le positionnement de ce point d’entrée par palpation reste donc peu fiable et peu reproductible.
H existe par ailleurs des systèmes de visée assistés par ordinateur apportant des informations supplémentaires au chirurgien en utilisant en temps réel une technique d’imagerie, telle que la radioscopie, pendant l’intervention et en projetant des points acquis à l’aide d’un palpeur sur le genou du patient en temps réel sur cette imagerie. Cependant, la radioscopie en per opératoire est un processus irradiant. Aussi, ce système de visée ne prend en compte que le positionnement des tunnels en intra-articulaire et ne permet ni un positionnement précis de l’orifice extra-articulaire ni de réaliser le positionnement précis des greffes extra-articulaires.
H n’existe ainsi pas dans l’état de l’art de système permettant de répondre aux exigences nouvelles des reconstructions ligamentaire du genou, c’est-à-dire de système compatible et cohérent avec T arthro scopie, n’engendrant pas de temps opératoire supplémentaire important ou de surcoût important, précis et adapté aux reconstructions dans un même temps de deux ligaments, par exemple un ligament intra-articulaire et un ligament extraarticulaire.
RÉSUMÉ
L’invention concerne un système d’aide à la réalisation d’au moins un tunnel osseux par arthroscopie dans une articulation d’un patient à l’aide d’un instrument chirurgical de perçage, comprenant un dispositif d’imagerie ou un dispositif de mesure, un dispositif de suivi et un dispositif programmable, ledit dispositif programmable étant adapté à :
- obtenir un modèle anatomique tridimensionnel préopératoire spécifique au patient, ledit modèle comprenant une représentation d’au moins une portion d’intérêt de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir des informations de suivi de la position et de l’orientation courante de l’instrument chirurgical de perçage lors d’une manipulation dudit instrument chirurgical de perçage par un opérateur à l’aide du dispositif de suivi; - déterminer un modèle anatomique tridimensionnel partiel peropératoire, comprenant une représentation de la au moins une portion d’intérêt de l’articulation, en :
- acquérant, à l’aide du dispositif d’imagerie, un flux d’images bidimensionnelles peropératoires comprenant ladite au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante du dispositif d’imagerie à l’aide du dispositif de suivi ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire est obtenu à partir du flux d’images bidimensionnelles peropératoires et les dites informations de suivi de la position et de l’orientation courante, ou
- acquérant, à l’aide du dispositif de mesure, un nuage de points représentatif de la au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante dudit dispositif de mesure ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire est obtenu à partir dudit nuage de points;
- recaler le modèle anatomique tridimensionnel préopératoire sur le modèle anatomique tridimensionnel partiel peropératoire ;
- calculer, sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire, et de la position et orientation courante de l’instrument chirurgical de perçage :
* une zone de localisation courante, dans une image bidimensionnelle peropératoire courante, d’une extrémité de perçage de l’instrument chirurgical de perçage,
* une première projection comprenant une estimation courante d’une zone de localisation d’un premier orifice d’un tunnel osseux à réaliser,
* une deuxième projection comprenant une estimation courante d’une zone de localisation d’un deuxième orifice du tunnel osseux à réaliser.
Dans un mode de réalisation, l’invention concerne un système d’aide en temps réel à la réalisation d’au moins un tunnel osseux par arthroscopie dans une articulation d’un patient à l’aide d’un instrument chirurgical de perçage, comprenant un dispositif d’imagerie apte à acquérir des images bidimensionnelles de portions de l’articulation du patient, un dispositif de suivi et un dispositif programmable, ledit dispositif programmable étant adapté à : - obtenir un modèle anatomique tridimensionnel préopératoire spécifique au patient, ledit modèle comprenant une représentation d’au moins une portion d’intérêt de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir, à l’aide du dispositif d’imagerie, un flux d’images bidimensionnelles peropératoires, lesdites images bidimensionnelles peropératoires comprenant ladite portion d’intérêt de l’articulation et acquérir des informations de suivi de la position et de l’orientation courante du dispositif d’imagerie à l’aide du dispositif de suivi ;
- acquérir des informations de suivi de la position et de l’orientation courante de l’instrument chirurgical de perçage lors d’une manipulation de l’instrument chirurgical de perçage par un opérateur à l’aide du dispositif de suivi ;
- déterminer un modèle anatomique tridimensionnel partiel peropératoire à partir du flux d’images bidimensionnelles peropératoires et/ou d’un nuage de points représentatif de la portion d’intérêt de l’articulation obtenu à l’aide d’un dispositif de mesure ;
- recaler le modèle anatomique tridimensionnel préopératoire sur le modèle anatomique tridimensionnel partiel peropératoire ;
- calculer, sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire, et de la position et orientation courantes de l’instrument chirurgical de perçage :
* une zone de localisation courante, dans une image bidimensionnelle peropératoire courante, d’une extrémité de perçage de l’instrument chirurgical de perçage,
* une première projection comprenant une estimation courante d’une zone de localisation d’un premier orifice d’un tunnel osseux à réaliser,
* une deuxième projection comprenant une estimation courante d’une zone de localisation d’un deuxième orifice du tunnel osseux à réaliser.
Grâce à l’invention, un chirurgien exécutant une intervention nécessitant la réalisation d’au moins un tunnel osseux peut connaître en temps réel, en fonction de la position et l’orientation de son instrument chirurgical de perçage, les positions correspondantes de la zone d’entrée et de la zone de sortie du tunnel osseux à réaliser. Le chirurgien peut ainsi ajuster la position et l’orientation de l’instrument chirurgical de perçage afin de cibler une zone d’entrée, ou une zone de sortie, précise du tunnel osseux.
Dans un mode de réalisation, le recalage du modèle anatomique tridimensionnel préopératoire sur le modèle anatomique tridimensionnel partiel peropératoire est obtenu via une technique de recalage 3D/3D.
Dans un mode de réalisation, le ledit modèle anatomique tridimensionnel partiel peropératoire comprenant une représentation de la portion d’intérêt de l’articulation.
Dans un mode de réalisation, le dispositif programmable est en outre configuré pour calculer :
- dans la première projection, des premières projections d’une première partie de la représentation des structures anatomiques d’intérêt pendant une phase d’intervention, et/ou
- dans la deuxième projection, des deuxièmes projections d’une deuxième partie de la représentation des structures anatomiques d’intérêt.
Ainsi, il est possible pour un chirurgien, pendant une intervention, de connaître la position en temps réel de la zone d’entrée et de la zone de sortie du tunnel osseux à réaliser par rapport aux structures anatomiques d’intérêt et d’ajuster la position et/ou l’orientation de son instrument chirurgical de perçage de sorte à positionner la zone d’entrée et de la zone de sortie du tunnel osseux par rapport à ces structures anatomiques d’intérêt de façon à ne pas endommager certaines de ces structures anatomiques d’intérêt pendant le perçage du tunnel osseux. Par structures anatomiques d’intérêt, il est entendu des repères anatomiques permettant d’aider lors de l’intervention à positionner ses instruments de travail tel l’instrument chirurgical de perçage pour réaliser un tunnel osseux. Par exemple, les structures anatomiques d’intérêt comprennent des contours osseux du fémur, du tibia, de la patella et de la tête de la fibula, une représentation des contours cartilagineux du fémur, du tibia, une représentation complète ou partielle du ligament croisé antérieur, du ligament croisé postérieur, du ligament latéral externe, du ligament latéral interne, du ligament fémoropatellaire. En outre, les structures anatomiques d’intérêt comprennent des reliefs osseux, des limites cartilagineuses, des structures tendineuses ou ligamentaires. Autrement dit, les structures anatomiques d’intérêt comprennent des repères anatomiques et toute structure dite noble à ne pas endommage lors d’une intervention.
Dans un mode de réalisation, le système d’aide en temps réel comprend en outre une unité de visualisation et adapté en outre à afficher sur l’unité de visualisation :
* une superposition de l’image bidimensionnelle peropératoire courante et de la zone de localisation courante de l’extrémité de perçage de l’instrument chirurgical de perçage,
* une première superposition de la première projection et des premières projections de la première partie de la représentation des structures anatomiques d’intérêt,
* une deuxième superposition de la deuxième projection et des deuxièmes projections de la deuxième partie de la représentation des structures anatomiques d’intérêt.
Ainsi, un chirurgien en cours d’intervention peut visualiser en temps réel la position de la zone d’entrée et de la zone de sortie et ajuster la position/orientation de son instrument chirurgical de perçage de sorte à éviter tout endommagement des structures anatomiques d’intérêt.
Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre à, avant d’obtenir le modèle anatomique tridimensionnel préopératoire, obtenir et mémoriser une pluralité d’images bidimensionnelles et/ou tridimensionnelles préopératoires comprenant la portion d’intérêt de l’articulation.
Les interventions sur le genou étant souvent précédées, au préalable, d’examens mettant en œuvre la technique d’imagerie par résonance magnétique, comme classiquement dans le parcours de santé d’un patient, les résultats de tels examens peuvent être avantageusement utilisés pour générer le modèle tridimensionnel.
Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre à calculer une intersection entre l’estimation courante de la zone de localisation du premier orifice, respectivement du deuxième orifice, courante avec les premières projections de la première partie, respectivement les deuxièmes projections de la deuxième partie de la représentation des structures anatomiques d’intérêt. Ainsi, le système d’aide en temps réel permet de détecter, en fonction de la position et de l’orientation de l’instrument chirurgical de perçage, toute possibilité d’intersection du tunnel osseux correspondant avec cette position et cette orientation.
Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre, lorsque l’intersection avec les premières, respectivement deuxièmes, projections comprend une portion des premières projections de la première partie de la représentation des structures anatomiques d’intérêt ou une portion des deuxièmes projections de la deuxième partie de la représentation des structures anatomiques d’intérêt, à afficher un message d’information sur la première, respectivement, la deuxième superposition.
L’affichage d’un message d’information permet d’aider en temps réel le chirurgien à ajuster la position et l’orientation courante de son instrument chirurgical de perçage, et donc réduire le risque d’erreur pendant la chirurgie.
Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre à, après une réalisation d’un premier tunnel osseux dans l’articulation du patient, calculer sur la première, respectivement deuxième, projection courante un premier, respectivement deuxième, motif représentatif de la localisation du premier tunnel osseux. Autrement dit, après la réalisation d’un premier tunnel osseux dans l’articulation du patient, le système est en outre configuré pour calculer une représentation tridimensionnelle du premier tunnel osseux et à calculer, sur la première, respectivement deuxième, projection courante, une première, respectivement deuxième, vue bidimensionnelle de ladite représentation tridimensionnelle du premier tunnel osseux.
Ainsi, la localisation du premier tunnel osseux réalisé est connue et va pouvoir servir au chirurgien pour se repérer dans son espace de travail afin de réaliser un deuxième tunnel osseux sans que ce dernier n’interfère avec le premier tunnel osseux.
Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre à afficher, sur la première projection, le premier motif (i.e. la première vue bidimensionnelle de ladite représentation tridimensionnelle du premier tunnel osseux) et, sur la deuxième projection, le deuxième motif (i.e. la deuxième vue bidimensionnelle de ladite représentation tridimensionnelle du premier tunnel osseux). Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre à calculer une représentation tridimensionnelle du premier tunnel osseux réalisé.
L’affichage de la représentation tridimensionnelle calculée permet ainsi de vérifier par exemple si le premier tunnel osseux réalisé est bien réalisé dans l’os sur toute sa longueur et s’il possède des parois suffisamment épaisses pour ne pas risquer de fracture du premier tunnel osseux lors de la mise en place de moyens de fixation d’une greffe intra tunnellaire (tels des vis d’interférence). La fracture d’un tunnel est connue sous le nom anglais de « cortical wall blow out ». Ainsi, si le chirurgien sait qu’il a rasé la corticale, il pourra en prévention choisir d’utiliser un moyen de fixation extra tunnellaire, tel un bouton.
Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre à calculer une intersection entre l’estimation courante de la zone de localisation du premier, respectivement du deuxième, orifice et, d’une part le premier motif (i.e. la première vue bidimensionnelle), d’autre part, le deuxième motif (i.e. la deuxième vue bidimensionnelle).
Ceci permet, après une réalisation d’un premier tunnel osseux dans l’articulation du patient, si le chirurgien doit réaliser un deuxième tunnel osseux, d’en connaître la position en te temps réel par rapport à la position du premier tunnel osseux déjà réalisé.
Dans un mode de réalisation, le système d’aide en temps réel est adapté en outre lorsque l’intersection avec le premier (i.e. la première vue bidimensionnelle), respectivement deuxième motif (i.e. la deuxième vue bidimensionnelle), comprend au moins une portion du premier motif (i.e. la première vue bidimensionnelle), respectivement une portion du deuxième motif (i.e. la deuxième vue bidimensionnelle), à afficher un message d’information sur la première, respectivement deuxième, superposition.
L’affichage d’un message d’information permet d’aider en temps réel le chirurgien à ajuster la position et l’orientation courante de son instrument chirurgical de perçage.
Un autre aspect de l’invention porte sur une méthode mise en œuvre par ordinateur d’aide à la réalisation d’au moins un tunnel osseux par arthroscopie dans une articulation d’un patient à l’aide d’un instrument chirurgical de perçage, ladite méthode comprenant : - obtenir un modèle anatomique tridimensionnel préopératoire spécifique au patient, ledit modèle comprenant une représentation d’au moins une portion d’intérêt de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir des informations de suivi de la position et de l’orientation courante de l’instrument chirurgical de perçage lors d’une manipulation dudit instrument chirurgical de perçage par un opérateur à l’aide du dispositif de suivi ;
- déterminer un modèle anatomique tridimensionnel partiel peropératoire, comprenant une représentation de ladite au moins une portion d’intérêt de l’articulation, en :
- acquérant, à l’aide d’un dispositif d’imagerie, un flux d’images bidimensionnelles peropératoires de portions d’intérêt de l’articulation du patient, lesdites images bidimensionnelles peropératoires comprenant ladite au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante dudit dispositif d’imagerie à l’aide d’un dispositif de suivi ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire est obtenu à partir du flux d’images bidimensionnelles peropératoires et les dites informations de suivi de la position et de l’orientation courante, ou
- acquérant, à l’aide d’un dispositif de mesure, un nuage de points représentatif de ladite au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante dudit dispositif de mesure ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire est obtenu à partir dudit nuage de points ;
- recaler le modèle anatomique tridimensionnel préopératoire sur le modèle anatomique tridimensionnel partiel peropératoire ;
- calculer, sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire, et de la position et orientation courante de l’instrument chirurgical de perçage :
* une zone de localisation courante, dans une image bidimensionnelle peropératoire courante, d’une extrémité de perçage de l’instrument chirurgical de perçage,
* une première projection comprenant une estimation courante d’une zone de localisation d’un premier orifice d’un tunnel osseux à réaliser,
* une deuxième projection comprenant une estimation courante d’une zone de localisation d’un deuxième orifice du tunnel osseux à réaliser. Un autre aspect de l’invention porte sur produit programme d’ordinateur comprenant des instructions qui conduisent le système décrit ci-dessus à exécuter les étapes de la méthode selon la présente invention.
Dans un mode de réalisation, l’invention porte sur un produit programme d’ordinateur comportant des instructions pour mettre en œuvre les étapes suivantes d’un procédé d’aide en temps réel à la réalisation d’au moins un tunnel osseux par arthroscopie dans une articulation d’un patient lors de l'exécution du programme par un processeur d'un dispositif programmable :
- obtenir un modèle anatomique tridimensionnel préopératoire spécifique au patient, ledit modèle comprenant une représentation de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir, à l’aide d’un dispositif d’imagerie, un flux d’images bidimensionnelles peropératoires, lesdites images bidimensionnelles peropératoires comprenant une portion d’intérêt de l’articulation,
- acquérir des informations de suivi de la position et de l’orientation d’un instrument chirurgical de perçage lors d’une manipulation de l’instrument chirurgical de perçage par un opérateur à l’aide d’un dispositif de suivi,
- déterminer un modèle anatomique tridimensionnel partiel peropératoire à partir du flux d’images bidimensionnelles peropératoires et/ou d’un nuage de points représentatif de la portion d’intérêt de l’articulation obtenu à l’aide d’un dispositif de mesure,
- recaler le modèle anatomique tridimensionnel préopératoire sur le modèle anatomique tridimensionnel partiel peropératoire ;
- calculer, sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire et de la position et orientation courante de l’instrument chirurgical de perçage :
* une zone de localisation courante, dans une image bidimensionnelle peropératoire courante d’une extrémité de perçage de l’instrument chirurgical de perçage,
* une première projection comprenant une estimation courante d’une zone de localisation d’un premier orifice d’un tunnel osseux à réaliser,
* une deuxième projection comprenant une estimation courante d’une zone de localisation d’un deuxième orifice du tunnel osseux à réaliser. Dans un mode de réalisation, l’invention concerne un procédé d’aide en temps réel à la réalisation d’au moins un tunnel osseux par arthroscopie dans une articulation d’un patient, comprenant les étapes suivantes :
- obtenir un modèle anatomique tridimensionnel préopératoire spécifique au patient, ledit modèle comprenant une représentation de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir, à l’aide d’un dispositif d’imagerie, un flux d’images bidimensionnelles peropératoires, lesdites images bidimensionnelles peropératoires comprenant une portion d’intérêt de l’articulation,
- acquérir, à l’aide d’un dispositif de suivi, des informations de suivi de la position et de l’orientation d’un instrument chirurgical de perçage lors d’une manipulation dudit instrument chirurgical de perçage par un opérateur,
- déterminer un modèle anatomique tridimensionnel partiel peropératoire à partir du flux d’images bidimensionnelles peropératoires et/ou d’un nuage de points représentatif de la portion d’intérêt de l’articulation obtenu à l’aide d’un dispositif de mesure,
- recaler le modèle anatomique tridimensionnel préopératoire sur le modèle anatomique tridimensionnel partiel préopératoire ;
- calculer, sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire, et de la position et orientation courantes de l’instrument chirurgical de perçage :
* une zone de localisation courante, dans l’image bidimensionnelle, d’une extrémité de perçage de l’instrument chirurgical de perçage,
* une première projection comprenant une estimation courante d’une zone de localisation d’un premier orifice d’un tunnel osseux à réaliser,
* une deuxième projection comprenant une estimation courante d’une zone de localisation d’un deuxième orifice du tunnel osseux à réaliser.
Un autre aspect de l’invention concerne un support lisible par ordinateur (non-transitoire), sur lequel est enregistré le programme d'ordinateur décrit ci-dessus. DESCRIPTION DÉTAILLÉE
La présente invention concerne un système d’aide en temps réel 1 à la réalisation d’au moins un tunnel osseux par arthroscopie dans une articulation d’un patient. Dans la présente description, l’articulation est l’un des genoux du patient. Par tunnel osseux, il est entendu un tunnel pratiqué dans un os du patient, notamment le fémur et le tibia, et destiné à recevoir un néoligament.
La mise en place d'un néoligament du genou implique de percer les extrémités fémorales et/ou tibiales pour le passage du néoligament, ces perçages constituant le tunnel osseux précité.
DESCRIPTION DES FIGURES
Figure 1 est une représentation d’un système d’aide en temps réel à la réalisation d’un tunnel osseux selon un ou plusieurs modes de réalisation de l’invention.
Figure 2 représente un exemple de modèle tridimensionnel préopératoire d’une portion d’intérêt d’une articulation d’un patient.
Figure 3 représente un ordinogramme des étapes réalisées lors d’un algorithme de reconstruction de modèle tridimensionnel selon un ou plusieurs modes de réalisation.
Figure 4 représente un premier type de correction effectué lors de l’étape E20 de l’ordinogramme de la figure 3.
Figure 5 représente un deuxième type de correction effectué lors de l’étape E20 de l’ordinogramme de la figure 3.
Figure 6 représente une superposition d’un modèle tridimensionnel partiel peropératoire et d’un modèle tridimensionnel préopératoire selon un ou plusieurs modes de réalisation de l’invention.
Figure 7 représente un partitionnement d’un genou selon un ou plusieurs modes de réalisation de l’invention. Les sous-figures de la figure 8 sont différents exemples de projections bidimensionnelles de parties du genou et selon différentes directions. Figure 8h et Figure 8i sont des représentations schématiques d’une épiphyse fémorale et d’une épiphyse tibiale.
Figure 9 représente une projection bidimensionnelle d’une portion d’intérêt d’un genou d’un patient avec plusieurs projections de structures anatomiques d’intérêt selon un ou plusieurs modes de réalisation.
Figure 10 représente une autre projection bidimensionnelle d’une portion d’intérêt d’un genou d’un patient avec plusieurs projections de structures anatomiques d’intérêt selon un ou plusieurs modes de réalisation.
Figure 11 représente une superposition d’une image bidimensionnelle peropératoire avec une zone de localisation courante d’une extrémité d’un instrument chirurgical de perçage selon un ou plusieurs modes de réalisation.
Figure 12a représente une superposition d’un premier orifice d’un tunnel osseux à réaliser sur une première projection bidimensionnelle selon un ou plusieurs modes de réalisation.
Figure 12b est un autre exemple de superposition d’une image bidimensionnelle peropératoire avec une zone de localisation courante d’une extrémité d’un instrument chirurgical de perçage selon un ou plusieurs modes de réalisation telle que la superposition de la figure 11.
Figure 12c représente une superposition d’un deuxième orifice du tunnel osseux à réaliser de la figure 12a sur une deuxième projection bidimensionnelle selon un ou plusieurs modes de réalisation.
Figure 13a représente une superposition d’un message d’alerte sur la première projection bidimensionnelle de la figure 9.
Figure 13b est un autre exemple de superposition d’une image bidimensionnelle peropératoire avec une zone de localisation courante d’une extrémité d’un instrument chirurgical de perçage telle que la superposition de la figure 11, selon un ou plusieurs modes de réalisation. Figure 13c représente une superposition d’un autre message d’alerte sur l’autre projection bidimensionnelle de la figure 10 selon un ou plusieurs modes de réalisation.
Figure 14 représente une superposition d’un message positif pour la réalisation d’un tunnel osseux selon un ou plusieurs modes de réalisation.
Figure 15 représente une superposition d’une représentation d’un tunnel osseux réalisé sur une projection bidimensionnelle selon un ou plusieurs modes de réalisation.
Figure 16 représente une superposition d’une représentation d’un premier tunnel osseux déjà réalisé et d’une représentation prévisionnelle d’un deuxième tunnel osseux à réaliser lors d’une même intervention selon un ou plusieurs modes de réalisation.
Figure 17 est un ordinogramme des étapes réalisées lors d’une méthode d’aide en temps réel à la réalisation par arthroscopie d’au moins un tunnel osseux selon un ou plusieurs modes de réalisation.
MODES DE RÉALISATION ILLUSTRATIFS DE L'INVENTION
Le système d’aide en temps réel 1, représenté sur la figure 1, comprend un dispositif d’imagerie 2 apte à acquérir des images bidimensionnelles de portions de l’articulation du patient, un dispositif de suivi 3 et un dispositif programmable 6.
Le dispositif d’imagerie 2 est par exemple un arthroscope. Un arthroscope est un fin tube équipé d’un objectif miniaturisé relié à une caméra permettant de visualiser l’intérieur d’une articulation. L’ arthroscope est inséré dans l’articulation après incision de celle-ci. Le diamètre de l’arthroscope est de l’ordre de quelques millimètres. Lors d’une intervention par arthroscopie sur l’articulation du patient, le dispositif d’imagerie 2 acquiert un flux, de préférence continu, d’images bidimensionnelles de tout ou partie de l’articulation du patient.
Par ailleurs, lors d’une intervention par arthroscopie pour réaliser un ou plusieurs tunnels osseux, un chirurgien utilise un instrument chirurgical de perçage 5 tel qu’un moteur chirurgical, comprenant une extrémité de perçage. L’extrémité de perçage permet de réaliser des tunnels dans les structures osseuses. Par exemple, l’extrémité de l’instrument chirurgical de perçage 5 est un foret ou une broche. Le dispositif de suivi 3 comprend par exemple une ou plusieurs caméras permettant de repérer et de suivre en temps réel la position dans l’espace des différents instruments utilisés lors de l’intervention, tels que le dispositif d’imagerie 2 et l’instrument chirurgical de perçage 5. Sur le dispositif d’imagerie 2 et l’instrument chirurgical de perçage 5 sont fixés un ou plusieurs marqueurs configurés pour émettre, recevoir, ou réfléchir un rayonnement électromagnétique, de sorte à être repérés par le dispositif de suivi 3. Avantageusement, un ou plusieurs marqueurs passifs peuvent être fixés sur le dispositif d’imagerie 2 et l’instrument chirurgical de perçage 5, de sorte à être visibles sur des images acquises par le dispositif de suivi 3. Par exemple, les marqueurs passifs sont des QR codes, des AR tags ou des marqueurs 3D. En outre, le système 1 est configuré pour recevoir des mesures obtenues à l’aide d’un dispositif de mesure, par exemple un palpeur à contact. Ce dispositif de mesure permet d’obtenir un nuage de points représentatif de la surface de contact, dans le cas de la présente invention de la surface de la portion d’intérêt de l’articulation. Le dispositif de mesure peut être monté sur un bras robotique ou être couplé avec un marqueur rigidement fixé sur le palpeur lui-même. Si un marqueur est utilisé, celui-ci peut être repéré dans l’espace par le dispositif de suivi 3 ou un outre dispositif de suivi équivalent. Alternativement, le dispositif de mesure peut être une caméra de profondeur (par exemple : caméras « ToF ou Time of Flight », « EiDAR », caméra Kinect, caméra RGB-D, etc.) configuré pour acquérir images, en niveaux de gris ou couleur, qui indiquent la distance entre la caméra et les objets de la scène. Ces images permettent d’obtenir un nuage de points 3D représentatif des objets de la scène. Dans un mode de réalisation alternatif, le système 1 peut en outre comprendre ledit dispositif de mesure.
Fa position dans l’espace du dispositif d’imagerie 2 et de l’instrument de perçage 5 par rapport au dispositif de suivi 3 peut être alors connue par triangulation.
Avantageusement, si la géométrie de chaque instrument suivi tel que le dispositif d’imagerie 2 et l’instrument de perçage 5 est connue, le dispositif de suivi 3 reconnaît directement ceux-ci sans les munir de marqueurs et leur position et orientation respectives par rapport au dispositif de suivi est connue.
Par exemple, le dispositif de suivi 3 est un système de type Hololens ™ permettant de localiser, à l’aide de caméras, entre autres, le dispositif d’imagerie 2 et l’instrument chirurgical de perçage 5 dans une salle d’opération. Ainsi, dès que le dispositif d’imagerie 2 ou l’instrument chirurgical de perçage 5 sont dans le champ de vision des caméras, ce ou ces derniers sont repérés et leurs positions sont calculées et enregistrées.
Le dispositif programmable 6 est un dispositif de traitement pouvant être par exemple un ordinateur, un microprocesseur, un circuit intégré, ou encore un dispositif logique programmable (PLD). Le dispositif programmable 6 peut comprendre également un ou plusieurs processeurs graphiques (GPU).
Le dispositif programmable 6 est configuré pour exécuter des instructions stockées sur un support lisible par ordinateur, tel qu’un circuit intégré, un disque dur, un CD, un DVD, une mémoire RAM ou une mémoire ROM.
Selon un mode de réalisation, le système d’aide en temps réel 1 est adapté pour aider à la réalisation d’un ou plusieurs tunnels osseux lors d’une intervention par arthroscopie dans un genou d’un patient nécessitant une greffe d’un ou plusieurs ligaments.
Préalablement à l’intervention, lors d’une phase préopératoire, un modèle tridimensionnel préopératoire 7 d’une portion d’intérêt du genou 8 est obtenue comme décrit ci-après. Un tel modèle tridimensionnel préopératoire 7 est par exemple représenté sur la figure 2. La portion d’intérêt du genou 8 comprend les zones du genou où la greffe du ou des ligaments doit être réalisée.
Des données sont préalablement obtenues par imagerie par résonance magnétique (IRM). Les données comprennent différentes coupes de la portion d’intérêt du genou 8. Par « coupe », il est entendu une image bidimensionnelle. Les différentes coupes sont des coupes dans des plans parallèles respectivement aux plans sagittal, axial et coronal tels que définis dans le domaine de l’imagerie par résonance magnétique. La technique d’IRM peut être bidimensionnelle, c’est-à-dire basée sur des triplets d’acquisition séquentiels, ou tridimensionnelle, c’est à-dire basée sur des acquisitions volumiques. Alternativement, d’ autres techniques permettant d’ acquérir plusieurs coupes de zones d’ intérêt peuvent être utilisées comme par exemple la tomographie axiale computationnelle.
Un dispositif programmable préopératoire génère, par application d’un algorithme de reconstruction sur les données, le modèle tridimensionnel préopératoire 7.
La technique d’imagerie par résonance magnétique présente l’avantage de fournir des données relatives à des structures anatomiques non accessibles par des techniques telles que la radiographie. Ainsi, le modèle tridimensionnel 7 peut comprendre, par exemple, outre une représentation des contours osseux du fémur, du tibia, de la patella et de la tête de la fibula, une représentation des contours cartilagineux du fémur, du tibia, une représentation complète ou partielle du ligament croisé antérieur, du ligament croisé postérieur, du ligament latéral externe, du ligament latéral interne, du ligament fémoropatellaire.
Avantageusement, l’algorithme de reconstruction comprend deux étapes successives E10 et E20. La figure 3 représente un ordinogramme des différentes étapes de l’algorithme de reconstruction.
Dans une première étape E10, les données acquises par IRM, pour une pluralité de sujets, sont segmentées et labellisées, de sorte à générer une base de données d’entrainement. Un réseau de neurones profonds (« deep neural networks ») de type CNN (« Convolutional Neural Network ») peut être entrainé sur ladite base de données d’entrainement de sorte à générer en sortie une segmentation des structures anatomiques quand le réseau reçoit en entrée au moins une image 3D ou une collection de coupes 2D, représentant la portion d’intérêt du genou 8 du patient (i.e., données acquises par IRM). Selon une première option, un réseau de neurones artificiels convolutif du type RCNN (« Region-based Convolutional Neural Network »), comme l’architecture YOLACT++, peut être par exemple utilisé. Le fonctionnement d’un tel réseau est par exemple décrit dans l’article « YOLACT++ Better Real-Time Instance Segmentation ». Le modèle implémenté par ce type de réseaux artificiels, une fois entraîné, réalise la prédiction, autrement dit, la détection, la segmentation et la classification de structures présentes dans chaque coupe. Suite aux prédictions, les coupes sont fusionnées d’abord par plan de coupe (axial, sagittal ou coronal) à l’aide d’un algorithme de « slice matching » pour générer trois premiers modèles 3D. Puis, une fusion interplan de ces trois premiers modèles 3D est réalisée grâce à un recalage 3D/3D. Le modèle 3D préliminaire généré est ensuite obtenu par affinement avec un algorithme de filtrages et par élimination de données aberrantes (en anglais « outliers »).
D’autres types de réseaux de neurones artificiels peuvent être utilisés, tels que les réseaux RCNN (Fast, Faster, Mask RCNN), Computer Vision, U-net, MeshCNN, SDU-Net. Selon une deuxième option, un réseau de neurones de types 3D CNN+ (i.e., type de réseau de neurones convolutif utilisé pour l'analyse de données tridimensionnelles) peut être utilisé.
Une fois l’option 1 ou 2 réalisée, un modèle tridimensionnel préliminaire peut être alors reconstitué, par exemple, par l’utilisation de techniques décrites dans les brevets FR2920565B1 ou US7123255.
Le modèle tridimensionnel préliminaire peut comporter des erreurs (par exemple, des structures anatomiques mal reconstruites) ou présenter des éléments incomplets (des suites par exemple du traumatisme qu’a subi le patient).
La deuxième étape E20 de l’algorithme de reconstruction vise à corriger le modèle tridimensionnel préliminaire, sur la base d’enseignements tirés de la littérature en lien avec l’anatomie du genou, comme il va être expliqué ci-dessous.
Un premier type de correction réalisé lors de la deuxième étape est le repositionnement d’une structure mal placée lors de la génération du modèle tridimensionnel préliminaire.
La figure 4, à gauche, montre encerclée la structure d’insertion fémorale du ligament croisé antérieur. Sur cette figure 4, cette structure d’insertion fémorale est mal positionnée.
Ainsi, lors de la deuxième étape E20, cette structure d’insertion fémorale est repositionnée à l’emplacement correct, noté H, comme indiqué sur la figure 4, à droite. L’emplacement correct est par exemple connu de la littérature portant sur l’anatomie du genou. Ainsi, le repositionnement depuis la position incorrecte vers la position correcte est par exemple effectué manuellement par un concepteur au vu de cette connaissance. Dans un autre exemple, à partir de modèles géométriques décrits dans la littérature mentionnée ci-dessus (tels qu’une distance quantifiée, un rayon de courbure quantifié), un algorithme de reconstruction de courbes ou de surfaces va être appliqué à l’élément mal positionné. Dans encore un autre exemple, le repositionnement est effectué en utilisant un réseau de neurones entraîné sur une base de données de modèles 3D issus de l’étape E10. A titre illustratif, un réseau tel que le réseau 3D CNN peut être utilisé.
Un deuxième type de correction réalisé lors de la deuxième étape est la complétion d’éléments incomplets.
La figure 5, à gauche, illustre, à l’intérieur de la forme ovale K une représentation du ligament latéral externe dans le modèle tridimensionnel préliminaire. Cette représentation est incomplète. Ainsi, lors de la deuxième étape, cette représentation va être complétée comme illustré sur la figure 5, à droite.
Des méthodes similaires à celles utilisées pour implémenter le premier type de correction peuvent être utilisées pour implémenter ce deuxième type de correction.
H va être maintenant décrit comment fonctionne le système d’aide en temps réel 1 en phase peropératoire, c’est-à-dire, lors de l’intervention par arthroscopie par un chirurgien dans le genou du patient nécessitant une greffe d’un ou plusieurs ligaments.
Lors de l’intervention, le chirurgien manipule un instrument chirurgical de perçage 5 de type moteur chirurgical muni d’un foret ou d’une broche. L’instrument chirurgical de perçage 5 est utilisé pour repérer dans un premier temps des zones cutanées pour réaliser des incisions aux emplacements adéquats dans le genou du patient afin de réaliser le ou les tunnels osseux.
Un aspect de l’invention porte sur la capacité du système d’aide en temps réel 1 à permettre de visualiser en temps réel, et avant d'effectuer l'acte chirurgical, lorsque le chirurgien manipule l’instrument chirurgical de perçage 5 afin de réaliser un tunnel osseux 10, un premier orifice l ia représentant l’entrée du tunnel osseux et un deuxième orifice 11b représentant la sortie du tunnel osseux. Le premier orifice 1 la et le deuxième orifice 11b sont déterminés, comme il va être décrit par la suite, en fonction de la position et l’orientation, en temps réel, de l’extrémité de l’instrument chirurgical de perçage 5. Par « entrée » du tunnel osseux 10, il est entendu la zone surfacique de la structure osseuse par laquelle entre l’extrémité de l’instrument chirurgical de perçage 5. Par « sortie » du tunnel osseux, il est entendu la zone surfacique de la structure osseuse par laquelle sort l’extrémité de l’instrument chirurgical de perçage 5. En définitive, le système permet de voir en temps réel la position qu’occuperaient les orifices d’entrée et de sortie (respectivement orifices l ia et 11b) si le chirurgien poursuivait l’opération de perçage avec l’instrument de perçage selon une trajectoire définie par la position et l’orientation de l’instrument.
Ainsi, par la visualisation en temps réel de la localisation du premier orifice l ia et du deuxième orifice 11b, le chirurgien va pouvoir ajuster la position et l’orientation dans l’espace, par rapport au genou, de l’instrument chirurgical de perçage 5, pour positionner correctement le tunnel osseux 10 par rapport à des structures anatomiques d’intérêt qui sont des repères anatomiques connus, et sans endommager de structures anatomiques « nobles », telles que des structures tendineuses ou ligamentaires, avoisinantes.
Préalablement à l’intervention, le dispositif programmable 6 a reçu le modèle tridimensionnel préopératoire 7 généré par le dispositif programmable préopératoire. Le modèle tridimensionnel préopératoire 7 est par exemple stocké dans une mémoire associée au dispositif programmable 6 ou dans une base de données accessible par le dispositif programmable 6.
La position du genou du patient par rapport à l’instrument chirurgical de perçage 5 et au dispositif d’imagerie 2 doit être connue à tout instant.
Pour ce faire, par exemple, des marqueurs, tels des broches, peuvent être positionnés dans le fémur ou le tibia pour créer un référentiel R. Le référentiel R sert à connaître la position du genou à opérer par rapport à l’instrument chirurgical de perçage 5. Le dispositif de suivi 3 permet de capturer l’information sur la position et orientation des marqueurs fixés au patient. Le référentiel R permet d’effectuer le recalage du modèle tridimensionnel préopératoire 7 sur le genou du patient. Ainsi, la position en temps réel du genou du patient dans l’espace de la salle d’opération est connue.
Alternativement, étant donné que le dispositif d’imagerie 2 acquiert un flux d’images, la position du genou dans l’espace de la salle d’opération peut être connue à partir du flux d’images. En effet, il est possible d’obtenir, à partir du flux d’images un modèle tridimensionnel partiel courant et de recaler le modèle tridimensionnel préopératoire 7 sur le modèle tridimensionnel partiel courant. En particulier, la distance entre le dispositif d’imagerie 2 et les structures anatomiques dont ce dernier réalise l’image, peut être connue. Ainsi, la position du genou dans l’espace, peut être connue après recalage.
Le dispositif programmable 6 du système d’aide en temps réel 1 peut être configuré pour piloter l’ensemble des équipements utilisés lors de l’intervention. Ainsi, le dispositif programmable 6 est configuré pour recevoir des signaux du dispositif de suivi 3, et calculer, sur la base de ces signaux, la position et orientation en temps réel dans l’espace de la salle d’opération des éléments d’intérêt suivis par le dispositif de suivi 3 (i.e., le fémur et le tibia du patient, le dispositif d’imagerie 2, l’instrument chirurgical de perçage 5 et optionnellement le dispositif de mesure).
Un modèle tridimensionnel partiel peropératoire 9 de la portion d’intérêt du genou 8 est généré par le dispositif programmable 6. Le terme « partiel » fait référence au fait que le modèle concerne seulement toute ou une partie de la portion d’intérêt du genou et non l’intégralité de la structure anatomique du genou. On rappelle que la portion d’intérêt du genou 8 comprend les zones du genou où la greffe du ou des ligaments doit être réalisée.
Différentes méthodes peuvent être utilisées pour générer le modèle tridimensionnel partiel peropératoire 9.
Dans un mode de réalisation, un opérateur (qui peut être le chirurgien ou toute autre personne qualifiée assistant à l’intervention) palpe à l’aide d’un palpeur (i.e., le dispositif de mesure), sur lequel est fixé un marqueur, des points à la surface du genou du patient. Le marqueur peut être repéré. Le marqueur fixé sur le palpeur permet de connaître la position dans l'espace de chaque point du nuage de points obtenus. Alternativement, un palpeur monté sur un bras robotique peut être utilisé. Dans un mode de réalisation alternatif, une caméra de profondeur (i.e., le dispositif de mesure) peut être utilisée pour acquérir un nuage de points représentatif de la surface de la portion d’intérêt du genou 8. Dans tous les cas, le dispositif de mesure permet d’acquérir le nuage de points représentatif de la portion d’intérêt de l’articulation, notamment représentatif de la surface de la portion d’intérêt de l’articulation. Un algorithme génère alors au moins une surface tridimensionnelle à partir de ce nuage de points, correspondant par exemple à une partie du condyle fémoral en trois dimensions. Un algorithme de « bone morphing » peut par exemple être utilisé. Ce(s) algorithme(s) peut être exécuté(s) par le dispositif programmable 6 afin de générer le modèle tridimensionnel partiel peropératoire 9. Alternativement, un dispositif programmable auxiliaire peut exécuter F (les) algorithme(s) et envoyer le modèle tridimensionnel partiel peropératoire 9 généré au dispositif programmable 6.
Dans un autre exemple, les images bidimensionnelles acquises par le dispositif d’imagerie 2 peuvent être utilisées pour générer le modèle tridimensionnel partiel peropératoire 9 en temps réel à l’aide de cartes de profondeur générés à partir du flux d’images enregistré par le dispositif d’imagerie 2 et d’un algorithme de SLAM (en anglais : « simultaneous localization and mapping ») exécuté par le dispositif programmable 6. Ici, le flux d’images est monoculaire. Grâce au dispositif de suivi 3, on connait en temps réel la position dans l’espace du dispositif d’imagerie 2 qui génère le flux vidéo à partir duquel le modèle tridimensionnel partiel est généré, on connait ainsi en temps réel la position tridimensionnelle du modèle tridimensionnel partiel peropératoire 9 dans l’espace et également la position dans l’espace du modèle tridimensionnel préopératoire 7.
Avantageusement, un algorithme de type SLAM est utilisé pour calculer le modèle tridimensionnel partiel courant 8. Les algorithmes de type SLAM permettent, à partir de l’utilisation d’images bidimensionnelles, acquises par un capteur d’images, et de la position dans l’espace du capteur d’images, de produire, par le biais de prédictions de cartes de profondeurs associées aux images bidimensionnelles, une cartographie tridimensionnelle de la scène observée dans les images bidimensionnelles. La cartographie tridimensionnelle obtenue peut être alors repérée dans un référentiel associé au capteur d’images qui acquiert les images bidimensionnelles. Par ailleurs, cette cartographie tridimensionnelle est dynamique. En d’autres termes, elle peut être obtenue en temps réel, au fur et à mesure que le capteur d’images acquiert les images bidimensionnelles de la scène. Une description des algorithmes de type SLAM peut être trouvée dans l’article « Visual SLAM algorithms : a survey from 2010 to 2016 », T. Taketomi et al., IPSJ Transactions on Computer Vision and Applications (2017).
Une fois le modèle tridimensionnel partiel peropératoire 9 généré, le dispositif programmable 6 exécute, en temps réel, un algorithme de recalage 3D/3D permettant de superposer en temps réel le modèle tridimensionnel préopératoire 7 sur le modèle tridimensionnel partiel peropératoire 9. Un recalage 3D/3D permet avantageusement d’obtenir une superposition plus précise que dans le cas d’un recalage 2D/3D. Une telle superposition est représentée sur la figure 6. Par exemple, un algorithme minimisant la distance entre des points correspondants peut être utilisé. Ainsi, une superposition S(t) peut être affichée sur un écran de visualisation visible par le chirurgien, de sorte que ce dernier puisse visualiser en temps réel, sur la base de la correspondance entre le modèle tridimensionnel préopératoire 7 et du modèle tridimensionnel partiel peropératoire 9 la position des structures anatomiques représentées dans le modèle tridimensionnel préopératoire par rapport à la position réelle des structures représentées dans le modèle tridimensionnel partiel peropératoire 9. En effet, un recalage précis permet de localiser avec précision l’outil de perçage et d’ainsi mieux calculer les informations permettant d’anticiper la position du tunnel osseux, réduisant ainsi les risques d’erreur pour le chirurgien.
Par exemple, la superposition S(t) peut être utilisée pour repérer des zones cutanées d’incision sur la peau.
De plus, une fois le modèle tridimensionnel partiel peropératoire 9 superposé sur le modèle tridimensionnel préopératoire 7, trois parties du genou du patient peuvent être définies sur la superposition S(t), par exemple, par implémentation d’un algorithme de division par le dispositif programmable 6. Par exemple, l’algorithme de division crée en temps réel trois volumes sur le modèle tridimensionnel partiel peropératoire 9 en : séparant le fémur et le tibia par un plan passant par l’interligne articulaire ; séparant le fémur en deux compartiments (interne et externe) au niveau d’un plan sagittal perpendiculaire au plan de l’interligne articulaire et passant par l’apex de l’échancrure. Comme représenté sur la figure 7, une première partie PGI correspond au volume occupé par le condyle externe ; une deuxième partie PG2 correspond au volume occupé par le condyle interne ; enfin, une troisième partie PG3 correspond au volume occupé par l’épiphyse tibiale du patient.
Par ailleurs, préalablement à l’opération de réalisation des tunnels osseux par le chirurgien, le dispositif programmable 6 exécute un algorithme de calcul et de génération d’une pluralité de projections bidimensionnelles du modèle tridimensionnel préopératoire 7. Cette génération d’images bidimensionnelles permet de représenter ou afficher le modèle tridimensionnel préopératoire, qui est un objet 3D, sur un support en deux dimensions comme un écran d’ordinateur. Par projection, il est entendu une vue du modèle tridimensionnel préopératoire 7. Une projection en perspective géométrique ou une projection orthogonale (ou parallèle) peut être calculée et générée.
Par exemple, l’algorithme de calcul sépare, dans un premier temps, le fémur du tibia selon un plan passant par l’interligne articulaire. On obtient l’épiphyse fémorale à partir de laquelle sont déterminées la première partie PGI et la deuxième partie PG2 après une division de cette épiphyse fémorale selon un plan sagittal passant par le centre du toit de l’échancrure. On obtient par ailleurs l’épiphyse tibiale à partir de laquelle on détermine la troisième partie PG3. Ces trois parties (i.e. les trois volumes sur le modèle tridimensionnel partiel peropératoire 9) PGI, PG2 et PG3 sont ensuite utilisée pour générer lesdites pluralité de projections bidimensionnelles.
Ces projections bidimensionnelles sont stockées dans la mémoire associée au dispositif programmable 6 et seront dédiées, comme il va être décrit par la suite, à un affichage automatique déterminé en fonction de la position courante à un instant t des différents éléments du système d’aide en temps réel. En référence aux figures 8a à 8g, ces projections sont respectivement :
- une projection extérieure (ou vue latérale) du condyle externe Pi, illustrée sur la figure 8a et 8h,
- une projection intérieure (ou vue médiale) du condyle externe P2, illustrée sur la figure 8b et 8h (i.e., image de la coupe selon un plan sagittal passant par le centre du toit de l’échancrure),
- une projection extérieure (ou vue médiale) du condyle interne P3, illustrée sur la figure 8c et 8h,
- une projection intérieure (ou vue latérale) du condyle interne P4, illustrée sur la figure 8d et 8h (i.e., image de la coupe selon un plan sagittal passant par le centre du toit de l’échancrure),
- une projection (ou vue) axiale du tibia P5, à partir du illustré sur la figure 8e et 8i,
- une projection du tibia externe, ou vue latérale du tibia PÔ, illustrée sur la figure 8f et 8i,
- une projection du tibia interne, ou vue médiale du tibia P7, illustrée sur la figure 8g et 8i.
Ces différentes projections contiennent les projections correspondantes des structures anatomiques d’intérêt.
La figure 9 est un exemple de la projection extérieure (ou vue latérale) du condyle externe Pi. Il peut y être observé : la zone d’insertion fémorale A du tendon poplité, la zone d’insertion fémorale B du ligament latéral externe, et la zone d’insertion du ligament antérolatéral C. Ces différents éléments représentent les projections des structures correspondantes dans le modèle tridimensionnel préopératoire 7 issu de l’étape E20.
La figure 10 est un exemple de la projection intérieure (ou vue médiale) du condyle externe P2. H peut y être observé : la surface d’insertion D du ligament croisé antérieur, la limite cartilagineuse inférieure E, la limite proximale de l’échancrure inter-condylienne et le toit de l’échancrure.
Typiquement, sur la figure 9, la zone d’insertion du ligament antérolatéral n’était pas identifiable dans le modèle tridimensionnel préliminaire obtenu lors de la phase Tl préopératoire d’acquisition de données par imagerie par résonance magnétique et de génération du modèle tridimensionnel 7. Cette zone a été typiquement reconstruite lors de la deuxième étape (E20) de l’algorithme de reconstruction visant à corriger le modèle tridimensionnel préliminaire.
Pendant l’intervention, le dispositif d’imagerie 2 du système d’aide en temps réel 1 capture en temps réel un flux continu d’images bidimensionnelles. A chaque instant t, le chirurgien peut visualiser sur un dispositif de visualisation 12 tel qu’un écran une image bidimensionnelle courante I(t) de la portion d’intérêt du genou 8.
Par ailleurs, toujours pendant l’intervention, le dispositif programmable 6 reçoit en temps réel un signal en provenance du dispositif de suivi 3, sur la base duquel il calcule la position et l’orientation Di(t) en temps réel du dispositif d’imagerie 2 par rapport au référentiel R. La position et l’orientation Di(t) comprennent par exemple trois coordonnées et trois angles.
Aussi, toujours pendant l’intervention, le dispositif programmable 6 reçoit en temps réel un signal en provenance du dispositif de suivi 3, sur la base duquel il calcule la position et l’orientation Ip(t) en temps réel de l’extrémité de perçage de l’instrument chirurgical de perçage 5. La position et F orientation Ip(t) comprennent par exemple trois coordonnées et trois angles.
Ainsi, avec le système d’aide en temps réel 1, il est possible de superposer une zone de localisation courante L de l’extrémité de perçage de l’instrument chirurgical de perçage 5 sur l’image bidimensionnelle courante I(t). Une telle superposition est représentée sur la figure 11.
Il va être maintenant décrit comment, dans un autre aspect de l’invention, le système d’aide en temps réel 1 permet au chirurgien de positionner et orienter de manière adéquate l’instrument chirurgical de perçage 5, avant de réaliser le perçage du tunnel osseux, afin de ne pas endommager des structures anatomiques à préserver lors du perçage.
Une première projection Pa et une deuxième projection Pb parmi les projections Pi à P7 vont être affichées sur un premier écran auxiliaire de visualisation et un deuxième écran auxiliaire de visualisation, selon la position et l’orientation courante de l’extrémité de l’instrument chirurgical de perçage 5 et/ou du dispositif d’imagerie 2. Par « courant », il est entendu actuel, c’est-à-dire correspondant à l’instant t actuel de l’intervention.
A l’instant t actuel de l’intervention, la position et l’orientation courante de l’extrémité de l’instrument chirurgical de perçage 5 et/ou du dispositif d’imagerie 2 sont connues grâce au deuxième dispositif de suivi 3 et sont recueillies et enregistrées par le dispositif programmable 6.
Suivant la position et/ou l’ orientation dans l’une parmi la première partie PGI , la deuxième partie PG2 et la troisième partie PG3, la sélection des projections Pa et Pb est effectuées suivant les règles suivantes.
Si l’extrémité de l’instrument chirurgical de perçage 5 se trouve dans (ou en proximité) la première partie PGI (volume occupé par le condyle externe), la première projection Pa est la projection extérieure (ou vue latérale) du condyle externe Pi, et la deuxième projection Pb est la projection intérieure (ou vue médiale) du condyle externe P2.
La position en temps réel de la première partie PGI, de la deuxième partie PG2, et de la troisième partie PG3, est déterminée grâce à la connaissance en temps réel de la position du genou du patient dans l’espace de la salle d’opération. En effet, la première partie PGI, la deuxième partie PG2, et la troisième partie PG3 sont calculées par l’algorithme de division précédemment décrit, appliqué au modèle tridimensionnel préopératoire 7. Ce dernier est recalé en temps réel sur le modèle tridimensionnel partiel peropératoire 9, dont la position dans l’espace de la salle d’opération est connue en utilisant la position en temps réel du genou du patient.
Si l’extrémité de l’instrument chirurgical de perçage 5 se trouve dans (ou à proximité de) la deuxième partie PG2 (volume occupé par le condyle interne), la première projection Pa est la projection extérieure (ou vue médiale) du condyle interne Pi, et la deuxième projection Pb est la projection intérieure (ou vue latérale) du condyle interne P2.
Si l’extrémité de l’instrument chirurgical de perçage 5 se trouve dans (ou à proximité de) la troisième partie PG3 (volume occupé par l’épiphyse tibiale) et est orientée de façon descendante, la première projection Pa est la projection du tibia externe (ou vue latérale du tibia) PÔ, et la deuxième projection Pb est la projection du tibia interne (ou vue médiale du tibia) P7.
Si l’extrémité de l’instrument chirurgical de perçage 5 se trouve dans (ou à proximité de) la troisième partie PG3 (volume occupé par l’épiphyse tibiale) et est orientée de façon ascendante, c’est-à-dire de façon à croiser le plan de l’interligne articulaire), la première projection Pa est affichée et correspond à la projection axiale du tibia P5, et la deuxième projection Pb correspondant à la projection du tibia interne (ou vue médiale du tibia) P7.
Ces règles ont été déterminées afin de faciliter et de rendre plus intuitive la manipulation de l’instrument de perçage 5 en assurant la cohérence de la sélection de la première projection Pa et de la deuxième projection Pb avec la position et l’orientation courante de l’instrument chirurgical de perçage 5. D’autres règles permettant de faciliter et de rendre plus intuitive la manipulation de l’instrument de perçage 5 peuvent être déterminées par l’homme du métier.
Avantageusement, lorsque le chirurgien positionne et oriente l’extrémité de l’instrument chirurgical de perçage 5 afin de réaliser un tunnel osseux 10, le dispositif programmable 6 exécute un algorithme de calcul d’une estimation courante de la zone de localisation courante L, dans l’image bidimensionnelle peropératoire courante I(t), de l’extrémité de perçage de l’instrument chirurgical de perçage 5. En outre, le dispositif programmable 6 exécute un algorithme de calcul d’une estimation courante d’une zone de localisation d’un premier orifice 1 la du tunnel osseux 10 à réaliser, dans la première projection Pa, et d’une estimation courante d’une zone de localisation d’un deuxième orifice 11b du tunnel osseux 10 à réaliser, dans la deuxième projection Pb, pour ladite position et orientation courante Ip(t) de l’extrémité de l’instrument chirurgical de perçage 5. Les calculs sont effectués sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire avec modèle anatomique tridimensionnel partiel peropératoire (sur la base de la connaissance de la position en temps réel dans l’espace de la salle d’opération du modèle tridimensionnel préopératoire -issu de l’étape E20- recalé en temps réel sur le modèle tridimensionnel peropératoire 9) et de la position et orientation courante Ip(t) de l’instrument chirurgical de perçage 5. Avantageusement, la zone de localisation du premier orifice I la du tunnel osseux 10 à réaliser est superposée sur la première projection Pa. De même, avantageusement, la zone de localisation du deuxième orifice 11b du tunnel osseux 10 à réaliser est superposée sur la deuxième projection Pb. Notamment, le dispositif programmable 6 est configuré pour produire une image de superposition à afficher sur l’unité de visualisation comprenant cette superposition la zone de localisation du premier orifice l ia du tunnel osseux 10 sur la première projection Pa. De même, le dispositif programmable 6 est configuré pour produire une image de superposition à afficher sur l’unité de visualisation comprenant cette superposition la zone de localisation du deuxième orifice 11b du tunnel osseux 10 sur la deuxième projection Pb.
Le premier orifice l ia correspond par exemple à l’orifice d’entrée du tunnel osseux 10 et le deuxième orifice 1 la correspond alors à l’orifice de sortie du tunnel osseux 10, ou vice versa.
La figure 12a représente la projection extérieure du condyle externe Pi de la figure 8a, où un cercle représentatif de la zone de localisation du premier orifice 1 la du tunnel osseux 10 a été superposé. Sur la figure 12a, le cercle intersecte avec la zone d’insertion fémorale du tendon poplité B. Une telle position du premier orifice l ia du tunnel osseux 10 n’est ainsi pas envisageable car ce dernier endommagerait la zone d’insertion fémorale du tendon poplité B.
La figure 12c représente la projection intérieure du condyle externe P2 (i.e., coupe) de la figure 8b, où un cercle représentatif de la zone de localisation du deuxième orifice 11b du tunnel osseux 10 a été superposé. Sur la figure 12c, le cercle intersecte avec la zone d’insertion du ligament antérolatéral E. Une telle position du deuxième orifice 11b du tunnel osseux 10 n’est ainsi pas envisageable car ce dernier endommagerait la zone d’insertion fémorale du ligament antérolatéral.
Avantageusement, la superposition de l’image bidimensionnelle courante I(t) et de la zone de localisation courante L de l’extrémité de l’instrument de perçage 5 (figure 12b) peut être affichée entre ces deux superpositions, en alignant les figures 12a, 12b et 12c. Ainsi, par visualisation en temps réel de la zone de localisation du premier orifice 1 la du tunnel osseux 10 à réaliser et de la zone localisation du deuxième orifice 11b du tunnel osseux 10 à réaliser, le chirurgien peut déplacer de manière adaptative l’instrument chirurgical de perçage 5 afin d’éviter toute intersection avec des structures anatomiques à préserver représentées dans les projections.
Avantageusement, le dispositif programmable 6 exécute un premier algorithme de calcul d’intersection de la zone de localisation du premier orifice 1 la du tunnel osseux 10 avec les projections des structures anatomiques présentes dans la première projection Pa. Le premier algorithme de calcul d’intersection est effectué sur la base de la connaissance de la position en temps réel dans l’espace de la salle d’opération du modèle tridimensionnel préopératoire 9 (issu de l’étape E20) recalé en temps réel sur le modèle tridimensionnel peropératoire 7.
De même, avantageusement, le dispositif programmable 6 exécute un deuxième algorithme de calcul d’intersection de la zone de localisation du deuxième orifice 11b du tunnel osseux 10 avec les projections des structures anatomiques présentes dans la deuxième projection Pb. Le deuxième algorithme de calcul d’intersection est effectué sur la base de la connaissance de la position en temps réel dans l’espace de la salle d’opération du modèle tridimensionnel préopératoire 9 (issu de l’étape E20) recalé en temps réel sur le modèle tridimensionnel peropératoire 7.
Avantageusement, lorsque le premier algorithme de calcul d’intersection aboutit à une intersection comprenant une partie des projections des structures anatomiques présentes dans la première projection Pa (i.e., détection d’une intersection entre l’estimation courante de la zone de localisation du premier orifice et une partie des projections des structures anatomiques présentes dans la première projection Pa) ou lorsque le deuxième algorithme de calcul d’intersection aboutit à une intersection comprenant une partie des projections des structures anatomiques présentes dans la deuxième projection Pb (i.e., détection d’une intersection entre l’estimation courante de la zone de localisation du deuxième orifice et une partie des projections des structures anatomiques présentes dans la deuxième projection Pb), le dispositif programmable 6 peux exécuter un algorithme d’affichage, sur la première projection Pa, ou respectivement, la deuxième projection Pb, d’un message d’information afin d’avertir le chirurgien du danger d’endommagement par exemple.
Les figures 13a et 13c montrent des exemples de telles superpositions (i.e., images de superposition). Sur la figure 13a, l'image de superposition comprend en outre le message d’information « LLE » signifiant qu’il y a intersection détectée d’un orifice à réaliser avec l’insertion fémorale du ligament latéral externe B. Sur la figure 13c, l'image de superposition comprend en outre le message d’information « cartilage » signifiant qu’il y a intersection entre le deuxième orifice 11b à réaliser et la limite cartilagineuse inférieure.
Avantageusement, lorsque le premier algorithme de calcul d’intersection aboutit à une intersection ne comprenant pas de structure anatomique noble d’intérêt, et que le deuxième algorithme de calcul d’intersection aboutit à une intersection ne comprenant pas de structures anatomique noble d’intérêt, le dispositif programmable 6 peux exécuter un algorithme d’affichage, sur la première projection Pa, ou respectivement, la deuxième projection Pb, d’un message positif visant à prévenir le chirurgien que le positionnement et l’orientation de l’instrument chirurgical 5 sont fiables et qu’il peut procéder au perçage du tunnel osseux 10.
La figure 14 montre un exemple d’une telle superposition. Sur la figure 14, le message d’information « Safe » signifie que la position et l’orientation de l’extrémité de l’instrument chirurgical de perçage 5 sont compatibles avec un perçage sécurisé du tunnel osseux 10.
Dans un autre aspect de l’invention, le système d’aide en temps réel 1 permet également d’assister le chirurgien à la réalisation de plusieurs tunnels osseux lors de la même intervention.
Il est supposé ici qu’un premier tunnel osseux 10a a été réalisé dans le genou du patient et qu’un deuxième tunnel osseux 10b doit être également réalisé dans le genou du patient.
Sur la base de la position et de l’orientation Di(ti) de l’extrémité de l’instrument chirurgical de perçage 5 qui ont été utilisées à l’instant ti pour réaliser le premier tunnel osseux, le dispositif programmable 6 exécute un algorithme de calcul visant à calculer une représentation tridimensionnelle du premier tunnel osseux 10a (déjà réalisé et présent dans l’os) ainsi que la localisation de cette représentation dans la superposition S(t) (i.e., image de superposition calculée et affichée en temps réel) comme suit.
L’algorithme de calcul est exécuté sur la base de la connaissance de la position en temps réel dans l’espace de la salle d’opération du modèle tridimensionnel préopératoire 9 (issu de l’étape E20) recalé en temps réel sur le modèle tridimensionnel peropératoire 7, et sur la base de la connaissance de la position en temps réel dans l’espace de la salle d’opération de l’instrument chirurgical de perçage 5. L’algorithme permet ainsi d’enregistrer la trajectoire de l’instrument chirurgical de perçage 5 lorsque celui-ci pénètre et est déplacé à l’intérieur d’une structure osseuse. La trajectoire enregistrée peut alors être affichée en temps réel. La représentation tridimensionnelle du premier tunnel osseux 10a correspond à la trajectoire enregistrée.
Par exemple, la représentation tridimensionnelle du premier tunnel osseux 10a peut être affichée soit sur la superposition S(t). Dans un autre exemple, une vue bidimensionnelle de la représentation tridimensionnelle du premier tunnel osseux 10a peut être calculée et affichée en superposition sur l’une parmi la première projection Pa et la deuxième projection Pb.
On suppose qu’à l’instant actuel t, le chirurgien est en train de positionner l’extrémité de l’instrument de perçage 5 afin de réaliser le deuxième tunnel osseux 10b.
Avantageusement, le dispositif programmable 6 exécute un algorithme d’affichage, sur la première projection Pa courante et sur la deuxième projection Pb courante, de la représentation du premier tunnel osseux 10a déjà réalisé.
En d’autres termes, le système est configuré pour générer une vue bidimensionnelle de la représentation tridimensionnelle du premier tunnel osseux 10a déjà réalisé et produire une image de superposition qui comprend une superposition de la première projection Pa. Cette vue bidimensionnelle peut être affichée (ou rendue) sur l’image de superposition en utilisant un premier motif, par exemple un motif en pointillés ou hachuré. De la même manière, le système est configuré pour générer une vue bidimensionnelle de la représentation tridimensionnelle du premier tunnel osseux 10a déjà réalisé et de produire une image de superposition qui comprend une superposition de la deuxième projection Pb. Cette vue bidimensionnelle peut être affichée (ou rendue) sur l’image de superposition en utilisant un deuxième motif, identique ou différent du premier, par exemple un motif en pointillés ou hachuré.
La figure 15 illustre un exemple d’un tel affichage, où la vue bidimensionnelle de la représentation tridimensionnelle du premier tunnel osseux 10a est représenté en hachuré (i.e. motif).
Dans un exemple alternatif, la représentation du premier tunnel osseux est affichée sous la forme d’un hologramme numérique superposé à la première projection Pa courante, respectivement la deuxième projection Pb courante. Ceci permet au chirurgien d’avoir une vision en trois dimensions de son espace de travail. Par exemple, le chirurgien peut visualiser la première projection Pa courante à travers des lunettes de réalité augmentée, telles que des lunettes de visualisation d’un système Hololens™.
Afin d’éviter les intersections entre le premier tunnel osseux 10a déjà réalisé et le deuxième tunnel osseux 10b à réaliser, le dispositif programmable 6 exécute avantageusement, outre le premier algorithme de calcul d’intersection et le deuxième algorithme de calcul d’intersection, un troisième algorithme de calcul d’intersection entre la trajectoire du deuxième tunnel osseux 10b à réaliser qui est calculée en temps réel à partir de la position dans l’espace de la salle d’opération de l’instrument de perçage 5 et de la position dans l’espace du modèle tridimensionnel pré- opératoire 7 et la représentation du premier tunnel osseux 10a. De même, le dispositif programmable 6 exécute avantageusement un quatrième algorithme de calcul d’intersection entre la trajectoire du deuxième tunnel osseux 10b à réaliser et la représentation du premier tunnel osseux 10a.
Avantageusement, lorsque le troisième algorithme de calcul d’intersection aboutit à une intersection non vide, c’est-à-dire comprenant une partie de la représentation du premier tunnel osseux 10a réalisé précédemment, ou lorsque le quatrième algorithme de calcul d’intersection aboutit à une intersection non vide, c’est-à-dire comprenant une partie de la représentation du premier tunnel osseux 10a réalisé précédemment, le dispositif programmable 6 peux exécuter un algorithme d’affichage, sur la première projection Pa, ou respectivement, la deuxième projection Pb, d’un message d’information afin d’avertir le chirurgien du risque d’intersection avec le premier tunnel osseux 10a déjà réalisé.
Avantageusement, lorsque le troisième algorithme de calcul d’intersection aboutit à une intersection vide, et que le quatrième algorithme de calcul d’intersection aboutit à une intersection vide, le dispositif programmable 6 peux exécuter un algorithme d’affichage, sur la première projection Pa, ou respectivement, la deuxième projection Pb, d’un message positif visant à prévenir le chirurgien que le positionnement et l’orientation de l’instrument chirurgical 5 sont fiables et qu’il peut procéder au perçage du deuxième tunnel osseux 10b.
La figure 16 illustre une projection parmi la première projection Pa et la deuxième projection Pb, sur laquelle ont été superposés une vue bidimensionnelle de la représentation tridimensionnelle du premier tunnel osseux 10a déjà réalisé et une vue bidimensionnelle de la représentation tridimensionnelle prévisionnelle du deuxième tunnel osseux 10b à réaliser correspondant à la position et à l’orientation courante de l’extrémité de l’instrument de perçage 5. Une telle illustration de la superposition permet d’ajuster la position et à l’orientation courante de l’extrémité de l’instrument de perçage 5 afin d’éviter toute interférence entre le premier tunnel osseux 10a déjà existant et le deuxième tunnel osseux 10b à réaliser. S’il n’y a pas d’intersection entre le premier tunnel osseux 10a déjà réalisé et la trajectoire du deuxième tunnel osseux 10b à réaliser, la vue bidimensionnelle de la représentation tridimensionnelle de ce dernier est affichée en totalité, comme sur la figure 16. S’il y a une intersection, un message d’information est affiché à la place de la trajectoire du deuxième tunnel osseux 10b.
Un autre aspect de l’invention porte sur une méthode d’aide en temps réel à la réalisation d’au moins un tunnel osseux 10 par arthroscopie dans une articulation d’un patient, comprenant les étapes suivantes :
- recevoir, El 00, un modèle anatomique tridimensionnel préopératoire 7 spécifique au patient, ledit modèle comprenant une représentation de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir, E200, à l’aide d’un dispositif d’imagerie 2, un flux d’images bidimensionnelles peropératoires, lesdites images bidimensionnelles peropératoires comprenant une portion d’intérêt de l’articulation, et acquérir des informations de suivi de la position et de l’orientation courante Di(t) du dispositif d’imagerie à l’aide du dispositif de suivi 3, ou de manière alternative, acquérir, à l’aide d’un dispositif de mesure, un nuage de points représentatif de la portion d’intérêt de l’articulation, et acquérir des informations de suivi de la position et de l’orientation courante dudit dispositif de mesure
- acquérir, E300, à l’aide d’un dispositif de suivi 3 d’un instrument chirurgical de perçage 5, des informations de suivi de la position et de l’orientation Ip(t) dudit instrument chirurgical de perçage 5 lors d’une manipulation dudit instrument chirurgical de perçage 5 par un opérateur,
- déterminer, E400, un modèle anatomique tridimensionnel partiel peropératoire 9 à partir du flux d’images bidimensionnelles peropératoires (et des informations de suivi de la position et de l’orientation courante Di(t) du dispositif d’imagerie) ou de manière alternative, du nuage de points représentatif de la portion d’intérêt de l’articulation obtenu à l’aide du dispositif de mesure (et des informations de suivi de la position et de l’orientation courante dispositif de mesure),
- recaler, E500, le modèle anatomique tridimensionnel partiel peropératoire 9 sur le modèle anatomique tridimensionnel préopératoire 7 ;
- calculer, E600, sur la base d’une image bidimensionnelle peropératoire courante I(t) comprenant la portion d’intérêt de l’articulation :
* une zone de localisation courante, dans l’image bidimensionnelle peropératoire courante I(t), d’une extrémité de perçage de l’instrument chirurgical de perçage 5,
* une première projection comprenant une estimation courante d’une zone de localisation d’un premier orifice 1 la d’un tunnel osseux 10 à réaliser ;
* une deuxième projection comprenant une estimation courante d’une zone de localisation d’un deuxième orifice 11b du tunnel osseux 10 à réaliser.
Les différentes étapes de cette méthode sont illustrées sur l’ordinogramme de la figure 17.

Claims

REVENDICATIONS Système (1) d’aide à la réalisation d’au moins un tunnel osseux (10) par arthroscopie dans une articulation d’un patient à l’aide d’un instrument chirurgical de perçage (5), comprenant un dispositif d’imagerie (2) ou un dispositif de mesure, un dispositif de suivi (3) et un dispositif programmable (6), ledit dispositif programmable (6) étant adapté à :
- obtenir un modèle anatomique tridimensionnel préopératoire (7) spécifique au patient, ledit modèle comprenant une représentation d’au moins une portion d’intérêt de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir des informations de suivi de la position et de l’orientation courante de l’instrument chirurgical de perçage (Ip(t)) lors d’une manipulation dudit instrument chirurgical de perçage (5) par un opérateur à l’aide du dispositif de suivi (3);
- déterminer un modèle anatomique tridimensionnel partiel peropératoire (9), comprenant une représentation de la au moins une portion d’intérêt de l’articulation, en :
- acquérant, à l’aide du dispositif d’imagerie (2), un flux d’images bidimensionnelles peropératoires comprenant ladite au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante (Di(t)) du dispositif d’imagerie (2) à l’aide du dispositif de suivi (3) ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire (9) est obtenu à partir du flux d’images bidimensionnelles peropératoires et les dites informations de suivi de la position et de l’orientation courante (Di(t)), ou
- acquérant, à l’aide du dispositif de mesure, un nuage de points représentatif de la au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante dudit dispositif de mesure ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire (9) est obtenu à partir dudit nuage de points, ;
- recaler le modèle anatomique tridimensionnel préopératoire (7) sur le modèle anatomique tridimensionnel partiel peropératoire (9) ;
- calculer, sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire, et de la position et orientation courante (Ip(t)) de l’instrument chirurgical de perçage (5) :
* une zone de localisation courante (L), dans une image bidimensionnelle peropératoire courante (I(t)), d’une extrémité de perçage de l’instrument chirurgical de perçage (5),
* une première projection (PA) comprenant une estimation courante d’une zone de localisation d’un premier orifice (l ia) d’un tunnel osseux (10) à réaliser,
* une deuxième projection (PB) comprenant une estimation courante d’une zone de localisation d’un deuxième orifice (11b) du tunnel osseux (10) à réaliser. Système (1) selon la revendication 1, dans lequel le dispositif programmable est en outre configuré pour calculer :
- dans la première projection (PA), des premières projections d’une première partie de la représentation des structures anatomiques d’intérêt pendant une phase d’intervention, et/ou
- dans la deuxième projection (PB), des deuxièmes projections d’une deuxième partie de la représentation des structures anatomiques d’intérêt. Système (1) selon la revendication 2, dans lequel les structures anatomiques d’intérêt comprennent des reliefs osseux, des limites cartilagineuses, des structures tendineuses ou ligamentaires. Système (1) selon l’une des revendications précédentes, comprenant en outre une unité de visualisation et adapté en outre à afficher sur l’unité de visualisation :
* une superposition de l’image bidimensionnelle peropératoire courante (I(t)) et de la zone de localisation courante (L) de l’extrémité de perçage de l’instrument chirurgical de perçage (5),
* une première superposition de la première projection (P A) et des premières projections de la première partie de la représentation des structures anatomiques d’intérêt,
* une deuxième superposition de la deuxième projection (PB) et des deuxièmes projections de la deuxième partie de la représentation des structures anatomiques d’intérêt.
5. Système (1) selon l’une des revendications précédentes, adapté en outre à, avant d’obtenir le modèle anatomique tridimensionnel préopératoire (7), obtenir et mémoriser une pluralité d’images bidimensionnelles préopératoires comprenant la portion d’intérêt de l’articulation.
6. Système (1) selon l’une des revendications précédentes, adapté en outre à calculer une intersection entre l’estimation courante de la zone de localisation du premier orifice (l ia), respectivement du deuxième orifice (11b), courante avec les premières projections de la première partie, respectivement les deuxièmes projections de la deuxième partie de la représentation des structures anatomiques d’intérêt.
7. Système (1) selon les revendications 2, 4 et 6, adapté en outre, lorsque l’intersection avec les premières, respectivement deuxièmes, projections, comprend une portion des premières projections de la première partie de la représentation des structures anatomiques d’intérêt ou une portion des deuxièmes projections de la deuxième partie de la représentation des structures anatomiques d’intérêt, à afficher un message d’information sur la première, respectivement, la deuxième superposition.
8. Système (1) selon l’une quelconque des revendications 1 à 6, adapté en outre à, après une réalisation d’un premier tunnel osseux (10a) dans l’articulation du patient, calculer une représentation tridimensionnelle du premier tunnel osseux (10a) et à calculer, sur la première (PA), respectivement deuxième (PB), projection courante une première, respectivement deuxième, vue bidimensionnelle de ladite représentation tridimensionnelle du premier tunnel osseux (10a).
9. Système (1) selon la revendication 8, adapté en outre à afficher, sur la première projection (P A), la première vue bidimensionnelle et, sur la deuxième projection (PB), la deuxième vue bidimensionnelle. Système (1) selon l’une des revendications 8 à 9, adapté en outre à calculer une intersection entre l’estimation courante de la zone de localisation du premier (1 la), respectivement du deuxième (11b), orifice et d’une part la première vue bidimensionnelle, d’autre part, la deuxième vue bidimensionnelle. Système (1) selon la revendication 10 et la revendication 4, adapté en outre à afficher un message d’information sur la première, respectivement deuxième, superposition, lorsque l’intersection avec la première, respectivement la deuxième vue bidimensionnelle, comprend au moins une portion de la première vue bidimensionnelle, respectivement une portion de la deuxième vue bidimensionnelle. Une méthode mise en œuvre par ordinateur d’aide à la réalisation d’au moins un tunnel osseux (10) par arthroscopie dans une articulation d’un patient à l’aide d’un instrument chirurgical de perçage (5), ledit méthode comprenant :
- obtenir un modèle anatomique tridimensionnel préopératoire (7) spécifique au patient, ledit modèle comprenant une représentation d’au moins une portion d’intérêt de l’articulation du patient et une représentation de structures anatomiques d’intérêt,
- acquérir des informations de suivi de la position et de l’orientation courante de l’instrument chirurgical de perçage (Ip(t)) lors d’une manipulation dudit instrument chirurgical de perçage (5) par un opérateur à l’aide du dispositif de suivi (3);
- déterminer un modèle anatomique tridimensionnel partiel peropératoire (9), comprenant une représentation de la au moins une portion d’intérêt de l’articulation, en :
- acquérant, à l’aide du dispositif d’imagerie (2), un flux d’images bidimensionnelles peropératoires comprenant ladite au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante (Di(t)) du dispositif d’imagerie (2) à l’aide du dispositif de suivi (3) ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire (9) est obtenu à partir du flux d’images bidimensionnelles peropératoires et les dites informations de suivi de la position et de l’orientation courante (Di(t)), ou
- acquérant, à l’aide du dispositif de mesure, un nuage de points représentatif de ladite au moins une portion d’intérêt de l’articulation, et acquérant des informations de suivi de la position et de l’orientation courante dudit dispositif de mesure ; dans lequel ledit modèle anatomique tridimensionnel partiel peropératoire (9) est obtenu à partir dudit nuage de points, - recaler le modèle anatomique tridimensionnel préopératoire (7) sur le modèle anatomique tridimensionnel partiel peropératoire (9) ;
- calculer, sur la base d’informations obtenues avec le recalage du modèle anatomique tridimensionnel préopératoire, et de la position et orientation courante (Ip(t)) de l’instrument chirurgical de perçage (5) :
* une zone de localisation courante (L), dans une image bidimensionnelle peropératoire courante (I(t)), d’une extrémité de perçage de l’instrument chirurgical de perçage (5),
* une première projection (P A) comprenant une estimation courante d’une zone de localisation d’un premier orifice (l ia) d’un tunnel osseux (10) à réaliser,
* une deuxième projection (PB) comprenant une estimation courante d’une zone de localisation d’un deuxième orifice (11b) du tunnel osseux (10) à réaliser. Produit programme d’ordinateur comprenant des instructions qui conduisent le système (1) selon la revendication 1 à exécuter les étapes de la méthode selon la revendication 12. Support lisible par ordinateur, sur lequel est enregistré le programme d'ordinateur selon la revendication 13.
PCT/FR2023/051659 2022-10-24 2023-10-23 Systeme d'aide en temps reel a la realisation d'au moins un tunnel osseux par arthroscopie WO2024089352A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2211023 2022-10-24
FR2211023A FR3141054A1 (fr) 2022-10-24 2022-10-24 Systeme d’aide en temps reel a la realisation d’au moins un tunnel osseux par arthroscopie

Publications (1)

Publication Number Publication Date
WO2024089352A1 true WO2024089352A1 (fr) 2024-05-02

Family

ID=84568825

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2023/051659 WO2024089352A1 (fr) 2022-10-24 2023-10-23 Systeme d'aide en temps reel a la realisation d'au moins un tunnel osseux par arthroscopie

Country Status (2)

Country Link
FR (1) FR3141054A1 (fr)
WO (1) WO2024089352A1 (fr)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123255B2 (en) 2001-04-26 2006-10-17 Ge Medical Systems Global Technology Company Llc Method and system for medical image display of a three-dimensional representation
FR2920565B1 (fr) 2007-08-29 2009-12-18 Ensam Ecole Nationale Superieu Procede de reconstruction en trois dimensions d'un objet singulier a partir d'imagerie par coupes (scanner, irm)
US20130211232A1 (en) * 2012-02-01 2013-08-15 The Johns Hopkins University Arthroscopic Surgical Planning and Execution with 3D Imaging
US20210322148A1 (en) * 2018-08-28 2021-10-21 Smith & Nephew, Inc. Robotic assisted ligament graft placement and tensioning
WO2021257672A1 (fr) * 2020-06-18 2021-12-23 Smith & Nephew, Inc. Procédés d'auto-enregistrement d'images vidéo arthroscopiques sur des modèles préopératoires et dispositifs associés
US20220296302A1 (en) * 2019-04-26 2022-09-22 Ganymed Robotics Method and system for computer guided surgery

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7123255B2 (en) 2001-04-26 2006-10-17 Ge Medical Systems Global Technology Company Llc Method and system for medical image display of a three-dimensional representation
FR2920565B1 (fr) 2007-08-29 2009-12-18 Ensam Ecole Nationale Superieu Procede de reconstruction en trois dimensions d'un objet singulier a partir d'imagerie par coupes (scanner, irm)
US20130211232A1 (en) * 2012-02-01 2013-08-15 The Johns Hopkins University Arthroscopic Surgical Planning and Execution with 3D Imaging
US20210322148A1 (en) * 2018-08-28 2021-10-21 Smith & Nephew, Inc. Robotic assisted ligament graft placement and tensioning
US20220296302A1 (en) * 2019-04-26 2022-09-22 Ganymed Robotics Method and system for computer guided surgery
WO2021257672A1 (fr) * 2020-06-18 2021-12-23 Smith & Nephew, Inc. Procédés d'auto-enregistrement d'images vidéo arthroscopiques sur des modèles préopératoires et dispositifs associés

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
T. TAKETOMI ET AL.: "Visual SLAM algorithme : a survey from 2010 to 2016", IPSJ TRANSACTIONS ON COMPUTER VISION AND APPLICATIONS, 2017

Also Published As

Publication number Publication date
FR3141054A1 (fr) 2024-04-26

Similar Documents

Publication Publication Date Title
US20230252634A1 (en) Systems and methods for segmentation of anatomical structures for image-guided surgery
EP3659112B1 (fr) Procédé de co-enregistrement et d'affichage de multiples modalités d'imagerie
Maier-Hein et al. Optical techniques for 3D surface reconstruction in computer-assisted laparoscopic surgery
US8126241B2 (en) Method and apparatus for positioning a device in a tubular organ
FR3095331A1 (fr) Procédé de chirurgie orthopédique assistée par ordinateur
US9681925B2 (en) Method for augmented reality instrument placement using an image based navigation system
CA2067209C (fr) Systeme intractif d'intervention locale a l'interieur d'une zone d'une structure non homogene
FR2880791A1 (fr) Procede et dispositif d'assistance par ordinateur pour la reduction d'une fracture
EP2197384B1 (fr) Système et procédé d'analyse pour une opération chirurgicale par endoscopie
EP2583242B1 (fr) Procede d'identification automatique des contours d'un os predefini, procedes derives et produits programme d'ordinateur correspondants
US20100312100A1 (en) Method and apparatus for guiding a device in a totally occluded or partly occluded tubular organ
US20130211232A1 (en) Arthroscopic Surgical Planning and Execution with 3D Imaging
CN105050473A (zh) 图像处理装置、内窥镜装置、程序以及图像处理方法
WO2000052643A1 (fr) Dispositif d'observation endoscopique
Rodrigues et al. Deep segmentation leverages geometric pose estimation in computer‐aided total knee arthroplasty
WO2018224485A1 (fr) Procédé et système d'aide au guidage d'un outil endovasculaire
WO2008135668A2 (fr) Dispositif de traitement d'images pour la mise en correspondance d'images d'une même portion d'un corps obtenues par résonance magnétique et par ultrasons
WO2024089352A1 (fr) Systeme d'aide en temps reel a la realisation d'au moins un tunnel osseux par arthroscopie
FR3078624A1 (fr) Systeme et procede d’assistance en realite augmentee au positionnement d’une instrumentation chirurgicale specifique a un patient
EP4230168A1 (fr) Système de chirurgie rachidienne robotisée
Gong et al. Toward real-time endoscopically-guided robotic navigation based on a 3D virtual surgical field model
CA3178587A1 (fr) Methode de prediction de la recidive d'une lesion par analyse d'images
EP4120946B1 (fr) Procédé et dispositif d'aide à une intervention invasive sur un organe humain ou animal
KR20140124456A (ko) Oct 영상과 심장 삼차원 영상의 정합을 통한 심장 수술 내비게이션 시스템 및 방법
Fu et al. A novel intrarenal multimodal 2D/3D registration algorithm and preliminary phantom study