WO2023104854A1 - Method and system for simulating the mechanical behaviour of a body - Google Patents

Method and system for simulating the mechanical behaviour of a body Download PDF

Info

Publication number
WO2023104854A1
WO2023104854A1 PCT/EP2022/084728 EP2022084728W WO2023104854A1 WO 2023104854 A1 WO2023104854 A1 WO 2023104854A1 EP 2022084728 W EP2022084728 W EP 2022084728W WO 2023104854 A1 WO2023104854 A1 WO 2023104854A1
Authority
WO
WIPO (PCT)
Prior art keywords
interface
probe
active support
positioning
digital twin
Prior art date
Application number
PCT/EP2022/084728
Other languages
French (fr)
Inventor
Gregorio Ameyugo
Original Assignee
Commissariat A L'energie Atomique Et Aux Energies Alternatives
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Commissariat A L'energie Atomique Et Aux Energies Alternatives filed Critical Commissariat A L'energie Atomique Et Aux Energies Alternatives
Publication of WO2023104854A1 publication Critical patent/WO2023104854A1/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/582—Remote testing of the device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/56—Details of data transmission or power supply
    • A61B8/565—Details of data transmission or power supply involving data transmission via a network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/587—Calibration phantoms

Definitions

  • the present invention relates to the simulation of the mechanical behavior of a body, in particular but not exclusively with a view to facilitating the tele-operation by the doctor of a probe during the diagnosis of a remote patient.
  • the MELODY system from the French company Adechotech uses, on the patient's side, a bracket that must be manipulated by hand, with an effector at the end, carrying a slave probe to be moved over the patient's body.
  • This effector is slaved to the movements of a master probe on the side of the remote operator.
  • the manipulation of the master probe is done without providing haptic feedback or representativeness of the body being explored.
  • this system requires the assistance of a person on site next to the patient to manipulate the slave probe, which limits its use to situations where such human assistance is available.
  • An analog RADIUS system was developed at the Institute of Machinery and Materials of South Korea in 2017, which includes a master device comprising a platform mounted on jacks and capable of recording the movements of a probe manipulated by the doctor, and a slave device provided with handles, to be applied to the patient, comprising a mechanism for moving a slave probe in response to the movements of the master probe.
  • a remote diagnosis system does not include haptic feedback and does not offer representativeness of the explored body.
  • it also requires the presence of an assistant next to the patient to hold the slave device (http://koreabizwire.com/s-korean-institute-develops-remote-ultrasound-diagnostic-system/102708).
  • the system operates in a closed loop using a dynamic surface with a general shape predefined on the operator side, composed of pneumatic chambers controlled by electrovalves, making it possible to model the changes in stiffness of the body explored on the master side.
  • a dynamic surface with a general shape predefined on the operator side, composed of pneumatic chambers controlled by electrovalves, making it possible to model the changes in stiffness of the body explored on the master side.
  • Such a system turns out to be relatively unresponsive and lacking in resolution, and in particular does not make it possible to properly simulate hard stops representative of the presence of obstacles such as bones in the human body. Its slowness makes it difficult to reconcile with the time constraints of most interventions.
  • the invention aims to respond according to a first of its aspects to at least one of these needs, and has as its object a method for simulating the mechanical behavior of a body, comprising the steps consisting in: configuring from a digital twin a dynamic model comprising a deformable interface linked to a plurality of active support elements, the stroke and mechanical response of which are adjusted to reproduce with the interface the external geometry of the body and simulate its mechanical behavior, the digital twin having been previously generated by acquiring the external geometry of at least part of said body and its local response to the application of a strength.
  • the invention makes it possible, according to this first aspect, to provide a human operator, in particular a doctor, with a dynamic interface that can be explored in a natural way having the same haptic characteristics as a body to be explored.
  • This can facilitate the work of a teleoperator and can allow him to explore the body from a distance.
  • This can also help in the training of a doctor in particular, by improving the realism of the simulation of the displacement of an object or a hand in contact with a part of the human body.
  • the digital twin can be a "4D" digital model consisting of a computer file comprising a 3D map of the external geometry of the part of said body whose mechanical behavior is to be reproduced and a matrix representative of the mechanical resistances of said body at different forces. applied to it at different positions and/or geometrical orientations.
  • Pre-recorded real cases can be stored as digital twins, featuring the 4D model of the body in question.
  • twin When the twin is generated, it is also possible to save diagnostic images generated during the passage of the tool in the real case, and then restore them during the simulation.
  • the method for simulating the mechanical behavior comprises the detection of the positioning and/or the orientation relative to the dynamic model of a probe manipulated by a human operator, and the restitution to the operator of information which is function of the positioning and/or of the orientation thus detected(s) of the probe.
  • the information delivered to the operator is preferentially representative of that delivered by the probe when positioned and/or oriented identically on the body.
  • Another object of the invention is to meet the need mentioned above to improve the methods and systems for remote haptic exploration, in particular in terms of comfort for the operator, efficiency and speed, in order to facilitate the development of the telediagnosis, in particular in the medical field, and more generally teleoperation.
  • a remote control method with haptic feedback comprising the steps consisting in: generating in an initial phase a digital twin of at least one part of a body in acquiring its external geometry and its local response to the application of a force, configuring from the digital twin thus generated a dynamic remote model comprising a deformable interface linked to a plurality of active support elements whose stroke and the mechanical response are adjusted to reproduce with the interface the external geometry of the body and to simulate its mechanical behavior, to detect, in a remote action phase on the body, the positioning and/or the orientation relative to the dynamic model of a master object manipulated by a human operator, piloting from the positioning and/or the orientation thus detected(s) a robotic arm carrying a slave object to copy, with the slave object on the body, the positioning and /or the orientation of the master object on the deformable interface.
  • This process allows a more natural remote interaction between the human operator and the studied body and closer to the usual exploration.
  • the invention allows the human operator to have a representative model of the geometry and the resistance of the body remotely, allowing a more efficient and finer diagnosis than what is possible with current systems.
  • the invention offers the possibility of taking into account the time delays in the communications inherent in a remote diagnosis, thanks to the digital twin generated in the initial phase, to restore predicted mechanical resistances even before having completed the master - slave loop - master. This makes it possible to better manage the communication delays that most often exist in remote diagnostics, by having an interface that reacts to the movements of the human operator almost in real time, rather than waiting for the return of the slave object each time, as is the case for the system proposed by the University of Catania cited above.
  • the invention makes it possible to adapt the geometry and resistance of the interface to the exact body being diagnosed, rather than having a generic means poorly adapted to the body to be explored.
  • the step consisting in detecting on the interface the positioning and/or the orientation relative to the dynamic model of the master object can be carried out through specific sensors (for example magnetic, odometric sensors, etc.) which make it possible to detect and quantify the movement of the master object in space, or relative to the dynamic model.
  • specific sensors for example magnetic, odometric sensors, etc.
  • the step consisting in detecting on the interface the positioning and/or the orientation relative to the dynamic model of the master object can still be carried out alternatively through vision tracking methods (camera tracking with or without visual target on the master object).
  • the measurement of the pressure applied by the master object on the interface can be carried out through signals recovered in the active support elements.
  • Tracking the master object's displacement and/or force can be accomplished with a combination of any or all of these techniques, to ensure accurate identification of the master object's position and/or the force it exerts on the interface.
  • the master object at least partially reproduces the shape of the slave object, in particular that of the slave object coming into contact with the body.
  • the slave object and the master object can thus have the same shape, or even be identical.
  • the remote control method preferably comprises the acquisition of a mechanical response during a positioning of the slave object imposed by that of the master object, the updating of the digital twin then adjusting the stroke of the active support elements and/or their response based on this acquisition.
  • This real-time update makes it possible to take into account changes in the resistance of said body to the slave object, for example during the displacement of an organ or the encounter with a bone, and thus makes it possible to keep a model dynamic whose properties remain faithful as much as possible to those of the distant body to be explored.
  • This can also make it possible to enrich the digital twin during the exploration, and thus to improve the precision of the simulation of the behavior during the examination; it may also allow if desired to start with a lower volume of data acquired in the initial phase, therefore to shorten the duration thereof.
  • the acquisition of the local response of the body to the application of a force is carried out during the initial phase at several points using the slave object, in particular by making it carry out with the robotic arm a predefined trajectory.
  • the geometry of the body to be explored can be determined by any suitable means, for example by using one or more cameras, for example stereoscopic, one or more lasers or LIDAR, a feeler arm, or any sensor making it possible to obtain the desired 3D cartography.
  • the remote control method according to the invention may include a calibration phase between the external geometry of the body and the position of the robotic arm.
  • This calibration can be done by any means, and for example by including the arm with a known position and/or orientation in the field of initial acquisition of the topology of the body.
  • the slave object can be a probe emitting signals, in particular an ultrasound probe, in particular an echographic probe carried by the robotic arm.
  • the master object can still be a haptic hand and the slave object a representative effector, such as a robotic hand.
  • the active support elements preferably include actuators, which are preferably linear, preferably electromechanical jacks, and make it possible to adapt the starting topology of the deformable interface to the geometry of the body.
  • the active support elements preferably each comprise a magnetorheological brake making it possible to modify the response of the active support element to a mechanical stress, this brake being controlled according to the digital twin.
  • the brake makes it possible to finely and very quickly control the resistance opposed by the active support element when the human operator exerts a thrust on the deformable interface.
  • the brake may comprise an enclosure containing a magnetorheological fluid.
  • magnetorheological brake makes it possible to impose a controllable viscous friction using a magnetic field whose intensity depends on that of the electric current used to generate the field.
  • magnetorheological fluids are suspensions of micrometric magnetic particles in non-magnetic liquids. When such a liquid is exposed to a magnetic field, the particles aggregate in the form of chains which greatly increase the resistance to flow.
  • the magnetic field necessary to control the viscosity of the fluid is provided by an electromagnet.
  • Each active support element can be provided with a return member, in particular a spring, deformable under the effect of a force exerted by the master object. Controlling the stroke of the aforementioned cylinder makes it possible to reproduce the geometry of the body to be explored; the cylinder can be blocked at the stroke corresponding to this geometry.
  • the presence of the return device allows the cylinder to be able to sink when a force is exerted on the model by the operator, and therefore the model to sink locally.
  • the presence of the brake makes it possible to modulate the depression stroke, for example by blocking the depression from a certain stroke, or to vary the force to be exerted to cause this depression, to simulate for example a hardening of the fabric or the presence of an obstacle that prevents further movement.
  • the method may include controlling the intensity of a current sent to the brake to modify the viscosity of the magnetorheological fluid as a function, on the one hand, of the displacement of a rod of the active support element under the effect of a force exerted on the interface by the operator and on the other hand of the mechanical response recorded in the digital twin; for example, to simulate a sinking without significant mechanical resistance, the brake is not activated or slightly activated, which allows the rod of the active support element to sink in response to a force exerted by the operator , the return member being compressed during this depression; if after a certain driving stroke, it is appropriate to simulate a stop, linked for example to the presence of an underlying bone in the explored tissues, the current in the brake is increased, which blocks the descent of the rod of the active support element and therefore the sinking of the dynamic model locally; when the operator releases the pressure, this release can be detected, and the current in the brake reduced, to allow the rod of the active support element to return
  • the interface preferably includes a layer of viscoelastic material, which can define the surface that the human operator explores. This contributes to the flexibility of the deformable interface and can make it possible to have a haptic feedback closer to reality when exploring a human body thanks to the invention.
  • System for simulating the mechanical behavior of a body is a system for simulating the mechanical behavior of a body, in particular for the implementation of a method according to the invention, comprising: a dynamic model comprising an interface deformable bonded to a plurality of active support members whose stroke and mechanical response are adjustable, a control system for controlling the stroke and mechanical response of the active support members based on a digital twin of at least one part of said body, this digital twin comprising data relating to the external geometry of said body and to its local response to the application of a force, the control of the active support elements being carried out in such a way as to reproduce with the interface the external geometry of the body and simulate its mechanical behavior.
  • the system according to the invention comprises a system for detecting the positioning and/or the orientation relative to the dynamic model of a master object manipulated by a human operator.
  • This information can be transmitted remotely to control a robot carrying a slave object, as in the case of the method defined above.
  • a remote control system with haptic feedback comprising, in addition to the system according to the invention described above, a system for controlling a robotic arm for controlling, from the positioning and/or orientation thus detected, a robotic arm carrying a slave object and copying, with the slave object on the body, the positioning and/or the orientation of the master object on the deformable interface.
  • the invention also relates to a remote exploration system with haptic feedback, comprising, in addition to the control system according to the invention, the robotic arm carrying the slave object.
  • This slave object can advantageously be an echographic probe, as indicated above.
  • Any type of echographic probe can be used in the context of the present invention, including linear and convex probes, or even endocavitary probes.
  • the robotic arm may be a collaborative robotic arm, or “cobot”.
  • Another subject of the invention is the use of the haptic feedback remote control system according to the invention for the non-destructive testing of flexible or semi-rigid components or structures.
  • the invention also relates, according to another of its aspects, to the use of the system to simulate the mechanical behavior of a body for the purpose of recording case studies and their reproduction on the dynamic model to form new operators.
  • Figure 1 is a block diagram of an example of a haptic feedback remote exploration system according to the invention.
  • FIG 2 Figure 2 schematically shows the components of the system shown in Figure 1;
  • FIG 3 schematically illustrates an example of an actuator used in the system of Figure 2.
  • FIG. 1 is a block diagram of an example of haptic feedback remote exploration system 1 according to the invention.
  • This system 1 comprises a master part 10 and a slave part 20, connected by means of connection 30 between the two ensuring their bilateral communication.
  • connection means can include any telecommunications network, wired or not.
  • FIG. 2 shows the components of System 1 in more detail.
  • the master part 10 comprises a dynamic model 100 and a control system 106 which can be a computer or any other computer or electronic system, for example with a microcontroller.
  • the slave part 20 comprises a robotic arm 220, preferably collaborative, for example of the 6-axis type, carrying a slave probe 210, a control system 211 of the robotic arm 220, a 3D acquisition system such as one or more cameras 240, making it possible to acquire the external geometry of the body 200, and a calculation unit 230 connected to the control system 211, to the slave probe 210, to the camera 240 and to the connection means 30.
  • This calculation unit 230 can be a computer or any other suitable computer or electronic means.
  • the slave probe 210 and/or the robotic arm 220 can be instrumented to measure the force applied and the local mechanical response, to the application of this force, of the body being explored.
  • the dynamic model 100 comprises a deformable interface 101, preferably comprising a layer of viscoelastic material, the outer face of which is intended to come into contact with a master probe 110 manipulated by the operator and the inner face is linked to a plurality of active support elements 103, the stroke and mechanical response of which are adjustable.
  • the interface 101 may comprise pillars 104 to which the active support elements are attached at their end, as illustrated.
  • a power electronics 105 connected to the control system 106 makes it possible to control the active support elements 103.
  • the control system 106 is configured to control the stroke and mechanical response of the latter based on a digital twin 231 of at least one body part 200 to be explored.
  • This digital twin 231 is for example stored in an electronic memory of the control system 106 or in a server to which the latter can access.
  • a detection system 111 makes it possible to know the position and/or the orientation of a master probe 110 relative to a reference frame associated with the model 100, preferably both the position (at least x, y, and better still x, y and z) and orientation (at least two of the three Euler angles, better all three).
  • the active support elements 103 are preferably each formed by an actuator-brake couple.
  • the active support element 103 may comprise, as shown, a body 1030 housing an electromechanical linear actuator 1035 actuating a rod 1040.
  • the body 1030 can receive a magnetorheological brake 1034 acting on the rod 1040.
  • a return member 1036 preferably a spring, can interact between the actuator 1035 and the body 1030 to allow the actuator to sink relative to the body 1030 if the brake 1034 allows it, when a corresponding thrust is exerted on interface 101.
  • the actuator 1035 transforms, for example, the rotational movement of a motor, through a connection of the screw/nut type, not shown in FIG. 3, into a translational movement of the rod 1040. free end a head 1041 coming into contact with the internal wall of the interface 101.
  • the brake 1034 may comprise an enclosure containing a magnetorheological fluid 1031 capable of forming, when subjected to a magnetic field, solid chains around the rod 1040 in order to prevent or slow down its linear movement, depending on the intensity of the field, the coefficient of friction with the rod 1040 varying according to the viscosity of the fluid 1031.
  • the magnetic field is generated by an electromagnet 1032, arranged around the rod 1040, connected to the power electronics 105, itself controlled by the circuit of control 106.
  • the density of the active support elements 103 along the x or y axis can be greater than 10 m′ better than 50 m′ 1 , taking for example as a reference active support elements 16 mm in diameter, 60 mm of stroke and 100N of axial force.
  • the height of the active support elements 103 along the z axis is adjusted according to the shape of the body 200 to be reproduced.
  • the axial stroke along z can be for example between a minimum value z m in equal to 0 mm and a maximum value z ma x equal to 60 mm, or even 100 mm.
  • the difference (z ma x - z m in) represents the maximum amplitude along z with which the relief of the model can be modified locally, during the initial configuration of the topology.
  • the travel of the active support element 103 in the event of a thrust exerted on it by the operator depends on the freedom of movement along z of the actuator, relative to the body 1030, authorized by the return member 1036. This freedom of movement provides mobility along z which is combined with the stroke given by the actuator.
  • Digital twin 231 includes data relating to the external geometry of body 200 and its local response to the application of a force. This digital twin 231 is generated by the calculation unit 230 of the slave part 20, which transmits it for example via the connection means 30 to the control system 106.
  • the digital twin 231 is generated in an initial phase by acquiring the external 3D mapping of the body 200 and its local response to the application of different forces F1, F2, F3, F1', F2', F3', . .. at different positions and/or with different orientations, this response being for example represented in the form of a matrix of resistances to said forces.
  • different forces are applied with the slave probe to measure the corresponding deformation of the body, for example by measuring the resulting displacement of the slave probe 210 through the position data of the robot, or optically.
  • the slave probe 210 proceeds for example to the application of the different forces according to a predefined trajectory, the robotic arm being controlled accordingly by the calculation unit 230.
  • the external geometry of the body 200 can be obtained through a visual scan carried out by the acquisition system 240 when the latter comprises cameras or LIDAR, or, as a variant, through a haptic exploration on the surface by the slave probe 210.
  • the spatial resolution of the acquisition along the x or y axis of the 3D mapping can be greater for example than 1 point/cm, better than 10 points/cm, and that of the mechanical resistance at 1 point/cm in the z axis, better than 5 points/cm.
  • the dynamic model 100 can be configured from this digital twin.
  • This configuration includes the control of the stroke of the rods 1040 of the active support elements 103 according to z in order to give the interface 101 the shape of the body 200, and the control of the brakes to ensure that the dynamic behavior in response to a thrust exerted on the interface 101 by the operator 120 best simulates the mechanical behavior of the body 200, as will be detailed below.
  • the positioning relative to the dynamic model 100 of the master probe 110 is detected using the detection system 111.
  • the latter comprises for example one or more cameras or LIDAR to spatially locate the probe 110, or a system for locating using ultrasonic or radiofrequency waves, by triangulation. It is also possible to provide the interface with a system for locating the contact of the latter with the probe thanks to a network of electrical conductors on the surface or under the surface of the interface 101, which locally detect contact with the probe. 110.
  • the robotic arm 220 From the positioning thus detected of the master probe 110, it is then possible to control the robotic arm 220 to copy, with the slave probe 210 on the body 200, the positioning and also, if necessary, the orientation of the master probe 110 on the deformable interface 101.
  • the current sent to the electromagnet 1032 is relatively weak and the force braking is limited, so as to allow compression of the spring 1036 and the descent of the rod 1040 in response to the force exerted.
  • the model thus reacts by sinking locally.
  • the current in the electromagnet is increased once this depression c is reached, which activates the brake and blocks the continuation of the movement of depression of the rod 1040 in the body 1030 of the support element 103. This restores to the operator 120 the feeling that an organ is blocking the further depression of the probe 110, as in reality.
  • the system detects this and the brake can be released, allowing the rod 1040 to return to its original position; the model 100 returns to the initial shape in which it was configured, supposed to reproduce the topology of the body to be explored in the absence of mechanical constraint.
  • the body 200 corresponds for example to a human abdomen and the dynamic model 100 can reproduce all or part of this abdomen.
  • the extent of the model 100 can be as large as that of the part of the body to be explored.
  • Other external or internal parts of the body can be explored in the same way, for example the chest, back, neck, legs, etc.
  • the model 100 is smaller than the body to be explored and thus only restores a portion of it at a time.
  • the system can make it possible to choose the portion of the body that one wishes to explore, for example by allowing the operator to select a reference point on the body which corresponds for example to the center of the zone that the we want to reproduce with the dynamic model and explore with the probe. If the operator wishes to explore a different zone, the system can allow him to select a new reference point on the body, in which case the model is reconfigured to be centered on this new zone, for example, before allowing exploration of to resume. If the operator chooses to go back to an area already explored, the system returns the corresponding configuration of the model for the geometry and the resistance of the area in question.
  • the system can then use a stochastic method to define random points to explore, or better, densify the measurement points around the usual positions of bones, organs, etc., and acquire few measurement points outside these areas or any critical area.
  • the system can be based on the acquired image of the body to be explored, and register it in relation to a reference digital twin (for example of a human abdomen).
  • a reference digital twin for example of a human abdomen
  • the system 1 described above can also be used to simulate the mechanical behavior of a body for the purpose of recording case studies and their reproduction on the dynamic model 100 to train new operators.
  • the dynamic model 100 is preconfigured from a digital twin 231 previously generated by acquiring the external geometry of at least part of a body to be explored and its local response to the application of a force.
  • Real ultrasound images for example, are recorded beforehand in order to allow the operator to see the result given by the positioning and/or orientation of the probe he is handling.
  • the positioning and/or the orientation relative to the dynamic model of the probe are detected, and information which is a function of the positioning and/or the orientation thus detected is returned to the operator. This information is then representative of that which a real probe would deliver when positioned and/or oriented in an identical manner on the real body.
  • the actuator may not include a return member, the actuator being driven to move the rod 1040 back when a thrust exerted on the model is detected by the system.
  • the brake may be electromechanical.
  • the model can reproduce orifice(s) and cavity(ies), the active support elements being arranged around the cavity or cavities.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

The invention relates to a method for simulating the mechanical behaviour of a body (200), comprising the steps of: - configuring, from a digital twin (231), a dynamic model (100) comprising a deformable interface (101) connected to a plurality of active support elements (103), the travel and mechanical response of which are adjusted to reproduce, using the interface (101), the external geometry of the body (200) and to simulate the mechanical behaviour thereof, - the digital twin (231) having been generated beforehand by capturing the external geometry of at least part of said body (200) and the local response thereof to the application of a force (F1, F2, F3, F1', F2', F3').

Description

Description Description
Titre : Procédé et système de simulation du comportement mécanique d’un corpsTitle: Process and system for simulating the mechanical behavior of a body
Domaine technique Technical area
La présente invention concerne la simulation du comportement mécanique d’un corps, en particulier mais non exclusivement en vue de faciliter la télé-opération par le médecin d’une sonde lors du diagnostic d’un patient à distance. The present invention relates to the simulation of the mechanical behavior of a body, in particular but not exclusively with a view to facilitating the tele-operation by the doctor of a probe during the diagnosis of a remote patient.
Technique antérieure Prior technique
Les demandes de télé-opération se multiplient chaque année, surtout dans le domaine médical. Requests for tele-operation are increasing every year, especially in the medical field.
Il s’agit de répondre au besoin de fournir rapidement un accès médical là où un médecin n'est pas toujours disponible. This is to meet the need to quickly provide medical access where a doctor is not always available.
La revue Springer 2021 « Medical Robotics for Ultrasound Imaging : Current Systems and Future Trends » donne un aperçu des systèmes à ultrasons robotiques les plus récents qui sont apparus au cours des cinq dernières années. The Springer 2021 review “Medical Robotics for Ultrasound Imaging: Current Systems and Future Trends” provides an overview of the newest robotic ultrasound systems that have emerged over the past five years.
Parmi ces systèmes, le système MELODY de la société française Adechotech utilise, du côté du patient, une potence qui doit être manipulée à la main, avec un effecteur au bout, portant une sonde esclave à déplacer sur le corps du patient. Cet effecteur est asservi aux mouvements d’une sonde maître du côté de l’opérateur à distance. La manipulation de la sonde maître se fait sans procurer de retour haptique ni de représentativité du corps en cours d’exploration. De plus, ce système nécessite l’assistance d’une personne sur place à côté du patient pour manipuler la sonde esclave, ce qui limite son usage aux situations où une telle assistance humaine est disponible. Among these systems, the MELODY system from the French company Adechotech uses, on the patient's side, a bracket that must be manipulated by hand, with an effector at the end, carrying a slave probe to be moved over the patient's body. This effector is slaved to the movements of a master probe on the side of the remote operator. The manipulation of the master probe is done without providing haptic feedback or representativeness of the body being explored. In addition, this system requires the assistance of a person on site next to the patient to manipulate the slave probe, which limits its use to situations where such human assistance is available.
Un système analogue RADIUS a été développé à l’institut des machines et matériaux de Corée du Sud en 2017, qui comporte un dispositif maître comportant une plateforme montée sur vérins et capable d’enregistrer les mouvements d’une sonde manipulée par le médecin, et un dispositif esclave muni de poignées, à appliquer sur le patient, comportant un mécanisme pour déplacer une sonde esclave en réponse aux mouvements de la sonde maître. Un tel système de télédiagnostic ne comporte pas de retour haptique et n’offre pas de représentativité du corps exploré. De plus, il nécessite également la présence d’un assistant à côté du patient pour maintenir le dispositif esclave (http://koreabizwire.com/s-korean- institute-develops-remote-ultrasound-diagnostic-system/102708). An analog RADIUS system was developed at the Institute of Machinery and Materials of South Korea in 2017, which includes a master device comprising a platform mounted on jacks and capable of recording the movements of a probe manipulated by the doctor, and a slave device provided with handles, to be applied to the patient, comprising a mechanism for moving a slave probe in response to the movements of the master probe. Such a remote diagnosis system does not include haptic feedback and does not offer representativeness of the explored body. In addition, it also requires the presence of an assistant next to the patient to hold the slave device (http://koreabizwire.com/s-korean-institute-develops-remote-ultrasound-diagnostic-system/102708).
Afin de surmonter les difficultés liées au manque de représentativité du corps exploré côté maître, des recherches ont été réalisées récemment pour proposer du retour d’effort à l’opérateur. Les travaux de l’Université de Catania, publiés en 2020 dans l’article Bucolo et al. « Force Feedback Assistance in Remote Ultrasound Scan Procedures », en sont le meilleur exemple. Le système développé permet la réalisation du diagnostic par un robot collaboratif piloté à distance par le mouvement d’une sonde par un opérateur, sans besoin d’un assistant humain côté patient, ainsi que la mesure par le robot de la résistance mécanique opposée par le patient, et la restitution de cette mesure à l’opérateur. In order to overcome the difficulties related to the lack of representativeness of the body explored on the master side, research has recently been carried out to offer force feedback to the operator. The work of the University of Catania, published in 2020 in the article Bucolo et al. “Force Feedback Assistance in Remote Ultrasound Scan Procedures”, are the best example. The system developed allows diagnosis to be carried out by a collaborative robot remotely controlled by the movement of a probe by an operator, without the need for a human assistant on the patient side, as well as the measurement by the robot of the mechanical resistance opposed by the patient, and the return of this measurement to the operator.
Le système opère en boucle fermée en utilisant une surface dynamique de forme générale prédéfinie côté opérateur, composée de chambres pneumatiques contrôlées par des électroclapets, permettant de modéliser les changements de raideur du corps exploré côté maître. Cependant, un tel système s’avère relativement peu réactif et manquer de résolution, et ne permet notamment pas de simuler convenablement des butées franches représentatives de la présence d’obstacles tels que des os dans le corps humain. Sa lenteur le rend difficilement compatible avec les contraintes temporelles de la plupart des interventions. The system operates in a closed loop using a dynamic surface with a general shape predefined on the operator side, composed of pneumatic chambers controlled by electrovalves, making it possible to model the changes in stiffness of the body explored on the master side. However, such a system turns out to be relatively unresponsive and lacking in resolution, and in particular does not make it possible to properly simulate hard stops representative of the presence of obstacles such as bones in the human body. Its slowness makes it difficult to reconcile with the time constraints of most interventions.
Exposé de l’invention Disclosure of Invention
Il demeure donc un besoin pour perfectionner encore les procédés et systèmes d’exploration haptique à distance, notamment en termes de confort pour l’opérateur, d’efficacité et de rapidité, afin de faciliter le développement du télédiagnostic, notamment dans le domaine médical, et plus généralement de la télé-opération. There therefore remains a need to further improve remote haptic exploration processes and systems, particularly in terms of comfort for the operator, efficiency and speed, in order to facilitate the development of telediagnosis, particularly in the medical field, and more generally tele-operation.
Il existe également un besoin pour faciliter la formation d’opérateurs manipulant une sonde ou tout autre dispositif sur un corps, en fournissant une réponse haptique réaliste. There is also a need to facilitate the training of operators manipulating a probe or any other device on a body, by providing a realistic haptic response.
Procédé pour simuler le comportement mécanique d’un corps Method for simulating the mechanical behavior of a body
L’invention vise à répondre selon un premier de ses aspects à l’un au moins de ces besoins, et a pour objet un procédé pour simuler le comportement mécanique d’un corps, comportant les étapes consistant à : configurer à partir d’un jumeau numérique une maquette dynamique comportant une interface déformable liée à une pluralité d’éléments de support actifs, dont la course et la réponse mécanique sont ajustées pour reproduire avec l’interface la géométrie externe du corps et simuler son comportement mécanique, le jumeau numérique ayant été préalablement généré en faisant une acquisition de la géométrie externe d’une partie au moins dudit corps et de sa réponse locale à l’application d’une force. The invention aims to respond according to a first of its aspects to at least one of these needs, and has as its object a method for simulating the mechanical behavior of a body, comprising the steps consisting in: configuring from a digital twin a dynamic model comprising a deformable interface linked to a plurality of active support elements, the stroke and mechanical response of which are adjusted to reproduce with the interface the external geometry of the body and simulate its mechanical behavior, the digital twin having been previously generated by acquiring the external geometry of at least part of said body and its local response to the application of a strength.
L’invention permet selon ce premier aspect de fournir à un opérateur humain, notamment un médecin, une interface dynamique explorable de façon naturelle présentant les mêmes caractéristiques haptiques qu’un corps à explorer. Cela peut faciliter le travail d’un téléopérateur et peut lui permettre d’explorer à distance le corps. Cela peut aussi aider à la formation d’un médecin notamment, en améliorant le réalisme de la simulation du déplacement d’un objet ou d’une main au contact d’une partie du corps humain. The invention makes it possible, according to this first aspect, to provide a human operator, in particular a doctor, with a dynamic interface that can be explored in a natural way having the same haptic characteristics as a body to be explored. This can facilitate the work of a teleoperator and can allow him to explore the body from a distance. This can also help in the training of a doctor in particular, by improving the realism of the simulation of the displacement of an object or a hand in contact with a part of the human body.
Le jumeau numérique peut être un modèle numérique « 4D » constitué d’un fichier informatique comprenant une cartographie 3D de la géométrie externe de la partie dudit corps dont on cherche à reproduire le comportement mécanique et une matrice représentative des résistances mécaniques dudit corps à différentes forces qui lui sont appliquées à différentes positions et/ou orientations géométriques. The digital twin can be a "4D" digital model consisting of a computer file comprising a 3D map of the external geometry of the part of said body whose mechanical behavior is to be reproduced and a matrix representative of the mechanical resistances of said body at different forces. applied to it at different positions and/or geometrical orientations.
Des cas réels préenregistrés peuvent être stockés sous forme de jumeaux numériques, comportant le modèle 4D du corps en question. Lorsque le jumeau est généré, on peut également enregistrer des images de diagnostic générées au passage de l’outil dans le cas réel, et les restituer ensuite lors de la simulation. Pre-recorded real cases can be stored as digital twins, featuring the 4D model of the body in question. When the twin is generated, it is also possible to save diagnostic images generated during the passage of the tool in the real case, and then restore them during the simulation.
De préférence, le procédé pour simuler le comportement mécanique comporte la détection du positionnement et/ou de l’orientation relativement à la maquette dynamique d’une sonde manipulée par un opérateur humain, et la restitution à l’opérateur d’une information qui est fonction du positionnement et/ou de l’orientation ainsi détecté(s) de la sonde. Preferably, the method for simulating the mechanical behavior comprises the detection of the positioning and/or the orientation relative to the dynamic model of a probe manipulated by a human operator, and the restitution to the operator of information which is function of the positioning and/or of the orientation thus detected(s) of the probe.
Il s’agit par exemple dans le cas de formation d’un opérateur d’images échographiques préenregistrées sur le cas réel à partir duquel le jumeau numérique a été généré. Ainsi, l’information délivrée à l’opérateur est préférentiellement représentative de celle que délivre la sonde lorsque positionnée et/ou orientée de manière identique sur le corps. For example, in the case of training an operator, it involves pre-recorded ultrasound images on the real case from which the digital twin was generated. Thus, the information delivered to the operator is preferentially representative of that delivered by the probe when positioned and/or oriented identically on the body.
L’invention a encore pour objet de répondre au besoin mentionné plus haut de perfectionner les procédés et systèmes d’exploration haptique à distance, notamment en termes de confort pour l’opérateur, d’efficacité et de rapidité, afin de faciliter le développement du télédiagnostic, notamment dans le domaine médical, et plus généralement de la téléopération. Another object of the invention is to meet the need mentioned above to improve the methods and systems for remote haptic exploration, in particular in terms of comfort for the operator, efficiency and speed, in order to facilitate the development of the telediagnosis, in particular in the medical field, and more generally teleoperation.
Procédé de contrôle à distance à retour haptique Haptic feedback remote control method
L’invention a ainsi pour objet, selon un deuxième de ses aspects, un procédé de contrôle à distance à retour haptique, comportant les étapes consistant à : générer dans une phase initiale un jumeau numérique d’au moins une partie d’un corps en faisant une acquisition de sa géométrie externe et de sa réponse locale à l’application d’une force, configurer à partir du jumeau numérique ainsi généré une maquette distante dynamique comportant une interface déformable liée à une pluralité d’éléments de support actifs dont la course et la réponse mécanique sont ajustées pour reproduire avec l’interface la géométrie externe du corps et simuler son comportement mécanique, détecter, dans une phase d’action à distance sur le corps, le positionnement et/ou l’orientation relativement à la maquette dynamique d’un objet maître manipulé par un opérateur humain, piloter à partir du positionnement et/ou de l’orientation ainsi détecté(s) un bras robotisé portant un objet esclave pour recopier, avec l’objet esclave sur le corps, le positionnement et/ou l’orientation de l’objet maître sur l’interface déformable. The subject of the invention is thus, according to a second of its aspects, a remote control method with haptic feedback, comprising the steps consisting in: generating in an initial phase a digital twin of at least one part of a body in acquiring its external geometry and its local response to the application of a force, configuring from the digital twin thus generated a dynamic remote model comprising a deformable interface linked to a plurality of active support elements whose stroke and the mechanical response are adjusted to reproduce with the interface the external geometry of the body and to simulate its mechanical behavior, to detect, in a remote action phase on the body, the positioning and/or the orientation relative to the dynamic model of a master object manipulated by a human operator, piloting from the positioning and/or the orientation thus detected(s) a robotic arm carrying a slave object to copy, with the slave object on the body, the positioning and /or the orientation of the master object on the deformable interface.
Ce procédé permet une interaction plus naturelle à distance entre l’opérateur humain et le corps étudié et plus proche de l’exploration habituelle. This process allows a more natural remote interaction between the human operator and the studied body and closer to the usual exploration.
L’invention permet à l’opérateur humain de disposer d’une maquette représentative de la géométrie et de la résistance du corps à distance, permettant un diagnostic plus efficace et plus fin que ce qui est possible avec les systèmes actuels. The invention allows the human operator to have a representative model of the geometry and the resistance of the body remotely, allowing a more efficient and finer diagnosis than what is possible with current systems.
L’invention offre la possibilité de prendre en compte les délais temporels dans les communications inhérents à un diagnostic à distance, grâce au jumeau numérique généré dans la phase initiale, pour restituer des résistances mécaniques prévisionnelles même avant d’avoir complété la boucle maître - esclave - maître. Ceci permet de mieux gérer les délais de communication qui existent la plupart du temps dans le diagnostic à distance, en ayant une interface qui réagit aux mouvements de l’opérateur humain quasiment en temps réel, plutôt que d’attendre le retour de l’objet esclave à chaque fois, comme c’est le cas pour le système proposé par F Université de Catania cité ci-avant. The invention offers the possibility of taking into account the time delays in the communications inherent in a remote diagnosis, thanks to the digital twin generated in the initial phase, to restore predicted mechanical resistances even before having completed the master - slave loop - master. This makes it possible to better manage the communication delays that most often exist in remote diagnostics, by having an interface that reacts to the movements of the human operator almost in real time, rather than waiting for the return of the slave object each time, as is the case for the system proposed by the University of Catania cited above.
L’invention permet d’adapter la géométrie et la résistance de l’interface au corps exact en cours de diagnostic, plutôt que de disposer d’un moyen générique mal adapté au corps à explorer. The invention makes it possible to adapt the geometry and resistance of the interface to the exact body being diagnosed, rather than having a generic means poorly adapted to the body to be explored.
L’étape consistant à détecter sur l’interface le positionnement et/ou l’orientation relativement à la maquette dynamique de l’objet maître peut être effectuée à travers des capteurs propres (par exemple capteurs magnétiques, odométriques, etc.) qui permettent de détecter et quantifier le mouvement de l’objet maître dans l’espace, ou par rapport à la maquette dynamique. The step consisting in detecting on the interface the positioning and/or the orientation relative to the dynamic model of the master object can be carried out through specific sensors (for example magnetic, odometric sensors, etc.) which make it possible to detect and quantify the movement of the master object in space, or relative to the dynamic model.
L’étape consistant à détecter sur l’interface le positionnement et/ou l’orientation relativement à la maquette dynamique de l’objet maître peut encore être effectuée alternativement à travers des méthodes de suivi par vision (suivi caméra avec ou sans cible visuelle sur l’objet maître). The step consisting in detecting on the interface the positioning and/or the orientation relative to the dynamic model of the master object can still be carried out alternatively through vision tracking methods (camera tracking with or without visual target on the master object).
La mesure de la pression appliquée par l’objet maître sur l’interface peut être effectuée à travers des signaux récupérés dans les éléments de support actifs. The measurement of the pressure applied by the master object on the interface can be carried out through signals recovered in the active support elements.
Le suivi du déplacement et/ou de la force de l’objet maître peut être réalisé avec une combinaison d’une partie ou de toutes ces techniques, afin d’assurer une identification précise de la position de l’objet maître et/ou de la force qu’il exerce sur l’interface. Tracking the master object's displacement and/or force can be accomplished with a combination of any or all of these techniques, to ensure accurate identification of the master object's position and/or the force it exerts on the interface.
De préférence, l’objet maître reproduit au moins partiellement la forme de l’objet esclave, notamment celle de l’objet esclave venant au contact du corps. L’objet esclave et l’objet maître peuvent ainsi avoir la même forme, voire être identiques. Preferably, the master object at least partially reproduces the shape of the slave object, in particular that of the slave object coming into contact with the body. The slave object and the master object can thus have the same shape, or even be identical.
Le procédé de contrôle à distance selon cet aspect de l’invention comporte préférentiellement l’acquisition d’une réponse mécanique lors d’un positionnement de l’objet esclave imposé par celui de l’objet maître, la mise à jour du jumeau numérique puis l’ajustement de la course des éléments de support actifs et/ou de leur réponse à partir de cette acquisition. Cette mise à jour en temps réel permet de prendre en compte des changements dans la résistance dudit corps à l’objet esclave, par exemple lors du déplacement d’un organe ou de la rencontre d’un os, et permet ainsi de garder une maquette dynamique dont les propriétés restent fidèles le plus possible à celles du corps distant à explorer. Cela peut permettre également d’enrichir le jumeau numérique au cours de l’exploration, et ainsi d’améliorer la précision de la simulation du comportement au cours de l’examen ; cela peut aussi permettre si on le souhaite de démarrer avec un plus faible volume de données acquises dans la phase initiale, donc de raccourcir la durée de celle-ci. The remote control method according to this aspect of the invention preferably comprises the acquisition of a mechanical response during a positioning of the slave object imposed by that of the master object, the updating of the digital twin then adjusting the stroke of the active support elements and/or their response based on this acquisition. This real-time update makes it possible to take into account changes in the resistance of said body to the slave object, for example during the displacement of an organ or the encounter with a bone, and thus makes it possible to keep a model dynamic whose properties remain faithful as much as possible to those of the distant body to be explored. This can also make it possible to enrich the digital twin during the exploration, and thus to improve the precision of the simulation of the behavior during the examination; it may also allow if desired to start with a lower volume of data acquired in the initial phase, therefore to shorten the duration thereof.
De préférence, l’acquisition de la réponse locale du corps à l’application d’une force est effectuée lors de la phase initiale en plusieurs points à l’aide de l’objet esclave, notamment en lui faisant effectuer avec le bras robotisé une trajectoire prédéfinie. Preferably, the acquisition of the local response of the body to the application of a force is carried out during the initial phase at several points using the slave object, in particular by making it carry out with the robotic arm a predefined trajectory.
Lors de la phase initiale, la géométrie du corps à explorer peut être déterminée par tout moyen adapté, par exemple en utilisant une ou plusieurs caméras, par exemple stéréoscopiques, un ou plusieurs lasers ou LIDAR, un bras palpeur, ou tout capteur permettant d’obtenir la cartographie 3D recherchée. During the initial phase, the geometry of the body to be explored can be determined by any suitable means, for example by using one or more cameras, for example stereoscopic, one or more lasers or LIDAR, a feeler arm, or any sensor making it possible to obtain the desired 3D cartography.
Le procédé de contrôle à distance selon l’invention peut comporter une phase de calibration entre la géométrie externe du corps et la position du bras robotisé. Cette calibration peut s’effectuer par tout moyen, et par exemple en incluant le bras avec une position et/ou une orientation connue(s) dans le champ d’acquisition initiale de la topologie du corps. The remote control method according to the invention may include a calibration phase between the external geometry of the body and the position of the robotic arm. This calibration can be done by any means, and for example by including the arm with a known position and/or orientation in the field of initial acquisition of the topology of the body.
L’objet esclave peut être une sonde émettrice de signaux, notamment une sonde à ultrasons, en particulier une sonde échographique portée par le bras robotisé. The slave object can be a probe emitting signals, in particular an ultrasound probe, in particular an echographic probe carried by the robotic arm.
L’objet maître peut encore être une main haptique et l’objet esclave un effecteur représentatif, tel qu’une main robotique. The master object can still be a haptic hand and the slave object a representative effector, such as a robotic hand.
Les éléments de support actifs comportent de préférence des actionneurs, qui sont préférentiellement linéaires, de préférence des vérins électromécaniques, et permettent d’adapter la topologie de départ de l’interface déformable à la géométrie du corps. The active support elements preferably include actuators, which are preferably linear, preferably electromechanical jacks, and make it possible to adapt the starting topology of the deformable interface to the geometry of the body.
Les éléments de support actifs comportent de préférence chacun un frein magnétorhéologique permettant de modifier la réponse de l’élément de support actif à une sollicitation mécanique, ce frein étant piloté en fonction du jumeau numérique. Le frein permet de contrôler de façon fine et très rapide la résistance opposée par l’élément de support actif lorsque l’opérateur humain exerce une poussée sur l’interface déformable. The active support elements preferably each comprise a magnetorheological brake making it possible to modify the response of the active support element to a mechanical stress, this brake being controlled according to the digital twin. The brake makes it possible to finely and very quickly control the resistance opposed by the active support element when the human operator exerts a thrust on the deformable interface.
Le frein peut comporter une enceinte contenant un fluide magnétorhéologique. The brake may comprise an enclosure containing a magnetorheological fluid.
Un frein magnétorhéologique permet d’imposer un frottement visqueux contrôlable à l’aide d’un champ magnétique dont l’intensité dépend de celle du courant électrique servant à générer le champ. En effet, les fluides magnétorhéologiques sont des suspensions de particules magnétiques micrométriques dans des liquides amagnétiques. Lorsqu’un tel liquide est exposé à un champ magnétique, les particules s’agrègent sous la forme de chaînes qui augmentent de façon importante la résistance à l’écoulement. Le champ magnétique nécessaire pour piloter la viscosité du fluide est fourni par un électroaimant. A magnetorheological brake makes it possible to impose a controllable viscous friction using a magnetic field whose intensity depends on that of the electric current used to generate the field. Indeed, magnetorheological fluids are suspensions of micrometric magnetic particles in non-magnetic liquids. When such a liquid is exposed to a magnetic field, the particles aggregate in the form of chains which greatly increase the resistance to flow. The magnetic field necessary to control the viscosity of the fluid is provided by an electromagnet.
Chaque élément de support actif peut être muni d’un organe de rappel, notamment un ressort, déformable sous l’effet d’une force exercée par l’objet maître. Le pilotage de la course du vérin précité permet de reproduire la géométrie du corps à explorer ; le vérin peut être bloqué à la course correspondant à cette géométrie. La présence de l’organe de rappel permet au vérin de pouvoir s’enfoncer lorsqu’une force est exercée sur la maquette par l’opérateur, et donc à la maquette de s’enfoncer localement. La présence du frein permet de moduler la course d’enfoncement, en bloquant par exemple l’enfoncement à partir d’une certaine course, ou de faire varier la force à exercer pour provoquer cet enfoncement, pour simuler par exemple un durcissement du tissu ou la présence d’un obstacle qui empêche la poursuite du mouvement. Each active support element can be provided with a return member, in particular a spring, deformable under the effect of a force exerted by the master object. Controlling the stroke of the aforementioned cylinder makes it possible to reproduce the geometry of the body to be explored; the cylinder can be blocked at the stroke corresponding to this geometry. The presence of the return device allows the cylinder to be able to sink when a force is exerted on the model by the operator, and therefore the model to sink locally. The presence of the brake makes it possible to modulate the depression stroke, for example by blocking the depression from a certain stroke, or to vary the force to be exerted to cause this depression, to simulate for example a hardening of the fabric or the presence of an obstacle that prevents further movement.
Ainsi, dans le cas de l’utilisation d’un frein magnétorhéologique, le procédé peut comporter le pilotage de l’intensité d’un courant envoyé dans le frein pour modifier la viscosité du fluide magnétorhéologique en fonction d’une part du déplacement d’une tige de l’élément de support actif sous l’effet d’une force exercée sur l’interface par l’opérateur et d’autre part de la réponse mécanique enregistrée dans le jumeau numérique ; par exemple, pour simuler un enfoncement sans résistance mécanique notable, le frein n’est pas activé ou peu activé, ce qui permet à la tige de l’élément de support actif de s’enfoncer en réponse à une force exercée par l’opérateur, l’organe de rappel étant comprimé lors de cet enfoncement ; si après une certaine course d’enfoncement, il convient de simuler une butée, liée par exemple à la présence d’un os sous-jacent dans les tissus explorés, le courant dans le frein est augmenté, ce qui bloque la descente de la tige de l’élément de support actif et donc l’enfoncement de la maquette dynamique localement ; lorsque l’opérateur relâche la pression, ce relâchement peut être détecté, et le courant dans le frein diminué, pour permettre à la tige de l’élément de support actif de reprendre sa configuration initiale sous l’effet de l’organe de rappel. Thus, in the case of the use of a magnetorheological brake, the method may include controlling the intensity of a current sent to the brake to modify the viscosity of the magnetorheological fluid as a function, on the one hand, of the displacement of a rod of the active support element under the effect of a force exerted on the interface by the operator and on the other hand of the mechanical response recorded in the digital twin; for example, to simulate a sinking without significant mechanical resistance, the brake is not activated or slightly activated, which allows the rod of the active support element to sink in response to a force exerted by the operator , the return member being compressed during this depression; if after a certain driving stroke, it is appropriate to simulate a stop, linked for example to the presence of an underlying bone in the explored tissues, the current in the brake is increased, which blocks the descent of the rod of the active support element and therefore the sinking of the dynamic model locally; when the operator releases the pressure, this release can be detected, and the current in the brake reduced, to allow the rod of the active support element to return to its initial configuration under the effect of the return device.
L’interface comporte de préférence une couche en un matériau viscoélastique, qui peut définir la surface que l’opérateur humain explore. Ceci contribue à la flexibilité de l’interface déformable et peut permettre d’avoir un retour haptique plus proche de la réalité lorsque l’on explore grâce à l’invention un corps humain. The interface preferably includes a layer of viscoelastic material, which can define the surface that the human operator explores. This contributes to the flexibility of the deformable interface and can make it possible to have a haptic feedback closer to reality when exploring a human body thanks to the invention.
Système pour simuler le comportement mécanique d’un corps L’invention a encore pour objet, selon un autre de ses aspects, un système pour simuler le comportement mécanique d’un corps, notamment pour la mise en œuvre d’un procédé selon l’invention, comportant : une maquette dynamique comportant une interface déformable liée à une pluralité d’éléments de support actifs dont la course et la réponse mécanique sont ajustables, un système de commande pour contrôler la course et la réponse mécanique des éléments de support actifs en fonction d’un jumeau numérique d’au moins une partie dudit corps, ce jumeau numérique comportant des données relatives à la géométrie externe dudit corps et à sa réponse locale à l’application d’une force, le contrôle des éléments de support actifs s’effectuant de façon à reproduire avec l’interface la géométrie externe du corps et simuler son comportement mécanique. System for simulating the mechanical behavior of a body Another subject of the invention, according to another of its aspects, is a system for simulating the mechanical behavior of a body, in particular for the implementation of a method according to the invention, comprising: a dynamic model comprising an interface deformable bonded to a plurality of active support members whose stroke and mechanical response are adjustable, a control system for controlling the stroke and mechanical response of the active support members based on a digital twin of at least one part of said body, this digital twin comprising data relating to the external geometry of said body and to its local response to the application of a force, the control of the active support elements being carried out in such a way as to reproduce with the interface the external geometry of the body and simulate its mechanical behavior.
De préférence, le système selon l’invention comporte un système de détection du positionnement et/ou de l’orientation relativement à la maquette dynamique d’un objet maître manipulé par un opérateur humain. Cette information peut être transmise à distance pour contrôler un robot porteur d’un objet esclave, comme dans le cas du procédé défini plus haut. Preferably, the system according to the invention comprises a system for detecting the positioning and/or the orientation relative to the dynamic model of a master object manipulated by a human operator. This information can be transmitted remotely to control a robot carrying a slave object, as in the case of the method defined above.
L’invention a également pour objet, selon un autre de ses aspects, un système de contrôle à distance à retour haptique, comportant outre le système selon l’invention décrit ci-dessus, un système de commande d’un bras robotisé pour piloter, à partir du positionnement et/ou de l’orientation ainsi détecté(s), un bras robotisé portant un objet esclave et recopier, avec l’objet esclave sur le corps, le positionnement et/ou l’orientation de l’objet maître sur l’interface déformable. Another subject of the invention, according to another of its aspects, is a remote control system with haptic feedback, comprising, in addition to the system according to the invention described above, a system for controlling a robotic arm for controlling, from the positioning and/or orientation thus detected, a robotic arm carrying a slave object and copying, with the slave object on the body, the positioning and/or the orientation of the master object on the deformable interface.
L’invention porte aussi sur un système de télé-exploration à retour haptique, comportant outre le système de contrôle selon l’invention, le bras robotisé portant l’objet esclave.The invention also relates to a remote exploration system with haptic feedback, comprising, in addition to the control system according to the invention, the robotic arm carrying the slave object.
Cet objet esclave peut avantageusement être une sonde échographique, comme indiqué plus haut. Tout type de sonde échographique peut être utilisé dans le cadre de la présente invention, y compris les sondes linéaires et convexes, voire endocavitaires. This slave object can advantageously be an echographic probe, as indicated above. Any type of echographic probe can be used in the context of the present invention, including linear and convex probes, or even endocavitary probes.
Le bras robotisé peut être un bras robotisé collaboratif, ou « cobot ». The robotic arm may be a collaborative robotic arm, or “cobot”.
Utilisations du système L’invention a également pour objet, selon un autre de ses aspects, l’utilisation du système de télé-exploration à retour haptique selon l’invention pour le télédiagnostic médical, notamment à ultrasons. System uses Another subject of the invention, according to another of its aspects, is the use of the remote exploration system with haptic feedback according to the invention for medical remote diagnosis, in particular ultrasound.
L’invention a encore pour objet, selon un autre de ses aspects, l’utilisation du système de contrôle à distance à retour haptique selon l’invention pour le contrôle non-destructif de composants ou structures flexibles ou semi-rigides. Another subject of the invention, according to another of its aspects, is the use of the haptic feedback remote control system according to the invention for the non-destructive testing of flexible or semi-rigid components or structures.
L’invention a aussi pour objet, selon un autre de ses aspects, l’utilisation du système pour simuler le comportement mécanique d’un corps à des fins d’enregistrement de cas d’étude et leur reproduction sur la maquette dynamique pour former de nouveaux opérateurs. The invention also relates, according to another of its aspects, to the use of the system to simulate the mechanical behavior of a body for the purpose of recording case studies and their reproduction on the dynamic model to form new operators.
Brève description des dessins Brief description of the drawings
L’invention pourra être mieux comprise à la lecture de la description détaillée qui va suivre, d’exemples non limitatifs de mise en œuvre de celle-ci, et à l’examen du dessin annexé, sur lequel : The invention may be better understood on reading the detailed description which follows, non-limiting examples of its implementation, and on examining the appended drawing, in which:
[Fig 1] La figure 1 est un schéma en blocs d’un exemple de système de télé-exploration à retour haptique selon l’invention ; [Fig 1] Figure 1 is a block diagram of an example of a haptic feedback remote exploration system according to the invention;
[Fig 2] la figure 2 représente schématiquement les composants du système illustré à la figure 1 ; et [Fig 2] Figure 2 schematically shows the components of the system shown in Figure 1; And
[Fig 3] la figure 3 illustre schématiquement un exemple d’actionneur utilisé dans le système de la figure 2. [Fig 3] Figure 3 schematically illustrates an example of an actuator used in the system of Figure 2.
Description détaillée detailed description
La figure 1 est un schéma en blocs d’un exemple de système 1 de télé-exploration à retour haptique selon l’invention. FIG. 1 is a block diagram of an example of haptic feedback remote exploration system 1 according to the invention.
Ce système 1 comporte une partie maître 10 et une partie esclave 20, reliées par des moyens de connexion 30 entre les deux assurant leur communication bilatérale. Ces moyens de connexion peuvent comporter tout réseau de télécommunications, filaire ou non. This system 1 comprises a master part 10 and a slave part 20, connected by means of connection 30 between the two ensuring their bilateral communication. These connection means can include any telecommunications network, wired or not.
Le schéma de la figure 2 représente plus en détail les composants du système 1. The diagram in Figure 2 shows the components of System 1 in more detail.
La partie maître 10 comprend une maquette dynamique 100 et un système de commande 106 qui peut être un ordinateur ou tout autre système informatique ou électronique, par exemple à microcontrôleur. La partie esclave 20 comprend un bras robotisé 220, de préférence collaboratif, par exemple du type 6 axes, portant une sonde esclave 210, un système de commande 211 du bras robotisé 220, un système d’acquisition 3D tel qu’une ou plusieurs caméras 240, permettant d’acquérir la géométrie externe du corps 200, et une unité de calcul 230 connectée au système de commande 211, à la sonde esclave 210, à la caméra 240 et aux moyens de connexion 30. Cette unité de calcul 230 peut être un ordinateur ou tout autre moyen informatique ou électronique adapté. The master part 10 comprises a dynamic model 100 and a control system 106 which can be a computer or any other computer or electronic system, for example with a microcontroller. The slave part 20 comprises a robotic arm 220, preferably collaborative, for example of the 6-axis type, carrying a slave probe 210, a control system 211 of the robotic arm 220, a 3D acquisition system such as one or more cameras 240, making it possible to acquire the external geometry of the body 200, and a calculation unit 230 connected to the control system 211, to the slave probe 210, to the camera 240 and to the connection means 30. This calculation unit 230 can be a computer or any other suitable computer or electronic means.
La sonde esclave 210 et/ou le bras robotisé 220 peuvent être instrumentés pour mesurer la force appliquée et la réponse mécanique locale, à l’application de cette force, du corps exploré. The slave probe 210 and/or the robotic arm 220 can be instrumented to measure the force applied and the local mechanical response, to the application of this force, of the body being explored.
La maquette dynamique 100 comporte une interface déformable 101, de préférence comportant une couche en matériau viscoélastique dont la face externe est destinée à venir au contact d’une sonde maître 110 manipulée par l’opérateur et la face interne est liée à une pluralité d’éléments de support actifs 103, dont la course et la réponse mécanique sont réglables. L’interface 101 peut comporter des piliers 104 auxquels les éléments de support actifs sont liés à leur extrémité, comme illustré. The dynamic model 100 comprises a deformable interface 101, preferably comprising a layer of viscoelastic material, the outer face of which is intended to come into contact with a master probe 110 manipulated by the operator and the inner face is linked to a plurality of active support elements 103, the stroke and mechanical response of which are adjustable. The interface 101 may comprise pillars 104 to which the active support elements are attached at their end, as illustrated.
Une électronique de puissance 105 reliée au système de commande 106 permet de piloter les éléments de support actifs 103. A power electronics 105 connected to the control system 106 makes it possible to control the active support elements 103.
Le système de commande 106 est configuré pour contrôler la course et la réponse mécanique de ces derniers en fonction d’un jumeau numérique 231 d’au moins une partie du corps 200 à explorer. Ce jumeau numérique 231 est par exemple mémorisé dans une mémoire électronique du système de commande 106 ou dans un serveur auquel celui-ci peut accéder. Un système de détection 111 permet de connaître la position et/ou l’orientation d’une sonde maître 110 relativement à un référentiel associé à la maquette 100, de préférence à la fois la position (au moins x, y, et mieux x, y et z) et l’orientation (au moins deux des trois angles d’Euler, mieux les trois). The control system 106 is configured to control the stroke and mechanical response of the latter based on a digital twin 231 of at least one body part 200 to be explored. This digital twin 231 is for example stored in an electronic memory of the control system 106 or in a server to which the latter can access. A detection system 111 makes it possible to know the position and/or the orientation of a master probe 110 relative to a reference frame associated with the model 100, preferably both the position (at least x, y, and better still x, y and z) and orientation (at least two of the three Euler angles, better all three).
Les éléments de support actifs 103 sont de préférence formés chacun d’un couple actionneur- frein. The active support elements 103 are preferably each formed by an actuator-brake couple.
Un exemple d’un tel élément de support actif 103 est illustré schématiquement à la figure 3. L’élément de support actif 103 peut comporter, comme illustré, un corps 1030 logeant un actionneur linéaire électromécanique 1035 actionnant une tige 1040. An example of such an active support element 103 is illustrated schematically in Figure 3. The active support element 103 may comprise, as shown, a body 1030 housing an electromechanical linear actuator 1035 actuating a rod 1040.
Le corps 1030 peut recevoir un frein magnétorhéologique 1034 agissant sur la tige 1040. Un organe de rappel 1036, de préférence un ressort, peut interagir entre l’actionneur 1035 et le corps 1030 pour permettre à l’actionneur de s’enfoncer relativement au corps 1030 si le frein 1034 le permet, lorsqu’une poussée correspondante est exercée sur l’interface 101.The body 1030 can receive a magnetorheological brake 1034 acting on the rod 1040. A return member 1036, preferably a spring, can interact between the actuator 1035 and the body 1030 to allow the actuator to sink relative to the body 1030 if the brake 1034 allows it, when a corresponding thrust is exerted on interface 101.
L’actionneur 1035 transforme par exemple le mouvement de rotation d’un moteur, à travers une liaison de type vis/ écrou, non représentée sur la figure 3, en un mouvement de translation de la tige 1040. Celle-ci peut comporter à son extrémité libre une tête 1041 venant en contact avec la paroi interne de l’interface 101. The actuator 1035 transforms, for example, the rotational movement of a motor, through a connection of the screw/nut type, not shown in FIG. 3, into a translational movement of the rod 1040. free end a head 1041 coming into contact with the internal wall of the interface 101.
Le frein 1034 peut comporter une enceinte contenant un fluide magnétorhéologique 1031 capable de former lorsque soumis à un champ magnétique des chaînes solides autour de la tige 1040 afin d’empêcher ou ralentir son mouvement linéaire, selon l’intensité du champ, le coefficient de friction avec la tige 1040 variant en fonction de la viscosité du fluide 1031. Le champ magnétique est généré par un électro-aimant 1032, disposé autour de la tige 1040, relié à l’électronique de puissance 105, elle-même contrôlée par le circuit de commande 106. La densité des éléments de support actifs 103 selon l’axe x ou y peut être supérieure à 10 m’ mieux à 50 m’1, en prenant par exemple comme référence des éléments de support actifs de 16 mm de diamètre, 60 mm de course et 100N de force axiale. The brake 1034 may comprise an enclosure containing a magnetorheological fluid 1031 capable of forming, when subjected to a magnetic field, solid chains around the rod 1040 in order to prevent or slow down its linear movement, depending on the intensity of the field, the coefficient of friction with the rod 1040 varying according to the viscosity of the fluid 1031. The magnetic field is generated by an electromagnet 1032, arranged around the rod 1040, connected to the power electronics 105, itself controlled by the circuit of control 106. The density of the active support elements 103 along the x or y axis can be greater than 10 m′ better than 50 m′ 1 , taking for example as a reference active support elements 16 mm in diameter, 60 mm of stroke and 100N of axial force.
La hauteur des éléments de support actifs 103 selon l’axe z est réglée selon la forme du corps 200 à reproduire. La course axiale selon z peut être comprise par exemple entre une valeur minimale zmin égale à 0 mm et une valeur maximale zmax égale à 60 mm, voire à 100 mm. La différence (zmax - zmin) représente l’amplitude maximale selon z avec laquelle le relief de la maquette peut être modifié localement, lors de la configuration initiale de la topologie.The height of the active support elements 103 along the z axis is adjusted according to the shape of the body 200 to be reproduced. The axial stroke along z can be for example between a minimum value z m in equal to 0 mm and a maximum value z ma x equal to 60 mm, or even 100 mm. The difference (z ma x - z m in) represents the maximum amplitude along z with which the relief of the model can be modified locally, during the initial configuration of the topology.
La course de l’élément de support actif 103 en cas de poussée exercée dessus par l’opérateur dépend de la liberté de mouvement selon z de l’actionneur, par rapport au corps 1030, autorisée par l’organe de rappel 1036. Cette liberté de mouvement procure une mobilité selon z qui se cumule avec la course donnée par l’actionneur. The travel of the active support element 103 in the event of a thrust exerted on it by the operator depends on the freedom of movement along z of the actuator, relative to the body 1030, authorized by the return member 1036. This freedom of movement provides mobility along z which is combined with the stroke given by the actuator.
Le jumeau numérique 231 comporte des données relatives à la géométrie externe du corps 200 et à sa réponse locale à l’application d’une force. Ce jumeau numérique 231 est généré par l’unité de calcul 230 de la partie esclave 20, qui le transmet par exemple via les moyens de connexion 30 au système de commande 106. Digital twin 231 includes data relating to the external geometry of body 200 and its local response to the application of a force. This digital twin 231 is generated by the calculation unit 230 of the slave part 20, which transmits it for example via the connection means 30 to the control system 106.
Le jumeau numérique 231 est généré dans une phase initiale par l’acquisition de la cartographie 3D externe du corps 200 et de sa réponse locale à l’application de différentes forces Fl, F2, F3, Fl’, F2’, F3’, ... à différentes positions et/ou avec différentes orientations, cette réponse étant par exemple représentée sous forme d’une matrice de résistances auxdites forces. Lors de l’acquisition du jumeau numérique 231, on applique par exemple différentes forces avec la sonde esclave pour mesurer la déformation correspondante du corps, par exemple en mesurant le déplacement résultant de la sonde esclave 210 à travers les données de position du robot, ou de façon optique. The digital twin 231 is generated in an initial phase by acquiring the external 3D mapping of the body 200 and its local response to the application of different forces F1, F2, F3, F1', F2', F3', . .. at different positions and/or with different orientations, this response being for example represented in the form of a matrix of resistances to said forces. During the acquisition of the digital twin 231, for example different forces are applied with the slave probe to measure the corresponding deformation of the body, for example by measuring the resulting displacement of the slave probe 210 through the position data of the robot, or optically.
La sonde esclave 210 procède par exemple à l’application des différentes forces selon une trajectoire prédéfinie, le bras robotisé étant piloté en conséquence par l’unité de calcul 230. La géométrie externe du corps 200 peut être obtenue à travers un scan visuel réalisé par le système d’acquisition 240 lorsque celui-ci comporte des caméras ou LIDAR, ou, en variante, à travers une exploration haptique en surface par la sonde esclave 210. La résolution spatiale de l’acquisition selon l’axe x ou y de la cartographie 3D peut être supérieure par exemple à 1 point/cm, mieux à 10 points/cm, et celle de la résistance mécanique à 1 point/cm dans l’axe z, mieux à 5 points/cm. The slave probe 210 proceeds for example to the application of the different forces according to a predefined trajectory, the robotic arm being controlled accordingly by the calculation unit 230. The external geometry of the body 200 can be obtained through a visual scan carried out by the acquisition system 240 when the latter comprises cameras or LIDAR, or, as a variant, through a haptic exploration on the surface by the slave probe 210. The spatial resolution of the acquisition along the x or y axis of the 3D mapping can be greater for example than 1 point/cm, better than 10 points/cm, and that of the mechanical resistance at 1 point/cm in the z axis, better than 5 points/cm.
Après la phase initiale, et une fois le jumeau numérique 231 transmis au système de commande 106, la maquette dynamique 100 peut être configurée à partir de ce jumeau numérique. Cette configuration comporte le contrôle de la course des tiges 1040 des éléments de support actifs 103 selon z afin de donner à l’interface 101 la forme du corps 200, et le contrôle des freins pour faire en sorte que le comportement dynamique en réponse à une poussée exercée sur l’interface 101 par l’opérateur 120 simule au mieux le comportement mécanique du corps 200, comme cela sera détaillé plus loin. After the initial phase, and once the digital twin 231 has been transmitted to the control system 106, the dynamic model 100 can be configured from this digital twin. This configuration includes the control of the stroke of the rods 1040 of the active support elements 103 according to z in order to give the interface 101 the shape of the body 200, and the control of the brakes to ensure that the dynamic behavior in response to a thrust exerted on the interface 101 by the operator 120 best simulates the mechanical behavior of the body 200, as will be detailed below.
Lorsque le système est utilisé pour le télédiagnostic par exemple, on détecte le positionnement relativement à la maquette dynamique 100 de la sonde maître 110 à l’aide du système de détection 111. Ce dernier comporte par exemple une ou plusieurs caméras ou LIDAR pour localiser spatialement la sonde 110, ou un système de localisation à partir d’ondes ultrasonores ou radiofréquence, par triangulation. On peut encore munir l’interface d’un système de localisation du contact de celle-ci avec la sonde grâce à un réseau de conducteurs électriques à la surface ou sous la surface de l’interface 101, qui détectent localement un contact avec la sonde 110. When the system is used for remote diagnosis for example, the positioning relative to the dynamic model 100 of the master probe 110 is detected using the detection system 111. The latter comprises for example one or more cameras or LIDAR to spatially locate the probe 110, or a system for locating using ultrasonic or radiofrequency waves, by triangulation. It is also possible to provide the interface with a system for locating the contact of the latter with the probe thanks to a network of electrical conductors on the surface or under the surface of the interface 101, which locally detect contact with the probe. 110.
On peut alors piloter à partir du positionnement ainsi détecté de la sonde maître 110 le bras robotisé 220 pour recopier, avec la sonde esclave 210 sur le corps 200, le positionnement et aussi, le cas échéant, l’orientation de la sonde maître 110 sur l’interface déformable 101. Dans le cas où l’opérateur appuie sur la maquette 100 avec la sonde maître, et que le jumeau numérique contient l’information d’un tissu mou à ce niveau, le courant envoyé dans l’électro aimant 1032 est relativement faible et la force de freinage est limitée, de sorte à permettre une compression du ressort 1036 et la descente de la tige 1040 en réponse à la force exercée. La maquette réagit ainsi en s’enfonçant localement. From the positioning thus detected of the master probe 110, it is then possible to control the robotic arm 220 to copy, with the slave probe 210 on the body 200, the positioning and also, if necessary, the orientation of the master probe 110 on the deformable interface 101. In the case where the operator presses the model 100 with the master probe, and the digital twin contains the information of a soft tissue at this level, the current sent to the electromagnet 1032 is relatively weak and the force braking is limited, so as to allow compression of the spring 1036 and the descent of the rod 1040 in response to the force exerted. The model thus reacts by sinking locally.
Dans le cas où l’opérateur appuie sur la maquette 100 avec la sonde maître et que le jumeau numérique contient l’information d’un durcissement du tissu à partir d’un certain enfoncement c en raison par exemple de la présence d’un os sous-jacent, le courant dans l’électro aimant est augmenté une fois cet enfoncement c atteint, ce qui active le frein et bloque la poursuite du mouvement d’enfoncement de la tige 1040 dans le corps 1030 de l’élément de support 103. On restitue ainsi à l’opérateur 120 la sensation qu’un organe bloque la poursuite de l’enfoncement de la sonde 110, comme dans la réalité. Une fois que l’opérateur cesse d’exercer une pression, le système le détecte et le frein peut être relâché, permettant à la tige 1040 de reprendre sa position initiale ; la maquette 100 retrouve la forme initiale dans laquelle elle a été configurée, censée reproduire la topologie du corps à explorer en l’absence de contrainte mécanique. In the case where the operator presses the model 100 with the master probe and the digital twin contains the information of a hardening of the tissue from a certain depression c due for example to the presence of a bone subjacent, the current in the electromagnet is increased once this depression c is reached, which activates the brake and blocks the continuation of the movement of depression of the rod 1040 in the body 1030 of the support element 103. This restores to the operator 120 the feeling that an organ is blocking the further depression of the probe 110, as in reality. Once the operator stops applying pressure, the system detects this and the brake can be released, allowing the rod 1040 to return to its original position; the model 100 returns to the initial shape in which it was configured, supposed to reproduce the topology of the body to be explored in the absence of mechanical constraint.
Le corps 200 correspond par exemple à un abdomen humain et la maquette dynamique 100 peut reproduire tout ou partie de cet abdomen. Ainsi, l’étendue de la maquette 100 peut être aussi grande que celle de la partie du corps à explorer. D’autres parties externes ou internes du corps peuvent être explorées de la même manière, par exemple la poitrine, le dos, le cou, les jambes, etc. The body 200 corresponds for example to a human abdomen and the dynamic model 100 can reproduce all or part of this abdomen. Thus, the extent of the model 100 can be as large as that of the part of the body to be explored. Other external or internal parts of the body can be explored in the same way, for example the chest, back, neck, legs, etc.
En variante, la maquette 100 est plus petite que le corps à explorer et n’en restitue ainsi qu’une portion à la fois. Dans ce cas, le système peut permettre de choisir la portion du corps que l’on souhaite explorer, par exemple en permettant à l’opérateur de sélectionner sur le corps un point de référence qui correspond par exemple au centre de la zone que l’on souhaite reproduire avec la maquette dynamique et explorer avec la sonde. Si l’opérateur souhaite explorer une zone différente, le système peut lui permettre de sélectionner un nouveau point de référence sur le corps, auquel cas la maquette est reconfigurée pour être par exemple centrée sur cette nouvelle zone, avant de permettre à l’exploration de reprendre. Si l’opérateur choisit de revenir en arrière à une zone déjà explorée, le système restitue la configuration correspondante de la maquette pour la géométrie et la résistance de la zone en question. Il peut être avantageux de mettre à jour le jumeau numérique en temps réel à partir de l’acquisition de la réponse mécanique réelle du corps en réaction au positionnement de la sonde esclave 210 imposé par celui de la sonde maître 110, puis d’ajuster la course et le comportement des éléments de support actifs 103 à partir de cette acquisition, par exemple lorsque l’acquisition initiale n’a pas été suffisamment dense. Dans le cas où il faut initier le diagnostic rapidement, il est possible qu’on ne puisse pas par manque de temps réaliser une acquisition en détail, point par point. Le système peut alors utiliser une méthode stochastique pour définir des points aléatoires à explorer, ou mieux, densifier les points de mesure autour des positions habituelles des os, organes, etc., et acquérir peu de points de mesure en dehors de ces zones ou de toute zone critique. As a variant, the model 100 is smaller than the body to be explored and thus only restores a portion of it at a time. In this case, the system can make it possible to choose the portion of the body that one wishes to explore, for example by allowing the operator to select a reference point on the body which corresponds for example to the center of the zone that the we want to reproduce with the dynamic model and explore with the probe. If the operator wishes to explore a different zone, the system can allow him to select a new reference point on the body, in which case the model is reconfigured to be centered on this new zone, for example, before allowing exploration of to resume. If the operator chooses to go back to an area already explored, the system returns the corresponding configuration of the model for the geometry and the resistance of the area in question. It may be advantageous to update the digital twin in real time from the acquisition of the actual mechanical response of the body in reaction to the positioning of the slave probe 210 imposed by that of the master probe 110, then to adjust the course and the behavior of the active support elements 103 from this acquisition, for example when the initial acquisition was not dense enough. In the case where it is necessary to initiate the diagnosis quickly, it is possible that it is not possible for lack of time to carry out an acquisition in detail, point by point. The system can then use a stochastic method to define random points to explore, or better, densify the measurement points around the usual positions of bones, organs, etc., and acquire few measurement points outside these areas or any critical area.
Le système peut se baser sur l’image acquise du corps à explorer, et la recaler par rapport à un jumeau numérique de référence (par exemple d’un abdomen humain). The system can be based on the acquired image of the body to be explored, and register it in relation to a reference digital twin (for example of a human abdomen).
Le système 1 décrit ci-dessus peut aussi être utilisé pour simuler le comportement mécanique d’un corps à des fins d’enregistrement de cas d’étude et leur reproduction sur la maquette dynamique 100 pour former de nouveaux opérateurs. Dans ce cas, il n’y a pas de partie esclave 20, mais la maquette dynamique 100 est préconfigurée à partir d’un jumeau numérique 231 préalablement généré en faisant une acquisition de la géométrie externe d’une partie au moins d’un corps à explorer et de sa réponse locale à l’application d’une force. Des images réelles d’échographie par exemple sont préalablement enregistrées afin de permettre à l’opérateur de voir le résultat que donnent le positionnement et/ou l’orientation de la sonde qu’il manipule. Le positionnement et/ou l’orientation relativement à la maquette dynamique de la sonde sont détectés, et une information qui est fonction du positionnement et/ou de l’orientation ainsi détectés est restituée à l’opérateur. Cette information est alors représentative de celle que délivrerait une sonde réelle lorsque positionnée et/ou orientée réellement de manière identique sur le corps réel. The system 1 described above can also be used to simulate the mechanical behavior of a body for the purpose of recording case studies and their reproduction on the dynamic model 100 to train new operators. In this case, there is no slave part 20, but the dynamic model 100 is preconfigured from a digital twin 231 previously generated by acquiring the external geometry of at least part of a body to be explored and its local response to the application of a force. Real ultrasound images, for example, are recorded beforehand in order to allow the operator to see the result given by the positioning and/or orientation of the probe he is handling. The positioning and/or the orientation relative to the dynamic model of the probe are detected, and information which is a function of the positioning and/or the orientation thus detected is returned to the operator. This information is then representative of that which a real probe would deliver when positioned and/or oriented in an identical manner on the real body.
L’invention n’est pas limitée aux exemples de réalisation décrits ci-dessus. Par exemple, l’actionneur peut ne pas comporter d’organe de rappel, l’actionneur étant piloté pour faire reculer la tige 1040 quand une poussée exercée sur la maquette est détectée par le système. Le frein peut être électromécanique. The invention is not limited to the embodiments described above. For example, the actuator may not include a return member, the actuator being driven to move the rod 1040 back when a thrust exerted on the model is detected by the system. The brake may be electromechanical.
Lorsque la sonde est endocavitaire, la maquette peut reproduire des orifice(s) et cavité(s), les éléments de support actifs étant disposés autour de la ou des cavités. When the probe is endocavitary, the model can reproduce orifice(s) and cavity(ies), the active support elements being arranged around the cavity or cavities.

Claims

Revendications Claims
1. Procédé pour simuler le comportement mécanique d’un corps (200), comportant les étapes consistant à : configurer à partir d’un jumeau numérique (231) une maquette dynamique (100) comportant une interface (101) déformable liée à une pluralité d’éléments de support actifs (103) dont la course et la réponse mécanique sont ajustées pour reproduire avec l’interface (101) la géométrie externe du corps (200) et simuler son comportement mécanique, le jumeau numérique (231) ayant été préalablement généré en faisant une acquisition de la géométrie externe d’une partie au moins dudit corps (200) et de sa réponse locale à l’application d’une force (Fl, F2, F3, Fl’, F2’, F3’). 1. Method for simulating the mechanical behavior of a body (200), comprising the steps consisting in: configuring from a digital twin (231) a dynamic model (100) comprising a deformable interface (101) linked to a plurality active support elements (103) whose travel and mechanical response are adjusted to reproduce with the interface (101) the external geometry of the body (200) and to simulate its mechanical behavior, the digital twin (231) having been previously generated by acquiring the external geometry of at least part of said body (200) and its local response to the application of a force (F1, F2, F3, F1', F2', F3').
2. Procédé selon la revendication précédente, comportant la détection du positionnement et/ou de l’orientation relativement à la maquette dynamique d’une sonde (110) manipulée par un opérateur humain (120), et la restitution à l’opérateur (120) d’une information qui est fonction du positionnement et/ou de l’orientation ainsi détecté(s) de la sonde (110). 2. Method according to the preceding claim, comprising the detection of the positioning and/or the orientation relative to the dynamic model of a probe (110) manipulated by a human operator (120), and the restitution to the operator (120 ) information which is a function of the positioning and/or of the orientation thus detected (s) of the probe (110).
3. Procédé selon la revendication précédente, l’information délivrée à l’opérateur (120) étant représentative de celle que délivre la sonde lorsque positionnée et/ou orientée de manière identique sur le corps (200). 3. Method according to the preceding claim, the information delivered to the operator (120) being representative of that delivered by the probe when positioned and/or oriented identically on the body (200).
4. Procédé de contrôle à distance à retour haptique, comportant les étapes consistant à : générer dans une phase initiale un jumeau numérique (231) d’au moins une partie d’un corps (200) en faisant une acquisition de sa géométrie externe et de sa réponse locale à l’application d’une force (Fl, F2, F3, Fl’, F2’, F3’), configurer à partir du jumeau numérique (231) ainsi généré une maquette dynamique distante (100) comportant une interface (101) déformable liée à une pluralité d’éléments de support actifs (103) dont la course et la réponse mécanique sont ajustées pour reproduire avec l’interface (101) la géométrie externe du corps (200) et simuler son comportement mécanique, détecter, dans une phase d’action à distance sur le corps (200), le positionnement et/ou l’orientation relativement à la maquette dynamique (100) d’un objet maître (110) manipulé par un opérateur humain (120), piloter à partir du positionnement et/ou de l’orientation ainsi détecté un bras robotisé (220) portant un objet esclave (210) pour recopier, avec l’objet esclave (210) sur le corps (200), le positionnement et/ou l’orientation de l’objet maître (110) sur l’interface (101) déformable. 4. Remote control method with haptic feedback, comprising the steps consisting in: generating in an initial phase a digital twin (231) of at least one part of a body (200) by acquiring its external geometry and of its local response to the application of a force (F1, F2, F3, F1', F2', F3'), configuring from the digital twin (231) thus generated a remote dynamic model (100) comprising an interface (101) linked to a plurality of active support elements (103) whose stroke and mechanical response are adjusted to reproduce with the interface (101) the external geometry of the body (200) and to simulate its mechanical behavior, detect, in a phase of remote action on the body (200), the positioning and/or the orientation relative to the dynamic model (100) of a master object (110) manipulated by a human operator (120), piloting from the positioning and/or orientation thus detected a robotic arm (220) carrying a slave object (210) to copy, with the slave object (210) on the body (200), the positioning and/or the orientation of the master object (110) on the deformable interface (101).
5. Procédé selon la revendication précédente, l’objet maître (110) reproduisant au moins partiellement la forme de l’objet esclave (210), notamment celle de l’objet esclave (210) venant au contact du corps (200). 5. Method according to the preceding claim, the master object (110) at least partially reproducing the shape of the slave object (210), in particular that of the slave object (210) coming into contact with the body (200).
6. Procédé selon l’une des deux revendications précédentes, l’objet esclave (210) et l’objet maître (110) ayant la même forme, voire étant identiques. 6. Method according to one of the two preceding claims, the slave object (210) and the master object (110) having the same shape, or even being identical.
7. Procédé selon l’une quelconque des revendications 4 à 6, comportant l’acquisition d’une réponse mécanique lors d’un positionnement de l’objet esclave (210) imposé par celui de l’objet maître (110), la mise à jour du jumeau numérique (231) puis l’ajustement de la course des éléments de support actifs (103) et/ou de leur réponse à partir de cette acquisition. 7. Method according to any one of claims 4 to 6, comprising the acquisition of a mechanical response during a positioning of the slave object (210) imposed by that of the master object (110), the setting updating the digital twin (231) then adjusting the stroke of the active support elements (103) and/or their response based on this acquisition.
8. Procédé selon l’une quelconque des revendications 4 à 7, l’acquisition de la réponse locale à l’application d’une force (Fl, F2, F3, Fl’, F2’, F3’) étant effectuée lors de la phase initiale en plusieurs points à l’aide de l’objet esclave (210), notamment en lui faisant effectuer avec le bras robotisé (220) une trajectoire prédéfinie. 8. Method according to any one of claims 4 to 7, the acquisition of the local response to the application of a force (F1, F2, F3, F1', F2', F3') being carried out during the initial phase at several points using the slave object (210), in particular by causing it to perform a predefined trajectory with the robotic arm (220).
9. Procédé selon l’une quelconque des revendications 4 à 8, l’objet esclave (210) étant une sonde émettrice de signaux, notamment une sonde à ultrasons, en particulier une sonde échographique. 9. Method according to any one of claims 4 to 8, the slave object (210) being a signal-emitting probe, in particular an ultrasound probe, in particular an echographic probe.
10. Procédé selon l’une quelconque des revendications précédentes, les éléments de support actifs (103) comportant chacun un frein magnétorhéologique (1034) permettant de modifier la réponse de l’élément de support actif (103) à une sollicitation mécanique, ce frein (1034) étant piloté en fonction du jumeau numérique (231). 10. Method according to any one of the preceding claims, the active support elements (103) each comprising a magnetorheological brake (1034) making it possible to modify the response of the active support element (103) to a mechanical stress, this brake (1034) being driven based on the digital twin (231).
11. Procédé selon l’une quelconque des revendications précédentes, les éléments de support actifs (103) comportant des actionneurs (1035) linéaires. 11. Method according to any one of the preceding claims, the active support elements (103) comprising linear actuators (1035).
12. Procédé selon l’une quelconque des revendications précédentes, l’interface (101) comportant une couche en un matériau viscoélastique. 12. Method according to any one of the preceding claims, the interface (101) comprising a layer of viscoelastic material.
13. Système (1) pour simuler le comportement mécanique d’un corps (200), notamment pour la mise en œuvre d’un procédé selon l’une quelconque des revendications précédentes, comportant : une maquette dynamique (100) comportant une interface (101) déformable liée à une pluralité d’éléments de support actifs (103) dont la course et la réponse mécanique sont ajustables, un système de commande (106) pour contrôler la course et la réponse mécanique des éléments de support actifs en fonction d’un jumeau numérique (231) d’au moins une partie dudit corps (200), ce jumeau numérique (231) comportant des données relatives à la géométrie externe dudit corps (200) et à sa réponse locale à l’application d’une force (Fl, F2, F3, Fl’, F2’, F3’), le contrôle des éléments de support actifs (103) s’effectuant de façon à reproduire avec l’interface (101) la géométrie externe du corps (200) et simuler son comportement mécanique. 13. System (1) for simulating the mechanical behavior of a body (200), in particular for the implementation of a method according to any one of the preceding claims, comprising: a dynamic model (100) comprising an interface ( 101) deformable linked to a plurality of active support elements (103) whose travel and mechanical response are adjustable, a control system (106) for controlling the travel and the mechanical response of the active support elements according to a digital twin (231) of at least a part of said body (200), this digital twin (231) comprising data relating to the external geometry of said body (200) and to its local response to the application of a force (Fl, F2, F3, Fl', F2', F3'), the control of the active support elements (103) being carried out so as to reproduce with the interface (101) the external geometry of the body (200) and simulate its mechanical behavior.
14. Système selon la revendication 13, comportant un système de détection (111) du positionnement et/ou de l’orientation relativement à la maquette (100) d’un objet maître (110) manipulé par un opérateur humain (120). 14. System according to claim 13, comprising a detection system (111) of the positioning and/or orientation relative to the model (100) of a master object (110) manipulated by a human operator (120).
15. Système de contrôle à distance à retour haptique, comportant outre le système selon la revendication 14, un système de commande (211) d’un bras robotisé (220) pour piloter, à partir du positionnement et/ou de l’orientation ainsi détecté(s), un bras robotisé (220) portant un objet esclave (210) et recopier, avec l’objet esclave (210) sur le corps (200), le positionnement et/ou l’orientation de l’objet maître (110) sur l’interface (101) déformable. 15. Remote control system with haptic feedback, further comprising the system according to claim 14, a control system (211) of a robotic arm (220) for controlling, from the positioning and/or the orientation as well detected, a robotic arm (220) carrying a slave object (210) and copying, with the slave object (210) on the body (200), the positioning and/or orientation of the master object ( 110) on the deformable interface (101).
16. Système de télé-exploration à retour haptique, comportant outre le système de contrôle selon la revendication 15, le bras robotisé (220) portant l’objet esclave (210). 16. Remote exploration system with haptic feedback, further comprising the control system according to claim 15, the robotic arm (220) carrying the slave object (210).
17. Système selon la revendication précédente, l’objet esclave étant une sonde échographique. 17. System according to the preceding claim, the slave object being an ultrasound probe.
PCT/EP2022/084728 2021-12-09 2022-12-07 Method and system for simulating the mechanical behaviour of a body WO2023104854A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR2113188A FR3130125A1 (en) 2021-12-09 2021-12-09 Method and system for simulating the mechanical behavior of a body
FRFR2113188 2021-12-09

Publications (1)

Publication Number Publication Date
WO2023104854A1 true WO2023104854A1 (en) 2023-06-15

Family

ID=81749331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/084728 WO2023104854A1 (en) 2021-12-09 2022-12-07 Method and system for simulating the mechanical behaviour of a body

Country Status (2)

Country Link
FR (1) FR3130125A1 (en)
WO (1) WO2023104854A1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6425865B1 (en) * 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
US20190261959A1 (en) * 2016-11-22 2019-08-29 Cedars-Sinai Medical Center Real-time tele-sonography

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6425865B1 (en) * 1998-06-12 2002-07-30 The University Of British Columbia Robotically assisted medical ultrasound
US20190261959A1 (en) * 2016-11-22 2019-08-29 Cedars-Sinai Medical Center Real-time tele-sonography

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"Medical Robotics for Ultrasound Imaging : Current Systems and Future Trends", 2021, SPRINGER
ADAMS SCOTT J. ET AL: "Telerobotic Sonography for Remote Diagnostic Imaging : Narrative Review of Current Developments and Clinical Applications", vol. 40, no. 7, 14 October 2020 (2020-10-14), United States, pages 1287 - 1306, XP055913150, ISSN: 0278-4297, Retrieved from the Internet <URL:https://onlinelibrary.wiley.com/doi/full-xml/10.1002/jum.15525> [retrieved on 20220818], DOI: 10.1002/jum.15525 *
BUCOLO ET AL.: "Force Feedback Assistance in Remote Ultrasound Scan Procedures", 2020, DE L'UNIVERSITÉ

Also Published As

Publication number Publication date
FR3130125A1 (en) 2023-06-16

Similar Documents

Publication Publication Date Title
EP0953168B1 (en) Electronic device for processing image-data, for simulating the behaviour of a deformable object
EP0750175B1 (en) Acquisition and numerisation method for objects through a transparent wall and system for carrying out this method
CA2807219C (en) Method for the automated and assisted acquisition of anatomical surfaces
FR2844178A1 (en) DEVICE AND METHOD FOR MEASURING THE ELASTICITY OF A HUMAN OR ANIMAL BODY AND ESTABLISHING A TWO OR THREE-DIMENSIONAL REPRESENTATION OF THIS ELASTICITY
CA2494828A1 (en) Device and method for measuring elasticity of a human or animal organ
FR3044541A1 (en) ROBOTISE MODULE OF SOFT MEDICAL MEDICAL TRAINING
CA2552589A1 (en) Trocar device for passing a surgical tool
JP2008506477A (en) Thermoacoustic tomography method and thermoacoustic tomograph
FR2993767A1 (en) ECHOGRAPHY DEVICE REMOTE CONTROL
EP1370188A1 (en) Method and system for remote reconstruction of a surface
FR2972132A1 (en) Device for assisting practitioner to handle echographic probe in three-dimensional mammography imaging assembly to e.g. analyze lesion in breast of patient, has motor unit that does not entirely satisfy constraint, independent from handling
WO2023104854A1 (en) Method and system for simulating the mechanical behaviour of a body
CA2751398C (en) Ultrasound browser
EP3707583B1 (en) Haptic feedback device
FR2991160A1 (en) MEDICAL IMAGING PROBE GUIDING DEVICE, MEDICAL IMAGING PROBE ADAPTED TO BE GUIDED BY SUCH A DEVICE, AND METHOD FOR GUIDING SUCH PROBE.
EP3942532A1 (en) Method for generating a three-dimensional working surface of a human body, system
EP3483595A1 (en) Device and method for three-dimensional inspection of an object using x-rays
EP2994813B1 (en) Method for controlling a graphical interface for displaying images of a three-dimensional object
FR3016791B1 (en) METHOD AND DEVICE FOR CHARACTERIZING THE SKIN
EP1333412A1 (en) Ultrasound probe simulator
FR2855959A1 (en) Personalized equipment e.g. orthosis, manufacturing method, involves sweeping across surface of body part with bright light beam, and acquiring three dimensional representation of body part
WO2023232990A1 (en) Device for assisting guiding to capture an ultrasound image and associated method
WO2017202628A1 (en) Method and device for characterising the skin
FR3115975A1 (en) Non-invasive method for measuring a physical quantity representative of the elasticity of the skin
WO2023030923A1 (en) Method and tool for calibrating a passive positioning system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22830807

Country of ref document: EP

Kind code of ref document: A1