WO2024080291A1 - 医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラム - Google Patents

医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラム Download PDF

Info

Publication number
WO2024080291A1
WO2024080291A1 PCT/JP2023/036831 JP2023036831W WO2024080291A1 WO 2024080291 A1 WO2024080291 A1 WO 2024080291A1 JP 2023036831 W JP2023036831 W JP 2023036831W WO 2024080291 A1 WO2024080291 A1 WO 2024080291A1
Authority
WO
WIPO (PCT)
Prior art keywords
model data
subject
reference model
data
medical
Prior art date
Application number
PCT/JP2023/036831
Other languages
English (en)
French (fr)
Inventor
遼介 津村
潔 葭仲
義彦 小関
Original Assignee
国立研究開発法人 産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人 産業技術総合研究所 filed Critical 国立研究開発法人 産業技術総合研究所
Publication of WO2024080291A1 publication Critical patent/WO2024080291A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography

Definitions

  • the present invention relates to a medical navigation method, a medical navigation system, and a computer program executed in a medical robot device.
  • a doctor or other clinical expert remotely operates a medical instrument such as an ultrasound probe or stethoscope via a medical robot or the like, it is necessary to guide the medical robot or the like as to where on the body surface the medical instrument should be placed in order to perform the examination efficiently. Furthermore, when a doctor provides remote medical care, it may be necessary for a person without medical knowledge, such as the patient or a close relative of the patient, to place the medical instrument such as a stethoscope in an appropriate position on the patient's body surface instead of the doctor. On the other hand, the position where the medical instrument should be placed, i.e. the position of the patient's organs to be examined, varies depending on the individual differences in the patient's body shape, so it is important to estimate the position taking individual differences into account.
  • Patent Documents 1 and 2 and Non-Patent Document 1 disclose a method for mapping functional areas of the brain by applying a standard model of the human brain to an image of the patient's brain, thereby performing alignment and deformation (registration).
  • the present invention aims to provide a medical navigation method, medical navigation system, and computer program that can guide medical instruments such as ultrasound probes and stethoscopes to appropriate positions on the body surface in accordance with individual differences in body shape using an easily usable RGB-D (image/depth) camera.
  • medical instruments such as ultrasound probes and stethoscopes
  • one aspect of the present invention is a medical navigation method executed by a computer system for positioning a medical instrument on a subject, the computer system retaining three-dimensional point cloud information of the subject as body model data of the subject, and retaining N pieces of reference model data indicating the shape of the human body and placement data indicating the placement position of the medical instrument in each piece of reference model data, the medical navigation method including the steps of: determining, as reference model data, the reference model data that is most similar to the body model data of the subject among the N pieces of reference model data; applying registration to the reference model data using a non-rigid ICP (interactive closest point) algorithm with the body model data of the subject as a target; and converting the placement data in the reference model data into placement data of the medical instrument in the body model data of the subject using a coordinate conversion formula for the three-dimensional point cloud information between the body model data of the subject obtained by the registration and the reference model data.
  • ICP interactive closest point
  • Another aspect of the present invention is a medical navigation system for positioning a medical instrument on a subject, which holds three-dimensional point cloud information of the subject as body model data of the subject, holds N pieces of reference model data representing the shape of the human body and position data representing the position of the medical instrument in each piece of reference model data, determines the reference model data of the N pieces of reference model data that is most similar to the body model data of the subject as reference model data, applies registration using a non-rigid ICP (interactive closest point) algorithm to the reference model data with the body model data of the subject as a target, and converts the position data in the reference model data into position data of the medical instrument in the body model data of the subject using a coordinate conversion formula for the three-dimensional point cloud information between the body model data of the subject obtained by the registration and the reference model data.
  • ICP interactive closest point
  • Another aspect of the present invention is a computer program causing a computer system to execute the above-described medical navigation method.
  • Another aspect of the present invention is a computer-readable recording medium storing a computer program for causing a computer system to execute the above-described medical navigation method.
  • FIG. 1 is a diagram showing an example of the configuration of a medical robot device (medical navigation system) according to an embodiment of the present invention.
  • 1 is a diagram showing an overview of a medical navigation method according to an embodiment of the present invention.
  • FIG. 1 is a diagram showing a human body model created in a simulation.
  • FIG. 13 shows the overall results of the registration error as a function of chamfer distance.
  • FIG. 2 is a diagram showing an example of a processing flow of a medical navigation method according to an embodiment of the present invention.
  • the medical navigation method and medical navigation system are a method and system for appropriately estimating the position of a medical instrument, such as an ultrasonic probe or a stethoscope, on the body surface of a subject when a medical procedure is performed on the subject, such as a patient, using a medical robot device.
  • a medical instrument such as an ultrasonic probe or a stethoscope
  • auscultation is performed on a specific part of the patient's body (subject).
  • the medical robot device 1 is a diagram showing an example of the configuration of a medical robot device (medical navigation system) that executes the medical navigation method according to the present embodiment.
  • the medical robot device 1 includes a robot arm 10, a constant load passive scanning mechanism (end effector) 20, and an RGB-D camera 30.
  • the robot arm 10 is configured to be movable around a patient (subject) 5 on which a medical procedure is to be performed (FIG. 1 is a diagram for explanation, and the patient 5 (specifically, the body of the patient 5. In the following, it may also be referred to as the "patient's body 5" is substituted here with a mannequin).
  • the tip of the robot arm 10 is provided with a constant load passive scanning mechanism (end effector) 20, either integrally or detachably.
  • the constant load passive scanning mechanism 20 is a mechanism that holds a medical instrument 40 and enables the medical instrument 40 to be pressed against the body surface of the patient 5 while maintaining a constant load and moved.
  • the medical instrument may be any instrument necessary for a medical procedure to be performed on the patient 5, such as an ultrasound probe or a stethoscope.
  • an example of a medical instrument that can be used in the medical robot device 1 of this embodiment is an electronic stethoscope, such as the electronic stethoscope (digital stethoscope) JPES-01 manufactured by Mitrica Co., Ltd.
  • Sound collected by the electronic stethoscope coming into contact with the patient 5 can be transmitted as data to a computer device (such as a client computer device 60 described later).
  • a computer device such as a client computer device 60 described later.
  • other medical instruments may be configured so that sound and video data acquired by the medical instrument coming into contact with the patient 5 can be transmitted to a computer device.
  • the robot arm 10 can be provided with an RGB-D camera 30 at its tip, either integrally or detachably.
  • the RGB-D camera 30 is a camera that can simultaneously acquire a color image (RGB information) and a distance image (distance information).
  • the medical robot device 1 may also include a client computer device 60.
  • the client computer device 60 is directly or indirectly connected to each of the robot arm 10, constant load passive scanning mechanism (end effector) 20, and RGB-D camera 30 of the medical robot device 1, and transmits and receives data to and from these components.
  • the client computer device 60 transmits control signals for controlling each component and transmits data necessary to operate each component.
  • the client computer device 60 also receives data acquired or generated in each component from each component.
  • the client computer device 60 can be realized by a hardware configuration similar to that of a general computer device.
  • the client computer device 60 may include, for example, a processor, a RAM (Random Access Memory), a ROM (Read Only Memory), an internal hard disk device, an external hard disk device, a removable memory such as a CD, a DVD, a USB memory, a memory stick, or an SD card, an input/output user interface (display, keyboard, mouse, touch panel, speaker, microphone, LED, etc.), and a wired/wireless communication interface capable of communicating with each configuration of the medical robot device 1 and other computer devices.
  • a processor for example, a processor, a RAM (Random Access Memory), a ROM (Read Only Memory), an internal hard disk device, an external hard disk device, a removable memory such as a CD, a DVD, a USB memory, a memory stick, or an SD card, an input/output user interface (display, keyboard, mouse, touch panel, speaker, microphone, LED, etc.), and a wired/wireless communication interface capable of communicating with each configuration of the medical robot device 1 and other computer devices
  • the client computer device 60 may, for example, have a processor that reads into a memory such as a RAM a computer program for causing the client computer device 60 to execute the medical navigation method according to this embodiment, the computer program having been stored in advance in a hard disk device, a ROM, or a removable memory, and executes the necessary data while reading it appropriately from the hard disk device, the ROM, the removable memory, etc.
  • a processor that reads into a memory such as a RAM a computer program for causing the client computer device 60 to execute the medical navigation method according to this embodiment, the computer program having been stored in advance in a hard disk device, a ROM, or a removable memory, and executes the necessary data while reading it appropriately from the hard disk device, the ROM, the removable memory, etc.
  • Such operations of the client computer device 60 realize various processes in the medical robot device 1 described in this embodiment.
  • various data used in each process described in this embodiment is stored in a storage device or storage medium such as a hard disk drive, RAM, or removable memory, and
  • the medical robot device 1 shown in FIG. 1 is a medical robot device actually constructed by the inventors of the present application.
  • a six-axis collaborative 6-DOF cooperative robot arm (UR5e, Universal Robot, Denmark) was used as the robot arm 10.
  • a LiDAR camera (L515 RealSense, Intel, USA) was used as the RGB-D camera 30 to obtain the three-dimensional contour of the body surface of the patient 5 as point cloud data.
  • a well-known computer device (Dell Precision 5380, Dell, USA) was used as the client computer device 60.
  • the medical robot device 1 in this example was constructed assuming that auscultation would be performed using a stethoscope, as an example. Note that, since FIG.
  • FIG. 1 is a medical robot device constructed experimentally, the patient 5 is substituted by a mannequin here, and since the nipples and navel, which are landmarks of the patient 5 in this example, are unclear on the mannequin as described below, the inventors attached markers to these positions. Furthermore, the configuration shown in FIG. 1 is merely an example, and it goes without saying that the configuration of the medical robot device 1 according to this embodiment is not limited to this. The same applies throughout this specification.
  • a constant-load passive scanning mechanism using a spring is implemented in the end effector 20 of the robot arm 10 in order to adaptively grasp the stethoscope (medical instrument) 40 relative to the body surface of the patient 5.
  • a six-axis force/torque sensor 25 (Axia-80-M20, ATI Industrial Automation, USA) is attached to the base of the constant-load passive scanning mechanism (end effector) 20, and is configured to measure the contact force when placing the stethoscope 40 on the body surface of the patient 5.
  • the client computer device 60 that controls the medical robot device 1 and an external server computer device are directly connected to a network (speed 1 GB/sec (gigabytes per second)), and the data transmission protocol is TCP/IP.
  • the RGB-D camera 30 is provided in the constant-load passive scanning mechanism (end effector) 20, but is not limited to this.
  • the RGB-D camera 30 is fixed so that its relative position with respect to the robot arm 10 does not change, and may be installed in a location different from the constant load passive scanning mechanism (end effector) 20.
  • the RGB-D camera 30 acquires depth and color information of the shape of the patient 5 as point cloud data, and the point cloud data is used for coordinate registration (alignment) using the positional relationship between the robot arm 10 and the patient 5. Because the RGB-D camera 30 is attached to the end effector 20 of the robot arm 10, the positional relationship between the RGB-D camera 30 and the robot arm 10 remains kinematically fixed even if the robot arm 10 moves around the patient 5. Therefore, the position of the acquired point cloud data of the patient 5 is linked to the coordinates of the robot arm 10.
  • the robot arm 10 can be controlled by URScript (Universal Robots A/S), a programming language used in the medical robot device 1.
  • URScript Universal Robots A/S
  • the client computer device 60 that controls the medical robot device 1 can send URScript commands to an external server computer device (not shown) via socket communication.
  • the point cloud data was acquired using Intel RealSense SDK 2.0.
  • a software system customized based on Python programming in Visual Studio Code can synchronize the control of the robot arm 10 with the reading of the point cloud data.
  • the medical navigation method in order to localize the auscultation area of the stethoscope (medical instrument) while compensating for individual differences in the patient's body shape, body surface registration between the patient's body 5 and a reference model of the body registered in advance in the medical navigation system is used.
  • the "reference model” is a model of the human body that serves as a reference for body surface registration.
  • the auscultation position (including the case of a region (auscultation area) with a certain degree of spread, the same applies below) where the stethoscope should be placed is determined in advance based on general medical knowledge of clinical experts, etc., and placement data indicating the auscultation position is stored in the medical navigation system.
  • a correspondence relationship between the surface of the patient's body 5 and the reference model is calculated. Based on the correspondence relationship calculated by the body surface registration, the auscultation area identified in the reference model can be projected onto the patient's body.
  • one of the commonly known registration methods is the ICP (interactive closest point) algorithm, which allows applying the input point cloud data of the body surface using an affine transformation to fit the reference model to the patient's body surface, so that the point cloud is considered to be rigid.
  • ICP interactive closest point
  • the rigid registration by ICP cannot find an exact correspondence between the surface of the patient's body 5 and the reference model, and the input point cloud data needs to be deformed to fit the body surface of the target (patient's body 5).
  • a non-rigid ICP is used as an improved ICP algorithm, which can fit point cloud data to the patient's body 5 non-rigidly using feature points and deformation constraints.
  • the auscultation position of the patient's body 5 is identified by applying body surface registration between the patient 5 and a reference model. More specifically, a number of human body models (reference models) that can serve as several types of reference models are prepared in advance, and a reference model that is close to the patient's body is selected, thereby making it possible to improve the accuracy of localizing the auscultation area.
  • the auscultation position where the stethoscope should be placed (including cases where the area is a certain extent (auscultation area); the same applies below) is determined in advance based on general medical knowledge of clinical experts, etc., and placement data indicating the auscultation position is stored in the medical navigation system.
  • valves aortic valve, pulmonary valve, tricuspid valve, and mitral valve
  • the tricuspid valve, mitral valve, pulmonary valve, and aortic valve are generally located on the left side of the lower sternum close to the fifth intercostal space, at the left fifth intercostal cusp on the midclavicular line (approximately 10 cm from the midline), on the inner edge of the left second intercostal space, and in the right third intercostal space, respectively.
  • the medical navigation method and medical navigation system estimates the positions corresponding to each valve on the patient's body surface (the positions where the stethoscope should be placed) from the reference model by applying non-rigid registration between the patient's body 5 and a reference model of the human body (registered in advance in the medical navigation system).
  • FIG. 2 is a diagram showing an example of an outline of the medical navigation method according to this embodiment.
  • the medical navigation method according to this embodiment includes two processing steps, step (A) and step (B).
  • step (A) a reference model that is most similar to the patient's body data (patient body model) 50 obtained by photographing the patient's body 5 with the RGB-D camera 30 is selected as the reference model 52 from among a plurality of reference models 52-1, 52-2, ..., 52-N (N is an integer of 2 or more) that are the basis of the reference model and are registered in advance in the medical navigation system.
  • N is an integer of 2 or more
  • step (B) body surface registration by non-rigid ICP is performed on the reference model 52 selected in step (A), and the reference model 52 is deformed so as to fit the patient's body 5 (patient body model 50).
  • the position (reference position) 55 of each valve is projected from the reference model 52 to the patient's body 5 (patient body model 50), and the position (estimated position) 56 of each valve on the body surface of the patient's body 5 is estimated.
  • Step (A) Selection of the reference model most similar to the patient's body
  • the point cloud data of the patient's body model 50 and the point cloud data of each reference model 52-k are superimposed, and the degree of superimposition is calculated to measure the similarity between the patient's body model 50 and each reference model 52-k.
  • the Chamfer Distance is widely adopted to measure the similarity between two point sets, and is defined as follows:
  • S1 and S2 are subsets of point cloud data.
  • x and y are point data contained in S1 and S2 .
  • dCD represents the chamfer distance between S1 and S2 .
  • dCD can be calculated by summing the squares of the distances between the nearest neighbors of the two point clouds. When the shape deviation between the two point clouds is large, the distance between the nearest neighbors of the two point clouds is large, and thus the chamfer distance is large.
  • the reference model 52-k reference model 52 that is most similar to the patient body model 50 is identified.
  • Non-rigid ICP is used to deform the reference model 52 identified in step (A) to the patient body model 50.
  • non-rigid ICP is applied to the mesh data converted from the point cloud data.
  • the source mesh converted from the point cloud data of the reference model 52 is given as a set V of n vertices (n is a natural number equal to or greater than 3) and a set ⁇ of m edges (m is a natural number equal to or greater than 3).
  • the registration involves finding the detection parameters X, which represent the set V(X) of displaced source vertices, which is the deformation mesh relative to the body surface of the patient 5.
  • the objective function E was defined as follows:
  • E d , E s , and E l denote the distance objective function, stiffness objective function, and sensitivity mark distance objective function, respectively.
  • ⁇ and ⁇ denote stiffness and landmark parameters.
  • the reliability of the match is weighted by W i . If there is no corresponding vertex, the weight is set to zero. If a corresponding vertex is found, the weight is set to one.
  • a rigidity objective function is used to regularize the deformation by penalizing the weighted difference in the transformations of adjacent vertices.
  • the rigidity objective function is the Frobenius norm
  • G was used to weight the difference between the rotational and distortion parts of the deformation against the translational part of the deformation.
  • a landmark distance objective function was used for registration initialization and guidance, and was defined as follows:
  • the total objective function E can be solved by the method disclosed in Amberg B, Romdhani S, Vetter T (2007) Optimal Step Nonrigid ICP Algorithms for Surface Registration. 2007 IEEE Conference on Computer Vision and Pattern Recognition 1-8.
  • the inventors of the medical navigation method and medical navigation system according to the present embodiment conducted a simulation to verify that the accuracy of registration is improved by selecting a reference model that is close to the patient's body 5 (patient body model 50).
  • patient body model 50 a reference model that is close to the patient's body 5
  • the inventors created several types of human body models using the digital human platform software "DhaibaWorks" (National Institute of Advanced Industrial Science and Technology, https://www.dhaibaworks.com/). This software makes it possible to generate human body models of various shapes as mesh data. As shown in FIG.
  • the inventors used this software to create nine types of human body models in advance, ranging from short models (#1, #2) to tall models (#3, #4) and from light models (#5, #6) to heavy models (#7, #8), compared to a model (#0) with standard height and weight.
  • the reference model 52 (source mesh) was fixed to the standard model (#0 in FIG. 3), and the patient body model 50 (target mesh) was set to each of the other models (#1 to #8 in FIG. 3). Then, non-rigid ICP was applied to each pair of the source mesh and each target mesh. The registration accuracy was evaluated by the error between the position of each valve projected in the registration and the actual position of each valve determined by the medical knowledge of a clinical expert. Furthermore, the chamfer distance was calculated for each pair of the source mesh and each target mesh.
  • Table 1 shows the results of the non-rigid ICP registration error and the chamfer distance for each valve position in the simulated human body model.
  • Auscultation areas I to IV in Table 1 refer to the auscultation areas for the aortic valve, pulmonary valve, tricuspid valve, and mitral valve, respectively.
  • the results suggest that the larger the deviation in body shape between the target model (#1 to #8 in Figure 3) and the standard model (#0 in Figure 3), the larger the registration error.
  • the chamfer distance also indicates the degree of shape deviation, which corresponds to the result of the registration error.
  • the simulation results show that selecting a reference model 52 that is close to the patient's body 5 improves the accuracy of positioning.
  • the inventors of the medical navigation method and medical navigation system according to this embodiment conducted an experiment on the medical navigation method according to this embodiment using an actual human body.
  • eight body surface data sets were obtained from eight healthy male volunteers.
  • the male volunteers were selected taking into consideration the diversity of body shapes.
  • the average height, weight, and body mass index (BMI) of the volunteers were 1.73 ⁇ 0.06 m, 69.1 ⁇ 5.87 kg, and 23.2 ⁇ 1.98 kg/ m2 , respectively.
  • Table 2 shows the detailed information of the recruited volunteers.
  • Table 3 shows the results of the non-rigid ICP registration performed between the physical data of each volunteer.
  • Auscultation areas I to IV in Table 3 refer to the auscultation areas of the aortic valve, pulmonary valve, tricuspid valve, and mitral valve, respectively.
  • the minimum and maximum values of the chamfer distance and the average registration error calculated for each source model are shown in bold (shaded area). According to the results, it can be seen that in approximately 7/8 of the source model conditions, the minimum chamfer distance corresponds to the minimum registration error, and the maximum chamfer distance corresponds to the maximum registration error.
  • Figure 4 shows the overall results of registration error as a function of chamfer distance.
  • a linear regression analysis was performed to examine the strength of the association between the accuracy of the non-rigid ICP registration and the similarity of the compared models.
  • the linear coefficient of determination R2 was approximately 0.66, indicating that there is some relationship between the chamfer distance and the registration error.
  • the non-rigid ICP registration according to this example is capable of estimating the auscultation area with an average error of 5 to 19 mm, and is capable of providing a more accurate auscultation area that takes into account individual differences in body shape. An error of less than 20 mm is considered to be in a range that does not qualitatively affect auscultation.
  • the registration accuracy may depend on the similarity between the body surface of the patient's body 5 (patient body model 50) and the body surface of the reference model 52.
  • Statistical results showed that there is a correlation between the registration accuracy and the similarity of the models used and the equivalent chamfer distance.
  • the nipple and umbilicus were used as landmarks in the non-rigid ICP registration process.
  • other easily identifiable points on the body surface such as rib boundaries, can be used as landmarks.
  • the registration accuracy can be further improved.
  • the number of reference models (data) is seven, but this is not limiting.
  • body types can be classified into six types according to the obesity assessment criteria (for both men and women) set by the Japan Society for the Study of Obesity, as shown in the table below.
  • the number N of reference models may be an integer of 6 or more, and more preferably an integer of 12 or more (6 for men and 6 for women). Note that the above-mentioned criteria of the Japan Society for the Study of Obesity are only an example, and the number of reference models may be determined based on similar medical grounds, etc.
  • Fig. 5 is a diagram showing an example of a processing flow of the medical navigation method according to this embodiment. The following steps S102 to S106 correspond to the processing of step (A) (selection of a reference model most similar to the patient's body) described in Fig. 2, and steps S108 to S110 correspond to the processing of step (B) (non-rigid ICP for body surface registration) described in Fig. 2.
  • the RGB-D camera 30 acquires three-dimensional point cloud information of the patient's body 5.
  • the method of acquiring the three-dimensional point cloud information of the patient's body 5 is, for example, as follows. That is, the RGB-D camera 30 moves to a predetermined initial position.
  • the RGB-D camera 30 acquires three-dimensional point cloud information (acquired three-dimensional point cloud information) at each imaging location while moving within the imaging area (the entire chest of the subject 50 in this embodiment). At this time, the RGB-D camera 30 also acquires two-dimensional color image information at each imaging location and position and angle information (camera position coordinate information) of the RGB-D camera 30 at each imaging position. These processes are repeated until the entire imaging area has been moved.
  • the body surface shape of the subject 50 is reconstructed using the multiple pieces of acquired three-dimensional point cloud information and the multiple camera position coordinate information acquired at the multiple imaging positions.
  • the acquired multiple pieces of acquired 3D point cloud information are converted from local coordinates to global coordinates based on the position and angle information (position coordinate information) of the RGB-D camera 30 at each imaging position.
  • Correspondence between overlapping points in each piece of acquired 3D point cloud information is searched for.
  • the acquired multiple pieces of acquired 3D point cloud information are integrated into one piece of 3D point cloud information based on the correspondence between the searched overlapping points.
  • the 3D point cloud information acquired in this way is stored in a storage area such as a hard disk drive of the client computer device 60 as data for the patient body model 50.
  • step S104 the client computer device 60 calculates the chamfer distance between the N-body reference model 52-k, which has been stored in advance on a hard disk drive or the like of the client computer device 60, and the body model of the patient 5 acquired in step S102.
  • step S106 the client computer device 60 determines the reference model with the smallest chamfer distance as the base model 52.
  • step S108 the client computer device 60 applies registration using a non-rigid ICP to the reference model 52 with the patient body model 50 as a target.
  • step S110 the client computer device 60 converts the reference position 55, which is the position (position where the stethoscope should be placed) of the diagnostic part (aortic valve, pulmonary valve, tricuspid valve, mitral valve) previously stored in the medical navigation system, into a position on the patient body model 50 using a coordinate conversion formula of the three-dimensional point cloud between the patient body model 50 obtained by registration and the reference model 52, and determines this as the estimated position 55 of the auscultation position.
  • the determined estimated position is displayed and output on a remote computer device operated by a doctor, for example, connected to the client computer device 60 via a network.
  • the doctor can then operate the medical robot device 1 (robot arm 10) while visually checking the displayed estimated position.
  • the estimated position determined in step S110 is displayed and output on the display of the client computer device 60, and the patient himself or a close relative of the patient can place the stethoscope at the displayed estimated position.
  • the medical robot 1 can automatically place the stethoscope 40 at the estimated position determined in step S110 to obtain auscultation data of the patient 5 and provide the data to a clinical expert such as a doctor.
  • a stethoscope is used as a medical instrument, but the present invention is not limited to this.
  • the present invention can be used in various situations, such as robotic diagnosis and treatment navigation, which requires the placement of other medical equipment on the patient's body 5, or preoperative planning.
  • robotic diagnosis and treatment navigation which requires the placement of other medical equipment on the patient's body 5, or preoperative planning.
  • the medical navigation method and medical navigation system according to the present embodiment can be used to estimate the scanning path or scanning area on the body surface of the patient 5 that the ultrasound probe should scan, taking into account individual differences in body shape.
  • the nipple and navel are used as landmarks on the body surface of the subject 5, but it is possible to use any externally noticeable part of the human body as a landmark.
  • the shoulder, clavicle, or pelvis could be used as a landmark.
  • a medical navigation method executed by a computer system for positioning a medical instrument in a subject comprising: the computer system holds three-dimensional point cloud information of the subject as body model data of the subject, holds N pieces of reference model data indicating a shape of a human body, and position data indicating a position of the medical instrument in each reference model data;
  • the medical navigation method includes: determining, from among the N pieces of reference model data, the reference model data having the highest similarity to the subject's body model data as a reference model data; applying a registration to the reference model data using a non-rigid interactive closest point (ICP) algorithm with the subject's body model data as a target; converting the arrangement data in the reference model data into arrangement data of the medical instrument in the body model data of the subject, using a coordinate conversion equation of the three-dimensional point cloud information between the body model data of the subject obtained by the registration and the reference model data;
  • a medical navigation method comprising: (2) The medical navigation method of (1) above, wherein
  • a medical navigation system for positioning a medical instrument on a subject comprising: storing three-dimensional point cloud information of the subject as body model data of the subject, and storing N pieces of reference model data indicating a shape of a human body and arrangement data indicating an arrangement position of the medical instrument in each of the reference model data; Among the N pieces of reference model data, the reference model data having the highest similarity to the subject's body model data is determined as a reference model data; Applying registration to the reference model data using a non-rigid ICP (interactive closest point) algorithm with the subject's body model data as a target; converting the placement data in the reference model data into placement data of the medical instrument in the body model data of the subject, using a coordinate conversion formula of the three-dimensional point cloud information between the body model data of the subject obtained by the registration and the reference model data.
  • ICP interactive closest point
  • the medical navigation system includes an RGB-D camera; The medical navigation system according to (5) above, wherein the RGB-D camera captures images of the subject from a plurality of imaging positions to obtain the three-dimensional point cloud information of the subject.
  • a computer-readable recording medium storing a computer program for causing a computer system to execute any one of the medical navigation methods described above in (1) to (4).
  • Medical robot device (medical navigation system) 5...Patient (subject) 10...Robot arm 20...Constant load passive scanning mechanism (end effector) 25... Force/torque sensor 30... LiDAR camera 40... Medical instrument (stethoscope) 50: Patient body model 55: Reference position 56: Estimated position 60: Client computer device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Robotics (AREA)
  • Image Processing (AREA)

Abstract

体型の個人差に合わせて体表上の適切な位置に医用器具を誘導する医用ナビゲーション方法を提供する。　被検体の３次元点群情報を被検体の身体モデルデータとして保持し（Ｓ１０２）、Ｎ個の参照モデルデータと各参照モデルデータにおける医用器具の配置データとを保持し、被検体の身体モデルデータと最も類似度の高い基準モデルデータを決定するステップ（Ｓ１０６）と、被検体の身体モデルデータを目標として、基準モデルデータに非剛性ＩＣＰアルゴリズムを用いたレジストレーションを適用するステップ（Ｓ１０８）と、基準モデルデータにおける配置データを、レジストレーションによって得られた被検体の身体モデルデータと基準モデルデータとの間の３次元点群情報の座標変換式を用いて、被検体の身体モデルデータにおける医用器具の配置データに変換するステップ（Ｓ１１０）とを含む、医用ナビゲーション方法。

Description

医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラム
　本発明は、医療用ロボット装置において実行される医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラムに関する。
　医師などの臨床専門家が、超音波プローブや聴診器などの医用器具を医療用ロボット等を介して遠隔操作する場合、効率的に検査を実施するためには体表上のどの位置に医用器具を配置するべきか医療用ロボット等を誘導する必要がある。また、医師が遠隔医療を提供する場合、医師の代わりに、患者自身または患者の近親者のような医学的知識を有しない者が患者の体表面上の適切な位置に聴診器等の医用器具を置く必要が生じる場合がある。一方で、医用器具を配置すべき位置、すなわち検査対象となる患者の臓器などの位置は、患者の体型の個人差に応じて異なるため、個人差を考慮した位置推定が重要となる。
　例えば、特許文献１および２、並びに非特許文献１においては、人間の脳の標準的なモデルを患者の脳の画像に適用することによって位置合わせおよび変形（レジストレーション）を行い脳の機能部位をマッピングする方法が開示されている。
米国特許第８３１１３５９号明細書 特開２０１９－５３５４７２号公報
Brian B Avants, Nicholas J Tustison, Michael Stauffer, Gang Song, Baohua Wu, and James C Gee, "The Insight ToolKit image registration framework", Front Neuroinform, Frontiers Research Foundation, Switzerland, April 28,2014
　しかしながら、上述した従来技術では、患者の体型に比べて形状が画一的な脳画像を扱っており、またレジストレーションを行うためにはＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）などの撮像の手間を要する医用画像モダリティを必要とする。
　本発明は、上記課題に鑑み、簡便に利用可能なＲＧＢ－Ｄ（画像・深度）カメラを用いた体型の個人差に合わせて体表上の適切な位置に超音波プローブや聴診器などの医用器具を誘導することが可能な医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラムを提供することを目的とする。
　上記課題を解決するために、本発明の一態様は、被検体に医用器具を配置するためにコンピュータシステムによって実行される医用ナビゲーション方法であって、前記コンピュータシステムは、前記被検体の３次元点群情報を前記被検体の身体モデルデータとして保持し、人体の形状を示すＮ個の参照モデルデータと各参照モデルデータにおける前記医用器具の配置位置を示す配置データとを保持し、前記医用ナビゲーション方法は、前記Ｎ個の参照モデルデータのうち、前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定するステップと、前記被検体の身体モデルデータを目標として、前記基準モデルデータに非剛性ＩＣＰ（interactive closest point）アルゴリズムを用いたレジストレーションを適用するステップと、前記基準モデルデータにおける前記配置データを、前記レジストレーションによって得られた前記被検体の身体モデルデータと前記基準モデルデータとの間の前記３次元点群情報の座標変換式を用いて、前記被検体の身体モデルデータにおける前記医用器具の配置データに変換するステップと、を含む、医用ナビゲーション方法である。
　また、本発明の他の態様は、被検体に医用器具を配置するための医用ナビゲーションシステムであって、前記被検体の３次元点群情報を前記被検体の身体モデルデータとして保持し、人体の形状を示すＮ個の参照モデルデータと各参照モデルデータにおける前記医用器具の配置位置を示す配置データとを保持し、前記Ｎ個の参照モデルデータのうち、前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定し、前記被検体の身体モデルデータを目標として、前記基準モデルデータに非剛性ＩＣＰ（interactive closest point）アルゴリズムを用いたレジストレーションを適用し、前記基準モデルデータにおける前記配置データを、前記レジストレーションによって得られた前記被検体の身体モデルデータと前記基準モデルデータとの間の前記３次元点群情報の座標変換式を用いて、前記被検体の身体モデルデータにおける前記医用器具の配置データに変換する医用ナビゲーションシステムである。
　また、本発明の他の態様は、コンピュータプログラムであって、コンピュータシステムに上記の医用ナビゲーション方法を実行させる、コンピュータプログラムである。
　また、本発明の他の態様は、コンピュータシステムに上記の医用ナビゲーション方法を実行させるためのコンピュータプログラムを記憶したコンピュータ可読記録媒体である。
本発明の一実施形態に係る医療用ロボット装置（医用ナビゲーションシステム）の構成の一例を示す図である。 本発明の一実施形態に係る医用ナビゲーション方法の概要を示す図である。 シミュレーションにおいて作成された人体モデルを示す図である。 面取り距離に応じたレジストレーション誤差の全結果を示す図である。 本発明の一実施形態に係る医用ナビゲーション方法の処理フローの一例を示す図である。
　以下、図面を参照しながら本発明の実施形態について詳しく説明する。
　本実施形態に係る医用ナビゲーション方法および医用ナビゲーションシステムは、医療用ロボット装置において超音波プローブ、聴診器、等の医用器具を用いて患者などの被検体に対し医療行為を行う際に、被検体の体表上における医用器具の配置位置を適切に推定するための方法およびシステムである。なお、以下においては、医用器具が聴診器であって患者の身体（被検体）の特定の箇所について聴診を行う場合について、一例として説明する。
（医療用ロボット装置の構成）
　図１は、本実施形態に係る医用ナビゲーション方法を実行する医療用ロボット装置（医用ナビゲーションシステム）の構成の一例を示す図である。本実施形態に係る医療用ロボット装置１は、ロボットアーム１０と、定荷重受動走査機構（エンドエフェクタ）２０と、ＲＧＢ－Ｄカメラ３０とを備える。ロボットアーム１０は、医療行為を行う対象である患者（被検体）５の周辺を移動可能に構成されている（図１は説明のための図であり、患者５（具体的には患者５の身体を指す。以下同様であり「患者の身体５」という場合もある。）はここではマネキンで代用している）。また、ロボットアーム１０の先端には、一体的に、または着脱可能に定荷重受動走査機構（エンドエフェクタ）２０が備えられている。定荷重受動走査機構２０は医用器具４０を保持し、一定荷重を維持しながら医用器具４０を患者５の体表面に押し当てて動かすことを可能とする機構である。ここで、医用器具とは、例えば、超音波プローブ、聴診器、等の、患者５に対して行う医療行為に必要な器具全般が該当しうる。より具体的には、本実施形態の医療用ロボット装置１において使用可能な医療用器具として、例えば、株式会社ミトリカ社製の電子聴診器（デジタル聴診器）ＪＰＥＳ－０１のような電子聴診器が挙げられる。電子聴診器が患者５に接触することにより収集される音がデータとしてコンピュータ装置（後述するクライアントコンピュータ装置６０など）に送信されうる。同様に、他の医療用器具も、医療用器具が患者５に接触することで取得された音や映像のデータがコンピュータ装置に送信されうるようになっていればよい。また、ロボットアーム１０は、その先端部分にＲＧＢ－Ｄカメラ３０を一体的に、または着脱可能に備えることが可能となっている。ＲＧＢ－Ｄカメラ３０は、カラー画像（ＲＧＢ情報）と距離画像（距離情報）とを同時に取得可能なカメラである。
　また、医療用ロボット装置１は、クライアントコンピュータ装置６０を含みうる。クライアントコンピュータ装置６０は、医療用ロボット装置１のロボットアーム１０、定荷重受動走査機構（エンドエフェクタ）２０、およびＲＧＢ－Ｄカメラ３０のそれぞれと直接的または間接的に接続されており、これらの構成と相互にデータの送受信を行う。例えば、クライアントコンピュータ装置６０から各構成を制御するための制御信号を送信したり各構成を動作させるために必要なデータを送信する。また、クライアントコンピュータ装置６０は、各構成において取得または生成されたデータを各構成から受信する。クライアントコンピュータ装置６０は、一般的なコンピュータ装置と同様のハードウェア構成によって実現可能である。クライアントコンピュータ装置６０は、例えば、プロセッサと、ＲＡＭ（Random Access Memory）と、ＲＯＭ（Read Only Memory）と、内蔵のハードディスク装置と、外付けハードディスク装置、ＣＤ、ＤＶＤ、ＵＳＢメモリ、メモリスティック、ＳＤカード等のリムーバブルメモリと、入出力ユーザインタフェース（ディスプレイ、キーボード、マウス、タッチパネル、スピーカ、マイク、ＬＥＤ等）と、医療用ロボット装置１の各構成や他のコンピュータ装置と通信可能な有線／無線の通信インタフェース等を備えうる。クライアントコンピュータ装置６０は、例えば、プロセッサが、ハードディスク装置、ＲＯＭ、またはリムーバブルメモリ等にあらかじめ格納された本実施形態に係る医用ナビゲーション方法をクライアントコンピュータ装置６０に実行させるためのコンピュータプログラムをＲＡＭ等のメモリに読み出し、必要なデータをハードディスク装置、ＲＯＭ、リムーバブルメモリ等から適宜読み出しながら実行することができる。クライアントコンピュータ装置６０のこのような動作により、本実施形態において説明される医療用ロボット装置１における各種の処理が実現される。また、本実施形態にて説明される各処理において用いられる各種のデータは、ハードディスク装置、ＲＡＭ、リムーバブルメモリ等の記憶装置又は記憶媒体に記憶され、処理時に必要に応じてプロセッサにより読み出されて利用される。
　また、図１に図示された医療用ロボット装置１は、本出願の発明者らが実際に構築した医療用ロボット装置である。ロボットアーム１０として６軸協働６－ＤＯＦ協調ロボットアーム（UR5e、Universal Robot、デンマーク）が使用された。ＲＧＢ－Ｄカメラ３０として患者５の体表面の三次元輪郭を点群データとして取得するＬｉＤＡＲカメラ（L515 RealSense、Intel、USA）が使用された。また、クライアントコンピュータ装置６０として公知のコンピュータ装置（Dell Precision 5380、Dell、USA）が利用された。また、本例の医療用ロボット装置１は、一例として聴診器を用いて聴診を行うことを想定して構築された。なお、図１は実験的に構築された医療用ロボット装置であるので、患者５はここではマネキンで代用しており、後述するように本例において患者５のランドマークとした乳頭と臍はマネキンでは不明瞭であるので、発明者らがこれらの位置にマーカを付した。また、図１に示される構成はあくまで一例であり、本実施形態に係る医療用ロボット装置１の構成はこれに限定されないことは言うまでもない。本明細書の全体を通じて同様である。
　また、図１の構成例においては、患者５の診断の安全性の観点から、聴診器（医用器具）４０を患者５の体表面に対して適応的に把持するために、ばねを用いた定荷重受動走査機構がロボットアーム１０のエンドエフェクタ２０に実装された。定荷重受動走査機構（エンドエフェクタ）２０の基部には６軸力／トルクセンサ２５（Axia-80-M20、ATI Industrial Automation、USA）が取り付けられ、聴診器４０を患者５の体表面に置く際の接触力が測定されるように構成された。また、医療用ロボット装置１を制御するクライアントコンピュータ装置６０と外部のサーバコンピュータ装置（図示しない）とはネットワーク（速度１ＧＢ／ｓｅｃ（ギガバイト／秒））に直接接続され、データ伝送プロトコルはＴＣＰ／ＩＰとした。なお、本例ではＲＧＢ－Ｄカメラ３０は定荷重受動走査機構（エンドエフェクタ）２０内に備えられているが、これに限定されない。ＲＧＢ－Ｄカメラ３０はロボットアーム１０との相対位置が変化しないように固定され、定荷重受動走査機構（エンドエフェクタ）２０とは異なる場所に設置されていてもよい。
　ＲＧＢ－Ｄカメラ３０は、患者５の形状の深さと色の情報を点群データとして取得し、当該点群データは、ロボットアーム１０と患者５との位置関係を利用した座標のレジストレーション（位置合わせ）に用いられる。ＲＧＢ－Ｄカメラ３０はロボットアーム１０のエンドエフェクタ２０に取り付けられているため、ロボットアーム１０が患者５の周辺を移動しても、ＲＧＢ－Ｄカメラ３０とロボットアーム１０との位置関係は運動学的に固定されたままである。従って、取得された患者５の点群データの位置は、ロボットアーム１０の座標とリンクされる。
　また、ロボットアーム１０は、医療用ロボット装置１において使用されるプログラミング言語URScript（Universal Robots A/S社）により制御されうる。医療用ロボット装置１を制御するクライアントコンピュータ装置６０は、ソケット通信を介してURScriptのコマンドを外部のサーバコンピュータ装置（図示しない）に送信することができる。また、点群データは、Intel RealSense SDK 2.0を使用して取得された。Visual Studio CodeのPythonプログラミングに基づいてカスタマイズされたソフトウェアシステムは、ロボットアーム１０の制御を点群データの読み取りと同期させることができる。
（医用ナビゲーション方法の概要）
　本実施形態に係る医用ナビゲーション方法では、患者の体形の個人差を補償する下で聴診器（医用器具）による聴診領域を局在化するために、患者の身体５と、あらかじめ医用ナビゲーションシステムに登録されている身体の基準モデルとの間の体表面レジストレーションを用いることとした。ここで、「基準モデル」とは、体表面レジストレーションの基準となる人体のモデルである。基準モデルにはあらかじめ臨床専門家等の一般的医学知識に基づき、聴診器を配置すべき聴診位置（ある程度の広がりのある領域（聴診領域）である場合も含む。以下同様。）が決定され、当該聴診位置を示す配置データが医用ナビゲーションシステムに保存されている。本実施形態における体表面レジストレーションでは、患者の身体５と基準モデルの表面間の対応関係が算出される。体表面レジストレーションによって算出された当該対応関係に基づいて、基準モデルにおいて特定済みの聴診領域が患者の身体に投影されうる。
　ここで、一般的に知られているレジストレーション手法の一つは、ＩＣＰ（interactive closest point）アルゴリズムである。これは、基準モデルを患者の体表面にフィットさせるために、アフィン変換を用いて体表面の入力点群データを適用することを可能にし、その結果、点群は剛体（rigid）であるとみなされる。一方、体表面は個人に依存するため、ＩＣＰによる剛体レジストレーションでは、患者の身体５と基準モデルの表面間の正確な対応関係を見つけることができず、入力点群データは、ターゲット（患者の身体５）の体表面に適合するように変形する必要がある。
　そこで、本実施形態に係る医用ナビゲーション方法および医用ナビゲーションシステムにおいては、改善されたＩＣＰアルゴリズムとして、特徴点と変形制約を用いて点群データを非剛体的に患者の身体５にフィットさせることが可能な非剛体ＩＣＰ（non-rigid ICP）を用いる。本実施形態においては、患者５と基準モデルとの間の体表レジストレーションを適用することにより、患者の身体５の聴診位置が特定される。より具体的には、いくつかのタイプの基準モデルとなりうる複数の人体モデル（参照モデル）があらかじめ準備され、患者の身体に近い参照モデルが選択されることによって、聴診領域の局在化の精度を高めることを可能とする。各参照モデルには、あらかじめ臨床専門家等の一般的医学知識に基づき、聴診器を配置すべき聴診位置（ある程度の広がりのある領域（聴診領域）である場合も含む。以下同様。）が決定され、当該聴診位置を示す配置データが医用ナビゲーションシステムに記憶されている。
　また、本実施形態においては、一例として、患者（被検体）の心臓の聴診に必要な４つの弁(大動脈弁、肺動脈弁、三尖弁、僧帽弁)の位置を推定する場合について説明する。三尖弁、僧帽弁、肺動脈弁、および大動脈弁は、一般的には、第５肋間隙に近い胸骨下部の左側、鎖骨中線（正中線から約１０ｃｍ）の左第５肋間尖、左第２肋間間隙の内縁、および右第３肋間隙にそれぞれ位置している。しかしながら、非医療従事者にとってはそれらを正しく特定することは困難である。本実施形態に係る医用ナビゲーション方法および医用ナビゲーションシステムは、患者の身体５と、あらかじめ医用ナビゲーションシステムに登録されている人体の基準モデル（との間の非剛体レジストレーションを適用することにより、基準モデルから患者の体表上の各弁に対応する位置（聴診器を配置すべき位置）を推定する。
　図２は、本実施形態に係る医用ナビゲーション方法の概要の一例を示す図である。図２に示されるように、本実施形態に係る医用ナビゲーション方法は、ステップ（Ａ）とステップ（Ｂ）との２つの処理ステップとを含んで構成される。ステップ（Ａ）では、あらかじめ医用ナビゲーションシステムに登録されている、基準モデルの元となる複数の参照モデル５２－１、５２－２、・・・、５２－Ｎ（Ｎは２以上の整数）の中から、患者の身体５をＲＧＢ－Ｄカメラ３０が撮影して得られた患者の身体データ（患者身体モデル）５０に最も類似する参照モデルが、基準モデル５２として選択される。ステップ（Ｂ）では、ステップ（Ａ）において選択された基準モデル５２において、非剛体ＩＣＰによる体表レジストレーションが実行され、基準モデル５２が患者の身体５（患者身体モデル５０）にフィットするように変形される。これにより、各弁の位置（基準位置）５５が基準モデル５２から患者の身体５（患者身体モデル５０）に投影されることにより、患者の身体５の体表上における各弁の位置（推定位置）５６が推定される。
（ステップ（Ａ）：患者の身体に最も類似する参照モデルの選択）
　以下、ステップ（Ａ）における処理の一例について詳述する。患者の身体５に近い参照モデルを選択するために、患者身体モデル５０の点群データと各参照モデル５２－ｋ（ｋ：１～Ｎの整数）の点群データとを重ね合わせ、重ね合わせの程度を計算することにより、患者身体モデル５０と各参照モデル５２－ｋとの間の類似性が測定される。面取り距離（Chamfer Distance）は、２つの点集合間の類似性を測定するために広く採用されており、以下のように定義される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｓ１およびＳ２は、点群データのサブセットである。ｘおよびｙは、Ｓ１およびＳ２に含まれる点データである。ｄＣＤは、Ｓ１とＳ２との間の面取り距離を表す。ｄＣＤは、２つの点群の最も近い隣接点間の距離の２乗を合計することによって計算されうる。両点群間の形状偏差が大きい場合、２つの点群の最も近い隣接点間の距離は大きくなり、よって、面取り距離は大きくなる。患者身体モデル５０と各参照モデル５２－ｋとの間の面取り距離を計算することによって、患者身体モデル５０に最も類似する参照モデル５２－ｋ（基準モデル５２）が特定される。
　面取り距離を計算するためには、まず、異なる形状および配列の点群のサブセットは大まかに重ねられる。次に、ＩＣＰレジストレーションを利用して、点群の局所的な特徴に大まかに基づいて両サブセットは位置合わせ（レジストレーション）される。各サブセットにおいて、高速点特徴ヒストグラム（ＦＰＦＨ：Fast Point Feature Histograms）特徴量が計算され、両サブセット間の特徴量の対応関係がＲＡＮＳＡＣ（Random Sample Consensus）アルゴリズムによって検索されうる。
　全ての参照モデル５２－ｋに対して、面取り距離は、ＩＣＰレジストレーションを適用した後の患者身体モデル５０との類似度として計算される。最も類似する参照モデル５２－ｋ（基準モデル５２）は、後述する非剛体ＩＣＰプロセスにおいて利用される。
（ステップ（Ｂ）：体表レジストレーションのための非剛体ＩＣＰ）
　ステップ（Ａ）において特定された基準モデル５２を患者身体モデル５０に合わせて変形させるために、非剛体ＩＣＰが用いられる。本実施形態においては、点群データから変換されたメッシュデータに非剛体ＩＣＰが適用された。基準モデル５２の点群データから変換されたソースメッシュは、ｎ個（ｎは３以上の自然数）の頂点の集合Ｖとｍ個（ｍは３以上の自然数）のエッジの集合εとして与えられる。レジストレーションは、患者５の体表面に対する変形メッシュである変位されたソース頂点（displaced source vertices）の集合Ｖ(Ｘ)を表す検出パラメータＸの検出を実行する。パラメータＸを求めるために、目的関数Ｅは以下のように定義された：
Figure JPOXMLDOC01-appb-M000002
　ここで、Ｅｄ、Ｅｓ、Ｅｌはそれぞれ、距離目的関数、剛性目的関数、および感度マーク距離目的関数を表す。αとβは剛性とランドマークパラメータを示す。対応するソース頂点（source vertices）および患者身体モデル５０の点群データから変換されたターゲットメッシュにおける頂点であるターゲット頂点（target vertices）を(ｖｉ，ｕｉ)とすると、距離目的関数は以下のように定義される：
Figure JPOXMLDOC01-appb-M000003
　ここで、マッチングの信頼性はＷｉによって重み付けされる。対応する頂点が無い場合、重みはゼロに設定される。対応する頂点が見つかった場合、重みは“１”に設定される。剛性目的関数は、隣接する頂点の変換の重み付けされた差にペナルティを課すことによって変形を正規化するために用いられる。剛性目的関数は、フロベニウスノルム（Frobenius norm）
Figure JPOXMLDOC01-appb-M000004
と重み付け行列Ｇとを用いて以下のように定義される：
Figure JPOXMLDOC01-appb-M000005
　ここで、Ｇは、変形の回転部分とゆがみ部分との間の差を変形の並進部分に対して重み付けするために使用された。最後に、レジストレーションの初期化とガイダンスのためにランドマーク距離目的関数が使用され、ランドマーク距離目的関数は、以下のように定義された。
Figure JPOXMLDOC01-appb-M000006
　ここで、
Figure JPOXMLDOC01-appb-M000007
は、ソース頂点をターゲット頂点にマッピングするランドマークの集合を表す。本実施形態においては、基準モデル５２を患者５の上半身の体表面に正確にマッチさせるために、乳頭と臍とがランドマークとして使用された。そして、非剛体ＩＣＰレジストレーションを適用する前に、基準モデル５２および患者身体モデル５０の両方の体表上で手動でこれらのランドマークの位置が決定された。合計目的関数Ｅは、Amberg B, Romdhani S, Vetter T (2007) Optimal Step Nonrigid ICP Algorithms for Surface Registration. 2007 IEEE Conference on Computer Vision and Pattern Recognition 1-8に開示された方法によって解くことができる。
（シミュレーション）
　本実施形態に係る医用ナビゲーション方法および医用ナビゲーションシステムの発明者らは、患者の身体５（患者身体モデル５０）に近い参照モデルを選択することによりレジストレーションの精度が向上することについて、シミュレーションによる検証を行った。シミュレーションのために発明者らは、デジタルヒューマンプラットフォームソフトウェア「ＤｈａｉｂａＷｏｒｋｓ」（国立研究開発法人 産業技術総合研究所、https://www.dhaibaworks.com/）を用いて、いくつかのタイプの人体モデルを作成した。このソフトウェアは、メッシュデータとして様々な形状の人体モデルを生成することを可能とする。発明者らは、本ソフトウェアを用いて図３に示されるように、背丈および体重が標準的なモデル（＃０）と比較して、背丈が低いモデル（＃１、＃２）から高いモデル（＃３、＃４）および体重が軽いモデル（＃５、＃６）から重いモデル（＃７、＃８）の９種類の人体モデルをあらかじめ作成した。
　本シミュレーションでは、基準モデル５２（ソースメッシュ）が標準モデル（図３の＃０）に固定され、患者身体モデル５０（ターゲットメッシュ）が他の各モデル（図３の＃１～＃８）に設定された。そして、ソースメッシュと各ターゲットメッシュとのペアの各々に非剛体ＩＣＰが適用された。レジストレーションの精度は、レジストレーションで投影された各弁の位置と、臨床専門家の医学的知識によって決定される各弁の現実の位置との間の誤差によって評価された。さらに、面取り距離は、ソースメッシュと各ターゲットメッシュとのペアごとに計算された。
　表１は、シミュレートした人体モデルにおける各弁位置の非剛体ＩＣＰレジストレーション誤差の結果および面取り距離を示す表である。表１の聴診領域Ｉ～ＩＶは、それぞれ大動脈弁、肺動脈弁、三尖弁、僧帽弁の聴診領域を指す。この結果によれば、ターゲットモデル（図３の＃１～＃８）と標準モデル（図３の＃０）との体型偏差が大きいほど、レジストレーション誤差が大きくなることが示唆された。また、面取り距離は形状偏差の度合いを示し、その度合いはレジストレーション誤差の結果に対応する。本シミュレーション結果によって、患者の身体５に近い基準モデル５２を選択することが、位置決めの精度を高めるということが分かった。
Figure JPOXMLDOC01-appb-T000008
（実験）
　次に、本実施形態に係る医用ナビゲーション方法および医用ナビゲーションシステムの発明者らは、実際の人体を用いて本実施形態に係る医用ナビゲーション方法について実験を行った。実験のために、８名の健常の男性ボランティアから８つの体表面のデータセットが取得された。男性ボランティアは、身体形状の多様性を考慮して選択された。ボランティアの平均身長、体重、およびボディマス指数（ＢＭＩ）は、それぞれ、１．７３±０．０６ｍ、６９．１±５．８７ｋｇ、および２３．２±１．９８ｋｇ／ｍ２であった。表２は、採用されたボランティアの詳細情報を示す表である。
Figure JPOXMLDOC01-appb-T000009
　本実験は、図１に示された医療用ロボット装置１によって実施された。体表面の点群データは、ＲＧＢ－Ｄカメラ３０（L515 RealSense, Intel, USA）によって取得された。ボランティアはベッドの上に横たわり、ＲＧＢ－Ｄカメラ３０は当該ベッドの表面から約８０ｃｍ上方に配置された。また、上述したシミュレーションと同様に、得られた各ボランティアの体表面上における各弁の現実の聴診位置は臨床専門家によって決定された。本実験では、レジストレーション誤差と面取り距離とが計算され、８名のボランティアの体表面の全ての組合せが比較された。１名のボランティアの身体データがソースモデル（基準モデル）として固定され、その他の７名のボランティアの身体データが参照モデルとして（すなわち、ここではＮ＝７）、ソースモデルと各参照モデルとの間でレジストレーションが実行され、これを８名の身体データをそれぞれソースモデルに固定しつつ繰り返された。
　表３は、各ボランティアの身体データの間で実行された非剛体ＩＣＰレジストレーションの結果を示す表である。表３における聴診領域Ｉ～ＩＶは、それぞれ、大動脈弁、肺動脈弁、三尖弁、僧帽弁の聴診領域を指す。表３では、各ソースモデルについて算出された面取り距離およびレジストレーション誤差の平均値の最小値と最大値とが太字（網掛け部分）で示されている。本結果によれば、ソースモデルの条件の約７／８において、最小面取り距離は最小レジストレーション誤差に対応し、最大面取り距離は最大レジストレーション誤差に対応することが分かる。
　図４は、面取り距離に応じたレジストレーション誤差の全結果を示す図である。図４に示される結果では、非剛体ＩＣＰレジストレーションの精度と、比較されたモデルの類似性との間の関連性の強さを調べるために線形回帰分析が行われた。線形決定係数Ｒ２は約０．６６を示し、これは面取り距離とレジストレーション誤差との間に何らかの関係性があることを示している。
（結論）
　上記説明したように、本例に係る非剛体ＩＣＰレジストレーションは、平均誤差５～１９ｍｍで聴診領域を推定することが可能であり、身体形状の個人差を考慮した、より正確な聴診領域を提供することが可能である。２０ｍｍ未満の誤差は定性的に聴診には影響しない範囲であると思われる。また、レジストレーション精度は、患者の身体５（患者身体モデル５０）の体表面と基準モデル５２の体表面との類似性に依存しうることが、上述したシミュレーションと実験を通して確認された。統計的結果は、レジストレーション精度と、使用されたモデルの類似性と等価な面取り距離との間に相関関係があることを示した。
　また、非剛体ＩＣＰレジストレーションの過程では、乳頭と臍がランドマークとして使用された。これらに代えて、または加えて、肋骨の境界など、体表上において識別されやすい他の箇所をランドマークとして用いることも可能である。追加のランドマークを用いることによって、レジストレーション精度はさらに向上されうる。
　また、上記の例では、参照モデル（データ）は７つであったが、これに限定されない。例えば、体型≒ＢＭＩと捉えた場合、下記の表の通り日本肥満学会の定める肥満の判定基準（男女共通）に従い体型を６つに分類することができる。
Figure JPOXMLDOC01-appb-T000011
 　上記の分類に基づき、参照モデルの数Ｎは６以上の整数であってもよいし、さらに好ましくは１２（男女各６）以上の整数であってもよい。なお、上記の日本肥満学会の判断基準は一例であり、同様の医学的根拠などに基づいて参照モデルの数は決定されてもよい。
（処理フロー）
　図５は、本実施形態に係る医用ナビゲーション方法の処理フローの一例を示す図である。以下のステップＳ１０２～Ｓ１０６は、図２において説明したステップ（Ａ）（患者の身体に最も類似する参照モデルの選択）の処理に対応し、ステップＳ１０８～Ｓ１１０は、図２において説明したステップ（Ｂ）（体表レジストレーションのための非剛体ＩＣＰ）の処理に対応する。
　ステップＳ１０２において、ＲＧＢ－Ｄカメラ３０は患者の身体５の３次元点群情報を取得する。患者の身体５の３次元点群情報を取得する方法としては、例えば以下の通りである。すなわち、ＲＧＢ－Ｄカメラ３０は予め定められた初期位置に移動する。ＲＧＢ－Ｄカメラ３０は撮像領域内（本実施形態においては被検体５０の胸部全体）を移動しながら、各撮像箇所における、３次元点群情報（取得３次元点群情報）を取得する。また、この時、ＲＧＢ－Ｄカメラ３０は、各撮像箇所における２次元のカラー画像情報と各撮像位置におけるＲＧＢ－Ｄカメラ３０の位置・角度情報（カメラ位置座標情報）を取得する。これらの処理を撮像領域内を全て移動するまで繰り返す。なお、上記の処理は、クライアントコンピュータ装置６０からの制御信号によってロボットアーム１０やＲＧＢ－Ｄカメラ３０が制御されて実行される。複数の撮影位置において取得された複数の取得３次元点群情報および複数のカメラ位置座標情報を用いて被検体５０の体表形状の再構成を行う。具体的には例えば、取得された複数の取得３次元点群情報を、各撮像位置におけるＲＧＢ－Ｄカメラ３０の位置・角度情報（位置座標情報）に基づいて、ローカル座標からグローバル座標に変換する。それぞれの取得３次元点群情報において重なる点同士の対応関係を探索する。複数の取得３次元点群情報を、探索された重なる点同士の対応関係に基づいて１つの３次元点群情報に統合する。このようにして取得された３次元点群情報は、患者身体モデル５０のデータとしてクライアントコンピュータ装置６０のハードディスク装置等の記憶領域に保存される。
　ステップＳ１０４において、クライアントコンピュータ装置６０は、あらかじめクライアントコンピュータ装置６０のハードディスク装置等に保存されているＮ体の参照モデル５２－ｋと、ステップＳ１０２において取得された患者５の身体モデルとの面取り距離を計算する。ステップＳ１０６において、クライアントコンピュータ装置６０は、面取り距離が最小である参照モデルを基準モデル５２として決定する。
　ステップＳ１０８において、クライアントコンピュータ装置６０は、患者身体モデル５０をターゲットとして基準モデル５２に非剛性ＩＣＰを用いたレジストレーションを適用する。ステップＳ１１０において、クライアントコンピュータ装置６０は、あらかじめ医用ナビゲーションシステムに保存された診断部位（大動脈弁、肺動脈弁、三尖弁、僧帽弁)の位置（聴診器を配置すべき位置）である基準位置５５を、レジストレーションによって得られた患者身体モデル５０と基準モデル５２との間の３次元点群の座標変換式を用いて患者身体モデル５０上の位置に変換し、これを聴診位置の推定位置５５として決定する。当該決定された推定位置は、例えばクライアントコンピュータ装置６０とネットワークを介して接続された、医師が操作する遠隔のコンピュータ装置に表示出力される。そして、医師は、表示された推定位置を目視しながら医療用ロボット装置１（ロボットアーム１０）を操作することができる。または、ステップＳ１１０において決定された推定位置は、クライアントコンピュータ装置６０のディスプレイに表示出力され、患者自身または患者の近親者などが聴診器を表示された推定位置に配置することができる。さらに、医療用ロボット１が、ステップＳ１１０において決定された推定位置に聴診器４０を自動的に配置して患者５の聴診データを取得し、医師などの臨床専門家に提供すること等が可能である。
　ここまで、本発明の一実施形態について説明したが、本発明は上述の実施形態に限定されず、その技術的思想の範囲内において種々異なる形態にて実施されてよいことは言うまでもない。
　例えば、上記説明した実施形態においては、医用器具として聴診器を用いる場合について説明したが、これに限定されない。患者の身体５に他の医療機器を配置することを必要とするロボット診断および治療のナビゲーション、または術前計画などの様々な場面において利用することができる。例えば、自律ロボットによる超音波プローブを用いた超音波検査において、本実施形態に係る医用ナビゲーション方法および医用ナビゲーションシステムを用いて、身体形状の個人差を考慮しながら超音波プローブが走査すべき走査経路または走査領域を患者５の体表上において推定することができる。
　また、上記説明した実施形態においては、被検体５の体表上のランドマークとして、乳頭と臍を利用したが、人体において外観上、目立つ部位をランドマークとして利用することが可能である。例えば、肩、鎖骨、または骨盤などをランドマークとして利用することが可能であると想定される。
　本発明の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本発明が目的とするものと均等な効果をもたらすすべての実施形態をも含む。さらに、本発明の範囲は、各請求項により画される発明の特徴の組み合わせに限定されるものではなく、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
　なお、以下のような構成も本発明の技術的範囲に属する。
（１）
　被検体に医用器具を配置するためにコンピュータシステムによって実行される医用ナビゲーション方法であって、
　前記コンピュータシステムは、前記被検体の３次元点群情報を前記被検体の身体モデルデータとして保持し、人体の形状を示すＮ個の参照モデルデータと各参照モデルデータにおける前記医用器具の配置位置を示す配置データとを保持し、
　前記医用ナビゲーション方法は、
　前記Ｎ個の参照モデルデータのうち、前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定するステップと、
　前記被検体の身体モデルデータを目標として、前記基準モデルデータに非剛性ＩＣＰ（interactive closest point）アルゴリズムを用いたレジストレーションを適用するステップと、
　前記基準モデルデータにおける前記配置データを、前記レジストレーションによって得られた前記被検体の身体モデルデータと前記基準モデルデータとの間の前記３次元点群情報の座標変換式を用いて、前記被検体の身体モデルデータにおける前記医用器具の配置データに変換するステップと、
　を含む、医用ナビゲーション方法。
（２）
　前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定するステップは、前記Ｎ個の参照モデルデータの各々と、前記被検体の身体モデルデータと、の間の面取り距離（Chamfer Distance）を算出し、前記面取り距離が最小である前記参照モデルデータを前記基準モデルデータとして決定する、上記（１）の医用ナビゲーション方法。
（３）
　前記被検体の前記３次元点群情報は、前記被検体を複数の撮像位置から撮像することで取得される、上記（１）または（２）の医用ナビゲーション方法。
（４）
　前記被検体の身体モデルデータにおける前記医用器具の前記配置データを遠隔のコンピュータ装置に出力するステップをさらに含む、上記（１）から（３）のいずれかの医用ナビゲーション方法。
（５）
　被検体に医用器具を配置するための医用ナビゲーションシステムであって、
　前記被検体の３次元点群情報を前記被検体の身体モデルデータとして保持し、人体の形状を示すＮ個の参照モデルデータと各参照モデルデータにおける前記医用器具の配置位置を示す配置データとを保持し、
　前記Ｎ個の参照モデルデータのうち、前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定し、
　前記被検体の身体モデルデータを目標として、前記基準モデルデータに非剛性ＩＣＰ（interactive closest point）アルゴリズムを用いたレジストレーションを適用し、
　前記基準モデルデータにおける前記配置データを、前記レジストレーションによって得られた前記被検体の身体モデルデータと前記基準モデルデータとの間の前記３次元点群情報の座標変換式を用いて、前記被検体の身体モデルデータにおける前記医用器具の配置データに変換する
　医用ナビゲーションシステム。
（６）
　前記医用ナビゲーションシステムはＲＧＢ－Ｄカメラを備え、
　前記ＲＧＢ－Ｄカメラが前記被検体を複数の撮像位置から撮像することで前記被検体の前記３次元点群情報を取得する、上記（５）の医用ナビゲーションシステム。
（７）
　コンピュータプログラムであって、コンピュータシステムに上記（１）から（４）のいずれかの医用ナビゲーション方法を実行させる、コンピュータプログラム。
（８）
　コンピュータシステムに上記（１）から（４）のいずれかの医用ナビゲーション方法を実行させるためのコンピュータプログラムを記憶したコンピュータ可読記録媒体。
　　１…医療用ロボット装置（医用ナビゲーションシステム）
　　５…患者（被検体）
　　１０…ロボットアーム
　　２０…定荷重受動走査機構（エンドエフェクタ）
　　２５…力／トルクセンサ
　　３０…ＬｉＤＡＲカメラ
　　４０…医用器具（聴診器）
　　５０…患者身体モデル
　　５５…基準位置
　　５６…推定位置
　　６０…クライアントコンピュータ装置

Claims (8)

  1. 　被検体に医用器具を配置するためにコンピュータシステムによって実行される医用ナビゲーション方法であって、
    　前記コンピュータシステムは、前記被検体の３次元点群情報を前記被検体の身体モデルデータとして保持し、人体の形状を示すＮ個（Ｎは２以上の整数）の参照モデルデータと各参照モデルデータにおける前記医用器具の配置位置を示す配置データとを保持し、
    　前記医用ナビゲーション方法は、
    　前記Ｎ個の参照モデルデータのうち、前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定するステップと、
    　前記被検体の身体モデルデータを目標として、前記基準モデルデータに非剛性ＩＣＰ（interactive closest point）アルゴリズムを用いたレジストレーションを適用するステップと、
    　前記基準モデルデータにおける前記配置データを、前記レジストレーションによって得られた前記被検体の身体モデルデータと前記基準モデルデータとの間の前記３次元点群情報の座標変換式を用いて、前記被検体の身体モデルデータにおける前記医用器具の配置データに変換するステップと、
    　を含む、医用ナビゲーション方法。
  2. 　前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定するステップは、前記Ｎ個の参照モデルデータの各々と、前記被検体の身体モデルデータと、の間の面取り距離（Chamfer Distance）を算出し、前記面取り距離が最小である前記参照モデルデータを前記基準モデルデータとして決定する、請求項１に記載の医用ナビゲーション方法。
  3. 　前記被検体の前記３次元点群情報は、前記被検体を複数の撮像位置から撮像することで取得される、請求項１に記載の医用ナビゲーション方法。
  4. 　前記被検体の身体モデルデータにおける前記医用器具の前記配置データを遠隔のコンピュータ装置に出力するステップをさらに含む、請求項１に記載の医用ナビゲーション方法。
  5. 　前記医用器具は、聴診器または超音波プローブである、請求項１に記載の医用ナビゲーション方法。
  6. 　被検体に医用器具を配置するための医用ナビゲーションシステムであって、
    　前記被検体の３次元点群情報を前記被検体の身体モデルデータとして保持し、人体の形状を示すＮ個の参照モデルデータと各参照モデルデータにおける前記医用器具の配置位置を示す配置データとを保持し、
    　前記Ｎ個の参照モデルデータのうち、前記被検体の身体モデルデータと最も類似度の高い参照モデルデータを基準モデルデータとして決定し、
    　前記被検体の身体モデルデータを目標として、前記基準モデルデータに非剛性ＩＣＰ（interactive closest point）アルゴリズムを用いたレジストレーションを適用し、
    　前記基準モデルデータにおける前記配置データを、前記レジストレーションによって得られた前記被検体の身体モデルデータと前記基準モデルデータとの間の前記３次元点群情報の座標変換式を用いて、前記被検体の身体モデルデータにおける前記医用器具の配置データに変換する
    　医用ナビゲーションシステム。
  7. 　前記医用ナビゲーションシステムはＲＧＢ－Ｄカメラを備え、
    　前記ＲＧＢ－Ｄカメラが前記被検体を複数の撮像位置から撮像することで前記被検体の前記３次元点群情報を取得する、請求項６に記載の医用ナビゲーションシステム。
  8. 　コンピュータシステムに請求項１から５のいずれか一項に記載の医用ナビゲーション方法を実行させるためのコンピュータプログラムを記憶したコンピュータ可読記録媒体。
PCT/JP2023/036831 2022-10-14 2023-10-11 医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラム WO2024080291A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-165133 2022-10-14
JP2022165133 2022-10-14

Publications (1)

Publication Number Publication Date
WO2024080291A1 true WO2024080291A1 (ja) 2024-04-18

Family

ID=90669554

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036831 WO2024080291A1 (ja) 2022-10-14 2023-10-11 医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラム

Country Status (1)

Country Link
WO (1) WO2024080291A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113397578A (zh) * 2020-07-27 2021-09-17 上海联影医疗科技股份有限公司 一种成像系统和方法
JP2021166593A (ja) * 2020-04-09 2021-10-21 株式会社メディカロイド ロボット手術支援システム、ロボット手術支援方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021166593A (ja) * 2020-04-09 2021-10-21 株式会社メディカロイド ロボット手術支援システム、ロボット手術支援方法、及びプログラム
CN113397578A (zh) * 2020-07-27 2021-09-17 上海联影医疗科技股份有限公司 一种成像系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RYOSUKE TSUMURA; YOSHIHIKO KOSEKI; NAOTAKA NITTA; KIYOSHI YOSHINAKA: "Toward Fully Automated Robotic Platform for Remote Auscultation", ARXIV.ORG, 14 January 2022 (2022-01-14), XP091138628 *
YIFAN ZHU: "Automated Heart and Lung Auscultation in Robotic Physical Examinations", IEEE ROBOTICS AND AUTOMATION LETTERS, IEEE, vol. 7, no. 2, 1 April 2022 (2022-04-01), pages 4204 - 4211, XP093159410, ISSN: 2377-3774, DOI: 10.1109/LRA.2022.3149576 *

Similar Documents

Publication Publication Date Title
Huang et al. Robotic arm based automatic ultrasound scanning for three-dimensional imaging
Hennersperger et al. Towards MRI-based autonomous robotic US acquisitions: a first feasibility study
US10507002B2 (en) X-ray system and method for standing subject
JP6875559B2 (ja) 映像整合装置及び映像整合方法
CN109077752B (zh) 移动机器臂
JP5866136B2 (ja) イメージデータ又はモデルにカテーテル案内システムの局所的非剛体位置合わせのためのシステム及び方法
JP4171833B2 (ja) 内視鏡誘導装置および方法
Lathrop et al. Minimally invasive holographic surface scanning for soft-tissue image registration
EP1837828A2 (en) Image registration using locally-weighted fitting
Kim et al. Ultrasound probe and needle-guide calibration for robotic ultrasound scanning and needle targeting
Yang et al. Automatic 3-D imaging and measurement of human spines with a robotic ultrasound system
JPH09511430A (ja) 三次元データ組の登録システムおよび登録方法
JP5995408B2 (ja) 情報処理装置、撮影システム、情報処理方法および情報処理をコンピュータに実行させるためのプログラム
Li et al. Image-guided navigation of a robotic ultrasound probe for autonomous spinal sonography using a shadow-aware dual-agent framework
Wang et al. Robotic ultrasound: View planning, tracking, and automatic acquisition of transesophageal echocardiography
Suligoj et al. RobUSt–an autonomous robotic ultrasound system for medical imaging
JP2017535308A (ja) オプティカルトラッキングシステム及びオプティカルトラッキングシステムの座標系整合方法
Ferguson et al. Toward image-guided partial nephrectomy with the da Vinci robot: exploring surface acquisition methods for intraoperative re-registration
Tsumura et al. Towards fully automated robotic platform for remote auscultation
Mathur et al. A semi-autonomous robotic system for remote trauma assessment
Ma et al. A-see: Active-sensing end-effector enabled probe self-normal-positioning for robotic ultrasound imaging applications
WO2023112728A1 (ja) 医療支援方法、医療支援ロボット装置、およびコンピュータプログラム
US9633433B1 (en) Scanning system and display for aligning 3D images with each other and/or for detecting and quantifying similarities or differences between scanned images
CN112132805B (zh) 一种基于人体特征的超声机器人状态归一化方法及系统
WO2024080291A1 (ja) 医用ナビゲーション方法、医用ナビゲーションシステム、およびコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23877294

Country of ref document: EP

Kind code of ref document: A1