JP7182127B2 - ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM - Google Patents
ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP7182127B2 JP7182127B2 JP2018192937A JP2018192937A JP7182127B2 JP 7182127 B2 JP7182127 B2 JP 7182127B2 JP 2018192937 A JP2018192937 A JP 2018192937A JP 2018192937 A JP2018192937 A JP 2018192937A JP 7182127 B2 JP7182127 B2 JP 7182127B2
- Authority
- JP
- Japan
- Prior art keywords
- port
- subject
- positioning jig
- information
- robotic surgery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001356 surgical procedure Methods 0.000 title claims description 79
- 238000000034 method Methods 0.000 title claims description 73
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000002432 robotic surgery Methods 0.000 claims description 156
- 238000012545 processing Methods 0.000 claims description 149
- 208000005646 Pneumoperitoneum Diseases 0.000 claims description 133
- 238000004088 simulation Methods 0.000 claims description 119
- 239000012636 effector Substances 0.000 claims description 82
- 238000003384 imaging method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 45
- 238000004891 communication Methods 0.000 description 38
- 238000002591 computed tomography Methods 0.000 description 38
- 230000015654 memory Effects 0.000 description 27
- 210000001519 tissue Anatomy 0.000 description 24
- 239000003550 marker Substances 0.000 description 21
- 210000001015 abdomen Anatomy 0.000 description 20
- 210000000056 organ Anatomy 0.000 description 20
- 239000000463 material Substances 0.000 description 19
- 238000011282 treatment Methods 0.000 description 15
- 238000005553 drilling Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 230000008859 change Effects 0.000 description 11
- 238000009434 installation Methods 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 10
- 238000009877 rendering Methods 0.000 description 9
- 210000004556 brain Anatomy 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000013170 computed tomography imaging Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000005259 measurement Methods 0.000 description 7
- 229920005989 resin Polymers 0.000 description 7
- 239000011347 resin Substances 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 210000004204 blood vessel Anatomy 0.000 description 5
- 239000013013 elastic material Substances 0.000 description 5
- 210000004072 lung Anatomy 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 230000003187 abdominal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 210000002216 heart Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004080 punching Methods 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 210000000621 bronchi Anatomy 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000004744 fabric Substances 0.000 description 3
- 238000002347 injection Methods 0.000 description 3
- 239000007924 injection Substances 0.000 description 3
- 238000002357 laparoscopic surgery Methods 0.000 description 3
- 238000002324 minimally invasive surgery Methods 0.000 description 3
- 210000003739 neck Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 210000004003 subcutaneous fat Anatomy 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 230000037237 body shape Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 230000035606 childbirth Effects 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004217 heart function Effects 0.000 description 2
- 210000001624 hip Anatomy 0.000 description 2
- 238000007912 intraperitoneal administration Methods 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 210000005075 mammary gland Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- -1 polypropylene Polymers 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 230000009325 pulmonary function Effects 0.000 description 2
- 229910001220 stainless steel Inorganic materials 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 239000012780 transparent material Substances 0.000 description 2
- 125000000391 vinyl group Chemical group [H]C([*])=C([H])[H] 0.000 description 2
- 229920002554 vinyl polymer Polymers 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 239000004698 Polyethylene Substances 0.000 description 1
- 239000004743 Polypropylene Substances 0.000 description 1
- BZHJMEDXRYGGRV-UHFFFAOYSA-N Vinyl chloride Chemical compound ClC=C BZHJMEDXRYGGRV-UHFFFAOYSA-N 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 238000002674 endoscopic surgery Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000002350 laparotomy Methods 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 210000003200 peritoneal cavity Anatomy 0.000 description 1
- 229920000573 polyethylene Polymers 0.000 description 1
- 229920001155 polypropylene Polymers 0.000 description 1
- 239000004800 polyvinyl chloride Substances 0.000 description 1
- 229920000915 polyvinyl chloride Polymers 0.000 description 1
- 230000001144 postural effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 230000002000 scavenging effect Effects 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 210000002417 xiphoid bone Anatomy 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Surgical Instruments (AREA)
Description
本開示は、手術支援ロボットによるロボット手術を支援するロボット手術支援装置、ロボット手術支援方法、及びプログラムに関する。 TECHNICAL FIELD The present disclosure relates to a robotic surgery assistance device, a robotic surgery assistance method, and a program for assisting robotic surgery by a surgery assistance robot.
従来、手術支援ロボットにより低侵襲なロボット手術が行われる際には、手術される患者の体内に鉗子類を挿入するためのポートが穿孔される。ポートの位置は、術式に応じて概ね定められているが、最適な箇所は未だに確立されていない。特許文献1では、ポート位置の配置の計画(Port Placement Planning)について考察されている。具体的には、特許文献1の外科用ポート配置システムは、複数の過去の外科手術手順に関連する複数のパラメータセットに基づいて、手術ポート配置モデルを生成し、患者の身体的特徴を含む所与の外科的処置のための所与のパラメータセットを受信し、所定のパラメータセット及び手術ポート配置モデルに基づいて、所与の外科的処置のための所与の患者のための少なくとも1つのポート位置を計画する。 2. Description of the Related Art Conventionally, when minimally invasive robotic surgery is performed by a surgical assistance robot, a port is drilled into the body of a patient undergoing surgery for inserting forceps. The position of the port is generally determined according to the surgical procedure, but the optimum position has not yet been established. Japanese Patent Laid-Open No. 2002-200000 discusses Port Placement Planning. Specifically, the surgical port placement system of U.S. Pat. receiving a given parameter set for a given surgical procedure and, based on the given parameter set and a surgical port placement model, at least one port for a given patient for the given surgical procedure; Plan your location.
また、ポート位置が計画されると、計画されたポート位置にポートを穿孔するために、患者の体表においてポートの位置決めを行う。非ロボット腹腔鏡手術において、ポートを位置決めするためのデバイスとして、菱形シート(Simplifing Patient Positioning and Port Placement)(非特許文献1参照)が知られている。また、脳手術において、脳定位システムとしてLeksell Stereotactic System(登録商標)(非特許文献2参照)が知られている。非特許文献2のデバイスは、骨を基準に固定する固定具と、定規(スケール)と、を有する。 Also, once the port location is planned, the port is positioned on the patient's body surface for drilling the port at the planned port location. A rhomboid sheet (Simplifying Patient Positioning and Port Placement) (see Non-Patent Document 1) is known as a device for positioning a port in non-robotic laparoscopic surgery. In brain surgery, the Leksell Stereotactic System (registered trademark) (see Non-Patent Document 2) is known as a brain stereotaxic system. The device of Non-Patent Document 2 has a fixture for fixing bones as a reference and a ruler (scale).
非特許文献1に記載されたデバイスは、被検体の腹部の体表における二次元上の位置を指定することに留まり、被検体における3次元位置を指定することが困難である。また、このデバイスは、被検体毎に細かい調整もできない。また、このデバイスは、ロボット手術に必要な精度は想定されていない。また、このデバイスは、非気腹状態を前提としているのでマーキング後に気腹したときに誤差が生じる。また、非特許文献2に記載されたデバイスは、被検体の頭蓋骨に固定するので、脳手術以外には応用が難しい。このデバイスは、被検体に対するデバイスのサイズが比較的大きく、デバイスを手軽に扱うことが困難である。このデバイスは、調整可能な自由度が多く、被検体へのデバイスの設置に時間を要する。また、このデバイスは被検体の呼吸や体動には追従しない。
The device described in
本開示は、上記事情を鑑みてなされたものであって、操作性の高いデバイスを用いて、被検体におけるポートの3次元位置の指定を可能とするロボット手術支援装置、ロボット手術支援方法、及びプログラムを提供する。 The present disclosure has been made in view of the circumstances described above, and provides a robotic surgery support apparatus, a robotic surgery support method, and a device that enable designation of a three-dimensional position of a port in a subject using a device with high operability. Offer a program.
本開示の一態様は、手術支援ロボットによる低侵襲なロボット手術を支援するロボット手術支援装置であって、処理部を備え、前記処理部は、被検体を撮像して得られた3次元の画素の画素値を含む前記被検体の3Dデータを取得し、前記被検体の体表に穿孔される内視鏡カメラ又はエンドエフェクタを挿入するための複数のポートの計画位置に前記複数のポートを位置決めする位置決め治具の形状を含む前記位置決め治具に関する治具情報を取得し、前記被検体と前記位置決め治具とを位置合わせするための前記被検体における基準位置の情報を取得し、仮想空間において、前記基準位置に合わせて前記位置決め治具を設置し、前記3Dデータにおける前記被検体の体表に穿孔される前記複数のポートの位置を決定するためのシミュレーションを行うことで、前記被検体の体表における前記複数のポートの計画位置を導出し、前記治具情報と、前記複数の体表における前記複数のポートの計画位置と、に基づいて、前記位置決め治具における前記複数のポートの計画位置を示す情報を出力する、ロボット手術支援装置である。 One aspect of the present disclosure is a robotic surgery assisting apparatus that assists minimally invasive robotic surgery by a surgery assisting robot, comprising a processing unit, wherein the processing unit includes three-dimensional pixels obtained by imaging a subject. obtaining 3D data of the subject including pixel values of and positioning the plurality of ports at planned locations for the insertion of an endoscopic camera or end effector perforated into the body surface of the subject. obtains jig information about the positioning jig including the shape of the positioning jig to be positioned, obtains reference position information on the subject for aligning the subject and the positioning jig, and obtains in virtual space , by installing the positioning jig in accordance with the reference position and performing a simulation for determining the positions of the plurality of ports perforated in the body surface of the subject in the 3D data, deriving planned positions of the plurality of ports on the body surface , and planning the plurality of ports on the positioning jig based on the jig information and the planned positions of the plurality of ports on the body surface; It is a robotic surgery support device that outputs information indicating a position .
本開示の一態様は、手術支援ロボットによる低侵襲なロボット手術を支援するロボット手術支援装置における情報出力方法であって、被検体を撮像して得られた3次元の画素の画素値を含む前記被検体の3Dデータを取得し、前記被検体の体表に穿孔される内視鏡カメラ又はエンドエフェクタを挿入するための複数のポートの計画位置に前記複数のポートを位置決めする位置決め治具の形状を含む前記位置決め治具に関する治具情報を取得し、前記被検体と前記位置決め治具とを位置合わせするための前記被検体における基準位置の情報を取得し、仮想空間において、前記基準位置に合わせて前記位置決め治具を設置し、前記3Dデータにおける前記被検体の体表に穿孔される前記複数のポートの位置を決定するためのシミュレーションを行うことで、前記被検体の体表における前記複数のポートの計画位置を導出し、前記治具情報と、前記被検体の体表における前記複数のポートの計画位置と、に基づいて、前記位置決め治具における前記複数のポートの計画位置を示す情報を出力する、情報出力方法である。 One aspect of the present disclosure is an information output method in a robotic surgery assisting apparatus that assists minimally invasive robotic surgery by a surgery assisting robot, the information output method including pixel values of three-dimensional pixels obtained by imaging a subject. The shape of a positioning jig that acquires 3D data of a subject and positions the plurality of ports at the planned positions of the plurality of ports for inserting an endoscope camera or an end effector perforated on the body surface of the subject. to obtain jig information about the positioning jig, obtain information of a reference position on the subject for aligning the subject and the positioning jig, and align with the reference position in a virtual space by installing the positioning jig in the 3D data and performing a simulation for determining the positions of the plurality of ports perforated in the body surface of the subject in the 3D data, the plurality of ports on the body surface of the subject deriving the planned positions of the ports, and generating information indicating the planned positions of the plurality of ports on the positioning jig based on the jig information and the planned positions of the plurality of ports on the body surface of the subject; It is an information output method to output.
本開示の一態様は、上記情報出力方法をコンピュータに実行させるためのプログラムである。 One aspect of the present disclosure is a program for causing a computer to execute the information output method.
本開示によれば、操作性の高いデバイスを用いて、被検体におけるポートの3次元位置の指定を可能とする。 According to the present disclosure, it is possible to designate the three-dimensional position of the port in the subject using a device with high operability.
以下、本開示の実施形態について、図面を用いて説明する。 Embodiments of the present disclosure will be described below with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態におけるロボット手術支援装置100の構成例を示すブロック図である。ロボット手術支援装置100は、手術支援ロボット300によるロボット手術を支援し、例えば術前シミュレーション、術中シミュレーション、及び術中ナビゲーションを実施してよい。
(First embodiment)
FIG. 1 is a block diagram showing a configuration example of a robotic
手術支援ロボット300は、ロボット操作端末、ロボット本体、及び画像表示端末を備える。
The
ロボット操作端末は、術者による操作されるハンドコントローラやフットスイッチを備える。ロボット操作端末は、術者によるハンドコントローラやフットスイッチの操作に応じて、ロボット本体に設けられた複数のロボットアームARを動作させる。また、ロボット操作端末は、ビューワを備える。ビューワは、ステレオビューワでよく、内視鏡により取込まれた画像を融合させて3次元画像を表示してよい。なお、ロボット操作端末が複数存在し、複数のロボット操作端末を複数の術者が操作するによりロボット手術が行われてもよい。 The robot operating terminal includes a hand controller and foot switch operated by the operator. The robot operation terminal operates a plurality of robot arms AR provided on the robot main body according to the operator's operation of the hand controller or foot switch. Also, the robot operation terminal includes a viewer. The viewer may be a stereo viewer and may display a three-dimensional image by fusing the images captured by the endoscope. It should be noted that a plurality of robot operation terminals may exist, and robot surgery may be performed by a plurality of operators operating the plurality of robot operation terminals.
ロボット本体は、ロボット手術を行うための複数のロボットアームAR及びロボットアームARに装着される手術器具としてのエンドエフェクタEF(鉗子類、インストゥルメント)を備える。 The robot body includes a plurality of robot arms AR for performing robotic surgery and end effectors EF (forceps, instruments) as surgical instruments attached to the robot arms AR.
手術支援ロボット300のロボット本体は4つのロボットアームARを備えており、内視鏡カメラが装着されるカメラアームと、ロボット操作端末の右手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第1エンドエフェクタアームと、ロボット操作端末の左手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第2エンドエフェクタアームと、交換用のエンドエフェクタEFが装着される第3エンドエフェクタアームと、を含む。各ロボットアームARは、複数の関節を有しており、各関節に対応してモータとエンコーダを備えている。各ロボットアームARは、少なくとも6自由度、好ましくは7又は8自由度を有しており、3次元空間内において動作し、3次元空間内の各方向に可動自在でよい。エンドエフェクタEFには、ロボット手術において被検体PS内の処置対象に実際に接する器具であり、様々な処置(例えば、把持、切除、剥離、縫合)を可能とする。
The robot main body of the
エンドエフェクタEFは、例えば、把持鉗子、剥離鉗子、電気メス、等を含んでよい。エンドエフェクタEFは、役割毎に異なる別個のエンドエフェクタEFが複数用意されてよい。例えば、ロボット手術では、2つのエンドエフェクタEFによって組織を抑えたり引っ張ったりして、1つのエンドエフェクタEFで組織を切る処置が行われてよい。ロボットアームAR及びエンドエフェクタEFは、ロボット操作端末からの指示を基に、動作してよい。 End effectors EF may include, for example, grasping forceps, dissecting forceps, electrocautery, and the like. As for the end effector EF, a plurality of separate end effectors EF that are different for each role may be prepared. For example, in robotic surgery, a procedure may be performed in which two end effector EFs hold or pull tissue and one end effector EF cuts the tissue. The robot arm AR and end effector EF may operate based on instructions from the robot operation terminal.
画像表示端末は、モニタ、内視鏡のカメラによって撮像された画像を処理し、ビューワやモニタに表示させるためのコントローラ、等を有する。モニタは、例えばロボット手術の助手や看護師により確認される。 The image display terminal has a monitor, a controller for processing an image captured by the camera of the endoscope, and displaying the image on the viewer or monitor, and the like. The monitor is viewed, for example, by a robotic surgical assistant or a nurse.
手術支援ロボット300は、術者によるロボット操作端末のハンドコントローラやフットスイッチの操作を受け、ロボット本体のロボットアームARやエンドエフェクタEFの動作を制御し、被検体PSに対して各種処置を行うロボット手術を行う。ロボット手術では、被検体PS内で腹腔鏡手術が行われてよい。
The
ロボット手術では、被検体PSの体表にポートPTが穿孔され、ポートPTを介して気腹されてよい。気腹(preumoperitoneum)では、二酸化炭素が送り込まれて被検体PSの腹腔を膨らませられてよい。ポートPTには、トロッカー(trocar)TCが設置されてよい。トロッカーTCは弁を有し、被検体PS内を気密に維持する。また、気密状態を維持するために、被検体PS内に空気(例えば二酸化炭素)が継続的に導入される。 In robotic surgery, the body surface of the subject PS may be perforated with a port PT, and pneumoperitoneum may be performed through the port PT. In a pneumoperitoneum, carbon dioxide may be pumped to distend the peritoneal cavity of the subject PS. A trocar TC may be installed at the port PT. The trocar TC has a valve and keeps the inside of the subject PS airtight. Also, air (for example, carbon dioxide) is continuously introduced into the subject PS in order to maintain an airtight state.
トロッカーTCにはエンドエフェクタEF(エンドエフェクタEFのシャフト)が挿通される。エンドエフェクタEFの挿通時にトロッカーTCの弁が開き、エンドエフェクタEFの脱離時にはトロッカーTCの弁が閉じる。トロッカーTCを経由してポートPTからエンドエフェクタEFが挿入され、術式に応じて様々な処置が行われる。ロボット手術は、腹部を手術対象とした腹腔鏡手術以外に、手術対象に腹部以外を含めた鏡視下手術に適用されてもよい。 An end effector EF (a shaft of the end effector EF) is inserted through the trocar TC. The valve of the trocar TC is opened when the end effector EF is inserted, and the valve of the trocar TC is closed when the end effector EF is removed. An end effector EF is inserted from the port PT via the trocar TC, and various treatments are performed according to the surgical procedure. Robotic surgery may be applied not only to laparoscopic surgery targeting the abdomen, but also to arthroscopic surgery involving areas other than the abdomen.
図1に示すように、ロボット手術支援装置100は、通信部110、ユーザインタフェース(UI:User Interface)120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。なお、UI120、ディスプレイ130、及びメモリ150は、ロボット手術支援装置100に含まれても、ロボット手術支援装置100とは別体として設けられてもよい。
As shown in FIG. 1 , the robotic
ロボット手術支援装置100には、通信部110を介して、CT(Computed Tomography)装置200が接続される。ロボット手術支援装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。ロボット手術支援装置100は、PC(Personal Computer)とPCに搭載されたソフトウェアにより構成されてもよい。ロボット手術支援装置100は、手術支援ロボット300の一部として構成されてもよい。
A CT (Computed Tomography)
ロボット手術支援装置100には、通信部110を介して、手術支援ロボット300が接続される。ロボット手術支援装置100は、例えば、手術支援ロボット300へ各種データや情報や画像を提供し、ロボット手術を支援してよい。ロボット手術支援装置100は、例えば、手術支援ロボット300から手術支援ロボット300の機構や動作に関する情報、ロボット手術前、手術中、又は手術後に得られたデータを取得し、取得された情報やデータを基に各種分析や解析を行ってよい。分析結果や解析結果は、可視化されてよい。
A
ロボット手術支援装置100には、通信部110を介して、計測器400が接続されてよい。計測器400は、手術支援ロボット300により手術される被検体PS(例えば患者)に関する情報(例えば被検体PSの体表位置)を計測してよい。計測器400は、被検体PSの体表に設けられるポートPTの位置を計測してよい。計測器400は、例えば深度センサ410でよい。深度センサ410は、手術支援ロボット300(例えばロボット本体)に含まれていてもよいし、ロボット手術が行われる手術室の天井等に設置されてもよい。また、計測器400は、計測器400の操作部が手動計測の結果の入力を受け付けてよい。手動計測では、例えば、患者に関する情報や体表におけるポート位置が定規や巻尺により計測されてよい。
A measuring
また、ロボット手術支援装置100には、CT装置200が接続されるとともに、又はCT装置200が接続される代わりに、各種画像を撮像可能な装置が接続されてよい。この装置は、血管造影装置(Angiography装置)や超音波装置等でよい。この装置は、ロボット手術前、及びロボット手術中に被検体PSの内部の様子を確認するときに使用されてよい。
Further, the robotic
CT装置200は、生体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。被検体PSは、例えば人体でよく、生体でよい。なお、被検体PSは、人体でなくてもよく、生体でなくてもよい。例えば動物でよく、手術訓練用ファントムでもよい。
The
CT画像は、時系列に複数撮像されてもよい。CT装置200は、生体内部の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、各種臓器(例えば脳、心臓、腎臓、大腸、小腸、肺、胸部、乳腺、前立腺、肺)を含んでもよい。CT画像が撮像されることにより、CT画像における各画素(ボクセル)の画素値(CT値、ボクセル値)が得られる。CT装置200は、CT画像としてのボリュームデータをロボット手術支援装置100へ、有線回線又は無線回線を介して送信する。
A plurality of CT images may be captured in time series. The
具体的に、CT装置200は、ガントリ(図示せず)及びコンソール(図示せず)を備える。ガントリは、X線発生器(図示せず)やX線検出器(図示せず)を含み、コンソールにより指示された所定のタイミングで撮像することで、被検体PSを透過したX線を検出し、X線検出データを得る。X線発生器は、X線管(図示せず)を含む。コンソールは、ロボット手術支援装置100に接続される。コンソールは、ガントリからX線検出データを複数取得し、X線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、ロボット手術支援装置100へ送信する。コンソールは、患者情報、CT撮像に関する撮像条件、造影剤の投与に関する造影条件、その他の情報を入力するための操作部(図示せず)を備えてよい。この操作部は、キーボードやマウスなどの入力デバイスを含んでよい。
Specifically, the
CT装置200は、連続的に撮像することで3次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の3次元のボリュームデータによる動画のデータは、4D(4次元)データとも称される。
The
CT装置200は、複数のタイミングの各々でCT画像を撮像してよい。CT装置200は、被検体PSが造影された状態で、CT画像を撮像してよい。CT装置200は、被検体PSが造影されていない状態で、CT画像を撮像してよい。
The
ロボット手術支援装置100では、通信部110は、他の装置との間で各種データや情報を通信する。通信部110は、CT装置200、手術支援ロボット300、計測器400、との間で各種データを通信してよい。通信部110は、有線通信や無線通信を行う。通信部110と、CT装置200、手術支援ロボット300、及び計測器400との間は、有線又は無線により接続されてよい。
In the robotic
通信部110は、手術支援ロボット300からロボット手術のための各種情報を取得してよい。この各種情報は、例えば、手術支援ロボット300のキネマティクスの情報を含んでよい。通信部110は、手術支援ロボット300へロボット手術のための各種情報を送信してよい。この各種情報は、例えば、処理部160により生成された情報(例えば画像やデータ)を含んでよい。
The
通信部110は、計測器400からロボット手術のための各種情報を取得してよい。例えば、計測器400で計測された被検体PSの体表の位置情報や被検体PSの体表に穿孔されたポート位置の情報を含んでよい。
The
通信部110は、CT装置200からボリュームデータを取得してよい。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。
The
CT装置200により撮像されたボリュームデータは、CT装置200から画像データサーバ(PACS:Picture Archiving and Communication Systems)(不図示)に送られ、保存されてよい。通信部110は、CT装置200から取得する代わりに、この画像データサーバからボリュームデータを取得してよい。このように、通信部110は、ボリュームデータ等の各種データを取得する取得部として機能する。
Volume data captured by the
UI120は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。UI120は、ロボット手術支援装置100のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者(Paramedic Staff)を含んでよい。医師は、ロボット操作端末を操作してロボット手術を手動して行う術者や、被検体PSの近傍でロボット手術を補助する助手を含んでよい。
UI120は、ボリュームデータにおける関心領域(ROI:Region of Interest)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流)の領域を含んでよい。組織は、病変組織、正常組織、臓器、器官、など被検体PSの組織を広く含んでよい。また、UI120は、ボリュームデータやボリュームデータに基づく画像(例えば後述する3次元画像、2次元画像)における関心領域の指定や輝度条件の設定等の操作を受け付けてもよい。
The
ディスプレイ130は、LCD(Liquid Crystal Display)を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像や2次元画像を含んでよい。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像(VE画像)、仮想超音波画像、CPR(Curved Planar Reconstruction)画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像(単に「SUM画像」とも称する)、MIP(Maximum Intensity Projection)画像、MinIP(Minimum Intensity Projection)画像、平均値(Average)画像、又はレイキャスト(Raycast)画像を含んでもよい。2次元画像は、アキシャル(Axial)画像、サジタル(Sagittal)画像、コロナル(Coronal)画像、MPR(Multi Planer Reconstruction)画像、等を含んでよい。3次元画像及び2次元画像は、カラーフュージョン画像を含んでよい。
The
メモリ150は、各種ROM(Read Only Memory)やRAM(Random Access Memory)の一次記憶装置を含む。メモリ150は、HDD(Hard Disk Drive)やSSD(Solid State Drive)の二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードの三次記憶装置を含んでもよい。メモリ150は、各種情報を記憶する。各種情報は、通信部110を介して取得された情報、プロセッサ140により生成された情報や画像、プロセッサ140により設定された設定情報、各種プログラムを含んでよい。通信部110を介して取得された情報は、例えば、CT装置200からの情報(例えばボリュームデータ)、手術支援ロボット300からの情報、計測器400からの情報、外部サーバからの情報、を含んでよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
The
投射部170は、被検体に向けて可視光(例えばレーザー光)を投射する。投射部170は、可視光の投射により、被検体PSの体表(例えば腹部の体表部)に、各種情報(例えばポート位置の情報)を表示させる。可視光、つまり被検体PSの体表に表示された情報は、ユーザ(例えば助手)に確認される。
The
プロセッサ140は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)を含んでよい。プロセッサ140は、メモリ150に記憶されたプログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
The
図2は、処理部160の機能構成例を示すブロック図である。
FIG. 2 is a block diagram showing a functional configuration example of the
処理部160は、領域抽出部161、画像生成部162、変形シミュレーション部163、ポート位置処理部164、表示制御部166、及び投射制御部167を備える。
The
処理部160は、ロボット手術支援装置100の各部を統括する。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
The
領域抽出部161は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、UI120がユーザからの指示を受け付け、指示の情報が領域抽出部161に送られる。領域抽出部161は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出(segment)してよい。また、ユーザからの詳細な指示により、手動で関心領域を設定(set)してよい。また、観察対象が予め定められている場合、領域抽出部161は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。抽出される領域には、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流、乳腺、胸部、腫瘍)の領域を含んでよい。観察対象は、ロボット手術による処置が行われる対象でよい。
The
画像生成部162は、通信部110により取得されたボリュームデータに基づいて、3次元画像や2次元画像を生成してよい。画像生成部162は、通信部110により取得されたボリュームデータから、指定された領域や領域抽出部161により抽出された領域に基づいて、3次元画像や2次元画像を生成してよい。
The
変形シミュレーション部163は、手術対象の被検体PSにおける変形に関する処理を行う。例えば、変形シミュレーション部163は、仮想的に被検体PSに対して気腹する気腹シミュレーションを行ってよい。気腹シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献1に記載された方法でよい。つまり、変形シミュレーション部163は、通信部110又は領域抽出部161から取得されたボリュームデータ(気腹前(非気腹状態)のボリュームデータ)を基に、気腹シミュレーションを行い、気腹後のボリュームデータ(気腹状態のボリュームデータ)を生成してよい。気腹シミュレーションにより、ユーザは、被検体PSに対して実際に気腹しなくても、被検体PSが気腹された状態を仮定し、仮想的に気腹された状態を観察できる。なお、気腹状態のうち、気腹シミュレーションにより推定される気腹の状態を仮想気腹状態と称し、実際の気腹された状態を実気腹状態と称してよい。
The
(参考非特許文献1)Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention),2004, P559-P567 (Reference non-patent document 1) Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer- Assisted Intervention), 2004, P559-P567
気腹シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形シミュレーション部163は、被検体PSの皮下脂肪を含む体表と、被検体PSの腹部内臓と、をセグメンテーションしてよい。そして、変形シミュレーション部163は、体表を皮膚と体脂肪との2層の有限要素にモデル化し、腹部内臓を有限要素にモデル化してよい。変形シミュレーション部163は、任意に、肺と骨とをセグメンテーションし、モデルに追加してよい。変形シミュレーション部163は、体表と腹部内臓との間にガス領域を設け、仮想的なガス注入に応じてガス領域(気腹空間)が拡張(膨張)してよい。
The pneumoperitoneum simulation may be a large deformation simulation using the finite element method. In this case, the
図3は、気腹シミュレーションの実施前後における腹部のMPR断面の画像例を示す図である。画像G11は、気腹シミュレーションの実施前の様子を示しており、被検体PSの腹部が膨らんでいない状態(非気腹状態)である。画像G12は、気腹シミュレーションの実施後の様子を示しており、被検体PSの腹部が膨らんでいる状態(仮想気腹状態)であり、気腹空間KSを有する。ロボット手術では、被検体PSが気腹状態で手術されるので、非気腹状態で撮像されて得られるボリュームデータに対しては、変形シミュレーション部163により気腹シミュレーションが実施され、仮想気腹状態のボリュームデータが導出されてよい。
FIG. 3 is a diagram showing image examples of MPR cross-sections of the abdomen before and after performing a pneumoperitoneum simulation. The image G11 shows the state before the pneumoperitoneum simulation is performed, in which the abdomen of the subject PS is not inflated (non-pneumoperitoneum state). The image G12 shows a state after the pneumoperitoneum simulation is performed, in which the abdomen of the subject PS is inflated (virtual pneumoperitoneum state), and has a pneumoperitoneum space KS. In robotic surgery, the subject PS is operated on in a pneumoperitoneum state, so the
変形シミュレーション部163は、被検体PS内の臓器や病変等の観察対象を仮想的に変形させてよい。観察対象は、術者によって手術される手術対象であってよい。変形シミュレーション部163は、例えば、臓器がエンドエフェクタEFにより引っ張られたり押されたり、切断される様子をシミュレートしてよい。また、変形シミュレーション部163は、例えば、体位変換による臓器の移動をシミュレートしてよい。
The
ポート位置処理部164は、被検体PSの体表上に設けられる複数のポートPTの情報を取得する。ポートPTの情報は、ポートPTの識別情報、ポートPTが穿孔される被検体PSの体表上の位置(ポート位置)の情報、ポートPTのサイズの情報、等を含んでよい。複数のポートの情報は、テンプレートとしてメモリ150や外部サーバに保持されていてよい。複数のポートの情報は、術式によって定められていてよい。複数のポートの情報は術前計画に用いることを目的としてよい。
The port
ポート位置処理部164は、メモリ150から複数のポート位置の情報を取得してよい。ポート位置処理部164は、通信部110を介して、外部サーバから複数のポート位置の情報を取得してよい。ポート位置処理部164は、UI120を介して、複数のポートPTのポート位置の指定を受け付けて、複数のポート位置の情報を取得してよい。複数のポート位置の情報は、複数のポート位置の組み合わせの情報でよい。
The port
ポート位置処理部164は、手術支援ロボット300のキネマティクスの情報を取得する。キネマティクスの情報は、メモリ150に保持されていてよい。ポート位置処理部164は、メモリ150からキネマティクスの情報を取得してよい。ポート位置処理部164は、通信部110を介して、手術支援ロボット300や外部サーバからキネマティクスの情報を取得してよい。キネマティクスの情報は、手術支援ロボット300毎に異なってよい。
The port
キネマティクスの情報は、例えば、手術支援ロボット300が備えるロボット手術を行うための器具(例えばロボットアームAR、エンドエフェクタEF)の形状に関する形状情報や動作に関する動作情報を含んでよい。この形状情報は、ロボットアームARやエンドエフェクタEFの各部位の長さ、重さ、基準方向(例えば水平面)に対するロボットアームARの角度、ロボットアームARに対するエンドエフェクタEFの取付角度、等の少なくとも一部の情報を含んでよい。この動作情報は、例えばロボットアームARやエンドエフェクタEFの3次元空間における可動範囲、ロボットアームARを動作する際のロボットアームARの位置、速度、加速度、エンドエフェクタEFを動作する際のロボットアームARに対する位置、速度、加速度、等の少なくとも一部の情報を含んでよい。
The kinematics information may include, for example, shape information about the shape of instruments (for example, robot arm AR, end effector EF) for performing robotic surgery provided in the
なお、キネマティクスでは、自ロボットアームによる可動範囲とともに他ロボットアームの可動範囲が規定される。したがって、手術支援ロボット300は、手術支援ロボット300の各ロボットアームARがキネマティクスに基づいて動作することで、手術中に複数のロボットアームARが干渉することを回避できる。
In kinematics, the movable range of the other robot arm is defined together with the movable range of the own robot arm. Therefore, the
ポート位置処理部164は、術式の情報を取得する。術式は、被検体PSに対する外科手術の方式を示す。術式は、UI120を介して指定されてよい。術式により、ロボット手術における各処置が定まってよい。処置に応じて、処置に必要なエンドエフェクタEFが定まってよい。よって、術式に応じて、ロボットアームARに装着されるエンドエフェクタEFが定まってよく、どのロボットアームARにどの種類のエンドエフェクタEFが装着されるかが定まってよい。また、処置に応じて、処置に最低限必要な最小領域や処置のために確保されることが推奨される推奨領域が定まってよい。
The port
ポート位置処理部164は、ターゲット領域の情報を取得する。ターゲット領域は、ロボット手術による処置が行われる対象(例えば組織(例えば血管、気管支、臓器、骨、脳、心臓、足、首))を含む領域でよい。組織は、病変組織、正常組織、臓器、器官、など被検体PSの組織を広く含んでよい。
The port
ポート位置処理部164は、メモリ150からターゲット領域の位置の情報を取得してよい。ポート位置処理部164は、通信部110を介して、外部サーバからターゲット領域の位置の情報を取得してよい。ポート位置処理部164は、UI120を介して、ターゲット領域の位置の指定を受け付けて、ターゲット領域の位置の情報を取得してよい。
The port
ポート位置処理部164は、ポート位置シミュレーションを実行してよい。ポート位置シミュレーションは、ユーザがUI120を操作することで、被検体PSにおける所望のロボット手術が可能か否かを判定するためのシミュレーションでよい。ポート位置シミュレーションでは、ユーザが手術を想定しながら、仮想空間において、各ポート位置から挿入されたエンドエフェクタEFを動作させ、手術対象となるターゲット領域へアクセス可能か否かを判定してよい。つまり、ポート位置シミュレーションでは、ユーザによる手術支援ロボット300に対する手動の操作を受けながら、手術支援ロボット300のロボット手術に係る可動部(例えばロボットアームARやエンドエフェクタEF)が、手術対象となるターゲット領域へ問題なくアクセス可能か否かが判定されてよい。ポート位置処理部164は、ポート位置シミュレーションによりポート位置の計画情報を得てよい。
The
ポート位置シミュレーションでは、被検体PSのボリュームデータ、取得された複数のポート位置の組み合わせ、手術支援ロボット300のキネマティクス、術式、仮想気腹状態のボリュームデータ、等に基づいて上記のアクセスが可能か否かが判定されてよい。ポート位置処理部164は、被検体PSの体表における複数のポート位置を変えながら、各ポート位置においてターゲット領域にアクセス可能か否かを判定してよく、順次ポート位置シミュレーションを行ってよい。ポート位置処理部164は、最終的に好ましい(例えば最適な)ポート位置の組み合わせの情報を、UI120を介してユーザ入力に応じて指定してよい。これにより、ポート位置処理部164が、穿孔対象の複数のポート位置を計画してよい。ポート位置シミュレーションの詳細については後述する。
In the port position simulation, the above access is possible based on the volume data of the subject PS, the combination of multiple acquired port positions, the kinematics of the
ポート位置処理部164は、被検体PSの体表上に設けられる複数のポート位置を用いてロボット手術する場合の適切度を示すポート位置スコアを導出(例えば算出)してよい。つまり、複数のポート位置の組み合わせに基づくポート位置スコアは、ロボット手術を行うための複数のポート位置の組み合わせの価値を示している。ポート位置スコアは、複数のポート位置の組み合わせ、手術支援ロボット300のキネマティクス、術式、仮想気腹状態のボリュームデータ、等に基づいて算出されてよい。ポート位置スコアは、ポート位置毎に導出される。ポート位置スコアの詳細については後述する。
The port
ポート位置処理部164は、ポート位置スコアに基づいて、ポート位置を調整してよい。この場合、ポート位置処理部164は、ポート位置の移動に伴うポート位置スコアの変動量に基づいて、ポート位置を調整してよい。ポート位置調整の詳細については後述する。
The
このように、ポート位置処理部164は、ポート位置シミュレーションに従って、穿孔対象の複数のポート位置を導出してよい。また、ポート位置処理部164は、ポート位置スコアに基づいて、穿孔対象の複数のポート位置を導出してよい。
Thus, the
表示制御部166は、各種データ、情報、画像をディスプレイ130に表示させる。表示制御部166は、画像生成部162により生成された3次元画像又は2次元画像を表示させてよい。表示制御部166は、画像生成部162により生成された複数のポートPTの情報(例えばポート位置の情報)を示す画像を表示させてよい。
The
投射制御部167は、投射部170による可視光の投射を制御する。投射制御部167は、例えば、可視光の周波数、光量、可視光を投射する位置、可視光を投射する時刻(タイミング)を制御してよい。
The
投射制御部167は、被検体PSに向かって可視光を投射部170に投射させ、被検体PSの体表(例えば腹部の体表部)に、各種情報を表示させる。投射制御部167は、被検体PSの体表に向かってレーザ光を投射し、体表上の特定位置にマーキングを行ってよい。この特定位置は、例えば、穿孔対象のポート位置、体表面のこの特定位置から法線方向に向かうとボリュームデータ上で観察対象(例えば患部)が存在する位置、でよい。つまり、投射制御部167は、ポート位置を示すレーザポインタであってよい。
The
また、投射制御部167は、被検体PSの体表面に可視光を投射部170に投射させ、被検体PSの体表に、ロボット手術を支援する情報(例えばポート位置に関する情報)を重畳させて表示させてよい。重畳される情報は、文字情報、図形情報、等であってよい。つまり、投射制御部167は、ロボット手術において拡張現実(AR:Augmented Reality)技術を用いてユーザを支援してよい。
Further, the
図4は、既孔ポートPT1のポート位置の計測例を説明するための図である。ポート位置の計測は、3次元計測でよい。図4では、ベッドBDに被検体PS(例えば患者)が横になって載置されている。 FIG. 4 is a diagram for explaining an example of measuring the port position of the perforated port PT1. Measurement of the port position may be three-dimensional measurement. In FIG. 4, a subject PS (for example, a patient) is placed lying down on a bed BD.
深度センサ410は、赤外線を発光する発光部と、赤外線を受光する受光部と、画像を撮像するカメラと、を含んでよい。深度センサ410は、発光部により被検体PSへ発光された赤外線と、被検体PSで反射され受光された反射光と、に基づいて、深度センサ410から被検体PSまでの距離を検出してよい。深度センサ410は、カメラにより撮像された撮像画像により、被写体の上下左右を検出してよい。これにより、深度センサ410は、被検体PSの体表における各位置(例えば既孔ポートPT1のポート位置)の3次元位置(3次元座標)の情報を取得してよい。
The
深度センサ410は、プロセッサ及び内部メモリを有してよい。内部メモリは、トロッカーTCの形状の情報を保持しておいてよい。深度センサ410は、内部メモリに保持されたトロッカーTCの形状情報を参照し、被検体PSの体表面に穿孔されたポートPTに設置されたトロッカーTCを検出(認識)し、トロッカーTCの3次元位置を検出(計測)してよい。
また、トロッカーTCの表面に所定のマークが付されていてよい。深度センサ410は、トロッカーTCにおける所定のマークを特徴点として撮像することで、画像認識によりトロッカーTCを検出(認識)してよい。これにより、深度センサ410は、トロッカーTCの認識精度を向上でき、トロッカーTCの3次元位置の計測精度を向上できる。
Moreover, a predetermined mark may be attached to the surface of the trocar TC. The
また、深度センサ410は、赤外線センサ(発光部及び受光部)を備えず、ステレオカメラを備え、画像処理によりトロッカーTCの3次元位置を計測してよい。この場合、深度センサ410は、ステレオカメラにより撮像された撮像画像において物体認識によりトロッカーTCを認識し、被検体における体表上のトロッカーTCの位置を検出(認識)し、トロッカーTCまでの距離を算出することで、トロッカーTCの3次元位置を計測してよい。
Further, the
深度センサ410は、赤外線センサから発光された赤外線が到達可能な範囲やカメラにより撮像可能な範囲(図4の範囲A1参照)で、被検体PSの体表上の各位置やトロッカーTCの位置を計測してよい。
The
なお、ロボット手術支援装置100の変形シミュレーション部163は、深度センサ410から、被検体PSの実気腹状態での体表上の各位置の情報、つまり被検体PSの実気腹状態での体表の形状の情報を取得してよい。また、変形シミュレーション部163は、被検体PSの非気腹状態でのボリュームデータを基に、被検体PSの輪郭(体表に相当)を抽出して、被検体PSの非気腹状態での体表上の各位置の情報、つまり被検体PSの非気腹状態での体表の形状の情報を取得してよい。
Note that the
変形シミュレーション部163は、被検体PSの実気腹状態での体表上の各位置と被検体PSの非気腹状態での体表上の各位置との差分、つまり被検体PSの実気腹状態での体表の形状と被検体PSの非気腹状態での体表の形状との差分を算出してよい。これにより、変形シミュレーション部163は、被検体PSの実気腹状態とするための気腹条件を認識できる。
The
気腹条件として、気腹時の送気量を示すパラメータがあってよい。送気量はガス注入量、ガス圧、腹腔内のガス体積であってよい。肺体積、肺機能、心機能、年齢、性別、体重、既往症、その他、医師が送気量を決定するときに因子を気腹シミュレーション時の送気量を決定するときに用いてよい。気腹条件には、被検体の体組織の伸張のしやすさを示すパラメータがあってよい。例えば、出産の経験があれば被検体の皮膚は伸びやすくなり、同じ送気量であったとして大きく気腹する。気腹条件には、腹囲、皮下脂肪、手術歴、年齢、性別、体重、既往症、その他、被検体の体組織の伸張のしやすさに影響を与えるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、臓器や血管の硬さを推定させるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、体表の場所によって異なってよい。気腹条件と気腹シミュレーションは、有限要素法を用いた大変形シミュレーションで表現してよい。気腹条件と気腹シミュレーションは、有限体積法、レベルセット法、格子ボルツマン法(Lattice Boltzmann methods)、CIP法(Constrained Interpolation Profile Scheme)、あるいはこれらの組み合わせで表現してよい。 As the pneumoperitoneum condition, there may be a parameter indicating the amount of air supplied during pneumoperitoneum. The insufflation volume may be gas injection volume, gas pressure, or intraperitoneal gas volume. Lung volume, pulmonary function, cardiac function, age, sex, weight, medical history, and other factors may be used by the physician to determine the insufflation volume during the pneumoperitoneum simulation. A pneumoperitoneum condition may include a parameter indicative of the ease of stretching of the body tissue of the subject. For example, if the subject has experienced childbirth, the subject's skin is more likely to stretch, and the subject's pneumoperitoneum will be greater even if the amount of air supplied is the same. Pneumoperitoneum conditions may include waist circumference, subcutaneous fat, surgical history, age, sex, weight, medical history, and other parameters that affect the subject's ability to stretch body tissue. Further, the easiness of stretching of the body tissue of the subject may be a parameter for estimating the stiffness of organs and blood vessels. In addition, the stretchability of the body tissue of the subject may vary depending on the location on the body surface. The pneumoperitoneum condition and the pneumoperitoneum simulation may be represented by a large deformation simulation using the finite element method. Pneumoperitoneum conditions and pneumoperitoneum simulations may be expressed by the finite volume method, the level set method, the Lattice Boltzmann methods, the CIP method (Constrained Interpolation Profile Scheme), or a combination thereof.
また、変形シミュレーション部163は、実気腹状態と気腹シミュレーションによる仮想気腹状態との差分を基に、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。つまり、変形シミュレーション部163は、実際の気腹条件を基に、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。変形シミュレーション部163は、この補正情報を、メモリ150に保持しておいてよい。また、変形シミュレーション部163は、通信部110を介して気腹装置より掃気量を受け取って、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。これにより、ロボット手術支援装置100は、気腹シミュレーションの精度を向上できる。
Further, the
また、ポート位置処理部164は、実気腹状態と気腹シミュレーションによる仮想気腹状態との差分を基に補正された気腹シミュレーション結果を基に、ポート位置シミュレーションの結果を補正してよい。ポート位置処理部164は、この補正情報を、メモリ150に保持しておいてよい。これにより、ロボット手術支援装置100は、ポート位置シミュレーションの精度を向上できる。
Further, the port
次に、ポート位置の表示例について説明する。 Next, a display example of the port position will be described.
変形シミュレーション部163は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成する。画像生成部162は、仮想気腹状態のボリュームデータをボリュームレンダリングして、ボリュームレンダリング画像を生成してよい。画像生成部162は、気腹状態のボリュームデータをサーフィスレンダリングして、サーフィスレンダリング画像を生成してよい。
The
変形シミュレーション部163は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに気腹シミュレーションを行い、非気腹状態のボリュームデータの各点が気腹によって移動する先を表す変形情報を生成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに変形情報を適用して仮想気腹ボリュームデータを作成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータからサーフィスを生成してサーフィスレンダリング画像を生成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータからサーフィスを生成したものに変形情報を適用して、仮想気腹状態のサーフィスレンダリング画像を生成してよい。変形情報は、少なくともポート位置の気腹による移動を表現する情報を含んでいればよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータから骨をセグメンテーションして、骨は気腹によって動かないものとして変形情報から除外し、その他の組織の移動を変形情報として作成してよい。
The
表示制御部166は、仮想気腹状態のボリュームレンダリング画像又はサーフィスレンダリング画像に、ポート位置処理部164により導出されたポート位置を重畳して、ディスプレイ130に表示させてよい。
The
投射制御部167は、被検体PS(例えば患者)の体表におけるポート位置処理部164により導出されたポート位置に可視光を投射させ、可視光によりポート位置を指し示し、ポート位置を可視化してよい。これにより、ユーザは、被検体PSの体表におけるポート位置を確認しながら、ポート位置に対する穿孔等の処置を実施できる。
The
また、投射制御部167は、被検体PSに可視光を投射させ、被検体PS(例えば患者)の体表におけるポート位置処理部164により導出されたポート位置を示す情報を表示させてよい。この場合、投射制御部167は、AR技術を用いて、被検体PSに、ポート位置を示す情報(例えばポートの識別情報、ポート位置を示す矢印)を重畳して表示させてよい。これにより、ユーザは、可視光によるガイド情報を参照することで、被検体PSの体表におけるポート位置に関する情報を確認しながら、ポート位置に対する穿孔等の処置を実施できる。
Further, the
ここで変形情報について詳述する。 The deformation information will now be described in detail.
変形シミュレーション部163は、変形情報を利用して非気腹状態のボリュームデータから仮想気腹ボリュームデータを生成する。気腹前後に得られる複数のボリュームデータ(CT画像)を基に、ボリュームデータに含まれる各部の動き(変形)を検出し、変形情報を生成する。この場合、変形シミュレーション部163は、複数の気腹条件(非気腹状態も含み得る)のボリュームデータを基に、複数のボリュームデータの変形に対して動き解析(変形解析)を行い、ボリュームデータにおける変形情報を取得する。変形解析の具体的手法は、例えば参考特許文献1、参考特許文献2に記載されている。これらは、非剛体レジストレーションの例における手法であるが、動き解析(変形解析)、動き解析情報(変形情報)と読み替えることができる。
(参考特許文献1:米国特許第8311300号明細書)
(参考特許文献2:日本国特許第5408493号公報)
The
(Reference Patent Document 1: US Pat. No. 8,311,300)
(Reference Patent Document 2: Japanese Patent No. 5408493)
変形シミュレーション部163は、変形情報として、ボリュームデータの任意の点の移動量に係る情報や速度に係る情報を取得してよい。変形シミュレーション部163は、参考特許文献1の手法を適用すると、ボリュームデータを2次元格子node(k,l)に区切り、2次元格子のフェーズtの格子node(k,l,t)における2次元座標を(x,y)とした場合、フェーズtの値を変更して得られる複数のnode(k,l,t)の差分を基に、node(k,l)の格子点に係る移動量の情報を算出してよい。また、変形シミュレーション部163は、移動量の情報を時間微分することで、速度の情報を算出してよい。移動量や速度の情報は、ベクトルで示されてよい。
As deformation information, the
変形シミュレーション部163がこの2次元格子の変形情報をボリュームデータ全体の各点に対して補間すると、ボリュームデータの各点の変形情報が得られる。この所定の点の変形情報を、観察部位を含む領域の各点に対して適用すると、観察部位を含む領域の各点の変形情報が得られる。
When the
また、変形シミュレーション部163は、参考特許文献2の手法を適用すると、時系列に並ぶ(気腹前後の)ボリュームデータのうち、ボリュームデータtk-1及びその時刻情報tk-1、並びにボリュームデータtk及びその時刻情報tkを基に、変形情報を生成してよい。変形情報は、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、位置及び物体が移動変化する過程の情報を指してよい。各ボリュームデータの画素が、時刻k-1と時刻kとの間の任意の時刻での位置を示す指標となる。また、これによって、変形シミュレーション部163は、呼吸や心拍による臓器の移動を加味して、より正確な変形情報を得ることができる。
Further, when the method of Reference Patent Document 2 is applied, the
なお、変形シミュレーション部163は、参考特許文献1の手法に限られず、公知の手法を用いて変形解析を行ってもよい。また、その他の公知のレジストレーション手法を用いて変形解析を行ってもよい。ロボット手術支援装置100は、変形情報を用いた各点や観察部位の変形解析により、被検体内の任意の位置が気腹前後でどの位置に移動したかを把握可能である。
Note that the
なお、変形情報は、変形シミュレーションの結果であればなんでもよく、変形情報は少なくとも一点が気腹によってどこに移動するのかが表現されていればよい。また、変形情報は、直接的に表現されていてもよいし、間接的に表現されてもよい。例えば、変形情報は、変形前の格子と変形後の格子の組として表現されてよい。例えば、変形情報は、少なくとも一点の移動ベクトルとして表現されてよい。 The deformation information may be anything as long as it is the result of the deformation simulation, and the deformation information may express where at least one point moves due to the pneumoperitoneum. Also, the deformation information may be expressed directly or indirectly. For example, the deformation information may be expressed as a set of a grid before deformation and a grid after deformation. For example, deformation information may be expressed as a motion vector of at least one point.
変形情報と仮想気腹状態は、気腹シミュレーションの気腹条件を変えることによって、それぞれ複数存在しうる。気腹条件として、気腹時の送気量を示すパラメータがあってよい。送気量はガス注入量、ガス圧、腹腔内のガス体積であってよい。肺体積、肺機能、心機能、年齢、性別、体重、既往症、その他、医師が送気量を決定するときの因子を、気腹シミュレーション時の送気量を決定するときに用いてよい。気腹条件には、被検体の体組織の伸張のしやすさを示すパラメータがあってよい。例えば、出産の経験があれば被検体の皮膚は伸びやすくなり、同じ送気量であったとして大きく気腹する。気腹条件として、腹囲、皮下脂肪、手術歴、年齢、性別、体重、既往症、その他、被検体の体組織の伸張のしやすさに影響を与えるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、臓器や血管の硬さを推定させるパラメータがあってよい。また、被検体の体組織の伸張のしやすさは、体表の場所によって異なってよい。気腹条件と気腹シミュレーションは、有限要素法を用いた大変形シミュレーションで表現してよい。気腹条件と気腹シミュレーションは、有限体積法、レベルセット法、格子ボルツマン法(Lattice Boltzmann methods)、CIP法(Constrained Interpolation Profile Scheme)、あるいはこれらの組み合わせで表現してよい。 A plurality of deformation information and virtual pneumoperitoneum states can exist by changing the pneumoperitoneum conditions of the pneumoperitoneum simulation. As the pneumoperitoneum condition, there may be a parameter indicating the amount of air supplied during pneumoperitoneum. The insufflation volume may be gas injection volume, gas pressure, or intraperitoneal gas volume. Lung volume, pulmonary function, cardiac function, age, gender, weight, pre-existing conditions, and other factors that the physician uses to determine the insufflation volume may be used in determining the insufflation volume during the pneumoperitoneum simulation. A pneumoperitoneum condition may include a parameter indicative of the ease of stretching of the body tissue of the subject. For example, if the subject has experienced childbirth, the subject's skin is more likely to stretch, and the subject's pneumoperitoneum will be greater even if the amount of air supplied is the same. Pneumoperitoneum conditions may include waist circumference, subcutaneous fat, surgical history, age, sex, weight, medical history, and other parameters that affect the stretchability of the subject's body tissue. Further, the easiness of stretching of the body tissue of the subject may be a parameter for estimating the stiffness of organs and blood vessels. In addition, the stretchability of the body tissue of the subject may vary depending on the location on the body surface. The pneumoperitoneum condition and the pneumoperitoneum simulation may be represented by a large deformation simulation using the finite element method. Pneumoperitoneum conditions and pneumoperitoneum simulations may be expressed by the finite volume method, the level set method, the Lattice Boltzmann methods, the CIP method (Constrained Interpolation Profile Scheme), or a combination thereof.
次に、標準的なポート位置の具体例について説明する。標準的なポート位置の配置は、本実施形態にも適用である。 Next, specific examples of standard port positions will be described. Standard port location arrangements are also applicable to this embodiment.
図5Aは、被検体PSの体表に設置されるポート位置の第1配置計画例を示す図である。図5Bは、被検体PSの体表に設置されるポート位置の第2配置計画例を示す図である。図5Cは、被検体PSの体表に設置されるポート位置の第3配置計画例を示す図である。複数のポート位置の配置は、例えば術式に応じて計画されてよい。図5A~図5Cでは、被検体PSの体格や観察対象の病変等の位置や大きさは考慮されていない。 FIG. 5A is a diagram showing a first placement plan example of port positions to be installed on the body surface of the subject PS. FIG. 5B is a diagram showing a second layout plan example of port positions to be installed on the body surface of the subject PS. FIG. 5C is a diagram showing a third arrangement plan example of port positions to be installed on the body surface of the subject PS. The placement of multiple port locations may be planned according to the surgical procedure, for example. In FIGS. 5A to 5C, the physique of the subject PS and the position and size of a lesion to be observed are not considered.
なお、図5A~図5Cにおいて示された複数のポート位置は、穿孔予定のポート位置である。穿孔予定のポート位置と実際に穿孔されたポート位置とでは多少の誤差が生じることがあり、例えば25mm程度の誤差が生じることがある。 It should be noted that the plurality of port positions shown in FIGS. 5A to 5C are port positions to be drilled. A slight error may occur between the position of the port to be drilled and the position of the actually drilled port, for example, an error of about 25 mm.
被検体PSの体表に設けられるポートPTには、カメラCAが挿入されるカメラポートPTC、エンドエフェクタEFが挿入されるエンドエフェクタポートPTE、助手が把持する鉗子類が挿入される補助ポートPTA、が含まれてよい。各ポートPTは種類毎(例えばカメラポートPTC、エンドエフェクタポートPTE、補助ポートPTA毎)に複数存在してよく、各ポートPTの大きさは種類毎に同じでも異なってもよい。例えば、臓器を抑えるためのエンドエフェクタEFや被検体PS内での動きが複雑なエンドエフェクタEFが挿入されるエンドエフェクタポートPTEは、電気メスとしてのエンドエフェクタEFが挿入されるエンドエフェクタポートPTEよりも大きくてよい。補助ポートPTAは、比較的自由に配置位置が計画されてよい。 The ports PT provided on the body surface of the subject PS include a camera port PTC into which the camera CA is inserted, an end effector port PTE into which the end effector EF is inserted, an auxiliary port PTA into which forceps held by the assistant are inserted, may be included. A plurality of ports PT may exist for each type (eg, camera port PTC, end effector port PTE, auxiliary port PTA), and the size of each port PT may be the same or different for each type. For example, the end effector port PTE into which an end effector EF for suppressing an organ or an end effector EF that moves in a subject PS in a complicated manner is inserted is more likely than the end effector port PTE into which an end effector EF as an electric scalpel is inserted. can also be large. The arrangement position of the auxiliary port PTA may be planned relatively freely.
図5Aでは、カメラポートPTCのポート位置を基準(頂点)として、被検体PSの右方向及び被検体PSの左方向において、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。 In FIG. 5A, many end effector ports PTE and auxiliary ports PTA are linearly arranged in the right direction and the left direction of the subject PS with the port position of the camera port PTC as a reference (apex). .
図5Bでは、臍hsの位置を挟んで、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。また、カメラポートPTCも臍hsの近傍に配置されている。 In FIG. 5B, a number of end effector ports PTE and auxiliary ports PTA are arranged linearly across the position of the umbilical hs. A camera port PTC is also arranged near the navel hs.
図5Cでは、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。臍hsの位置は、この直線上の位置から、ややずれている。また、カメラポートPTCも臍hsの近傍に配置されている。 In FIG. 5C, a number of end effector port PTEs and auxiliary ports PTA are arranged in a straight line. The position of the navel hs is slightly deviated from the position on this straight line. A camera port PTC is also arranged near the navel hs.
既存の計画では、直線的に多くのポートPTが並んで配置されることが多いのは、ユーザがポート位置を位置決めしやすいことと安心感があるためと考えられる。なお、複数のポートPTのうち、カメラポートPTCが被検体PSの体表面の中央部に配置されなくてもよい。 In the existing plan, many ports PT are often arranged in a straight line because it is easy for the user to locate the port position and there is a sense of security. Of the plurality of ports PT, the camera port PTC need not be arranged at the center of the body surface of the subject PS.
図6は、ロボット手術時の被検体PS、ポートPT、トロッカーTC、及びロボットアームARの位置関係の一例を示す図である。 FIG. 6 is a diagram showing an example of the positional relationship among the subject PS, port PT, trocar TC, and robot arm AR during robotic surgery.
被検体PSには、1つ以上のポートPTが設けられる。ポートPTのそれぞれには、トロッカーTCが配置される。トロッカーTCにはエンドエフェクタEFが接続(例えば挿通)され、被検体内でのエンドエフェクタEFによる作業(処置)が可能となる。ポート位置は、固定して配置され、術中に移動しない。したがって、ポート位置に配置されるトロッカーTCの位置も移動しない。一方、術中の処置に応じて、ロボット操作端末の操作を基にロボットアームAR及びエンドエフェクタが制御され、ロボットアームARは移動する。よって、ロボットアームARとトロッカーTCの位置関係が変化し、被検体の体表面に対するトロッカーTCの角度やトロッカーTCに取り付けられたエンドエフェクタEFの角度が変化する。なお、図6では、助手が把持する監視類もエンドエフェクタとして示されている。 The subject PS is provided with one or more ports PT. A trocar TC is arranged in each of the ports PT. An end effector EF is connected to (for example, inserted through) the trocar TC, and work (treatment) by the end effector EF within the subject is possible. The port location is fixedly placed and does not move intraoperatively. Therefore, the position of the trocar TC placed at the port position also does not move. On the other hand, the robot arm AR and the end effector are controlled based on the operation of the robot operation terminal, and the robot arm AR moves according to the intraoperative treatment. Therefore, the positional relationship between the robot arm AR and the trocar TC changes, and the angle of the trocar TC with respect to the body surface of the subject and the angle of the end effector EF attached to the trocar TC change. Note that, in FIG. 6, the monitor held by the assistant is also shown as an end effector.
次に、ロボット手術支援装置100の動作について説明する。
Next, the operation of the robotic
まず、ポート位置シミュレーションの手順について説明する。図7は、ポート位置シミュレーションの手順の一例を示すフローチャートである。 First, the port position simulation procedure will be described. FIG. 7 is a flow chart showing an example of a port position simulation procedure.
まず、ポート位置処理部164は、例えば通信部110を介して、被検体PSを含むボリュームデータを取得する(S11)。ポート位置処理部164は、例えば通信部110を介して、手術支援ロボット300のキネマティクスの情報を取得する(S12)。変形シミュレーション部163は、気腹シミュレーションを実行し(S13)、被検体PSの仮想気腹状態のボリュームデータを生成する。
First, the port
ポート位置処理部164は、術式の情報を取得する(S14)。ポート位置処理部164は、取得された術式に応じた複数のポートPTの位置(初期位置)を取得し、設定する(S14)。この場合、ポート位置処理部164は、3次元座標で複数のポートPTの位置を設定してよい。
The port
ポート位置処理部164は、ターゲット領域の位置の情報を取得する(S15)。
The port
ポート位置処理部164は、S14で取得された複数のポートの位置とターゲット領域の位置とに基づいて、各ポートPTから挿入された各エンドエフェクタEFがターゲット領域にアクセス可能か否かを判定する(S16)各エンドエフェクタEFがターゲット領域にアクセス可能か否かは、ターゲット領域における全ての位置に、各エンドエフェクタEFが到達可能であるか否かに相当してよい。つまり、エンドエフェクタEF(必要に応じて複数のエンドエフェクタEF)によって、取得された術式に従ったロボット手術が可能であるか否かを示しており、アクセス可能な場合には、ロボット手術が可能であることを示している。
The port
各エンドエフェクタEFの少なくも1つがターゲット領域の少なくとも一部にアクセス不可能である場合、ポート位置処理部164は、穿孔対象の複数のポートPTに含まれる少なくとも1つのポートPTのポート位置を、被検体PSの体表に沿って、移動する(S17)。この場合、ポート位置処理部164は、UI120を介したユーザ入力を基に、ポート位置を移動してよい。移動させるポートPTは、少なくとも、ターゲット領域の少なくとも一部にアクセス不能であったエンドエフェクタEFが挿入されたポートPTを含む。
If at least one of the end effectors EF cannot access at least part of the target area, the port
各エンドエフェクタEFがターゲット領域にアクセス可能である場合、処理部160は、図7のポート位置シミュレーションの処理を終了する。
If each end effector EF can access the target area, the
このように、ロボット手術支援装置100は、ポート位置シミュレーションを実施することで、取得された複数のポート位置を用いてターゲット領域にアクセス可能であるか否か、よって取得された複数のポート位置を用いた手術支援ロボット300によるロボット手術が可能であるか否かを判定できる。複数のポート位置を用いてターゲット領域にアクセス不能である場合、UI120介してポート位置の少なくとも一部を変更して、変更された複数のポート位置を用いてターゲット領域にアクセス可能であるか否かを再度判定してよい。ロボット手術支援装置100は、ターゲット領域にアクセス可能である複数のポート位置の組み合わせを、穿孔対象の複数のポート位置に計画できる。このように、ロボット手術支援装置100は、ユーザ手動でポート位置を調整し、ポート位置を計画できる。
In this way, the robotic
次に、ポート位置スコアの算出例について説明する。 Next, an example of calculation of the port position score will be described.
複数のポート位置は、例えば術式に従って定められ、被検体PSの体表上の任意の位置にそれぞれ配置されることが仮定されてよい。よって、複数のポート位置の組み合わせも、様々なポート位置の組み合わせが仮定されてよい。1つのポートPTから、ロボットアームARに装着された1つのエンドエフェクタEFが被検体PS内に挿入可能である。よって、複数のポートPTから、複数のロボットアームARに装着された複数のエンドエフェクタEFが被検体PS内に挿入可能である。 It may be assumed that the plurality of port positions are determined, for example, according to the surgical procedure, and arranged at arbitrary positions on the body surface of the subject PS. Therefore, various combinations of port positions may be assumed. One end effector EF attached to the robot arm AR can be inserted into the subject PS from one port PT. Therefore, a plurality of end effectors EF attached to a plurality of robot arms AR can be inserted into the subject PS from a plurality of ports PT.
1つのエンドエフェクタEFがポートPTを介して被検体PS内において到達可能な範囲が、1つのエンドエフェクタEFによって作業(ロボット手術における処置)が可能なワーキングエリア(個別ワーキングエリアWA1)となる。よって、複数のエンドエフェクタEFによる個別ワーキングエリアWA1が重複するエリアが、複数のエンドエフェクタEFが複数のポートPTを介して被検体PS内において同時に到達可能なワーキングエリア(全体ワーキングエリアWA2)となる。術式に従った処置では、所定数(例えば3つ)のエンドエフェクタEFが同時動作することが必要であるので、所定数のエンドエフェクタEFが同時に到達可能な全体ワーキングエリアWA2が考慮される。 A reachable range within the subject PS through the port PT by one end effector EF is a working area (individual working area WA1) in which work (treatment in robotic surgery) can be performed by one end effector EF. Therefore, the overlapping area of the individual working areas WA1 of the plurality of end effectors EF becomes the working area (whole working area WA2) in which the plurality of end effectors EF can simultaneously reach within the subject PS via the plurality of ports PT. . Since surgical procedures require a predetermined number (eg, three) of end effectors EF to operate simultaneously, the entire working area WA2, which is simultaneously reachable by a predetermined number of end effectors EF, is taken into account.
また、手術支援ロボット300のキネマティクスによってエンドエフェクタEFが到達可能な被検体PSにおける位置が異なるので、エンドエフェクタEFが被検体PS内に挿入される位置であるポート位置の導出に加味される。また、術式によって確保すべき全体ワーキングエリアWA2の被検体PS内における位置が異なるので、全体ワーキングエリアWA2の位置に対応するポート位置の導出に加味される。
In addition, since the position in the subject PS that can be reached by the end effector EF differs depending on the kinematics of the
ポート位置処理部164は、取得された(仮定された)複数のポート位置の組み合わせ毎に、ポート位置スコアを算出してよい。ポート位置処理部164は、仮定された複数のポート位置の組み合わせのうち、所定条件を満たすポート位置スコア(例えば最大となるポートスコア)となるポート位置の組み合わせを計画してよい。つまり、計画されたポート位置の組み合わせに含まれる複数のポート位置を、穿孔対象の複数のポート位置に計画してよい。
The port
なお、ポート位置と手術支援ロボット300の可動部の動作との関係性は、例えば参考非特許文献2,3に記載された関係性を満たしてよい。
(参考非特許文献2):Mitsuhiro Hayashibe, Naoki Suzuki, Makoto Hashizume, Kozo Konishi, Asaki Hattori, “Robotic surgery setup simulation with the integration of inverse-kinematics computation and medical imaging”, computer methods and programs in biomedicine, 2006, P63-P72
(参考非特許文献3)Pal Johan From, “On the Kinematics of Robotic-assisted Minimally Invasive Surgery”, Modeling Identication and Control, Vol.34, No.2, 2013, P69-P82
Note that the relationship between the port position and the operation of the movable part of the
(Reference non-patent document 2): Mitsuhiro Hayashibe, Naoki Suzuki, Makoto Hashizume, Kozo Konishi, Asaki Hattori, “Robotic surgery setup simulation with the integration of inverse-kinematics computation and medical imaging”, computer methods and programs in biomedicine, 2006, P63-P72
(Reference non-patent document 3) Pal Johan From, “On the Kinematics of Robotic-assisted Minimally Invasive Surgery”, Modeling Identification and Control, Vol.34, No.2, 2013, P69-P82
図8は、ロボット手術支援装置100によるポート位置スコアを算出する場合の動作例を示すフローチャートである。
FIG. 8 is a flow chart showing an operation example when the robotic
図8の処理前には、図7に示したポート位置シミュレーションのS11~S14と同様に、被検体PSのボリュームデータの取得、手術支援ロボット300のキネマティクスの情報の取得、気腹シミュレーションの実行、及び術式の情報の取得が事前に行われる。また、キネマティクスの情報は、術式に応じて各ロボットアームARに装着された各エンドエフェクタEFの情報が含まれてよい。なお、ポート位置スコアの初期値は値0である。ポート位置スコアは、ポート位置の組み合わせの価値を示す評価関数(評価値)である。なお、変数iは、作業の識別情報の一例であり、変数jは、ポートの識別情報の一例である。 Before the processing of FIG. 8, similarly to S11 to S14 of the port position simulation shown in FIG. , and the acquisition of information on the technique is performed in advance. Also, the kinematics information may include information on each end effector EF attached to each robot arm AR according to the surgical procedure. Note that the initial value of the port location score is zero. A port position score is an evaluation function (evaluation value) that indicates the value of a combination of port positions. The variable i is an example of work identification information, and the variable j is an example of port identification information.
ポート位置処理部164は、術式に応じて、各エンドエフェクタEFを用いた作業work_iのリストである作業リストworksを生成する(S21)。作業work_iには、術式に従った手術手順で各エンドエフェクタEFが作業するための情報が含まれる。作業work_iには、例えば把持、切除、縫合等が含まれてよい。なお、作業には、単一のエンドエフェクタEFによる単独作業、複数のエンドエフェクタEFによる協調作業、が含まれてよい。
The port
ポート位置処理部164は、術式及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために最低限必要な領域である最小領域least_region_iを計画する(S22)。最小領域は、被検体PSにおける3次元領域で定められてよい。ポート位置処理部164は、最小領域least_region_iのリストである最小領域リストLeast_regionsを生成する(S22)。
The port
ポート位置処理部164は、術式、手術支援ロボット300のキネマティクス、及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために推奨される領域である推奨領域effective_region_iを計画する(S23)。ポート位置処理部164は、推奨領域effective_region_iのリストである推奨領域リストeffective_regionsを生成する(S23)。推奨領域には、作業を行うための最低限の空間(最小領域)とともに、例えばエンドエフェクタEFが動作するために推奨される空間が含まれてよい。
The port
ポート位置処理部164は、複数のポート位置port_jのリストであるポート位置リストportsの情報を取得する(S24)。ポート位置は、3次元座標(x,y,z)で定められてよい。ポート位置処理部164は、例えば、UI120を介してユーザ入力を受け付け、ユーザにより指定された1つ以上のポート位置を含むポート位置リストportsを取得してよい。ポート位置処理部164は、メモリ150にテンプレートとして保持されたポート位置リストportsを取得してもよい。
The port
ポート位置処理部164は、術式、手術支援ロボット300のキネマティクス、仮想気腹状態のボリュームデータ、及び取得された複数のポート位置に基づいて、各作業work_iについて、各ポート位置port_jを介して各エンドエフェクタEFが作業可能な領域であるポート作業領域region_iを計画する(S25)。ポート作業領域は、3次元領域で定められてよい。ポート位置処理部164は、ポート作業領域region_iのリストであるポート作業領域リストregionsを生成する(S25)。
Based on the surgical procedure, the kinematics of the
ポート位置処理部164は、作業work_i毎に、最小領域least_region_iからポート作業領域region_iから引いて、減算領域(減算値)を算出する(S26)。ポート位置処理部164は、減算領域が空領域(減算値が負の値)でないか否かを判定する(S26)減算領域が空領域でないか否かは、最小領域least_region_i内の少なくとも一部に、ポート作業領域region_iに覆われていない領域(ポートPTを介してエンドエフェクタEFが到達しない領域)が存在する否かを示している。
The port
減算領域が空領域である場合、ポート位置処理部164は、推奨領域effective_region_iとポート作業領域region_iとの積である体積値Volume_iを算出する(S27)。そして、ポート位置処理部164は、作業work_i毎に算出された体積値Volume_iを合計し、合計値Volume_sumを算出する。ポート位置処理部164は、合計値Volume_sumをポート位置スコアに設定する(S27)。
If the subtraction region is an empty region, the port
つまり、減算領域が空領域である場合、最小領域内にポート作業領域に覆われていない領域が存在せず、このポート位置リストports(ポート位置port_jの組み合わせ)が選択されることが好ましいので、このポート位置リストが選択され易くように、ポート位置スコアに作業work_i毎の値が加算される。また、体積Volume_iを基準にポート位置スコアが計画されることで、最小領域やポート作業領域が大きい程、ポート位置スコアが大きくなり、このポート位置リストportsが選択され易くなる。よって、ポート位置処理部164は、最小領域やポート作業領域が大きく、手術における各処置が容易になるポート位置の組み合わせを選択し易くできる。
That is, when the subtraction area is an empty area, there is no area not covered by the port work area in the minimum area, and it is preferable that this port position list ports (a combination of port positions port_j) is selected. A value for each work work_i is added to the port location score so that this port location list is likely to be selected. Also, by planning the port position score based on the volume Volume_i, the larger the minimum area and the port work area, the larger the port position score, and this port position list ports becomes more likely to be selected. Therefore, the port
一方、減算領域が空領域でない場合、ポート位置処理部164は、ポート位置リストportsについてのポート位置スコアを、値0に設定する(S28)。つまり、最小領域内の少なくとも一部にポート作業領域に覆われていない領域が存在し、対象の作業work_iの作業を完結できない可能性があるので、このポート位置リストPostsが選択されることが好ましくない。そのため、ポート位置処理部164は、このポート位置リストPostsが選択されにくくなるように、ポート位置スコアを値0とし、選択候補から除外する。この場合、ポート位置処理部164は、同じポート位置リストportsを用いて他の作業work_iを行う場合に空領域となっても、全体でのポート位置スコアを値0に設定する。
On the other hand, if the subtraction area is not an empty area, the port
なお、ポート位置処理部164は、全ての作業work_iについて図8の各ステップを繰り返し、全作業work_iを加味したポート位置スコアを算出してよい。
Note that the port
このように、ロボット手術支援装置100は、ポート位置スコアを導出することで、被検体PSの体表上に設けられる複数のポート位置を用いてロボット手術する場合に、穿孔候補のポート位置の組み合わせが、どの程度適切であるかを把握できる。個別ワーキングエリアWA1や全体ワーキングエリアWA2は、穿孔対象となる複数のポートの配置位置によって左右される。この場合でも、手術支援ロボット300は、複数のポート位置の組み合わせ毎のスコア(ポート位置スコア)を加味することで、例えばポート位置スコアが閾値th1以上(例えば最大)となる複数のポート位置の組み合わせを導出でき、ロボット手術を実施し易いポート位置を設定できる。
In this way, by deriving the port position score, the robotic
また、ポート位置スコアに基づいてワーキングエリアが適切に確保されることで、ユーザは、ロボット手術において直接目視できない被検体内での視野を広く確保でき、ポート作業領域を広く確保でき、不測の事態に対処し易くなる。 In addition, by appropriately securing the working area based on the port position score, the user can secure a wide field of view inside the subject that cannot be directly viewed in robotic surgery, and a wide port working area, which can prevent unexpected situations. easier to deal with.
また、ロボット手術では、穿孔されたポート位置は不変であるが、ポート位置に挿入されるエンドエフェクタが装着されるロボットアームARは所定範囲で移動可能である。そのため、ロボット手術では、計画されるポート位置によっては、ロボットアームARが相互に干渉し得るので、ポート位置の計画は重要である。また、手術支援ロボット300と被検体PSとの位置関係を術中に変更することは原則的に行われないので、ポート位置の計画は重要である。
In addition, in robotic surgery, the position of the perforated port remains unchanged, but the robot arm AR, to which the end effector inserted into the port position is mounted, is movable within a predetermined range. Therefore, port location planning is important in robotic surgery, as robot arms AR can interfere with each other depending on the planned port location. Also, since the positional relationship between the
図9は、ポート位置を基に定められるワーキングエリアの一例を示す図である。個別ワーキングエリアWA1は、各ポート位置port_jに対応する個別のワーキングエリアである。個別ワーキングエリアWA1は、個別のエンドエフェクタが到達可能な被検体PS内の領域でよい。各個別ワーキングエリアWA1が重複するエリアが、全体ワーキングエリアWA2である。全体ワーキングエリアWA2は、ポート作業領域region_iに相当してよい。ロボット手術支援装置100は、ポート位置スコアを用いることで、各ポート位置を最適化でき、好適な個別ワーキングエリアWA1及び全体ワーキングエリアWA2を導出できる。
FIG. 9 is a diagram showing an example of working areas determined based on port positions. Individual working area WA1 is an individual working area corresponding to each port position port_j. The individual working area WA1 may be an area within the subject PS that is reachable by an individual end effector. The area where each individual working area WA1 overlaps is the overall working area WA2. The entire working area WA2 may correspond to the port working area region_i. By using the port position score, the robotic
次に、ポート位置調整の詳細について説明する。 Next, the details of port position adjustment will be described.
ポート位置処理部164は、例えばメモリ150に保持されたテンプレートやUI120を介したユーザ指示を基に、複数のポート位置(候補位置)の情報を取得する。ポート位置処理部164は、取得された複数のポート位置の組み合わせに基づいて、この複数のポート位置を用いた場合のポート位置スコアを算出する。
The port
ポート位置処理部164は、ポート位置スコアに基づいて、ポートPTの位置を調整してよい。この場合、ポート位置処理部164は、取得された複数のポート位置の場合のポート位置スコアと、この複数のポート位置のうちの少なくとも1つのポート位置を変更した場合のポート位置スコアと、に基づいて、ポートPTの位置を調整してよい。この場合、ポート位置処理部164は、3次元空間での各方向(x方向、y方向、z方向)に沿ったポート位置の微小移動や微分を加味してよい。
The port
なお、x方向は、被検体PSを基準とした左右方向に沿ってよい。y方向は、被検体PSを基準とした前後方向(被検体PSの厚み方向)でよい。z方向は、被検体PSを基準とした上下方向(被検体PSの体軸方向)でよい。x方向、y方向、z方向は、DICOM(Digital Imaging and COmmunications in Medicine)で規定された3方向でよい。x方向、y方向、z方向は、これ以外の方向でもよく、被検体PSを基準にしない方向でもよい。 Note that the x direction may be along the horizontal direction with respect to the subject PS. The y direction may be the front-rear direction (thickness direction of the subject PS) with respect to the subject PS. The z direction may be the vertical direction (body axis direction of the subject PS) with respect to the subject PS. The x-direction, y-direction, and z-direction may be three directions defined by DICOM (Digital Imaging and COmmunications in Medicine). The x-direction, y-direction, and z-direction may be directions other than these, and may be directions that are not based on the subject PS.
例えば、ポート位置処理部164は、(式1)に従って、複数のポート位置に対して、ポート位置スコアF(ports)を算出し、Fの微分値F’を算出してよい。
For example, the port
F(port_j(x+Δx, y, z)) - F(port_j(x, y, z))
F(port_j(x, y+Δy, z)) - F(port_j(x, y, z)) ・・・(式1)
F(port_j(x, y, z+Δz)) - F(port_j(x, y, z))
F(port_j(x+Δx, y, z)) - F(port_j(x, y, z))
F(port_j(x, y+Δy, z)) - F(port_j(x, y, z)) ・・・(Formula 1)
F(port_j(x, y, z+Δz)) - F(port_j(x, y, z))
つまり、ポート位置処理部164は、ポート位置F(port_j(x+Δx, y, z))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるx方向の微小変化に対するポート位置スコアFの変化を示し、つまり、x方向のFの微分値F’を示す。
That is, the port
また、ポート位置処理部164は、ポート位置F(port_j(x, y+Δy, z))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるy方向の微小変化に対するポート位置スコアFの変化を示し、つまり、y方向のFの微分値F’を示す。
In addition, the port
また、ポート位置処理部164は、ポート位置F(port_j(x, y, z+Δz))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるz方向の微小変化に対するポート位置スコアFの変化を示し、つまり、z方向のFの微分値F’を示す。
In addition, the port
ポート位置処理部164は、各方向の微分値F’に基づいて、ポート位置スコアの最大値を算出する。この場合、ポート位置処理部164は、微分値F’に基づいて、再急降下法に従ってポート位置スコアが最大となるポート位置を算出してよい。ポート位置処理部164は、算出されたポート位置を穿孔対象の位置とするように、ポート位置を調整し、ポート位置を最適化してよい。なお、ポート位置スコアが最大となるポート位置でなくても、例えばポート位置スコアが閾値th1以上となる位置でもよく、ポート位置スコアが改善されれば(高くなれば)よい。
The port
ポート位置処理部164は、このようなポート位置の調整を、複数のポート位置の組み合わせに含まれる他のポート位置の調整に適用したり、複数のポート位置の他の組み合わせにおけるポート位置の調整に適用したりしてよい。これにより、ポート位置処理部164は、各ポート位置が調整された(例えば最適化された)複数のポートPTを、穿孔対象のポート位置に計画できる。このように、ロボット手術支援装置100は、自動でポート位置を調整し、ポート位置を計画できる。
The port
なお、複数のポート位置(ポート位置の座標)は、穿孔予定位置と実際の穿孔位置とで所定長(例えば25mm)程度の誤差が生じ得、またポート位置の計画精度は精々3mmあれば十分であると考えられる。そのため、ポート位置処理部164は、被検体PSの体表において所定長毎に、ポート位置の組み合わせに含まれる複数のポート位置を総当たりで穿孔予定位置とし、この複数のポート位置についてのポート位置スコアをそれぞれ算出してよい。つまり、被検体PSの体表における所定長(例えば3mm)の格子状(グリッド)に、穿孔予定位置が配置されてよい。また、体表上に仮定されるポート数(例えば格子状の交点の数)がn個であり、ポート位置の組み合わせに含まれるポート数がm個である場合、ポート位置処理部164は、n個のポート位置からm個のポート位置を順番に選択して組み合わせ、それぞれの組み合わせでのポート位置スコアを算出してよい。このように、3mm間隔の格子状のようにグリッドが過度に細かくない場合には、ポート位置処理部164の計算負荷が過大となることを抑制でき、全組み合わせのポート位置スコアを算出可能である。
It should be noted that a plurality of port positions (coordinates of the port positions) may have an error of about a predetermined length (for example, 25 mm) between the planned drilling position and the actual drilling position, and the planning accuracy of the port positions is at most 3 mm. It is believed that there is. Therefore, the port
なお、ポート位置処理部164は、公知の方法に従って、複数のポート位置の調整を行ってよい。ポート位置処理部164は、穿孔対象のポート位置を、調整後のポート位置の組み合わせに含まれる複数のポート位置に計画してよい。ポート位置調整の公知の方法は、以下の参考非特許文献4,5及び参考特許文献3に記載された技術を含んでよい。
Note that the port
(参考非特許文献4)Shaun Selha、Pierre Dupont, Robert Howe, David Torchiana, “Dexterity optimization by port placement in robot-assisted minimally invasive surgery”, SPIE International Symposium on Intelligent Systems and Advanced Manufacturing, Newton, MA, 28-31, 2001
(参考非特許文献5)Zhi Li, Dejan Milutinovic, Jacob Rosen, “Design of a Multi-Arm Surgical Robotic System for Dexterous Manipulation”, Journal of Mechanisms and Robotics, 2016
(参考特許文献3)米国特許出願公開第2007/0249911明細書
(Reference non-patent document 4) Shaun Selha, Pierre Dupont, Robert Howe, David Torchiana, “Dexterity optimization by port placement in robot-assisted minimally invasive surgery”, SPIE International Symposium on Intelligent Systems and Advanced Manufacturing, Newton, MA, 28- 31, 2001
(Reference non-patent document 5) Zhi Li, Dejan Milutinovic, Jacob Rosen, “Design of a Multi-Arm Surgical Robotic System for Dexterous Manipulation”, Journal of Mechanisms and Robotics, 2016
(Reference Patent Document 3) US Patent Application Publication No. 2007/0249911
次に、ポートPTの位置決めを行うための位置決め治具50について説明する。位置決め治具50は、3次元位置決めデバイスの一例である。
Next, the
ロボット手術の手術中又は手術前には、ポート位置が計画され、位置決め治具50を用いて、計画されたポート位置にポートPTの位置決めが行われてよい。そして、位置決めされた位置にマーキングが施され、マーキングされた位置にポートPTが穿孔されてよい。
During or before robotic surgery, port locations may be planned and the
ポートPTの位置(ポート配置)の計画(Port placement planning)は、手術計画におけるポート位置の決定すること、シミュレーション上でポート位置を定めること、を含んでよい。また、ポートの位置決め(port positioning)は、手術計画におけるポート配置に従って体表を計測し、位置を定めてポートPTを設置することを含んでよい。また、ポートの位置決めは、実際に位置決め治具50を用いて体表上に具体的にポートPTの穿孔位置を計測しマーキングすること、又はマーキングを省略してポートを穿孔すること、を含んでよい。ポートPTの穿孔は、具体的に被検体PSの体表に孔を開けてトロッカーTCを挿入すること、を含んでよい。マーキングは、ポートPTの穿孔前にポート位置にマーカーなどで印をつけることを含んでよい。
Port placement planning of the positions (port placements) of the ports PT may include determining the port positions in the surgical plan and defining the port positions on the simulation. Port positioning may also include measuring and positioning the body surface to place the port PT according to the port placement in the surgical plan. Positioning of the port includes actually measuring and marking the piercing position of the port PT on the body surface using the
本実施形態のロボット手術支援装置100は、術前シミュレーションに機能を追加し、位置決め治具50を使用するためのパラメータを出力する。このパラメータは、位置決め治具50を用いて複数のポートPTの計画位置を特定するためのポート位置特定情報の一例である。パラメータの出力例として、例えば、第1出力例~第4出力例が挙げられる。第1出力例~第4出力例において説明する位置決め治具50A,50B,50C,50Dは、位置決め治具50の一例である。
The robotic
(パラメータの第1出力例)
図10は、パラメータの第1出力例における位置決め治具50Aの一例を示す図である。位置決め治具50Aは、弾性材料で形成された板状テンプレートである。弾性材料は、例えば、ステンレス、弾性樹脂でよい。位置決め治具50Aは、術式毎に予め用意されてよい。位置決め治具50Aの形状は、術式に応じて定まっていてよい。なお、図10に示す位置決め治具50Aの形状は一例であり、他の形状であってもよい。
(First output example of parameters)
FIG. 10 is a diagram showing an example of the
位置決め治具50Aは、標識部Mhs、ポート識別標識Pid、ランドマークLM、及びスケールSCを備える。
The
標識部Mhsは、被検体PSの臍hsと位置合わせするための標識を有する。なお、臍hsは、被検体PSと位置決め治具50Aとを位置合わせするための基準位置の一例である。なお、基準位置は、臍hs以外の他の位置であってもよい。標識部Mhsを示す情報は、図10では半円弧状のマークであるが、他の形状のマークでもよいし、記号で示されてもよいし、その他の情報により示されてもよい。
The marker Mhs has a marker for alignment with the navel hs of the subject PS. The navel hs is an example of a reference position for aligning the subject PS and the
ポート識別標識Pidは、位置決めされるポートPTを識別するための識別情報である。ポート識別標識は、カメラポートPTCやエンドエフェクタポートPTEの識別情報(例えばポートA,B,C,D,E)、助手用の補助ポートPTAの識別情報(例えば「assist」)、を含んでよい。 The port identification mark Pid is identification information for identifying the positioned port PT. Port identifications may include camera port PTC, end effector port PTE identification (e.g., ports A, B, C, D, E), assistant port PTA identification (e.g., "assist"). .
ランドマークLMは、位置計測カメラ(例えば深度センサ410のカメラ)により基準点として撮像される点である。ランドマークLMを示す情報は、様々な形状のマークであってよい。ランドマークLMは、1つ存在しても複数存在してもよく、図10では5つ存在している。 The landmark LM is a point captured as a reference point by a position measurement camera (for example, the camera of the depth sensor 410). The information indicating the landmark LM may be marks of various shapes. One or a plurality of landmarks LM may be present, and five are present in FIG.
スケールSCは、所定間隔に配列された目盛りを有してもよいし、所定の位置に長さを示す情報(例えば目盛りの数字に相当する数字情報)を有してもよい。位置決め治具50Aは、スケールSCの値(スケールSCにおける位置)によって、ポートPTの位置を特定してよい。
The scale SC may have graduations arranged at predetermined intervals, or may have information indicating the length (for example, numerical information corresponding to the numbers on the graduations) at predetermined positions. The
図11は、位置決め治具50Aが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図11に示すように、位置決め治具50Aは、弾性により被検体PSの体表に沿って曲がって配置される。
FIG. 11 is a diagram showing an example of an axial section of the abdomen of the subject PS on which the
図12は、パラメータの第1出力例におけるロボット手術支援装置100による動作例を示すフローチャートである。
FIG. 12 is a flowchart showing an operation example of the robotic
まず、ポート位置処理部164は、仮想気腹状態のボリュームデータを用いて、位置決め治具50Aを設置するための基準位置の情報を取得する(S31)。基準位置は、3次元位置でよく、被検体PSの臍hsの位置でよい。
First, the port
ポート位置処理部164は、位置決め治具50Aに関する治具情報を取得する。治具情報は、メモリ150に保持されていてもよいし、通信部110を介して外部サーバから取得されてもよい。治具情報は、位置決め治具50Aの形状やサイズの情報を含んでよい。位置決め治具50Aの形状は、曲げられたり伸縮したりしていない標準的な形状を示してよい。治具情報は、位置決め治具50Aの材料の情報(例えば弾性樹脂の情報)や材料に関するパラメータの情報(例えば弾性率、気腹による変形量の情報)を含んでよい。治具情報は、複数種類存在する位置決め治具50Aの型番を含んでよい。
The port
ポート位置処理部164は、基準位置に合わせて位置決め治具50Aを設置するための治具設置シミュレーションを実行する(S32)。治具設置シミュレーションでは、ポート位置処理部164は、仮想空間において、基準位置に位置決め治具50Aの標識部Mhsを合わせて位置決め治具50Aを設置する。被検体PSに位置決め治具50Aが設置された様子は、ディスプレイ130等を介して確認可能である。なお、被検体PSが非気腹状態である場合、取得された位置決め治具50Aの形状データが用いられてよい。被検体PSが非気腹状態である場合、取得された位置決め治具50Aの形状データに、気腹による変形量や伸張量が加味された形状データが用いられてよい。ポート位置処理部164は、治具設置シミュレーションにより、被検体PSにおける位置と位置決め治具50Aにおける位置とを対応付ける。
The port
ポート位置処理部164は、位置決め治具50Aを加味したポート位置シミュレーション又はポート位置調整を行う(S33)。この場合、ポート位置処理部164は、位置決め治具50Aを加味したポート位置シミュレーション又はポート位置調整では、位置決め治具50Aの設置位置や形状に基づいて、穿孔対象のポート位置を計画(例えば算出)する。例えば、ポート位置処理部164は、位置決め治具50Aと重複する被検体PSにおける体表上の範囲や、位置決め治具50Aでは到達しない範囲(位置決め不可能な範囲)を除外して、ポート位置を計画してよい。このように、このポート位置シミュレーション又はポート位置調整では、ポート位置が位置決め治具50Aで設定可能な位置に限定され得る。
The port
ポート位置処理部164は、計画された各ポート位置の、前記位置決め治具50Aにおける位置を示すパラメータを出力する(S34)。このパラメータは、「ポートA:13mm」、「ポートassist:107mm」、等の形式でよい。この場合、ポート識別標識Pidが「A」であり、このポート用のスケールSCの13mmの値の位置に、ポートAの位置が特定されてよい。ポート識別標識Pidが「assist」であり、このポート用のスケールSCの107mmの値の位置に、ポートassitの位置が特定されてよい。つまり、ポートPTの位置を具体的に示す値が、パラメータとして出力されてよい。
The port
S34では、ポート位置処理部164は、例えばディスプレイ130にパラメータを出力してよい。つまり、ディスプレイ130は、パラメータに係るポートPTの位置を具体的に示す値を表示してよい。この表示がユーザに確認されてよい。そして、ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Aを設置し、位置決め治具50AのスケールSCにおける値によって指示された体表の位置を穿孔し、被検体PSにポートPTを設置してよい。
In S34, the
図13は、位置決め治具50Aが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。位置決め治具50Aは、標識部Mhsを基準に被検体PSと位置合わせされ、体表に設置される。設置された位置決め治具50AのスケールSCにおいて、導出されたパラメータとしてのスケールSCの値によって、各ポートA,B,C,D,E,assistの詳細な位置が特定される。そして、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Aによって位置決めされたポートPTを穿孔可能である。
FIG. 13 is a diagram showing an example of a state in which the subject PS on which the
このように、パラメータの第1出力例によれば、ロボット手術支援装置100は、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50Aに関するパラメータを出力できる。よって、ユーザは、例えば術式に応じた所定の形状を有する位置決め治具50Aを用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。
Thus, according to the first output example of the parameters, the robotic
また、ポート位置処理部164は、気腹シミュレーション結果を基に、気腹によって位置決め治具50がどの程度曲がったり伸縮したりするかを類推して、パラメータを生成して出力してよい。この場合、ポート位置処理部164は、位置決め治具50に設定可能なポート位置の範囲に限定して、ポート位置シミュレーションやポート位置調整を行ってよい。例えば、ポート位置処理部164は、位置決め治具50の設置位置とポート位置とが重複するポート位置を除外したり、位置決め治具50の設置範囲から遠いポート位置を除外したり、位置決め治具50のスケールSCの範囲内でないポート位置は除外したりして、ポート位置を計画してよい。位置決め治具50のテンプレート形状は、術式によって定まってよい。
Further, the port
ロボット手術支援装置100は、パラメータの取り得る値を制限することで、パラメータを導出するための計算範囲を制限可能であり、計算を高速化できる。また、ロボット手術支援装置100は、意図しないパラメータが出力される可能性は減らせることができ、位置決め治具50によってポート位置の位置決めが不能となる事態の発生を抑制できる。
By limiting the possible values of the parameters, the robotic
なお、パラメータの第1出力例の位置決め治具50Aは、予め用意されるのではなく、第2出力例のように、出力パラメータ(形状データ)を基に生成されてもよい。
The
(パラメータの第2出力例)
パラメータの第2出力例では、パラメータの第1出力例と同様の事項については、その説明を省略又は簡略化する。
(Second output example of parameters)
In the second parameter output example, descriptions of items similar to those in the first parameter output example are omitted or simplified.
図14は、パラメータの第2出力例における位置決め治具50Bの一例を示す図である。位置決め治具50Bは、レーザ加工機や3Dプリンタにより都度生成されてよい。位置決め治具50Bは、複数の板(板部材)が加工され、複数の板がテープtp等により連結されて形成されてよい。位置決め治具50Bは、1枚の板が加工され、一枚の板が一部折り曲げられるように溝加工されてよい。溝加工により一枚の板の位置決め治具50Bが折り曲げられてよい。1枚又は複数の板は、例えば硬性材料やその他の材料で形成されてよい。硬性材料は、ステンレスでよく、硬質樹脂でよく、ポリプロピレン、ポリエチレン、硬質塩化ビニル、等でよい。1枚又は複数の板は、その一部に弾性材料があってもよい。
FIG. 14 is a diagram showing an example of the
位置決め治具50Bは、予め用意されておらず、パラメータとしての形状データや模様データに基づいて生成される。
The
位置決め治具50Bは、標識部Mhs、ポート識別標識Pid、ランドマークLM、及びポート位置指示部を備える。ポート位置指示部は、位置決め治具50Bの形状や標識により、ポート位置を指し示す。ポート位置指示部は、ポート位置を指し示す突起51、切欠き、ポート位置指示標識51Aを有してよい。また、ポート位置指示部は、突起51によりポート位置を1点で指し示すのではなく、突起51Bによりポート位置の範囲を指し示してもよい。突起51Bでは、三角形の頂点の一部が削除されて台形のような形状を有してよい。ポート位置の範囲は、ポートの穿孔において許容される誤差の範囲と同じ又は対応してよい。この許容誤差の範囲は、例えば、計画される各ポート位置を移動した場合のポート位置スコアの低下量に基づいて規定されてよい。
The
図15は、位置決め治具50Bが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図15に示すように、位置決め治具50Bは、被検体PSの体表に沿って折れ曲がって配置される。
FIG. 15 is a diagram showing an example of an axial section of the abdomen of the subject PS on which the
図16は、パラメータの第2出力例におけるロボット手術支援装置100による動作例を示すフローチャートである。
FIG. 16 is a flow chart showing an operation example of the robotic
まず、ポート位置処理部164は、仮想気腹状態のボリュームデータを用いて、位置決め治具50Aを設置するための基準位置の情報を取得する(S41)。基準位置は、3次元位置でよく、被検体PSの臍hsの位置でよい。
First, the port
ポート位置処理部164は、ポート位置シミュレーション又はポート位置調整を行い、穿孔対象のポート位置を導出(例えば算出)する(S42)。つまり、ポート位置処理部164は、ポート位置を計画する。ここでは、S41において基準位置が定まっている。ポート位置処理部164は、仮想的に、位置決め治具50の標識部Mhsと取得された基準位置との位置合わせを行い、導出された被検体PSにおけるポート位置を基に、位置決め治具50におけるポート位置を導出(例えば算出)する。
The port
ポート位置処理部164は、導出された各ポート位置を指示可能となる位置決め治具50Bの形状を示すパラメータ(例えば形状データ)を出力する(S43)。各ポート位置の指示は、位置決め治具50Bのポート位置指示部により行われる。また、位置決め治具50Bの形状を示すパラメータは、各ポート位置を指示するポート位置指示部を有する板(位置決め治具50Bの一部の部材)の組み合わせの情報と、各板の形状データと、を示すパラメータを含んでよい。つまり、1つの板状部材により位置決め治具50Bが生成されてもよいし、複数の板状部材が組み合わされて位置決め治具50Bが生成されてもよい。
The port
出力されたパラメータは、3Dプリンタやレーザ加工機に入力されてよい。3Dプリンタやレーザ加工機は、入力されたパラメータ(例えば位置決め治具50Bの形状データや、各板の組み合わせと各板の形状とのデータ)に基づいて、位置決め治具50Bを生成してよい。3Dプリンタやレーザ加工機は、各板の形状データに基づいて各板を生成し、各板の組み合わせの情報に基づいて各板を組み合わせて、位置決め治具50Bを生成してよい。なお、位置決め治具50Bの形状データは、位置決め治具50Bのサイズのデータも含んでよい。そして、ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Bを設置し、位置決め治具50Bの形状(例えば突起51,51B,切欠き)や模様(例えばポート位置指示標識)が指示する位置を穿孔し、被検体PSにポートPTを設置してよい。
The output parameters may be input to a 3D printer or laser processing machine. The 3D printer or laser processing machine may generate the
なお、ロボット手術支援装置100の通信部110と3Dプリンタやレーザ加工機の通信部とが、通信により形状データ等を受け渡してよい。また、形状データ等は、記憶媒体を介して受け渡しされてもよい。
Note that the
図17は、位置決め治具50Bが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。導出されたパラメータとしての形状データを基に、位置決め治具50Bが生成される。形状データでは、各ポートA,B,C,D,E及び補助ポートPTAを指示するポート位置指示部の形状や位置決め治具50Bにおけるポート位置指示部の位置が加味されている。これにより、位置決め治具50Bにおける各ポート位置指示部は、各ポートA,B,C,D,E及び補助ポートPTAを指示し、ポート位置を特定できる。よって、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Aによって位置決めされたポートPTを穿孔可能である。
FIG. 17 is a diagram showing an example of a state in which the subject PS on which the
このように、パラメータの第2出力例によれば、ロボット手術支援装置100は、予め用意された位置決め治具50Bを用いてポート位置を特定する以外であっても、位置決め治具50Bの形態(例えば形状、模様、色彩)によってポート位置を特定可能である。この場合、ロボット手術支援装置100は、パラメータが指示する位置決め治具50Bの形状データや模様データを他装置(例えば3Dプリンタ、レーザー加工機)に提供することで、形状データや模様データに基づく位置決め治具50Bを生成させることができる。
As described above, according to the second output example of the parameter, the robotic
また、ポート位置シミュレーションやポート位置調整の結果によりポートの計画位置が導出され、ポートの計画位置に応じて位置決め治具50Bの形状が導出されるので、例えば、手術の度に毎回異なる位置決め治具50Bが生成されてよい。この場合、手術毎に位置決め治具50Bが生成され、使い捨てされてよい。また、被検体PS毎に位置決め治具50Bが生成され、使い捨てされてよい。これにより、位置決め治具50Bの使用時に位置決め治具50Bの清潔性が保たれるので、ロボット手術支援装置100は、オートクレープ等で滅菌するための手間や時間を低減できる。
In addition, the planned position of the port is derived from the results of port position simulation and port position adjustment, and the shape of the
なお、パラメータの第2出力例の位置決め治具50Bは、出力パラメータ(形状データ)を基に生成されるのではなく、第2出力例のように、予め用意されてもよい。つまり、予め用意された位置決め治具50Bを用いて、ポート位置を特定するためのパラメータが導出され、導出されたパラメータを用いて、位置決め治具50Bによってポート位置が詳細に指示されてもよい。
The
また、形状データを基に位置決め治具50が一から生成されなくてもよい。この場合、複数の板(位置決め治具50の部品)が用意されており、ポート位置処理部164は、導出された形状データを基に、どの板を組み合わせて位置決め治具50Bを生成するかを決定してもよい。つまり、ポート位置処理部164は、複数の板状部材のうち位置決め治具50Bを生成するための板状部材を選択する選択情報を、パラメータとして出力してもよい。この場合でも、各板を組み合わせすることで位置決め治具50Bを生成できる。
Also, the
(パラメータの第3出力例)
パラメータの第3出力例では、パラメータの第1出力例,第2出力例と同様の事項については、その説明を省略又は簡略化する。
(Third output example of parameters)
In the third parameter output example, descriptions of items similar to those in the first and second parameter output examples are omitted or simplified.
図18は、パラメータの第1出力例における位置決め治具50Cの一例を示す図である。
FIG. 18 is a diagram showing an example of the
位置決め治具50Cは、伸縮性材料で形成された伸縮性領域D1と、伸縮性領域D1の両端に形成され、非伸縮性材料で形成された非伸縮性領域D2と、を有する。非伸縮性材料は、伸縮性材料よりも伸縮性が小さい。伸縮性材料は、例えば、布、伸縮性樹脂、ゴムでよい。伸縮性樹脂は、ビニール(例えばポリ塩化ビニル)を含んでよい。伸縮性材料は、弾性材料であってもよい。つまり、伸縮性領域D1は、伸縮性を有し、弾性を有してもよい。非伸縮性材料は、硬性材料であってもよい。つまり、伸縮性領域D1は、伸縮性を有さず、硬性を有してもよい。位置決め治具50Cは、伸縮性領域D1が巻かれたり展開されたりして、巻物のように使用可能である。非使用時には巻かれて収容される。使用時には展開されてポートPTの位置決めに利用される。
The
位置決め治具50Cは、透光性を有してよく、透明材料、半透明材料で形成されてよい。位置決め治具50Cが透光性を有する場合、位置決め50Cが被検体PSの体表に設置されても、ユーザは、位置決め治具50Cを介して被検体PSの体表面や体内を目視できる。よって、位置決め治具50Cを用いた作業性が向上し、位置決め精度が向上し、位置決め時の安全性にも配慮できる。
The
位置決め治具50Cは、孔の開いた部位を有していてよく、孔の開いた部位がポート位置指定部であってよい。また、孔の開いた部位は、多数の孔を含んで構成されていてもよい。また、孔の開いた部位は、一つの孔で構成されていてもよい。位置決め治具50Cが孔の開いた部位を有する場合、位置決め治具50Cが被検体PSの体表に設置されたときに、ユーザは、位置決め治具50Cの上から、被検体PSの体表にマーキングできる。
The
位置決め治具50Cは、予め用意されてよい。位置決め治具50Cは、術式毎に又は術式に依らず共通に予め用意されてよい。位置決め治具50Cは、術式毎に又は術式毎に予め用意されてよい。位置決め治具50Cの形状は、矩形以外の形状であってもよい。
The
位置決め治具50Cは、伸縮性領域D1に、標識部Mhs、ポート識別標識Pidを備える。また、位置決め治具50Cには、導出されたパラメータ(後述)に基づいて、計画されたポート位置を指定するためのポート位置指定部が設けられる。位置決め治具50Cには、伸縮性領域D1における計画されたポート位置に対応する位置が穿孔されたりマーキングされたりしてよい。つまり、ポート位置指定部は、伸縮性領域D1の開口部やマーキング部Mpであってよい。図18では、マーキング部Mpが例示されている。
The
また、位置決め治具50Cのポート位置指定部(例えば開口部又はマーキング部Mp)が設けられた後には、このポート位置指定部を目印にしてポート位置指定部の位置をポート位置として穿孔できる。つまり、ユーザは、位置決め治具50Cのポート位置指定部を用いて位置決めすることで、計画されたポート位置を容易に穿孔できる。この場合、伸縮性領域D1の一部を切ったり破いたりして体表にポートPTが設置され得る。そのため、位置決め治具50Cを一度設置した後には、手術終了まで位置決め治具50Cを取り除くことが不要となり、ロボット手術支援装置100は、術者や助手への負担を低減できる。
Also, after the port position designating portion (for example, opening or marking portion Mp) of the
図19は、位置決め治具50Cが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図19に示すように、位置決め治具50Aは、伸縮性により被検体PSの体表に沿って曲がって配置される。位置決め治具50Aが被検体PSの体表に配置される際には、ユーザが位置決め治具50Aの非伸縮性領域D2の部分を持って引っ張り、位置決め治具50Aを展開させてよい。非伸縮性領域D2が存在することで、非伸縮性領域D2を持ってユーザが操作でき、伸縮性領域D1を安定して設置することができる。
FIG. 19 is a diagram showing an example of an axial section of the abdomen of the subject PS on which the
図20は、パラメータの第3出力例におけるロボット手術支援装置100による動作例を示すフローチャートである。
FIG. 20 is a flow chart showing an operation example of the robotic
まず、ポート位置処理部164は、仮想気腹状態のボリュームデータを用いて、位置決め治具50Cを設置するための基準位置の情報を取得する(S51)。基準位置は、3次元位置でよく、被検体PSの臍hsの位置でよい。
First, the port
ポート位置処理部164は、位置決め治具50Cに関する治具情報を取得する。治具情報は、メモリ150に保持されていてもよいし、通信部110を介して外部サーバから取得されてもよい。治具情報は、位置決め治具50Cの形状データを含んでよい。位置決め治具50Cの形状データは、曲げられたり伸縮したりしていない標準的な形状を示してよい。治具情報は、位置決め治具50Cの材料の情報(例えば布の情報)や材料に関するパラメータの情報(例えば弾性率、伸縮率、気腹による変形量や伸張量の情報)を含んでよい。
The port
ポート位置処理部164は、基準位置に合わせて位置決め治具50Cを設置するための治具設置シミュレーションを実行する(S52)。治具設置シミュレーションでは、ポート位置処理部164は、仮想空間において、基準位置に標識部Mhsを合わせて位置決め治具50Cを設置する。被検体PSに位置決め治具50Cが設置された様子は、ディスプレイ130等を介して確認可能である。なお、被検体PSが非気腹状態である場合、取得された位置決め治具50Cの形状データが用いられてよい。被検体PSが非気腹状態である場合、取得された位置決め治具50Cの形状データに、気腹による変形量や伸張量が加味された形状データが用いられてよい。ポート位置処理部164は、治具設置シミュレーションにより、被検体PSにおける位置と位置決め治具50Cにおける位置とを対応付ける。
The port
ポート位置処理部164は、位置決め治具50Cを加味したポート位置シミュレーション又はポート位置調整を行う(S53)。この場合、ポート位置処理部164は、位置決め治具50Cを加味したポート位置シミュレーション又はポート位置調整では、位置決め治具50Cの設置位置や形状に基づいて、穿孔対象のポート位置を計画(例えば算出)する。
The port
なお、位置決め治具50Cを用いる場合には、位置決め治具50Aの伸縮性領域D1と計画されたポート位置とが重複してもマーキングしたり穿孔したりすることが可能である。また、位置決め治具50Aは、被検体PSの穿孔対象となり得る腹部全体を覆うことができる。そのため、位置決め治具50Cにより位置決め不能となる位置がほとんど発生しないので、位置決め治具50Cによるポート位置シミュレーション又はポート位置調整の制約はほとんど発生しない。
Note that when the
ポート位置処理部164は、計画された各ポート位置の、位置決め治具50Aにおける位置を示すパラメータを出力する(S54)。このパラメータは、「ポートA、45°、+30mm」、「ポートassist、120°、-45mm」、等の形式でよい。つまり、パラメータは、ポートの位置を極座標形式で示してよい。この場合、ポート識別標識Pidが「A」であり、基準位置(基準方向)から45°の方向において、基準位置から+30mmの位置に、ポートAの位置が特定されてよい。また、ポート識別標識Pidが「assist」であり、基準位置(基準方向)から120°の方向において、基準位置から-45mmの位置に、ポートassitの位置が特定されてよい。つまり、ポートPTの位置を具体的に示す値が、パラメータとして出力されてよい。
The port
S54では、ポート位置処理部164は、例えばディスプレイ130にパラメータを出力してよい。つまり、ディスプレイ130は、パラメータに係るポートPTの位置を具体的に示す値を表示してよい。この表示がユーザに確認されてよい。そして、ユーザが、パラメータに係るポートPTの位置に対応する位置決め治具50Cの位置に、マーキング部Mpや開口部を生成してよい。ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Cを設置し、位置決め治具50Cのマーキング部Mpや開口部を介して穿孔し、被検体PSにポートPTを設置してよい。
In S54, the port
S54では、例えば位置決め治具50Cに情報を印刷するためのプリンタに、パラメータが出力(例えば送信)されてよい。プリンタは、ロボット手術支援装置100からのパラメータの情報を取得し、パラメータに係るポートPTの位置に対応する位置決め治具50Cの位置に、マーキング部Mpを印刷してよい。そして、ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Cを設置し、位置決め治具50Cのマーキング部Mpを介して穿孔し、被検体PSにポートPTを設置してよい。
At S54, the parameters may be output (eg, sent) to, for example, a printer for printing information on the
S54では、例えば位置決め治具50Cに孔を開けるための穿孔機に、パラメータが出力(例えば送信)されてよい。穿孔機は、ロボット手術支援装置100からのパラメータの情報を取得し、パラメータに係るポートPTの位置に対応する位置決め治具50Cの位置を穿孔し、開口部を生成してよい。ユーザが、実空間において、基準位置及び標識部Mhsによって位置合わせして位置決め治具50Cを設置し、位置決め治具50Cの開口部を介して穿孔し、被検体PSにポートPTを設置してよい。
In S54, the parameters may be output (eg, transmitted) to, for example, a drilling machine for drilling holes in the
図21は、位置決め治具50Cが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。位置決め治具50Cは、標識部Mhsを基準に被検体PSと位置合わせされ、体表に設置される。設置された位置決め治具50Cにおいて、導出されたパラメータとしての各ポート位置を示す値(例えば極座標形式の情報)によって、各ポートA,B,C,D,E,assistの詳細な位置が特定され、ポート位置指定部(例えば開口部、マーキング部Mp)が設けられる。そして、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Aによって位置決めされたポートPT(ポート位置指定部の位置)を穿孔可能である。
FIG. 21 is a diagram showing an example of a state in which the subject PS on which the
このように、パラメータの第3出力例によれば、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50Cに関するパラメータを出力できる。よって、ユーザは、位置決め治具50Cを用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。
Thus, according to the third parameter output example, the robotic
また、ロボット手術支援装置100は、極座標形式のパラメータを出力することで、基準位置を基準とした位置や方向(角度)をユーザに直感的に分かり易く出力できる。
Further, by outputting the parameters in the polar coordinate format, the robotic
なお、パラメータの第3出力例の位置決め治具50Cは、予め用意されるのではなく、第2出力例のように、出力パラメータ(形状データ)を基に生成されてもよい。
The
(パラメータの第4出力例)
パラメータの第4出力例では、パラメータの第1出力例~第3出力例と同様の事項については、その説明を省略又は簡略化する。パラメータの第4出力例は、パラメータの第3出力例のバリエーションである。
(4th parameter output example)
In the fourth parameter output example, descriptions of items similar to those in the first to third parameter output examples are omitted or simplified. The fourth parameter output example is a variation of the third parameter output example.
図22は、パラメータの第4出力例における位置決め治具50Dの一例を示す図である。
FIG. 22 is a diagram showing an example of the
位置決め治具50Dは、伸縮性材料で形成される。位置決め治具50Dは、被検体PSの体表面の周囲を周回し、腹巻のように利用されてよい。位置決め治具50Dは、円筒状に形成され、被検体PSの周囲を周回するように配置されてもよいし、平面的に形成され、被検体PSの周囲を周回するように巻かれ、ピンやファスナーで留められてもよい。位置決め治具50Dは、透光性を有してよく、透明材料、半透明材料で形成されてよい。
The
位置決め治具50Dは、予め用意されてよい。位置決め治具50Dは、術式毎に又は樹脂気に依らず共通に予め用意されてよい。位置決め治具50Dは、術式毎に又は術式毎に予め用意されてよい。位置決め治具50Dの形状は、矩形以外の形状であってもよい。
The
位置決め治具50Dは、標識部Mhs、ポート識別標識Pidを備える。また、位置決め治具50Dには、導出されたパラメータに基づいて、計画されたポート位置を指定するためのポート位置指定部が設けられる。位置決め治具50Dは、計画されたポート位置が穿孔されたりマーキングされたりしてよい。つまり、ポート位置指定部は、位置決め治具50Dの開口部やマーキング部Mpであってよい。図22では、マーキング部Mpが例示されている。ユーザは、位置決め治具50Dのポート位置指定部を用いて位置決めすることで、計画されたポート位置を容易に穿孔できる。
The
図23は、位置決め治具50Dが設置された被検体PSの腹部のアキシャル断面の一例を示す図である。図23に示すように、位置決め治具50Dは、伸縮性により被検体PSの体表に沿って曲がって配置される。また、位置決め治具50Dは、被検体PSの体表の周囲を周回して配置される。よって、例えば腹部側等の一方側の体表だけでなく、側部や背部なども同時に、ポートPTの位置決めを実施できる。
FIG. 23 is a diagram showing an example of an axial section of the abdomen of the subject PS on which the
パラメータの第4出力例における動作例は、パラメータの第3出力例で示した図20の動作例と同じあるので、説明を省略する。 The operation example in the fourth output example of parameters is the same as the operation example in FIG. 20 shown in the third output example of parameters, so the explanation is omitted.
図24は、位置決め治具50Dが設置された被検体PSを腹側(y方向負側)から見た様子の一例を示す図である。位置決め治具50Dは、標識部Mhsを基準に被検体PSと位置合わせされ、体表に設置される。設置された位置決め治具50Dにおいて、導出されたパラメータとしての各ポート位置を示す値(例えば極座標形式の情報)によって、各ポートA,B,C,D,E,assistの詳細な位置が特定され、ポート位置指定部(例えば開口部、マーキング部Mp)が設けられる。そして、ユーザは、ポートPTを穿孔するための器具を用いて、位置決め治具50Dによって位置決めされたポートPT(ポート位置指定部の位置)を穿孔可能である。
FIG. 24 is a diagram showing an example of a state in which the subject PS on which the
このように、パラメータの第4出力例によれば、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50Dに関するパラメータを出力できる。よって、ユーザは、位置決め治具50Dを用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。
Thus, according to the fourth parameter output example, the robotic
また、ロボット手術支援装置100は、極座標形式のパラメータを出力することで、基準位置を基準とした位置や方向(角度)をユーザに直感的に分かり易く出力できる。
Further, by outputting the parameters in the polar coordinate format, the robotic
なお、パラメータの第4出力例の位置決め治具50Dは、予め用意されるのではなく、第2出力例のように、出力パラメータ(形状データ)を基に生成されてもよい。
The
次に、比較例と本実施形態の各パラメータの出力例とを考察する。 Next, a comparative example and an output example of each parameter of this embodiment will be considered.
図25は、比較例と本実施形態の各出力例との位置決め治具が有する特徴の分類図である。図25では、比較例1,2と本実施形態のパラメータの第1出力例~第4出力例の各特徴の有無が表形式で示されている。比較例1は、非特許文献2に記載の治具(Leksell Stereotactic System(登録商標))を用いた例である。比較例2は、一般的な形成外科で用いられる治具を用いた例である。治具の特徴として、弾性の有無、折り曲げの可否、伸縮性の有無、切り取りの可否、スケールの有無、再利用の可否、被検体PS(例えば患者)毎の生成の可否、の情報が例示されている。なお、治具の特徴は、これら以外の特徴を有してもよい。 FIG. 25 is a classification diagram of the features of the positioning jigs of the comparative example and each output example of the present embodiment. In FIG. 25, the presence/absence of each feature of the first to fourth output examples of the parameters of Comparative Examples 1 and 2 and the present embodiment is shown in a table format. Comparative Example 1 is an example using the jig described in Non-Patent Document 2 (Leksell Stereotactic System (registered trademark)). Comparative Example 2 is an example using a jig used in general plastic surgery. As features of the jig, information such as whether it is elastic, whether it can be bent, whether it can be stretched, whether it can be cut, whether it has a scale, whether it can be reused, and whether it can be generated for each subject PS (for example, a patient) is exemplified. ing. Note that the features of the jig may have features other than these.
図25では、パラメータの第1出力例の位置決め治具50Aが、弾性を有し、スケールSCを有し、再利用可能であることを例示している。パラメータの第2出力例の位置決め治具50Bが、折り曲げ可能であり、被検体PS(例えば患者)毎に生成可能であることを例示している。パラメータの第3出力例の位置決め治具50Cが、弾性を有し、折り曲げ可能であり、伸縮性を有し、切り取り可能であり、スケールSCを有することを例示している。パラメータの第4出力例の位置決め治具50Dが、弾性を有し、折り曲げ可能であり、伸縮性を有し、切り取り可能であり、スケールSCを有することを例示している。
FIG. 25 illustrates that the
なお、位置決め治具50は、先に説明したパラメータの第1出力例~第4出力例の位置決め治具50A~50Dの各特徴は、それぞれ組み合わせて有してもよい。例えば、パラメータの第3出力例の位置決め治具50CがスケールSCを有していてもよい。
Note that the
次に、本実施形態のバリエーションについて説明する。 Next, variations of this embodiment will be described.
ポート位置処理部164は、実際に穿孔されたポート(既孔ポート)の位置を基に、ポート位置を調整してもよい。
The port
図26は、手術室内における被検体PS及び各機器の位置関係の一例を示す図である。例えば、ポート位置処理部164は、通信部110を介して、深度センサ410が有するカメラ(深度カメラ)によって撮像された撮像画像を取得してよい。この撮像画像には、被検体PS、被検体PSを載置するベッドBD、位置決め治具50、穿孔されたポートPTに挿入されたトロッカーTC、が映り込んでいてよい。ディスプレイ130は、この撮像画像を表示し、ユーザによるモニタリングを可能にしてよい。また、ポート位置処理部164は、画像処理により被検体PSの特徴点を抽出してよい。ポート位置処理部164は、被検体PSの特徴点、ベッドBD、位置決め治具50、トロッカーTC、等の位置関係を基に、ポート配置の計画を逐次修正してよく、即ちポート位置シミュレーションやポート位置調整を行ってよい。
FIG. 26 is a diagram showing an example of the positional relationship between the subject PS and each device in the operating room. For example, the port
つまり、ポート位置処理部164は、既に穿孔されたポート(既孔ポート)の位置に基づいて、ポート位置シミュレーションやポート位置調整を行ってよい。この場合、既孔ポートの位置が固定位置となり、未だ穿孔されていないポート(未孔ポート)の位置が可変位置となり、未孔ポートの位置が調整可能である。これにより、ロボット手術支援装置100は、実際に穿孔された既孔ポートを基準に、その後のポート配置の計画を行うことができる。
In other words, the port
なお、既孔ポートの位置の情報は、計測器400の操作部(不図示)を介して入力され、ロボット手術支援装置100に通知されてもよい。既孔ポートの位置の情報は、ロボット手術支援装置100のUI120を介して入力されてもよい。
Information on the position of the perforated port may be input via an operation unit (not shown) of the measuring
位置決め治具50が有するスケールSCは、曲線状に形成されてよい。位置決め治具50は、スケールSCが曲線状に形成されることで、皮膚科の組織の輪郭や骨の輪郭などが術前シミュレーションで利用され易くできる。例えば、曲線状の被検体PSの肋骨の輪郭や臓器の輪郭に沿って、スケールSCを用いたポートの位置決めが可能となる。また、スケールSCは、一次元的に(つまり線状に)設けられてよい。スケールSCが一次元的に設けられることで、スケールSCの利用が簡便になる。スケールSCは、極座標形式(つまり基準点からの距離及び基準方向に対する角度)で示されてよい。スケールSCは、xy座標形式(つまり直交するx軸及びy軸の値)で示されてよい。
The scale SC of the
位置決め治具50を設置するための基準位置は、臍hs以外の位置でもよい。例えば、基準位置は、被検体PSの骨(例えば、肋骨や肋骨と肋骨の間の隙間、骨盤の左右上端)、被検体PSが載置されるベッドBDの位置であってよい。基準位置は、計画された又は実際に穿孔されたカメラポートの位置であってもよい、基準位置は、1つ目に穿孔されたポート(既孔ポート位置、例えばカメラポート)の位置であってもよい。
The reference position for installing the
また、基準位置は、複数設けられてもよい。例えば、複数の基準位置は、剣状突起下端及び臍hsの位置を含んでよい。1つ以上の基準位置は、被検体PSの体表から認識できる特徴を有する位置であってよいし、手術室に設置され被検体PSに対して固定された器具の位置であってもよい。 Also, a plurality of reference positions may be provided. For example, the plurality of reference positions may include the position of the inferior xiphoid process and the umbilical hs. One or more reference positions may be positions having features that can be recognized from the body surface of the subject PS, or positions of instruments installed in the operating room and fixed to the subject PS.
位置決め治具50には、巻き尺が取り付けてよいし、取っ手が取り付けられてよい。位置決め治具50には、固定具が取り付けられて、位置決め治具50が固定具を用いて所定の位置に取り付けられてよい。
The
計画されるポート位置の数は、ロボットアームARの数と同数でも、ロボットアームARの数より少なくても、ロボットアームARの数より多くてもよい。計画されるポート位置の数がロボットアームARの数より多い場合、1つのポートの計画位置を予備として用意しておくことができる。例えば、術中に穿孔すべきポート位置が変更になった場合や既孔ポートを介した処置が困難であった場合に、予備に用意されたポート位置を穿孔するために、位置決め治具50を用いて位置決めしてよい。例えば、ポート位置処理部164は、精密な位置決めが必要なポートについてのみ、ポート位置を計画してもよい。
The number of planned port locations may be the same as the number of robot arms AR, less than the number of robot arms AR, or more than the number of robot arms AR. If the number of planned port locations is greater than the number of robot arms AR, one port planned location can be kept in reserve. For example, if the position of the port to be perforated changes during surgery or if it is difficult to perform treatment via a pre-perforated port, the
気腹シミュレーションに用いる気腹の手技は、複数存在してよく、例えば、Open法、Closed法、Direct法、の3種類を含んでよい。 There may be a plurality of pneumoperitoneum procedures used in the pneumoperitoneum simulation, and may include, for example, three types of open method, closed method, and direct method.
Open方法では、開腹手術と同様に、被検体PSの体表に第1ポートが開けられる。第1ポートが安全に貫通したことが確認されると、第1トロッカー(Hasson Trocar)が挿入され、気腹が開始される。Open法は、安全性は高いが手技に時間がかかり、侵襲が比較的大きいので、被検体PSに癒着があると予想される際に実施される。 In the open method, a first port is opened on the body surface of the subject PS, as in laparotomy. Once safe penetration of the first port is confirmed, a first trocar (Hasson Trocar) is inserted and pneumoperitoneum is initiated. The Open method is highly safe, but it takes a long time to perform the procedure and is relatively invasive, so it is performed when adhesions are expected to occur in the subject's PS.
Closed法では、Veress針(気腹針)と呼ばれる針が被検体PSの体表に穿刺されて第1ポートが穿孔され、Veress針からガスが送り込まれて被検体PSが気腹され、気腹後に第1ポートに第1トロッカーが挿入される。Closed方法は、盲目的な作業になるので、難易度が高い。Closed方法は、迅速な手技であるが、臓器を損傷する可能性がある。 In the Closed method, a needle called a Veress needle (pneumoperitoneum needle) is pierced into the body surface of the subject PS, the first port is perforated, gas is sent from the Veress needle, and the subject PS is pneumoperitoneum. A first trocar is later inserted into the first port. The Closed method is a blind operation, and thus has a high degree of difficulty. The Closed method is a quick procedure, but can damage organs.
Direct法では、被検体PSの体表がいきなり第1トロッカーで穿孔され、気腹される。Direct法は、迅速な手技であるが、臓器を損傷する可能性がある。臓器を損傷する可能性があり、その時の損傷の程度も大きくなる可能性がある。ただし、Closed法と異なり、第1トロッカーにカメラが付けられて穿孔されるので、視野が確保されて作業される。 In the Direct method, the body surface of the subject PS is suddenly pierced by the first trocar and pneumoperitoneum is created. The Direct method is a quick procedure, but can damage organs. It can damage organs, and the degree of damage can be greater at that time. However, unlike the Closed method, a camera is attached to the first trocar and the holes are drilled, so work is performed with a secured field of view.
したがって、本実施形態では、気腹前に計測、位置決め、及びマーキングされて設置されるポートPTと、気腹後に計測、位置決め、及びマーキングされて設置されるポートPTがあってよい。例えば、Direct法、Open法では、最初に穿孔される第1ポート(通常、カメラポート)が気腹前に設置され、第1ポートを介してガスが送り込まれて気腹される。Closed法では気腹されてから一つ目のポートが設置されてよい。 Therefore, in this embodiment, there may be a port PT that is measured, positioned, marked and installed before pneumoperitoneum and a port PT that is measured, positioned, marked and installed after pneumoperitoneum. For example, in the Direct method and the Open method, a first port (usually a camera port) that is drilled first is installed in front of the pneumoperitoneum, and gas is sent through the first port for pneumoperitoneum. In the Closed method, the first port may be placed after pneumoperitoneum.
位置決め治具50は、樹脂板、布、ビニール、紙、等の材料により形成されてよい。
The
このように、ロボット手術支援装置100は、三次元座標上の計画されたポート位置にポートPTを高精度に位置決め可能な位置決め治具50に関するパラメータを出力できる。よって、ユーザは、例えば術式に応じた所定の形状を有する位置決め治具50を用いて、パラメータが指示するポート位置に、穿孔対象のポートPTを位置決めできる。また、ロボット手術支援装置100は、パラメータが指示する位置決め治具50の形状データや模様データを他装置(例えば3Dプリンタ、レーザー加工機)に提供することで、形状データや模様データに基づく位置決め治具50を生成させることができる。
In this way, the robotic
この位置決め治具50は、三次元座標上の計画されたポート位置に位置決めするために専用に生成されてよい。したがって、ユーザは、生成された位置決め治具50を用いることで、三次元座標上の計画されたポート位置に高精度に位置決めできる。また、ロボット手術支援装置100は、固定的に設置される治具ではなく、術前又は術中に動かしながら設置できる位置決め治具50を用いることで、迅速にポートPTを位置決めし、穿孔することを補助できる。
This
また、ロボット手術支援装置100によれば、計画されたポートPTの位置を3次元空間で指定できる。また、ポートPTを穿孔する時点では、手術支援ロボット300がベッドBDに接続(ドッキング)されていないことが多いが、位置決め治具50を用いることで、手術支援ロボット300が不在の状況でもポートPTを位置決めできる。位置決め治具50は、被検体PSの気腹後又は気腹前に体表上に設置されてよい。位置決め治具50は、例えば布状や曲げられる面素材で小型に作成可能であるので、手軽に被検体PSの体表に設置できる。また、ロボット手術支援装置100は、位置決め治具50を用いてポートPTを位置決めするためのプランニングシステムに使用可能である。また、位置決め治具50は、実際に穿孔されたポートの位置を確認するために、使用可能である。
Further, according to the robotic
また、ロボット手術支援装置100は、位置決め治具50を用いてポートPTを位置決めでき、骨等を基準に位置決め治具50を固定することなく、位置決めできる。よって、ユーザは、短時間で位置決め治具50を設置できる。
Further, the robotic
気腹では被検体PSへの麻酔が施されるので、気腹は手術時間に含まれる。そのため、被検体PSに対して大がかりな治具を設置することは困難であるが、位置決め治具50は、小型であるので、被検体PSの体表上に短時間で所望の位置に設置できる。
Since the subject PS is anesthetized in the pneumoperitoneum, the pneumoperitoneum is included in the operation time. Therefore, it is difficult to install a large-scale jig on the subject PS, but since the
また、腹部等の脳以外の部位のポートPTの位置決めに位置決め治具50を使用する場合、位置決め精度が多少低くても許容され得る。この場合、簡易的な位置決め治具50を用いることで、位置決め治具50の設置から位置決め治具50を用いた位置決めに要する時間が更に短縮可能である。
Also, when the
気腹により、気腹前のポート位置からポート位置が移動しても、ユーザは、気腹後に短時間で位置決め治具50を設置して、ポートPTの位置決めを行うことができる。また、気腹条件に応じて位置決め治具50の少なくとも一部が変形でき、被検体PSの体形に合わせて位置決め治具50が設置可能である。また、ポートPTによっては気腹前に設置するものと気腹後に設置するものがあるが、ユーザは、気腹前でも気腹後でも簡単に位置決め治具50を設置し、ポートPTを位置決めできる。
Even if the port position moves from the port position before the pneumoperitoneum due to the pneumoperitoneum, the user can position the port PT by setting the
位置決め治具50は、ポートPTの位置決め、マーキング、穿孔の後には、除去可能である。位置決め治具50は、例えば使い捨て可能であることで、清潔な状態を維持できる。
The locating
位置決め治具50は、被検体PS専用に(被検体PS毎に)生成されても、各被検体PS共通に生成されてもよい。位置決め治具50が被検体PS毎に生成された場合、被検体PSの体形や術式に応じた固有の位置決め治具50が使用可能である。位置決め治具50が各被検体PS共通に生成された場合、1つの位置決め治具50を多数回使用でき、使用効率が向上する。
The
位置決め治具50は、使い捨ての治具であってもよいし、繰り返し使用可能な治具であってもよい。位置決め治具50が使い捨ての治具である場合、位置決め治具50の清潔性が維持され易くなる。位置決め治具50が繰り返し使用可能な治具である場合、1つの位置決め治具50を多数回使用でき、使用効率が向上する。
The
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。 Various embodiments have been described above with reference to the drawings, but it goes without saying that the present disclosure is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications or modifications within the scope described in the claims, and these also belong to the technical scope of the present disclosure. Understood.
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時にロボット手術支援装置100の通信部110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
In the first embodiment, the volume data as the captured CT image is transmitted from the
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ通信部110を経由して送信されることを例示した。これは、実質的にCT装置200とロボット手術支援装置100とを併せて一製品として成立している場合も含まれるものとする。また、ロボット手術支援装置100がCT装置200のコンソールとして扱われている場合も含む。
In the first embodiment, volume data as a captured CT image is transmitted from the
第1の実施形態では、CT装置200により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
In the first embodiment, an image is captured by the
第1の実施形態では、ロボット手術支援装置100に、手術支援ロボット300が接続されているが、接続されていなくてもよい。手術支援ロボット300のキネマティクスの情報があらかじめ取得されていれば十分だからである。また、ポートの穿孔を終了してから手術支援ロボット300を接続してもよい。また、手術支援ロボット300を構成する装置のうち一部の装置にのみ接続してもよい。また、ロボット手術支援装置100自体が、手術支援ロボット300の一部であってもよい。
In the first embodiment, the
第1の実施形態では、手術支援ロボット300は、低侵襲手術を目的とする手術支援ロボットであったが、低侵襲手術を目的とする手術支援ロボット300は、腹腔鏡手術を支援する手術支援ロボットであってよい。また、手術支援ロボット300は、内視鏡手術を支援する手術支援ロボットであってよい。
In the first embodiment, the
第1の実施形態では、ロボット手術支援装置100が被検体PSの仮想気腹状態のボリュームデータを基にポート位置を計画することを例示したが、これに限られない。例えば観察対象が呼吸器や頸部では気腹されずにロボット手術されることがあるためである。つまり、ロボット手術支援装置100は、非気腹状態のボリュームデータを基にポート位置を計画してもよい。
In the first embodiment, the robotic
第1の実施形態では、被検体PSとして人体を例示したが、動物の体でもよい。 In the first embodiment, the human body was exemplified as the subject PS, but the body of an animal may also be used.
本開示は、第1の実施形態のロボット手術支援装置の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介してロボット手術支援装置に供給し、ロボット手術支援装置内のコンピュータが読み出して実行するプログラムも適用範囲である。 According to the present disclosure, a program that realizes the functions of the robotic surgery assistance device of the first embodiment is supplied to the robotic surgery assistance device via a network or various storage media, and read and executed by a computer in the robotic surgery assistance device. Programs are also covered.
以上のように、上記実施形態のロボット手術支援装置100は、手術支援ロボット300による低侵襲なロボット手術を支援する。処理部160は、被検体PSの3Dデータ(例えば非気腹状態又は仮想気腹状態のボリュームデータ)を取得してよい。処理部160は、3Dデータにおける被検体PSの体表に穿孔される複数のポートPTの計画位置を導出してよい。処理部160は、複数のポートPTの計画位置と、複数のポートPTの計画位置に複数のポートPTを位置決めする位置決め治具50の、被検体PSに対する位置と、に基づいて、位置決め治具50における複数のポートPTの計画位置を導出してよい。処理部160は、位置決め治具50を被検体Pの体表に沿って設置したときにおける複数のポートPTの計画位置を特定するポート位置特定情報を出力してよい。
As described above, the robotic
これにより、ロボット手術支援装置100は、手軽に扱うことができるポートPTを位置決めするためのデバイス(治具)として位置決め治具50を用いて、被検体PSにおけるポートPTの3次元位置の指定を可能にできる。また、非特許文献2に記載の治具のような頭部用の固定的に設置されるものとは異なり、位置決め治具50は、可動性が高いので、手術における被検体PSの様々な姿勢に対して柔軟に対応できる。また、気腹等により被検体PSの体表面の位置やサイズが変化する場合にも、位置決め治具50は、柔軟に対応できる。また、被検体の体表に沿って設置していることにより、位置決め治具50は、被検体PSの呼吸や体動には追従する。
As a result, the robotic
また、ポート位置特定情報には、位置決め治具50の形状データが含まれてよい。
Moreover, the shape data of the
これにより、ロボット手術支援装置100は、位置決め治具50の形状データを出力(例えば送信、外部記憶媒体への出力)して、例えば外部装置に提供できる。外部装置(例えば3Dプリンタ、レーザー加工機)は、形状データを取得し、形状データを基に位置決め治具50を生成できる。この形状データは、位置決め治具50の例えばポート位置指定部が、複数のポートPTの計画位置を特定するような形状のデータである。よって、位置決め治具50の形状自体によって、複数のポートPTの3次元の計画位置を指定できる。
Thereby, the robotic
ポート位置特定情報には、位置決め治具50の模様データが含まれてよい。
The port position specifying information may include pattern data of the
これにより、ロボット手術支援装置100は、位置決め治具50の模様データを出力(例えば送信、外部記憶媒体への出力)して、例えば外部装置に提供できる。模様データは、図形、符号、文字等を含むパターンを含んでよい。模様データは、色彩情報を含んでよい。外部装置(例えば3Dプリンタ、レーザー加工機)は、模様データを取得し、模様データを基に位置決め治具50を生成できる。この模様データは、位置決め治具50の例えばポート位置指定部(例えばマーキング部Mp)であり、複数のポートPTの計画位置を特定するような模様データである。よって、位置決め治具50の模様によって、複数のポートPTの3次元の計画位置を指定できる。
Thereby, the robotic
また、位置決め治具50は、複数のポートPTの計画位置を実空間の被検体PSにおいて位置決めするためのスケールSCを有してよい。ポート位置特定情報は、位置決め治具50のスケールSCにおける計画位置を示す情報でよい。
Also, the
これにより、ロボット手術支援装置100は、導出された計画位置に対応するスケールSC上での位置(例えば値)の情報を提供できる。よって、ユーザは、スケールSCを用いて、提供されたスケールSCの値の位置を計測し、計画されたポート位置を位置決めできる。
Thereby, the robotic
また、位置決め治具50は、複数のポートPTの計画位置を実空間の被検体PSにおいて指示するための指示部(例えばポート位置指示部)を有してよい。ポート位置特定情報は、位置決め治具50の指示部により指示される計画位置を示す情報でよい。
The
これにより、ロボット手術支援装置100は、導出された計画位置に対応する指示部(例えば突起、切欠き、標識)の情報を提供できる。位置決め治具50は、指示部によって、導出された計画位置を指し示すことができる。よって、ユーザは、位置決め治具50の指示部を確認することで、ポートPTの計画位置を容易に認識できる。
Thereby, the robotic
また、位置決め治具50は、スケールSCを2つ以上有してよい。
Also, the
これにより、ロボット手術支援装置100は、位置決め治具50の2つ以上のスケールSCを用いて複数のポートPTを位置決めできるように支援できる。これによって、ユーザは、2以上のポートPTについてそれぞれ独立した最適なスケールSCを用いることができる。これによって、ユーザは、2以上のポートPTについて、それぞれ独立したスケールSCについて、簡易なパラメータを受け取ることができる。また、ロボット手術支援装置100は、2以上のポートPTのそれぞれについてのポート位置特定情報を提供できる。
Thereby, the robotic
また、位置決め治具50は、伸縮性を有してよい。
Moreover, the
これにより、ロボット手術支援装置100は、被検体PSにおいて位置決め治具50が配置される体表上の部位が伸縮する場合でも、被検体PSの伸縮に合わせて伸縮する位置決め治具50を用いて、被検体PSにおけるポートの3次元位置の位置決めを補助できる。また、位置決め治具50が伸縮することにより、被検体の呼吸や体動に位置決め治具50を追従させることができる。
As a result, the robotic
また、位置決め治具50は、伸縮性を有する伸縮性領域D1と、伸縮性領域D1の両端に形成され、伸縮性領域D1よりも伸縮性が小さい非伸縮性領域D2と、を有してよい。
In addition, the
これにより、ロボット手術支援装置100は、非伸縮性領域D2を用いることで体表面に沿って位置決め治具50の形状を調整し易く、位置決め治具50の両端において体表面に対する位置を固定し易くできる。
Thereby, the robotic
また、位置決め治具50は、弾性を有してよい。
Also, the
これにより、ロボット手術支援装置100は、被検体PSにおいて位置決め治具50が配置される体表に沿って、位置決め治具50を曲げて被検体PSにおけるポートPTの3次元位置を位置決めすることを補助できる。例えば、計画されたポート位置付近の体表が凸凹している場合でも、位置決め治具50は、体表の凸凹に沿って設置されることが可能であり、ポート位置の正確な計測を実現できる。
Thereby, the robotic
また、位置決め治具50は、折り曲げ自在な板状部材で形成されてよい。
Also, the
これにより、ユーザは、位置決め治具50を折り曲げながら被検体PSの体表面に沿わせて使用可能である。
Thereby, the user can use the
位置決め治具50は、複数の硬性部材が折り曲げ自在に連結されて形成されてよい。
The
これにより、ユーザは、位置決め治具50の強度を確保して、位置決め治具50を折り曲げながら被検体PSの体表面に沿わせて使用可能である。
Thereby, the user can secure the strength of the
位置決め治具50は、透光性を有してよい。
The
これにより、ロボット手術支援装置100は、ユーザが、体表上に位置決め治具50が配置された状態で体表面を確認し、位置決め治具50においてマーキング部Mpや開口部が設けられた位置を確認しながら、容易にポートPTを穿孔することを支援できる。
As a result, the robotic
3Dデータは、被検体PSのボリュームデータに気腹シミュレーションを行って生成された仮想気腹状態の3Dデータでよい。 The 3D data may be 3D data of a virtual pneumoperitoneum state generated by performing a pneumoperitoneum simulation on volume data of the subject PS.
これにより、ロボット手術支援装置100は、被検体PSが気腹された状態でも、操作性の高いデバイスとしての位置決め治具50を用いた被検体PSにおけるポートPTの3次元位置の指定を支援できる。
Thereby, the robotic
本開示は、操作性の高いデバイスを用いて、被検体におけるポートの3次元位置の指定を可能とするロボット手術支援装置、ロボット手術支援方法、及びプログラム等に有用である。 INDUSTRIAL APPLICABILITY The present disclosure is useful for a robotic surgery assisting apparatus, a robotic surgery assisting method, a program, etc. that enable specification of the three-dimensional position of a port in a subject using a device with high operability.
50,50A,50B,50C,50D 位置決め治具
51 突起
51A ポート位置指示標識
51B 突起
100 ロボット手術支援装置
110 通信部
120 ユーザインタフェース(UI)
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域抽出部
162 画像生成部
163 変形シミュレーション部
164 ポート位置処理部
166 表示制御部
167 投射制御部
170 投射部
200 CT装置
300 手術支援ロボット
400 計測器
BD ベッド
EF エンドエフェクタ
hs 臍
LM ランドマーク
Mhs 標識部
Mp マーキング部
Pid ポート識別標識
PS 被検体
PT ポート
PTA 補助ポート
PTC カメラポート
PTE エンドエフェクタポート
SC スケール
TC トロッカー
tp テープ
WA1 個別ワーキングエリア
WA2 全体ワーキングエリア
50, 50A, 50B, 50C,
130
Claims (13)
処理部を備え、
前記処理部は、
被検体を撮像して得られた3次元の画素の画素値を含む前記被検体の3Dデータを取得し、
前記被検体の体表に穿孔される内視鏡カメラ又はエンドエフェクタを挿入するための複数のポートの計画位置に前記複数のポートを位置決めする位置決め治具の形状を含む前記位置決め治具に関する治具情報を取得し、
前記被検体と前記位置決め治具とを位置合わせするための前記被検体における基準位置の情報を取得し、
仮想空間において、前記基準位置に合わせて前記位置決め治具を設置し、
前記3Dデータにおける前記被検体の体表に穿孔される前記複数のポートの位置を決定するためのシミュレーションを行うことで、前記被検体の体表における前記複数のポートの計画位置を導出し、
前記治具情報と、前記複数の体表における前記複数のポートの計画位置と、に基づいて、前記位置決め治具における前記複数のポートの計画位置を示す情報を出力する、
ロボット手術支援装置。 A robotic surgery support device that supports minimally invasive robotic surgery by a surgery support robot,
a processing unit,
The processing unit is
Acquiring 3D data of the subject including pixel values of three-dimensional pixels obtained by imaging the subject;
A jig related to the positioning jig including the shape of the positioning jig for positioning the plurality of ports at the planned positions of the plurality of ports for inserting an endoscope camera or an end effector drilled into the body surface of the subject. get information,
Acquiring information of a reference position on the subject for aligning the subject and the positioning jig ;
In a virtual space, the positioning jig is installed in accordance with the reference position;
deriving planned positions of the plurality of ports on the body surface of the subject by performing a simulation for determining the positions of the plurality of ports perforated on the body surface of the subject in the 3D data;
outputting information indicating the planned positions of the plurality of ports on the positioning jig based on the jig information and the planned positions of the plurality of ports on the plurality of body surfaces ;
Robotic surgery support device.
前記処理部は、前記位置決め治具の前記スケールにおける計画位置を示す情報を出力する、
請求項1に記載のロボット手術支援装置。 the positioning jig has a scale for positioning planned positions of the plurality of ports on the body surface of the subject in the subject in real space;
The processing unit outputs information indicating a planned position of the positioning jig on the scale.
The robotic surgery support device according to claim 1 .
前記処理部は、前記位置決め治具の前記開口部又は前記マーキング部により指定される計画位置を示す情報を出力する、The processing unit outputs information indicating a planned position specified by the opening of the positioning jig or the marking unit.
請求項1に記載のロボット手術支援装置。The robotic surgery support device according to claim 1.
請求項2に記載のロボット手術支援装置。 The positioning jig has two or more scales,
The robotic surgery support device according to claim 2 .
請求項1~4のいずれか1項に記載のロボット手術支援装置。 The positioning jig has stretchability,
The robotic surgery support device according to any one of claims 1 to 4 .
伸縮性を有する第1の領域と、
前記第1の領域の両端に形成され、前記第1の領域よりも伸縮性が小さい第2の領域と、を有する、
請求項5に記載のロボット手術支援装置。 The positioning jig is
a stretchable first region;
A second region formed at both ends of the first region and having a lower stretchability than the first region,
The robotic surgery support device according to claim 5 .
請求項1~6のいずれか1項に記載のロボット手術支援装置。 The positioning jig has elasticity,
The robotic surgery support device according to any one of claims 1 to 6 .
請求項1~4のいずれか1項に記載のロボット手術支援装置。 The positioning jig is formed of a bendable plate-shaped member,
The robotic surgery support device according to any one of claims 1 to 4 .
請求項1~4のいずれか1項に記載のロボット手術支援装置。 The positioning jig is formed by connecting a plurality of rigid members so as to be freely bendable.
The robotic surgery support device according to any one of claims 1 to 4 .
請求項1~8のいずれか1項に記載のロボット手術支援装置。 The positioning jig has translucency,
The robotic surgery support device according to any one of claims 1 to 8 .
請求項1~10のいずれか1項に記載のロボット手術支援装置。 The 3D data is 3D data of a virtual pneumoperitoneum state generated by performing a pneumoperitoneum simulation on the volume data of the subject.
The robotic surgery support device according to any one of claims 1 to 10 .
被検体を撮像して得られた3次元の画素の画素値を含む前記被検体の3Dデータを取得し、
前記被検体の体表に穿孔される内視鏡カメラ又はエンドエフェクタを挿入するための複数のポートの計画位置に前記複数のポートを位置決めする位置決め治具の形状を含む前記位置決め治具に関する治具情報を取得し、
前記被検体と前記位置決め治具とを位置合わせするための前記被検体における基準位置の情報を取得し、
仮想空間において、前記基準位置に合わせて前記位置決め治具を設置し、
前記3Dデータにおける前記被検体の体表に穿孔される前記複数のポートの位置を決定するためのシミュレーションを行うことで、前記被検体の体表における前記複数のポートの計画位置を導出し、
前記治具情報と、前記被検体の体表における前記複数のポートの計画位置と、に基づいて、前記位置決め治具における前記複数のポートの計画位置を示す情報を出力する、
情報出力方法。 An information output method in a robotic surgery support device for supporting minimally invasive robotic surgery by a surgery support robot,
Acquiring 3D data of the subject including pixel values of three-dimensional pixels obtained by imaging the subject;
A jig related to the positioning jig including the shape of the positioning jig for positioning the plurality of ports at the planned positions of the plurality of ports for inserting the endoscope camera or end effector perforated on the body surface of the subject. get information,
Acquiring information of a reference position on the subject for aligning the subject and the positioning jig ;
In a virtual space, the positioning jig is installed in accordance with the reference position;
deriving planned positions of the plurality of ports on the body surface of the subject by performing a simulation for determining the positions of the plurality of ports perforated on the body surface of the subject in the 3D data;
outputting information indicating the planned positions of the plurality of ports on the positioning jig based on the jig information and the planned positions of the plurality of ports on the body surface of the subject ;
Information output method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192937A JP7182127B2 (en) | 2018-10-11 | 2018-10-11 | ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018192937A JP7182127B2 (en) | 2018-10-11 | 2018-10-11 | ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020058675A JP2020058675A (en) | 2020-04-16 |
JP7182127B2 true JP7182127B2 (en) | 2022-12-02 |
Family
ID=70220585
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018192937A Active JP7182127B2 (en) | 2018-10-11 | 2018-10-11 | ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7182127B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030109780A1 (en) | 2001-06-07 | 2003-06-12 | Inria Roquencourt | Methods and apparatus for surgical planning |
JP2007518521A (en) | 2004-01-20 | 2007-07-12 | スミス アンド ネフュー インコーポレーテッド | System and method for minimally invasive incision |
US20110190787A1 (en) | 2006-10-23 | 2011-08-04 | Sahni Hirdesh | Image guided whole body stereotactic needle placement device with falling arc. |
JP2016538014A (en) | 2013-10-11 | 2016-12-08 | ソナケアー メディカル,エルエルシー | System and method for performing ultrasound surgery |
-
2018
- 2018-10-11 JP JP2018192937A patent/JP7182127B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030109780A1 (en) | 2001-06-07 | 2003-06-12 | Inria Roquencourt | Methods and apparatus for surgical planning |
JP2007518521A (en) | 2004-01-20 | 2007-07-12 | スミス アンド ネフュー インコーポレーテッド | System and method for minimally invasive incision |
US20110190787A1 (en) | 2006-10-23 | 2011-08-04 | Sahni Hirdesh | Image guided whole body stereotactic needle placement device with falling arc. |
JP2016538014A (en) | 2013-10-11 | 2016-12-08 | ソナケアー メディカル,エルエルシー | System and method for performing ultrasound surgery |
Also Published As
Publication number | Publication date |
---|---|
JP2020058675A (en) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11636597B2 (en) | Systems and methods for using registered fluoroscopic images in image-guided surgery | |
JP7188970B2 (en) | ROBOT SURGERY ASSISTANCE DEVICE, OPERATION METHOD OF ROBOT SURGERY ASSISTANCE DEVICE, AND PROGRAM | |
EP3289964A1 (en) | Systems and methods for providing proximity awareness to pleural boundaries, vascular structures, and other critical intra-thoracic structures during electromagnetic navigation bronchoscopy | |
US20210315637A1 (en) | Robotically-assisted surgical system, robotically-assisted surgical method, and computer-readable medium | |
JPH11309A (en) | Image processor | |
US11625825B2 (en) | Method for displaying tumor location within endoscopic images | |
EP3398552A1 (en) | Medical image viewer control from surgeon's camera | |
US20240238049A1 (en) | Medical instrument guidance systems and associated methods | |
US20210298848A1 (en) | Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system | |
JP7182126B2 (en) | Robotic surgery support device, robotic surgery support method, and program | |
JP7152240B2 (en) | Robotic surgery support device, robotic surgery support method, and program | |
JP7182127B2 (en) | ROBOT SURGERY SUPPORT DEVICE, INFORMATION OUTPUT METHOD, AND PROGRAM | |
JP2011131020A (en) | Trocar port positioning simulation method and device therefor | |
JP7495216B2 (en) | Endoscopic surgery support device, endoscopic surgery support method, and program | |
US20210298854A1 (en) | Robotically-assisted surgical device, robotically-assisted surgical method, and system | |
JP7355514B2 (en) | Medical image processing device, medical image processing method, and medical image processing program | |
EP3723069A1 (en) | Systems and methods for simulating surgical procedures | |
US10376335B2 (en) | Method and apparatus to provide updated patient images during robotic surgery | |
WO2023129934A1 (en) | Systems and methods for integrating intra-operative image data with minimally invasive medical techniques | |
KR20140128131A (en) | Method of comparing preoperative respiratory level with intraoperative respiratory level |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210716 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7182127 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |