JP7188970B2 - ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム - Google Patents

ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム Download PDF

Info

Publication number
JP7188970B2
JP7188970B2 JP2018192936A JP2018192936A JP7188970B2 JP 7188970 B2 JP7188970 B2 JP 7188970B2 JP 2018192936 A JP2018192936 A JP 2018192936A JP 2018192936 A JP2018192936 A JP 2018192936A JP 7188970 B2 JP7188970 B2 JP 7188970B2
Authority
JP
Japan
Prior art keywords
pneumoperitoneum
port
subject
information
volume data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018192936A
Other languages
English (en)
Other versions
JP2020058674A (ja
Inventor
秀介 茅野
剛 長田
隆 唐沢
信一郎 瀬尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ziosoft Inc
Original Assignee
Ziosoft Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ziosoft Inc filed Critical Ziosoft Inc
Priority to JP2018192936A priority Critical patent/JP7188970B2/ja
Priority to US16/599,364 priority patent/US20200113636A1/en
Publication of JP2020058674A publication Critical patent/JP2020058674A/ja
Application granted granted Critical
Publication of JP7188970B2 publication Critical patent/JP7188970B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3403Needle locating or guiding means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/10Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis
    • A61B90/11Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints
    • A61B90/13Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges for stereotaxic surgery, e.g. frame-based stereotaxis with guides for needles or instruments, e.g. arcuate slides or ball joints guided by light, e.g. laser pointers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/34Trocars; Puncturing needles
    • A61B17/3417Details of tips or shafts, e.g. grooves, expandable, bendable; Multiple coaxial sliding cannulas, e.g. for dilating
    • A61B17/3421Cannulas
    • A61B17/3423Access ports, e.g. toroid shape introducers for instruments or hands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00743Type of operation; Specification of treatment sites
    • A61B2017/00809Lung operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/102Modelling of surgical devices, implants or prosthesis
    • A61B2034/104Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • A61B2034/252User interfaces for surgical systems indicating steps of a surgical procedure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/371Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/378Surgical systems with images on a monitor during operation using ultrasound

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Robotics (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Manipulator (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Surgical Instruments (AREA)
  • Nuclear Medicine (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

本開示は、手術支援ロボットによるロボット手術を支援するロボット手術支援装置、ロボット手術支援方法、及びプログラムに関する。
従来、手術支援ロボットにより低侵襲なロボット手術が行われる際には、手術される患者の体内に鉗子類を挿入するためのポートが穿孔される。ポートの位置は、術式に応じて概ね定められているが、最適な箇所は未だに確立されていない。特許文献1では、ポート位置の配置の計画(Port Placement Planning)について考察されている。具体的には、特許文献1の外科用ポート配置システムは、複数の過去の外科手術手順に関連する複数のパラメータセットに基づいて、手術ポート配置モデルを生成し、患者の身体的特徴を含む所与の外科的処置のための所与のパラメータセットを受信し、所定のパラメータセット及び手術ポート配置モデルに基づいて、所与の外科的処置のための所与の患者のための少なくとも1つのポート位置を計画する。
米国特許出願公開第2014/0148816号明細書
本開示は、気腹される被検体に対して、気腹前に被検体の体表におけるポート位置を計画できるロボット手術支援装置、ロボット手術支援方法、及びプログラムを提供する。
本開示の一態様は、手術支援ロボットによる低侵襲なロボット手術を支援するロボット手術支援装置であって、処理部を備え、前記処理部は、被検体の非気腹状態のボリュームデータを取得し、前記非気腹状態のボリュームデータに気腹シミュレーションを行い、仮想気腹状態の3Dデータを生成し、前記非気腹状態のボリュームデータと前記仮想気腹状態の前記3Dデータとに基づいて、前記ボリュームデータにおける各点と前記3Dデータにおける各点との対応関係を示す変形情報を生成し、前記仮想気腹状態の3Dデータにおける前記被検体の体表でのポートの計画位置である第1の計画位置を導出し、前記仮想気腹状態での前記第1の計画位置と前記変形情報とに基づいて、前記非気腹状態のボリュームデータにおける前記被検体の体表におけるポートの計画位置である第2の計画位置を導出し、前記非気腹状態のボリュームデータに前記第2の計画位置を示す情報を重畳して、表示部に表示させる、ロボット手術支援装置である。
本開示の一態様は、手術支援ロボットによる低侵襲なロボット手術を支援するロボット手術支援装置の作動方法であって、前記ロボット手術支援装置の処理部が、被検体の非気腹状態のボリュームデータを取得するステップと前記処理部が、前記非気腹状態のボリュームデータに気腹シミュレーションを行い、前記非気腹状態のボリュームデータにおける少なくとも一点の気腹による移動を含む変形情報を生成するステップと、前記処理部が、前記非気腹状態のボリュームデータと前記変形情報とに基づいて、仮想気腹状態の3Dデータを生成するステップと前記処理部が、前記仮想気腹状態の3Dデータにおける前記被検体の体表でのポートの計画位置である第1の計画位置を導出するステップと前記処理部が、前記仮想気腹状態での前記第1の計画位置と前記変形情報とに基づいて、前記非気腹状態のボリュームデータにおける前記被検体の体表におけるポートの計画位置である第2の計画位置を導出するステップと前記処理部が、前記非気腹状態のボリュームデータに前記第2の計画位置を示す情報を重畳して、表示部に表示させるステップとを有するロボット手術支援方法である。
本開示の一態様は、上記ロボット手術支援装置の作動方法の各ステップをコンピュータに実行させるためのプログラムである。
本開示によれば、手術支援ロボットによるロボット手術の作業性の低下を抑制できるロボット手術支援装置、ロボット手術支援方法、及びプログラムを提供する。
第1の実施形態におけるロボット手術支援装置のハードウェア構成例を示すブロック図 ロボット手術支援装置の機能構成例を示すブロック図 気腹シミュレーションの実施前後における腹部のMPR断面の画像例を示す図 既孔ポートのポート位置の計測例を説明するための図 被検体の体表に設置されるポート位置の第1配置計画例を示す図 被検体の体表に設置されるポート位置の第2配置計画例を示す図 被検体の体表に設置されるポート位置の第3配置計画例を示す図 ロボット手術時の被検体、ポート、トロッカー、及びロボットアームの位置関係の一例を示す図 ロボット手術支援装置によるポート位置シミュレーションの手順の一例を示すフローチャート ロボット手術支援装置によるポート位置スコアを算出する場合の動作例を示すフローチャート ポート位置を基に定められるワーキングエリアの一例を示す図 気腹シミュレーション前後におけるポート位置の移動例を示す図 ロボット手術支援装置による気腹前ポート位置を導出する場合の動作例を示すフローチャート 気腹シミュレーションによる被検体の不均一な膨張への対応を説明するための図 気腹シミュレーションによる被検体の不均一な膨張への対応を説明するための図 気腹シミュレーションによるガス量に応じた誤差への対応を説明するための図 異なる仮想気腹状態の体表面における対応位置関係を示す図 ロボット手術支援装置による許容誤差情報の導出手順の一例を示すフローチャート
以下、本開示の実施形態について、図面を用いて説明する。
(本開示の一形態を得るに至った経緯)
ロボット手術では、多くの場合に気腹が行われる。気腹では、腹腔内にガス(例えば二酸化炭素)が注入されて腹腔内に作業スペースが確保される。気腹前後では、被検体における対応する位置が移動する。そのため、手術において実際の処置が行われる気腹された状態を加味して、被検体の体表におけるポート位置が計画されることが多い。気腹の状態により、被検体の腹腔内の膨らみ具合が異なり、被検体によっても腹腔内の膨らみ方が異なる。そのため、気腹後に計画された被検体の体表のポート位置と、気腹前の被検体の体表のポート位置に対応する位置と、を対応付けることは困難である。
また、被検体への気腹は、この被検体に対する手術が開始されたことを意味する。そのため、気腹及びポート位置の計画に時間がかかると、手術全体の時間が延びることとなる。よって、気腹後におけるポートの位置決め、術者への心理的負担が大きく、患者への負担も大きい。
以下の実施形態では、気腹される被検体に対して、気腹前に被検体の体表におけるポート位置を計画できるロボット手術支援装置、ロボット手術支援方法、及びプログラムについて説明する。
(第1の実施形態)
図1は、第1の実施形態におけるロボット手術支援装置100の構成例を示すブロック図である。ロボット手術支援装置100は、手術支援ロボット300によるロボット手術を支援し、例えば術前シミュレーション、術中シミュレーション、及び術中ナビゲーショ
ンを実施してよい。
手術支援ロボット300は、ロボット操作端末、ロボット本体、及び画像表示端末を備える。
ロボット操作端末は、術者による操作されるハンドコントローラやフットスイッチを備える。ロボット操作端末は、術者によるハンドコントローラやフットスイッチの操作に応じて、ロボット本体に設けられた複数のロボットアームARを動作させる。また、ロボット操作端末は、ビューワを備える。ビューワは、ステレオビューワでよく、内視鏡により取込まれた画像を融合させて3次元画像を表示してよい。なお、ロボット操作端末が複数存在し、複数のロボット操作端末を複数の術者が操作するによりロボット手術が行われてもよい。
ロボット本体は、ロボット手術を行うための複数のロボットアームAR及びロボットアームARに装着される手術器具としてのエンドエフェクタEF(鉗子類、インストゥルメント)を備える。
手術支援ロボット300のロボット本体は4つのロボットアームARを備えており、内視鏡カメラが装着されるカメラアームと、ロボット操作端末の右手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第1エンドエフェクタアームと、ロボット操作端末の左手用ハンドコントローラで操作されるエンドエフェクタEFが装着される第2エンドエフェクタアームと、交換用のエンドエフェクタEFが装着される第3エンドエフェクタアームと、を含む。各ロボットアームARは、複数の関節を有しており、各関節に対応してモータとエンコーダを備えている。各ロボットアームARは、少なくとも6自由度、好ましくは7又は8自由度を有しており、3次元空間内において動作し、3次元空間内の各方向に可動自在でよい。エンドエフェクタEFには、ロボット手術において被検体PS内の処置対象に実際に接する器具であり、様々な処置(例えば、把持、切除、剥離、縫合)を可能とする。
エンドエフェクタEFは、例えば、把持鉗子、剥離鉗子、電気メス、等を含んでよい。エンドエフェクタEFは、役割毎に異なる別個のエンドエフェクタEFが複数用意されてよい。例えば、ロボット手術では、2つのエンドエフェクタEFによって組織を抑えたり引っ張ったりして、1つのエンドエフェクタEFで組織を切る処置が行われてよい。ロボットアームAR及びエンドエフェクタEFは、ロボット操作端末からの指示を基に、動作してよい。
画像表示端末は、モニタ、内視鏡のカメラによって撮像された画像を処理し、ビューワやモニタに表示させるためのコントローラ、等を有する。モニタは、例えばロボット手術の助手や看護師により確認される。
手術支援ロボット300は、術者によるロボット操作端末のハンドコントローラやフットスイッチの操作を受け、ロボット本体のロボットアームARやエンドエフェクタEFの動作を制御し、被検体PSに対して各種処置を行うロボット手術を行う。ロボット手術では、被検体PS内で腹腔鏡手術が行われてよい。
ロボット手術では、被検体PSの体表にポートPTが穿孔され、ポートPTを介して気腹されてよい。気腹(preumoperitoneum)では、二酸化炭素が送り込まれて被検体PSの腹腔を膨らませられてよい。ポートPTには、トロッカー(trocar)TCが設置されてよい。トロッカーTCは弁を有し、被検体PS内を気密に維持する。また、気密状態を維持するために、被検体PS内に空気(例えば二酸化炭素)が継続的に導入される。
トロッカーTCにはエンドエフェクタEF(エンドエフェクタEFのシャフト)が挿通される。エンドエフェクタEFの挿通時にトロッカーTCの弁が開き、エンドエフェクタEFの脱離時にはトロッカーTCの弁が閉じる。トロッカーTCを経由してポートPTからエンドエフェクタEFが挿入され、術式に応じて様々な処置が行われる。ロボット手術は、腹部を手術対象とした腹腔鏡手術以外に、手術対象に腹部以外を含めた鏡視下手術に適用されてもよい。
図1に示すように、ロボット手術支援装置100は、通信部110、ユーザインタフェース(UI:User Interface)120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。なお、UI120、ディスプレイ130、及びメモリ150は、ロボット手術支援装置100に含まれても、ロボット手術支援装置100とは別体として設けられてもよい。
ロボット手術支援装置100には、通信部110を介して、CT(Computed Tomography)装置200が接続される。ロボット手術支援装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。ロボット手術支援装置100は、PC(Personal Computer)とPCに搭載されたソフトウェアにより構成されてもよい。ロボット手術支援装置100は、手術支援ロボット300の一部として構成されてもよい。
ロボット手術支援装置100には、通信部110を介して、手術支援ロボット300が接続される。ロボット手術支援装置100は、例えば、手術支援ロボット300へ各種データや情報や画像を提供し、ロボット手術を支援してよい。ロボット手術支援装置100は、例えば、手術支援ロボット300から手術支援ロボット300の機構や動作に関する情報、ロボット手術前、手術中、又は手術後に得られたデータを取得し、取得された情報やデータを基に各種分析や解析を行ってよい。分析結果や解析結果は、可視化されてよい。
ロボット手術支援装置100には、通信部110を介して、計測器400が接続されてよい。計測器400は、手術支援ロボット300により手術される被検体PS(例えば患者)に関する情報(例えば被検体PSの体表位置)を計測してよい。計測器400は、被検体PSの体表に設けられるポートPTの位置を計測してよい。計測器400は、例えば深度センサ410でよい。深度センサ410は、手術支援ロボット300(例えばロボット本体)に含まれていてもよいし、ロボット手術が行われる手術室の天井等に設置されてもよい。また、計測器400は、計測器400の操作部が手動計測の結果の入力を受け付けてよい。手動計測では、例えば、患者に関する情報や体表におけるポート位置が定規や巻尺により計測されてよい。
また、ロボット手術支援装置100には、CT装置200が接続されるとともに、又はCT装置200が接続される代わりに、各種画像を撮像可能な装置が接続されてよい。この装置は、血管造影装置(Angiography装置)や超音波装置等でよい。この装置は、ロボット手術前、及びロボット手術中に被検体PSの内部の様子を確認するときに使用されてよい。
CT装置200は、生体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。被検体PSは、例えば人体でよく、生体でよい。なお、被検体PSは、人体でなくてもよく、生体でなくてもよい。例えば動物でよく、手術訓練用ファントムでもよい。
CT画像は、時系列に複数撮像されてもよい。CT装置200は、生体内部の任意の箇所の情報を含むボリュームデータを生成する。生体内部の任意の箇所は、各種臓器(例えば脳、心臓、腎臓、大腸、小腸、肺、胸部、乳腺、前立腺、肺)を含んでもよい。CT画像が撮像されることにより、CT画像における各画素(ボクセル)の画素値(CT値、ボクセル値)が得られる。CT装置200は、CT画像としてのボリュームデータをロボット手術支援装置100へ、有線回線又は無線回線を介して送信する。
具体的に、CT装置200は、ガントリ(図示せず)及びコンソール(図示せず)を備える。ガントリは、X線発生器(図示せず)やX線検出器(図示せず)を含み、コンソールにより指示された所定のタイミングで撮像することで、被検体PSを透過したX線を検出し、X線検出データを得る。X線発生器は、X線管(図示せず)を含む。コンソールは、ロボット手術支援装置100に接続される。コンソールは、ガントリからX線検出データを複数取得し、X線検出データに基づいてボリュームデータを生成する。コンソールは、生成されたボリュームデータを、ロボット手術支援装置100へ送信する。コンソールは、患者情報、CT撮像に関する撮像条件、造影剤の投与に関する造影条件、その他の情報を入力するための操作部(図示せず)を備えてよい。この操作部は、キーボードやマウスなどの入力デバイスを含んでよい。
CT装置200は、連続的に撮像することで3次元のボリュームデータを複数取得し、動画を生成することも可能である。複数の3次元のボリュームデータによる動画のデータは、4D(4次元)データとも称される。
CT装置200は、複数のタイミングの各々でCT画像を撮像してよい。CT装置200は、被検体PSが造影された状態で、CT画像を撮像してよい。CT装置200は、被検体PSが造影されていない状態で、CT画像を撮像してよい。
ロボット手術支援装置100では、通信部110は、他の装置との間で各種データや情報を通信する。通信部110は、CT装置200、手術支援ロボット300、計測器400、との間で各種データを通信してよい。通信部110は、有線通信や無線通信を行う。通信部110と、CT装置200、手術支援ロボット300、及び計測器400との間は、有線又は無線により接続されてよい。
通信部110は、手術支援ロボット300からロボット手術のための各種情報を取得してよい。この各種情報は、例えば、手術支援ロボット300のキネマティクスの情報を含んでよい。通信部110は、手術支援ロボット300へロボット手術のための各種情報を送信してよい。この各種情報は、例えば、処理部160により生成された情報(例えば画像やデータ)を含んでよい。
通信部110は、計測器400からロボット手術のための各種情報を取得してよい。例えば、計測器400で計測された被検体PSの体表の位置情報や被検体PSの体表に穿孔されたポート位置の情報を含んでよい。
通信部110は、CT装置200からボリュームデータを取得してよい。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。
CT装置200により撮像されたボリュームデータは、CT装置200から画像データサーバ(PACS:Picture Archiving and Communication Systems)(不図示)に送られ、保存されてよい。通信部110は、CT装置200から取得する代わりに、この画像データサーバからボリュームデータを取得してよい。このように、通信部110は、ボリュームデータ等の各種データを取得する取得部として機能する。
UI120は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。UI120は、ロボット手術支援装置100のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、又はその他医療従事者(Paramedic Staff)を含んでよい。医師は、ロボット操作端末を操作してロボット手術を手動して行う術者や、被検体PSの近傍でロボット手術を補助する助手を含んでよい。
UI120は、ボリュームデータにおける関心領域(ROI:Region of Interest)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流)の領域を含んでよい。組織は、病変組織、正常組織、臓器、器官、など被検体PSの組織を広く含んでよい。また、UI120は、ボリュームデータやボリュームデータに基づく画像(例えば後述する3次元画像、2次元画像)における関心領域の指定や輝度条件の設定等の操作を受け付けてもよい。
ディスプレイ130は、LCD(Liquid Crystal Display)を含んでもよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像や2次元画像を含んでよい。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像(VE画像)、仮想超音波画像、CPR(Curved Planar Reconstruction)画像、等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像(単に「SUM画像」とも称する)、MIP(Maximum Intensity Projection)画像、MinIP(Minimum Intensity Projection)画像、平均値(Average)画像、又はレイキャスト(Raycast)画像を含んでもよい。2次元画像は、アキシャル(Axial)画像、サジタル(Sagittal)画像、コロナル(Coronal)画像、MPR(Multi Planer Reconstruction)画像、等を含んでよい。3次元画像及び2次元画像は、カラーフュージョン画像を含んでよい。
メモリ150は、各種ROM(Read Only Memory)やRAM(Random Access Memory)の一次記憶装置を含む。メモリ150は、HDD(Hard Disk Drive)やSSD(Solid State Drive)の二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードの三次記憶装置を含んでもよい。メモリ150は、各種情報を記憶する。各種情報は、通信部110を介して取得された情報、プロセッサ140により生成された情報や画像、プロセッサ140により設定された設定情報、各種プログラムを含んでよい。通信部110を介して取得された情報は、例えば、CT装置200からの情報(例えばボリュームデータ)、手術支援ロボット300からの情報、計測器400からの情報、外部サーバからの情報、を含んでよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
投射部170は、被検体に向けて可視光(例えばレーザー光)を投射する。投射部170は、可視光の投射により、被検体PSの体表(例えば腹部の体表部)に、各種情報(例えばポート位置の情報)を表示させる。可視光、つまり被検体PSの体表に表示された情報は、ユーザ(例えば助手)に確認される。
プロセッサ140は、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、又はGPU(Graphics Processing Unit)を含んでよい。プロセッサ140は、メモリ150に記憶されたプログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
図2は、処理部160の機能構成例を示すブロック図である。
処理部160は、領域抽出部161、画像生成部162、変形シミュレーション部163、ポート位置処理部164、表示制御部166、及び投射制御部167を備える。
処理部160は、ロボット手術支援装置100の各部を統括する。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
領域抽出部161は、ボリュームデータにおいて、セグメンテーション処理を行ってよい。この場合、UI120がユーザからの指示を受け付け、指示の情報が領域抽出部161に送られる。領域抽出部161は、指示の情報に基づいて、公知の方法により、ボリュームデータから、セグメンテーション処理を行い、関心領域を抽出(segment)してよい。また、ユーザからの詳細な指示により、手動で関心領域を設定(set)してよい。また、観察対象が予め定められている場合、領域抽出部161は、ユーザ指示なしでボリュームデータから、セグメンテーション処理を行い、観察対象を含む関心領域を抽出してもよい。抽出される領域には、各種組織(例えば、血管、気管支、臓器、骨、脳、心臓、足、首、血流、乳腺、胸部、腫瘍)の領域を含んでよい。観察対象は、ロボット手術による処置が行われる対象でよい。
画像生成部162は、通信部110により取得されたボリュームデータに基づいて、3次元画像や2次元画像を生成してよい。画像生成部162は、通信部110により取得されたボリュームデータから、指定された領域や領域抽出部161により抽出された領域に基づいて、3次元画像や2次元画像を生成してよい。
変形シミュレーション部163は、手術対象の被検体PSにおける変形に関する処理を行う。例えば、変形シミュレーション部163は、仮想的に被検体PSに対して気腹する気腹シミュレーションを行ってよい。気腹シミュレーションの具体的な方法は、公知の方法であってよく、例えば参考非特許文献1に記載された方法でよい。つまり、変形シミュレーション部163は、通信部110又は領域抽出部161から取得されたボリュームデータ(気腹前(非気腹状態)のボリュームデータ)を基に、気腹シミュレーションを行い、気腹後のボリュームデータ(気腹状態のボリュームデータ)を生成してよい。気腹シミュレーションにより、ユーザは、被検体PSに対して実際に気腹しなくても、被検体PSが気腹された状態を仮定し、仮想的に気腹された状態を観察できる。なお、気腹状態のうち、気腹シミュレーションにより推定される気腹の状態を仮想気腹状態と称し、実際の気腹された状態を実気腹状態と称してよい。
(参考非特許文献1)Takayuki Kitasaka, Kensaku Mori, Yuichiro Hayashi, Yasuhito Suenaga, Makoto Hashizume, and Jun-ichiro Toriwaki, “Virtual Pneumoperitoneum for Generating Virtual Laparoscopic Views Based on Volumetric Deformation”, MICCAI (Medical Image Computing and Computer-Assisted Intervention),2004, P559-P567
気腹シミュレーションは、有限要素法を用いた大変形シミュレーションでよい。この場合、変形シミュレーション部163は、被検体PSの皮下脂肪を含む体表と、被検体PSの腹部内臓と、をセグメンテーションしてよい。そして、変形シミュレーション部163は、体表を皮膚と体脂肪との2層の有限要素にモデル化し、腹部内臓を有限要素にモデル化してよい。変形シミュレーション部163は、任意に、肺と骨とをセグメンテーションし、モデルに追加してよい。変形シミュレーション部163は、体表と腹部内臓との間にガス領域を設け、仮想的なガス注入に応じてガス領域(気腹空間)が拡張(膨張)してよい。
図3は、気腹シミュレーションの実施前後における腹部のMPR断面の画像例を示す図である。画像G11は、気腹シミュレーションの実施前の様子を示しており、被検体PSの腹部が膨らんでいない状態(非気腹状態)である。画像G12は、気腹シミュレーションの実施後の様子を示しており、被検体PSの腹部が膨らんでいる状態(仮想気腹状態)であり、気腹空間KSを有する。ロボット手術では、被検体PSが気腹状態で手術されるので、非気腹状態で撮像されて得られるボリュームデータに対しては、変形シミュレーション部163により気腹シミュレーションが実施され、仮想気腹状態のボリュームデータが導出されてよい。
変形シミュレーション部163は、被検体PS内の臓器や病変等の観察対象を仮想的に変形させてよい。観察対象は、術者によって手術される手術対象であってよい。変形シミュレーション部163は、例えば、臓器がエンドエフェクタEFにより引っ張られたり押されたり、切断される様子をシミュレートしてよい。また、変形シミュレーション部163は、例えば、体位変換による臓器の移動をシミュレートしてよい。
ポート位置処理部164は、被検体PSの体表上に設けられる複数のポートPTの情報を取得する。ポートPTの情報は、ポートPTの識別情報、ポートPTが穿孔される被検体PSの体表上の位置(ポート位置)の情報、ポートPTのサイズの情報、等を含んでよい。複数のポートの情報は、テンプレートとしてメモリ150や外部サーバに保持されていてよい。複数のポートの情報は、術式によって定められていてよい。複数のポートの情報は術前計画に用いることを目的としてよい。
ポート位置処理部164は、メモリ150から複数のポート位置の情報を取得してよい。ポート位置処理部164は、通信部110を介して、外部サーバから複数のポート位置の情報を取得してよい。ポート位置処理部164は、UI120を介して、複数のポートPTのポート位置の指定を受け付けて、複数のポート位置の情報を取得してよい。複数のポート位置の情報は、複数のポート位置の組み合わせの情報でよい。
ポート位置処理部164は、手術支援ロボット300のキネマティクスの情報を取得する。キネマティクスの情報は、メモリ150に保持されていてよい。ポート位置処理部164は、メモリ150からキネマティクスの情報を取得してよい。ポート位置処理部164は、通信部110を介して、手術支援ロボット300や外部サーバからキネマティクスの情報を取得してよい。キネマティクスの情報は、手術支援ロボット300毎に異なってよい。
キネマティクスの情報は、例えば、手術支援ロボット300が備えるロボット手術を行うための器具(例えばロボットアームAR、エンドエフェクタEF)の形状に関する形状情報や動作に関する動作情報を含んでよい。この形状情報は、ロボットアームARやエンドエフェクタEFの各部位の長さ、重さ、基準方向(例えば水平面)に対するロボットアームARの角度、ロボットアームARに対するエンドエフェクタEFの取付角度、等の少なくとも一部の情報を含んでよい。この動作情報は、例えばロボットアームARやエンドエフェクタEFの3次元空間における可動範囲、ロボットアームARを動作する際のロボットアームARの位置、速度、加速度、エンドエフェクタEFを動作する際のロボットアームARに対する位置、速度、加速度、等の少なくとも一部の情報を含んでよい。
なお、キネマティクスでは、自ロボットアームによる可動範囲とともに他ロボットアームの可動範囲が規定される。したがって、手術支援ロボット300は、手術支援ロボット300の各ロボットアームARがキネマティクスに基づいて動作することで、手術中に複数のロボットアームARが干渉することを回避できる。
ポート位置処理部164は、術式の情報を取得する。術式は、被検体PSに対する外科手術の方式を示す。術式は、UI120を介して指定されてよい。術式により、ロボット手術における各処置が定まってよい。処置に応じて、処置に必要なエンドエフェクタEFが定まってよい。よって、術式に応じて、ロボットアームARに装着されるエンドエフェクタEFが定まってよく、どのロボットアームARにどの種類のエンドエフェクタEFが装着されるかが定まってよい。また、処置に応じて、処置に最低限必要な最小領域や処置のために確保されることが推奨される推奨領域が定まってよい。
ポート位置処理部164は、ターゲット領域の情報を取得する。ターゲット領域は、ロボット手術による処置が行われる対象(例えば組織(例えば血管、気管支、臓器、骨、脳、心臓、足、首))を含む領域でよい。組織は、病変組織、正常組織、臓器、器官、など被検体PSの組織を広く含んでよい。
ポート位置処理部164は、メモリ150からターゲット領域の位置の情報を取得してよい。ポート位置処理部164は、通信部110を介して、外部サーバからターゲット領域の位置の情報を取得してよい。ポート位置処理部164は、UI120を介して、ターゲット領域の位置の指定を受け付けて、ターゲット領域の位置の情報を取得してよい。
ポート位置処理部164は、ポート位置シミュレーションを実行してよい。ポート位置シミュレーションは、ユーザがUI120を操作することで、被検体PSにおける所望のロボット手術が可能か否かを判定するためのシミュレーションでよい。ポート位置シミュレーションでは、ユーザが手術を想定しながら、仮想空間において、各ポート位置から挿入されたエンドエフェクタEFを動作させ、手術対象となるターゲット領域へアクセス可能か否かを判定してよい。つまり、ポート位置シミュレーションでは、ユーザによる手術支援ロボット300に対する手動の操作を受けながら、手術支援ロボット300のロボット手術に係る可動部(例えばロボットアームARやエンドエフェクタEF)が、手術対象となるターゲット領域へ問題なくアクセス可能か否かが判定されてよい。ポート位置処理部164は、ポート位置シミュレーションによりポート位置の計画情報を得てよい。
ポート位置シミュレーションでは、被検体PSのボリュームデータ、取得された複数のポート位置の組み合わせ、手術支援ロボット300のキネマティクス、術式、仮想気腹状態のボリュームデータ、等に基づいて上記のアクセスが可能か否かが判定されてよい。ポート位置処理部164は、被検体PSの体表における複数のポート位置を変えながら、各ポート位置においてターゲット領域にアクセス可能か否かを判定してよく、順次ポート位置シミュレーションを行ってよい。ポート位置処理部164は、最終的に好ましい(例えば最適な)ポート位置の組み合わせの情報を、UI120を介してユーザ入力に応じて指定してよい。これにより、ポート位置処理部164が、穿孔対象の複数のポート位置を計画してよい。ポート位置シミュレーションの詳細については後述する。
ポート位置処理部164は、被検体PSの体表上に設けられる複数のポート位置を用いてロボット手術する場合の適切度を示すポート位置スコアを導出(例えば算出)してよい。つまり、複数のポート位置の組み合わせに基づくポート位置スコアは、ロボット手術を行うための複数のポート位置の組み合わせの価値を示している。ポート位置スコアは、複数のポート位置の組み合わせ、手術支援ロボット300のキネマティクス、術式、仮想気腹状態のボリュームデータ、等に基づいて算出されてよい。ポート位置スコアは、ポート位置毎に導出される。ポート位置スコアの詳細については後述する。
ポート位置処理部164は、ポート位置スコアに基づいて、ポート位置を調整してよい。この場合、ポート位置処理部164は、ポート位置の移動に伴うポート位置スコアの変動量に基づいて、ポート位置を調整してよい。ポート位置調整の詳細については後述する。
このように、ポート位置処理部164は、ポート位置シミュレーションに従って、穿孔対象の複数のポート位置を導出してよい。また、ポート位置処理部164は、ポート位置スコアに基づいて、穿孔対象の複数のポート位置を導出してよい。
表示制御部166は、各種データ、情報、画像をディスプレイ130に表示させる。表示制御部166は、画像生成部162により生成された3次元画像又は2次元画像を表示させてよい。表示制御部166は、画像生成部162により生成された複数のポートPTの情報(例えばポート位置の情報)を示す画像を表示させてよい。
投射制御部167は、投射部170による可視光の投射を制御する。投射制御部167は、例えば、可視光の周波数、光量、可視光を投射する位置、可視光を投射する時刻(タイミング)を制御してよい。
投射制御部167は、被検体PSに向かって可視光を投射部170に投射させ、被検体PSの体表(例えば腹部の体表部)に、各種情報を表示させる。投射制御部167は、被検体PSの体表に向かってレーザ光を投射し、体表上の特定位置にマーキングを行ってよい。この特定位置は、例えば、穿孔対象のポート位置、体表面のこの特定位置から法線方向に向かうとボリュームデータ上で観察対象(例えば患部)が存在する位置、でよい。つまり、投射制御部167は、ポート位置を示すレーザポインタであってよい。
また、投射制御部167は、被検体PSの体表面に可視光を投射部170に投射させ、被検体PSの体表に、ロボット手術を支援する情報(例えばポート位置に関する情報)を重畳させて表示させてよい。重畳される情報は、文字情報、図形情報、等であってよい。つまり、投射制御部167は、ロボット手術において拡張現実(AR:Augmented Reality)技術を用いてユーザを支援してよい。
図4は、既孔ポートPT1のポート位置の計測例を説明するための図である。ポート位置の計測は、3次元計測でよい。図4では、ベッドBDに被検体PS(例えば患者)が横になって載置されている。
深度センサ410は、赤外線を発光する発光部と、赤外線を受光する受光部と、画像を撮像するカメラと、を含んでよい。深度センサ410は、発光部により被検体PSへ発光された赤外線と、被検体PSで反射され受光された反射光と、に基づいて、深度センサ410から被検体PSまでの距離を検出してよい。深度センサ410は、カメラにより撮像された撮像画像により、被写体の上下左右を検出してよい。これにより、深度センサ410は、被検体PSの体表における各位置(例えば既孔ポートPT1のポート位置)の3次元位置(3次元座標)の情報を取得してよい。
深度センサ410は、プロセッサ及び内部メモリを有してよい。内部メモリは、トロッカーTCの形状の情報を保持しておいてよい。深度センサ410は、内部メモリに保持されたトロッカーTCの形状情報を参照し、被検体PSの体表面に穿孔されたポートPTに設置されたトロッカーTCを検出(認識)し、トロッカーTCの3次元位置を検出(計測)してよい。
また、トロッカーTCの表面に所定のマークが付されていてよい。深度センサ410は、トロッカーTCにおける所定のマークを特徴点として撮像することで、画像認識によりトロッカーTCを検出(認識)してよい。これにより、深度センサ410は、トロッカーTCの認識精度を向上でき、トロッカーTCの3次元位置の計測精度を向上できる。
また、深度センサ410は、赤外線センサ(発光部及び受光部)を備えず、ステレオカメラを備え、画像処理によりトロッカーTCの3次元位置を計測してよい。この場合、深度センサ410は、ステレオカメラにより撮像された撮像画像において物体認識によりトロッカーTCを認識し、被検体における体表上のトロッカーTCの位置を検出(認識)し、トロッカーTCまでの距離を算出することで、トロッカーTCの3次元位置を計測してよい。
深度センサ410は、赤外線センサから発光された赤外線が到達可能な範囲やカメラにより撮像可能な範囲(図4の範囲A1参照)で、被検体PSの体表上の各位置やトロッカーTCの位置を計測してよい。
なお、ロボット手術支援装置100の変形シミュレーション部163は、深度センサ410から、被検体PSの実気腹状態での体表上の各位置の情報、つまり被検体PSの実気腹状態での体表の形状の情報を取得してよい。また、変形シミュレーション部163は、被検体PSの非気腹状態でのボリュームデータを基に、被検体PSの輪郭(体表に相当)を抽出して、被検体PSの非気腹状態での体表上の各位置の情報、つまり被検体PSの非気腹状態での体表の形状の情報を取得してよい。
変形シミュレーション部163は、被検体PSの実気腹状態での体表上の各位置と被検体PSの非気腹状態での体表上の各位置との差分、つまり被検体PSの実気腹状態での体表の形状と被検体PSの非気腹状態での体表の形状との差分を算出してよい。これにより、変形シミュレーション部163は、被検体PSの実気腹状態とするための気腹量を認識できる。
また、変形シミュレーション部163は、実気腹状態と気腹シミュレーションによる仮想気腹状態との差分を基に、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。つまり、変形シミュレーション部163は、実際の気腹量を基に、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。変形シミュレーション部163は、この補正情報を、メモリ150に保持しておいてよい。また、変形シミュレーション部163は、通信部110を介して気腹装置より掃気量を受け取って、気腹シミュレーションのシミュレーション方法やシミュレーション結果を補正してよい。これにより、ロボット手術支援装置100は、気腹シミュレーションの精度を向上できる。
次に、ポート位置の表示例について説明する。
変形シミュレーション部163は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに気腹シミュレーションを行い、仮想気腹状態のボリュームデータを生成する。画像生成部162は、仮想気腹状態のボリュームデータをボリュームレンダリングして、ボリュームレンダリング画像を生成してよい。画像生成部162は、気腹状態のボリュームデータをサーフィスレンダリングして、サーフィスレンダリング画像を生成してよい。
変形シミュレーション部163は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに気腹シミュレーションを行い、非気腹状態のボリュームデータの各点が気腹によって移動する先(移動後の各点)を表す変形情報を生成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータに変形情報を適用して仮想気腹ボリュームデータを作成してよい。画像生成部162は、仮想気腹ボリュームデータからサーフィスを生成してサーフィスレンダリング画像を生成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータからサーフィスを生成してサーフィスレンダリング画像を生成してよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータからサーフィスを生成したものに変形情報を適用して、仮想気腹状態のサーフィスレンダリング画像を生成してよい。変形情報は、少なくともポート位置の気腹による移動を表現する情報を含んでいればよい。画像生成部162は、非気腹状態(例えば術前CT撮像)で得られたボリュームデータから骨をセグメンテーションして、骨は気腹によって動かないものとして変形情報から除外し、その他の組織の移動を変形情報として作成してよい。
表示制御部166は、仮想気腹状態のボリュームレンダリング画像又はサーフィスレンダリング画像に、ポート位置処理部164により導出されたポート位置を重畳して、ディスプレイ130に表示させてよい。
投射制御部167は、被検体PS(例えば患者)の体表におけるポート位置処理部164により導出されたポート位置に可視光を投射させ、可視光によりポート位置を指し示し、ポート位置を可視化してよい。これにより、ユーザは、被検体PSの体表におけるポート位置を確認しながら、ポート位置に対する穿孔等の処置を実施できる。
また、投射制御部167は、被検体PSに可視光を投射させ、被検体PS(例えば患者)の体表におけるポート位置処理部164により導出されたポート位置を示す情報を表示させてよい。この場合、投射制御部167は、AR技術を用いて、被検体PSに、ポート位置を示す情報(例えばポートの識別情報、ポート位置を示す矢印)を重畳して表示させてよい。これにより、ユーザは、可視光によるガイド情報を参照することで、被検体PSの体表におけるポート位置に関する情報を確認しながら、ポート位置に対する穿孔等の処置を実施できる。
ここで変形情報について詳述する。
変形シミュレーション部163は、変形情報を利用して非気腹状態のボリュームデータから仮想気腹ボリュームデータを生成する。変形情報そのものの表現や変形情報を利用したボリュームデータの変形の具体的手法は、例えば参考特許文献1、参考特許文献2に記載されている。これらは、非剛体レジストレーションの例における手法であるが動き解析(変形解析)、動き解析情報(変形情報)と読み替えることができる。
(参考特許文献1:米国特許第8311300号明細書)
(参考特許文献2:日本国特許第5408493号公報)
変形シミュレーション部163は、変形情報として、ボリュームデータの任意の点の移動量に係る情報や速度に係る情報を取得してよい。変形シミュレーション部163は、参考特許文献1の手法を適用すると、ボリュームデータを2次元格子node(k,l)に区切り、2次元格子のフェーズtの格子node(k,l,t)における2次元座標を(x,y)とした場合、フェーズtの値を変更して得られる複数のnode(k,l,t)の差分を基に、node(k,l)の格子点に係る移動量の情報を算出してよい。また、変形シミュレーション部163は、移動量の情報を時間微分することで、速度の情報を算出してよい。移動量や速度の情報は、ベクトルで示されてよい。
変形シミュレーション部163がこの2次元格子の変形情報をボリュームデータ全体の各点に対して補間すると、ボリュームデータの各点の変形情報が得られる。この所定の点の変形情報を、観察部位を含む領域の各点に対して適用すると、観察部位を含む領域の各点の変形情報が得られる。
また、変形シミュレーション部163は、参考特許文献2の手法を適用すると、時系列に並ぶボリュームデータのうち、ボリュームデータtk-1及びその時刻情報tk-1、並びにボリュームデータtk及びその時刻情報tkを基に、変形情報を生成してよい。これによって、ロボット手術支援装置100は、呼吸や心拍による臓器の移動を加味してより正確な変形情報を得ることができる。変形情報は、複数のボリュームデータ上の対応する位置もしくは対応する物体の対応関係の情報、位置及び物体が移動変化する過程の情報を指してよい。各ボリュームデータの画素が、時刻k-1と時刻kとの間の任意の時刻での位置を示す指標となる。
なお、変形シミュレーション部163は、参考特許文献1の手法に限られず、その他の公知の手法を用いて変形解析を行ってもよい。ロボット手術支援装置100は、変形情報を用いた各点や観察部位の変形解析により、被検体内の任意の位置が気腹前後でどの位置に移動したかを把握可能である。
なお、変形情報は、変形シミュレーションの結果であればなんでもよく、変形情報は、少なくとも一点が気腹によってどこに移動するのかが表現されていればよい。また、直接的に表現されていてもよいし、間接的に表現されてもよい。例えば、変形情報は、変形前の格子と変形後の格子の組として表現されてよい。例えば、変形情報は、少なくとも一点の移動ベクトルとして表現されてよい。
変形情報は、非気腹状態のボリュームデータと仮想気腹状態のボリュームデータとの各点の対応関係を示すが、変形情報と仮想気腹状態は、それぞれ複数存在し得る。気腹量が0の状態を非気腹状態O、気腹量が0より大きい状態を仮想気腹状態P(PA、PB、PC、・・・)、として示してよい。この場合、変形情報の符号を、OとP(PA、PB、PC、・・・)との組み合わせにより表現してよい。つまりこの場合、変形情報OPは、非気腹状態Oのボリュームデータと仮想気腹状態Pのボリュームデータとの各点の対応関係を示す。変形情報OPAは、非気腹状態Oのボリュームデータと気腹量Aの仮想気腹状態PAのボリュームデータとの各点の対応関係を示す。変形情報OPBは、非気腹状態Oのボリュームデータと気腹量Bの仮想気腹状態PBのボリュームデータとの各点の対応関係を示す。
変形情報と仮想気腹状態は、気腹シミュレーションの気腹条件を変えることによって、それぞれ複数存在しうる。気腹条件として、気腹時の送気量を示すパラメータがあってよい。送気量は、ガス注入量、ガス圧、腹腔内のガス体積、等であってよい。肺体積、肺機能、心機能、年齢、性別、体重、既往症、その他の因子を、医師が気腹シミュレーション時の送気量を決定するときに用いてよい。気腹条件には、被検体PSの体組織の伸張のしやすさを示すパラメータがあってよい。例えば、出産の経験があれば被検体PSの皮膚は伸びやすくなり、同じ送気量であったとして大きく気腹する。腹囲、皮下脂肪、手術歴、年齢、性別、体重、既往症、その他、被検体の体組織の伸張のしやすさに影響を与えるパラメータがあってよい。また、被検体PSの体組織の伸張のしやすさは、臓器や血管の硬さを推定させるパラメータがあってよい。また、被検体PSの体組織の伸張のしやすさは、体表の場所によって異なってよい。気腹条件と気腹シミュレーションは有限要素法を用いた大変形シミュレーションで表現してよい。気腹条件と気腹シミュレーションは、有限体積法、レベルセット法、格子ボルツマン法(Lattice Boltzmann methods)、CIP法(Constrained Interpolation Profile Scheme)、あるいはこれらの組み合わせで表現してよい。
次に、標準的なポート位置の具体例について説明する。標準的なポート位置の配置は、本実施形態にも適用可能である。
図5Aは、被検体PSの体表に設置されるポート位置の第1配置計画例を示す図である。図5Bは、被検体PSの体表に設置されるポート位置の第2配置計画例を示す図である。図5Cは、被検体PSの体表に設置されるポート位置の第3配置計画例を示す図である。複数のポート位置の配置は、例えば術式に応じて計画されてよい。図5A~図5Cでは、被検体PSの体格や観察対象の病変等の位置や大きさは考慮されていない。
なお、図5A~図5Cにおいて示された複数のポート位置は、穿孔予定のポート位置である。穿孔予定のポート位置と実際に穿孔されたポート位置とでは多少の誤差が生じることがあり、例えば25mm程度の誤差が生じることがある。
被検体PSの体表に設けられるポートPTには、カメラCAが挿入されるカメラポートPTC、エンドエフェクタEFが挿入されるエンドエフェクタポートPTE、助手が把持する鉗子類が挿入される補助ポートPTA、が含まれてよい。各ポートPTは種類毎(例えばカメラポートPTC、エンドエフェクタポートPTE、補助ポートPTA毎)に複数存在してよく、各ポートPTの大きさは種類毎に同じでも異なってもよい。例えば、臓器を抑えるためのエンドエフェクタEFや被検体PS内での動きが複雑なエンドエフェクタEFが挿入されるエンドエフェクタポートPTEは、電気メスとしてのエンドエフェクタEFが挿入されるエンドエフェクタポートPTEよりも大きくてよい。補助ポートPTAは、比較的自由に配置位置が計画されてよい。
図5Aでは、カメラポートPTCのポート位置を基準(頂点)として、被検体PSの右方向及び被検体PSの左方向において、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。
図5Bでは、臍hsの位置を挟んで、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。また、カメラポートPTCも臍hsの近傍に配置されている。
図5Cでは、多くのエンドエフェクタポートPTE及び補助ポートPTAが直線状に配列されている。臍hsの位置は、この直線上の位置から、ややずれている。また、カメラポートPTCも臍hsの近傍に配置されている。
既存の計画では、直線的に多くのポートPTが並んで配置されることが多いのは、ユーザがポート位置を位置決めしやすいことと安心感があるためと考えられる。なお、複数のポートPTのうち、カメラポートPTCが被検体PSの体表面の中央部に配置されなくてもよい。
図6は、ロボット手術時の被検体PS、ポートPT、トロッカーTC、及びロボットアームARの位置関係の一例を示す図である。
被検体PSには、1つ以上のポートPTが設けられる。ポートPTのそれぞれには、トロッカーTCが配置される。トロッカーTCにはエンドエフェクタEFが接続(例えば挿通)され、被検体内でのエンドエフェクタEFによる作業(処置)が可能となる。ポート位置は、固定して配置され、術中に移動しない。したがって、ポート位置に配置されるトロッカーTCの位置も移動しない。一方、術中の処置に応じて、ロボット操作端末の操作を基にロボットアームAR及びエンドエフェクタが制御され、ロボットアームARは移動する。よって、ロボットアームARとトロッカーTCの位置関係が変化し、被検体の体表面に対するトロッカーTCの角度やトロッカーTCに取り付けられたエンドエフェクタEFの角度が変化する。なお、図6では、助手が把持する監視類もエンドエフェクタとして示されている。
次に、ロボット手術支援装置100の動作について説明する。
まず、ポート位置シミュレーションの手順について説明する。図7は、ポート位置シミュレーションの手順の一例を示すフローチャートである。
まず、ポート位置処理部164は、例えば通信部110を介して、被検体PSを含むボリュームデータを取得する(S11)。ポート位置処理部164は、例えば通信部110を介して、手術支援ロボット300のキネマティクスの情報を取得する(S12)。変形シミュレーション部163は、気腹シミュレーションを実行し(S13)、被検体PSの仮想気腹状態のボリュームデータを生成する。
ポート位置処理部164は、術式の情報を取得する(S14)。ポート位置処理部164は、取得された術式に応じた複数のポートPTの位置(初期位置)を取得し、設定する(S14)。この場合、ポート位置処理部164は、3次元座標で複数のポートPTの位置を設定してよい。
ポート位置処理部164は、ターゲット領域の位置の情報を取得する(S15)。
ポート位置処理部164は、S14で取得された複数のポートの位置とターゲット領域の位置とに基づいて、各ポートPTから挿入された各エンドエフェクタEFがターゲット領域にアクセス可能か否かを判定する(S16)各エンドエフェクタEFがターゲット領域にアクセス可能か否かは、ターゲット領域における全ての位置に、各エンドエフェクタEFが到達可能であるか否かに相当してよい。つまり、エンドエフェクタEF(必要に応じて複数のエンドエフェクタEF)によって、取得された術式に従ったロボット手術が可能であるか否かを示しており、アクセス可能な場合には、ロボット手術が可能であることを示している。
各エンドエフェクタEFの少なくも1つがターゲット領域の少なくとも一部にアクセス不可能である場合、ポート位置処理部164は、穿孔対象の複数のポートPTに含まれる少なくとも1つのポートPTのポート位置を、被検体PSの体表に沿って、移動する(S17)。この場合、ポート位置処理部164は、UI120を介したユーザ入力を基に、ポート位置を移動してよい。移動させるポートPTは、少なくとも、ターゲット領域の少なくとも一部にアクセス不能であったエンドエフェクタEFが挿入されたポートPTを含む。
各エンドエフェクタEFがターゲット領域にアクセス可能である場合、処理部160は、図7のポート位置シミュレーションの処理を終了する。
このように、ロボット手術支援装置100は、ポート位置シミュレーションを実施することで、取得された複数のポート位置を用いてターゲット領域にアクセス可能であるか否か、よって取得された複数のポート位置を用いた手術支援ロボット300によるロボット手術が可能であるか否かを判定できる。複数のポート位置を用いてターゲット領域にアクセス不能である場合、UI120介してポート位置の少なくとも一部を変更して、変更された複数のポート位置を用いてターゲット領域にアクセス可能であるか否かを再度判定してよい。ロボット手術支援装置100は、ターゲット領域にアクセス可能である複数のポート位置の組み合わせを、穿孔対象の複数のポート位置に計画できる。このように、ロボット手術支援装置100は、ユーザ手動でポート位置を調整し、ポート位置を計画できる。
次に、ポート位置スコアの算出例について説明する。
複数のポート位置は、例えば術式に従って定められ、被検体PSの体表上の任意の位置にそれぞれ配置されることが仮定されてよい。よって、複数のポート位置の組み合わせも、様々なポート位置の組み合わせが仮定されてよい。1つのポートPTから、ロボットアームARに装着された1つのエンドエフェクタEFが被検体PS内に挿入可能である。よって、複数のポートPTから、複数のロボットアームARに装着された複数のエンドエフェクタEFが被検体PS内に挿入可能である。
1つのエンドエフェクタEFがポートPTを介して被検体PS内において到達可能な範囲が、1つのエンドエフェクタEFによって作業(ロボット手術における処置)が可能なワーキングエリア(個別ワーキングエリアWA1)となる。よって、複数のエンドエフェクタEFによる個別ワーキングエリアWA1が重複するエリアが、複数のエンドエフェクタEFが複数のポートPTを介して被検体PS内において同時に到達可能なワーキングエリア(全体ワーキングエリアWA2)となる。術式に従った処置では、所定数(例えば3つ)のエンドエフェクタEFが同時動作することが必要であるので、所定数のエンドエフェクタEFが同時に到達可能な全体ワーキングエリアWA2が考慮される。
また、手術支援ロボット300のキネマティクスによってエンドエフェクタEFが到達可能な被検体PSにおける位置が異なるので、エンドエフェクタEFが被検体PS内に挿入される位置であるポート位置の導出に加味される。また、術式によって確保すべき全体ワーキングエリアWA2の被検体PS内における位置が異なるので、全体ワーキングエリアWA2の位置に対応するポート位置の導出に加味される。
ポート位置処理部164は、取得された(仮定された)複数のポート位置の組み合わせ毎に、ポート位置スコアを算出してよい。ポート位置処理部164は、仮定された複数のポート位置の組み合わせのうち、所定条件を満たすポート位置スコア(例えば最大となるポートスコア)となるポート位置の組み合わせを計画してよい。つまり、計画されたポート位置の組み合わせに含まれる複数のポート位置を、穿孔対象の複数のポート位置に計画してよい。
なお、ポート位置と手術支援ロボット300の可動部の動作との関係性は、例えば参考非特許文献2,3に記載された関係性を満たしてよい。
(参考非特許文献2):Mitsuhiro Hayashibe, Naoki Suzuki, Makoto Hashizume, Kozo Konishi, Asaki Hattori, “Robotic surgery setup simulation with the integration of inverse-kinematics computation and medical imaging”, computer methods and programs in biomedicine, 2006, P63-P72
(参考非特許文献3)Pal Johan From, “On the Kinematics of Robotic-assisted Minimally Invasive Surgery”, Modeling Identication and Control, Vol.34, No.2, 2013, P69-P82
図8は、ロボット手術支援装置100によるポート位置スコアを算出する場合の動作例を示すフローチャートである。
図8の処理前には、図7に示したポート位置シミュレーションのS11~S14と同様に、被検体PSのボリュームデータの取得、手術支援ロボット300のキネマティクスの情報の取得、気腹シミュレーションの実行、及び術式の情報の取得が事前に行われる。また、キネマティクスの情報は、術式に応じて各ロボットアームARに装着された各エンドエフェクタEFの情報が含まれてよい。なお、ポート位置スコアの初期値は値0である。ポート位置スコアは、ポート位置の組み合わせの価値を示す評価関数(評価値)である。なお、変数は、作業の識別情報の一例であり、変数jは、ポートの識別情報の一例である。
ポート位置処理部164は、術式に応じて、各エンドエフェクタEFを用いた作業work_iのリストである作業リストworksを生成する(S21)。作業work_iには、術式に従った手術手順で各エンドエフェクタEFが作業するための情報が含まれる。作業work_iには、例えば把持、切除、縫合等が含まれてよい。なお、作業には、単一のエンドエフェクタEFによる単独作業、複数のエンドエフェクタEFによる協調作業、が含まれてよい。
ポート位置処理部164は、術式及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために最低限必要な領域である最小領域least_region_iを計画する(S22)。最小領域は、被検体PSにおける3次元領域で定められてよい。ポート位置処理部164は、最小領域least_region_iのリストである最小領域リストLeast_regionsを生成する(S22)。
ポート位置処理部164は、術式、手術支援ロボット300のキネマティクス、及び仮想気腹状態のボリュームデータに基づいて、作業リストworksに含まれる作業work_iを行うために推奨される領域である推奨領域effective_region_iを計画する(S23)。ポート位置処理部164は、推奨領域effective_region_iのリストである推奨領域リストeffective_regionsを生成する(S23)。推奨領域には、作業を行うための最低限の空間(最小領域)とともに、例えばエンドエフェクタEFが動作するために推奨される空間が含まれてよい。
ポート位置処理部164は、複数のポート位置port_jのリストであるポート位置リストportsの情報を取得する(S24)。ポート位置は、3次元座標(x,y,z)で定められてよい。ポート位置処理部164は、例えば、UI120を介してユーザ入力を受け付け、ユーザにより指定された1つ以上のポート位置を含むポート位置リストportsを取得してよい。ポート位置処理部164は、メモリ150にテンプレートとして保持されたポート位置リストportsを取得してもよい。
ポート位置処理部164は、術式、手術支援ロボット300のキネマティクス、仮想気腹状態のボリュームデータ、及び取得された複数のポート位置に基づいて、各作業work_iについて、各ポート位置port_jを介して各エンドエフェクタEFが作業可能な領域であるポート作業領域region_iを計画する(S25)。ポート作業領域は、3次元領域で定められてよい。ポート位置処理部164は、ポート作業領域region_iのリストであるポート作業領域リストregionsを生成する(S25)。
ポート位置処理部164は、作業work_i毎に、最小領域least_region_iからポート作業領域region_iから引いて、減算領域(減算値)を算出する(S26)。ポート位置処理部164は、減算領域が空領域(減算値が負の値)でないか否かを判定する(S26)減算領域が空領域でないか否かは、最小領域least_region_i内の少なくとも一部に、ポート作業領域region_iに覆われていない領域(ポートPTを介してエンドエフェクタEFが到達しない領域)が存在する否かを示している。
減算領域が空領域である場合、ポート位置処理部164は、推奨領域effective_region_iとポート作業領域region_iとの積である体積値Volume_iを算出する(S27)。そして、ポート位置処理部164は、作業work_i毎に算出された体積値Volume_iを合計し、合計値Volume_sumを算出する。ポート位置処理部164は、合計値Volume_sumをポート位置スコアに設定する(S27)。
つまり、減算領域が空領域である場合、最小領域内にポート作業領域に覆われていない領域が存在せず、このポート位置リストports(ポート位置port_jの組み合わせ)が選択されることが好ましいので、このポート位置リストが選択され易くように、ポート位置スコアに作業work_i毎の値が加算される。また、体積Volume_i
を基準にポート位置スコアが計画されることで、最小領域やポート作業領域が大きい程、ポート位置スコアが大きくなり、このポート位置リストportsが選択され易くなる。よって、ポート位置処理部164は、最小領域やポート作業領域が大きく、手術における各処置が容易になるポート位置の組み合わせを選択し易くできる。
一方、減算領域が空領域でない場合、ポート位置処理部164は、ポート位置リストportsについてのポート位置スコアを、値0に設定する(S28)。つまり、最小領域内の少なくとも一部にポート作業領域に覆われていない領域が存在し、対象の作業work_iの作業を完結できない可能性があるので、このポート位置リストPostsが選択されることが好ましくない。そのため、ポート位置処理部164は、このポート位置リストPostsが選択されにくくなるように、ポート位置スコアを値0とし、選択候補から除外する。この場合、ポート位置処理部164は、同じポート位置リストportsを用いて他の作業work_iを行う場合に空領域となっても、全体でのポート位置スコアを値0に設定する。
なお、ポート位置処理部164は、全ての作業work_iについて図8の各ステップを繰り返し、全作業work_iを加味したポート位置スコアを算出してよい。
このように、ロボット手術支援装置100は、ポート位置スコアを導出することで、被検体PSの体表上に設けられる複数のポート位置を用いてロボット手術する場合に、穿孔候補のポート位置の組み合わせが、どの程度適切であるかを把握できる。個別ワーキングエリアWA1や全体ワーキングエリアWA2は、穿孔対象となる複数のポートの配置位置によって左右される。この場合でも、手術支援ロボット300は、複数のポート位置の組み合わせ毎のスコア(ポート位置スコア)を加味することで、例えばポート位置スコアが閾値th1以上(例えば最大)となる複数のポート位置の組み合わせを導出でき、ロボット手術を実施し易いポート位置を設定できる。
また、ポート位置スコアに基づいてワーキングエリアが適切に確保されることで、ユーザは、ロボット手術において直接目視できない被検体内での視野を広く確保でき、ポート作業領域を広く確保でき、不測の事態に対処し易くなる。
また、ロボット手術では、穿孔されたポート位置は不変であるが、ポート位置に挿入されるエンドエフェクタが装着されるロボットアームARは所定範囲で移動可能である。そのため、ロボット手術では、計画されるポート位置によっては、ロボットアームARが相互に干渉し得るので、ポート位置の計画は重要である。また、手術支援ロボット300と被検体PSとの位置関係を術中に変更することは原則的に行われないので、ポート位置の計画は重要である。
図9は、ポート位置を基に定められるワーキングエリアの一例を示す図である。個別ワーキングエリアWA1は、各ポート位置port_jに対応する個別のワーキングエリアである。個別ワーキングエリアWA1は、個別のエンドエフェクタが到達可能な被検体PS内の領域でよい。各個別ワーキングエリアWA1が重複するエリアが、全体ワーキングエリアWA2である。全体ワーキングエリアWA2は、ポート作業領域region_iに相当してよい。ロボット手術支援装置100は、ポート位置スコアを用いることで、各ポート位置を最適化でき、好適な個別ワーキングエリアWA1及び全体ワーキングエリアWA2を導出できる。
次に、ポート位置調整の詳細について説明する。
ポート位置処理部164は、例えばメモリ150に保持されたテンプレートやUI120を介したユーザ指示を基に、複数のポート位置(候補位置)の情報を取得する。ポート位置処理部164は、取得された複数のポート位置の組み合わせに基づいて、この複数のポート位置を用いた場合のポート位置スコアを算出する。
ポート位置処理部164は、ポート位置スコアに基づいて、ポートPTの位置を調整してよい。この場合、ポート位置処理部164は、取得された複数のポート位置の場合のポート位置スコアと、この複数のポート位置のうちの少なくとも1つのポート位置を変更した場合のポート位置スコアと、に基づいて、ポートPTの位置を調整してよい。この場合、ポート位置処理部164は、3次元空間での各方向(x方向、y方向、z方向)に沿ったポート位置の微小移動や微分を加味してよい。
なお、x方向は、被検体PSを基準とした左右方向に沿ってよい。y方向は、被検体PSを基準とした前後方向(被検体PSの厚み方向)でよい。z方向は、被検体PSを基準とした上下方向(被検体PSの体軸方向)でよい。x方向、y方向、z方向は、DICOM(Digital Imaging and COmmunications in Medicine)で規定された3方向でよい。x方向、y方向、z方向は、これ以外の方向でもよく、被検体PSを基準にしない方向でもよい。
例えば、ポート位置処理部164は、(式1)に従って、複数のポート位置に対して、ポート位置スコアF(ports)を算出し、Fの微分値F’を算出してよい。
F(port_j(x+Δx, y, z)) - F(port_j(x, y, z))
F(port_j(x, y+Δy, z)) - F(port_j(x, y, z)) ・・・(式1)
F(port_j(x, y, z+Δz)) - F(port_j(x, y, z))
つまり、ポート位置処理部164は、ポート位置F(port_j(x+Δx, y, z))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるx方向の微小変化に対するポート位置スコアFの変化を示し、つまり、x方向のFの微分値F’を示す。
また、ポート位置処理部164は、ポート位置F(port_j(x, y+Δy, z))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるy方向の微小変化に対するポート位置スコアFの変化を示し、つまり、y方向のFの微分値F’を示す。
また、ポート位置処理部164は、ポート位置F(port_j(x, y, z+Δz))の場合のポート位置スコアFを算出し、ポート位置F(port_j(x, y, z))の場合のポート位置スコアFを算出し、その差分を算出する。この差分値は、ポート位置F(port_j(x, y, z))におけるz方向の微小変化に対するポート位置スコアFの変化を示し、つまり、z方向のFの微分値F’を示す。
ポート位置処理部164は、各方向の微分値F’に基づいて、ポート位置スコアの最大値を算出する。この場合、ポート位置処理部164は、微分値F’に基づいて、再急降下法に従ってポート位置スコアが最大となるポート位置を算出してよい。ポート位置処理部164は、算出されたポート位置を穿孔対象の位置とするように、ポート位置を調整し、ポート位置を最適化してよい。なお、ポート位置スコアが最大となるポート位置でなくても、例えばポート位置スコアが閾値th1以上となる位置でもよく、ポート位置スコアが改善されれば(高くなれば)よい。
ポート位置処理部164は、このようなポート位置の調整を、複数のポート位置の組み合わせに含まれる他のポート位置の調整に適用したり、複数のポート位置の他の組み合わせにおけるポート位置の調整に適用したりしてよい。これにより、ポート位置処理部164は、各ポート位置が調整された(例えば最適化された)複数のポートPTを、穿孔対象のポート位置に計画できる。このように、ロボット手術支援装置100は、自動でポート位置を調整し、ポート位置を計画できる。
なお、複数のポート位置(ポート位置の座標)は、穿孔予定位置と実際の穿孔位置とで所定長(例えば25mm)程度の誤差が生じ得、またポート位置の計画精度は精々3mmあれば十分であると考えられる。そのため、ポート位置処理部164は、被検体PSの体表において所定長毎に、ポート位置の組み合わせに含まれる複数のポート位置を総当たりで穿孔予定位置とし、この複数のポート位置についてのポート位置スコアをそれぞれ算出してよい。つまり、被検体PSの体表における所定長(例えば3mm)の格子状(グリッド)に、穿孔予定位置が配置されてよい。また、体表上に仮定されるポート数(例えば格子状の交点の数)がn個であり、ポート位置の組み合わせに含まれるポート数がm個である場合、ポート位置処理部164は、n個のポート位置からm個のポート位置を順番に選択して組み合わせ、それぞれの組み合わせでのポート位置スコアを算出してよい。このように、3mm間隔の格子状のようにグリッドが過度に細かくない場合には、ポート位置処理部164の計算負荷が過大となることを抑制でき、全組み合わせのポート位置スコアを算出可能である。
なお、ポート位置処理部164は、公知の方法に従って、複数のポート位置の調整を行ってよい。ポート位置処理部164は、穿孔対象のポート位置を、調整後のポート位置の組み合わせに含まれる複数のポート位置に計画してよい。ポート位置調整の公知の方法は、以下の参考非特許文献4,5及び参考特許文献3に記載された技術を含んでよい。
(参考非特許文献4)Shaun Selha、Pierre Dupont, Robert Howe, David Torchiana, “Dexterity optimization by port placement in robot-assisted minimally invasive surgery”, SPIE International Symposium on Intelligent Systems and Advanced Manufacturing, Newton, MA, 28-31, 2001
(参考非特許文献5)Zhi Li, Dejan Milutinovic, Jacob Rosen, “Design of a Multi-Arm Surgical Robotic System for Dexterous Manipulation”, Journal of Mechanisms and Robotics, 2016
(参考特許文献3)米国特許出願公開第2007/0249911明細書
次に、気腹前後のポートPTの動きについて説明する。
気腹のシミュレーションは気腹の手技の種類をパラメータとしてよい。気腹の手技には、例えば、Open法、Closed法、Direct法がある。
Open方法では、開腹手術と同様に、被検体PSの体表に第1ポートが開けられる。第1ポートが安全に貫通したことが確認されると、第1トロッカー(Hasson Trocar)が挿入され、気腹が開始される。Open法は、安全性は高いが手技に時間がかかり、侵襲が比較的大きいので、被検体PSに癒着があると予想される際に実施される。
Closed法では、Veress針(気腹針)と呼ばれる針が被検体PSの体表に穿刺されて第1ポートが穿孔され、Veress針からガスが送り込まれて被検体PSが気腹され、気腹後に第1ポートに第1トロッカーが挿入される。Closed方法は、盲目的な作業になるので、難易度が高い。Closed方法は、迅速な手技であるが、臓器を損傷する可能性がある。
Direct法では、被検体PSの体表がいきなり第1トロッカーで穿孔され、気腹される。Direct法は、迅速な手技であるが、臓器を損傷する可能性がある。臓器を損傷する可能性があり、その時の損傷の程度も大きくなる可能性がある。ただし、Closed法と異なり、第1トロッカーにカメラが付けられて穿孔されるので、視野が確保されて作業される。
Open法及びDirect法では、気腹前に第1トロッカーが挿入される第1ポート(通常カメラポート)が穿孔される。第1トロッカーには気腹のためのガス注入チューブが取り付けられてよい。そのため、ポート位置シミュレーション及びポート位置調整において特別扱いが必要な場合がある。例えば、気腹前のポート位置の計画や位置決めやマーキングに、第1トロッカーが挿入される第1ポートのポート位置の計画や位置決めやマーキングが含まれなくてもよい。
図10は、気腹シミュレーション前後におけるポート位置の移動例を示す図である。
画像G21は、元のCTデータ(ボリュームデータ)のMPR画像を示す。つまり、画像G21は、気腹シミュレーションの実施前の非気腹状態のボリュームデータのMPR画像である。
画像G22は、画像G21のボリュームデータに対して気腹シミュレーションが行われた、仮想気腹状態のボリュームデータのMPR画像を示す。画像G22では、被検体PSの臓器と体表との間に気腹空間KSが存在する。画像G22では、仮想気腹状態のボリュームデータにおいて計画されたポートPT20の位置が示されている。
画像G23は、画像G21と同様に、元のCTデータ(ボリュームデータ)のMPR画像を示し、非気腹状態のボリュームデータのMPR画像を示す。画像G23では、仮想気腹状態のボリュームデータにおけるポートPT20の位置に対応する、非気腹状態のボリュームデータにおけるポートPT10の位置が示されている。つまり、非気腹状態の被検体PSの体表におけるポートPT10は、仮想気腹状態の被検体PSの体表ではポートPT20となる。また、このポートPT10は、実気腹状態の被検体PSの体表でもポートPT20となることが予想される。気腹シミュレーション前後における各ポートPT10,PT20の位置は、上述の変形情報(動き情報)により対応付け可能である。
図11は、ロボット手術支援装置10による気腹前ポート位置を導出する場合の動作例を示すフローチャートである。図11の処理前には、手術支援ロボット300のキネマティクスの情報の取得、及び術式の情報の取得が事前に行われてよい。
変形シミュレーション部163は、通信部110を介して、被検体PS(例えば患者)のボリュームデータを取得する(S31)。このボリュームデータは、非気腹状態のボリュームデータ(気腹前ボリュームデータ)である。
変形シミュレーション部163は、非気腹状態のボリュームデータに対して気腹シミュレーションを行い、変形情報OPを生成する(S32)。変形シミュレーション部163は、非気腹状態のボリュームデータと変形情報に基づいて、仮想気腹状態のボリュームデータを生成する(S32)。
ポート位置処理部164は、仮想気腹状態のボリュームデータを用いてポート位置シミュレーション又はポート位置調整を行い、被検体PSの体表に穿孔されるポートPT20の位置(気腹後ポート位置)を計画する(S33)。
ポート位置処理部164は、仮想気腹状態のボリュームデータを基に計画されたポートPT20の位置と、変形情報OPと、を基に、非気腹状態(気腹前)のボリュームデータにおけるポートPT20の位置に対応するポートPT10の位置(気腹前ポート位置)を算出する(S34)。
表示制御部166は、非気腹状態のボリュームデータ(ボリュームデータに基づくレンダリング画像)に、非気腹状態のボリュームデータにおけるポートPT10の位置(気腹前ポート位置)を示す情報を非気腹状態での計画されたポート位置として、重畳して、ディスプレイ130に表示させる(S35)。
このように、ロボット手術支援装置100は、図11の動作を行うことで、被検体PSの気腹前に、気腹後に適したポートPT20の位置(気腹後ポート位置)を加味しながら、気腹後ポート位置に対応する気腹前ポート位置(ポートPT10の位置)を導出できる。この場合、ロボット手術支援装置100は、変形情報OPを用いた簡単な演算処理により、気腹前ポート位置を導出できる。また、ロボット手術支援装置100は、気腹前にポート位置の計画、位置決め、マーキング等を行うことで、手術時間を短縮し、術者の心理的負担を低減できる。なお、気腹後においては、気腹シミュレーションに誤差が無い場合、つまり仮想気腹状態と実気腹状態とに差が無い場合、マーキングされた気腹前ポート位置は、実気腹後のポート位置に一致する。
次に、気腹シミュレーションの誤差について説明する。
気腹シミュレーションの誤差は、様々な要因によって発生するが、ここでは、被検体PSの体組織の伸張のしやすさが被検体PSによって異なることによって起因する誤差について主に説明する。特に、被検体PSの気腹による膨張が、体表上で一定ではなく、不均一な膨張となることに起因して生じ得る。気腹のシミュレーションにおいて、体表上のそれぞれの箇所に体組織の伸張のしやすさを設定するが、その設定が正確で無かったときに誤差が生じる。
図12及び図13は、気腹シミュレーションによる被検体のPSの不均一な膨張への対応を説明するための図である。
実気腹時には、体表面が不均一に膨張し得る。言い換えると、体表面BS1は、気腹時には、理想的な風船のように均一には膨張しない。実気腹時には、被検体PSの皮膚は均一に膨張しないとも言える。つまり、被検体PSの体表は、体表面BS1上の位置によって、ヤング率又はこれと同様の係数が異なる。また、被検体PSによって、実気腹時の膨張の仕方が異なり得る。そのため、条件(伸張のしやすさ)を変えると、実気腹前における体表面上の各点と実気腹後における体表面上の各点との対応関係は、一意に定まらない。
したがって、体表面BS1上の体組織のヤング率又はこれと同様の係数による条件を複数作成し、気腹後ポート位置から変形情報OPを基に気腹前ポート位置が導出されると、気腹シミュレーションで導出された気腹後ポート位置は、条件によって異なり得る。よって、気腹後ポート位置に対応する気腹前ポート位置も、気腹前ポート位置を気腹した場合に実気腹後に穿孔すべきポート位置とはならない可能性がある。これに対し、ロボット手術支援装置100は、体表面の不均一な膨張を加味して、気腹シミュレーションで導出される気腹後ポート位置や気腹前ポート位置が一定の範囲として導出されると、実気腹後のポート位置から離れることを抑制できると期待できる。
そこで、変形シミュレーション部163は、体表上のそれぞれの箇所に体組織の伸張のしやすさの条件に応じた複数の気腹シミュレーションを行い、それぞれの気腹シミュレーションの結果に応じて、ポート位置シミュレーションやポート位置調整を行ってよい。つまり、変形シミュレーション部163は、異なる複数の条件を用いて、複数の気腹シミュレーションを行ってよい。この場合、ポート位置処理部164は、ポート位置シミュレーションやポート位置調整によって定められる気腹後ポート位置に対応する気腹前ポート位置を、複数算出してよい。また、ポート位置処理部164は、ポート位置シミュレーションやポート位置調整によって定められる気腹後ポート位置に対応する気腹前ポート位置を、一定の範囲(気腹前ポート位置範囲)として導出してよい。このため、ポート位置処理部164は、気腹前ポート位置を、1つの点ではなく、体表面BS1における気腹前ポート位置範囲や、この気腹前ポート位置範囲に含まれる複数の点(位置)として算出してよい。更に、変形シミュレーション部163は、体内臓器のそれぞれの箇所に体組織の伸張のしやすさの条件に応じた複数の気腹シミュレーションを行い、それぞれの気腹シミュレーションの結果に応じて、ポート位置シミュレーションやポート位置調整を行ってよい。
ロボット手術支援装置100では、被検体PS毎に、被検体PSの体組織の伸張のしやすさを表すデータ(例えば被検体PSにおける体表位置毎の伸張し易さを示すデータ)を、体表の伸張の仕方を示す伸張パラメータとして、メモリ150が保持しておいてよい。伸張パラメータは、被検体PSの体表の伸張の仕方を示してよい。メモリ150は、伸張パラメータを複数パターン保持しておいてよい。これにより、ロボット手術支援装置100は、気腹シミュレーション時に、体表の伸びやすさのばらつきを加味できる。
変形シミュレーション部163は、気腹シミュレーションに用いるパラメータに伸張パラメータを追加して、気腹シミュレーションを行ってよい。変形シミュレーション部163は、異なる伸張パラメータを用いて、複数の気腹シミュレーションを行い、仮想気腹状態のボリュームデータを複数生成してよい。ポート位置処理部164は、複数の仮想気腹状態のボリュームデータを基に、気腹後ポート位置を複数導出してよい。複数の気腹後ポート位置に対応する気腹前ポート位置も複数導出してよい。ポート位置処理部164は、導出された複数の気腹前ポート位置を含む一定の範囲(気腹前ポート位置範囲)を導出してよい。また、ポート位置処理部164は、気腹前ポート位置範囲に含まれるいずれかの少なくとも1つの点を、気腹前ポート位置として計画してよい。
図12及び図13では、気腹後ポート位置として、気腹後の体表面BS21,BS22におけるポートPT21,PT22の位置が得られる。気腹前ポート位置として、気腹前の体表面BS11,BS12におけるポートPT11,PT12の位置が得られる。気腹後ポート位置(ポートPT21,PT22)は、伸張パラメータを加味した仮想気腹状態のボリュームデータを基に、ポート位置シミュレーション又はポート位置調整により導出可能である。気腹前ポート位置は、気腹後ポート位置及び変形情報OPを基に導出可能である。
図12及び図13では、簡単のために、条件COND1における被検体PSの気腹後の体表面BS21と条件COND2における被検体PSの気腹後の体表面BS22との形状が同一としている。条件COND1における被検体PSの気腹前の体表面BS11におけるポートPT11の位置(気腹前ポート位置)と、条件COND2における被検体PSの気腹前の体表面BS12におけるポートPT11の位置(気腹前ポート位置)とは、同じである。一方、条件COND1における被検体PSの気腹後の体表面BS21におけるポートPT21の位置(気腹後ポート位置)と、条件COND2における被検体PSの気腹後の体表面BS22におけるポートPT22の位置(気腹後ポート位置)とは、異なる。
このように、図12及び図13に示すように、気腹後の体表の形状が同じであっても、同じ気腹前ポート位置に対応する気腹後ポート位置が異なる場合がある。逆に、異なる気腹後ポート位置に対応する気腹前ポート位置が同じ場合もある。ポート位置処理部164は、伸張パラメータを加味した異なる気腹シミュレーションにより、同じ気腹後の体表面BS21,BS22となっても、気腹後ポート位置に対応して、体表面BS11,BS12において異なる気腹前ポート位置を導出できる。そして、ポート位置処理部164は、これらの異なる気腹前ポート位置を含むポート位置範囲を導出できる。また、ポート位置処理部164は、条件による気腹後ポート位置(ポートPT21,PT22)の差異を加味して、ポート位置シミュレーション又はポート位置調整を行うことができる。
画像生成部162は、非気腹状態のボリュームデータをレンダリングしてレンダリング画像を生成してよい。表示制御部166は、非気腹状態のレンダリング画像とともに、非気腹状態の体表面BS11,BS12における導出された複数の気腹前ポート位置や気腹前ポート位置範囲を示す情報を表示させてよい。また、表示制御部166は、非気腹状態のレンダリング画像ではなく、非気腹状態の体表面BS11,BS13を示すサーフィスレンダリング画像と、非気腹状態の体表面BS11,BS12における導出された複数の気腹前ポート位置や気腹前ポート位置範囲を示す情報と、を表示させてよい。
このように、ロボット手術支援装置100は、被検体PSの体表の位置による不均一な伸張を加味して、複数の気腹位置シミュレーションを行い、1つ以上の気腹前ポート位置又は気腹前ポート位置範囲を導出できる。よって、ロボット手術支援装置100は、気腹前にポート位置又はポート位置範囲を計画できる。ユーザは、被検体PSの不均一な伸張を加味した気腹前ポート位置又は気腹前ポート位置範囲を確認して、ポートの位置決めやポートの穿孔を行うことができる。よって、ロボット手術支援装置100は、気腹シミュレーションにおける被検体PSの伸張と実際の被検体PSの伸張とが異なっても、術中の気腹後にポート位置が想定外の位置となることを抑制できる。
図14は、気腹シミュレーションによるガス量が術中の状況に応じて変化することに起因する誤差への対応を説明するための図である。
気腹シミュレーションでは、気腹に用いられるガス(例えばCO2ガス)の注入量によって被検体PSの体表の膨らみ方が異なる。CO2ガスの注入量は、被検体PS(例えば患者)の肺機能に依存する。また、CO2ガスの注入量は、麻酔科医のコントロール下にある。そのため、術前に計画されるCO2ガスの注入量は、術中に用いられるCO2ガスの注入量と異なり得る。CO2ガスの注入量により、気腹量が定まる。
そこで、変形シミュレーション部163は、CO2ガスの注入量に応じた複数の気腹シミュレーションを行い、それぞれの気腹シミュレーションの結果に応じて、ポート位置シミュレーションやポート位置調整を行ってよい。つまり、変形シミュレーション部163は、異なる複数の気腹量を用いて、複数の気腹シミュレーションを行ってよい。この場合、ポート位置処理部164は、ポート位置シミュレーションやポート位置調整によって定められる気腹後ポート位置に対応する気腹前ポート位置を、複数算出してよい。また、ポート位置処理部164は、ポート位置シミュレーションやポート位置調整によって定められる気腹後ポート位置に対応する気腹前ポート位置を、一定の範囲(気腹前ポート位置範囲)として導出してよい。このため、ポート位置処理部164は、気腹前ポート位置を、1つの点ではなく、体表面BS1における気腹前ポート位置範囲や、この気腹前ポート位置範囲に含まれる複数の点(位置)として算出してよい。
図14では、非気腹状態Oの体表面BS13と、複数の異なる気腹量A,Bで気腹された複数の仮想気腹状態PA,PBの被検体PSの体表面BS23,BS33と、が示されている。ポート位置処理部164は、体表面BS23となる仮想気腹状態PAのボリュームデータを基に、ポート位置シミュレーション又はポート位置調整を行うことで、体表面BS23におけるポートPT23の位置を導出する。ポート位置処理部164は、体表面BS33となる仮想気腹状態PBのボリュームデータを基に、ポート位置シミュレーション又はポート位置調整を行うことで、体表面BS33におけるポートPT33の位置を導出する。
また、ポート位置処理部164が、非気腹状態Oのボリュームデータと仮想気腹状態PAのボリュームデータとの各点の対応関係を示す変形情報OPAを基に、ポートPT23の位置に対応する体表面BS13におけるポート位置を導出すると、ポートPT23’の位置となる。ポート位置処理部164が、非気腹状態Oのボリュームデータと仮想気腹状態PBのボリュームデータとの各点の対応関係を示す変形情報OPBを基に、ポートPT33の位置に対応する体表面BS13におけるポート位置を導出すると、ポートPT33’の位置となる。
ここで、体表面BS23となる気腹量Aと体表面BS33となる気腹量Bとの間の気腹量である場合、気腹前ポート位置は、ポートPT23’の位置とポートPT33’の位置との間となることが予想可能である。したがって、ポート位置処理部164は、複数の気腹量を加味して、つまり仮想気腹と実気腹との気腹量(ガス量)の誤差を加味して、気腹前ポート位置を、気腹前ポート位置範囲PT1Aとしてよい。気腹前ポート位置範囲PT1Aは、ポートPT23’の位置とポートPT33’の位置との間の範囲を含む。
画像生成部162は、非気腹状態のボリュームデータをレンダリングしてレンダリング画像を生成してよい。表示制御部166は、非気腹状態のレンダリング画像とともに、非気腹状態の体表面BS13における気腹前ポート位置範囲PT1Aを示す情報を表示させてよい。また、表示制御部166は、非気腹状態のレンダリング画像ではなく、非気腹状態の体表面BS13を示すサーフィスレンダリング画像と、気腹前ポート位置範囲PT1Aを示す情報と、を表示させてもよい。また、表示制御部166は、気腹前ポート位置範囲PT1Aではなく、単にポートPT23’やポートPT33’の位置を示す情報を表示させてもよい。これにより、ユーザは、体表面BS13上での体表面BS23,BS33におけるポート位置を加味した気腹前ポート位置範囲PT1Aを確認できる。
このように、ロボット手術支援装置100は、気腹シミュレーションによるガス量に応じた誤差を考慮することで、例えば気腹量として想定される気腹量の範囲を仮定し、最大気腹量の場合の体表面と最小気腹量の場合の体表面とを仮定して、それぞれの気腹後ポート位置に対応する気腹前ポート位置を推定して、気腹前ポート位置範囲を推定できる。これにより、ロボット手術支援装置100は、術中に気腹量が多少変動しても、術中の気腹後にポート位置が想定外の位置となることを抑制できる。また、ロボット手術支援装置100は、気腹量を最初から多少幅を持たせて想定することで、気腹量の変動による気腹前ポート位置の導出に対する影響を、誤差の範囲で吸収できる。
図15は、気腹シミュレーションによるガス量に応じた誤差に関する表示例を示す図である。図15では、異なる仮想気腹状態の体表面における対応位置関係を示している。図15において、図14と同様の事項については、詳細な説明を省略又は簡略化する。
図15では、図14と同様に、体表面BS23におけるポートPT23の位置に対応する体表面BS13におけるポートPT23’の位置が導出される。また、体表面BS33におけるポートPT33の位置に対応する体表面BS13におけるポートPT33’の位置が導出される。
ポート位置処理部164は、変形情報OPAを基に、体表面BS13におけるポートPT33’の位置に対応する体表面BS23におけるポートPT33Aの位置を算出する。つまり、気腹量Bの体表面BS33におけるポートPT33’の位置は、気腹量Aの体表面BS23におけるポートPT33Aの位置に対応すると推定可能である。よって、ポート位置処理部164は、気腹量Aのボリュームデータを用いたポート位置シミュレーション又はポート位置調整と、気腹量Bのボリュームデータを用いたポート位置シミュレーション又はポート位置調整と、を加味すると、気腹量Bの体表面BS23では、ポートPT23とポートPT33Aとの間の範囲であるポート位置範囲PT2Aが得られる。体表面BS23のポート位置範囲PT2Aは、体表面BS13の気腹前ポート位置範囲PT1Aに対応する。
画像生成部162は、気腹量Bのボリュームデータをレンダリングしてレンダリング画像を生成してよい。表示制御部166は、気腹量Bのレンダリング画像とともに、気腹量Bの体表面BS23におけるポート位置範囲PT2Aを示す情報を表示させてよい。また、表示制御部166は、気腹量Bのレンダリング画像ではなく、気腹量Bの体表面BS23を示すサーフィスレンダリング画像と、ポート位置範囲PT2Aを示す情報と、を表示させてもよい。また、表示制御部166は、ポート位置範囲PT2Aではなく、単にポートPT33Aの位置を示す情報を表示させてもよい。これにより、ユーザは、体表面BS23上での体表面BS33におけるポート位置を加味したポート位置範囲PT2Aを確認できる。
また、ポート位置シミュレーション又はポート位置調整は、1つの気腹量のみ想定して行われてもよい。この場合でも、ロボット手術支援装置100は、変形情報OPB及び変形情報OPAに基づいて、気腹量Bの体表面BS33におけるポートPT33に対応する気腹量Aの体表面BS23におけるポートPT33Bを導出できる。例えば、術前シミュレーション(例えばポート位置シミュレーション又はポート位置調整)の際に想定した気腹量と実際の気腹量とが異なる場合でも、ロボット手術支援装置100は、実際の気腹量として想定される気腹量の幅を予め想定することで、各気腹量での気腹前ポート位置や気腹前ポート位置範囲を導出できる。よって、ロボット手術支援装置100は、気腹シミュレーションの回数を低減しながら、複数の仮想気腹状態を加味して、各気腹状態におけるポート位置の対応関係を推定できる。
ここでは、画像生成部162は、一つの気腹量(気腹量B)で行ったポート位置シミュレーション又はポート位置調整で得られたポート位置の、他の気腹量(気腹量A)における体表面におけるポート位置を算出した。なお、画像生成部162は、一つの体組織の伸張のしやすさの条件(COND1)で行ったポート位置シミュレーション又はポート位置調整で得られたポート位置の、他の体組織の伸張のしやすさの条件(COND2)における体表面におけるポート位置を算出してもよい。
次に、本実施形態のバリエーションについて説明する。
ポート位置は、術式に応じて異なってよい。ポート位置は、計画された複数のポート位置の全部又は一部について、術前にマーキングされてよい。マーキングは、計画され位置決めされたポート位置に対して、医療用マーカーによって実施されてよい。
ポート位置処理部164は、気腹シミュレーションによる予測されるポート位置の誤差を加味して、上述した気腹前ポート位置範囲を算出してよい。気腹前ポート位置範囲は、被検体PSの不均一な伸張や気腹量の違いが加味されている。表示制御部166は、導出された気腹前ポート位置範囲の大きさが閾値th11以上である場合、このポート位置を術前のマーキングの対象外とすることを、ディスプレイ130に表示させてよい。表示制御部166は、導出された気腹前ポート位置範囲によるワーキングエリアへの影響(例えばポート位置スコアの変動)が閾値th12以上である場合、このポート位置を術前のマーキングの対象外とすることを、ディスプレイ130に表示させてよい。
これにより、ユーザは、術中の実際の気腹により想定外のポート位置となる可能性の高い気腹前ポート位置を認識できる。このポートPTは、術中に位置決めされることとなる。なお、誤差が大きい(気腹前ポート位置範囲が大きい)場合には、気腹後に計画され位置決めされたポート位置に対してマーキングされてよい。
表示制御部166は、導出された気腹前ポート位置範囲の大きさが、十分に小さい値である閾値th13以下である場合、気腹シミュレーションの誤差が十分に小さい旨を、ディスプレイ130に表示させてよい。ここでの表示は、例えば文字情報や図形情報での表示でよい。
具体的には、ポート位置処理部164は、ガス注入量に応じたポート位置の誤差を考慮する場合、気腹前ポート位置範囲の大きさが十分に小さい(つまり閾値th13以下である)場合、ガス注入量に応じて導出された気腹前ポート位置範囲における気腹前ポート位置の平均値の一点のみ(例えば気腹前ポート位置範囲の中心位置)を、気腹前ポート位置としてよい。表示制御部166は、この気腹前ポート位置を示す情報を、ディスプレイ130に表示させてよい。
これにより、ロボット手術支援装置100は、ガス注入量に応じたポート位置の誤差を考慮しながら。精度の高い1つのポート位置の情報を提供できる。ユーザは、誤差が十分に小さい旨や気腹前ポート位置範囲から導出された1つの気腹前ポート位置の表示を確認することで、誤差が十分に小さい高精度なポート位置の表示であることを確認できる。なお、閾値th13は、例えば3mmでよい。
また、ロボット手術支援装置100は、仮想気腹状態のボリュームデータ以外の仮想気腹状態の3Dデータを基に、ポート位置を計画してよい。例えば、仮想気腹状態の3Dデータは、変形情報と非気腹状態のボリュームデータとの組み合わせでもよいし、仮想気腹状態のサーフィスデータでもよい。仮想気腹状態のサーフィスデータは、仮想気腹状態のボリュームデータを基に生成されてよい。仮想気腹状態のサーフィスデータは、非気腹状態のボリュームデータから生成したサーフィスデータと変形情報から生成されてよい。
表示制御部166は、誤差の可視化について、体表面の誤差(例えばガス量の誤差によって発生)と、体表面上の誤差(例えば不均一な伸張によって発生)を区別して、可視化してよい。つまり、表示制御部166は、体表面の誤差を示す情報(例えば不均一な伸張を加味した気腹前ポート位置範囲の情報)と、体表面上の誤差を示す情報(例えばガス量に応じた気腹前ポート位置範囲の情報)とを、異なる表示態様で表示させてよい。体表面の誤差は、仮想気腹と実気腹とでの気腹量の違いによる体表面の違いを指す。体表面上の誤差は、気腹前後の体表面でそれぞれ対応する点がどの位置に移動したか、どの程度移動したか、等についての仮想気腹と実気腹とでの差を示す。
変形シミュレーション部163は、気腹シミュレーションの不均一さについて、過去の仮想気腹状態のボリュームデータを用いて、体表面上の各位置でのヤング率を調整してよい。過去の仮想気腹状態のボリュームデータは、メモリ150に蓄積されていてよい。つまり、変形シミュレーション部163は、過去の実績に即して、体表面上の各位置での気腹シミュレーションの気腹具合を補正してよい。これにより、ロボット手術支援装置100は、気腹シミュレーションの精度を向上させることができる。よって、ロボット手術支援装置100は、気腹前後の被検体PSの状態を正確に導出でき、気腹前後のデータを基に導出される変形情報の導出精度を向上できる。よって、ロボット手術支援装置100は、気腹前ポート位置の精度を向上できる。
変形シミュレーション部163は、被検体PS(例えば患者)の属性やCTデータ(例えばボリュームデータ)の解析結果を基に、体表面上の各位置でのヤング率を調整してよい。これにより、ロボット手術支援装置100は、気腹シミュレーションの精度を向上させることができる。被検体PSの属性は、被検体PSの性別、過去の体重、妊娠歴、骨格、皮下脂肪、等でよい。被検体PSの属性やCTデータは、メモリ150に保持されていてよい。
変形シミュレーション部163は、被検体PSの属性やCTデータの解析結果を基に、気腹に必要なガス量(気腹量)を予想してよい。被検体PSの属性は、性別、肺活量、呼吸器疾患の有無、骨格、安静時心拍数、等でよい。被検体PSの属性やCTデータは、メモリ150に保持されていてよい。これにより、ロボット手術支援装置100は、気腹量の導出精度を向上でき、気腹シミュレーションの精度を向上させることができる。
つまり、ロボット手術支援装置100は、被検体PSの属性やCTデータの解析結果を基に、被検体PSにおける様々な位置での皮膚の延び易さ(伸張し易さ)のデータをメモリ150に保持しておき、気腹シミュレーションに利用してよい。また、被検体PSの属性やCTデータの解析結果の情報は、被検体PS毎に蓄積されてもよいし、全被検体PSで区別なく蓄積されてもよい。また、実際に気腹された被検体PSの状態の情報も蓄積されてよい。被検体PSの属性やCTデータの解析結果と、実際に気腹された被検体PSの状態とが学習データとして用いられてよい。そして、被検体PSの属性やCTデータの解析結果に基づく気腹シミュレーションの結果が、実際に気腹された被検体PSの状態に近づくように、機械学習が行われてよい。
また、気腹前ポート位置は、体表面にポートPTを設置可能な範囲として定められてよい。つまり、気腹前ポート位置は、ポートPTの穿孔において許容される誤差(許容誤差)の範囲であってよい。許容誤差は、様々な方法によって導出されてよい。
ここで、ポート位置の許容誤差の詳細について説明する。
ポート位置処理部164は、各ポートに許容される誤差を示す情報(許容誤差情報)を導出(例えば算出)する。ポート位置処理部164は、ポート位置スコアに基づいて、許容誤差情報を算出してよい。ポート位置処理部164は、ポート位置の移動に伴うポート位置スコアの変動量に基づいて、許容誤差情報を算出してよい。許容誤差は、例えば、ポート位置の穿孔精度の最高水準を示す閾値th2(例えば誤差3mm)よりも大きい値でよい。
許容誤差情報は、被検体PSの体表上に表示されてよい。この場合、投射制御部167が、許容誤差情報を示す可視光を、被検体PSの体表に向けて投射させてよい。また、表示制御部166が、被検体PSのボリュームデータをレンダリングしたレンダリング画像に、許容誤差情報を重畳して表示させてよい。
許容誤差情報は、図形情報や文字情報として表示されてよい。図形情報は、穿孔対象のポート位置を含む許容誤差を含む範囲が示されてよい。この範囲は、被検体PSの体表における二次元範囲でよい。二次元範囲は、円(楕円、真円、その他の円)、多角形(例えば長方形、正方形、三角形、その他の多角形)、その他の形状で示される範囲でよい。円や多角形は、プリミティブ形状とも称する。許容誤差情報は、その他の情報(例えば表示態様(表示色、表示サイズ、表示パターン、点滅パターン)の情報)として表示されてよい。例えばポートPTの許容誤差が大きい場合には第1の色でポートPTが表示され、許容誤差が小さい場合には第2の色でポートPTが表示されてよい。
ロボット手術支援装置100が許容誤差情報を表示させることで、ユーザは、許容誤差情報を視認でき、穿孔対象のポート位置がどのくらいの範囲で穿孔されることが許容されるかを迅速に把握できる。よって、例えば許容誤差情報が示す空間的(又は平面的)な範囲が大きい場合、ユーザは、穿孔対象のポート位置にポートを大雑把に穿孔可能であることを認識できる。また、例えば許容誤差情報が示す空間的(又は平面的)な範囲が小さい場合、ユーザは、穿孔対象のポート位置にポートPTを正確に穿孔する必要があることを認識できる。よって、ロボット手術支援装置100は、例えば許容誤差が大きい許容誤差情報を表示させる場合、ポートPTを穿孔するユーザの心理的負担を軽減できる。また、ロボット手術支援装置100は、例えば許容誤差が大きい許容誤差情報を表示させる場合、ポートPTを穿孔するユーザがポートの位置決めを行うのに要する工数を削減でき、手術時間を短縮できる。また、ロボット手術支援装置100は、例えば許容誤差が小さい許容誤差情報を表示させる場合、ポートPTの穿孔に際し高い精度が求められている旨を、ユーザへ注意喚起できる。
図16は、ロボット手術支援装置100による許容誤差情報の導出手順の一例を示すフローチャートである。なお、図16においても、図8と同様に、被検体PSのボリュームデータの取得、手術支援ロボット300のキネマティクスの情報の取得、気腹シミュレーションの実行、及び術式の情報の取得が事前に行われる。
ポート位置処理部164は、複数のポート位置(穿孔候補の位置)(気腹後ポート位置)の情報を取得する(S41)。ポート位置処理部164は、取得された複数のポート位置に基づいて、ポート位置シミュレーションを行い、ポート位置スコアを算出する(S42)。この場合、ポート位置処理部164は、術式、手術支援ロボット300のキネマティクス、仮想気腹状態のボリュームデータ、及び取得された複数のポート位置に基づいて、ポート位置スコアを算出してよい。つまり、ここでは、ポート位置処理部164は、取得されたポート位置でのポート位置スコアを算出してよい。
ポート位置処理部164は、取得された複数のポート位置に許容されるポート位置スコアの低下度合を示す許容低下情報(全体許容低下情報)を取得する(S43)。許容低下情報は、ポート位置に許容されるポート位置スコアの低下量や低下率の情報を含んでよい。ポート位置処理部164は、UI120を介してユーザ入力を受け、全体許容低下情報を取得してよい。ポート位置処理部164は、メモリ150から全体許容低下情報を取得してよい。ポート位置処理部164は、通信部110を介して外部サーバから全体許容低下情報を取得してよい。
ポート位置処理部164は、各ポート位置に許容されるポート位置スコアの低下度合を示す許容低下情報(個別許容低下情報)を取得する(S44)。個別許容低下情報は、ポートPT毎に同じでもよいし異なってもよい。ポート位置処理部164は、全体許容低下情報を基に、個別低下情報を導出(例えば算出)してよい。この場合、ポート位置処理部164は、全体許容低下情報が示す許容低下量をポートPTの数で除することで、個別許容低下情報が示すポート毎の許容低下量を算出してよい。
また、ポート位置処理部164は、S33における全体許容低下情報の取得をせずに、個別許容低下情報を取得してもよい。この場合、ポート位置処理部164は、UI120を介してユーザ入力を受け、個別許容低下情報を取得してよい。ポート位置処理部164は、メモリ150から個別許容低下情報を取得してよい。ポート位置処理部164は、通信部110を介して外部サーバから個別許容低下情報を取得してよい。
ポート位置処理部164は、少なくとも1つのポート位置を移動する場合に、移動前のポート位置(ポート位置の組み合わせ)でのポート位置スコアと移動後のポート位置(ポート位置の組み合わせ)でのポート位置スコアとに基づいて、ポート位置の移動に伴う低下度合を示す低下情報を導出(例えば算出)する(S45)。低下情報は、ポート位置の移動に伴う低下量や低下率を含んでよい。この場合、ポート位置処理部164は、移動前のポート位置でのポート位置スコアから移動後のポート位置でのポート位置スコアを減算して、ポート位置スコアの低下量を算出してよい。
ポート位置処理部164は、ポート位置を移動させた場合のポート位置スコアの変化量(低下量)を、先述した(式1)に従って算出してもよい。この場合、ポート位置の所定距離(例えば微小距離)の移動前後におけるポート位置スコアの低下量は、ポート位置スコアFの微分値F’に相当してよい。
また、ポート位置の移動は、被検体PSの体表面に沿った任意の方向への移動でよい。この場合、体表面が平面である場合には、移動前後のポート位置は、体表面に沿う二次元平面内に位置する。また、体表面が曲面を含む場合には、移動前後のポート位置は、3次元空間内に位置する。
ポート位置処理部164は、被検体PSにおいて、各ポート位置について、低下情報が許容低下情報を満たす領域(許容領域PR)を導出する(S46)。この場合、ポート位置処理部164は、低下情報が示す低下量が、許容低下情報が示す許容低下量以下となる許容領域PRを算出してよい。許容領域PRは、3次元空間における領域でよい。したがって、許容領域PRの輪郭は、ポート位置を基準とした、許容低下情報が示す許容低下量と一致する3次元空間における位置となる。
S46で導出された許容領域PRは、仮想気腹状態の被検体PSにおける許容領域PRである。ポート位置処理部164は、仮想気腹状態の被検体PSにおける許容領域PRと変形情報とを基に、非気腹状態の被検体PSにおける許容領域(気腹前許容領域PR2)を導出(例えば算出)する(S47)。また、ポート位置処理部164は、仮想気腹状態の被検体PSにおけるポート位置と変形情報とを基に、非気腹状態の被検体PSにおけるポート位置(気腹前ポート位置)を導出(例えば算出)する(S47)。気腹前許容領域PR2は、許容誤差情報の一例である。
ポート位置処理部164は、表示制御部166又は投射制御部167を介して、ポートPT毎に、気腹前ポート位置と、この気腹前ポート位置についての気腹前許容領域PR2と、を表示させる(S48)。この場合、表示制御部166は、被検体PSのレンダリング画像に重畳して、ポートPT毎に、気腹前ポート位置と、この気腹前ポート位置についての気腹前許容領域PR2と、をディスプレイ130に表示させてよい。また、投射制御部167は、被検体PSの体表に向かって、ポートPT毎に気腹前ポート位置とこの気腹前ポート位置についての気腹前許容領域PR2とを示す可視光を、投射部170に投射させることで、気腹前ポート位置と気腹前許容領域PR2とを表示させてよい。気腹前ポート位置の許容誤差の範囲として、気腹前許容領域PR2が導出され、表示されてよい。
このように、本実施形態によれば、ロボット手術において、気腹前に、トロッカーTCを挿入するポート位置が計画され、計画されたポート位置が計測されて位置決めされ、スキンマーカ等によりマーキングされる。そして、気腹後にマーキングされた箇所にポートPTが穿孔されて、トロッカーTCが挿入される。よって、ポート位置の計画等は気腹前に実施でき、手術時間の短縮になる。ロボット手術支援装置100は、仮想気腹状態のボリュームデータを基に、ポート位置シミュレーションやポート位置調整を行い、変形情報を用いて、気腹前のポート位置を予想する。なお、術者が計画通りにポートの位置をマーキングすることの難易度や手間は、ポートPTの位置に左右される。術前であれば、術者又は助手は、ポート位置の計画や位置決めや手間のかかる方法でのマーキングを実施できる。気腹を行うためには、麻酔が行われ、残りの手術時間が制限されるが、ロボット手術支援装置100は、気腹前にポート位置の計画、位置決め、マーキング、等を実施できる。また、手術前にポートPTの位置を計測して位置決めする場合、計測に用いる器具の清潔性が低くてもよくなる。気腹前はポートPTの穿孔前であり、ポートPTを介して体内に例えば細菌が進入することが抑制されるためである。
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ等へ送信され、サーバ等に保管されてもよい。この場合、必要時にロボット手術支援装置100の通信部110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
第1の実施形態では、撮像されたCT画像としてのボリュームデータは、CT装置200からロボット手術支援装置100へ通信部110を経由して送信されることを例示した。これは、実質的にCT装置200とロボット手術支援装置100とを併せて一製品として成立している場合も含まれるものとする。また、ロボット手術支援装置100がCT装置200のコンソールとして扱われている場合も含む。
第1の実施形態では、CT装置200により画像を撮像し、生体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
第1の実施形態では、ロボット手術支援装置100に、手術支援ロボット300が接続されているが、接続されていなくてもよい。手術支援ロボット300のキネマティクスの情報があらかじめ取得されていれば十分だからである。また、ポートの穿孔を終了してから手術支援ロボット300を接続してもよい。また、手術支援ロボット300を構成する装置のうち一部の装置にのみ接続してもよい。また、ロボット手術支援装置100自体が、手術支援ロボット300の一部であってもよい。
第1の実施形態では、手術支援ロボット300は、低侵襲手術を目的とする手術支援ロボットであったが、低侵襲手術を目的とする手術支援ロボット300は、腹腔鏡手術を支援する手術支援ロボットであってよい。また、手術支援ロボット300は、内視鏡手術を支援する手術支援ロボットであってよい。
第1の実施形態では、ロボット手術支援装置100が被検体PSの仮想気腹状態のボリュームデータを基にポート位置を計画することを例示したが、これに限られない。例えば観察対象が呼吸器や頸部では気腹されずにロボット手術されることがあるためである。つまり、ロボット手術支援装置100は、非気腹状態のボリュームデータを基にポート位置を計画してもよい。
第1の実施形態では、被検体PSとして人体を例示したが、動物の体でもよい。
本開示は、第1の実施形態のロボット手術支援装置の機能を実現するプログラムを、ネットワーク又は各種記憶媒体を介してロボット手術支援装置に供給し、ロボット手術支援装置内のコンピュータが読み出して実行するプログラムも適用範囲である。
以上のように、上記実施形態のロボット手術支援装置100は、手術支援ロボット300による低侵襲なロボット手術を支援する。処理部160は、被検体PSのボリュームデータを取得し、被検体PSのボリュームデータに気腹シミュレーションを行い、非気腹状態のボリュームデータにおける少なくとも一点の気腹による移動を含む第1の変形情報を生成してよい。処理部160は、非気腹状態のボリュームデータと第1の変形情報とに基づいて、第1の仮想気腹状態の3Dデータを生成してよい。処理部160は、第1の仮想気腹状態の3Dデータにおける被検体PSの体表でのポートPTの計画位置である第1の計画位置(例えばポートPT20の位置)を導出してよい。第1の仮想気腹状態での第1の計画位置と第1の変形情報とに基づいて、非気腹状態のボリュームデータにおける被検体PSの体表におけるポートPTの計画位置である第2の計画位置(例えばポートPT10の位置)を導出してよい。処理部160は、非気腹状態のボリュームデータに第2の計画位置を示す情報を重畳して、表示部(例えばディスプレイ130)に表示させてよい。
これにより、ロボット手術支援装置100は、変形情報(第1の変形情報)を用いることで、被検体PSの腹腔内の膨らみ具合が異なったり被検体PSによって腹腔内の膨らみ方が異なったりする場合でも、気腹後に計画された被検体PSの体表のポート位置と、気腹前の被検体PSの体表のポート位置に対応する位置と、を対応付けできる。また、ロボット手術支援装置100は、気腹前後のポート位置を対応付けできることで、気腹される被検体PSに対して、気腹前に被検体PSの体表におけるポートPTの位置を計画できる。よって、ロボット手術支援装置100は、手術開始前に非気腹状態の被検体PSに対してポートPTの位置を計画でき、手術時間を考慮せずにポートPTの位置を計画できる。したがって、ロボット手術支援装置100は、ポート位置の計画に係る術者の心理的負担を低減できる。また、ロボット手術支援装置100は、手術前にポート位置を計画することで、手術中におけるポート位置の計画を省略できるので、手術時間を短縮でき、被検体PS(例えば患者)への身体的負担も低減できる。また、気腹前にポート位置を計画することで、ユーザは、気腹前にポート位置を定規等で計測して位置決めできる。この場合、被検体PSの体表面が気腹後よりも気腹前の方が比較的平坦であるので、ユーザは、体表面に定規を当てて計測し易く、ポート位置を位置決めし易くなる。
また、第1の計画位置は、複数存在し、又は記第1の仮想気腹状態の3Dデータにおける範囲を示してよい。第2の計画位置は、複数存在し、又は非気腹状態のボリュームデータにおける範囲を示してよい。
これにより、ロボット手術支援装置100は、気腹前のポート位置の計画において、穿孔対象のポート位置を複数計画したり、体表における点ではなく一定の範囲でポート位置を計画したりできる。よって、ロボット手術支援装置100は、気腹シミュレーションの誤差により気腹前後の対応位置が多少ずれても、気腹前の計画位置の精度が多少低くても、気腹前におけるポート位置の位置決め精度が多少低くても、又は、位置決めされた位置への実気腹後に穿孔する際の穿孔精度が多少低くても、実気腹後のポート位置が、気腹前に計画されたポート位置のいずれかの点や範囲に含まれる可能性を高くできる。
処理部160は、気腹条件を変更して複数の気腹シミュレーションを行い、非気腹状態のボリュームデータにおける少なくとも一点の気腹による移動を含む第2の変形情報を生成してよい。なお、複数の変形情報のうちの代表的な変形情報を基に作成された3Dデータを用いて、第2の計画位置が導出されてよい。この場合、3Dデータの作成に用いられなかった変形情報は、3Dデータの作成に用いた変形情報との違いを比較して計画位置の誤差の計算を用いるのに用いることができる。
これにより、ロボット手術支援装置100は、複数の気腹シミュレーション結果を加味して、つまり被検体PSの様々な気腹状態を加味して、複数の仮想気腹状態の3Dデータを生成し、気腹前にポート位置を計画できる。例えば、ロボット手術支援装置100は、複数の仮想気腹状態の3Dデータにおいて計画された気腹後ポート位置を基に、非気腹状態のボリュームデータにおける気腹後ポート位置に対応する気腹前ポート位置や気腹前ポート位置範囲を導出できる。
また、気腹条件は、被検体PSに対する気腹における気腹量を含んでよい。
これにより、ロボット手術支援装置100は、複数の気腹量を加味して、つまり被検体PSのガス注入量に応じた気腹シミュレーションの誤差を加味して、気腹後ポート位置を導出できる。そして、ロボット手術支援装置100は、気腹後ポート位置に対応する気腹前ポート位置や気腹前ポート位置範囲を導出でき、気腹前にポート位置を計画できる。
また、気腹条件は、被検体PSの体組織の伸張のしやすさを示すパラメータを含んでよい。
これにより、ロボット手術支援装置100は、複数の伸張パラメータを加味して、つまり被検体PSの不均一な伸張を気腹シミュレーションにて再現して、気腹後ポート位置を導出できる。この場合、被検体PSにおける各部の伸張の仕方が異なり、体表面における各点の移動方向や移動距離が様々であっても、複数の気腹シミュレーションの結果や変形情報を基に、ロボット手術支援装置100は、気腹前後の体表面における各点を紐付けできる。そして、ロボット手術支援装置100は、気腹後ポート位置に対応する気腹前ポート位置や気腹前ポート位置範囲を導出でき、気腹前にポート位置を計画できる。
また、処理部160は、手術支援ロボット300のロボットアームARの動作に関する動作情報を取得し、被検体PSを手術するための術式の情報を取得してよい。処理部160は、動作情報と術式の情報と3Dデータとに基づいて、第1の計画位置を導出してよい。
これにより、ロボット手術支援装置100は、気腹前に、手術支援ロボット300のロボットアームARや術式に合わせたポート位置の計画を行うことができる。
また、処理部160は、非気腹状態のボリュームデータをレンダリングしてレンダリング画像を生成してよい。処理部160は、3Dデータと、手術支援ロボット300の動作情報と、術式と、第2の計画位置に基づいて、3DデータにおけるポートPTの穿孔において許容される誤差の範囲である第1の許容誤差範囲を導出してよい。処理部160は、第1の仮想気腹状態での第1の許容誤差範囲と第1の変形情報とに基づいて、非気腹状態のボリュームデータにおけるポートPTの穿孔において許容される誤差の範囲である第2の許容誤差範囲を導出してよい。処理部160は、レンダリング画像と第2の計画位置を示す情報とともに、第2の許容誤差範囲を示す情報を表示部に表示させてよい。
これにより、ロボット手術支援装置100は、穿孔対象の第2の計画位置からの位置ずれが許容される許容誤差を、気腹前に可視化できる。よって、ユーザは、例えば気腹前に許容誤差に対応する第2の許容誤差範囲をマーキングできる。
処理部160は、非気腹状態のボリュームデータと第2の変形情報とに基づいて、第2の仮想気腹状態の3Dデータを生成してよい。処理部160は、第2の仮想気腹状態の3Dデータにおける被検体の体表でのポートの計画位置である第3の計画位置を導出してよい。処理部160は、第2の仮想気腹状態での第3の計画位置と第2の変形情報とに基づいて、非気腹状態のボリュームデータにおける被検体の体表におけるポートの計画位置である第4の計画位置を導出してよい。処理部160は、第2の計画位置及び第4の計画位置に基づいて、非気腹状態のボリュームデータにおける被検体の体表におけるポートの計画位置の範囲である計画範囲を導出してよい。処理部160は、非気腹状態のボリュームデータに計画範囲を示す情報を重畳して、表示部に表示させてよい。
これにより、ロボット手術支援装置100は、例えば複数の異なる気腹による仮想気腹状態での気腹後ポート位置を推定し、これらに対応する複数の気腹前ポート位置を推定し、複数の気腹前ポート位置を基に気腹前ポート位置範囲を推定できる。これにより、ロボット手術支援装置100は、術中に気腹量(気腹条件の一例)が多少変動しても、術中の気腹後にポート位置が想定外の位置となることを抑制できる。また、ロボット手術支援装置100は、気腹量を最初から多少幅を持たせて想定することで、気腹量の変動による気腹前ポート位置の導出に対する影響を、誤差の範囲で吸収できる。なお、このことは、不均一な伸張による誤差の場合にも同様に適用できる。つまり、ロボット手術支援装置100は、被検体PSの体表の気腹時の伸張具合が想定と多少異なっても、術中の気腹後にポート位置が想定外の位置となることを抑制できる。また、ロボット手術支援装置100は、想定される伸張具合から多少幅を持たせて気腹後の体表面を想定することで、気腹時の体表面の伸張のばらつきによる気腹前ポート位置の導出に対する影響を、誤差の範囲で吸収できる。
本開示は、既孔ポートの位置ずれによるロボット手術への影響を低減できるロボット手術支援装置、ロボット手術支援方法、及びプログラム等に有用である。
100 ロボット手術支援装置
110 通信部
120 ユーザインタフェース(UI)
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域抽出部
162 画像生成部
163 変形シミュレーション部
164 ポート位置処理部
166 表示制御部
167 投射制御部
170 投射部
200 CT装置
300 手術支援ロボット
400 計測器
EF エンドエフェクタ
hs 臍
PS 被検体
PT ポート
PTA 補助ポート
PTC カメラポート
PTE エンドエフェクタポート
TC トロッカー
WA1 個別ワーキングエリア
WA2 全体ワーキングエリア

Claims (10)

  1. 手術支援ロボットによる低侵襲なロボット手術を支援するロボット手術支援装置であって、
    処理部及び表示部を備え、
    前記処理部は、
    被検体の非気腹状態のボリュームデータを取得し、
    前記非気腹状態のボリュームデータに気腹シミュレーションを行い、前記非気腹状態のボリュームデータにおける少なくとも一点の気腹による移動を含む第1の変形情報を生成し、
    前記非気腹状態のボリュームデータと前記第1の変形情報とに基づいて、第1の仮想気腹状態の3Dデータを生成し、
    前記第1の仮想気腹状態の3Dデータにおける前記被検体の体表でのポートの計画位置である第1の計画位置を導出し、
    前記第1の仮想気腹状態での前記第1の計画位置と前記第1の変形情報とに基づいて、前記非気腹状態のボリュームデータにおける前記被検体の体表におけるポートの計画位置である第2の計画位置を導出し、
    前記非気腹状態のボリュームデータに前記第2の計画位置を示す情報を重畳して、前記表示部に表示させる、
    ロボット手術支援装置。
  2. 前記第1の計画位置は、複数存在し、又は前記第1の仮想気腹状態の3Dデータにおける範囲を示し、
    前記第2の計画位置は、複数存在し、又は前記非気腹状態のボリュームデータにおける範囲を示す、
    請求項1に記載のロボット手術支援装置。
  3. 前記処理部は、気腹条件を変更して複数の気腹シミュレーションを行い、前記非気腹状態のボリュームデータにおける少なくとも一点の気腹による移動を含む第2の変形情報を生成する、
    請求項1または2に記載のロボット手術支援装置。
  4. 前記気腹条件は、前記被検体に対する気腹における気腹量を示すパラメータを含む、
    請求項3に記載のロボット手術支援装置。
  5. 前記気腹条件は、前記被検体の体組織の伸張のしやすさを示すパラメータを含む、
    請求項3に記載のロボット手術支援装置。
  6. 前記処理部は、
    前記手術支援ロボットのロボットアームの動作に関する動作情報を取得し、
    前記被検体を手術するための術式の情報を取得し、
    前記動作情報と前記術式の情報と前記3Dデータとに基づいて、前記第1の計画位置を導出する、
    請求項1~5のいずれか1項のロボット手術支援装置。
  7. 前記処理部は、
    前記非気腹状態のボリュームデータをレンダリングしてレンダリング画像を生成し、
    前記3Dデータと、前記手術支援ロボットの前記動作情報と、前記術式と、前記第1の計画位置に基づいて、前記ポートの穿孔において許容される誤差の範囲である第1の許容誤差範囲を導出し、
    前記第1の仮想気腹状態での前記第1の許容誤差範囲と前記第1の変形情報とに基づいて、前記非気腹状態のボリュームデータにおける前記ポートの穿孔において許容される誤差の範囲である第2の許容誤差範囲を導出し、
    前記レンダリング画像と前記第2の計画位置を示す情報とともに、前記第2の許容誤差範囲を示す情報を前記表示部に表示させる、
    請求項6に記載のロボット手術支援装置。
  8. 前記処理部は、
    前記非気腹状態のボリュームデータと前記第2の変形情報とに基づいて、第2の仮想気腹状態の3Dデータを生成し、
    前記第2の仮想気腹状態の3Dデータにおける前記被検体の体表でのポートの計画位置である第3の計画位置を導出し、
    前記第2の仮想気腹状態での前記第3の計画位置と前記第2の変形情報とに基づいて、前記非気腹状態のボリュームデータにおける前記被検体の体表におけるポートの計画位置である第4の計画位置を導出し、
    前記第2の計画位置及び第4の計画位置に基づいて、前記非気腹状態のボリュームデータにおける前記被検体の体表におけるポートの計画位置の範囲である計画範囲を導出し、
    前記非気腹状態のボリュームデータに前記計画範囲を示す情報を重畳して、前記表示部に表示させる、
    請求項3~5のいずれか1項のロボット手術支援装置。
  9. 手術支援ロボットによる低侵襲なロボット手術を支援するロボット手術支援装置の作動方法であって、
    前記ロボット手術支援装置の処理部が、被検体の非気腹状態のボリュームデータを取得するステップと
    前記処理部が、前記非気腹状態のボリュームデータに気腹シミュレーションを行い、前記非気腹状態のボリュームデータにおける少なくとも一点の気腹による移動を含む変形情報を生成するステップと、
    前記処理部が、前記非気腹状態のボリュームデータと前記変形情報とに基づいて、仮想気腹状態の3Dデータを生成するステップと
    前記処理部が、前記仮想気腹状態の3Dデータにおける前記被検体の体表でのポートの計画位置である第1の計画位置を導出するステップと
    前記処理部が、前記仮想気腹状態での前記第1の計画位置と前記変形情報とに基づいて、前記非気腹状態のボリュームデータにおける前記被検体の体表におけるポートの計画位置である第2の計画位置を導出するステップと
    前記処理部が、前記非気腹状態のボリュームデータに前記第2の計画位置を示す情報を重畳して、表示部に表示させるステップと
    を有するロボット手術支援装置の作動方法。
  10. 請求項9に記載のロボット手術支援装置の作動方法の各ステップをコンピュータに実行させるためのプログラム。
JP2018192936A 2018-10-11 2018-10-11 ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム Active JP7188970B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018192936A JP7188970B2 (ja) 2018-10-11 2018-10-11 ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム
US16/599,364 US20200113636A1 (en) 2018-10-11 2019-10-11 Robotically-assisted surgical device, robotically-assisted surgery method, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018192936A JP7188970B2 (ja) 2018-10-11 2018-10-11 ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2020058674A JP2020058674A (ja) 2020-04-16
JP7188970B2 true JP7188970B2 (ja) 2022-12-13

Family

ID=70159532

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018192936A Active JP7188970B2 (ja) 2018-10-11 2018-10-11 ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム

Country Status (2)

Country Link
US (1) US20200113636A1 (ja)
JP (1) JP7188970B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11999061B2 (en) 2020-05-12 2024-06-04 Aescape, Inc. Method and system for autonomous object manipulation
WO2021231663A2 (en) * 2020-05-12 2021-11-18 Aescape, Inc. Method and system for autonomous object interaction
US11672602B2 (en) * 2020-06-05 2023-06-13 Verb Surgical Inc. Port placement guide based on insufflated patient torso model and normalized surgical targets
US12023116B2 (en) * 2020-12-21 2024-07-02 Cilag Gmbh International Dynamic trocar positioning for robotic surgical system
CN115120340A (zh) * 2021-03-24 2022-09-30 上海微创医疗机器人(集团)股份有限公司 计算机可读存储介质、电子设备、手术机器人及定位系统
KR102628325B1 (ko) * 2021-07-29 2024-01-24 (주)휴톰 POI 정의 및 Phase 인식 기반의 실제 수술 영상과 3D 기반의 가상 모의 수술 영상을 정합하는 장치 및 방법
WO2024006729A1 (en) * 2022-06-27 2024-01-04 Covidien Lp Assisted port placement for minimally invasive or robotic assisted surgery
DE102022119111A1 (de) 2022-07-29 2024-02-01 Deutsches Zentrum für Luft- und Raumfahrt e.V. Verfahren zum präoperativen Planen von robotischen minimalinvasiven chirurgischen Eingriffen
WO2024202189A1 (ja) * 2023-03-29 2024-10-03 富士フイルム株式会社 画像処理装置、方法およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030109780A1 (en) 2001-06-07 2003-06-12 Inria Roquencourt Methods and apparatus for surgical planning
JP2008080021A (ja) 2006-09-28 2008-04-10 Univ Waseda シミュレーション装置、制御装置及びこれらを用いた手術用ロボットの制御システム、並びにシミュレーション装置用のプログラム
JP2011235089A (ja) 2010-05-03 2011-11-24 General Electric Co <Ge> 変形自在の組織基質での器具の挿入軌跡を決定する方法、及び該方法を実行するロボット・システム
JP2013153823A (ja) 2012-01-27 2013-08-15 Toshiba Corp X線ct装置、x線ctシステム
US20140148816A1 (en) 2012-11-26 2014-05-29 Michael W. McDONALD Surgery port placement system and related methods
US20170273745A1 (en) 2016-03-24 2017-09-28 Sofradim Production System and method of generating a model and simulating an effect on a surgical repair site
JP2018019993A (ja) 2016-08-05 2018-02-08 国立大学法人千葉大学 画像作成装置、画像作成システム、画像作成方法およびダミー器具

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070167784A1 (en) * 2005-12-13 2007-07-19 Raj Shekhar Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions
US8112292B2 (en) * 2006-04-21 2012-02-07 Medtronic Navigation, Inc. Method and apparatus for optimizing a therapy
US7623679B2 (en) * 2006-12-13 2009-11-24 Accuray Incorporated Temporal smoothing of a deformation model
JP6413026B2 (ja) * 2015-09-28 2018-10-24 富士フイルム株式会社 プロジェクションマッピング装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030109780A1 (en) 2001-06-07 2003-06-12 Inria Roquencourt Methods and apparatus for surgical planning
JP2008080021A (ja) 2006-09-28 2008-04-10 Univ Waseda シミュレーション装置、制御装置及びこれらを用いた手術用ロボットの制御システム、並びにシミュレーション装置用のプログラム
JP2011235089A (ja) 2010-05-03 2011-11-24 General Electric Co <Ge> 変形自在の組織基質での器具の挿入軌跡を決定する方法、及び該方法を実行するロボット・システム
JP2013153823A (ja) 2012-01-27 2013-08-15 Toshiba Corp X線ct装置、x線ctシステム
US20140148816A1 (en) 2012-11-26 2014-05-29 Michael W. McDONALD Surgery port placement system and related methods
US20170273745A1 (en) 2016-03-24 2017-09-28 Sofradim Production System and method of generating a model and simulating an effect on a surgical repair site
JP2018019993A (ja) 2016-08-05 2018-02-08 国立大学法人千葉大学 画像作成装置、画像作成システム、画像作成方法およびダミー器具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鬼頭 正和,手術計画支援のための3次元CT像に基づく腹腔鏡手術シミュレータの構築,電子情報通信学会技術研究報告. MI, 医用画像,2008年07月09日,vol. 108, No.131,47 - 52 頁

Also Published As

Publication number Publication date
JP2020058674A (ja) 2020-04-16
US20200113636A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
JP7188970B2 (ja) ロボット手術支援装置、ロボット手術支援装置の作動方法、及びプログラム
US11883118B2 (en) Using augmented reality in surgical navigation
JP7469120B2 (ja) ロボット手術支援システム、ロボット手術支援システムの作動方法、及びプログラム
JP7182126B2 (ja) ロボット手術支援装置、ロボット手術支援方法、及びプログラム
JP2019162339A (ja) 手術支援システムおよび表示方法
US11625825B2 (en) Method for displaying tumor location within endoscopic images
US11779192B2 (en) Medical image viewer control from surgeon&#39;s camera
US11771508B2 (en) Robotically-assisted surgical device, robotically-assisted surgery method, and system
KR20190080706A (ko) 수술보조 영상 표시방법, 프로그램 및 수술보조 영상 표시장치
US20210298848A1 (en) Robotically-assisted surgical device, surgical robot, robotically-assisted surgical method, and system
US11657547B2 (en) Endoscopic surgery support apparatus, endoscopic surgery support method, and endoscopic surgery support system
Schenkenfelder et al. Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction
JP7182127B2 (ja) ロボット手術支援装置、情報出力方法、及びプログラム
JP7495216B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
JP7355514B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
US20210298854A1 (en) Robotically-assisted surgical device, robotically-assisted surgical method, and system
EP4431042A1 (en) Medical support device, and operation method and operation program of medical support device
KR101529659B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법
US10376335B2 (en) Method and apparatus to provide updated patient images during robotic surgery
KR101513229B1 (ko) 수술전 호흡 레벨과 수술장 호흡 레벨을 비교하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221201

R150 Certificate of patent or registration of utility model

Ref document number: 7188970

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150