JP7172086B2 - 手術シミュレーション装置及び手術シミュレーションプログラム - Google Patents

手術シミュレーション装置及び手術シミュレーションプログラム Download PDF

Info

Publication number
JP7172086B2
JP7172086B2 JP2018058895A JP2018058895A JP7172086B2 JP 7172086 B2 JP7172086 B2 JP 7172086B2 JP 2018058895 A JP2018058895 A JP 2018058895A JP 2018058895 A JP2018058895 A JP 2018058895A JP 7172086 B2 JP7172086 B2 JP 7172086B2
Authority
JP
Japan
Prior art keywords
voxel
retractor
endoscope
operable
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018058895A
Other languages
English (en)
Other versions
JP2019170412A (ja
Inventor
知晃 竹村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2018058895A priority Critical patent/JP7172086B2/ja
Publication of JP2019170412A publication Critical patent/JP2019170412A/ja
Application granted granted Critical
Publication of JP7172086B2 publication Critical patent/JP7172086B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本開示は、例えば、医療従事者が手術のシミュレーションを行う際に活用する手術シミュレーション装置及び手術シミュレーションプログラムに関する。
医療現場において、より適切な手術を行うために、手術のシミュレーションを行うことが可能な手術支援装置が活用されている。
従来の手術支援装置は、例えば、X線CT画像や核磁気共鳴画像(MRI画像)、PET(陽電子放射断層法)によって取得された画像等の断層画像情報を取得する断層画像情報取得部と、断層画像情報に基づき生成された3次元ボリュームデータに基づき任意の視点からレイキャスティングして内部組織を可視化した画像を生成するボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイ等の表示部とを備え、シミュレーション表示された表示対象物に入力部から切削指示等を行うことができた。
例えば、特許文献1には、MRI装置やCT装置等の撮像装置によって取得された断層画像を用いてボリュームレンダリング演算を行い、操作者の切削指示入力に基づいて切削後の切削対象物の状態を表示画像に表示し、切削対象物の内部に含まれる非切削部分は切削実行後も切削前の状態を表示することにより、内視鏡手術を支援する切削シミュレーション装置が提案されている。
また、例えば、特許文献2には、内視鏡が挿入されるレトラクタ(術具)によって内視鏡の視野が制限され画像部分を識別して表示画像中に表示することにより、実際に手術における表示態様に近似した画像を表示する手術支援装置が提案されている。
国際公開第2013/014868号 特開2013-202312号公報
しかしながら、上記した従来の手術シミュレーション装置によれば、処置具の先端が被検体の手術対象部位に到達不可能な位置にあるときでも、操作者から切削指示に基づき被検体の一部の切削シミュレーション動作が行われ、実際の手術における切削とは異なるシミュレーション動作が行われるという課題があった。
本開示は、上記課題に鑑みてなされたものであり、処置具の先端の位置が可操作エリアに含まれるときに、切削指示に基づき可操作エリアの一部を被切削状態を表す態様とする切削シミュレーションを実行する構成を実現することを目的とする。
本開示の一態様に係る手術シミュレーション装置は、被検体に挿入されたレトラクタに内視鏡及び処置具を挿入して行う手術のシミュレーション画像を表示する手術シミュレーション装置であって、処置具、内視鏡及びレトラクタを含む器具に関する器具パラメータを取得する器具パラメータ取得部と、操作者による切削指示を受付ける切削指示受付部と、複数枚の被検体の断層画像データに基づきボクセルデータ及びボクセルラベルデータを生成するボクセルデータ抽出部と、前記ボクセルデータ及び前記器具パラメータに基づき、前記レトラクタの先端位置、前記レトラクタの直径、前記レトラクタの長さ、前記レトラクタの内部で処置具を最大に傾けたときのなす角度、前記レトラクタの先端と被写体表面の距離をすべて用いて、前記レトラクタに内挿された前記処置具の先端が到達可能な操作可能ボクセルを抽出する可操作エリア演算部と、切削指示に基づき、前記処置具の先端との距離が所定の距離以下である前記操作可能ボクセルを被切削ボクセルとし、当該被切削ボクセルのボクセルラベルデータを変更する被切削ボクセルラベル設定部と、前記ボクセルデータ及び前記器具パラメータに基づき、レトラクタの軸に垂直であってレトラクタ前方に位置する複数の断面に含まれる対象ボクセルを特定し、前記対象ボクセル中のボクセルデータを視線方向に積算投影して仮想内視鏡画像を生成するボリュームレンダリング演算部と、前記仮想内視鏡画像を表示部に表示させる表示制御部とを備えたことを特徴とする。
本開示の一態様に係る手術シミュレーション装置によれば、処置具の先端の位置が可操作エリアに含まれるときに、切削指示に基づき可操作エリアの一部を被切削状態を表す態様とする切削シミュレーションを行う。そのため、処置具の先端が到達不可能な部位に対して切削シミュレーションが行われるという動作を抑制し、実際の手術における切削動作に近似したシミュレーションを実現できる。
実施の形態1に係るパーソナルコンピュータ(手術シミュレーション装置)1を示す斜視図である。 図1の手術シミュレーション装置1のシステム構成図である。 図2のデータ格納部9に構成される内視鏡パラメータ格納部41の構成を示す機能ブロック図である。 図2のデータ格納部9に構成される術具パラメータ格納部42の構成を示す機能ブロック図である。 手術シミュレーション装置1における切削シミュレーション処理のフローチャートである。 図5のステップS7における術具挿入深度決定の処理の詳細を示すフローチャートである。 筒状の術具(レトラクタ)の挿入深度の検出方法を説明するための模式図である。 図5のステップS10における可操作エリア決定の処理の詳細を示すフローチャートである。 (a)は、可操作エリア演算部27における術具(処置具)の先端が到達可能な操作可能ボクセルが含まれる可操作エリアの算出方法を説明するための模式図、(b)は計算結果の例示である。 図5のステップS12における切削実行の処理の詳細を示すフローチャートである。 (a)は、手術シミュレーション装置1における可操作エリアA3の範囲を示す模式断面図、(b)従来の手術シミュレーション装置における可操作エリアA3Xの範囲を示す模式断面図である。 (a)は、手術シミュレーション装置1の表示画像における可操作エリアA3の範囲を示す模式図、(b)従来の手術シミュレーション装置の表示画像における可操作エリアA3Xの範囲を示す模式図である。 手術シミュレーション装置1における表示画面図の一例である。 斜視内視鏡を用いた実施の形態2に係る手術シミュレーション装置1における、任意の斜視角を反映させたボリュームレンダリング演算方法を説明するための模式図である。 (a)~(c)は、筒状の術具(レトラクタ)を用いた場合のマウス操作による2次元入力から内視鏡3次元操作へのマッピング方法を説明するための模式図である。 (a)は、実施の形態2に係る斜視内視鏡を用いた手術シミュレーション装置における可操作エリアA3の範囲を示す模式断面図、(b)従来の手術シミュレーション装置における可操作エリアA3Xの範囲を示す模式断面図である。 (a)は、実施の形態2に係る斜視内視鏡を用いた手術シミュレーション装置の表示画像における可操作エリアA3の範囲を示す模式図、(b)従来の手術シミュレーション装置の表示画像における可操作エリアA3Xの範囲を示す模式図である。 術具パラメータ及び内視鏡パラメータと可操作エリアA3の大きさとの関係を示す図である。 手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータが図19の条件1であるときの表示画面図である。 手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータが図19の条件2であるときの表示画面図である。 手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータが図19の条件3であるときの表示画面図である。 手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータが図19の条件4であるときの表示画面図である。 手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータが図19の条件5であるときの表示画面図である。 手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータが図19の条件6であるときの表示画面図である。 手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータが図19の条件7であるときの表示画面図である。 内視鏡を用いた椎間板ヘルニア摘出術の模式断面図である。 従来の内視鏡椎間板ヘルニア摘手術の手術シミュレーション装置において生成された手術対象部位を含む被検体のボリュームレンダリング像である。 図27における内視鏡411により取得される表示画像の範囲IM1の拡大図である。
≪本開示を実施するための形態に至った経緯≫
内視鏡を用いた手術は、開腹手術等と比較して傷口が小さく、患者への負担を大幅に軽減することができる。このため、近年、例えば、腰部脊椎管狭窄症に対する手術等、様々な手術において内視鏡を活用した手術が行われるようになっている。
図26は、内視鏡を用いた椎間板ヘルニア摘出術の模式断面図である。図26に示すよう内視鏡椎間板ヘルニア摘出術では、筒状の開創器(以下「レトラクタ」421とする)と呼ばれる筒状の部材を被検体に挿入し、レトラクタ421にカメラ等の撮像装置412が接続された内視鏡411の鏡筒部と鉗子等の処置具422とを挿入することで、手術対象部位の画像をディスプレイ2に表示させて、手術対象部位の画像を確認しながら処置具422により切削対象部分(例えば、骨切削部BOからヘルニアの部分)の切除等を行う。したがって、手術の前段階で行う切削シミュレーションにおいても、実際の手術中にディスプレイ2に表示される画像の形態にできるだけ近似した画像の表示がなされることが好ましい。
これに対し、上記した特許文献1、2に開示された従来の手術支援装置は、表示画面において手術対象部位の位置を術者に提供することで手術対象部位と内視鏡との位置関係を認識して手術を行うことは可能である。図27は、従来の内視鏡椎間板ヘルニア摘手術の手術シミュレーション装置において生成された手術対象部位を含む被検体のボリュームレンダリング像である。当該像に、レトラクタ421が挿入される位置、レトラクタ421における内視鏡411の位置、内視鏡421により取得される表示画像の範囲IM1を示したものである。また、図28は、図27における内視鏡421により取得される表示画像の範囲IM1の拡大図である。
しかしながら、従来の手術シミュレーション装置における表示画面や切削シミュレーションの動作は、処置具が到達可能な範囲を考慮したものではないため、手術前のシミュレーションにおいて予め計画された術具や内視鏡の位置や大きさ等の条件に基づいて処置具の到達可能な範囲と手術対象部位との位置関係を正確に把握することは困難であった。
その結果、手術シミュレーションにおいて、処置具の先端の位置が被検体の手術対象部位に到達不可能な範囲にあるときでも、操作者から切削指示がされた場合には被検体の一部の切削シミュレーション動作が行われ、実際の手術における切削とは異なるシミュレーション動作が行われる場合があるという課題があった。
また、被検体の手術対象部位のうち処置具の先端が到達可能な範囲について明示されていないために、操作者は処置具の先端を可操作エリアに移動させるための案内がなく、効率的に手術シミュレーションを行うことの障害であった。
この課題を改善するためには、被検体の手術対象部位のうち処置具の先端が到達可能な範囲を算出し、処置具の位置との関係を把握することが必要となる。そこで、発明者は、被検体に挿入されたレトラクタに内視鏡及び処置具を挿入して行う手術中のシミュレーションにおいて、被検体の手術対象部位のうち処置具の先端が到達可能な可操作エリアを算出する方法について鋭意検討し、実施の形態1に係る手術シミュレーション装置、手術シミュレーション方法及び手術シミュレーションプログラムに想到するに至ったものである。
≪実施の形態1≫
<装置の全体構成と動作概要>
以下、実施の形態1に係る手術シミュレーション装置1について、図面を用いて詳細に説明する。図1は、実施の形態1に係る手術シミュレーション装置1が構成されるコンピュータPCを示す斜視図である。図1に示すように、手術シミュレーション装置1は、表示部(ディスプレイ)2と、各種の操作入力部(キーボード3、マウス4、およびタブレット5(図2参照))とを備えたコンピュータPCから構成されている。
ディスプレイ2には、X線CT画像等の複数の断層画像から形成される臓器、間接、骨等、被検体の手術対象部位(図1の例では、内視鏡画像を表示)の状態を表す表示画像が表示される。操作者は、ディスプレイ2に表示される手術対象部位の表示画像を見ながら、操作入力部から内視鏡や術具の挿入位置や挿入角度、切削指示等を入力して手術対象部位の切削シミュレーションを行い、切削後の手術対象部位の状態を表す表示画像が切削シミュレーションの結果としてディスプレイ2に表示される。
図2は、図1の手術シミュレーション装置1のシステム構成図である。手術シミュレーション装置1のハードウエアは、バス16に接続された、ディスプレイ2、キーボード3、マウス4、タブレット5、及びコンピュータPCのCPU(Central Processing Unit)と記憶手段(メモリ、ハードディスク等)から構成される制御部100からなる。手術シミュレーション装置1は、制御部100において記憶手段に読み込まれた本開示に係る手術シミュレーションプログラムが、キーボード3、マウス4、タブレット5等の操作入力部からの操作入力に基づいて、CPU上で動作して仮想内視鏡画像を生成して表示画像等をディスプレイ2に表示することにより実現される。
<各部構成>
制御部100は、図2に示すように、断層画像取得部6、ボクセルデータ抽出部7、データ格納部9、ボリュームレンダリング演算部13、深さ検出部15、深さ制御部17、被切削ボクセルラベル設定部18、ウィンドウ座標取得部20、色情報設定部21、可操作エリア演算部27、及び器具パラメータ取得部30等の機能ブロックを有する。
断層画像取得部6は、CT(コンピュータ断層撮影装置)あるいはMRI(磁気共鳴診断装置)、PET(Positron Emission Tomography)、超音波診断装置等の被検体の断層画像を撮影するための各種モダリティから供給された断層画像データを、バス16を介して取得する部分である。
ボクセルデータ抽出部7は、複数毎フレームの断層画像データを入力としてボクセルデータ、ボクセルラベルデータを抽出してデータ格納部9に出力する部分である。
データ格納部9は、コンピュータPCの記憶手段(メモリ、ハードディスク等)から構成されており、ボクセルデータ抽出部7、ボリュームレンダリング演算部13、被切削ボクセルラベル設定部18、色情報設定部21、可操作エリア演算部27、及び器具パラメータ取得部30との間でデータの入出力を行う。データ格納部9は、ボクセルデータ格納部10、ボクセルラベル格納部11、および色情報格納部12、内視鏡パラメータ格納部41と術具パラメータ格納部42からなる器具パラメータ格納部40を有している。
ボクセルデータ格納部10は、ボクセルデータ抽出部7から出力されたボクセルデータを格納している。
ボクセルラベル格納部11は、第1ボクセルラベル格納部、第2ボクセルラベル格納部、第3ボクセルラベル格納部を有している。第1、第2及び第3ボクセルラベル格納部は、表示対象となる臓器にそれぞれ対応して後述する予め設定されたCT値の範囲に対応している。各ボクセルラベル格納部におけるCT値の範囲は、例えば、第1ボクセルラベル格納部は肝臓を表示するためのCT値の範囲に、第2ボクセルラベル格納部は血管を表示するためのCT値の範囲に、第3ボクセルラベル格納部は骨を表示するためのCT値の範囲に対応して構成されていてもよい。ここで、表示対象となる骨や血管、神経、臓器ごとに設定されるCT値とは、人体におけるX線吸収の程度を、水を0とする相対値(単位:HU)として数値化したものである。具体的には、例えば、骨が表示されるCT値の範囲は500~1000HU、血液が表示されるCT値の範囲は30~50HU、肝臓が表示されるCT値の範囲は60~70HU、腎臓が表示されるCT値の範囲は30~40HUである。
色情報格納部12は、複数の色情報に対応した格納部を有している。各格納部は、表示対象となる骨、血管、神経、臓器等にそれぞれ対応して予め設定されたCT値の範囲に対応している。各格納部における色情報は、例えば、肝臓を表示するCT値の範囲に対応する色情報、血管を表示するCT値の範囲に対応する色情報、骨を表示するCT値の範囲に対応する色情報等であってもよい。また、各格納部には、表示対象となる骨、血管、神経、臓器ごとにそれぞれ異なる色情報が設定されている。例えば、骨に対応するCT値の範囲には白色の色情報、血管に対応するCT値の範囲には赤色の色情報がそれぞれ格納されている。
図3は、図2のデータ格納部9に構成される内視鏡パラメータ格納部41の構成を示す機能ブロック図である。内視鏡パラメータ格納部41は、図3に示すように、第1内視鏡パラメータ格納部41a、第2内視鏡パラメータ格納部41b、第3内視鏡パラメータ格納部41cを有している。第1、第2及び第3内視鏡パラメータ格納部41a、41b、41cには、例えば、内視鏡411の斜視角、視野角、位置、姿勢等の内視鏡パラメータ情報がそれぞれ格納されている。これらの内視鏡パラメータ情報は、内視鏡パラメータ取得部31から出力され内視鏡パラメータ格納部41に保存される。
図4は、図2のデータ格納部9に構成される術具パラメータ格納部42の構成を示す機能ブロック図である。術具パラメータ格納部42は、図4に示すように、第1術具パラメータ格納部42a、第2術具パラメータ格納部42b、及び第3術具パラメータ格納部42cを有している。第1、第2及び第3術具パラメータ格納部42a、42b、42cには、例えば、術具としてレトラクタ421、鉗子やドリル、ノミ、メス等の処置具422(図26参照)の形状、長さ、直径、位置、姿勢等の術具パラメータ情報がそれぞれ格納されている。これらの術具パラメータ情報は、術具パラメータ取得部32及び術具挿入深度演算部33から出力され術具パラメータ格納部42に保存される。
内視鏡パラメータ取得部31は、操作者よりキーボード3やマウス4を介して入力される内視鏡パラメータを取得し、データ格納部9における内視鏡パラメータ格納部41へ出力する。
術具パラメータ取得部32は、操作者よりキーボード3やマウス4を介して入力されるレトラクタ、処置具等の術具パラメータを取得し、データ格納部9における術具パラメータ格納部42へ出力する。
術具挿入深度演算部33は、レトラクタ421等の術具の挿入深度(手術部位における深さ位置)を演算し、データ格納部9における術具パラメータ格納部42へ出力する。
可操作エリア演算部27は、ボクセルデータ及び器具パラメータに基づき、処置具422の先端が到達可能な操作可能ボクセルが含まれる可操作エリアA3を算出し、データ格納部9におけるボクセルラベル格納部11に出力する。
ボリュームレンダリング演算部13は、ボクセルデータ格納部10に格納されているボクセルデータと、ボクセルラベル格納部11に格納されているボクセルラベルと、色情報格納部12に格納されている色情報、術具パラメータ格納部に格納されている器具パラメータとに基づき、レトラクタ421の軸に垂直であってレトラクタ421前方に位置し、当該方向の間隔が一定の複数枚の断面画像(スライス画像)を取得する。そして、複数の断面画像に含まれる対象ボクセルを特定し、当該対象ボクセル中のボクセルデータ、ボクセルラベルデータに基づき、対象ボクセル中のボクセルデータを視線方向に積算投影して仮想内視鏡画像を生成する。この仮想内視鏡画像は実際の手術において内視鏡に入射する画像を近似したものである。
このとき、ボリュームレンダリング演算部13は、内視鏡パラメータ格納部41に格納されている内視鏡パラメータと、術具パラメータ格納部42に格納されている術具パラメータとに基づいて、内視鏡によって得られる仮想内視鏡画像に対してレトラクタ421等の術具によって視野が制限される画像部分をマスキングした仮想内視鏡画像を生成する。具体的には、ボリュームレンダリング演算部13は、内視鏡パラメータ格納部41に格納された内視鏡に関するパラメータ(斜視角、視野角、位置等)と、術具パラメータ格納部42に格納されたレトラクタ421に関するパラメータ(径、長さ等)とに基づいて、内視鏡411によって取得される全視野角に対応する仮想内視鏡画像表示エリア(第1表示エリア)A1と、内視鏡411によってレトラクタ421の内壁部分等の画像が取得され手術対象部位の画像の取得が制限される表示制限エリア(第2表示エリア)A2とを設定する。ここで、仮想内視鏡画像表示エリアA1とは、実際の内視鏡手術において内視鏡411によって取得され、ディスプレイ2のモニタ画面上に表示される表示エリアである。表示制限エリアA2とは、実際の内視鏡手術においてはレトラクタ421の内壁部分が表示され、内視鏡手術シミュレーションではマスキングされて表示される領域を意味している。
さらに、ボリュームレンダリング演算部13は、ボクセルデータ、ボクセルラベルデータ、術具パラメータに基づき、切削指示により、処置具422の先端の位置と可操作エリア(第3表示エリア)A3に含まれる操作可能ボクセルとの距離が所定の距離以下である操作可能ボクセルを被切削ボクセルと認定して、被切削ボクセルを被切削状態を表す態様とした仮想内視鏡画像を生成する。具体的には、ボリュームレンダリング演算部13は、被切削ボクセルに対応するボクセルラベルを変更して、被切削ボクセルを非表示にすることにより、被切削ボクセルより視線方向の下流側を投影することにより被切削ボクセルを被切削状態を表す態様とする。
また、ボリュームレンダリング演算部13は、操作可能ボクセルが含まれる可操作エリアA3をマーキングした仮想内視鏡画像を生成してもよい。このとき、ボリュームレンダリング演算部13は、操作可能ボクセルに対応するボクセルラベルデータを操作可能ボクセル以外の対象ボクセルに対応するボクセルラベルデータと異ならせることにより、仮想内視鏡画像における操作可能ボクセルを含む範囲を可操作エリアA3としてマーキングする構成としてもよい。
ボリュームレンダリング演算部13は、生成した仮想内視鏡画像を表示制御部8に出力する。
ウィンドウ座標取得部20は、バス16を介して、キーボード3、マウス4、タブレット5等から入力された表示画面上のウィンドウ座標を色情報設定部21に出力する。
色情報設定部21は色情報を設定して、データ格納部9内の色情報格納部12に出力する。ウィンドウ座標取得部20の情報が色情報設定部21を介して色情報格納部12に伝達されることで、ボリュームデータに任意の色を与えることができる。ここで、色情報設定部21とは、いわゆるルックアップテーブルを用いた変換部を意味する。つまり、本実施形態の手術シミュレーション装置1では、I(x,y,z,α)で構成される点の情報を保有しており、CT値または特定の領域に対して色情報設定部21によって異なる透明度情報と色情報とが設定されている。これにより、CT値に応じた色付け、または特定の領域に対して異なる色付けで表示される。
深さ検出部15は、操作者よりキーボード3やマウス4を介して入力されるレトラクタ等の術具の挿入深度(手術部位における深さ位置)をバス16を介して取得し、レトラクタ421のレイキャスティング走査距離を測定するとともに、深さ制御部17と被切削ボクセルラベル設定部18とに出力する。深さ検出部15及び深さ制御部17は、器具を挿入した際に、器具とボクセルとの衝突を検出した場合に、進行方向へのそれ以上の移動を防ぐ。例えば、レトラクタ421を挿入した際に、骨と接触するまでレトラクタ421を挿入し、接触した位置をレトラクタ421の挿入位置として、その位置から各パラメータを反映した仮想内視鏡画像を表示することができる。
被切削ボクセルラベル設定部18は、ウィンドウ座標取得部20には、深さ検出部15から出力される処置具422の位置に関するパラメータ、ボクセルラベル格納部11に格納されている操作可能ボクセルの情報を取得し、これらの情報に基づき、処置具422の先端の位置が操作可能ボクセルが含まれる可操作エリアA3内に存在するか否かを判定する。さらに、切削指示に基づき処置具422の先端との距離が所定の距離以下である操作可能ボクセルを被切削ボクセルと認定して、ボクセルラベル格納部11における非切削ボクセルに対応するボクセルラベルを被切削状態に変更することにより、切削を実行する。
表示制御部8は、ボリュームレンダリング演算部13から出力された仮想内視鏡画像をディスプレイ2に表示させる。
<動 作>
(手術シミュレーション動作)
以上の構成からなる手術シミュレーション装置1における手術シミュレーション動作について説明する。
図5は、手術シミュレーション装置1における切削シミュレーション処理のフローチャートである。
先ず、ステップS1において、断層画像取得部6は、被検体の断層画像データを、バス16を介して取得し、ボクセルデータ抽出部7に供給する。
ステップS2では、ボクセルデータ抽出部7は、複数毎フレームの断層画像データを入力としてボクセルデータ、ボクセルラベルデータを抽出してデータ格納部9に出力し、ボクセルデータ格納部10、ボクセルラベル格納部11にそれぞれを格納する。ボクセルデータは、例えば、I(x,y,z,α)で構成される点の情報である。ここで、Iは当該ボクセルの輝度情報であり、x,y,zは座標点を示し、αは透明度を表す情報である。
次に、ステップS3では、ボリュームレンダリング演算部13が、ボクセルデータ格納部10に格納されているボクセルデータに基づいて、視線に対して垂直であって、当該方向の間隔が一定の複数枚の断面画像(スライス画像群)からなるレンダリング像を生成する(ボリュームレンダリング処理)。そして、スライス画像群は、ボリュームレンダリング演算部13内に一時的に格納される。なお、上述した視線に対して垂直なスライス情報とは、視線に対して直交する面を意味している。例えば、ディスプレイ2を鉛直方向に沿って立てた状態で、これと顔の面とを平行にした状態で見た場合に、スライス画像が視線に対して垂直な面となる。複数のスライス画像は、I(x,y,z,α)で構成される点のボクセルデータを保有している。また、各ボクセルに対応してボクセルラベルが設定され、ボクセルラベルデータも視線方向に複数枚配置されている。
次に、表示制御部8は、ボリュームレンダリング演算部13から出力されたボリュームレンダリング像(以後、「レンダリング像」とする)をディスプレイ2に表示させる(ステップS4)。このとき、ディスプレイ2では、マウス4等を用いてCT値の範囲が指定されることで、切削対象物となる骨や血管等が選択されて表示される。
次に、ステップS5において、キーボード3、マウス4、タブレット5等の操作入力部から、内視鏡の挿入方向・位置の指示が制御部100に入力される。内視鏡表示を行う場合には、さらに、操作入力部から内視鏡表示をするよう指示が入力される。
ステップS6では、操作者から内視鏡表示をするように指示を受け付けたか否かを判定し、内視鏡表示の指示を受け付けていない場合にはステップS3に戻り、内視鏡表示の指示を受け付けた場合にはステップS7に進む。
次に、ステップS7では、キーボード3やマウス4を介して入力された操作入力に基づいてレトラクタ421の挿入深度を決定する。図6は、図5のステップS7における術具挿入深度決定の処理の詳細を示すフローチャートである。図6に示すように、先ず、術具挿入深度演算部33が、術具パラメータ格納部42からレトラクタ421の形状に関する術具パラメータ情報を取得する(ステップS71)。次に、術具挿入深度演算部33が、ボリュームレンダリング演算部13において生成されたレンダリング像におけるレトラクタ421挿入位置に関する情報(例えば、レトラクタの中心の位置、レトラクタの内径等)を取得する(ステップS72)。さらに、術具挿入深度演算部33が、ステップS72において取得された情報に基づいて、レトラクタ421を挿入に伴いレンダリング像に含まれる骨等の部位とレトラクタ421の先端が接触するときのレトラクタ421の深さ位置(レトラクタ挿入限界深度)を検出する(ステップS73)。
ここで、レトラクタ421の挿入深度を決定する方法について、図7を用いて説明する。図7は、筒状の術具(レトラクタ)の挿入深度の検出方法を説明するための模式図である。
術具挿入深度演算部33は、術具パラメータ格納部42に格納されているレトラクタ421の直径、長さ、移動方向(挿入方向)等の術具パラメータに基づいて、図7に示すように、術具の先端の外周縁上に複数点のサンプリング点SPを配置するモデリングを行う。そして、術具挿入深度演算部33は、ボリュームレンダリング演算部13において生成されたレンダリング像からボクセルラベルデータに基づき骨BOを抽出し、レトラクタ421の全てのサンプリング点SPがレトラクタ421の挿入方向に移動したときの骨BOとの接触位置を算出する。そして、レトラクタ421先端のサンプリング点SPが骨BOに接触する深さのうち、最小の深さをレトラクタ421の挿入限界位置として設定する。挿入限界位置において骨BOと接触しているサンプリング点SPを衝突部位421aとする。
このように、実際の内視鏡手術と近似したレトラクタ421が挿入限界深度を正確に把握することにより、レトラクタ421が現実の挿入限界深度より深い位置まで挿入された状態で手術シミュレーションが行われることを回避できる。
次に、図5に戻り、ステップS8において、ボリュームレンダリング演算部13は、術具パラメータ格納部42からレトラクタ421及び処置具422に関する術具パラメータを取得する。さらに、ボリュームレンダリング演算部13は、内視鏡パラメータ格納部41から内視鏡に関するパラメータを取得する(ステップS9)。
次に、ステップS10では、可操作エリア演算部27は、術具パラメータ、内視鏡パラメータ、ボクセルデータに基づき、処置具422の先端が到達可能な操作可能ボクセルが含まれる可操作エリアA3を決定する。
図7は、図5のステップS10における可操作エリア決定処理の詳細を示すフローチャートである。図7に示すように、可操作エリア演算部27は、術具パラメータ格納部42からレトラクタ421及び処置具422の形状・挿入位置に関する術具パラメータを取得する(ステップS101、S102)。さらに、可操作エリア演算部27は、内視鏡パラメータ格納部41から内視鏡の形状・位置に関するパラメータを取得する(ステップS103、S104)。そして、ステップS105では、可操作エリア演算部27は、術具パラメータ、内視鏡パラメータ、ボクセルデータに基づき、処置具422の先端が到達可能な操作可能ボクセルを抽出し、操作可能ボクセルが含まれる可操作エリアA3を決定する。
ここで、可操作エリアA3の決定方法について、図9を用いて説明する。図9(a)は、可操作エリア演算部27における術具(処置具422)の先端が到達可能な操作可能ボクセルが含まれる可操作エリアA3の算出方法を説明するための模式図、(b)は計算結果の例示である。
図9に示すように、被検体の手術対象部位表面の可操作エリアA3の直径areaは、レトラクタ421の内部で処置具422を左右に最大に傾けたときに、被検体の手術対象部位表面において処置具422の先端が到達可能な範囲として表される。図9(a)において、レトラクタ421、処置具422に関するパラメータを、
O:レトラクタ421の中心点
A:レトラクタ421の先端中心点
B:レトラクタ421の先端の端点
C:線分OAと被写体表面の交点
D:線分OBと被写体表面の交点
φ:レトラクタ421の直径
dr:レトラクタ421の長さ
θ:レトラクタ421の内部で処置具422を左右に最大に傾けたときのなす角度
dist:レトラクタ421の先端と被写体表面の距離
area:被検体の手術対象部位表面の可操作エリアA3の直径
と規定したとき、式(1)の関係が導かれる。
Figure 0007172086000001
そして、被検体の手術対象部位表面の可操作エリアA3の直径areaは、式(2)により規定される。
Figure 0007172086000002
図9(b)に、実際の手術に用いるパラメータを用いた計算例を示す。
図8に戻り、ボリュームレンダリング演算部13は、操作可能ボクセルに対応するボクセルラベルデータを、操作可能ボクセル以外のボクセルに対応するボクセルラベルデータと異なるようにボクセルラベルデータを更新する(ステップS106)。
図5に戻り、ステップS11では、操作者からの切削指示を受け付けたか否かを判定し、切削指示を受け付けていない場合にはステップS3に戻り、内視鏡画像の生成と表示を行う。すなわち、ステップS3では、ボリュームレンダリング演算部13が、ボクセルデータ格納部10に格納されているボクセルデータに基づいて、レトラクタ421の軸に垂直であってレトラクタ421前方に位置し、当該方向の間隔が一定の複数枚の断面画像(スライス画像群)からなるレンダリング像を生成し、対象ボクセル中のボクセルデータを視線方向に積算投影して内視鏡画像に近似した仮想内視鏡画像を生成する。ステップS4では、表示制御部8は仮想内視鏡画像を表示画面としてディスプレイ2に表示する。
ステップS11の判定において、内視鏡表示の指示を受け付けた場合にはステップS12に進み切削実行を行う。
操作者から切削指示は、キーボード3、マウス4、あるいはタブレット5等の操作入力部を介してなされる。具体的な切削指示の入力方法としては、マウス4を机の上で水平方向に移動させることで、ディスプレイ2に表示されるカーソルを、表示画面の手術対象部位上において左右あるいは上下に往復させる方法が挙げられる。このとき、マウス4の左右方向、上下方向における動きは、ウィンドウ座標取得部20において検出される。検出された情報が、深さ検出部15、深さ制御部17を介して被切削ボクセルラベル設定部18へ出力される。
ステップS12では、被切削ボクセルラベル設定部18は、処置具位置に関するパラメータ、操作可能ボクセルの情報に基づき被切削ボクセルを算出して、ボクセルラベル格納部11における非切削ボクセルに対応するボクセルラベルを被切削状態に変更することにより、切削を実行する。
図10は、図5のステップS12における切削実行の処理の詳細を示すフローチャートである。先ず、被切削ボクセルラベル設定部18は、深さ検出部15から処置具422の位置に関するパラメータを取得する(ステップS121)。同時に、被切削ボクセルラベル設定部18は、ボクセルラベル格納部11から操作可能ボクセルの情報を取得する。そして、被切削ボクセルラベル設定部18は、処置具422の先端の位置が操作可能ボクセルが含まれる可操作エリアA3内に存在するか否かを判定し(ステップS122)、存在しない場合には、切削実行の処理を中止してステップS3に戻る。これにより、処置具422の先端の位置が可操作エリアA3内に存在しない場合に切削実行の処理が行われることを防止できる。
ステップS122の判定において、処置具422の先端の位置が可操作エリアA3内に存在する場合にはステップS123に進む。ステップS123では、被切削ボクセルラベル設定部18は、深さ検出部15から処置具422の先端の深さに関するパラメータを取得し、処置具422の先端が操作可能ボクセルと接触しているか否かを判定する(ステップS124)。ここで、接触しているか否かの判定は、例えば、処置具422の先端と操作可能ボクセルとの距離が所定の距離以下であるか否かを判定することにより行う。ステップS124の半定において、処置具422の先端が操作可能ボクセルと接触していない場合にはステップS3に戻り、接触している場合にはステップS125に進む。ステップS125では、被切削ボクセルラベル設定部18は、処置具422の先端との距離が所定の距離以下である操作可能ボクセルを被切削ボクセルと認定して、被切削ボクセルのボクセルラベルデータを変更する。このとき、被切削ボクセルラベル設定部18は、被切削ボクセルのボクセルラベルデータを、被切削ボクセルを非表示とするような種別のボクセルラベルデータに変更する。変更されたボクセルラベルデータはボクセルラベル格納部11に保存され、ステップS3へ移行する。
ステップS3では、ボリュームレンダリング演算部13が、ボクセルデータ格納部10に格納されているボクセルデータに基づいて、レトラクタ421の軸に垂直であってレトラクタ421前方に位置し、当該方向の間隔が一定の複数枚の断面画像(スライス画像群)からなるレンダリング像を生成し(ボリュームレンダリング処理)、対象ボクセル中のボクセルデータを視線方向に積算投影して内視鏡画像に近似した仮想内視鏡画像を生成する。
このとき、ボリュームレンダリング演算部13は、変更されたボクセルラベルデータに基づき被切削ボクセルを非表示として、被切削ボクセルより視線方向の下流側のボクセルを投影したレンダリング像を生成し、被切削ボクセルを被切削状態を表す態様とする仮想内視鏡画像を生成する。
また、ステップS3では、ボリュームレンダリング演算部13は、操作可能ボクセルに対応するボクセルラベルデータを操作可能ボクセル以外の対象ボクセルに対応するボクセルラベルデータと異ならせて、生成される仮想内視鏡画像において操作可能ボクセルが含まれる可操作エリアA3の範囲をマーキングして識別してもよい。
さらに、ステップS3では、ボリュームレンダリング演算部13が、ステップS8およびステップS9において取得された術具パラメータおよび内視鏡パラメータに基づいて、ボリュームレンダリング演算部13において生成された内視鏡画像に近似した仮想内視鏡画像のうち、内視鏡によって取得される全視野範囲に相当する仮想内視鏡画像表示エリアA1と表示制限エリアA2とを設定し、ディスプレイ2の表示画面に表示させてもよい。
ステップS4では、表示制御部8は仮想内視鏡画像を表示画面としてディスプレイ2に表示する。
<効 果>
以下、手術シミュレーション装置1における効果について説明する。
図11(a)は、手術シミュレーション装置1における可操作エリアA3の範囲を示す模式断面図、(b)従来の手術シミュレーション装置における可操作エリアA3Xの範囲を示す模式断面図である。また、図12(a)は、手術シミュレーション装置1の表示画像における可操作エリアA3の範囲を示す模式図、(b)従来の手術シミュレーション装置の表示画像における可操作エリアA3Xの範囲を示す模式図である。
従来の手術シミュレーション装置では、図11(b)及び図12(b)に示すように、手術対象部位表面において処置具422の先端が到達可能な範囲を超えて仮想内視鏡画像表示エリアA1と等価な範囲が可操作エリアA3とされた。そのため、処置具422の先端の位置が可操作エリアA3内に存在しない場合に切削実行の処理が行われ、実際の手術における切削とは異なるシミュレーション動作が行われる場合があった。
これに対し、実施の形態1に係る手術シミュレーション装置1では、図11(a)及び図12(a)に示すように、レトラクタ421の内部で処置具422を左右に最大に傾けたときに、仮想内視鏡画像表示エリアA1の内部において被検体の手術対象部位表面において処置具422の先端が到達可能な範囲を手術対象部位表面の内部に可操作エリアA3として算出し、処置具422の先端の位置が可操作エリアA3内に存在する場合に、処置具422の先端との距離が所定の距離以下である操作可能ボクセルを被切削ボクセルと認定する。そして、ボクセルラベル格納部11における非切削ボクセルに対応するボクセルラベルを被切削状態に変更することにより切削を実行する。そのため、操作者は、処置具422の先端の位置が可操作エリアA3内において切削シミュレーションを行うことができ、操作者は実際の手術における切削と近似したシミュレーションを行うことができる。
図13は、手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータの基準値としたときの表示画面図の一例である。図13に示すように、手術シミュレーション装置1では、表示画面に表示された仮想内視鏡画像表示エリアA1(第1表示エリア)の内部に処置具422の先端の位置が可操作エリアA3(第3表示エリア)がマーキングされて識別された状態で表示されている。
これにより、操作者には、被検体の手術対象部位のうち処置具422の先端が到達可能な範囲が明示されるので、操作者は処置具422の先端を可操作エリアA3に容易に移動させることができ、効率的に手術シミュレーションが可能となる。
さらに、表示画面には、内視鏡によって取得される全視野範囲に相当する仮想内視鏡画像表示エリアA1とともに、レトラクタ421の内壁等によって手術対象部位の画像の入射が制限される表示制限エリアA2(第2表示エリア)が表示されている。
これにより、実際に内視鏡手術によって取得可能な範囲を表示することができ、操作者は実際の手術における内視鏡画像に近似した仮想内視鏡画像を見て手術シミュレーションを行うことができる。
以上のとおり、実施の形態1に係る手術シミュレーション装置1では、内視鏡手術のシミュレーションを実施する際に、実際の内視鏡手術によって表示される状態に近似した表示態様でシミュレーションを行うことができ、効果的な手術支援を行うことができる。
≪実施の形態2≫
上記した実施の形態では、手術シミュレーション装置の実施の形態を例に挙げて説明した。例えば、実施の形態1では、内視鏡に直視内視鏡及を用いた例を示して手術シミュレーション装置の説明を行った。しかしながら、内視鏡の構成は直視内視鏡に限定されるものではなく、例えば、より広い範囲の仮想内視鏡画像表示エリアA1が得られる斜視内視鏡を用いた構成としてもよい。以下、仮想内視鏡パラメータ変更例である実施の形態2について説明する。
(斜視内視鏡の斜視角を反映させたレンダリング像の生成)
以下、斜視内視鏡を用いた実施の形態2に係る構成において、斜視内視鏡の任意の斜視角を反映させたレンダリング像を生成するための方法について、図面を用いて説明する。図14は、斜視内視鏡を用いた実施の形態2に係る手術シミュレーション装置1における、任意の斜視角を反映させたボリュームレンダリング演算方法を説明するための模式図である。
実施の形態2に係る手術シミュレーション装置では、斜視内視鏡411Aごとに設定される斜視角に応じて視野ベクトルに回転行列を適用することにより、斜視角を反映させたレンダリング像を生成する。具体的には、先ず、レトラクタ421の軸方向に対応する鏡軸ベクトルVsと斜視内視鏡411Aの斜視方向に対応する垂直ベクトルVuの外積Vcを算出する。次に、Vc周りをθ回転する回転行列Rsを算出する。そして、斜視角を反映した視野ベクトルVeは、Ve=Rs*Vsとして求めることができる。これにより、斜視内視鏡411Aごとに斜視角度が異なる場合でも、内視鏡パラメータ格納部41に格納された内視鏡パラメータ等に基づいて視野ベクトルVeを算出して手術に使用される斜視内視鏡411Aごとの視野範囲を設定することができる。
(マウス4の操作による2次元入力から内視鏡3次元操作へのマッピング)
次に、図15(a)~(c)を用いて、マウス4の操作による2次元入力から内視鏡3次元操作へのマッピングについて説明する。
通常、レトラクタ421内に挿入された斜視内視鏡411A(図15(a)等参照)は、レトラクタ421と一体化された図示しないアタッチメントに固定されることで、レトラクタ421内における周方向における移動が制限されている。
ここで、図15(a)に示すように、斜視内視鏡411Aをアタッチメントごと回転させたと仮定して、図15(c)に示すように、レトラクタ421の長さdr、レトラクタ421内における斜視内視鏡411Aの挿入深度deとすると、レトラクタ421の中心Roから斜視内視鏡411Aの中心Eoまでの距離RoEoの奥行き方向の軸Rzに対して、角度θ回転した場合の回転行列Rθを算出する。
次に、ベクトルRoEo’=Rθ×RoEoであるから、内視鏡先端位置は、内視鏡の挿入深度deを用いて、内視鏡先端位置Ec=Eo’+Rz*deの式によって算出することができる。
これにより、2次元のマウス操作によって、3次元の内視鏡先端位置を算出することができる。なお、斜視内視鏡411Aの挿入深度deは、マウス(例えば、マウスホイール)操作によって変更することができる。
(効 果)
図16(a)は、実施の形態2に係る斜視内視鏡を用いた手術シミュレーション装置における可操作エリアA3の範囲を示す模式断面図、(b)従来の手術シミュレーション装置における可操作エリアA3Xの範囲を示す模式断面図である。また、図17(a)は、実施の形態2に係る斜視内視鏡411Aを用いた手術シミュレーション装置の表示画像における可操作エリアA3の範囲を示す模式図、(b)斜視内視鏡411A従来の手術シミュレーション装置の表示画像における可操作エリアA3Xの範囲を示す模式図である。
従来の手術シミュレーション装置では、図16(b)及び図17(b)に示すように、手術対象部位表面において処置具422の先端が到達可能な範囲を超えて斜視内視鏡411Aにより取得されるより広い範囲な仮想内視鏡画像表示エリアA1と等価な範囲が可操作エリアA3Xとされた。
これに対し、実施の形態2に係る手術シミュレーション装置1では、図16(a)及び図17(a)に示すように、斜視内視鏡411Aにより取得される仮想内視鏡画像表示エリアA1の内部において手術対象部位表面において処置具422の先端が到達可能な範囲を可操作エリアA3の内部に処置具422の先端の位置が存在する場合に限り切削を実行する。そのため、操作者は、斜視内視鏡411Aにより、より広い範囲の仮想内視鏡画像表示エリアA1が得られる場合においても、処置具422の先端の位置が可操作エリアA3内に限り切削シミュレーションを行うことができる。
≪表示画面の例≫
手術シミュレーション装置1において、術具パラメータ及び内視鏡パラメータを基準値としたときの図13に示した表示画面の状態から、術具パラメータ及び内視鏡パラメータを変更したときの、仮想内視鏡画像表示エリアA1上の可操作エリアA3の大きさの変化について説明する。
図18は、術具パラメータ及び内視鏡パラメータと仮想内視鏡画像表示エリアA1上の可操作エリアA3の大きさとの関係を示す図である。図19~図25は、術具パラメータ及び内視鏡パラメータを図19の条件1~7に変更したときの、手術シミュレーション装置1における表示画面図の例である。
先ず、図19(図18における条件1)に示すように、レトラクタ421の直径を小径化したとき、可操作エリアA3は縮小する。同時に仮想内視鏡画像表示エリアA1も縮小する。
次に、図20(図18における条件2)に示すように、レトラクタ421の長さを長軸化したとき、可操作エリアA3は縮小する。仮想内視鏡画像表示エリアA1の大きさに変化はない。可操作エリアA3は縮小するのは、レトラクタ421の内部で処置具422を左右に最大に傾けたとき角度が減少するためである。
次に、図21(図18における条件3)に示すように、直視内視鏡411から斜視内視鏡411Aに変更したとき、可操作エリアA3の大きさは変化せず、仮想内視鏡画像表示エリアA1内において斜視方向と反対方向に可操作エリアA3が相対的に移動する。仮想内視鏡画像表示エリアA1の大きさに変化はない。
次に、図22(図18における条件4)に示すように、内視鏡411の視野角を減少したとき、仮想内視鏡画像表示エリアA1内における可操作エリアA3の大きさが相対的に拡大する。図22に示す例では、視野角を120度から90度にした場合、撮影範囲が狭くなり、内視鏡画像においてレトラクタ421の内壁により遮られる領域が減少する。そして、90度の内視鏡画像をディスプレイ2に表示すると、120度の内視鏡画像よりも拡大されて表示される。すなわち、仮想内視鏡画像表示エリアA1はディスプレイ2の表示画面では120度の表示時より大きく表示される。しかしながら、90度に視野角が狭まっても実際に操作できる可操作エリアA3の大きさは変わらない。よって、図22では、表示画面上の仮想内視鏡画像表示エリアA1が大きくなることで可操作エリアA3も相対的に大きく表示されている。
次に、図23(図18における条件5)に示すように、内視鏡411の挿入深さを深くしたとき、仮想内視鏡画像表示エリアA1内における可操作エリアA3の大きさが相対的に拡大する。すなわち、内視鏡411の挿入深度を深くすると、内視鏡先端と被写体との距離が縮まり、撮影範囲が狭くなる。また、内視鏡411の先端とレトラクタ421との位置関係が変わり、内視鏡画像においてレトラクタ421の内壁により遮られる表示制限エリアA2が減少する。その結果、表示制限エリアA2が小さくなることにより、仮想内視鏡画像表示エリアA1は大きくなる。図23に示す例は、内視鏡411の位置変動による処置具422への影響を考慮しない条件であるため、内視鏡411の先端の位置が変化しても、処置具422を実際に操作できる可操作エリアA3の大きさは変わらない。したがって、図23では、可操作エリアA3の大きさは変わらないが、仮想内視鏡画像表示エリアA1に対応する撮影範囲が狭くなっているため、表示画面上では可操作エリアA3は大きく表示される。
次に、図24(図18における条件6)に示すように、レトラクタ421の挿入深さを浅くして被写体との距離を増加したとき、仮想内視鏡画像表示エリアA1の大きさは増加し、可操作エリアA3の大きさも増加する。すなわち、図24に示す例では、内視鏡411で撮影される範囲は広がるため、仮想内視鏡画像表示エリアA1に映る被写体の範囲は広がっている。その一方で、レトラクタ421と内視鏡411の先端との位置関係に変化はなく表示制限エリアA2の変化はない。レトラクタ421の先端と被写体表面の距離(図9におけるdist)が大きくなると、レトラクタ421の内部で処置具422を左右に最大に傾けたときのなす角度(図9におけるθ)に変化は無くても、被検体の手術対象部位表面の可操作エリアA3の直径(図9におけるarea)は広がり、可操作エリアA3は拡大する。図24では、仮想内視鏡画像表示エリアA1の全範囲が可操作エリアA3となっている。
次に、図25(図18における条件7)に示すように、処置具422を湾曲させたとき、可操作エリアA3の大きさは増加する。仮想内視鏡画像表示エリアA1の大きさは変化しない。図25では、仮想内視鏡画像表示エリアA1の全範囲が可操作エリアA3となっている。
以上のとおり、実施の形態1、2に係る手術シミュレーション装置1では、内視鏡手術のシミュレーションを実施する際に、術具パラメータ及び内視鏡パラメータを基準値としたときの図13に示した表示画面の状態から、術具パラメータ及び内視鏡パラメータを変更することにより、仮想内視鏡画像表示エリアA1上の可操作エリアA3の大きさの変化させることができる。これにより、実際の内視鏡手術によって表示される状態によい一層近似させた表示態様としてシミュレーションを行うことができ、より一層効果的な手術支援を実施することができる。
≪その他の変形例≫
以上、本開示を実施の形態1、2(以後、「実施の形態」とする)に基づいて説明したが、本開示は上記実施の形態に限定されるものではなく種々の変更が可能である。
(1)上記した実施の形態では、手術シミュレーション装置の実施の形態を例に挙げて説明した。しかしながら、例えば、手術シミュレーション装置をコンピュータPCに実行させる手術シミュレーションプログラムとしてもよい。
(2)上記した実施の形態では、直視内視鏡及び斜視内視鏡を用いた例を示して説明を行った。しかしながら、内視鏡の構成はこれに限定されるものではなく、各種内視鏡に適用可能である。また、術具として、レトラクタ及び鉗子、ドリル、ノミ又はメスからなる処置具を用いた例を示して説明を行った。しかしながら、術具の構成はこれに限定されるものではなく、各種手術に用いる器具にも適用可能である。
(3)上記した実施の形態では、手術シミュレーション装置として、内視鏡画像を見ながら切削シミュレーションを実施する例を挙げて説明した。しかしながら、実際の手術中に表示される内視鏡画像に近い画像を表示させる表示シミュレーションに適用してもよい。これにより、可操作エリアA3を明示した内視鏡画像により手術中の対象部位の状態を再現して、効果的な表示シミュレーションを行うことができる。
(4)上記した実施の形態では、手術シミュレーションの一例として、内視鏡を用いた椎間板ヘルニア摘出術を例を示して説明を行った。しかしながら、本開示はこれに限定されるものではなく、各種疾患に対する手術のシミュレーションに適用してもよい。
(5)上記した実施の形態では、被検体の断層画像を撮影するための各種モダリティとしてX線CT画像を用いた例を挙げて説明した。3次元画像を形成するための断層画像情報として、CT(コンピュータ断層撮影装置)あるいはMRI(磁気共鳴診断装置)、PET(Positron Emission Tomography)、超音波診断装置等の被検体の断層画像を撮影するための各種モダリティによって取得された断層画像情報等を用いて3次元画像を形成してもよい。
(6)なお、本開示を上記実施の形態に基づいて説明してきたが、本開示は、上記の実施の形態に限定されず、以下のような場合も本発明に含まれる。
例えば、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムにしたがって動作するとしてもよい。例えば、本開示の手術シミュレーション方法のコンピュータプログラムを有しており、このプログラムに従って動作する(又は接続された各部位に動作を指示する)コンピュータシステムであってもよい。
また、上記手術シミュレーション装置の全部、もしくは一部、またビームフォーミング部の全部又は一部を、マイクロプロセッサ、ROM、RAM等の記録媒体、ハードディスクユニットなどから構成されるコンピュータシステムで構成した場合も本発明に含まれる。上記RAM又はハードディスクユニットには、上記各装置と同様の動作を達成するコンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、各装置はその機能を達成する。
また、上記の各装置を構成する構成要素の一部又は全部は、1つのシステムLSI(Large scale Integration(大規模集積回路))から構成されているとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。なお、LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。上記RAMには、上記各装置と同様の動作を達成するコンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムLSIは、その機能を達成する。例えば、本発明の手術シミュレーション方法がLSIのプログラムとして格納されており、このLSIがコンピュータ内に挿入され、所定のプログラム(手術シミュレーション方法)を実施する場合も本発明に含まれる。
なお、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー(Reconfigurable Processor)を利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
また、各実施の形態に係る、手術シミュレーション装置の機能の一部又は全てを、CPU等のプロセッサがプログラムを実行することにより実現してもよい。上記手術シミュレーション装置の動作を実施させるプログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。プログラムや信号を記録媒体に記録して移送することにより、プログラムを独立した他のコンピュータシステムにより実施するとしてもよい、また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記実施形態に係る手術シミュレーション装置の各構成要素は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)やプロセッサなどのプログラマブルデバイスとソフトウェアにより実現される構成であってもよい。後者の構成は、いわゆるGPGPU(General-Purpose computing on Graphics Processing Unit)である。これらの構成要素は一個の回路部品とすることができるし、複数の回路部品の集合体にすることもできる。また、複数の構成要素を組合せて一個の回路部品とすることができるし、複数の回路部品の集合体にすることもできる。
上記実施の形態に係る手術シミュレーション装置では、記憶装置であるデータ格納部を手術シミュレーション置内に含む構成としたが、記憶装置はこれに限定されず、半導体メモリ、ハードディスクドライブ、光ディスクドライブ、磁気記憶装置、等が、手術シミュレーション装置に外部から接続される構成であってもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
また、各実施の形態に係る手術シミュレーション装置、及びその変形例の機能のうち少なくとも一部を組み合わせてもよい。更に上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
さらに、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。
≪まとめ≫
実施の形態に係る手術シミュレーション装置は、被検体に挿入されたレトラクタに内視鏡及び処置具を挿入して行う手術のシミュレーション画像を表示する手術シミュレーション装置であって、処置具、内視鏡及びレトラクタを含む器具に関する器具パラメータを取得する器具パラメータ取得部と、操作者による切削指示を受付ける切削指示受付部と、複数枚の被検体の断層画像データに基づきボクセルデータ及びボクセルラベルデータを生成するボクセルデータ抽出部と、前記ボクセルデータ及び前記器具パラメータに基づき、前記レトラクタに内挿された前記処置具の先端が到達可能な操作可能ボクセルを抽出する可操作エリア演算部と、切削指示に基づき、前記処置具の先端との距離が所定の距離以下である前記操作可能ボクセルを被切削ボクセルとし、当該被切削ボクセルのボクセルラベルデータを変更する被切削ボクセルラベル設定部と、前記ボクセルデータ及び前記器具パラメータに基づき、レトラクタの軸に垂直であってレトラクタ前方に位置する複数の断面に含まれる対象ボクセルを特定し、前記対象ボクセル中のボクセルデータを視線方向に積算投影して仮想内視鏡画像を生成するボリュームレンダリング演算部と、前記仮想内視鏡画像を表示部に表示させる表示制御部とを備えたことを特徴とする。
係る構成により、処置具の先端の位置が可操作エリアに含まれるときに、切削指示に基づき可操作エリアの一部を被切削状態を表す態様とする切削シミュレーションを行う。そのため、処置具の先端が到達不可能な部位に対して切削シミュレーションが行われるという動作を抑制し、実際の手術における切削動作に近似したシミュレーションを実現することができる。
また、別の態様では、上記の何れかの態様において、前記ボリュームレンダリング演算部は、前記仮想内視鏡画像において前記被切削ボクセルより視線方向の下流側を投影することにより、前記被切削ボクセルを被切削状態を表す態様とする構成としてもよい。
係る構成により、処置具の先端の位置が可操作エリアに含まれるときに、切削指示に基づき仮想内視鏡画像における可操作エリアの一部を被切削状態を表す態様とする構成を実現できる。
また、別の態様では、上記の何れかの態様において、前記ボリュームレンダリング演算部は、前記仮想内視鏡画像において前記操作可能ボクセルが含まれるエリアをマーキングする構成としてもよい。
係る構成により、操作者には、被検体の手術対象部位のうち処置具422の先端が到達可能な範囲が明示されるので、操作者は処置具422の先端を可操作エリアA3に容易に移動させることができ、効率的に手術シミュレーションが可能となる。
また、別の態様では、上記の何れかの態様において、前記ボリュームレンダリング演算部は、前記操作可能ボクセルに対応するボクセルラベルデータを前記操作可能ボクセル以外の対象ボクセルに対応するボクセルラベルデータと異ならせることにより、前記操作可能ボクセルが含まれるエリアをマーキングする構成としてもよい。
係る構成により、仮想内視鏡画像において操作可能ボクセルが含まれる可能操作エリアをマーキングする構成を実現できる。
また、別の態様では、上記の何れかの態様において、前記被切削ボクセルラベル設定部は、前記被切削ボクセルを非表示とするように前記被切削ボクセルのボクセルラベルデータを変更し、前記ボリュームレンダリング演算部は、変更されたボクセルラベルデータに基づき被切削ボクセルを非表示として、前記被切削ボクセルより視線方向の下流側のボクセルを投影する構成としてもよい。
係る構成により、処置具の先端の位置が可操作エリアに含まれるときに、切削指示に基づき仮想内視鏡画像における可操作エリアの一部を被切削状態を表す態様とする構成を具体的に実現することができる。
また、別の態様では、上記の何れかの態様において、前記器具パラメータは、操作入力部から入力されたパラメータ、又は記憶部に保存されているパラメータである構成としてもよい。また、別の態様では、上記の何れかの態様において、前記器具パラメータは、処置具、内視鏡又はレトラクタの形状、位置及び大きさに関するパラメータである構成としてもよい。また、別の態様では、上記の何れかの態様において、前記ボクセルデータ抽出部は、記憶部から複数枚の被検体の断層画像データを読み出しボクセルデータ及びボクセルラベルデータを生成する構成としてもよい。また、別の態様では、上記の何れかの態様において、前記ボクセルデータ及び前記ボクセルラベルデータは記憶部に保存される構成としてもよい。また、別の態様では、上記の何れかの態様において、前記表示部を、さらに備えている構成としてもよい。
また、別の態様では、上記の何れかの態様において、前記内視鏡は、斜視内視鏡である構成としてもよい。
係る構成により、操作者は、斜視内視鏡411Aにより広い範囲の仮想内視鏡画像表示エリアA1が得られる場合においても、処置具422の先端の位置が可操作エリアA3内に限り切削シミュレーションを行うことができる。
また、別の態様では、上記の何れかの態様において、操作入力部はマウスであり、前記マウスの2次元移動によって前記表示部に表示される仮想内視鏡画像の向きが調整可能である構成としてもよい。また、別の態様では、上記の何れかの態様において、前記処置具は、鉗子、ドリル、ノミ、メスの何れかである構成としてもよい。
実施の形態に係る手術シミュレーションプログラムは、被検体に挿入されたレトラクタに内視鏡及び処置具を挿入して行う手術中シミュレーション画像を表示部に表示させる処理をコンピュータに実行させる手術支援プログラムであって、前記処理は、処置具、内視鏡及びレトラクタを含む器具に関する器具パラメータを取得する器具パラメータ取得ステップと、操作入力部を介して操作者による切削指示を受付ける切削指示受付ステップと、記憶部から取得した複数枚の被検体の断層画像データに基づきボクセルデータ及びボクセルラベルデータを生成するボクセルデータ抽出ステップと、前記ボクセルデータ及び前記器具パラメータに基づき、前記レトラクタに内挿された前記処置具の先端が到達可能な操作可能ボクセルを抽出する可操作エリア演算ステップと、切削指示に基づき、前記処置具の先端との距離が所定の距離以下である前記操作可能ボクセルを被切削ボクセルとし、当該被切削ボクセルのボクセルラベルデータを変更する被切削ボクセルラベル設定ステップと、前記ボクセルデータ及び前記器具パラメータに基づき、レトラクタの軸に垂直であってレトラクタ前方に位置する複数の断面に含まれる対象ボクセルを特定し、前記対象ボクセル中のボクセルデータを視線方向に積算投影して仮想内視鏡画像を生成するボリュームレンダリングステップと、前記仮想内視鏡画像を前記表示部に表示させる表示ステップとを有することを特徴とする。
係る構成のプログラムをコンピュータPCにて動作させることにより、処置具の先端の位置が可操作エリアに含まれるときに、切削指示に基づき可操作エリアの一部を被切削状態を表す態様とする切削シミュレーションを行う手術シミュレーション装置を実現できる。
また、別の態様では、上記の何れかの態様において、前記ボリュームレンダリングステップでは、前記仮想内視鏡画像において前記被切削ボクセルより視線方向の下流側を投影することにより、前記被切削ボクセルを被切削状態を表す態様とする構成としてもよい。
係る構成により、処置具の先端の位置が可操作エリアに含まれるときに、切削指示に基づき仮想内視鏡画像における可操作エリアの一部を被切削状態を表す態様とする構成を実現する手術シミュレーションプログラムを提供できる。
また、別の態様では、上記の何れかの態様において、前記ボリュームレンダリングステップでは、前記仮想内視鏡画像において前記操作可能ボクセルが含まれる範囲をマーキングする構成としてもよい。
係る構成により、操作者には、被検体の手術対象部位のうち処置具422の先端が到達可能な範囲が明示されるので、操作者は処置具422の先端を可操作エリアA3に容易に移動させることができ、効率的に手術シミュレーションが可能となるプログラムを提供できる。
本開示の実施の形態に係る手術シミュレーション装置、手術シミュレーション方法、および、手術シミュレーションプログラムは、内視鏡を用いた実際の手術中に表示される内視鏡画像に近似した表示して効果的な手術支援を実施できることから、内視鏡を用いた各種手術のシミュレーション装置に広く適用可能である。
1 手術シミュレーション装置(コンピュータPC)
2 ディスプレイ2(表示部)
3 キーボード(操作入力部)
4 マウス(操作入力部)
5 タブレット(操作入力部)
6 断層画像取得部
7 ボクセルデータ抽出部
8 表示制御部
9 データ格納部
10 ボクセルデータ格納部
11 ボクセルラベル格納部
12 色情報格納部
13 ボリュームレンダリング演算部
15 深さ検出部
16 バス
17 深さ制御部
18 被切削ボクセルラベル設定部
20 ウィンドウ座標取得部
21 色情報設定部
33 器具パラメータ取得部
31 内視鏡パラメータ取得部
32術具パラメータ取得部
33 術具挿入深度演算部
40 器具パラメータ格納部
41 内視鏡パラメータ格納部
41a 第1内視鏡パラメータ格納部
41b 第2内視鏡パラメータ格納部
41c 第3内視鏡パラメータ格納部
42 術具パラメータ格納部
42a 第1術具パラメータ格納部
42b 第2術具パラメータ格納部
42c 第3術具パラメータ格納部
411 内視鏡
411A 斜視内視鏡
412 撮像装置(カメラ)
421 レトラクタ(術具)
422 処置具(術具)
31a衝突部位
A1 仮想内視鏡画像表示エリア(第1表示エリア)
A2 表示制限エリア(第2表示エリア)
A3 可操作エリア(第3表示エリア)

Claims (17)

  1. 被検体に挿入されたレトラクタに内視鏡及び処置具を挿入して行う手術のシミュレーション画像を表示する手術シミュレーション装置であって、
    処置具、内視鏡及びレトラクタを含む器具に関する器具パラメータを取得する器具パラメータ取得部と、
    操作者による切削指示を受付ける切削指示受付部と、
    複数枚の被検体の断層画像データに基づきボクセルデータ及びボクセルラベルデータを生成するボクセルデータ抽出部と、
    前記ボクセルデータ及び前記器具パラメータに基づき、前記レトラクタの先端位置、前記レトラクタの直径、前記レトラクタの長さ、前記レトラクタの内部で処置具を最大に傾けたときのなす角度、前記レトラクタの先端と被写体表面の距離をすべて用いて、前記レトラクタに内挿された前記処置具の先端が到達可能な操作可能ボクセルを抽出する可操作エリア演算部と、
    切削指示に基づき、前記処置具の先端との距離が所定の距離以下である、前記可操作エリア演算部によって抽出された前記操作可能ボクセルを被切削ボクセルとし、当該被切削ボクセルのボクセルラベルデータを変更する被切削ボクセルラベル設定部と、
    前記ボクセルデータ及び前記器具パラメータに基づき、レトラクタの軸に垂直であってレトラクタ前方に位置する複数の断面に含まれる対象ボクセルを特定し、前記対象ボクセル中のボクセルデータを視線方向に積算投影して仮想内視鏡画像を生成するボリュームレンダリング演算部と、
    前記仮想内視鏡画像を表示部に表示させる表示制御部とを備えた
    手術シミュレーション装置。
  2. 前記ボリュームレンダリング演算部は、前記仮想内視鏡画像において前記被切削ボクセルより視線方向の下流側を投影することにより、前記被切削ボクセルを被切削状態を表す態様とする
    請求項1に記載の手術シミュレーション装置。
  3. 前記ボリュームレンダリング演算部は、前記仮想内視鏡画像において前記操作可能ボクセルが含まれるエリアをマーキングする
    請求項1又は2に記載の手術シミュレーション装置。
  4. 前記ボリュームレンダリング演算部は、前記操作可能ボクセルに対応するボクセルラベルデータを前記操作可能ボクセル以外の対象ボクセルに対応するボクセルラベルデータと異ならせることにより、前記操作可能ボクセルが含まれるエリアをマーキングする
    請求項に記載の手術シミュレーション装置。
  5. 前記表示制御部は、前記内視鏡によって取得される全視野範囲に相当する仮想内視鏡画像表示エリアの内部に、前記マーキングにより前記操作可能ボクセルが含まれる可操作エリアを識別された状態で表示するとともに、
    前記レトラクタの内壁によって前記内視鏡に前記被検体の画像の入射が制限される表示制限エリアを表示する
    請求項又はに記載の手術シミュレーション装置。
  6. 前記被切削ボクセルラベル設定部は、前記被切削ボクセルを非表示とするように前記被切削ボクセルのボクセルラベルデータを変更し、
    前記ボリュームレンダリング演算部は、変更されたボクセルラベルデータに基づき被切削ボクセルを非表示として、前記被切削ボクセルより視線方向の下流側のボクセルを投影する
    請求項1からの何れか1項に記載の手術シミュレーション装置。
  7. 前記器具パラメータは、操作入力部から入力されたパラメータ、又は記憶部に保存されているパラメータである
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  8. 前記器具パラメータは、処置具、内視鏡又はレトラクタの形状、位置及び大きさに関するパラメータである
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  9. 前記ボクセルデータ抽出部は、記憶部から複数枚の被検体の断層画像データを読み出しボクセルデータ及びボクセルラベルデータを生成する
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  10. 前記ボクセルデータ及び前記ボクセルラベルデータは記憶部に保存される
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  11. 前記表示部を、さらに備えている、
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  12. 前記内視鏡は、斜視内視鏡である、
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  13. 操作入力部はマウスであり、
    前記マウスの2次元移動によって前記表示部に表示される仮想内視鏡画像の向きが調整可能である、
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  14. 前記処置具は、鉗子、ドリル、ノミ、メスの何れかである
    請求項1からのいずれか1項に記載の手術シミュレーション装置。
  15. 被検体に挿入されたレトラクタに内視鏡及び処置具を挿入して行う手術中シミュレーション画像を表示部に表示させる処理をコンピュータに実行させる手術支援プログラムであって、
    前記処理は、
    処置具、内視鏡及びレトラクタを含む器具に関する器具パラメータを取得する器具パラメータ取得ステップと、
    操作入力部を介して操作者による切削指示を受付ける切削指示受付ステップと、
    記憶部から取得した複数枚の被検体の断層画像データに基づきボクセルデータ及びボクセルラベルデータを生成するボクセルデータ抽出ステップと、
    前記ボクセルデータ及び前記器具パラメータに基づき、前記レトラクタの先端位置、前記レトラクタの直径、前記レトラクタの長さ、前記レトラクタの内部で処置具を最大に傾けたときのなす角度、前記レトラクタの先端と被写体表面の距離をすべて用いて、前記レトラクタに内挿された前記処置具の先端が到達可能な操作可能ボクセルを抽出する可操作エリア演算ステップと、
    切削指示に基づき、前記処置具の先端との距離が所定の距離以下である、抽出された前記操作可能ボクセルを被切削ボクセルとし、当該被切削ボクセルのボクセルラベルデータを変更する被切削ボクセルラベル設定ステップと、
    前記ボクセルデータ及び前記器具パラメータに基づき、レトラクタの軸に垂直であってレトラクタ前方に位置する複数の断面に含まれる対象ボクセルを特定し、前記対象ボクセル中のボクセルデータを視線方向に積算投影して仮想内視鏡画像を生成するボリュームレンダリングステップと、
    前記仮想内視鏡画像を前記表示部に表示させる表示ステップとを有する
    手術シミュレーションプログラム。
  16. 前記ボリュームレンダリングステップでは、前記仮想内視鏡画像において前記被切削ボクセルより視線方向の下流側を投影することにより、前記被切削ボクセルを被切削状態を表す態様とする
    請求項15に記載の手術シミュレーションプログラム。
  17. 前記ボリュームレンダリングステップでは、前記仮想内視鏡画像において前記操作可能ボクセルが含まれる範囲をマーキングする
    請求項15又は16に記載の手術シミュレーションプログラム。
JP2018058895A 2018-03-26 2018-03-26 手術シミュレーション装置及び手術シミュレーションプログラム Active JP7172086B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018058895A JP7172086B2 (ja) 2018-03-26 2018-03-26 手術シミュレーション装置及び手術シミュレーションプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018058895A JP7172086B2 (ja) 2018-03-26 2018-03-26 手術シミュレーション装置及び手術シミュレーションプログラム

Publications (2)

Publication Number Publication Date
JP2019170412A JP2019170412A (ja) 2019-10-10
JP7172086B2 true JP7172086B2 (ja) 2022-11-16

Family

ID=68169320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018058895A Active JP7172086B2 (ja) 2018-03-26 2018-03-26 手術シミュレーション装置及び手術シミュレーションプログラム

Country Status (1)

Country Link
JP (1) JP7172086B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117456111B (zh) * 2023-12-25 2024-04-05 慧创科仪(北京)科技有限公司 一种基于近红外脑功能成像数据的标签显示方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009542374A (ja) 2006-06-30 2009-12-03 ブロンカス テクノロジーズ, インコーポレイテッド 気道バイパス部位選択および治療計画
JP2010517633A (ja) 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 中空臓器を通る3d経路計画のためのシステム
WO2011118208A1 (ja) 2010-03-24 2011-09-29 パナソニック株式会社 切削シミュレーション装置
JP2013202313A (ja) 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009542374A (ja) 2006-06-30 2009-12-03 ブロンカス テクノロジーズ, インコーポレイテッド 気道バイパス部位選択および治療計画
JP2010517633A (ja) 2007-01-31 2010-05-27 ザ ペン ステイト リサーチ ファンデーション 中空臓器を通る3d経路計画のためのシステム
WO2011118208A1 (ja) 2010-03-24 2011-09-29 パナソニック株式会社 切削シミュレーション装置
JP2013202313A (ja) 2012-03-29 2013-10-07 Panasonic Corp 手術支援装置および手術支援プログラム

Also Published As

Publication number Publication date
JP2019170412A (ja) 2019-10-10

Similar Documents

Publication Publication Date Title
EP2573735B1 (en) Endoscopic image processing device, method and program
US11547499B2 (en) Dynamic and interactive navigation in a surgical environment
US8149236B2 (en) Information processing apparatus and program
JP5551957B2 (ja) 投影画像生成装置およびその作動方法、並びに投影画像生成プログラム
JP6972163B2 (ja) 奥行き知覚を高める仮想陰影
JP2009011827A (ja) 複数のビューのボリューム・レンダリングのための方法及びシステム
JP2008126063A (ja) フルオロスコピィ画像投影への用具及び/又は埋植物の統合を備えた医用ナビゲーション・システム並びに方法
KR20120122542A (ko) 영상수술 리허설 제공방법 및 시스템, 그 기록매체
JP2007135843A (ja) 画像処理装置、画像処理プログラム、及び画像処理方法
EP2737854A1 (en) Cutting simulation device and cutting simulation program
JP5807826B2 (ja) 手術支援装置および手術支援プログラム
JP2009268735A (ja) 医用画像処理装置
JP7172086B2 (ja) 手術シミュレーション装置及び手術シミュレーションプログラム
CN114845655A (zh) 3d路径探测可视化
IL293957A (en) Visualization of route finding in two dimensions
JP7152240B2 (ja) ロボット手術支援装置、ロボット手術支援方法、及びプログラム
EP3703012A1 (en) Map of body cavity
JP5487339B2 (ja) 医用画像処理装置
US10438368B2 (en) Apparatus, method, and system for calculating diameters of three-dimensional medical imaging subject
JP7444569B2 (ja) 鏡視下手術支援装置、鏡視下手術支援方法、及びプログラム
RU2816071C1 (ru) Комбинированная интраоперационная навигационная система с использованием генерации ультразвуковых изображений методом трассировки лучей
JP7301573B2 (ja) 静的仮想カメラの配置方法
Maddah 3D visualization and interactive image manipulation for surgical planning in robot-assisted surgery
JP2024516547A (ja) Lidarベースの解剖学的マッピングに係るシステム及び方法
De Paolis Advanced navigation and augmented visualization in minimally invasive surgery

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210713

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20210713

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210914

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210917

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210922

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221017

R150 Certificate of patent or registration of utility model

Ref document number: 7172086

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150