JP6435578B2 - 手術支援装置および手術支援プログラム、手術支援方法 - Google Patents
手術支援装置および手術支援プログラム、手術支援方法 Download PDFInfo
- Publication number
- JP6435578B2 JP6435578B2 JP2014158642A JP2014158642A JP6435578B2 JP 6435578 B2 JP6435578 B2 JP 6435578B2 JP 2014158642 A JP2014158642 A JP 2014158642A JP 2014158642 A JP2014158642 A JP 2014158642A JP 6435578 B2 JP6435578 B2 JP 6435578B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- display area
- endoscope
- image
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Description
従来の手術支援装置は、例えば、X線CT画像や核磁気共鳴画像(MRI画像)、PET(陽電子放射断層法)によって取得された画像等の断層画像情報を取得する断層画像情報取得部と、断層画像情報取得部に接続されたメモリと、メモリに接続されたボリュームレンダリング演算部と、ボリュームレンダリング演算部の演算結果を表示するディスプレイと、ディスプレイに表示された表示対象物に対して切削指示を行う入力部と、を備えていた。
また、このような手術支援装置には、一般的な開腹手術に加えて、内視鏡を用いて実施される手術に対応したシミュレーションやナビゲーションを実施可能なものがある。
すなわち、上記公報に開示された電子式内視鏡装置では、内視鏡の操作時に内視鏡を光軸周りに回転させた場合でも表示される像が回転しないようにするために、磁界等を利用して内視鏡本体の回転量を求める検出手段と、像の向きを回転させる像回転手段と、像回転手段を操作する駆動機構と、検出手段において検出された回転量に応じて自動的に駆動機構が像回転手段を操作してTVモニタに表示される像が回転しないように制御を行う回転補正手段と、を備えている。
このため、従来の電子式内視鏡装置では、内視鏡を光軸周りに回転させた際の回転量を求める検出手段や駆動機構等の構成を設ける必要があるため、内視鏡装置の構成が複雑かつ大型化してしまう。
本発明の課題は、簡素な構成により、内視鏡によって取得される映像に対応して表示装置に表示される断層画像情報のボリュームレンダリングによる画像を拡大・縮小した場合でも、画像の回転の基準位置を容易に認識して画像の向きを調整することが可能な手術支援装置および手術支援プログラム、手術支援方法を提供することにある。
なお、本実施形態では、レトラクタ(開創器)の内部に内視鏡および切削用の術具等を挿入して腰部脊椎管狭窄症の手術を実施する際の手術シミュレーションおよび手術ナビゲーションを実施する場合について、以下で説明する。
本実施形態に係るパーソナルコンピュータ1は、図1に示すように、ディスプレイ(表示装置)2、位置・角度検出装置29、斜視内視鏡ユニット32、測位用トランスミッタ(磁場発生装置)34とともに手術支援システム100を構成する(なお、内視鏡は、斜視型でなくてもよい。)。
パーソナルコンピュータ1は、本実施形態の手術支援方法をコンピュータに実行させる手術支援プログラムを読み込んで手術支援装置として機能する。なお、パーソナルコンピュータ1の構成については、後段にて詳述する。
なお、手術中のナビゲーションを表示する表示装置としては、手術中の術者に分かり易くナビゲーション画面を表示する必要があるため、パーソナルコンピュータ1のディスプレイ2に加えて、図1の手術支援システム100に含まれる大型の液晶ディスプレイ102も併用される。
位置・角度検出装置29は、パーソナルコンピュータ1、測位用トランスミッタ34等に接続されており、斜視内視鏡ユニット32や術具33等に取り付けられた3次元センサである位置角度センサ35a〜36b(図1参照)における検知結果に基づいて、実際の手術中の斜視内視鏡ユニット32や術具33の位置や姿勢を検出する。
斜視内視鏡(内視鏡)32は、手術が行われる部分に近い体表部から、後述する筒状のレトラクタ(例えば、チューブレトラクタ)31内に沿って挿入され、手術部位の映像を取得する。また、斜視内視鏡ユニット32にも、2本の位置角度センサ36a,36bが取り付けられている。
測位用トランスミッタ(磁場発生装置)34は、患者が横になる手術台の近傍に配置され、磁場を発生させる。これにより、斜視内視鏡ユニット32や術具33に取り付けられる位置角度センサ35a〜36bにおいて測位用トランスミッタ34で発生した磁場を検出することで、斜視内視鏡ユニット32や術具33の位置や姿勢を検出することができる。
パーソナルコンピュータ1は、図2に示すように、ディスプレイ(表示部)2と、各種入力部(キーボード3、マウス4、およびタブレット5(図4参照))と、を備えている。
ディスプレイ2は、X線CT画像等の複数の断層画像から形成される骨や臓器(図2の例では、内視鏡画像を表示)等の3次元画像を表示するとともに、切削シミュレーションの結果や手術ナビゲーションの内容を表示する。
また、パーソナルコンピュータ1は、図4に示すように、内部に、断層画像情報取得部6等の制御ブロックを形成する。
断層画像情報取得部6には、ボクセル情報抽出部7を介して、断層画像情報部8が接続されている。つまり、断層画像情報部8では、CTあるいはMRI、PET等の断層画像を撮影する機器から断層画像情報が供給され、この断層画像情報がボクセル情報抽出部7によってボクセル情報として抽出される。
ボクセル情報格納部10は、ボクセル情報抽出部7から断層画像情報取得部6を介して受信したボクセル情報を格納している。
ボクセルラベル格納部11は、第1ボクセルラベル格納部、第2ボクセルラベル格納部、第3ボクセルラベル格納部を有している。これらの第1〜第3ボクセルラベル格納部は、後述する予め設定されたCT値の範囲、つまり表示対象となる臓器にそれぞれ対応して設けられている。例えば、第1ボクセルラベル格納部は、肝臓を表示するCT値の範囲に対応しており、第2ボクセルラベル格納部は、血管を表示するCT値の範囲に対応しており、第3ボクセルラベル格納部は、骨を表示するCT値の範囲に対応している。
なお、表示対象となる骨や血管、神経、臓器ごとに設定されるCT値とは、人体におけるX線吸収の程度を数値化したものであり、水を0とする相対値(単位:HU)として表される。例えば、骨が表示されるCT値の範囲は500〜1000HU、血液が表示されるCT値の範囲は30〜50HU、肝臓が表示されるCT値の範囲は60〜70HU、腎臓が表示されるCT値の範囲は30〜40HUである。
内視鏡パラメータ設定部23は、キーボード3やマウス4を介して内視鏡パラメータの設定を行い、内視鏡パラメータ格納部22へ送る。
術具パラメータ格納部24は、図6に示すように、第1術具パラメータ格納部24a、第2術具パラメータ格納部24b、第3術具パラメータ格納部24cを有している。第1〜第3術具パラメータ格納部24a〜24cには、例えば、術具を切削用のドリルとすると、ドリルの長さ、先端形状、位置、姿勢等の情報がそれぞれ格納されている。あるいは。術具を筒状のレトラクタ31とすると、筒状のレトラクタ31の筒形、筒長さ、位置、姿勢等の情報がそれぞれ格納されている。また、術具パラメータ格納部24は、図4に示すように、術具パラメータ設定部25と接続されている。
内視鏡/術具位置・姿勢取得部26は、バス16を介して、内視鏡や術具の位置や角度を検出する位置・角度検出装置29における検出結果を受信して、ボリュームレンダリング演算部13、レジストレーション演算部27へ送る。
ボリュームレンダリング演算部13は、ボクセル情報格納部10に格納されているボクセル情報と、ボクセルラベル格納部11に格納されているボクセルラベルと、色情報格納部12に格納されている色情報と、に基づいて、視線に対してほぼ垂直で、かつZ方向の間隔が一定の複数枚のスライス情報を取得する。そして、ボリュームレンダリング演算部13は、その演算結果を3次元画像としてディスプレイ2に表示させる。
さらに、ボリュームレンダリング演算部13は、上記内視鏡情報および術具情報に基づいて、内視鏡によって得られる画像情報に対してレトラクタ31によって視野が制限される画像情報を反映させたマスキング状態で、ディスプレイ2に仮想内視鏡画像を表示させる。具体的には、ボリュームレンダリング演算部13は、内視鏡パラメータ格納部22に格納された内視鏡に関する情報(斜視角、視野角、位置等)と、術具パラメータ格納部24に格納された術具に関する情報(径、長さ等)とに基づいて、内視鏡によって取得される内視鏡画像表示エリア(第1表示エリア)A1(図13等参照)と表示制限エリア(第2表示エリア)A2(図13等参照)とを設定する。
バス16には、上述したボリュームレンダリング演算部13およびボクセルラベル設定部18に加えて、メモリ9内の色情報格納部12等、ウィンドウ座標取得部20、内視鏡/術具位置・姿勢取得部26が接続されており、キーボード3、マウス4、タブレット5、位置・角度検出装置29、内視鏡映像取得部30等から入力された内容に基づいて、ディスプレイ2に3次元画像等を表示する。
ウィンドウ座標取得部20には、色情報設定部21とレジストレーション演算部27とが接続されている。
色情報設定部21は、メモリ9内の色情報格納部12に接続されている。
なお、斜視内視鏡ユニット32の3次元における位置や姿勢を検出するための位置角度センサ36a,36bは、斜視内視鏡ユニット32の把持部における操作の邪魔にならない位置に設けられている。また、術具33の3次元における位置や姿勢を検出するための位置角度センサ35a,35bは、術具33の把持部における操作の邪魔にならない位置に設けられている。
レジストレーション演算部27は、ボリュームレンダリング演算部13において生成される3次元画像と、実際の手術中の患者の基準位置、内視鏡ユニット32および術具33の3次元位置および回転角度を一致させるための演算を行う。
位置・角度検出装置29は、上述したように、パーソナルコンピュータ1、測位用トランスミッタ34、および斜視内視鏡ユニット32に接続されており、斜視内視鏡ユニット32や術具33等に取り付けられた位置角度センサ35a〜36bにおける検知結果に基づいて、実際の手術中の斜視内視鏡ユニット32や術具33の位置や姿勢を検出する。
内視鏡映像取得部30は、斜視内視鏡ユニット32において取得された映像を取得する。内視鏡映像取得部30において取得された内視鏡の映像は、バス16を介して、ディスプレイ2,102に表示される。
斜視内視鏡(内視鏡)32は、上述した筒状のレトラクタ31の内周面に沿って挿入され、手術部位の映像を取得する。また、斜視内視鏡ユニット32には、手術中にリアルタイムで斜視内視鏡ユニット32の3次元位置や姿勢を検出するために、位置角度センサ36a,36bが取り付けられている。
斜視内視鏡ユニット32に取り付けられた位置角度センサ36a,36bは、斜視内視鏡ユニット32の後端部側における側面に2本設けられている。よって、斜視内視鏡ユニット32の先端位置は、上述した内視鏡パラメータ格納部22に保存された斜視内視鏡ユニット32の長さや形状に基づいて、計算によって算出される。なお、本実施形態では、斜視内視鏡ユニット32に取り付けられる位置角度センサ36a,36bとして、2本の6軸センサを用いている。このため、(x、y、z)、y(ヨー)、p(ピッチ)、r(ロール)の6つのパラメータを、1本の位置角度センサによって測位することができる。なお、斜視内視鏡ユニット32の具体的な構成については、後段にて詳述する。
より具体的には、実空間において、実際に手術に使用される術具33の把持部における邪魔にならない位置に位置角度センサ35a,35bが取り付けられていることで、仮想空間において、術具画像33aの先端位置をマルチポイントモデルによってモデリングを行う。
そして、実際の術具33の操作に合わせて、リアルタイムに術具33の位置や姿勢等を検知した結果に基づいて、仮想空間上において、術具33の先端のマルチポイントから手術計画された切削部位までの距離を算出して表示する。
これにより、術者は、ナビゲーション用の仮想空間を示す画像を見ながら、切削部位に対する術具先端の位置をより正確に把握することができる。
なお、本実施形態において、術具位置と内視鏡視点位置が近接して使用されることを利用して、術具位置から内視鏡視点位置を、逆に内視鏡位置から術具位置を推定することや、どちらか一方の位置をユーザ操作で決定することで、内視鏡と術具のどちらか一方に位置角度センサを取り付ける構成としてもよい。
また、位置角度センサを用いずに、ユーザ操作で内視鏡位置を決定することで患部を表示し、ユーザ操作によって術具位置を決定して切削シミュレーションを行うことも可能であり、そのシミュレーション画像を術中で参照するような構成としてもよい。
本実施形態では、図7に示すように、腰椎椎間板手術が行われる際に、医師(術者)Dが、うつぶせの患者Pの左側方に立って手術を行う。なお、手術室では、図7に示すように、医師Dが手術前のシミュレーション画像や手術中のナビゲーション画像を確認するための液晶ディスプレイ102が正面左側に配置されている。また、手術室には、実際の手術中の手術部位等を表示するための透視モニタ103が医師Dの正面右側に配置されている。
これにより、医師D等は、手術中のナビゲーション等を実施する際に、実際の手術中の画面とナビゲーション画面とを見比べながら、手術を行うことができる。
ここで、患者Pの手術部位の映像を取得する斜視内視鏡ユニット32は、筒状のレトラクタ31内に挿入されて使用されるが、レトラクタ31内において斜視内視鏡ユニット32が光軸周りに回転すると、実際に表示される画像も回転してしまうおそれがある。
本実施形態のパーソナルコンピュータ1では、斜視内視鏡ユニット32の光軸周りの回転位置を調整するための手術前のシミュレーション、および手術中のナビゲーションを実施する。
具体的には、図8(a)に示すように、実際の手術中に医師Dから見た方向を、上下左右の順に、正中、外側、頭側、尾側とすると、図8(b)に示すように、斜視内視鏡ユニット32の回転方向(12時、6時、9時、3時)を調整する。これにより、ボリュームレンダリング演算部13によって作成された内視鏡画像と、実際の内視鏡によって取得された画像との向きが、医師Dの位置から見た向きになるように、医師Dが斜視内視鏡ユニット32の回転操作部51(図10(a)参照)を回転させて画像の向きを調整することができる。
そして、図10(a)に示す斜視内視鏡ユニット32が、図10(b)に示すように、レトラクタ31にセットされることで、斜視内視鏡ユニット32で患者Pの手術部位の映像を取得しながら手術を行うことができる。
斜視内視鏡ユニット32は、図10(a)に示すように、回転操作部51、焦点操作部52、カメラヘッド53、照明ガイドケーブル54、アタッチメント55、固定ノブ55aおよびエンドスコープ56を有している。
回転操作部51は、レトラクタ31の内部に挿入されるエンドスコープ56と接続されており、回転操作されると、レトラクタ31内においてエンドスコープ56を光軸周りに回転させる。これにより、斜視内視鏡ユニット32によって取得される映像の回転方向における位置(向き)の調整を行う。
カメラヘッド53は、エンドスコープ56の先端に装着されたレンズから入射してきた映像を取得する。
照明ガイドケーブル54は、エンドスコープ56の先端から手術部位に対して照射される光を導入する。
アタッチメント55は、上述した回転操作部51や照明ガイドケーブル54等を一体化させるとともに、筒状のレトラクタ31の上端部に装着される。
エンドスコープ56は、筒状のレトラクタ31の内部に挿入された状態で手術部位の映像を取得する。また、エンドスコープ56は、図11に示すように、上面視において、レトラクタ31の内径側における図中左上端部に配置される。これにより、エンドスコープ56によって術具33の操作範囲が狭まってしまう範囲を最小限とすることができる。
ここで、本実施形態のパーソナルコンピュータ1による手術支援方法の流れを示す制御フローについて、図12を用いて説明すれば以下の通りである。
すなわち、本実施形態では、レトラクタの内部に内視鏡を挿入して行う手術中のシミュレーション画像あるいはナビゲーション画像を表示させる手術支援方法を以下のような手順で実施する。
まず、ステップS1では、患者Pの断層画像情報を取得する。
次に、ステップS2では、断層画像情報のボクセル情報をメモリ9に格納する。
次に、ステップS3では、ボクセル情報に基づいて、ボクセル情報をサンプリングする。
次に、ステップS5では、通常表示状態において、内視鏡画像表示エリアA1(または表示制限エリアA2)に斜視内視鏡ユニット32の光軸周りの回転の基準位置を示すマーカ(第1回転位置表示)40を表示させる。
次に、ステップS6では、内視鏡画像表示エリアA1の画像(または内視鏡画像表示エリアA1および表示制限エリアA2)を拡大表示した拡大表示状態において、マーカ40が液晶ディスプレイ102等の表示範囲外へ移動しないように、表示範囲内(内視鏡画像表示エリアA1または表示制限エリアA2)に表示させる。
<ディスプレイ2、液晶ディスプレイ102の表示画面>
本実施形態では、上述した手術支援方法を実施する際に、パーソナルコンピュータ1のディスプレイ2や液晶ディスプレイ102のモニタ画面M上に、図13〜図18に示す画像が表示されるように表示制御される。
(通常表示状態)
ディスプレイ2,102のモニタ画面Mには、図13に示すように、内視鏡画像を含む内視鏡画像表示エリアA1および表示制限エリアA2のほぼ全体を表示する通常表示状態を示す画面が表示される。また、モニタ画面Mの上部には、表示制御の各種設定を行う設定エリアA3が表示されている。
本実施形態では、マーカ40は、中抜き十字41と一体化した状態で、内視鏡画像表示エリアA1内に表示されている。
なお、マーカ40は、中抜き十字41等の視点表示と一体として表示されている形態に限らず、単独で表示されていてもよい。
また、表示制限エリアA2の外縁部分には、図13に示すように、上述したマーカ40と同様に、レトラクタ31内に挿入された斜視内視鏡ユニット32のエンドスコープ56の回転方向における向きの基準となる指標として機能するインジケータ(第2回転位置表示)42が表示されている。
インジケータ42は、マーカ40と同様に、レトラクタ31内に挿入された斜視内視鏡ユニット32のエンドスコープ56の回転方向における向きの基準となる指標として表示されている。より詳細には、インジケータ42は、エンドスコープ56の先端から照射される光の光軸周りにおける回転の基準位置を示す指標として表示されている。よって、実際の斜視内視鏡ユニット32のエンドスコープ56がレトラクタ31内において回転すると、手術前のシミュレーションあるいは手術中のナビゲーション画面においても、マーカ40とともにインジケータ42も連動して回転移動するように表示制御される。
なお、本実施形態では、マーカ40およびインジケータ42が、モニタ画面Mにおける図中右上の位置に揃って表示されている例を挙げて説明したが、これに限定されるものではない。例えば、マーカ40とインジケータ42とが、それぞれ異なる位置に設けられていてもよい。
(拡大表示状態)
本実施形態のパーソナルコンピュータ1では、手術前のシミュレーション等を実施する際に、図13に示す通常表示状態から、仮想的な内視鏡画像表示エリアA1の手術部位周辺等を拡大表示したい場合には、ディスプレイ2,102に、図14に示す拡大表示状態を示す画面を表示させる。
一方、図13に示す通常表示状態において表示制限エリアA2の外縁部分に表示されていたインジケータ42は、図14に示す拡大表示状態においては、モニタ画面Mの表示範囲外となっている。
そこで、本実施形態のパーソナルコンピュータ1では、図14に示す拡大表示状態においても内視鏡画像の向きを適切に調整可能とするために、拡大表示状態におけるモニタ画面Mの表示範囲内に、マーカ40等の表示がそのまま残されるように表示制御を行う。
また、本実施形態では、通常表示状態(図13)および拡大表示状態(図14)において、表示制限エリアA2の透過率を調整することができる。これにより、レトラクタ31の内壁等によって制限される範囲の表示を、半透明としたり黒く表示したり、医師D等の要望に応じて切り替えることができる。
(マーカ40および中抜き十字41の表示のON/OFF制御)
本実施形態のパーソナルコンピュータ1では、図14に示す拡大表示状態において、マーカ40や中抜き十字41が手術部位等を確認する際の邪魔にならないようにするために、設定エリアA3が操作されて、表示のON/OFF制御が実施される。
ここで、設定エリアA3において設定可能な表示制御内容としては、図15に示すように、シミュレーション画像やナビゲーション画像として表示されるエンドスコープ56の視野角、斜視角、アタッチメント55の回転角、カメラヘッド53の回転角等がある。また、設定エリアA3では、シミュレーション等の画像として表示される画像として、通常レンズに対応するレンズ歪のない画像と、魚眼レンズに対応する魚眼レンズ歪を表現した画像を切り替えることができる。さらに、設定エリアA3では、シミュレーション等の画像として表示される画像中に、レトラクタによる影響を受けたレトラクタ部分に対応する表示エリア制限を設けた画像と、レトラクタによる影響を受けていないレトラクタ部分に対応する表示エリア制限のない画像の切り替えや、マーカ40や中抜き十字41等の表示の有無の切り替えを行うことも可能である。
例えば、通常表示状態において、マーカ40および中抜き十字41の表示を切り替える場合には、図16(a)に示す表示状態から、設定エリアA3のチェックボックスA4(図15参照)の視点表示のチェックを外すことで、図16(b)に示す未表示状態に切り替えることができる。
同様に、例えば、拡大表示状態において、マーカ40および中抜き十字41の表示を切り替える場合には、図17(a)に示す表示状態から、設定エリアA3のチェックボックスA4(図15参照)の視点表示のチェックを外すことで、図17(b)に示す未表示状態に切り替えることができる。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
上記実施形態では、図13に示すように、通常表示状態では、エンドスコープ(内視鏡)56の光軸周りの回転の基準位置となるマーカ40とインジケータ42と組み合わせて表示した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図18(a)に示すように、通常表示状態では、エンドスコープ56の回転の基準位置となる指標としてインジケータ42のみを表示するとともに、図18(b)に示すように、拡大表示状態では、表示範囲外となったインジケータ42の代わりに、新たな回転の基準位置を示すマーカ140を表示してもよい。
このとき、マーカ140は、図18(b)に示すように、手術部位等を確認する際の邪魔にならないように、表示制限エリアA2内に表示することが好ましい。
また、マーカ140は、図18(b)に示すように、円形表示141と組み合わせて表示されていることがより好ましい。これにより、マーカ140の回転中心となる位置も確認しながら、内視鏡画像の向きを調整することができる。
上記実施形態では、図14に示すように、拡大表示状態においても、内視鏡画像表示エリアA1の外周に表示制限エリアA2が表示された例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図19(a)に示す通常表示状態から、拡大表示状態とする際に拡大倍率をさらに大きくした場合には、図19(b)に示すように、モニタ画面Mの表示範囲が内視鏡画像表示エリアA1のみとなるように拡大表示することもできる。
この場合には、内視鏡画像表示エリアA1内に、マーカ(第1回転位置表示)40と十字(視点表示)241とを組み合わせて表示すればよい。
上記実施形態では、図13に示すように、通常表示状態では、エンドスコープ(内視鏡)56の光軸周りの回転の基準位置となるマーカ40とインジケータ42と組み合わせて表示した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図20(a)に示すように、通常表示状態では、エンドスコープ56の回転の基準位置となる指標としてインジケータ42のみを表示するとともに、図20(b)に示すように、拡大表示状態では、表示範囲外となったインジケータ42の代わりに、回転中心位置を示す十字241と組み合わせたマーカ40を、内視鏡画像表示エリアA1内、または内視鏡画像表示エリアA1と表示制限エリアA2内に表示してもよい。マーカ(第1回転位置表示)40については、内視鏡画像表示エリアA1、または表示制限エリアA2内、または内視鏡画像表示エリアA1と表示制限エリアA2に亘って、表示してもよい。
あるいは、図20(c)に示すように、表示範囲外となったインジケータ42の代わりに、円形表示141と組み合わせたマーカ40を、表示制限エリアA2内に表示してもよい。
さらに、通常表示状態において、図20(d)に示すように、表示制限エリアA2が表示されていない状態で拡大表示する場合には、図20(e)に示すように、表示範囲外となったインジケータ42の代わりに、回転中心位置を示す十字241と組み合わせたマーカ40を、内視鏡画像表示エリアA1に表示してもよい。
上記実施形態では、図13に示すように、通常表示状態では、エンドスコープ(内視鏡)56の光軸周りの回転の基準位置となるマーカ40とインジケータ42と組み合わせて表示した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図21(a)に示すように、通常表示状態では、エンドスコープ56の回転の基準位置となる指標としてインジケータ42のみを表示するとともに、図21(b)に示すように、拡大表示状態では、表示範囲外となったインジケータ42の代わりに、回転中心位置を示す円形表示141と組み合わせたマーカ40を、内視鏡画像表示エリアA1内、または内視鏡画像表示エリアA1と表示制限エリアA2内に表示してもよい。マーカ(第1回転位置表示)40については、内視鏡画像表示エリアA1、または表示制限エリアA2内、または内視鏡画像表示エリアA1と表示制限エリアA2に亘って、表示してもよい。
さらに、通常表示状態において、図21(d)に示すように、表示制限エリアA2が表示されていない状態で拡大表示する場合には、図21(e)に示すように、表示範囲外となったインジケータ42の代わりに、回転中心位置を示す円形表示141と組み合わせたマーカ40を、内視鏡画像表示エリアA1の端部に表示してもよい。
上記実施形態では、図13に示すように、通常表示状態では、エンドスコープ(内視鏡)56の光軸周りの回転の基準位置となるマーカ40とインジケータ42と組み合わせて表示した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図22(a)に示すように、通常表示状態では、エンドスコープ56の回転の基準位置となる指標としてマーカ40のみを十字241と組み合わせて表示するとともに、図22(b)に示すように、拡大表示状態では、十字241と組み合わせたマーカ40を、そのまま内視鏡画像表示エリアA1内、または内視鏡画像表示エリアA1と表示制限エリアA2内に表示してもよい。マーカ(第1回転位置表示)40については、内視鏡画像表示エリアA1、または表示制限エリアA2内、または内視鏡画像表示エリアA1と表示制限エリアA2に亘って、表示してもよい。
あるいは、図22(c)に示すように、内視鏡画像表示エリアA1に表示されたマーカ40等の代わりに、円形表示141と組み合わせたマーカ40を、表示制限エリアA2内に表示してもよい。
さらに、通常表示状態において、図22(d)に示すように、表示制限エリアA2が表示されていない状態で拡大表示する場合には、図22(e)に示すように、十字241と組み合わせたマーカ40を、内視鏡画像表示エリアA1にそのまま表示してもよい。
上記実施形態では、図13および図14に示すように、エンドスコープ56の光軸周りの回転の基準位置を示す指標として、回転中心を示す中抜き十字41とマーカ40とを組み合わせて表示した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図23(a)に示すように、エンドスコープ56の回転の基準位置となる指標として、円形表示141とマーカ40とを組み合わせて表示してもよい。
この場合には、図23(b)に示すように、拡大表示状態では、円形表示141と組み合わせたマーカ40を、そのまま内視鏡画像表示エリアA1内、または内視鏡画像表示エリアA1と表示制限エリアA2内に表示すればよい。マーカ(第1回転位置表示)40については、内視鏡画像表示エリアA1、または表示制限エリアA2内、または内視鏡画像表示エリアA1と表示制限エリアA2に亘って、表示してもよい。
あるいは、図23(c)に示すように、円形表示141と組み合わせたマーカ40を、表示制限エリアA2内に表示してもよい。
さらに、通常表示状態において、図23(d)に示すように、表示制限エリアA2が表示されていない状態で拡大表示する場合には、図23(e)に示すように、十字241と組み合わせたマーカ40を、内視鏡画像表示エリアA1の端部にそのまま表示してもよい。
上記実施形態では、図13に示すように、通常表示状態では、エンドスコープ(内視鏡)56の光軸周りの回転の基準位置となるマーカ40とインジケータ42と組み合わせて表示した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図24(a)に示すように、通常表示状態では、エンドスコープ56の回転の基準位置となる指標としてインジケータ42と、円形表示141と組み合わせたマーカ40とを表示するとともに、図24(b)に示すように、拡大表示状態では、インジケータ42は表示範囲外となるものの、円形表示141と組み合わせたマーカ40を、内視鏡画像表示エリアA1内、または内視鏡画像表示エリアA1と表示制限エリアA2内にそのまま残すように表示してもよい。マーカ(第1回転位置表示)40については、内視鏡画像表示エリアA1、または表示制限エリアA2内、または内視鏡画像表示エリアA1と表示制限エリアA2に亘って、表示してもよい。
さらに、通常表示状態において、図24(d)に示すように、表示制限エリアA2が表示されていない状態で拡大表示する場合には、図24(e)に示すように、回転中心位置を示す円形表示141と組み合わせたマーカ40を、内視鏡画像表示エリアA1の端部に表示してもよい。
上記実施形態では、内視鏡の光軸周りの回転の基準位置を示す指標となるマーカ(第1回転位置表示)40として、回転中心方向を指す三角形の図形を用いた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図25(a)に示すように、回転中心とは逆方向を指すように配置された三角形の図形からなるマーカ140を用いてもよい。あるいは、三角形以外の、他の多角形の図形を用いてもよい。
上記実施形態では、内視鏡の回転中心および内視鏡のレンズ中央に対応する視点表示として、十字形状の中央部が切り欠かれた中抜き十字41を用いた例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図25(b)に示すように、視点表示として、十字241を用いてもよい。あるいは、図25(c)に示すように、破円341を用いてもよい。
この場合には、例えば、図25(d)および図25(e)に示すように、図25(b)に示す十字241と、マーカ40,140とを組み合わせて表示してもよい。
また、図26(a)および図26(b)に示すように、円形表示141とマーカ40,140とを組み合わせて表示してもよい。
さらに、図26(c)および図26(d)に示すように、破円341とマーカ40,140とを組み合わせて表示してもよい。
上記実施形態では、手術支援装置として本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、図12に示す制御方法をコンピュータに実行させる手術支援プログラムとして、本発明を実現してもよい。
(K)
上記実施形態では、本発明の手術支援装置を用いて実施される手術として、腰椎椎間板の内視鏡手術を例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、内視鏡を用いて実施される手術であれば、他の手術に対して本発明の手術支援装置を用いてもよい。
2 ディスプレイ(表示装置)
3 キーボード
4 マウス
5 タブレット
6 断層画像情報取得部
7 ボクセル情報抽出部
8 断層画像情報部
9 メモリ
10 ボクセル情報格納部
11 ボクセルラベル格納部
12 色情報格納部
13 ボリュームレンダリング演算部(表示制御部)
16 バス
18 ボクセルラベル設定部(表示制御部)
20 ウィンドウ座標取得部
21 色情報設定部
22 内視鏡パラメータ格納部
23 内視鏡パラメータ設定部
24 術具パラメータ格納部
25 術具パラメータ設定部
26 内視鏡/術具位置・姿勢取得部
27 レジストレーション演算部
28 変換行列保持部
29 位置・角度検出装置
30 内視鏡映像取得部
31 レトラクタ
32 斜視内視鏡ユニット
33 術具
34 BOX型トランスミッタ(磁場発生装置)
35a,35b 位置角度センサ
36a,36b 位置角度センサ
40 マーカ(第1回転位置表示)
41 中抜き十字(視点表示)
42 インジケータ(第2回転位置表示)
51 回転操作部
52 焦点操作部
53 カメラヘッド
54 照明ガイドケーブル
55 アタッチメント
55a 固定ノブ
56 エンドスコープ(内視鏡)
100 手術支援システム
102 液晶ディスプレイ(表示装置)
103 透視モニタ
140 マーカ(第1回転位置表示)
141 円形表示(視点表示)
241 十字(視点表示)
341 破円
A1 内視鏡画像表示エリア(第1表示エリア)
A2 表示制限エリア(第2表示エリア)
A3 設定エリア
A4 チェックボックス
D 医師(術者)
M モニタ画面
P 患者
P1 体表
P2 骨(椎骨)
Claims (13)
- レトラクタの内部に内視鏡を挿入して行う手術中のシミュレーション画像あるいはナビゲーション画像を表示させる手術支援装置であって、
患者の断層画像情報を取得する断層画像情報取得部と、
前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
前記メモリに接続されており、前記ボクセル情報に基づいて、ボクセル情報をサンプリングするボリュームレンダリング演算部と、
前記ボリュームレンダリング演算部によって生成された仮想内視鏡画像を表示する第1表示エリアを表示装置に表示させ、または、前記第1表示エリアおよびレトラクタの内壁によって遮られる視野範囲に対応する第2表示エリアを表示装置に表示させ、通常表示状態において、前記表示装置の前記第1表示エリア、または前記第2表示エリア、または前記第1表示エリアおよび前記第2表示エリアに前記内視鏡の光軸周りの回転の基準位置を示す第1回転位置表示を表示させるとともに、前記第1表示エリア内の画像、または前記第1表示エリア内の画像および前記第2表示エリアを拡大表示した拡大表示状態において、前記第1回転位置表示が前記第1表示エリアまたは前記第2表示エリア、または前記第1表示エリアおよび前記第2表示エリアに表示されるように、表示制御を行う表示制御部と、
を備えている手術支援装置。 - レトラクタの内部に内視鏡を挿入して行う手術中のシミュレーション画像あるいはナビゲーション画像を表示させる手術支援装置であって、
患者の断層画像情報を取得する断層画像情報取得部と、
前記断層画像情報取得部に接続されており、前記断層画像情報のボクセル情報を格納するメモリと、
前記メモリに接続されており、前記ボクセル情報に基づいて、ボクセル情報をサンプリングするボリュームレンダリング演算部と、
前記ボリュームレンダリング演算部によって生成された仮想内視鏡画像を表示する第1表示エリアを表示装置に表示させ、または、前記第1表示エリアおよびレトラクタの内壁によって遮られる視野範囲に対応する第2表示エリアを表示装置に表示させ、通常表示状態において、前記第1表示エリアまたは前記第2表示エリアの外周部に前記内視鏡の光軸周りの回転の基準位置を示す第2回転位置表示を表示させるとともに、前記第1表示エリア内の画像、または前記第1表示エリア内の画像および前記第2表示エリアを拡大表示した拡大表示状態において、前記第2回転位置表示を、前記内視鏡の光軸周りの回転の基準位置を示す第1回転位置表示に切り替えて、前記表示装置の前記第1表示エリアまたは前記第2表示エリア、または前記第1表示エリアおよび前記第2表示エリアに表示されるように表示制御を行う表示制御部と、
を備えている手術支援装置。 - 前記表示制御部は、前記第1回転位置表示の回転中心が認識できる表示をさらに表示するように、表示制御を行う、
請求項1に記載の手術支援装置。 - 前記第1回転位置表示の回転中心が認識できる表示は、前記内視鏡の視点中心を示す視点表示である、
請求項3に記載の手術支援装置。 - 前記表示制御部は、前記視点表示の有無を切り替えるON/OFF制御を行う、
請求項4に記載の手術支援装置。 - 前記視点表示は、十字形状、中央部が切り欠かれた十字形状、円形のうちのいずれかの形状を有している、
請求項4または5に記載の手術支援装置。 - 前記第1回転位置表示とは別に設けられており、前記内視鏡の回転の基準位置を示す第2回転位置表示を、さらに備えている、
請求項1,3から6のいずれか1項に記載の手術支援装置。 - 前記第1回転位置表示は、前記多角形状を有している、
請求項1から7のいずれか1項に記載の手術支援装置。 - 前記第1回転位置表示は、前記視点表示の端部に配置されている、
請求項4から8のいずれか1項に記載の手術支援装置。 - 前記表示制御部は、前記第2表示エリアの透過率を変更して前記レトラクタの内壁によって遮られる視野範囲の表示の制御 を行う、
請求項1から9のいずれか1項に記載の手術支援装置。 - 前記レトラクタは、手術中に患者の体表を開創した状態で固定され、筒状の内部に前記内視鏡、各種切削器具が挿入される開創器である、
請求項1から10のいずれか1項に記載の手術支援装置。 - レトラクタの内部に内視鏡を挿入して行う手術中のシミュレーション画像あるいはナビゲーション画像を表示させる手術支援プログラムであって、
患者の断層画像情報を取得するステップと、
前記断層画像情報のボクセル情報を格納するステップと、
前記ボクセル情報に基づいて、前記ボクセル情報をサンプリングするステップと、
前記内視鏡によって取得される画像を表示する第1表示エリアを表示させ、または、ボリュームレンダリング演算部によって生成された仮想内視鏡画像を表示する第1表示エリアおよびレトラクタの内壁によって遮られる視野範囲に対応する第2表示エリアを表示装置に表示させ、通常表示状態において、前記表示装置の前記第1表示エリア、または前記第2表示エリア、または前記第1表示エリアおよび前記第2表示エリアに前記内視鏡の光軸周りの回転の基準位置を示す第1回転位置表示を表示させるとともに、前記第1表示エリア内の画像 、または前記第1表示エリア内の画像 および前記第2表示エリアを拡大表示した拡大表示状態において、前記第1回転位置表示が前記第1表示エリアまたは前記第2表示エリア、または前記第1表示エリアおよび前記第2表示エリアに表示されるように、表示制御を行うステップと、
を備えている手術支援方法をコンピュータに実行させる手術支援プログラム。 - レトラクタの内部に内視鏡を挿入して行う手術中のシミュレーション画像あるいはナビゲーション画像を表示させる手術支援プログラムであって、
患者の断層画像情報を取得するステップと、
前記断層画像情報のボクセル情報を格納するステップと、
前記ボクセル情報に基づいて、前記ボクセル情報をサンプリングするステップと、
前記内視鏡によって取得される画像を表示する第1表示エリアを表示装置に表示させ、または、ボリュームレンダリング演算部によって生成された仮想内視鏡画像を表示する第1表示エリアおよびレトラクタの内壁によって遮られる視野範囲に対応する第2表示エリアを表示装置に表示させ、通常表示状態において、前記第1表示エリアまたは前記第2表示エリアの外周部に前記内視鏡の光軸周りの回転の基準位置を示す第2回転位置表示を表示させるとともに、前記第1表示エリア内の画像 を拡大表示した拡大表示状態において、前記第2回転位置表示を、前記内視鏡の光軸周りの回転の基準位置を示す第1回転位置表示に切り替えて、前記表示装置の前記第1表示エリアまたは前記第2表示エリア、または前記第1表示エリアおよび前記第2表示エリアに表示されるように表示制御を行うステップと、
を備えている手術支援方法をコンピュータに実行させる手術支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014158642A JP6435578B2 (ja) | 2014-08-04 | 2014-08-04 | 手術支援装置および手術支援プログラム、手術支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014158642A JP6435578B2 (ja) | 2014-08-04 | 2014-08-04 | 手術支援装置および手術支援プログラム、手術支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016034412A JP2016034412A (ja) | 2016-03-17 |
JP6435578B2 true JP6435578B2 (ja) | 2018-12-12 |
Family
ID=55522699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014158642A Active JP6435578B2 (ja) | 2014-08-04 | 2014-08-04 | 手術支援装置および手術支援プログラム、手術支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6435578B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10506991B2 (en) * | 2017-08-31 | 2019-12-17 | Biosense Webster (Israel) Ltd. | Displaying position and optical axis of an endoscope in an anatomical image |
JP7313630B2 (ja) * | 2019-11-27 | 2023-07-25 | 帝人ナカシマメディカル株式会社 | 内視鏡装置 |
WO2024033898A1 (en) * | 2022-08-11 | 2024-02-15 | Auris Health, Inc. | User interfaces for navigating anatomical channels in medical procedures |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4573517B2 (ja) * | 2003-10-29 | 2010-11-04 | オリンパス株式会社 | 挿入支援システム |
JP2006198032A (ja) * | 2005-01-18 | 2006-08-03 | Olympus Corp | 手術支援システム |
JP5807826B2 (ja) * | 2012-03-29 | 2015-11-10 | パナソニックヘルスケア株式会社 | 手術支援装置および手術支援プログラム |
JP2013202313A (ja) * | 2012-03-29 | 2013-10-07 | Panasonic Corp | 手術支援装置および手術支援プログラム |
-
2014
- 2014-08-04 JP JP2014158642A patent/JP6435578B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016034412A (ja) | 2016-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200221060A1 (en) | Augmented reality guidance for spinal procedures using stereoscopic optical see-through head mounted displays and tracking of instruments and devices | |
JP2021112588A (ja) | 副鼻腔手術用のガイドワイヤ操縦法 | |
JP6604977B2 (ja) | 3dのナビゲーションの間に距離および向きのフィードバックを提供するシステム | |
CN106659373B (zh) | 用于在肺内部的工具导航的动态3d肺图谱视图 | |
WO2013145730A1 (ja) | 手術支援装置および手術支援プログラム | |
ES2292593T3 (es) | Sistema de guiado. | |
JP5328137B2 (ja) | 用具又は埋植物の表現を表示するユーザ・インタフェイス・システム | |
US10674891B2 (en) | Method for assisting navigation of an endoscopic device | |
CN106470634B (zh) | 用于遥控操作医疗系统中的器械的屏外指示的系统和方法 | |
EP2641561A1 (en) | System and method for determining camera angles by using virtual planes derived from actual images | |
JP5121401B2 (ja) | 埋植物距離測定のシステム | |
US20160000517A1 (en) | Intelligent display | |
EP2329786A2 (en) | Guided surgery | |
US9204116B2 (en) | Portable laser projection device for medical image display | |
KR20170127560A (ko) | 원격조작 의료 시스템에서 기구의 스크린상 식별정보를 렌더링하기 위한 시스템 및 방법 | |
EP3426128B1 (en) | Image processing device, endoscopic surgery system, and image processing method | |
KR20170127561A (ko) | 원격조작 의료 시스템에서 기구의 스크린상 식별을 위한 시스템 및 방법 | |
CN111356395A (zh) | 用于在程序期间帮助可视化的系统和方法 | |
CN111212609A (zh) | 使用用于将医疗设备放置在骨骼中的具有形状对准的增强现实的系统和方法 | |
JP2021166706A (ja) | 画像誘導手術システムのためのユーザインターフェース | |
JP7460355B2 (ja) | 医療ユーザインターフェース | |
JP5961504B2 (ja) | 仮想内視鏡画像生成装置およびその作動方法並びにプログラム | |
JP6435578B2 (ja) | 手術支援装置および手術支援プログラム、手術支援方法 | |
JP5807826B2 (ja) | 手術支援装置および手術支援プログラム | |
WO2015091226A1 (en) | Laparoscopic view extended with x-ray vision |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170727 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170901 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20170901 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180529 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180727 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180925 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20181025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181025 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6435578 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |