JP3780146B2 - 手術ナビゲーション装置 - Google Patents

手術ナビゲーション装置 Download PDF

Info

Publication number
JP3780146B2
JP3780146B2 JP2000110976A JP2000110976A JP3780146B2 JP 3780146 B2 JP3780146 B2 JP 3780146B2 JP 2000110976 A JP2000110976 A JP 2000110976A JP 2000110976 A JP2000110976 A JP 2000110976A JP 3780146 B2 JP3780146 B2 JP 3780146B2
Authority
JP
Japan
Prior art keywords
image
path
subject
route
cone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000110976A
Other languages
English (en)
Other versions
JP2001293007A (ja
Inventor
幸人 古橋
明人 斉藤
隆男 柴▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2000110976A priority Critical patent/JP3780146B2/ja
Publication of JP2001293007A publication Critical patent/JP2001293007A/ja
Application granted granted Critical
Publication of JP3780146B2 publication Critical patent/JP3780146B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、手術ナビゲーション装置に係り、特に、外科手術等に用いる手術ナビゲーション装置に関する。
【0002】
【従来の技術】
従来の手術ナビゲーション装置では、ナビゲーションの対象となる処置具や内視鏡等の先端位置や処置の対象となる患部の位置を、CTやMRIなどの断層像撮影装置により撮影した断面情報等が表示される表示装置上に先端位置を表わす記号を描画することにより表現していた。
【0003】
例えば、この種の従来技術として知られている文献(A)「医用ナビゲーションシステム」(特開平09−173352号公報)の発明の実施の形態では、断層像や、断層像を3次元モデルとして再構成したデータより生成した、アキシアル、サジタル、コロナル方向の3断面像や、患者の3次元表面像上にポインタにより指示する位置を十字記号等を用いて表示するようにしている。
【0004】
また、この文献(A)による「医用ナビゲーションシステム」では、計画した手術侵入方向を、2つのライトガイド(ある点の位置を光により差し示すことができる)より発せられる2つの光線の交点で挿入位置からの奥行きを表現することにより指示するようにしている。
【0005】
そして、この文献(A)による「医用ナビゲーションシステム」では、術者は、モニタ上のナビゲーション情報と患者実体へ投影されたライトガイドによる情報とを用いて、処置具や内視鏡等を正確に目標となる患部へ挿入するようにしている。
【0006】
【発明が解決しようとする課題】
しかしながら、上述したような従来技術として知られている文献(A)「医用ナビゲーションシステム」のように、目標の位置のみを指し示す方法では、術者は、現在の観察位置で確認される目標とのずれ(観察画像中心からのずれ)が位置のずれなのか、姿勢のずれなのかを判断することが困難であった。
【0007】
図8は、この従来技術での表示例を示している。
【0008】
すなわち、図8では、画像表示手段であるモニタ13の中央よりやや上の位置に、被検体の目標部である患部50と、この位置を指し示す記号27が表示されている。
【0009】
このような場合、術者は、観察位置が下にずれているのか、観察方向が下へずれているのか、これら二つが組み合わさったずれが生じているのかを判断することができない。
【0010】
また、図8では、表示装置上に計画した手術侵入方向(経路)を表示していないため、目標位置と同時に適切な経路を認識することは、術者の勘を頼りにしていた。
【0011】
また、図8では、経路を患者表面より奥に存在する点で表現しているため、挿入位置からこの点までの途中に存在する計画された経路が持つ連続した位置姿勢の変化という情報を表現できていなかった。
【0012】
このため、術者は計画した経路全体を把握することが困難であった。
【0013】
本発明はこの点に着目し、容易に目標の位置、及び目標への計画された経路全体を認識可能な、手術ナビゲーション装置を提供することを課題とする。
【0014】
【課題を解決するための手段】
本発明によると、上記課題を解決するために、
(1)被検体の画像を撮影する画像入力手段と、
前記画像入力手段の3次元位置姿勢を決定する3次元位置姿勢決定手段と、
前記被検体の表面から前記被検体の目標部に至る手術経路を記憶する記憶手段と、
前記3次元位置姿勢決定手段により決定された前記画像入力手段の3次元位置姿勢情報と、前記記憶手段に記憶された前記手術経路とに基づいて、前記画像入力手段における所定の位置と前記目標部について設定した到達位置とを結ぶ軸線を中心として前記到達位置へと収束する筒状の経路像を生成する経路像生成手段と、
前記画像入力手段により撮影された被検体の画像と、この被検体の画像に対応して前記経路像生成手段により生成された前記経路像とを重ね合わせて表示する制御手段と、
を具備することを特徴とする手術ナビゲーション装置が提供される。
【0015】
(対応する発明の実施の形態)
この発明に関する実施の形態は、後述する第1の実施形態、及び第2の実施形態が対応する。
【0016】
上記構成要素中の画像入力手段は、後述する第1の実施形態では、硬性鏡3が該当し、後述する第2の実施形態では、軟性鏡が該当するが手術用顕微鏡等も含むものとする。
【0017】
また、上記構成要素中の被検体の目標部は、これらの実施形態では、患部50及び患部50に対して設定した到達位置24が該当するが、血管や神経等の重要な組織など、CT、MRI像などから位置、形状を特定できる任意のものを含むものとする。
【0018】
また、上記構成要素中の記憶手段に記憶される被検体の表面から被検体の目標部へ至る手術経路は、後述する第1の実施形態では、患部50に対して設定した到達位置24、及び硬性鏡挿入部51を結ぶ経路データ10が該当し、後述する第2の実施形態では、患部50の位置24、軟性鏡の挿入部51の位置及び途中に存在する屈曲点43、屈曲点44の位置を含む経路データ10が該当するが、経路は直線に限らず、曲線、連結された直線や曲線を含むものとする。
【0019】
また、上記構成要素中の3次元位置姿勢計測手段は、後述する第1の実施形態では、センシングプレート2、センシングプレート4、センサ情報記憶部5、センサ制御部6、画像撮影方式のセンサアセンブリ7より構成され、後述する第2の実施形態では、磁気式の6軸センサ、センサ制御部6より構成されるが、光学式、磁気式に限らず機械式等その他の3次元位置姿勢計測方法によるものも含むものとする。
【0020】
また、上記構成要素中の経路像生成手段は、これらの実施形態では、ナビゲーション制御部8が該当する。
【0021】
また、上記構成要素中の「筒状」という用語は、本明細書では底面を円、楕円、または多角形とする錐形状(円錐、楕円錐、多角錐)、錐台形状(円錐台、楕円錐台、多角錐台)、柱形状(円柱、楕円柱、多角柱)などを意味しているものと定義する。
【0022】
(作用)
この手術ナビゲーション装置は、目標部までの経路を表わす筒状の経路像と、画像入力手段により撮影された画像とを重ね合わせて表示する。
【0023】
また、本発明によると、上記課題を解決するために、
(2)前記経路像生成手段は、前記被検体の目標部と前記画像入力手段の距離情報を付加する手段をさらに有することを特徴とする(1)に記載の手術ナビゲーション装置が提供される。
【0024】
(対応する発明の実施の形態)
この発明に関する実施の形態は、後述する第1の実施形態が対応する。
【0025】
上記構成要素中の目標部と前記画像入力手段との距離情報は、この実施形態では、円錐26の頂点24からの距離を表わす文字情報11が該当するが、筒状の経路像自身の色、濃度、描画する線の太さ、種類等の属性情報を変化させた表現も含むものとする。
【0026】
(作用)
この手術ナビゲーション装置は、目標部までの経路を筒状の経路像として表示し、且つ表示されている経路像に目標部と前記画像入力手段との距離情報を付加する。
【0027】
また、本発明によると、上記課題を解決するために、
(3)前記経路像生成手段は、前記3次元位置姿勢計測手段により計測された前記被検体または前記画像入力手段の少なくとも一方の3次元位置姿勢情報と、前記記憶手段に記録された複数の線分から構成された手術経路を用いて、手術経路を構成する線分から任意の線分を選択し、選択された線分に対して筒状の経路像を生成することを特徴とする(1)または(2)に記載の手術ナビゲーション装置が提供される。
【0028】
(対応する発明の実施の形態)
この発明に関する実施の形態は、後述する第2の実施形態が対応する。
【0029】
上記構成要素中の複数の線分の結合により構成される手術経路は、この実施形態では経路10が該当するが、直線が結合した経路に限らず、曲線を含む線分が結合した経路も含むものとする。
【0030】
(作用)
この手術ナビゲーション装置は、被検体及び画像入力手段の3次元位置姿勢情報の少なくとも一方に基づいて、現在術者が必要としている部分の経路像を生成する。
【0031】
【発明の実施の形態】
以下図面を参照して本発明の実施の形態について説明する。
【0032】
(第1の実施形態)
図1は、本発明の第1の実施形態による手術ナビゲーション装置の構成を示す図である。
【0033】
この発明の第1の実施形態による手術ナビゲーション装置は、次のように構成されている。
【0034】
即ち、図1では、手術台上に、被検体1が仰向けの状態で寝ているものとしている。
【0035】
そして、この被検体1の頭部には、赤外線LEDを三角形状に配置したセンシングプレート2がテープにて固定されている。
【0036】
また、硬性鏡3には、赤外線LEDを三角形状に配置したセンシングプレート4が固定されている。
【0037】
これらセンシングプレート2、及びセンシングプレート4上において、配置された赤外線LED同士の位置関係が変化することはない。
【0038】
また、センシングプレート2上で定義された座標系p、及びセンシングプレート4上で定義された座標系eに対して、各赤外線LEDが配置された位置は、事前に計測されており、LED定義データとしてセンサ情報記憶部5に蓄えられている。
【0039】
このセンサ情報記憶部5は、センサ制御部6に接続されている。
【0040】
センシングプレート2、及びセンシングプレート4が計測範囲内に位置するように、画像撮影方式のセンサアセンブリ7が配置されている。
【0041】
センサ制御部6には、センシングプレート2、及びセンシングプレート4とセンサアセンブリ7が接続されていることにより、3次元位置姿勢計測手段を構成している。
【0042】
この3次元位置姿勢計測手段によって得られる3次元位置姿勢情報は、センサ制御部6よりナビゲーション制御部8に渡される。
【0043】
また、被検体1のCT、MRI撮影像から手術対象となる患部50に対して設定した到達位置24、及び硬性鏡挿入部51の位置が、CT、MRI撮影像を3次元再構成したデータで定義されるオブジェクト座標系m上に設定されており、ナビゲーション情報記憶部9に経路データ10として記憶されている。
【0044】
この場合、前記硬性鏡挿入部51から患部50までの経路を、前記硬性鏡挿入部51の位置と患部50に対して設定した到達位置24とを結ぶ直線で表現するものとする。
【0045】
また、被検体1の耳や目等の身体上の特徴点や、被検体1に取り付けたマーカ等の座標値が、オブジェクト座標系m上の値であるモデルデータ70として、ナビゲーション情報記憶部9に記憶されている。
【0046】
前記硬性鏡3の光学系より得られる画像は、図示しないカメラ制御装置、画像入力ボードを介して、ナビゲーション制御部8に入力される。
【0047】
このナビゲーション制御部8では、該ナビゲーション制御部8で生成される経路像と、該ナビゲーション制御部8に入力された硬性鏡3の光学系より得られる画像とを重ね合わせて出力し、モニタ13によって術者に対し表示する。
【0048】
図2に示すように、被検体1のデータと被検体1自身は、耳や目等の身体上の特徴点や、被検体1に取り付けたマーカ等のオブジェクト座標系m上の座標値モデルデータ70と、これに対応する特徴点のセンシングプレート2で規定される座標系p上の座標値を計測し、座標変換行列pHm14を算出することで関連づけられている。
【0049】
この座標変換行列pHm14は、ナビゲーション情報記憶部9に記憶されている。
【0050】
この座標変換行列pHm14は、図3に示すように、3次元空間での回転動作を表す3行3列の回転成分Rと、3次元空間での並進動作を表す3行1列の並進成分Tと、定数成分とで構成される4行4列の行列である。
【0051】
また、図4に示すように、センシングプレート4で規定される座標系eから硬性鏡3の光学系を表現するカメラモデルで使用される座標系cへの座標変換行列cHe15と、カメラモデル座標系cから実際のモニタ13上の座標系sへの座標変換行列f ctos16が求められている。
【0052】
なお、硬性鏡3の光学系を表現するカメラモデルで使用される座標系cの原点は、硬性鏡3の先端に一致しており、硬性鏡3の光軸をカメラ座標系cのZ軸としている。
【0053】
これらの座標変換行列cHe15、および座標変換行列f ctos16は、ナビゲーション情報記憶部9に記憶されている。
【0054】
次に、この発明の第1の実施形態による手術ナビゲーション装置の作用を説明する。
【0055】
本手術ナビゲーション装置の動作中、3次元位置姿勢計測手段の構成要素であるセンサ制御部6は、センシングプレート2、及びセンシングプレート4上の各赤外線LEDを順番に発光させ、センサアセンブリ7はこれら赤外線LEDが発光している状態を映像として捉える。
【0056】
センサ制御部6では、赤外線LEDを発光させたタイミングとセンサアセンブリ7より得た映像を用いて、各赤外線LEDの3次元位置を算出する。
【0057】
各赤外線LEDの3次元位置とセンサ情報記憶部5に記憶されたLED定義データを用いて、センシングプレート2、及びセンシングプレート4の3次元位置姿勢を算出する。
【0058】
さらに、センシングプレート2、及びセンシングプレート4の3次元位置姿勢を、センシングプレート2に対するセンシングプレート4の相対的な位置姿勢へと変換し、座標変換行列eHp17を得る。
【0059】
図5に示すように、座標変換行列eHp17が3次元位置姿勢計測手段より得られることで、本手術ナビゲーション装置を動作させるために必要な座標変換行列が全て揃う。
【0060】
図6、及び図7は、経路を表現する円錐26の作成手順を説明するための図である。
【0061】
ここで、円錐26の頂点は、患部50に対して設定した到達位置24に一致する。
【0062】
座標変換行列cHe15、座標変換行列eHp17、座標変換行列pHm14から硬性鏡3の先端に原点が一致しているカメラ座標系cのXY平面20が、オブジェクト座標系mで定義される。
【0063】
このカメラ座標系cのXY平面20は、硬性鏡3の先端面を表現している。
【0064】
患部50に対して設定した到達位置24と挿入部51とを結ぶ経路データ10とカメラ座標系cのXY平面20との交点が、円錐26の底面となる円22の中心21となる。
【0065】
患部50に対して設定した到達位置24と挿入部51とを結ぶ経路データ10とカメラ座標系cのXY平面20とが交わらない場合には、挿入部51が円錐26の底面となる円22の中心21となる。
【0066】
円錐26の底面となる円22は、底面となる円22の中心21を通り、経路を法線べクトルとする平面上に予め設定された頂角と、底面となる円22の中心21から頂点(到達位置24)までの距離より算出される半径で描かれる。
【0067】
なお、底面となる円22の半径rと頂角aと底面となる円22の中心21から頂点(到達位置24)までの距離dとの間には以下の関係式が成立している。
【0068】
r=dxtan(a)
この実施の形態では、例えば、頂角を15度としている。
【0069】
ここで、円錐26の側面の表現要素として描かれる直線23は、底面となる円22を8分割した位置と円錐26の頂点(到達位置24)とを結ぶことにより描かれる。
【0070】
また、底面となる円22と頂点24との間に描画される円25は、底面となる円22平行に、経路を等分割するよう描画される。
【0071】
これら円25の数は、予め、設定されており、この例では4つとしている。
【0072】
つまり、円錐26内部に描画される円25は、硬性鏡3の先端位置と患部50に対して設定した到達位置24との距離に関係無く4つである。
【0073】
円錐26の側面を表現する円25の中心と円錐26の頂点24との距離は、円錐26のデータを生成する際に明らかになるパラメータである。
【0074】
この例では、円25による経路の分割数を4と設定しているので、円25の経路上のピッチは円錐26の頂点24から底面となる円22までの距離を5等分した値となっている。
【0075】
つまり、円錐26の頂点24から底面となる円22までの距離が25mmのときには、経路上のピッチは5mmとなり、円錐26の頂点24から底面となる円22までの距離が60mmのときには、経路上のピッチは12mmへと変化することになる。
【0076】
このピッチを円錐26の頂点24からの距離へ変換した値の文字情報11を同時に生成し、経路像として表示される円錐26に付加する。
【0077】
このように構成されたオブジェクト座標系mにおける円錐26は、更に座標変換行列f ctos16、座標変換行列cHe15、座標変換行列eHp17、座標変換行列pHm14を乗算することにより、モニタ13上でのワイヤフレーム像の位置データヘ変換される。
【0078】
この円錐26と硬性鏡3の光学系より得られる画像とを重ね合わせて、図7に示すように、モニタ13上に表示する。
【0079】
術者は、モニタ13上に重畳表示された硬性鏡3の光学系より得られる画像と円錐26による経路像とを同時に見ながら硬性鏡3を操作し、手術を行う。
【0080】
次に、この発明の第1の実施形態による手術ナビゲーション装置の効果を説明する。
【0081】
本手術ナビゲーション装置では、患部50に対して設定した到達位置24を頂点とし、計画した経路10を主軸とする円錐26で、患部50に対して設定した到達位置24と経路10が同時にモニタ13上に示されるので、術者はこれらを直感的に容易に把握することができる。
【0082】
また、本手術ナビゲーシヨン装置では、患部50に対して設定した到達位置24、および経路10からの位置ずれと姿勢ずれが同時に表現されるため、患部50に対して設定した到達位置24のみのナビゲーション情報では位置ずれなのか姿勢ずれなのかを判断しずらい状況であっても、ずれの内容を容易に把握することができる。
【0083】
例えば、図9に示すように、患部50に対して設定した到達位置24と経路10が円錐26で表示された場合、円錐26の底面となる円22がモニタ13の画面上方にあることから、現在位置が計画した経路10よりも下に位置していることが容易に把握できる。
【0084】
また、円錐26の頂点24である患部50に対して設定した到達位置24が円錐26の底面となる円22の中心よりも下にあることから、現在の姿勢が計画した経路10よりも上を向いていることが容易に把握できる。
【0085】
また、術者は円錐26と同時に表示される円錐26の頂点24からの距離を表す文字情報11から、現在の硬性鏡3の先端位置と患部50に対して設定した到達位置24との距離を常に把握することができる。
【0086】
この結果、術者は硬性鏡3を安全且つ確実に目標へ挿入することができる。
【0087】
なお、この発明の第1の実施形態の各構成は、当然、各種の変形、変更が可能である。
【0088】
例えば、3次元位置計測手段は本実施形態の光学式に限定されることなく、磁気式や機械式などどのような形態であってもよい。
【0089】
また、表示される経路像の形状は円錐に限定されることなく、円錐台や円柱、角錐、柱形状のものであってもよい。
【0090】
また、表示される経路像の形態はワイヤフレーム像に限定されることなく、サーフェスモデル像や半透明なボリュームレンダリング像など他の3次元コンピュータグラッフィクスオブジェクトであってもよい。
【0091】
また、円錐26の頂点24からの距離を表す文字情報11は、3次元コンピュータグラッフィクスオブジェクトの色や濃度や線の太さ、及び線種(実線、破線、一点鎖線等)の少なくとも一方に置き換えてもよい。
【0092】
この場合、図10に示すように、凡例28をモニタ13のディスプレイ上に示すようにすることも有効である。
【0093】
また、図11に示すように、経路10が挿入部51から患部50に対して設定した到達位置24までの連続的なデータで与えられた曲線、または連結された線分であってもよい。
【0094】
この場合、円25は、主軸上の距離が均等になり、主軸に対して垂直になるように生成される。
【0095】
なお、図11に示す曲線経路は、図12に示すように、モニタ13上で描画される。
【0096】
また、曲線的な経路10に挿入可能なように、硬性鏡3を軟性鏡、あるいは多関節鏡へと置き換えて手術を行うことにも対応可能である。
【0097】
また、円錐26の側面を表現する円25の数を本実施形態では4つと設定しているが、この数は術者が自由に設定できる。
【0098】
また、円25を作成する間隔を設定し、数は円錐26の頂点24と底面となる円22の中心21との距離に応じて変化するようにしてもよい。
【0099】
この場合、例えば、間隔を2mmに設定すると、円錐26の頂点24と底面となる円22の中心21との距離が40mmであれば、円25は19個が描画される。
【0100】
また、モニタ13はHMDなどの映像提示装置へ置き換えることができる。
【0101】
(第2の実施の形態)
第2の実施形態による手術ナビゲーション装置の構成は、上述した第1の実施の形態と共通な部分が多いので、異なる部分のみを以下に示す。
【0102】
すなわち、この実施形態において、図1に示した被検体1の頭部には、赤外線LEDを三角形状に配置したセンシングプレート2に代わって用いられる磁気式の6軸センサが取り付けられているものとする。
【0103】
また、この実施形態において、図1に示した硬性鏡3に代わって用いられる軟性鏡の先端にも、小型の磁気式6軸センサが取り付けられているものとする。
【0104】
また、この実施形態において、図1に示したセンサ制御部6には、これらの2つの6軸センサが接続されているものとする。
【0105】
そして、この実施形態において、センサ制御部6、2つの6軸センサとで、3次元位置姿勢計測手段が構成されているものとする。
【0106】
また、この実施形態において、上記3次元位置姿勢計測手段によって得られる3次元位置姿勢情報は、第1の実施の形態と同様にして、センサ制御部6よりナビゲーション制御部8へ渡されるものとする。
【0107】
この実施形態において、図1に示した硬性鏡3に代わって用いられる軟性鏡の先端に取り付けられた磁気式6軸センサは、軟性鏡先端の光学系に対して取り付け位置が変化しないものとする。
【0108】
よって、この実施形態において、磁気式6軸センサで規定される座標系eから軟性鏡の光学系を表現するカメラモデルで使用される座標系cヘの座標変換行列cHe15は固定値となる。
【0109】
また、この実施形態において、上記座標変換行列cHe15とカメラモデル座標系cから実際のモニタ13上の座標系sへの座標変換行列f ctos16は、第1の実施形態と同様に事前に求められており、図1に示したナビゲーション情報記憶部9へ記憶させておくものとする。
【0110】
なお、この場合、軟性鏡の光学系を表現するカメラモデルで使用される座標系cの原点は、軟性鏡の先端に一致しており、軟性鏡の光軸をカメラ座標系cのZ軸としているものとする。
【0111】
これらの座標変換行列cHe15、および座標変換行列f ctos16は、図1に示したナビゲーション情報記憶部9に記憶されているものとする。
【0112】
図13の(a)に示すような、被検体のCT、MRI撮影像から手術対象となる患部50の到達位置24、軟性鏡挿入部51の位置、及び経路10の屈曲点43、屈曲点44の位置がオブジェクト座標系において計測されており、図1に示したナビゲーション情報記憶部9に経路データ10として蓄えられているものとする。
【0113】
次に、この発明の第2の実施形態による手術ナビゲーション装置の作用を説明する。
【0114】
本手術ナビゲーション装置の動作中、3次元位置姿勢計測手段により、患者頭部に対する軟性鏡先端の位置姿勢が計測され、座標変換行列eHp17が得られる。
【0115】
図13の(a)は、経路を表現する円錐46の作成手順を説明するために示された図である。
【0116】
計測された軟性鏡先端の患者頭部に対する現在位置から、通っているべき経路(最も近い経路)データ40の両端44、48の位置情報がナビゲーション情報記憶部9より引き出される。
【0117】
円錐46の頂点は、軟性鏡が現在通っているべき経路データ40の両端のうち、患部に近い端点44に一致する。
【0118】
座標変換行列cHe15、座標変換行列eHp17、座標変換行列pHm14から軟性鏡の先端に原点が一致しているカメラ座標系cのXY平面61が、オブジェクト座標系mで定義される。
【0119】
このカメラ座標系cのXY平面61は、軟性鏡の先端面を表現している。
【0120】
軟性鏡が現在通っているべき経路データ40とカメラ座標系cのXY平面61との交点が、円錐46の底面となる円49の中心60となる。
【0121】
また、軟性鏡が現在通っているべき経路データ40とカメラ座標系cのXY平面61とが交わらない場合には、軟性鏡が現在通っているべき経路データ40の両端のうち、患部から遠い端点48が円錐46の底面となる円49の中心60となる。
【0122】
円錐46の底面となる円49は、底面となる円49の中心60を通り、経路を法線べクトルとする平面上に予め設定された頂角と、底面となる円49の中心60から頂点44までの距離より算出される半径で描かれる。
【0123】
なお、底面となる円49の半径rと頂角aと底面となる円49の中心60から頂点44までの距離dとの間には以下の関係式が成立している。
【0124】
r=dxtan(a)
この実施の形態では、例えば、頂角を15度としている。
【0125】
円錐46の側面の表現要素として描かれる直線42は、底面となる円49を8分割した位置と円錐46の頂点44とを結ぶことにより描かれる。
【0126】
底面となる円49と頂点44との間に描画される円41は、底面と平行に、経路を等分割するよう描画される。
【0127】
これら円41の経路上の間隔は予め設定されており、この例では5mmとしている。
【0128】
つまり、円錐46内部に描画される円41の数は、軟性鏡の先端位置と軟性鏡が現在通っているべき経路データ40の患部に近い端点44との距離に応じて変化する。
【0129】
例えば、軟性鏡の先端位置と軟性鏡が現在通っているべき経路データ40の患部に近い端点44との距離が30mmの場合、円41は円錐46の内部に5個が描画される。
【0130】
このように構成されたオブジェクト座標系mにおける円錐46は、更に座標変換行列f ctos16、座標変換行列cHe15、座標変換行列eHp17、座標変換行列pHm14を乗算することにより、モニタ13上での位置データヘ変換され、軟性鏡の光学系より得られる画像へ重ね合わせて、モニタ13によって術者に対しワイヤフレーム像として表示される。
【0131】
また、計測された軟性鏡先端の患者頭部に対する現在位置から、次に通るべき経路(現在通っているべき経路から、患部50へより近付いた経路)の端点43の位置情報もナビゲーション情報記憶部9より引き出される。
【0132】
更に、患部50の位置24の位置情報もナビゲーション情報記憶部9より引き出される。
【0133】
これによって、軟性鏡の現在位置から次に通るべき経路のデータ40の両端44、48と、更に、次に進むべき線分が、ナビゲーション情報記憶部9より引き出されたことになる。
【0134】
ここで、端点44と端点43とを結ぶ経路を示す線分に対してナビゲーション制御部8において経路を示す筒状経路像を付加してもよいが、複数の経路に対して、同時に、筒状の経路を生成してモニタ13上に表示すると、経路像が複雑となり、経路の状況が把握しにくくなる。
【0135】
そこで、図13の(b)に示すように手術経路を示す複数の線分の中から、任意の線分を選択して、選択された線分に対してのみ筒状の経路情報を付加して、表示を行うようにしている。
【0136】
この場合、図13の(b)では、軟性鏡の現在位置に最も近い端点48と端点44とを結ぶ経路のみに対して、筒状の経路情報を付加して、モニタ13上に表示するようにしている。
【0137】
ここで、モニタ13上に表示される経路情報を複雑にすることなく、次に進むべき経路を重ね合わせて表示する方法を提示する。
【0138】
即ち、図14に示すように、現在通っているべき経路40の両端の患部に近い端点44と、次に通るべき経路の端点43の位置を座標変換行列pHm14、座標変換行列eHp17、座標変換行列cHe15、座標変換行列f.ctos16よりモニタ13上の座標へ変換し、この変換された現在通っているべき経路40の両端の患部に近い端点44と、次に通るべき経路の端点43での位置を結ぶ矢印45で描画することにより、現在通っているべき経路から次に通るべき経路への方向を術者へ提示している。
【0139】
術者は、モニタ13上に重畳表示された軟性鏡の光学系より得られる画像と円錐46による経路像と、矢印45による次に通るべき経路への方向を提示する像とを同時に見ながら軟性鏡を操作し、手術を行う。
【0140】
次に、この発明の第2の実施の形態による手術ナビゲーション装置の効果を説明する。
【0141】
本手術ナビゲーション装置では、現在の通っているべき経路の両端を主軸とする円錐で目標位置及び経路が示されるので、術者はこれらを直感的に容易に把握することができる。
【0142】
また、次に通るべき経路への進行方向が矢印で示されるので、現在の経路の先端から次にどちらへ軟性鏡の先端を曲げたらよいのかが容易に判断できる。
【0143】
また、本手術ナビゲーション装置でも第1の実施の形態と同様に位置ずれと姿勢ずれの内容を円錐で表現された経路像から容易に得ることができる。
【0144】
この結果、術者は、軟性鏡を、安全、且つ、確実に患部50まで挿入することができる。
【0145】
なお、この発明の第2の実施の形態の各構成は、当然、各種の変形、変更が可能である。
【0146】
例えば、3次元位置計測手段は本実施の形態の磁気式に限定されることなく、光学式や機械式などどのような形態であってもよい
また、円錐像を形成するための円41を配置する主軸上の間隔は、この例では5mmに設定されているが、この値は術者が任意に設定できる。
【0147】
また、経路像として描画する円41の数を設定しておき、経路の長さに合せて円41の配置間隔を調整する方法でもよい。
【0148】
この場合、例えば、円41の数を4個に設定すると、円錐46の頂点44と底面となる円49の中心60との距離が40mmであれば、円41の配置間隔は8mmとなる。
【0149】
また、表示される経路像の形態はワイヤフレーム像に限定されることなく、サーフェスモデル像や半透明なボリュームレングリング像など他の3次元コンピュータグラッフィクスオブジェクトであってもよい。
【0150】
また、方向を示す矢印は、方向を表現できるあらゆるアイコンや記号に置き換えてもよい。
【0151】
また、例えば、図15に示すように、経路端から離れた位置に記号47を表示することにより、方向を示してもよい。
【0152】
そして、上述したような実施の形態で示した本明細書には、特許請求の範囲に示した請求項1乃至3以外にも、以下に付記1として示すような発明が含まれている。
【0153】
(付記1) 前記経路像生成手段は、前記3次元位置姿勢計測手段により計測された前記被検体または前記画像入力手段の少なくとも一方の3次元位置情報と前記記憶手段に記憶された複数の線分の結合からなる手術経路に基づいて、前記目標部の方向を示す記号を前記経路像を示す線分に付加して生成することを特徴とする請求項3に記載の手術ナビゲーション装置。
【0154】
(対応する発明の実施の形態)
この発明に関する実施の形態は、第2の実施形態が対応する。
【0155】
上記構成要素中の前記目標部へ向かう線分の方向を示す記号は、この第2の実施形態では矢印45が該当するが、多角形などのアイコンや記号等も含むものとする。
【0156】
また、経路像の主軸から離れた位置に表示することにより、方向性を付加されたアイコンや記号等も含むものとする。
【0157】
(作用効果)
この手術ナビゲーション装置は、画像入力手段が現在表示されている経路の次に向う方向を、前記目標部へ向かう線分の方向を示す記号で表現する。
【0158】
この結果、使用者は現在の経路の終端から次に進むべき方向を容易に把握することが可能になる。
【0159】
【発明の効果】
従って、以上説明したように、請求項1記載の本発明によれば、目標部までの経路を表わす筒状の経路像と、画像入力手段により撮影された画像とを重ね合わせて表示するので、使用者は目標部及び経路と画像入力手段との位置関係と姿勢関係とを同時に容易に把握することが可能になることにより、容易に目標の位置、及び目標への計画された経路全体を認識可能な手術ナビゲーション装置を提供することができる。
【0160】
また、以上説明したように、請求項2記載の本発明によれば、目標部までの経路を筒状の経路像として表示し、且つ表示されている経路像に目標部と前記画像入力手段との距離情報が付加されるので、使用者は目標部と画像入力手段との位置関係と姿勢関係とを同時に容易に把握し、且つ目標部と画像入力手段との距離を容易に把握することが可能になることにより、容易に目標の位置、及び目標への計画された経路全体を認識可能な手術ナビゲーション装置を提供することができる。
【0161】
また、以上説明したように、請求項3記載の本発明によれば、被検体及び画像入力手段の3次元位置姿勢情報の少なくとも一方に基づいて、現在術者が必要としている部分の経路像を生成するので、表示される経路像が必要以上に複雑になることがなく、この結果、使用者は現在必要な情報を容易に把握することが可能になることにより、容易に目標の位置、及び目標への計画された経路全体を認識可能な手術ナビゲーション装置を提供することができる。
【図面の簡単な説明】
【図1】図1は、本発明の第1の実施形態による手術ナビゲーション装置の構成を示す図である。
【図2】図2は、図1の被検体1のデータと被検体1自身が、耳や目等の身体上の特徴点や、被検体1に取り付けたマーカ等のオブジェクト座標系m上の座標値モデルデータ70と、これに対応する特徴点のセンシングプレート2で規定される座標系p上の座標値を計測し、座標変換行列pHm14を算出することで関連づけられていることを示す図である。
【図3】図3は、座標変換行列が、3次元空間での回転動作を表す3行3列の成分Rと、3次元空間での並進動作を表す3行1列の成分Tと、定数成分で構成される4行4列の行列であることを示す図である。
【図4】図4は、図1のセンシングプレート4で規定される座標系eから硬性鏡3の光学系を表現するカメラモデルで使用される座標系cへの座標変換行列cHe15と、カメラモデル座標系cから実際のモニタ13上の座標系sへの座標変換行列f ctos16が求められていることを示す図である。
【図5】図5は、座標変換行列eHp17が3次元位置姿勢計測手段より得られることで、本発明の第1の実施形態による手術ナビゲーション装置を動作させるために必要な座標変換行列が全て揃うことを示す図である。
【図6】図6は、本発明の第1の実施形態による手術ナビゲーション装置において、経路を表現する円錐26の作成手順を説明するための図である。
【図7】図7は、本発明の第1の実施形態による手術ナビゲーション装置において、経路を表現する円錐26の作成手順を説明するための図であり、且つ図6に示す経路がモニタ13上で描画されることを示す図である。
【図8】図8は、従来技術「医用ナビゲーションシステム」(特開平09−173352号公報)での表示例を示す図である。
【図9】図9は、本発明の第1の実施形態による手術ナビゲーション装置において、患部50に対して設定した到達位置24と経路10が円錐26で表示された場合、現在位置と計画した経路10との位置及び姿勢のずれを容易に把握できることを示す図である。
【図10】図10は、本発明の第1の実施形態の変形例として、円錐26の頂点(到達位置24)からの距離を表す文字情報11が、3次元コンピュータグラッフィクスオブジェクトの色や濃度や線の太さ、及び線種(実線、破線、一点鎖線等)の少なくとも一方に置き換えてもよい場合に、凡例28をディスプレイ上に示すようにすることも有効であることを示す図である。
【図11】図11は、本発明の第1の実施形態の変形例として、経路10が挿入部51から患部50に対して設定した到達位置24までの連続的なデータで与えられた曲線、または連結された線分であってもよいことを示す図である。
【図12】図12は、図11に示す曲線経路が、モニタ13上で描画されることを示す図である。
【図13】図13の(a),(b)は、それぞれ、本発明の第2の実施形態による手術ナビゲーション装置において、経路を表現する円錐46の作成手順を説明するための図である。
【図14】図14は、本発明の第2の実施形態において、現在通っているべき経路40を表現する円錐46と、次に通るべき経路の端点を示す結ぶ矢印45とを描画することにより、現在通っているべき経路から次に通るべき経路への方向を術者へ提示していることを示す図である。
【図15】図15は、本発明の第2の実施形態の変形例として、方向を示す矢印は、方向を表現できるあらゆるアイコンや記号に置き換えてもよい場合に、例えば、経路端から離れた位置に記号47を表示することにより、方向を示してもよいことを示す図である。
【符号の説明】
1…被検体、
2…センシングプレート、
3…硬性鏡、
4…センシングプレート、
5…センサ情報記憶部、
6…センサ制御部、
7…センサアセンブリ、
8…ナビゲーション制御部、
9…ナビゲーション情報記憶部、
10…経路データ、
11…文字情報、
13…モニタ、
14…座標変換行列pHm、
15…16…座標変換行列f ctos、
17…座標変換行列eHp、
20…カメラ座標系cのXY平面、
21…円22の中心、
22…円錐26の底面となる円、
23…円錐26の側面の表現要素直線、
24…到達位置(円錐26の頂点)、
25…円錐26の側面を表す円、
26…円錐、
27…患部の位置を示す記号、
28…凡例、
40…経路データ、
41…円錐46の側面を表す円、
42…円錐46の側面の表現要素直線、
43…次に通るべき経路の端点、
44…経路40の患部に近い端点且つ円錐46の頂点、
45…矢印、
46…円錐、
47…記号、
48…経路40の端部、
49…円錐46の底面となる円、
50…患部、
51…硬性鏡挿入部、軟性鏡挿入部
60…円49の中心、
61…カメラ座標系cのXY平面、
70…モデルデータ、
m…オブジェクト座標系、
e…センシングプレート4で規定される座標系、
p…センシングプレート2で規定される座標系、
c…カメラモデルで使用される座標系、
s…実際のモニタ13上の座標系。

Claims (4)

  1. 被検体の画像を撮影する画像入力手段と、
    前記画像入力手段の3次元位置姿勢を決定する3次元位置姿勢決定手段と、
    前記被検体の表面から前記被検体の目標部に至る手術経路を記憶する記憶手段と、
    前記3次元位置姿勢決定手段により決定された前記画像入力手段の3次元位置姿勢情報と、前記記憶手段に記憶された前記手術経路とに基づいて、前記画像入力手段における所定の位置と前記目標部について設定した到達位置とを結ぶ軸線を中心として前記到達位置へと収束する筒状の経路像を生成する経路像生成手段と、
    前記画像入力手段により撮影された被検体の画像と、この被検体の画像に対応して前記経路像生成手段により生成された前記経路像とを重ね合わせて表示する制御手段と、
    を具備することを特徴とする手術ナビゲーション装置。
  2. 前記経路像生成手段は、前記被検体の目標部と前記画像入力手段の距離情報を付加する手段をさらに有することを特徴とする請求項1に記載の手術ナビゲーション装置。
  3. 被検体の画像を撮影する画像入力手段と、
    前記画像入力手段の3次元位置姿勢を決定する3次元位置姿勢決定手段と、
    前記被検体の表面から前記被検体の目標部に至る複数の線分から構成された手術経路を記憶する記憶手段と、
    前記3次元位置姿勢決定手段により決定された前記画像入力手段の3次元位置姿勢情報に基づいて、前記手術経路を構成する複数の線分の内から所定の線分を選択して軸線とし、当該軸線を中心として当該線分の前記目標部に近い端点へと収束する筒状の経路像を生成する経路像生成手段と、
    前記画像入力手段により撮影された被検体の画像と、この被検体の画像に対応して前記経路像生成手段により生成された前記経路像とを重ね合わせて表示する制御手段と、
    を具備することを特徴とする手術ナビゲーション装置。
  4. この手術ナビゲーション装置は、前記軸線方向について所定のピッチで前記軸線に直交するように前記筒状の経路像の側面に線を描画する手段をさらに具備する、ことを特徴とする請求項1乃至3のいずれか1項に記載の手術ナビゲーション装置。
JP2000110976A 2000-04-12 2000-04-12 手術ナビゲーション装置 Expired - Fee Related JP3780146B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000110976A JP3780146B2 (ja) 2000-04-12 2000-04-12 手術ナビゲーション装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000110976A JP3780146B2 (ja) 2000-04-12 2000-04-12 手術ナビゲーション装置

Publications (2)

Publication Number Publication Date
JP2001293007A JP2001293007A (ja) 2001-10-23
JP3780146B2 true JP3780146B2 (ja) 2006-05-31

Family

ID=18623396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000110976A Expired - Fee Related JP3780146B2 (ja) 2000-04-12 2000-04-12 手術ナビゲーション装置

Country Status (1)

Country Link
JP (1) JP3780146B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220176575A1 (en) * 2019-03-14 2022-06-09 Koninklijke Philips N.V. Determining a device location a body part

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3779308B2 (ja) * 2004-07-21 2006-05-24 独立行政法人科学技術振興機構 カメラ校正システム及び三次元計測システム
JP7078056B2 (ja) * 2017-11-30 2022-05-31 株式会社ニコン 検出装置、処理装置、装着物、検出方法、及び検出プログラム
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
CN111821025B (zh) * 2020-07-21 2022-05-13 腾讯科技(深圳)有限公司 空间定位方法、装置、设备、存储介质以及导航棒

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2161126C (en) * 1993-04-22 2007-07-31 Waldean A. Schulz System for locating relative positions of objects
US5638819A (en) * 1995-08-29 1997-06-17 Manwaring; Kim H. Method and apparatus for guiding an instrument to a target
US6021343A (en) * 1997-11-20 2000-02-01 Surgical Navigation Technologies Image guided awl/tap/screwdriver
JP2000333971A (ja) * 1999-05-31 2000-12-05 Technol Res Assoc Of Medical & Welfare Apparatus 手術支援情報表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220176575A1 (en) * 2019-03-14 2022-06-09 Koninklijke Philips N.V. Determining a device location a body part

Also Published As

Publication number Publication date
JP2001293007A (ja) 2001-10-23

Similar Documents

Publication Publication Date Title
US20230371797A1 (en) Method and system for assisting an operator in endoscopic navigation
US20210177299A1 (en) Method And System For Providing Visual Guidance To An Operator For Steering A Tip Of An Endoscopic Device Towards One Or More Landmarks In A Patient
US20210345855A1 (en) Real time correlated depiction system of surgical tool
US11135020B2 (en) Image processing device and method, surgical system, and surgical member
US6832985B2 (en) Endoscopic system with instrument position and orientation display
US7945310B2 (en) Surgical instrument path computation and display for endoluminal surgery
US5638819A (en) Method and apparatus for guiding an instrument to a target
US9615772B2 (en) Global endoscopic viewing indicator
US7794388B2 (en) Method and apparatus for generating at least one section of a virtual 3D model of a body interior
JP5055352B2 (ja) 患者の体との関係で手術器具を三次元トラッキングするためのシステム
CN108601628B (zh) 将操作器械定位在患者身体内的导航、跟踪和引导系统
KR20190078540A (ko) 의료 시술 동안 내비게이션을 돕기 위한 증강 현실의 용도
JP2019506922A (ja) ロボット手術のために仮想現実デバイスを使用するシステム、コントローラ、及び方法
CN106535812A (zh) 带有基于定量三维成像的触觉反馈的手术系统
JP6116754B2 (ja) 低侵襲手術において画像データを立体視表示するための装置およびその装置の作動方法
JP5161013B2 (ja) 医用ガイドシステム
US20080071141A1 (en) Method and apparatus for measuring attributes of an anatomical feature during a medical procedure
EP2754396A1 (en) Ultrasound diagnostic device and ultrasound image display method
US11871904B2 (en) Steerable endoscope system with augmented view
JP6932135B2 (ja) 腹腔鏡画像及び超音波画像を重畳するための計算装置
JP2000279425A (ja) ナビゲーション装置
JP4660771B2 (ja) 三次元像表示装置
CN116829091A (zh) 外科手术辅助系统和表示方法
JP3780146B2 (ja) 手術ナビゲーション装置
EP3871193B1 (en) Mixed reality systems and methods for indicating an extent of a field of view of an imaging device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050802

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060306

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090310

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110310

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110310

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120310

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120310

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130310

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140310

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees