JP5055352B2 - 患者の体との関係で手術器具を三次元トラッキングするためのシステム - Google Patents

Description

本発明は、器具を無線でトラッキング（自動追尾）するためのシステム及び方法に関するものであり、より具体的には、手術を受けている患者の体との関係で、手術器具の三次元位置と向きを無線でトラッキングするためのシステム及び方法に関するものである。

低侵襲的外科治療の基本的な目標は、患者に対するその治療の悪影響をできるだけ少なくすることである。
これによって手術後の外傷及び苦痛が減ると同時に、回復に要する時間が最小化される。
一部の低侵襲的外科治療においては、手術医はそれを通じて種々の手術器具を送り込むことができる１つあるいは複数の小さな切開を行うことが求められる。
他の低侵襲的外科治療では、人体の自然の開口部を通じて身体に挿入できる可撓内視鏡などの手術器具を利用するため、患者に小さな切開部をつくる必要がない。

米国特許第６，７５４，５９６号

図１と２は、手術医が患者の体内の組織を遠隔的に視たり操作したりするために用いることができる従来の可撓内視鏡２０を示している。
図１に示すように、従来の可撓内視鏡２０は、その大部分が挿入チューブ２４に接続した制御体２２によって構成されている。
この制御体２２は患者の体外にあって、可撓性の挿入チューブ２４が自然の開口部か人為的な開口部のいずれかを通じて患者の体内に挿入される。
それぞれの可撓内視鏡の意図された機能に応じて、挿入チューブ２４は、例えば、吸引、生体組織検査、注水、及び吹送などを行うための種々のチャネルを含む場合がある。
またこの挿入チューブ２４は、外部の光源から患者の体内に光を送り込み、あるいは画像を体内から外部のカメラに伝送するための光ファイバや光バンドルを含むこともできる。
コネクタ３２は、内視鏡２０の、例えば、電源、光源、カメラ及び／又はビデオ・プロセッサなどの１つあるいは複数の種々の関連装置構成部品への接続を可能にする。
また内視鏡２０は、例えば、内視鏡２０の遠位先端部２６から延出するマニピュレータあるいはその他の組織処理手段など、その内視鏡の１つあるいは複数の機能を制御するための追加的な制御手段３０を含むことができる。

実際に使用する際には、挿入チューブ２４は患者の開口部に挿入され、そして、患者の体内にゆっくり前進させられる。
通常は内視鏡２０の制御体２２上に配置される１つ又は複数の制御装置２８が、手術医が挿入チューブ２４を患者の体内で進行させながら、その可撓内視鏡の遠位先端部２６を操作したり屈曲させたりすることができるようにしている。
こうした方法で、手術医は患者の体内で内視鏡を前進させながら、その遠位先端部２６を操作することができる。

従って、図２の例に示されているように、手術医は可撓内視鏡２０を用いて、その可撓内視鏡２０の遠位端部２６を患者４２の口４４に挿入することによって、患者の上部胃腸管４６の組織を視たり、操作したりすることができる。
そして、手術医は、その内視鏡２０の遠位先端部２６領域が、その手術医が検査したい組織領域内、例えば胃４８や十二指腸５０内に到達するまで、挿入チューブ２４を押し入れる。

しかしながら、可撓内視鏡を組み込んだほとんどの装置において存在する１つの問題は、手術医が調べたり操作したりしたいと思う組織や標的生体構造の領域が、その患者の体内にアクセスするために用いられる自然の開口部の直近にはない領域であることがしばしばあるということである。
従って、手術医は可撓内視鏡などの手術器具を標的生体構造の場所まで移動させて、その生体組織の直接的には見えないか、あるいは一定程度の困難なしでは簡単には見えないような部分で手術を行うことが求められることがしばしばある。
さらに、可撓内視鏡などの手術器具が、手術医が遠隔的に組織を視たり手術したりすることを可能にする場合でも、その能力は限られており、操作の習得も難しい。
例えば、通常、内視鏡は視野が限られている。加えて、それらは生体組織データを二次元で表示する。
その結果、経験を積んだ手術医でさえ、組織の特定の場所にたどりついたり、器官や病巣など特定の標的領域を特定したりするのが困難な場合もあり得る。
さらに、標的組織と患者の体内に手術器具を入れるのに用いられる開口部との距離が増大すると、その標的組織への誘導に伴う困難が増す。

そこで、本発明の目的は、手術を受けている患者の体との関係で、手術器具の三次元位置と向きを無線でトラッキングするためのシステム及び方法を提供することにある。

そこで、この発明は、上述不都合を除去するために、手術中に患者の体内で手術器具が使われている間に、その器具の三次元位置と向きをトラッキングするためのシステムにおいて、前記患者の体の１つ又は複数の立体画像を生成するためのステレオカメラ装置と、前記患者の体の１つ又は複数の立体画像を表示するための表示装置と、組織を観察及び／又は操作するために患者の体内に挿入されるように構成された少なくとも１つの手術器具と、１つの電磁場を無線で発信するための電磁場（ＥＭＦ）発生装置と、前記ステレオカメラ装置に組み込まれるかあるいは搭載され、前記ＥＭＦ発生装置によって発信された電磁場を検出して、１つの信号を出力する少なくとも１つの電磁場（ＥＭＦ）センサと、前記少なくとも１つの手術器具に組み込まれるかあるいは搭載され、前記ＥＭＦ発生装置によって発信された電磁場を検出して、１つの信号を出力する少なくとも１つの電磁場（ＥＭＦ）センサと、前記ステレオカメラ装置に関連付けられたＥＭＦセンサからの出力信号と前記手術器具に関連付けられたＥＭＦセンサからの出力信号の両方を受信し、前記手術器具に関連づけられたＥＭＦセンサの前記患者の体に対する三次元位置及び向きを計算して、前記手術器具のグラフィック表示を前記表示装置上に表示されている患者の体の１つあるいは複数の立体画像に重ね合わせるためのプロセッサとを含むシステムであって、前記手術器具の重ね合わせられたグラフィック表示が、前記患者の体に対する前記手術器具の三次元位置と向きをリアルタイムで示すことを特徴とする。

本発明は、器具を無線でトラッキング（自動追尾）するためのシステム及び方法を提供することができる。
より具体的に説明すると、本発明は、手術を受けている患者の体との関係で、手術器具の三次元位置と向きを無線でトラッキングするためのシステム及び方法を実現するものである。

手術器具の位置と向きを三次元トラッキングするためのシステム及び方法は、その器具が患者の体内で用いられるので、その患者の体の立体画像をつくりだすステレオカメラ装置を含んでおり、その画像が後に表示装置上で表示される。
電磁界発生装置によって発生される無線信号がその手術器具上のセンサによって受信される。
このセンサ・データを用いて、プロセッサが手術器具の位置と向きを計算し、そして、その患者の体の表示されている立体画像上にその手術器具の位置と向きを示すグラフィック表示を重ねて表示する。

別の実施の形態では、手術器具の位置と向きは無線で判定される。
低出力レーザなどのプロジェクタが患者の身体上に光のパターンを示し、そのパターンがその器具が患者の体内で用いられているときにその手術器具の位置と向きをリアルタイムで視覚的に示してくれる。

本発明の１つ又は複数の実施の形態を実施例として以下に述べるが、本発明は添付図面に示す特定の実施の形態に限定されるものではない。
また各図面において同じ参照番号は同じ構成要素を表すものとする。

以下図面に基づいてこの発明の実施例を詳細に説明する。
図３は手術台１０１に横たわっている患者の体１０２に対する手術器具の三次元位置及び向きをトラッキングするための、本発明の第１の実施の形態によるシステム１００を示している。

電磁場［ＥＭＦ］発生装置１０４は配線接続１０５を経由して中央制御装置１２０と交信する。
あるいはＥＭＦ発生装置１０４は、いくつかの例を挙げるとすれば、種々の赤外線通信プロトコール、ブルートゥース無線プロトコール、及び８０２．１１ ａ／ｂ／ｇプロトコールなどの１つあるいは複数の固有あるいは標準化無線通信プロトコールによって中央制御装置１２０と無線で交信するように構成することもできる。
このＥＭＦ発生装置１０４は手術室内部で患者の周辺のいろいろな場所に配置することができる。
例えば、ＥＭＦ発生装置１０４は手術台１０１の頭部、中央部、あるいは足部に配置されるように、手術台１０１内に組み込んだり、載せたりすることができる。
あるいはまた、ＥＭＦ発生装置は、例えば、オーバーヘッド・ブームや独立型スタンドなど手術室内の手術台１０１近くの他の構成部品内に組み込んだり、それに載せたりすることもできる。
しかしながら、その位置がどこであれ、ＥＭＦ発生装置１０４は、システム１００の使用が開始されたら、患者に対して１つの固定位置に保持されている必要がある。

システム１００内には、患者の体の立体画像を作成するためのステレオカメラ装置１０６が含まれている。
このステレオカメラ装置１０６は立体視の原理で作動するもので、１つの場面の２つの画像が異なった俯瞰から作成され、これら２つの画像はその場面の右目で見た像と左目で見た像の２つの独立の像を示している。
これら２つの画像は左目が左目画像だけを、右目が右目画像だけを見ているように表示される。
人間の目が見るわずかに異なった俯瞰からの画像が再現されて、その結果として一つの場面の三次元的に見える全体画像が示される。

より具体的に述べると、透視投影として知られている方法で、立体画像が生成される。
この透視投影法は、例えば三次元でのカメラの位置など、任意の視点から見て１つの三次元的な場面がどのように見えるかを計算するステップを含んでいる。
透視とは、より遠くにある対象物ほど小さく見え、三次元での平行線が二次元透視では平行に見えないという事実を意味している。

透視投影の１つの例が図４に示されており、この図は対象物１６０が三次元空間の１つの点１７０から見た場合にどのように見えるかを示している。
対象物１６０から反射される、あるいは投影される可視光線が点１７０に収束している。
透視平面１９０での表示は空間内の分かっている点の１つの目（例えば左目）で見た場合に見えるであろう像と考えることができる。
点１７０（つまり、目）から対象物１６０への透視線１９５の交差点によって透視平面１９０上に画像が形成される。
空間内の異なった点（例えば、右目）からの第２の視像を得ることで第２の透視平面とそれに関連した画像（図示せず）が得られる。
人間の心は、異なる俯瞰から眺めた、これら対応する第１と第２の画像を、１つの場面の三次元視像と解釈するのである。

この例では、ステレオカメラ装置１０６にはＥＭＦ発生装置１０４から送られる無線電磁信号を検出することが出来るＥＭＦセンサ１０８が組み込まれているか、あるいは取り付けられている。
ステレオカメラ装置１０６とそれに組み合わされたＥＭＦセンサ１０８が有線接続１１０を介して中央制御装置１２０と交信する。
あるいは、ステレオカメラ装置１０６とそれに組み合わされたＥＭＦセンサ１０８は、前に述べたＥＭＦ発生装置１０４の場合とほぼ同様に、無線で中央制御装置１２０と交信するように構成することもできる。

カメラ装置１０６によって撮られた患者の体１０２の１つ又は複数の立体画像を手術医が視認できるようにする表示手段あるいは装置１４０が、有線接続１３９又は無線を介して中央制御装置１２０に接続されている。
この表示手段１４０は患者の体１０２の複数の二次元画像を表示することができ、これらを全体として見ると、この患者の体１０２の三次元的位置を識別することができる。

１つの立体画像を形成する２つの視像を表示するためには、時間並行法、時間多重化法といった２つの異なる方法が存在する。
１つの実施の形態において、表示手段１４０はこの時間並行法によって動作し、例えば分割画面あるいは二重画面装置などによって左右の両画像を同時に表示する。
この方法によれば、手術医は偏光またはフィルタリング用眼鏡を着用し、正しいほうの目で適切な視像を視認できるようにする。
あるいは、手術医が、左右の画像をこの手術医の左右の目にそれぞれ投影するように構成された頭装着型表示装置を用いる場合もある。
１つの実施例において、この頭装着型表示装置は、左右それぞれの目のための左及び右の別々の表示装置を組み込むことによって、その投影パターンを可能にする。

もう１つの実施の形態において、この表示手段１４０は時間多重化法によって動作し、ここでは、同一の表示装置が１つの場面の左側視像とそれに対応する右側視像とを交互に表示する。

動作の方式に関わりなく、この表示手段１４０は、液晶ディスプレー画面などの１つ又は複数のデジタル表示装置によって構成することができる。
あるいは、表示手段１４０は、１つ又は複数のプロジェクタ、あるいは簡素な表示技術の装置からヘッドアップ表示装置または上に述べた頭装着型表示装置などのより複雑なデジタル表示装置に至るまでの、画像を視覚化するための他のいずれかの手段によって構成することができる。

またシステム１００内には、患者の組織を視覚化及び／又は操作するための１つ又は複数の手術器具１１２も含まれる。
ＥＭＦ発生装置１０４によって伝送される無線電磁信号を検知することができる少なくとも１つのＥＭＦセンサ１１４が、手術器具１１２の少なくともその遠位端内に組み込まれ、あるいはその上に装着される。
器具１１２及びそれに組み合わされたＥＭＦセンサ１１４は、有線接続１１６を経由して中央制御装置１２０と交信する。
あるいは、各器具１１２及びそれに組み合わされたＥＭＦセンサ１１４は、先に述べたＥＭＦ発生装置１０４の場合とほぼ同様に、中央制御装置１２０と無線で交信するように構成することもできる。

例示をその目的として、以下においてはこの手術器具１１２を可撓内視鏡として述べる。
しかし、本発明はこのような１つの適用形態のみに限定されるものではなく、カテーテル、ガイド・ワイヤ、ポインタ・プローブ、ステント、シード、移植片、あるいは内視鏡（硬性内視鏡、半硬性内視鏡、可撓内視鏡を含む）などの種々の手術器具と併せて用いることもできる。

以下、上に述べたシステム１００の基本的動作について図５を参照して述べる。
患者の体１０２を手術台１０１上に配置した後、ステレオカメラ装置１０６は、２つの僅かに異なる視点から（例えば左側からと右側から）患者の体の静止又はビデオ画像の撮像を開始する（ステップ２１０）。
具体的に述べると、ステレオカメラ装置１０６は、患者の体１０２の左右の画像を撮像し、それらの画像を静止又はビデオ画像を表す電気信号へと変換し（ステップ２１２）、これらの信号を中央制御装置１２０へと送信する。
続いてこの中央制御装置１２０は、患者の体１０２の左右の画像をそれぞれ表すこれら２つの信号を処理し、患者の体１０２の１つ又は複数の立体画像を生成し、この画像が表示手段１４０上に表示される（ステップ２１４）。

図６は、この立体画像が表示手段１４０上でどのように見えるのかを示す１つの実施例である。
この実施例によれば、表示手段１４０は時間並行法によって動作し、患者の体１０２の左側画像２５０と右側画像２５２の両画像を同時に表示する。
これら２つの画像２５０、２５２は、僅かに異なる視点から撮像した、患者の体１０２の異なる視像を表す。

患者の体１０２の左側及び右側の画像が生成されている間、ＥＭＦ発生装置１０４は、連続的あるいは反復的な所定の無線信号の送信を開始する（ステップ２１６）。
この信号は手術台１０１を囲む領域を通じて伝送される。
ステレオカメラ装置１０６に取り付けられたＥＭＦセンサ１０８はこの無線信号を受信し、そしてこの信号を電気信号へと変換する。
そしてこの電気信号は接続１１０を経由して中央制御装置１２０へと伝送される（ステップ２１８、２２０）。
続いてこの中央制御装置１２０は、ＥＭＦ発生装置１０４の既知の位置と向きに対するカメラＥＭＦセンサ１０８の相対的位置と向きを定義する所定のアルゴリズムに基づいて、受信したそのカメラ・センサの信号を処理する。
これによって、ＥＭＦセンサ１０８が固定した既知の位置関係でステレオカメラ装置１０６内に組み込まれ、あるいはその上に取り付けられているために、中央制御装置１２０はＥＭＦ発生装置１０４に対するステレオカメラ装置１０６の相対的位置と向きとを判定することができる（ステップ２２２）。
ここまでに得られた情報に基づいて、中央制御装置１２０は、ＥＭＦ発生装置１０４に対する既知の位置と向きとの情報を反映した患者の体の立体画像を、表示手段１４０上に表示することができる（ステップ２２４）。

上述の動作が行われている間に、手術医は可撓内視鏡１１２の利用を開始する。
また可撓内視鏡１１２の先端部分内又はその上に取り付けられたＥＭＦセンサ１１４は、ＥＭＦ発生装置１０４によって送信される無線信号を受信する。
カメラの場合と同様に、内視鏡ＥＭＦセンサ１１４は受信した無線信号を電気信号へと変換し、この電気信号は通信線１１６を経由して中央制御装置１２０へと伝送される（ステップ２２６、２２８）。

次に中央制御装置１２０は、所定のアルゴリズムに基づいて内視鏡ＥＭＦセンサ１１４から送信される電気信号を処理し、ＥＭＦ発生装置１０４に対する、内視鏡センサ１１４の相対的位置と向き、そして内視鏡１１２自体の先端部分の相対的位置と向きを判定する（ステップ２３０）。

なお、中央制御装置１２０によるセンサ信号の処理はほぼ連続ベースで行われるものであり、これによって中央制御装置１２０は、ステレオカメラ装置１０６（また患者の体１０２）及び内視鏡ＥＭＦセンサ１１４の相対的位置と向きを、基本的にそれらがどの位置にあってもリアルタイムで判定することができる。
これは、手術医によって利用される際にその位置と向きとの変化が恐らく最も激しい内視鏡ＥＭＦセンサ１１４に関して特に重要である。
それとは対照的に、ステレオカメラ装置１０６と患者の体１０２は（この装置が適切に機能するための必要条件というわけではないが）、外科治療の際にその位置と向きとがほぼ固定されている。

次に中央制御装置１２０は、内視鏡ＥＭＦセンサ１１４の相対的位置と向きと、患者の体１０２の相対的位置と向きとを比較する（ステップ２３２）。
続いて中央制御装置１２０は、内視鏡１１２のグラフィック表示を、表示手段１４０上に表示される患者の体の立体画像上に重ね合わせる（ステップ２３４）。
さらに、内視鏡１１２のこのグラフィック表示は、患者の体１０２に対する内視鏡１１２の先端部の実際の位置と向きを正確に反映させるため、ほぼリアルタイムで更新される。
従って手術医は、単に表示手段１４０を視認し、表示されている患者の体の立体画像上の内視鏡先端部の相対的位置と向きとに留意することにより、患者の体に対する可撓内視鏡１１２の先端部の位置と向きを迅速に確認することができる。

上述の装置がどのように機能するのかをさらに明確にするため、図７Ａ〜７Ｃを参照されたい。図７Ａ〜７Ｃにおいては、患者の体の立体画像を表示する表示手段３００の種々の実施例が示される。
なお、紙上に三次元画像を表現することの固有の限界のため、また明確化のために、図７Ａ〜７Ｃにおいては、図６において示したようなより従来的な立体画像を示さない。
その代わりに、図７Ａ〜７Ｃにおいては、大きく異なった視点から撮像した、患者の体の２つの二次元グラフィック表示からなる比較的非従来的な立体画像を示す。
この図において、１つは患者の体を上から見た像３１０であり、他方は患者の体の側面を見た像３２０である。
しかし留意すべきこととして、図７Ａ〜７Ｃを参照して以下に述べる実施の形態は、図６の実施例において示されるようなより従来的な立体画像に対しても同様に適用が可能である。

図７Ａの実施の形態においては、表示手段３００上で、内視鏡ＥＭＦセンサ１１４の位置が点３３０としてグラフィックで分かり易く示される。
その結果、手術医は、内視鏡の実際の先端を自分自身の目で視認できない場合でも、表示手段３００を視て、患者の体に対する内視鏡ＥＭＦセンサの実際の三次元的位置（この例では“向き”は含まない）そしてこの内視鏡の先端部の三次元的位置を迅速に確認することができる。

図７Ｂの実施の形態においては、内視鏡ＥＭＦセンサ１１４が、線、矢印又はポインタ３３２として表示手段３００上にグラフィックで表示される。
その結果、手術医は、表示手段３００を視て、患者の体内の内視鏡先端部の実際の三次元位置及び向きを迅速に確認することができる。

図７Ｃのもう１つの実施の形態においても、内視鏡ＥＭＦセンサ１１４が、線、矢印又はポインタ３３２として表示手段３００上にグラフィックで表示される。
しかしポインタ３３２の通過跡が点線３３４として表示され、これは第１の準実施形態として、センサ１１４がポインタ３３２によって示される現在位置に到達する前に通過した経路を表している。
この場合、中央制御装置は、表示手段３００上に、センサ１１４の現在位置を示すもの（例えば矢印又はポインタ）とは異なるグラフィック表示（例えば点線又は有色線）を利用して、内視鏡ＥＭＦセンサ１１４の現在位置に至るまでに通過した位置を表示させる。

図７Ｃの第２の準実施形態において、点線３３４は、可撓内視鏡の先端部に続く挿入チューブの少なくとも一部分の実際の位置を表す。
この実施の形態においては、内視鏡に、この内視鏡の挿入チューブの全長の少なくとも一部に沿って、複数のＥＭＦセンサを組み込むかあるいは取り付け、中央制御装置が個々のＥＭＦセンサの位置と向きをトラッキングする。

上に述べたように、内視鏡などの手術器具の１つ又は複数の部分の位置と向きを示すために、表示手段において、異なる形状及びサイズのグラフィック表示が利用される。
先の実施の形態においては、器具の少なくとも先端部の位置と向きとを示すために、矢印又はポインタなどの単純なグラフィック表示が利用された。
しかし他のもう１つの実施の形態によれば、この装置は、この装置によってモニタリングされる特定の器具と形状の一致したグラフィック表示を生成できるように構成される。
従って、例えば、この装置を硬性内視鏡の位置と向きのトラッキングに利用する場合、中央制御装置は、表示手段上に、この器具を硬性内視鏡として視覚的に表示するように構成される。
もう１つの実施例において、この装置が、手術による移植片の位置と向きをトラッキングする場合、この装置は、表示手段上にこの移植片にグラフィック的に類似した像を表示すように構成され、手術医はこれを利用してこの移植片の実際の位置と向きとを監視する。

他のもう１つの実施の形態によれば、この装置によってトラッキングされる実際の手術器具が、ユーザによってプログラミングされた対応するグラフィック・オブジェクトとして表示手段上に表示される。
あるいは、異なる種々の手術器具に対応した、異なるサイズ及び形状の複数のグラフィック・オブジェクトを、前もって中央制御装置にプログラミングすることもできる。
この場合、ユーザは、前もってプログラミングしたものの内、装置によってトラッキングされる手術器具に最も類似したグラフィック・オブジェクトを選択しさえすればよい。

さらにもう１つの実施の形態によれば、中央制御装置が、前もってプログラミングされたものの内、手術器具に組み込まれたメモリに何らかの形でエンコードされた識別コード又は他のデータに基づいて、トラッキングされる実際の手術器具に最も類似したグラフィック・オブジェクトを自動的に選択する。
従って、例えば半硬性内視鏡を装置に接続する場合、中央制御装置は、この内視鏡上のバーコードを光学的にスキャンするか、あるいはこの内視鏡に組み込まれた無線ＲＦＩＤタグ又は配線メモリ・チップからデータを読み取るなどして、この内視鏡のメモリを照会する。
特定の内視鏡に対する特定の識別データを修正する際には、中央制御装置は、ローカルあるいはリモートのデータベースを検索し、この特定の内視鏡を表示手段上に表示するために最も適切なグラフィック・オブジェクトを判定する。

図８は本発明のさらにもう１つの実施の形態を示す。図３と同様に、図８に示す装置４００は、ステレオカメラ４０６とそれに組み合わされたＥＭＦセンサ４０８、中央制御装置４２０、表示手段４４０、及び１つ又は複数のＥＭＦセンサ４１４を組み込んだ可撓内視鏡などの、１つ又は複数の手術器具４１２によって構成される。
しかしこの実施の形態においては、上に述べた小さく、より点状源的なＥＭＦ発生装置の代わりに、それよりも大きくて平坦なＥＭＦ発生装置４０４を使用する。
このＥＭＦ発生装置４０４は、手術台４０１上、その下あるいはその内部に取り付けられ、手術台においてしばしば使用される金属部品によって生じる電磁波妨害をより効果的に克服する電磁無線信号を送信する。

本発明のさらにもう１つの実施の形態によれば、手術器具の位置及び向きのトラッキング・システム５００は、少なくとも３つの下位システムによって構成される。
図９に示すように、トラッキング下位システム５１０は、このシステム５００によってトラッキングされる１つ又は複数の手術器具の位置と向きを示すリアルタイムの位置データを生成するように機能する。
このトラッキング下位システム５１０には、ステレオカメラ装置５１２、組織を遠隔的に視認し、操作するための少なくとも１つの手術器具５１４、この手術器具に組み込まれ、あるいは取り付けられる少なくとも１つのＥＭＦセンサ５１６、ステレオカメラ装置に組み込まれ、あるいは取り付けられる少なくとも１つのＥＭＦセンサ５１８、無線トラッキング信号を送信するためのＥＭＦ発生装置５２０、ＥＭＦ発生装置及び種々のＥＭＦセンサを調整し、制御するための電磁トラッキング制御装置５２２が含まれる。

また、システム５００にはデータ・プロセッサ下位システム５４０も含まれる。
下位システム５４０には、患者の体の撮像、また手術中リアルタイムでの二次元スキャンが可能な、ステレオカメラ装置のためのインターフェース要素５４２が含まれる。
また、トラッキングされる手術器具の位置と向きを示すために利用されるグラフィック・モデルを生成するための、モデル生成要素５４４も含まれる。
また最後に、所定の平面上の１つのポイントに対する所定の三次元ポイントの透視投影を計算するための投影変換要素５４６も含まれる。

また、システム５００には、手術医に対して音響及び映像出力を提供し、且つユーザ入力にも対応するように機能する、ユーザ・インターフェース下位システム５６０も含まれる。
この下位システム５６０には、内視鏡などの１つ又は複数の手術器具によって、またステレオカメラ装置によって得られるビデオ信号データを表示することができる表示装置５６４が含まれる。
マージ要素５６２は、手術器具を表すグラフィック・モデルと、ステレオカメラ装置５１２によって生成される患者の体の立体画像とを合併させ、それにより表示装置によって表示可能なビデオ信号を生成するように機能する。

手術器具の位置及び方向トラッキング・システム５００の全体的動作を図１０の系統図によって示す。
ステレオカメラ装置５１２によって左右のカメラ出力６１０Ａ及び６１０Ｂがそれぞれ生成され、これらはカメラ・インターフェース要素５４２へと送られ、ここで患者の体の二次元スキャンが生成される。
次にこれら左右の二次元スキャンはマージ要素５６２へと送られ、ここで患者の体の１つ又は複数の立体画像が生成される。
同時に、１つ又は複数のカメラ位置センサ・スキャン６１２Ａ及び６１２Ｂによって、システムは、ＥＭＦ発生装置５２０に対するカメラの位置を判定し、これによって各二次元カメラ・スキャンを既知の相対位置を含んだ像面方程式として表示することが可能となる。
これらカメラ位置センサ・スキャン６１２Ａ及び６１２Ｂは投影変換要素５４６へと送られ、ここでこのカメラの相対的位置と向きが患者の体の立体画像に対して対応付けられる。
同時に、器具位置センサ・スキャン６１４は、ＥＭＦ発生装置５２０に対する手術器具５１４の位置と向きの情報をリアルタイムで提供する。
この器具位置センサ・スキャン・データ６１４は、まずモデル生成要素５４４へと送られ、ここでこの手術器具のモデル又はグラフィック表示が生成され、続いてこれが表示装置５６４上に表示される。
次にこの器具位置センサ・データ６１４及びそれを基に生成された器具グラフィック・モデル・データ５４４は投影変換要素５４６へと送られる。
ここで、この器具位置データは、共通の基準フレーム（それらのＥＭＦ発生装置５２０に対する相対的位置）に基づいて、カメラ位置データと対応付けられる。
次にこのデータは全てマージ要素５６２へと送られ、ここで、上述のように二重の二次元カメラ・スキャンによってトラッキングされた手術器具のグラフィック・モデルが重ね合わせられ、そしてこの手術器具の相対的位置と向きを示すグラフィック表示と重ね合わせられた患者の体の立体画像を表すビデオ信号が生成される。
続いてこのマージ要素５６２によって生成されたこのビデオ信号が表示装置５６４へと送られ、この表示装置上で表示されることにより、手術医による視認が可能となる。

ここまでに述べた実施の形態において、手術器具の三次元位置及び向きのリアルタイムでのトラッキングは、電磁場［ＥＭＦ］発生装置と組み合わせて用いられるステレオカメラ装置と、それに組み合わされたＥＭＦセンサとを利用することによって行われる。
このシステムの稼動の過程で、ＥＭＦ発生装置は無線信号を送信し、この信号は手術台の周囲の空間領域を通じて伝送される。
ＥＭＦセンサは無線信号を伴った磁場を検出し、それに対応する信号を生成する。
この信号は中央制御装置へと伝送され、ここで予め定義された１つ又は複数のアルゴリズムによって処理され、磁場の発生源であるＥＭＦ発生装置に対するＥＭＦセンサの正確な三次元位置及び向きが判定される。
ＥＭＦセンサの位置に物理的なズレが生じた場合、このセンサによって検出される磁場にも僅かな変化が生じ、これらの変化を反映した新たな三次元の位置座標（Ｘ、Ｙ、Ｚ）及び／又は姿勢座標（ヨー（偏揺れ）、ピッチ（縦揺れ）、ロール（横揺れ））が生成される。

上に述べた磁気位置検出プロセスは、磁場の相対的強度及び方向を検出することができる異方性磁気抵抗（ＡＭＲ）センサの使用に依存する。
この磁場の相対的強度及び方向は検出された後に電気的に計量される。
上に述べてきた実施の形態において利用可能な、好適なＥＭＦ発生装置及びＡＭＲ センサの例には、多軸送信装置）と、それに組み合わせて用いられるＡｓｃｅｎｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐｏｒａｔｉｏｎ製で米国特許第６，７５４，５９６号明細書においてより詳細に述べられる１．３及び１．８ ｍｍ ｍｉｃｒｏＢＩＲＤＴＭ ＴＭセンサが挙げられる。
該開示内容は参照によって本明細書に組み込まれる。

本発明を、磁気位置検出技術の代わりに、他の無線トラッキング技術を利用して稼動するように構成することも可能である。
例として、図１１に、医療処置の過程で手術器具の位置をトラッキングするためのもう１つのシステムを示す。
上に述べてきた実施の形態と同様に、トラッキング・システム７００には、患者の体７０２の立体画像を撮像するためのステレオカメラ装置７０６が含まれる。
また同様に、中央制御装置７３０及び表示手段７４０も含まれる。
しかし、上に述べてきた実施の形態とは異なり、システム７００では、手術器具及びカメラ装置に組み込まれる複数のＥＭＦセンサにより検出される磁場を生成するための単一のＥＭＦ発生装置を利用しない。
その代わりに、システム７００においては、手術台の周りの空間の３つの既知の静止位置に、最低限３つの無線送信装置７２０Ａ、７２０Ｂ、７２０Ｃを配置する。
トラッキングされる手術器具７１２にはセンサ７１４が組み込まれ、あるいはその上に取り付けられており、このセンサ７１４は、３つの送信装置７２０から送信される各無線信号を同時に受信することができる。
各無線送信装置７２０Ａ〜７２０Ｃは、米軍のグローバル・ポジショニング・サテライト（ＧＰＳ）ネットワークの稼動と同様の形態で、独自の時間コード化された無線信号を発生する。
手術器具７１２が利用される際、そのセンサ７１４は３つ全ての無線信号を受信し、それを接続７１６を通じて中央制御装置７３０へと送信する。
次に中央制御装置７３０は、その独自の同期された時間クロックと、これら３つの無線信号のそれぞれに含まれる時間コードとを比較することにより、任意の時点において器具センサ７１４と無線送信装置７２０Ａ〜７２０Ｃとの間に存在している距離を判定する。
続いて中央制御装置７３０は、三次元三辺測量又は三角測量などの計算法を利用することにより、器具センサ７１４の具体的な三次元位置及び向きを判定し、それに基づいて手術器具７１２自体の位置と向きを判定する。
カメラ・センサ７０８を利用する内視鏡カメラ装置７０６についても、これと同じプロセスが繰り返される。
つまり、カメラ・センサ７０８及び器具センサ７１４両方の三次元位置は、共通の基準フレーム（３つの無線送信装置７２０）に相関して判定される。
ここから先は、システム７００は上に述べてきた実施の形態と同じ態様で稼動する。
システム７００において、患者の体７０２の１つ又は複数の立体画像は表示手段７４０上に表示され、そこで手術器具７１２の患者の体に対する位置と向きを示すいずれかの形態のグラフィック表示と重ね合わせられる。

本発明のさらにもう１つの実施の形態において、器具トラッキング・システムは、表示装置上に患者の体の立体画像を表示せず、また手術器具に相当するいずれかの形態のグラフィック・オブジェクトを重ね合わせもしない。
その代わりに、システムの制御装置が手術器具の患者の体内での実際の位置を判定する際、この制御装置は、いずれかの形態のビーム（例えば低出力ビーム）の患者の体への直接的な投射を開始する。
この手術器具が動き出すと、患者の体に投射されるビームもまた動き出し、この手術器具の動きをトラッキングする。
つまりこの実施の形態においては、手術器具のグラフィック表示を患者の体の立体画像上に重ね合わせ、この結合した画像を表示装置上に表示する代わりに、手術器具の画像あるいはその他のグラフィック表示を実際の患者の体上に直接投影する。

上に述べた実施の形態の変型例において、トラッキング・システムは、特に、ＥＭＦ発生装置、手術器具に組み込まれた１つ又は複数のＥＭＦセンサ、ビームを患者の体に投射する手段、システムがこの投射手段のＥＭＦ発生装置に対する三次元位置を判定することができるようにこの投射手段に組み込まれた１つ又は複数のＥＭＦセンサを含む。

本発明のさらにもう１つの実施の形態において、上に述べてきた１つ又は複数のシステムが、患者の体の周囲の別々の位置に配置された２つ又はそれ以上のステレオカメラ装置を含むように修正される。
その結果として、この修正されたシステムは複数の立体視像を生成することができ、これら複数の視像はそれぞれ異なる視点から眺めた患者の体を現す。

上に述べてきた実施の形態においては、ステレオカメラ又はカメラは、患者の体の周囲の仮定上固定した位置に配置されていた。
しかし、もう１つの実施の形態において、システム上の１つ又は複数のステレオカメラは、固定位置に配置されるのではなく、移動させることができる。
第１の実施例において、カメラは、手術の過程で異なった視点からの患者の立体視像が得られるよう再配置することができるように、移動可能に取り付けられる。
第２の実施例において、カメラは持ち運びが可能で、手術スタッフの一員によって保持される。
この場合例えば、カメラは、眼鏡あるいは頭部に装着するものとして手術医によって保持され、その結果としてカメラが手術医の動きをトラッキングできるように構成される。
その結果、カメラは、手術医によって現在視認されている患者の体の部分を撮像し、その立体画像を生成する。
このシステムの利点は、手術医が、非常に多くの視点からの患者の体の立体画像を得られるという点である。

また類似の実施の形態において、システムは、例えば眼鏡や頭部装着物のような形で手術医によって保持あるいは装着されるステレオカメラを含む。
しかしこの実施の形態においては、カメラは、カメラと患者の体との間の距離に基づいて自動的に調節が可能なズーミング性能を有する。
この場合例えば、カメラは、手術医が患者の体に接近したりあるいは遠ざかったりすることに応じて、所定のあるいは算出された量分自動的にズーム・インまたズーム・アウトするように構成される。
もう１つの実施例において、このシステムは、カメラのズーム・レベルに応じて、患者の体の画像及び手術器具を表すグラフィック・オブジェクトを含めた、表示される立体画像のスケールを自動的に調節することができるように構成される。

ここまで本発明を、特定の例示的実施の形態を参照して述べてきたが、本発明は上に述べてきた実施の形態に限定されるものではなく、添付請求項に示す本発明の精神及び範囲内で修正又は変型が可能であることが理解されなければならない。
従って、本明細書及び図面の内容は、制限的な意味合いを持つものではなく、例示的な意味合いを持ったものであると見なされなければならない。

従来の可撓内視鏡を示す図である。 患者の上部胃腸管の組織を検査及び／又は操作するための可撓内視鏡の使用を示す図である。 本発明の１つの実施の形態による、手術器具の三次元位置及び向きをトラッキング（自動追尾）するための装置を示す図である。 俯瞰的投影の例を示す図である。 本発明の１つの実施の形態による、手術器具の三次元位置及び向きのトラッキングのステップを示すフローチャートである。 タイムパラレルな立体画像の例を示す図である。 本発明の代替的実施の形態による、表示装置上に示される情報のタイプの例を示す図である。 本発明の代替的実施の形態による、表示装置上に示される情報のタイプの例を示す図である。 本発明の代替的実施の形態による、表示装置上に示される情報のタイプの例を示す図である。 本発明のさらにもう１つの実施の形態による、手術器具の三次元位置及び向きをトラッキングするための装置を示す図である。 本発明のさらに別の実施の形態による、手術器具の三次元位置及び向きをトラッキングするための装置を示す図である。 図９に示す装置におけるデータの流れと処理を示すチャートである。 本発明のさらに別の実施の形態による、複数のトランスミッタを用いた手術器具の三次元位置及び向きをトラッキングするための装置を示す図である。

符号の説明

１００ システム
１０１ 手術台
１０２ 患者の体
１０４ 電磁場［ＥＭＦ］発生装置
１２０ 中央制御装置
１０６ ステレオカメラ装置
１０８ ＥＭＦセンサ

Claims (6)

1. 手術中に患者の体内で手術器具が使われている間に、その器具の三次元位置と向きをトラッキングするためのシステムにおいて、
   前記患者の体の１つ又は複数の立体画像を生成するためのステレオカメラ装置と、
   前記患者の体の１つ又は複数の立体画像を表示するための表示装置と、
   組織を観察及び／又は操作するために患者の体内に挿入されるように構成された少なくとも１つの手術器具と、
   １つの電磁場を無線で発信するための電磁場（ＥＭＦ）発生装置と、
   前記ステレオカメラ装置に組み込まれるかあるいは搭載され、前記ＥＭＦ発生装置によって発信された電磁場を検出して、１つの信号を出力する少なくとも１つの電磁場（ＥＭＦ）センサと、
   前記少なくとも１つの手術器具に組み込まれるかあるいは搭載され、前記ＥＭＦ発生装置によって発信された電磁場を検出して、１つの信号を出力する少なくとも１つの電磁場（ＥＭＦ）センサと、
   前記ステレオカメラ装置に関連付けられたＥＭＦセンサからの出力信号と前記手術器具に関連付けられたＥＭＦセンサからの出力信号の両方を受信し、前記手術器具に関連づけられたＥＭＦセンサの前記患者の体に対する三次元位置及び向きを計算して、前記手術器具のグラフィック表示を前記表示装置上に表示されている患者の体の１つあるいは複数の立体画像に重ね合わせるためのプロセッサと
   を含むシステムであって、
   前記手術器具の重ね合わせられたグラフィック表示が、前記患者の体に対する前記手術器具の三次元位置と向きをリアルタイムで示す
   ことを特徴とする患者の体との関係で手術器具を三次元トラッキングするためのシステム。
2. 前記ＥＭＦ発生装置が、患者の体を支えるように構成された手術台に組み込まれるかあるいは搭載される
   ことを特徴とする請求項１に記載の患者の体との関係で手術器具を三次元トラッキングするためのシステム。
3. 前記手術器具のグラフィック表示が、前記手術器具の位置及び向きの単一の可視インジケータで構成される
   ことを特徴とする請求項１に記載の患者の体との関係で手術器具を三次元トラッキングするためのシステム。
4. 前記手術器具のグラフィック表示が、前記手術器具の外観を近似的に示すグラフィック・モデルで構成される
   ことを特徴とする請求項１に記載の患者の体との関係で手術器具を三次元トラッキングするためのシステム。
5. 前記ＥＭＦ発生装置が、異なった軸上で一連の電磁信号を発信する多軸送信装置である
   ことを特徴とする請求項１に記載の患者の体との関係で手術器具を三次元トラッキングするためのシステム。
6. 前記システムが、前記手術器具に特有でその内部に記憶保存されており、前記プロセッサによって受信される識別データに基づいて、手術器具の適切なグラフィック表示を自動的に判定する
   ことを特徴とする請求項１に記載の患者の体との関係で手術器具を三次元トラッキングするためのシステム。

Images