JP6736594B2 - 多数のビジョンシステムのレジストレーションのための医療システム - Google Patents

Description

本開示は、最小侵襲手技を行うよう患者の解剖学的形態を進むためのシステム及び方法を対象としており、特に、最小侵襲手技を行う際に使用される多数のビジョンシステムを位置合わせするためのシステム及び方法を対象としている。

最小侵襲医療技術は、介入的手技の間にダメージを受ける組織の量を減らし、その結果、患者の回復時間を短くする、不快感を減らす、及び、有害な副作用を減らすように意図される。そのような最小侵襲技術は、患者の解剖学的形態における自然孔を介して、又は、１つ又は複数の外科的切開を介して行われてもよい。これらの自然孔又は切開を介して、臨床医は、（手術用器具、診断用器具、治療用器具又は生検用器具を含む）介入的器具を挿入して標的組織位置に到達してもよい。標的組織位置に到達するために、最小侵襲介入的器具は、肺、大腸、腸管、腎臓、心臓若しくは循環器系等の解剖学的システム内の自然の又は外科的に作られた通路を進んでもよい。多数のシステムを使用して、解剖学的通路を通って介入的器具を導くことにおいて臨床医を補助してもよい。これらのシステムは、介入的器具の視点からの解剖学的通路の視野を臨床医に表示する可視化システムを含む。

多数の可視化システムを利用して臨床医の介入的器具の位置及びポーズの理解を高めるための改善されたシステム及び方法が必要である。

本発明の実施形態が、以下に続く特許請求の範囲によって要約される。

一実施形態において、方法が、解剖領域のモデルを生成するステップ、及び、解剖領域内に置かれた内視鏡画像キャプチャプローブから本物の画像を受けるステップを含む。当該方法は、本物の画像内の本物の基準領域を同定するステップ、及び、解剖領域のモデル内の複数の仮想的な組織構造体を同定するステップをさらに含む。当該方法は、複数の仮想的な組織構造体の１つを本物の基準領域と一致させるステップ、及び、一致させられた複数の仮想的な組織構造体の１つから、内視鏡画像キャプチャプローブのプローブポーズを決定するステップをさらに含む。

別の実施形態において、医療システムが、可撓性カテーテル本体、カテーテル本体内で延びる画像キャプチャプローブ、及び、解剖領域を描く解剖学的データを記憶するメモリを含む。当該システムは、解剖領域のモデルを生成する、及び、解剖領域内に置かれた画像キャプチャプローブから本物の画像を受けるように構成されるプロセッサをさらに含む。プロセッサは、本物の画像内の本物の基準領域を同定する、及び、解剖領域のモデル内の複数の仮想的な組織構造体を同定するようさらに構成される。プロセッサは、複数の仮想的な組織構造体の１つを本物の基準領域と一致させる、及び、一致させられた複数の仮想的な組織構造体の１つから、画像キャプチャプローブのプローブポーズを決定するようさらに構成される。

解剖学的画像を位置合わせする方法であって、当該方法は、解剖領域の三次元モデルを生成するステップ、及び、解剖領域内に置かれた内視鏡画像キャプチャプローブから本物の画像を受けるステップを含む。当該方法は、本物の画像内の本物の基準領域を同定するステップ、及び、プローブの先端が位置する解剖領域の小領域を同定する位置センサから位置情報を受けるステップをさらに含む。当該方法は、小領域内の複数の仮想的な組織構造体を同定するステップ、小領域内の複数の仮想的な組織構造体の１つを本物の基準領域と一致させるステップ、及び、一致させられた小領域内の複数の仮想的な組織構造体の１つから、内視鏡画像キャプチャプローブのプローブポーズを決定するステップをさらに含む。

本開示の態様は、以下の詳細な説明から、付随の図と共に読まれた場合に最も理解される。当産業における標準的技法に従って、種々の特徴は一定の比例に応じて描かれているのではないということが強調される。実際、種々の特徴の大きさは、考察を明瞭にするため、任意に増やすか又は減らしてもよい。加えて、本開示は、種々の例において参照番号及び／又は文字を繰り返してもよい。この繰り返しは、簡潔性及び明瞭性のためであり、それ自体が、考察される種々の実施形態及び／又は構成間の関係を決定するわけではない。

本開示の実施形態によるロボット介入的システムを示した図である。 本開示の態様を利用した介入的器具システムを例示した図である。 肺内の可視化器具からのサンプルの本物の画像を示した図である。 図３ａの本物の画像から抽出された組織構造体の表現を示した図である。 図３ａの本物の画像から抽出された組織構造体の階層的表現を示した図である。 図３ａの本物の画像から抽出された組織構造体の階層的表現を示した図である。 最小侵襲器具が挿入された肺を描く追跡画像を示した図である。 図３ｅの追跡画像の小領域の拡大図である。 本物の画像、仮想的な画像、マイクロ追跡画像及びマクロ追跡画像を表示する例証的な表示画面を示した図である。 多数の可視化システムを位置合わせするための方法を例示した流れ図である。 多数の可視化システムを位置合わせするための方法を例示した流れ図である。 多数の可視化システムを位置合わせするための方法を例示した流れ図である。 多数の可視化システムを位置合わせするための方法を例示した流れ図である。

以下の本発明の態様の詳細な説明において、数多くの特定の詳細が明記され、開示される実施形態の完全な理解を提供している。しかし、この開示の実施形態は、これらの特定の詳細を要することなく実行されてもよいということが当業者には明らかになる。他の例において、よく知られた方法、手順、構成要素及び回路は、本発明の実施形態の態様を不必要に不明瞭にしないように詳細に記載されていない。さらに、必要でない説明の繰返しを回避するために、１つの例示的な実施形態に従って記載される１つ又は複数の構成要素若しくは動作は、他の例示的な実施形態から適用可能であるとして使用する又は省くことができる。

以下の実施形態は、種々の器具及び器具の一部を、三次元空間におけるその状態の観点から説明している。本明細書において使用される場合、「位置」という用語は、（例えば、デカルトＸ、Ｙ、Ｚ座標に沿った３つの並進移動（ｔｒａｎｓｌａｔｉｏｎａｌ）自由度等）三次元空間における対象又は対象の一部の位置を意味する。本明細書において使用される場合、「方向」という用語は、対象又は対象の一部の回転による配置（３つの回転自由度、例えばロール、ピッチ及びヨー等）を意味する。本明細書において使用される場合、「ポーズ」という用語は、（全部で６つの自由度までで）少なくとも１つの並進移動自由度における対象又は対象の一部の位置、及び、少なくとも１つの回転自由度におけるその対象又は対象の一部の方向を意味する。本明細書において使用される場合、「形状」という用語は、対象に沿って測定されるポーズ、位置又は方向のセットを意味する。

図面の図１を参考にすると、例えば手術、診断、治療又は生検手技において使用するためのロボット介入的システムが、参照番号１００によって概して示されている。図１において示されているように、ロボットシステム１００は、一般に、患者Ｐに対して種々の手技を行うことにおいて介入的器具１０４を操作するための介入的マニピュレーターアセンブリ１０２を含む。アセンブリ１０２は、手術台Ｏに載せられるか又はその近くにある。マスターアセンブリ１０６は、外科医Ｓが手術部位を見るのを、及び、スレーブマニピュレーターアセンブリ１０２を制御するのを可能にする。

マスターアセンブリ１０６は、手術台Ｏと同じ室内に通常置かれる外科医のコンソールＣに置かれてもよい。しかし、外科医Ｓは、患者Ｐとは異なる部屋又は完全に異なる建物に置くことができるということが理解されるべきである。マスターアセンブリ１０６は、一般に、任意の支持物１０８、及び、マニピュレーターアセンブリ１０２を制御するための１つ又は複数の制御装置１１２を含む。１つ又は複数の制御装置１１２は、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動操作制御装置、音声認識装置、又は、身体動作若しくは存在センサ等、いかなる数の種々の入力装置を含んでもよい。いくつかの実施形態において、１つ又は複数の制御装置１１２には、付随の介入的器具１０４と同じ自由度が提供されて、テレプレゼンス、又は、１つ又は複数の制御装置１１２が器具１０４と一体であるという知覚を外科医に提供するため、外科医は、器具１０４を直接制御しているという強い感覚を有する。他の実施形態において、１つ又は複数の制御装置１１２は、付随の介入的器具１０４よりも多い又は少ない自由度を有し、外科医にテレプレゼンスを依然として提供してもよい。いくつかの実施形態において、１つ又は複数の制御装置１１２は、６つの自由度で動く手動の入力装置であり、（例えば、はさみ口（ｇｒａｓｐｉｎｇ ｊａｗ）を閉じるため、電極に電位を加えるため又は薬物治療を送達するため等）器具を作動させるための作動可能ハンドルも含んでよい。

別の実施形態において、ロボットシステムは、２つ以上のスレーブマニピュレーターアセンブリ及び／又は２つ以上のマスターアセンブリを含んでもよい。マニピュレーターアセンブリの正確な数は、複数の要因の中でも外科手術手技及び手術室内の空間制限次第である。マスターアセンブリは一か所に置かれてもよく、又は、別の位置に置かれてもよい。多数のマスターアセンブリは、二人以上のオペレータが、種々の組み合わせの１つ又は複数のスレーブマニピュレーターアセンブリを制御するのを可能にする。

可視化システム１１０は、手術部位の同時発生（リアルタイム）画像が外科医コンソールＣに提供されるように、内視鏡システムを含んでもよい。同時発生画像は、例えば、手術部位内に置かれた内視鏡プローブによってキャプチャされる二次元又は三次元画像であってもよい。この実施形態において、可視化システム１１０は、介入的器具１０４に統合して又は取外し可能に結合されてもよい内視鏡的構成要素を含む。しかし、別の実施形態において、別のマニピュレーターアセンブリに取り付けられた別の内視鏡を使用し、手術部位を画像表示してもよい。或いは、別の内視鏡アセンブリは、ロボット制御を要することなく、ユーザによって直接作動させられてもよい。内視鏡アセンブリは、（例えば遠隔操作ステアリングワイヤを介して等）アクティブステアリング、又は、（例えばガイドワイヤ若しくは直接的なユーザの指導を介して等）パッシブステアリングを含んでもよい。可視化システム１１０は、１つ又は複数のコンピュータプロセッサと相互作用するか又さもなければ１つ又は複数のコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア又はその組み合わせとして実行されてもよく、１つ又は複数のコンピュータプロセッサは、制御システム１１６の１つ又は複数のプロセッサを含んでもよい。

表示システム１１１は、可視化システム１１０によってキャプチャされた手術部位及び介入的器具の画像を表示してもよい。ディスプレイ１１１及び１つ又は複数のマスター制御装置１１２は、スコープアセンブリにおける画像処理装置と介入的器具との相対位置が、外科医の眼と１つ又は複数の手との相対位置と類似するように方向づけられてもよく、従って、オペレータは、実質的に本当に目の前で作業空間を見ているかのように、介入的器具１０４及び１つ又は複数のマスター制御装置１１２を操縦することができる。本当に目の前でとは、表示される組織の画像が、イメージャの位置にてオペレータが物理的に存在し且つイメージャの視点からの組織を直接見ているかのようにオペレータのもとに現れるということを意味している。

或いは又は加えて、表示システム１１１は、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、蛍光透視法、サーモグラフィー、超音波、光干渉断層撮影法（ＯＣＴ）、熱画像測定、インピーダンス画像法、レーザー画像法又はナノチューブＸ線画像法等の画像処理技術を使用して手術前に記録された及び／又はモデリングされた手術部位の画像を示してもよい。示された手術前画像は、二次元、三次元、又は、（例えば時間ベース若しくは速度ベースの情報を含む）四次元の画像を含んでもよい。

いくつかの実施形態において、表示システム１１１は、介入的器具の実際の位置が、手術前又は同時発生の画像に位置合わせされて（例えば動的に参照されて）手術器具の先端の位置の内部の手術部位の仮想的な画像を外科医Ｓに与える仮想的な可視化画像を表示してもよい。

他の実施形態において、表示システム１１１は、介入的器具の実際の位置が、（手術前に記録された画像を含む）前の画像又は同時発生の画像に位置合わせされて、手術部位の介入的器具の仮想的な画像を外科医Ｓに与える仮想的な可視化画像を表示してもよい。介入的器具の一部の画像を仮想的な画像に重ねて、介入的器具を制御する外科医を補助してもよい。

図１において示されているように、制御システム１１６は、外科用スレーブマニピュレーターアセンブリ１０２とマスターアセンブリ１０６と可視化システム１１０と表示システム１１１との間の制御に影響を与えるための少なくとも１つのプロセッサ（図示せず）及び典型的には複数のプロセッサを含む。制御システム１１６は、本明細書において記載される方法の一部又は全てを実行するプログラムによる命令（例えば、命令を記憶するコンピュータ可読媒体）も含む。制御システム１１６は、図１の概略図において単一のブロックとして示されているけれども、このシステムは、処理の少なくとも一部が任意で外科用スレーブマニピュレーターアセンブリに隣接して行わる、一部がマスターアセンブリに隣接して行われる等、（例えば、外科用スレーブマニピュレーターアセンブリ１０２及び／又はマスターアセンブリ１０６上に）多くのデータ処理回路を含んでもよい。種々様々な集中型又は分散型データ処理アーキテクチャーのいずれも利用してよい。同様に、プログラムによる命令を、多くの別のプログラム若しくはサブルーチンとして実行してもよく、又は、本明細書に記載されるロボットシステムの多くの他の態様に統合させてもよい。一実施形態において、制御システム１１６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩｒＤＡ、ＨｏｍｅＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ及びＷｉｒｅｌｅｓｓ Ｔｅｌｅｍｅｔｒｙ等の無線通信プロトコルをサポートしてもよい。

いくつかの実施形態において、制御システム１１６は、介入的器具１０４からの力及びトルクフィードバックを、１つ又は複数の制御装置１１２に対する１つ又は複数の対応するサーボモータに提供するために１つ又は複数のサーボコントローラを含んでもよい。１つ又は複数のサーボコントローラは、体内の開口部を介して患者の体内の内部手術部位内に延びる器具を動かすようマニピュレーターアセンブリ１０２に指示する信号を送ることもできる。いかなる適した従来又は専門のサーボコントローラも使用してよい。サーボコントローラは、マニピュレーターアセンブリ１０２とは別であってもよく、又は、マニピュレーターアセンブリ１０２と一体であってもよい。いくつかの実施形態において、サーボコントローラ及びマニピュレーターアセンブリは、患者の体に隣接して置かれるロボットアームカートの一部として提供される。

各マニピュレーターアセンブリ１０２が介入的器具１０４をサポートし、さらに、１つ又は複数のノンサーボ制御リンク（例えば、一般的にはセットアップ構造と呼ばれる、しかるべき所に手動で置く及び固定することができる１つ又は複数のリンク）及びロボットマニピュレーターの運動力学的構造を含んでもよい。ロボットマニピュレーターアセンブリ１０２は、複数の作動装置（例えばモータ等）によって駆動されてもよい。これらのモータは、制御システム１１６からのコマンドに応答してロボットマニピュレーターを能動的に動かす。モータは、自然に又は外科的に作られた解剖学的孔の中に介入的器具を進めるよう、及び、複数の自由度において介入的器具の遠位端を動かすように介入的器具にさらに結合され、複数の自由度は、（例えばＸ、Ｙ、Ｚのデカルト軸に沿った直進運動等の）３つの直線運動度、及び、（例えば、Ｘ、Ｙ、Ｚのデカルト軸を中心とした回転等の）３つの回転運動度を含んでもよい。加えて、モータを使用して、生検装置等のはさみ口において組織をとらえるために、器具のつなげることができるエンドエフェクタを作動させることができる。

図２は、本開示の態様を利用する最小侵襲システム２００を例示している。システム２００は、システム１００等のロボット介入的システム内に組み入れることができる。或いは、システム２００は、ロボットなしの調査手技、又は、腹腔鏡検査用器具等の伝統的な手動操作の介入的器具を要する手技に使用することができる。システム２００は、本物の可視化のシステム２０６及び追跡システム２０８にインターフェースユニット２０４によって結合されたカテーテルシステム２０２（例えば器具１０４の一部）を含む。ナビゲーションシステム２１０（例えば制御システム１１６の一部）は、表示システム２１４（例えば表示システム１１１の一部）上に表示するために、本物の可視化のシステム２０６、追跡システム２０８及び仮想的な可視化のシステム２１２からの情報を処理する。システム２００は、照射システム、ステアリング制御システム、洗浄システム及び／又は吸引システム等、任意の動作及びサポートシステム（図示せず）をさらに含んでもよい。

カテーテルシステム２０２は、近位端２１７及び遠位端２１８を有する細長い可撓体２１６を含む。一実施形態において、可撓体２１６は、約３ｍｍの外径を有する。他の可撓体の外径は、より大きいか又はより小さくあってもよい。可撓体２１６は、画像キャプチャプローブ２２０を収容する。画像キャプチャプローブ２２０は、双眼実体カメラ又は単眼実体カメラ２２２を有する先端部分を含み、双眼実体カメラ又は単眼実体カメラ２２２は、本物の可視化のシステム２０６に送られ且つ本物の可視化のシステム２０６によって処理される（ビデオ画像を含む）画像をキャプチャするために可撓体２１６の遠位端２１８の近くに配置されている。画像キャプチャプローブ２２０は、キャプチャされた画像データを本物の可視化のシステム２０６に送るために、カメラに結合されるケーブル２２４も含む。或いは、画像キャプチャ器具は、画像処理システムに結合するファイバースコープ等の光ファイバー束であってもよい。画像キャプチャ器具は、例えば可視スペクトルで画像データをキャプチャするか、又は、可視及び赤外線又は紫外線のスペクトルで画像データをキャプチャする単一又は多スペクトルのものであってもよい。

可撓体２１６は、例えば点線のバージョンの遠位端によって示されているように遠位端２１８を制御可能に曲げる又は回転させるために、インターフェース２０４と先端の遠位端２１８との間を延びるケーブル、リンケージ又は他のステアリング制御装置（図示せず）も収容している。カテーテルシステムは、操縦可能であってもよく、又或いは、器具の曲りのオペレータ制御に対して統合された機構を有することなく操縦不可能であってもよい。可撓体２１４は、例えば標的組織の所定の処理に影響を与えるため等、医療作用に対してマニピュレート可能な外科用エンドエフェクタ又は別の作業遠位部分を操作するための制御機構（図示せず）をさらに収容してもよい。例えば、いくつかのエンドエフェクタは、メス、刃、光ファイバー又は電極等、１つの作業部材を有する。他のエンドエフェクタは、例えば、鉗子、捕捉器具、はさみ又はクリップアプライヤー等、一対又は複数の作業部材を含んでもよい。電気活性化エンドエフェクタの例として、電気外科的な電極、トランスデューサー及びセンサ等が挙げられる。さらに、又或いは、可撓体２１６は、１つ又は複数の管腔を定めることができ、管腔を介して、介入的器具を展開し、さらに、標的手術位置にて使用することができる。

カテーテルシステム２０２は、任意で、遠位端２１８並びに可撓体２１６に沿った１つ又は複数のセグメント２３０の位置、方向、速度、ポーズ及び／又は形状を決定するために、位置センサシステム２２６（例えば電磁（ＥＭ）センサシステム）及び形状センサシステム２２８を含む。遠位端２１８と近位端２１７との間の可撓体２１６の全長は、セグメント２３０へと効果的に分割されてもよい。位置センサシステム２２６及び形状センサシステム２２８は、追跡システム２０８とインターフェースする。追跡システム２０８は、１つ又は複数のコンピュータプロセッサと相互作用するか又さもなければ１つ又は複数のコンピュータプロセッサによって実行されるハードウェア、ファームウェア、ソフトウェア又はその組み合わせとして実行されてもよく、１つ又は複数のコンピュータプロセッサは、制御システム１１６のプロセッサを含んでもよい。さらに、又或いは、位置センサシステムはプローブ２２０に結合されてもよい。例えば、５つの自由度のセンサが、遠位の先端の近くでプローブ２２０に結合され、より大きな６つの自由度のセンサが、より近位の位置にてカテーテルに結合されてもよい。

位置センサシステム２２６は、外部で生成される電磁場に供することができる１つ又は複数の導電コイルを含むＥＭセンサシステムであってもよい。ＥＭセンサシステム２２６のそれぞれのコイルは、次に、外部で生成される電磁場に対するコイルの位置及び方向に依存する特徴を有する誘導電気信号を生じる。一実施形態において、ＥＭセンサシステムは、例えば、３つの位置座標Ｘ、Ｙ、Ｚ、並びに、基点のピッチ、ヨー及びロールを示す３つの配向角度等、６つの自由度を測定するように構成され及び置かれてもよい。ＥＭセンサシステムのさらなる説明が、全内容を本願に援用する“Ｓｉｘ−Ｄｅｇｒｅｅ ｏｆ Ｆｒｅｅｄｏｍ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ Ｈａｖｉｎｇ ａ Ｐａｓｓｉｖｅ Ｔｒａｎｓｐｏｎｄｅｒ ｏｎ ｔｈｅ Ｏｂｊｅｃｔ Ｂｅｉｎｇ Ｔｒａｃｋｅｄ”を開示している１９９９年８月１１日に出願した米国特許第６，３８０，７３２号において提供されている。

形状センサシステム２２８は、（例えば、内部のチャネル（図示せず）内に提供される、又は、外側に載せられる等）可撓体２１６に合わせられた光ファイバーを含む。追跡システム２０８は、光ファイバーの近位端に結合されてもよい。一実施形態において、光ファイバーは、約２００μｍの直径を有する。他の実施形態において、その大きさは、より大きいか又はより小さくてもよい。

形状センサシステム２２８の光ファイバーは、カテーテルシステム２０２の形状を決定するための光ファイバー曲げセンサを形成する。別の手段において、ファイバーブラッググレーティング（Ｆｉｂｅｒ Ｂｒａｇｇ Ｇｒａｔｉｎｇｓ（ＦＢＧ））を含む光ファイバーが、１つ又は複数の大きさの構造体におけるひずみ測定を提供するために使用される。三次元における光ファイバーの形状及び相対位置をモニターするための種々のシステム及び方法が、全内容を本願に援用する“Ｆｉｂｅｒ ｏｐｔｉｃ ｐｏｓｉｔｉｏｎ ａｎｄ ｓｈａｐｅ ｓｅｎｓｉｎｇ ｄｅｖｉｃｅ ａｎｄ ｍｅｔｈｏｄ ｒｅｌａｔｉｎｇ ｔｈｅｒｅｔｏ”を開示している２００５年７月１３日に出願した米国特許出願第１１／１８０，３８９号、“Ｆｉｂｅｒ−ｏｐｔｉｃ ｓｈａｐｅ ａｎｄ ｒｅｌａｔｉｖｅ ｐｏｓｉｔｉｏｎ ｓｅｎｓｉｎｇ”を開示している２００４年７月１６日に出願した米国仮特許出願第６０／５８８，３３６号、及び、“Ｏｐｔｉｃａｌ Ｆｉｂｒｅ Ｂｅｎｄ Ｓｅｎｓｏｒ”を開示している１９９８年６月１７日に出願した米国特許第６，３８９，１８７号において記載されている。他の手段において、レイリー散乱、ラマン散乱、ブリュアン散乱及び蛍光散乱等、他のひずみ感知技術を利用するセンサが適していてもよい。他の別の実施形態において、カテーテルの形状は、他の技術を使用して決定されてもよい。例えば、カテーテルの遠位の先端のポーズの経緯が、ナビゲーション表示を更新するための期間よりも短いある時間の間、又は、（例えば吸息及び呼息等）変化する動きの間記憶される場合、そのポーズの経緯を使用して、その期間にわたって装置の形状を再現することができる。別の例として、過去のポーズ、位置又は方向のデータは、呼吸等、変化する動きのサイクルに沿った器具の既知のポイントに対して記憶してもよい。この記憶されたデータを使用して、カテーテルに関する形状の情報を開発してもよい。或いは、カテーテルに沿って置かれるＥＭセンサ等の一連の位置センサを、形状感知のために使用することができる。或いは、特に解剖学的通路が概して静的である場合に、手技の間の器具上のＥＭセンサ等の位置センサからのデータの経緯を使用して器具の形状を表してもよい。或いは、外部の磁場によって位置又は方向が制御される無線装置を、形状感知のために使用してもよい。その位置の経緯を使用して、ナビゲートされた通路に対する形状を決定してもよい。

この実施形態において、光ファイバーは、１つのクラッド内に複数のコアを含んでもよい。各コアは、各コアにおける光が、他のコアにおいて運ばれている光と著しく相互作用しないように、充分な距離及びコアを隔てるクラッドを持ったシングルモードであってもよい。他の実施形態において、コアの数は変わってもよく、又は、各コアは、別の光ファイバー内に含有されてもよい。

いくつかの実施形態において、ＦＢＧのアレイが、各コア内に提供されている。各ＦＢＧは、屈折率において空間的周期性を生成するように、一連のコアの屈折率の変調を含む。間隔は、各率の変化からの部分的な反射が、狭帯域の波長に対してコヒーレントに合算され、従って、はるかに広い帯域を通過させながら、この狭帯域の波長のみを反射するように選ばれてもよい。ＦＢＧを製作している間に、変調は既知の距離によって間隔があけられ、その結果、既知の域の波長の反射を引き起こしている。しかし、ひずみがファイバーコア上で誘発される場合、変調の間隔は、コア内のひずみの量に応じて変わる。或いは、光ファイバーの曲げと共に変わる後方散乱又は他の光学現象を使用して、各コア内のひずみを決定することができる。

従って、ひずみを測定するために、光がファイバーまで送られ、戻ってくる光の特徴が測定される。例えば、ＦＢＧは、ファイバー上のひずみ及びその温度の結果である反射波長を生じる。このＦＢＧ技術は、Ｓｍａｒｔ Ｆｉｂｒｅｓ Ｌｔｄ．（Ｂｒａｃｋｎｅｌｌ，Ｅｎｇｌａｎｄ）等の種々の供給源から商業的に入手可能である。ロボット手術に対する位置センサにおけるＦＢＧ技術の使用は、全内容を本願に援用する“Ｒｏｂｏｔｉｃ Ｓｕｒｇｅｒｙ Ｓｙｓｔｅｍ Ｉｎｃｌｕｄｉｎｇ Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｏｒｓ Ｕｓｉｎｇ Ｆｉｂｅｒ Ｂｒａｇｇ Ｇｒａｔｉｎｇｓ”を開示している２００６年７月２０日に出願した米国特許第７，９３０，０６５号において記載されている。

マルチコアファイバーに適用される場合、光ファイバーの曲げは、各コア内の波長シフトをモニターすることによって測定することができるコア上のひずみを誘発する。２つ以上のコアをファイバー内に軸外しで配置させることによって、ファイバーの曲げは、コアのそれぞれに異なるひずみを誘発する。これらのひずみは、局所的なファイバーの曲げ度の結果である。例えば、ＦＢＧを含有するコアの領域は、ファイバーが曲げられるポイントにて置かれた場合、その結果、それらのポイントでの曲げの量を決定するために使用することができる。既知のＦＢＧ領域の間隔と組み合わされたこれらのデータは、ファイバーの形状を再現するために使用することができる。そのようなシステムは、Ｌｕｎａ Ｉｎｎｏｖａｔｉｏｎｓ Ｉｎｃ．（Ｂｌａｃｋｓｂｕｒｇ、Ｖａ）によって記載されてきた。

上記のように、光ファイバーは、カテーテルシステム２０２の少なくとも一部の形状をモニターするために使用される。より明確には、光ファイバーを通過する光が、カテーテルシステム２０２の形状を検出するため、及び、その情報を利用して外科手術手技を補助するために、追跡システム２０８によって処理される。追跡システム２０８は、カテーテルシステム２０２の形状を決定するために使用される光を生成及び検出するための検出システムを含んでもよい。この情報は、次に、介入的器具の一部の速度及び加速度等、他の関連する変数を決定するために使用することができる。これらの変数のうち１つ又は複数の変数の正確な測定値をリアルタイムで得ることによって、コントローラは、ロボット介入的システムの精度を改善する、及び、構成要素部品を駆動させることにおいて導入されるエラーを補うことができる。感知は、ロボットシステムによって作動される自由度のみに限定されてもよく、又は、（例えば、接合間の未作動の堅い部材の曲げ等）受動自由度にも、（例えば、作動された器具の動き等）能動自由度にも適用されてもよい。

上述のように、本物の可視化のシステム２０６は、プローブ２２０から受けるリアルタイムの本物の画像を処理する。本物の可視化のシステム２０６は、現在のプローブの先端の環境に関する役立つ情報を臨床医に提供するが、特定の標的位置までカテーテルをナビゲートするための方向性の指導はほとんど提供しない。さらに、粘膜、血液及び他の身体事項が、プローブに付着することになり、受けた本物の画像の支障を引き起こす。

仮想的な可視化のシステム２１２は、さらなるナビゲーション補助を提供する。仮想的な可視化のシステムを使用した仮想的なナビゲーションは、解剖学的通路の三次元構造と付随する取得されたデータセットへの参照に基づいている。より明確には、仮想的な可視化のシステム２１２は、コンピュータ断層撮影法（ＣＴ）、磁気共鳴画像法（ＭＲＩ）、蛍光透視法、サーモグラフィー、超音波、光干渉断層撮影法（ＯＣＴ）、熱画像測定、インピーダンス画像法、レーザー画像法又はナノチューブＸ線画像法等の画像処理技術を使用して記録及び／又はモデル化された手術部位の画像を処理する。ソフトウェアが、記憶された画像を、部分的な若しくは全面的な解剖学的器官又は解剖学的領域の二次元又は三次元モデルに変えるために使用される。モデルは、通路の種々の位置及び形状並びにその接続性を描く。モデルを生成するために使用される画像は、手術前又は臨床手技の間に記録されてもよい。別の実施形態において、仮想的な可視化のシステムは、標準的なモデル（すなわち、患者特異的ではないもの）、又は、標準的なモデルと患者特異的なデータとの混成を使用してもよい。モデル、及び、モデルによって生成されたいかなる仮想的な画像も、１つ又は複数の動きの相の間（例えば、肺の吸気／呼気サイクルの間）の変形可能な解剖領域の静的状態を表すことができる。

仮想的なナビゲーション手技の間、センサシステムを使用して、患者の解剖学的形態に対する器具のおおよその位置を算出してもよい。その位置は、患者の解剖学的形態のマクロレベルの追跡画像も、患者の解剖学的形態の仮想的な内部画像も生成するために追跡することができる。仮想的な可視化のシステムからのもの等、手術前に記録された手術画像に介入的器具を位置合わせする及びそれらを共に表示するために光ファイバーセンサを使用するための種々のシステムは既知である。例えば、全内容を本願に援用する“Ｍｅｄｉｃａｌ Ｓｙｓｔｅｍ Ｐｒｏｖｉｄｉｎｇ Ｄｙｎａｍｉｃ Ｒｅｇｉｓｔｒａｔｉｏｎ ｏｆ ａ Ｍｏｄｅｌ ｏｆ ａｎ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅ ｆｏｒ Ｉｍａｇｅ−Ｇｕｉｄｅｄ Ｓｕｒｇｅｒｙ”を開示している２０１１年５月１３日に出願した米国特許出願第１３／１０７，５６２号が、そのようなシステムを開示している。

しかし、多くの場合、仮想的な可視化のシステムからの仮想的な画像とプローブの先端を位置あわせするためにセンサシステムのみを使用するということは、完全に十分であるというわけではない。例えば、センサシステムは、プローブの先端の位置及び方向に関する不十分な情報を提供し得る。これは、仮想的な可視化のシステムに、プローブの本物のポーズと仮想的な画像を間違って位置合わせさせ、もしかすると、（例えば、気道ツリーの間違った枝においてプローブを示す等）仮想的な環境内でのプローブの不正確な配置を生じ、不正確な視野角（例えば、本物の可視化のシステムから受けたリアルタイムの本物の画像に一致しない仮想的な画像におけるロール角等）、及び／又は、種々の他のレジストレーションのミスマッチに関連した影響を有した仮想的な画像を描き得る。

本開示の実施形態において、本物の可視化のシステム２０６及び仮想的な可視化のシステム２１２からの情報は、任意で追跡システム２０８からのセンサ情報を用いて、ナビゲーションシステム２１０によって処理され、本物の可視化画像と位置においても方向においても正確に位置合わせされた仮想的な可視化画像を生成する。本物の画像への仮想的な画像の正確なレジストレーションを達成するために、共通の特徴及び構造体が同定され、さらに、本物の画像においても仮想的な画像においても関連づけられる。２つの画像の正確なレジストレーションは、そのレジストレーションが、プローブの先端の本物の位置及び方向に関する情報を伝えるため、特定の標的位置までカテーテルをナビゲートすることにおいて臨床医にとって有用であり得る。臨床医は、従って、意図されたものではない位置までカテーテルを導く可能性を低くし、時間のかかる且つもしかすると有害なバックトラッキングの必要性を最小限にする。

図３ａは、例えば本物の可視化のシステム２０６によってキャプチャされた気管支通路のサンプルの本物の画像２７０を示している。本物の画像２７０から、図３ｂにおいて描かれた組織構造体（例えば、管腔Ｌ１〜Ｌ６及び付随の分岐点等）を、構造的態様（例えば、管腔の位置、相対位置、大きさ、輪郭及び形状等）と共に、最大安定極値領域（ｍａｘｉｍａｌｌｙ ｓｔａｂｌｅ ｅｘｔｒｅｍａｌ ｒｅｇｉｏｎｓ）（ＭＳＥＲ）分析、又は、他の小塊抽出（ｂｌｏｂ ｅｘｔｒａｃｔｉｏｎ）等のいかなる技術も使用して同定することができる。解剖学的通路の分岐点が参照されるけれども、この開示の実施形態は、２つの通路の接合部に限定されない。この開示のシステム及び方法は、２つ以上の分枝を有するいかなる分岐に対しても、又は、いかなる他の同定可能な組織構造体に対しても適用可能であるということを理解されたい。各自然な組織構造体（例えば、管腔Ｌ１〜Ｌ６及び付随の分岐点、又は、他の同定可能な組織構造体等）を基準領域として使用して、仮想的な画像に位置合わせするための自然な参照構造体を提供してもよい。

例えば、図３ｂにおいて示されているように、管腔Ｌ１〜Ｌ６の相対的サイズ及び形状が、本物の画像２７０の水平軸ＨＬに対する、管腔の対Ｌ１及びＬ２によって形成された分岐点の方向（すなわち、角度Ａ１）、及び、管腔の対Ｌ３及びＬ４によって形成された分岐点に対する、管腔の対Ｌ１及びＬ２によって形成された分岐点の方向（すなわち、角度Ａ２）と共に示されている。種々の他の構造的態様を、本物の画像２７０から抽出することができる。種々の実施形態において、図３ｂにおいて描かれたもの等の検出された組織構造体の図形表現は、表示のためにレンダリングされているとは限らず、さらに、種々の他の実施形態において、図形表現は、本物の画像２７０にオーバーレイすることができるということに留意されたい。

本物の画像２７０における１つ又は複数の組織構造体を含む同定された基準領域は、より効率的な分析のために、物理的配置又は階層に従って特徴づけることもできる。例えば、図３ｃにおいて示されているように、管腔Ｌ１〜Ｌ６は、本物の画像２７０において示された解剖学的形態を表すツリー構造へと組織化することができる。このように、管腔Ｌ１及びＬ２は、最初の分岐点Ｂ１から分かれている。次に、管腔Ｌ３及びＬ４が管腔Ｌ１内で検出されるため、図３ｃは、分岐点Ｂ１から下流へ分岐点Ｂ２にて分かれている管腔Ｂ３及びＢ４を示している。同様に、管腔Ｌ５及びＬ６が、分岐点Ｂ１から下流へ分岐点Ｂ３にて分かれている。

例証目的でノード・ブランチ棒線図が図３ｃにおいて描かれているけれども、本物の画像２７０から抽出された組織構造体の分析表現は、いかなる図形式、数値形式、記号形式及び／又はデータライブラリ形式もとることができるということに留意されたい。いくつかの実施形態において、抽出された管腔の経緯は、プローブ先端の位置を決定するためのさらなる情報を提供するために維持することができるということにさらに留意されたい。例えば、図３ｄは、患者の解剖学的形態を横切るに従いプローブ／可視化システムによってキャプチャされた前の本物の画像から抽出された管腔ＨＬ１〜ＨＬ６及び分岐点ＨＢ１〜ＨＢ３を追加した図３ｃのツリー構造を示している。

もしかすると一致するモデルの組織構造体の探索空間が、（それと同時に、先立って及び／又は後に）上記の組織構造体の同定と組み合わせて、標的解剖学的形態のモデル内から定められる。例えば、図３ｅは、最小侵襲器具（例えばカテーテルシステム２０２等）の画像２５４と最初に位置合わせされた患者の肺モデル２５２の二次元の視野を描く例証的な追跡画像２５１を示している。追跡画像２５１は、仮想的な可視化のシステム（例えば２１２等）によって生成することができる。この器具２０２の画像２５４の最初のレジストレーションは、ＥＭセンサ等の位置センサ、及び／又は、いかなる他の位置の間接的表示（例えば、数ある中でも運動力学的モデリング、形状感知、ＲＦ追跡及び／又は経路履歴等）に基づき得る。

しかし、これらのアプローチ全てが、測定精度の限界及び解剖的動作（例えば、患者の呼吸、又は、手術器具に応じた組織の変形等）による間違いを受けやすい。例えば、ＥＭセンサによって提供される位置情報は、胸部上の参照基準を使用して、肺２５２に関して誤差約＋／−３ｍｍの正確さであり得る。肺の動きが考慮される場合、エラーは、約＋／−１０ｍｍ以上まで増し得る。これらのエラーは、器具の画像２５４に、肺２５２の間違った気道に位置合わせされることになるようさせ得る。

このレジストレーションの不確実性を克服するために、本物の画像２７０から抽出された組織構造体を、手術前の解剖学的形態のモデルからのもしかすると相当する組織構造体と比較して、モデルとキャプチャされた画像との間の最良の一致を同定することができる。いくつかの実施形態において、プローブの先端の位置を、例えば位置センサシステム２２６からの情報を使用して、推定することができる。図３ｅにおいて示されているように、肺モデル２５２内のプローブ２２０の先端の位置は、小領域２５６内にあるように推定されており、その詳細な図が、図３ｆにおいて示されている。

小領域２５６は、実際の肺の解剖学的形態内の可能なプローブ２２０の先端の位置に相当する肺モデル２５２内のいかなる領域としても定めることができる。例えば、いくつかの実施形態において、小領域２５６は、１つ又は複数のセンサの許容誤差の積重ね、解剖的挙動／変形、及び／又は、プローブ２２０の先端の位置決めと付随するいかなる他の不確実性の供給源から予想することができる最大の位置偏差を少なくとも表すことができる（積重ねは小領域２５６の最小の境界を定めることができ、いくつかの実施形態において、小領域２５６の実際の境界は、それらの最小の境界を超え得るということに留意されたい）。種々の他の実施形態において、小領域２５６は、過去の経路の分析（すなわち、プローブ２２０が進められるに従い出くわす全ての分岐点の経過を追って、どの１つ又は複数の分岐点に順々に出くわすかを決定すること）に基づき、プローブ２２０の先端と付随するあり得る組織構造体のユニヴァース（例えば分岐点等）を表すことができる。減少した空間の小領域２５６を定めるための上記及び他の技術は、個々に又は組み合わせて使用することができる。

（上記のように）本物の画像２７０から抽出された組織構造体にもしかすると相当するモデルの組織構造体は、次に、モデル２５２から小領域２５６内部から抽出することができる。小領域２５６の画定は、従って、このモデルの組織構造体抽出のコンピュータ計算の要求を有意に減らすことができる。例えば、肺モデル２５２から全ての分岐点を抽出することではなく、図３ｅにおいて示されている分岐点２８０〜２９２のみが抽出される必要がある。これらの候補組織構造体（例えば分岐点２８０〜２９２等）は、次に、本物の画像の組織構造体（例えば分岐点Ｂ１）に対して比較することができる。

いくつかの実施形態において、減少した空間の小領域からの候補組織構造体の、本物の画像の組織構造体に対する最初の「ラフな」照合を行って不一致の候補を明確に取り除くことにより、コンピュータ計算の効率をさらに上げることができる。このラフな照合は、本物の画像及びモデルから容易に識別できる構造的態様を使用して行うことができる。上述のように、肺において、そのような構造的態様は、数ある中でも管腔の位置、相対位置、大きさ、輪郭及び／又は形状を含み得る。

例えば、図３ａ及び３ｂにおいて示されているように、分岐点（Ｂ２及びＢ３）は、分岐点Ｂ１の（それぞれＬ１及びＬ２）どちらの管腔においても可視である。次に、図３ｅにおいて示された肺モデルの小領域２５６を参照にすると、分岐点Ｂ１の各管腔における可視の下流の分岐点のこの条件は、その分枝の１つにおいて下流の分岐点を示すだけであるモデルの分岐点２８２によって満たすことはできないということを決定することができる。モデルの分岐点２８２は、従って、候補組織構造体のリストから排除することができる。モデルの分岐点２８４及び２９２も、同様の理由により候補組織構造体のリストからもしかすると排除することができる。類似の様式において、候補組織構造体のリストは、いかなる他のタイプの構造的態様に基づくフィルタリングも介してさらに減らすことができる。

上記の構造的態様照合判定基準を満たす各組織構造体は、次に、本物の画像において同定された本物の画像の構造体とより正確に比較することができる。反復的レンダリング及び画像照合（合成による分析）、特徴のポイントクラウド照合、並びに／又は、示差表面分析等、本物の画像と残りの候補組織構造体との間の最良の一致（類似性の最大化）を決定するためのいかなる技術も使用することができる。

例えば、合成による分析を使用して、各候補組織構造体（例えばモデルの分岐点２８０、２８６、２８８及び２９０等）の反復的レンダリングが生じ、ここで、各レンダリングは、３Ｄ解剖学的モデルからの視野をキャプチャするのに要求されるプローブ先端のポーズと付随する。反復は、本物の画像から抽出された組織構造体（例えば、本物の画像２７０から抽出された分岐点Ｂ１等）と比較され、暫定の類似性の程度を生じ、そこから、「最適な」類似性の程度を同定することができる。この最適な類似性の程度は、本物の画像の組織構造体に最も一致する候補のモデルの組織構造体の視野に対応する。候補のモデルの組織構造体のそれぞれに対する最適な類似性の程度の値から、最大の類似性の程度を選択することができ、その結果、本物の画像の組織構造体に相当する候補のモデルの組織構造体を示すことができる。その候補のモデルの組織構造体及び最適な類似性の程度と付随するプローブ先端のポーズは、次に、仮想的なカメラのプローブ先端から生成された仮想的な画像と本物の画像が最も一致するように、解剖学的モデルを位置合わせするために使用することができる。別の実施形態において、三次元の解剖学的モデルの反復的レンダリングが、組織構造体を抽出することなく本物の画像に比較するために使用される。

類似性の程度を算出することができる、及び、最適な類似性の程度を見つけることができる種々の方法がある。一実施形態において、最適化アルゴリズムが、各候補組織構造体の反復的レンダリング、及び、本物の画像を用いた類似性の程度の算出を営むことになる。別の実施形態において、最適化アルゴリズムは、階層的画像レンダリング及び類似性算出の骨組を営み、ここで、画像の解像度は次第に上げられて、正確な最適度にて止まる機会を最大にし、さらに、類似性の程度の関数空間におけるノイズに抵抗する。

レジストレーション手順を使用して、三次元の解剖学的モデルと付随する情報を本物の画像まで移すことができる。このレジストレーションは、種々の方法で図表を用いて表すことができる。例えば、図３ｇにおいて、（例えば表示システム１１１における）ディスプレイ３００は、画像のセットを提供する。本物のビジョンの画像３０２が、仮想的なモデルからの位置合わせされた仮想的な画像３０４と共に示されている。位置合わせされた画像において、管腔のサイズ及び仮想的な画像３０４の（ロール角を含む）視野角が、本物の画像３０２と合わせられる。マイクロ追跡画像３０６が示されており、マーカー３０８は、二次元の肺のモデルと位置合わせされたプローブの先端を示している。マクロ追跡画像３１０が示されており、マーカー３１２は、三次元の肺のモデルと位置合わせされたプローブの先端を示している。本物の画像と仮想的な（モデルの）視野との種々の他の組み合わせが容易に明らかになる。

一実施形態において、位置合わせされた仮想的な画像（又は、そこから抽出された特徴、例えば、輪郭、縁、特徴ポイント、解剖学的ラベル等）は、画像の一致の質と共に変わる透明度を用いて本物の画像にオーバーレイすることができる。別の実施形態において、位置合わせされた仮想的な画像は、ピクチャーインピクチャーのコーナー画像として、本物の画像上に表示することができる。別の実施形態において、位置合わせされた組織モデルから抽出されたナビゲーションキュー（例えば、計画された方向において、標的までの距離、局所的な直径、撤回のためのリアビューカメラの視野等を指示するグリフ）が、立体的視野の本物のビジョンの画像と並んで又はその上に表示される。さらに別の実施形態において、位置合わせされた本物の画像が、３Ｄ気道ツリー表面のメッシュ上の断面又は体積レンダリングされたディスプレイとして表示され、プローブ先端の現在の位置及び方向を示す。別の実施形態において、本物の画像へのオーバーレイは、自動化されたトリガ又はユーザのコマンドに応じてスイッチオン及びオフすることができる。

図４ａは、上記のもの等、解剖モデルのレジストレーション方法の流れ図を示している。プローブの画像キャプチャステップ４１０において、患者の解剖学的形態の本物の画像（例えば画像２７０等）が、画像キャプチャプローブ２２０及び付随の本物の可視化のシステム２０６等の画像処理システムによってキャプチャされる。次に、解剖特徴の同定ステップ４２０において、図３ａ及び３ｂに関して記載されたもの等、関連する組織構造体が本物の画像から抽出される。ステップ４２０の一部として、抽出された組織構造体の構造的態様（例えば、管腔の位置、相対位置、大きさ、輪郭及び形状等）だけでなく、いかなる他のもしかすると同定する態様も決定することができる。

例えば、図４ｂは、肺内の気道ツリー又は腎臓内の動脈ネットワーク等、分枝している解剖学的構造体に対して適用可能であるステップ４２０の特徴同定に対する例証的なアプローチの流れ図を示している。小塊の抽出ステップ４２１において、（図３ａ及び３ｂに関して記載されたもの等）個々の管腔を、本物の画像において検出することができ、次に、同胞の管腔（すなわち、分岐点を形成する管腔）を、管腔構造体の相関ステップ４２２において決定することができる。最後に、分岐点の同定ステップ４２３において、検出された分岐点を、（例えば、図３ｃ及び３ｄにおいて示されているように）ラベルする、及び、（例えば、図３ｂにおいて示されているように）特徴づけることができる。

図４ａに戻ると、最初の数の解剖モデルにおけるもしかすると一致している組織構造体が、モデル一致空間の緻密化ステップ４３０において定められる。一実施形態において、この最初の画定は、図４ｃにおける流れ図によって示されているように行うことができる。プローブ位置の感知ステップ４３１において、計測手段（例えば、ＥＭセンサ、形状センサ、及び／又は、他のモニタリング／追跡要素等）が、画像処理システム（プローブ）先端の位置及び／又は方向を生じるために使用され、さらに、（例えば、図３ｅに関して記載されているように）関心のある小領域の画定ステップ４３２において、その感知された情報に基づき、解剖学的モデルの一部が、プローブ先端をもしかすると含有しているとして指摘される。次に、（例えば、図３ｆに関して記載されているように）小領域内のモデル分岐点のＩＤステップ４３３において、その関心のある小領域内のモデルの組織構造体が同定される。

上述のように、本物の画像に対するモデルにおける最良の一致を見つけることができる探索空間を減らすことによって、この技術と付随する計算量を有意に減らすことができる。図４ａに戻ると、モデル一致の照合ステップ４４０において、最初のモデルの候補の一致空間から、見込みのない候補が取り除かれ、さらに、最良の一致の選択ステップ４５０において、本物の画像の組織構造体に最も近い一致を示す残りのモデルの候補のうちの１つが選択される。ステップ４２０、４３０及び４４０を介して候補一致空間を狭めることによって、照合の精度を維持又は増やしさえもしながら、照合プロセスと付随する計算の負担（従って時間）を、従来の力づくの方法と比較して有意に減らすことができる。

図４ｄは、肺内の気道ツリー又は腎臓内の動脈ネットワーク等、分枝している解剖学的構造体に対して適用可能であるステップ４４０及び４５０の実施形態に対する流れ図を示している。モデル分岐点の選択ステップ４４１において、候補のモデルの組織構造体（例えば、図３ｅにおいて示された分岐点２８０〜２９２等）のうちの１つが選択され、さらに、本物の画像の分岐点との特徴比較ステップ４４２において、その候補のモデルの組織構造体の（例えば、図３ｂに関して記載したような）構造的態様が、本物の画像の組織構造体のものと比較される。次に、一致の閾値内かどうかのステップ４４３において、一致が可能ではないということが決定された場合、このプロセスは、ステップ４４１まで折り返し、さらに、異なる候補のモデルの組織構造体が選択される。

しかし、候補のモデルの組織構造体が、構造比較に基づき見込みのある候補のままである場合、レンダリングの反復ステップ４４３において、より緻密な比較が行われる。例証目的で、（上記の）合成による分析のアプローチが流れ図において描かれており、類似性の程度の計算ステップ４５２において、本物の画像の組織構造体と比較してレンダリングに対する類似性の程度が最適化されるまで、レンダリング反復のステップ４５１において、候補のモデルの組織構造体は反復的に変更されて（各変更が異なる仮想的なカメラのポーズを表して）いる。

次に、さらなるモデルの分岐点？のステップ４５３において、プロセスは、検査されていない候補のモデルの組織構造体がいずれか残っている場合にステップ４４１まで折り返す。さもなければ、最高の類似性の選択ステップ４５４において、最大の類似性の程度と付随する候補のモデルの組織構造体が同定される。例証目的で、候補のモデルの組織構造体に対して連続的なプロセスが描かれている（すなわち、ステップ４４０及び４５０は、次の候補のモデルの組織構造体に移る前に、１つの候補の組織構造体に対して行われる）けれども、種々の他の実施形態において、ステップ４４０及び４５０は、バッチプロセスとして行うことができる（すなわち、ステップ４４０が全ての候補のモデルの組織構造体に対して行われ、次に、ステップ４５０が、ステップ４４０において同定された適切な候補のモデルの組織構造体全てに対して行われる）ということに留意されたい。

図４ａに戻ると、最高類似性スコアを有するとしてステップ４５０において同定された候補のモデルの組織構造体は、次に、本物の画像−モデルのレジストレーションステップ４６０において、本物の画像及び解剖モデルを位置合わせするために使用される。一実施形態において、表示された仮想的な環境（例えば、図３ｇにおいて示された仮想的な画像３０４等）を、ステップ４５０の出力（例えば、ステップ４５４において同定された最高の類似性の程度のレンダリング等）と付随するレンダリング／ポーズ情報から生成することができる。他の実施形態において、ステップ４６０のレジストレーションは、プローブ位置及び／又は軌跡が、解剖学的形態全体の仮想的又は本物の画像（例えば、図３ｇにおいて示されたマイクロ追跡画像３０６及び／又はマクロ追跡画像３１０等の）上にマップされ得るのを可能にする。

本物及び仮想的な画像が位置合わせされ、さらに、ポーズオフセットが算出されると、仮想的な画像及びポーズオフセットを使用して、本物の画像を使用することなくカテーテルを導くことができる。例えば、計算されたポーズの推定及び仮想的なプローブ位置の画像の使用は、カメラが除去された場合、又は、本物のビジョンの画像が、血液若しくは粘膜等の身体物質によって妨害されることになる場合に、解剖学的通路を通ってプローブ及びカテーテルを導くことにおいて臨床医にとって有用であり得る。カテーテルのポーズの推定は、画像キャプチャプローブが除去され、さらに、薬物送達装置等の治療器具、又は、生検装置等の介入的器具と交換される手技の間も有用であり得る。カテーテルのポーズ及び軌跡を知ることによって、カテーテルを介してさらなる手技を行う場合に、より優れた正確さが可能になる。

レジストレーションシステム及び方法が、遠隔操作又は手動の介入的システムに関して本明細書において記載されてきたけれども、これらのレジストレーションシステム及び方法は、正確な器具の画像のレジストレーションが要求される種々の医療器具及び医療以外の器具において応用されることになる。

本開示のシステム及び方法は、肺の連結した気管支通路において使用するために例示されてきたけれども、大腸、腸管、腎臓、脳、心臓又は循環器系等を含む種々の解剖学的システムのいずれにおける自然の又は外科的に作られた連結した通路を介した他の組織のナビゲーション及び処置にも適している。本開示の方法及び実施形態は、非介入的適用にも適している。

本発明の実施形態における１つ又は複数の要素は、制御システム１１６等のコンピュータシステムのプロセッサ上で行うようにソフトウェアにおいて実行されてもよい。ソフトウェアにおいて実行される場合、本発明の実施形態の要素は、本質的に、必要なタスクを行うコードセグメントである。プログラム又はコードセグメントは、プロセッサ可読記憶媒体又は装置において記憶することができ、伝送媒体又は通信リンクにわたる搬送波で表されるコンピュータデータシグナルとしてダウンロードされてもよい。プロセッサ可読記憶装置は、光媒体、半導体媒体及び磁気媒体を含む、情報を記憶することができるいかなる媒体を含んでもよい。プロセッサ可読記憶装置の例として、電子回路、半導体素子、半導体メモリ素子、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、消去プログラム可能読取り専用メモリ（ＥＰＲＯＭ）、フロッピーディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスク又は他の記憶装置が挙げられる。コードセグメントは、インターネット、イントラネット等のコンピュータネットワークを介してダウンロードされてもよい。

示されたプロセス及び表示は、いかなる特定のコンピュータ又は他の装置にも本質的には関連しないということに留意されたい。種々のこれらのシステムに対する要求される構造は、特許請求の範囲における要素として明らかになる。加えて、本発明の実施形態は、いかなる特定のプログラム言語を参考にしても記載されない。種々のプログラム言語を使用して、本明細書において記載される本発明の教示を実行してもよいということが正しく理解されることになる。

本発明の特定の例証的な実施形態が記載され、さらに、付随の図面において示されてきたけれども、そのような実施形態は単に広義の発明を例示したものであって、その広義の発明を限定するのではないということ、及び、本発明の実施形態は、種々の他の修正が当業者に対して生じ得るため、示され且つ記載される特定の構造及び配置に限定されないということを理解されたい。

なお、本発明の実施形態による方法は、解剖領域内に置かれた内視鏡画像キャプチャプローブから本物の画像を受けるステップ、
前記本物の画像内の本物の基準領域を同定するステップ、
前記解剖領域のモデルからの複数の仮想的な組織構造体の１つと前記本物の基準領域を一致させるステップ、及び、
前記解剖領域のモデルに対して前記内視鏡画像キャプチャプローブの先端を局在化させるステップ、
を含む。

また、局在化させるステップは、一致させられた前記複数の仮想的な組織構造体の１つから、前記内視鏡画像キャプチャプローブの先端の位置を決定するステップを含んでよい。

また、局在化させるステップは、前記一致させられた複数の仮想的な組織構造体の１つから、前記内視鏡画像キャプチャプローブの先端の方向を決定するステップを含んでよい。

また、前記解剖領域のモデルからの前記一致させられた複数の仮想的な組織構造体の１つを表示するステップをさらに含んでよい。

また、位置センサシステムから、前記解剖領域に対する前記内視鏡画像キャプチャプローブの位置を示す位置情報を受けるステップ、をさらに含んでよい。

また、前記本物の基準領域を一致させるステップが、前記モデルの小領域内に位置する前記複数の仮想的な組織構造体の第１のサブセットを同定するステップを含み、
前記小領域が、前記解剖領域に対する前記内視鏡画像キャプチャプローブの位置の周囲の関心のある領域に相当してよい。

また、前記関心のある領域が、前記解剖領域に対する内視鏡画像キャプチャプローブの位置の周囲のセンサの許容誤差の積重ね、及び、予想される解剖的挙動のうち少なくとも１つによって定められてよい。

また、前記本物の基準領域を一致させるステップが、
前記本物の基準領域の１つ又は複数の構造的態様を同定するステップ、及び
前記複数の仮想的な組織構造体の第２のサブセットを同定するステップ、
をさらに含み、
前記第１のサブセットは、前記第２のサブセットのそれぞれを含み、さらに、
前記仮想的な組織構造体の第２のサブセットのそれぞれが、前記本物の基準領域の１つ又は複数の構造的態様を含んでよい。

また、前記本物の基準領域が１つ又は複数の管腔を含み、さらに、前記１つ又は複数の構造的態様が、管腔の位置、管腔の方向、菅腔の大きさ、管腔の輪郭、管腔の解剖学的ラベル、及び、管腔の形状のうち少なくとも１つを含んでよい。

前また、記本物の基準領域を一致させるステップが、
前記複数の仮想的な組織構造体の第２のサブセットのそれぞれに対して、前記本物の基準領域に対する一致の近さを示す最適な類似性の程度を計算するステップ、及び
前記本物の基準領域に対して最も近い一致を示す前記最適な類似性の程度を示す前記第２のサブセットの１つを同定することによって、前記一致させられた複数の仮想的な組織構造体の１つを選択するステップ、
をさらに含んでよい。

また、前記類似性の程度を計算するステップが、
前記複数の仮想的な組織構造体の第２のサブセットのそれぞれに対する複数の視野を反復的にレンダリングするステップ、
前記第２のサブセットのそれぞれに対する複数の視野に対して、前記本物の基準領域に対する一致の近さを示す複数の暫定の類似性の程度を計算するステップ、及び、
第２のサブセットのそれぞれに対する前記複数の暫定の類似性の程度から、前記最適な類似性の程度を選択するステップ、
を含んでよい。

また、前記内視鏡画像キャプチャプローブの先端の局在化に基づき、前記本物の画像と前記解剖領域のモデルを位置合わせするステップをさらに含んでよい。

また、前記解剖領域内に置かれたカテーテル本体から前記内視鏡画像キャプチャプローブを除去するステップ、及び、
手技を行うために、前記カテーテル本体を通して、追跡される介入的器具を挿入するステップ、
をさらに含んでよい。

また、前記本物の基準領域が、解剖学的通路の分岐部であってよい。

また、前記解剖領域が肺を含んでよい。

また、本発明の他の実施形態による医療システムによれば、解剖領域内で延びるよう大きさが決められた画像キャプチャプローブ、
プロセッサ、
を含む医療システムであって、
前記プロセッサが、
前記解剖領域のモデルを生成する、
前記解剖領域内に置かれた前記画像キャプチャプローブから本物の画像を受ける、
前記本物の画像内の本物の基準領域を同定する、
前記解剖領域のモデル内の複数の仮想的な組織構造体を同定する、
前記本物の組織構造体に前記複数の仮想的な組織構造体の１つを一致させる、及び
前記解剖領域のモデルに対して、前記画像キャプチャプローブの先端を局在化させる、
ように構成される。

また、局在化させることは、一致させられた前記複数の仮想的な組織構造体の１つから、前記内視鏡画像キャプチャプローブの先端の位置を決定することを含んでよい。

また、局在化させることは、前記一致させられた複数の仮想的な組織構造体の１つから、前記内視鏡画像キャプチャプローブの先端の方向を決定することを含んでよい。

また、前記プロセッサは、前記解剖領域のモデルからの前記一致させられた複数の仮想的な組織構造体の１つの表示を生じるようさらに構成されてよい。

また、位置センサシステムをさらに含み、
前記プロセッサが、前記位置センサシステムからプローブの位置情報を受ける、及び、前記プローブの位置情報に基づき、前記モデル内の小領域を定めるようさらに構成され、
前記複数の仮想的な組織構造体が全て前記小領域に属してよい。

また、前記プロセッサが、
前記本物の基準領域の構造的態様を同定する、及び
前記本物の基準領域の構造的態様に一致している前記複数の仮想的な組織構造体のサブセットを同定する、
ようさらに構成されてよい。

また、前記プロセッサが、
前記複数の仮想的な組織構造体のサブセットのそれぞれの反復的レンダリングを行って、前記本物の基準領域に一致させる、
前記反復的レンダリングに基づき、一致させられた前記複数の仮想的な組織構造体の１つを同定する、
前記画像キャプチャプローブの先端の局在化に基づき、前記本物の画像に前記解剖領域のモデルを位置合わせする、
ようさらに構成されてよい。

また、前記プロセッサが、前記画像キャプチャプローブの先端の局在化に基づき、前記本物の画像に前記解剖領域のモデルを位置合わせするようさらに構成されてよい。

また、前記画像キャプチャプローブの先端の局在化に基づき、前記一致させられた複数の仮想的な組織構造体の１つのレンダリングを表示するための表示システムをさらに含んでよい。

また、前記画像キャプチャプローブを受けるよう大きさが決められた可撓性カテーテル、及び、
前記可撓性カテーテルの遠位領域を操縦するためのステアリングシステム、
をさらに含み、
前記可撓性カテーテルが、プローブポーズを制御してよい。

また、前記画像キャプチャプローブが除去される場合に前記可撓性カテーテルのカテーテルポーズを維持するための制御システムをさらに含んでよい。

また、前記可撓性カテーテルを通して展開される、追跡されるツールをさらに含み、前記追跡されるツールが、表示された仮想的な可視化の画像を参照することによって制御されてよい。

Claims (10)

1. 患者の解剖学的領域の本物の画像をキャプチャする画像キャプチャ装置と；
   プロセッサであって：
   前記解剖学的領域のモデルを生成し；
   前記患者の前記解剖学的領域に対する前記画像キャプチャ装置の位置に基づいて定められる前記モデルの小領域を定め；
   前記モデルの前記小領域において複数の候補構造体を同定し；
   前記画像キャプチャ装置からキャプチャされた前記本物の画像を受信し；
   前記キャプチャされた本物の画像において本物の組織構造体を同定し；
   前記本物の組織構造体と一致させるように前記複数の候補構造体のそれぞれの反復レンダリングを実行し；
   前記反復レンダリングに基づいて前記本物の組織構造体に前記複数の候補構造体の１つを一致させ；
   前記本物の画像を前記解剖学的領域の前記モデルと位置合わせする；
   ように構成される、プロセッサと；
   を有する、
   医療システム。
2. 患者の解剖学的領域の本物の画像をキャプチャする画像キャプチャ装置と；
   プロセッサであって：
   前記解剖学的領域のモデルを生成し；
   前記画像キャプチャ装置の過去の経路の分析に基づいて定められる前記モデルの小領域を定め；
   前記モデルの前記小領域において複数の候補構造体を同定し；
   前記画像キャプチャ装置からキャプチャされた前記本物の画像を受信し；
   前記キャプチャされた本物の画像において本物の組織構造体を同定し；
   前記本物の組織構造体と一致させるように前記複数の候補構造体のそれぞれの反復レンダリングを実行し；
   前記反復レンダリングに基づいて前記本物の組織構造体に前記複数の候補構造体の１つを一致させ；
   前記本物の画像を前記解剖学的領域の前記モデルと位置合わせする；
   ように構成される、プロセッサと；
   を有する、
   医療システム。
3. 前記プロセッサはさらに、前記複数の候補構造体のそれぞれに対して複数のレンダリングを生成するように構成され、前記本物の組織構造体に前記複数の候補構造体の１つを一致させることはさらに、前記本物の組織構造体に前記複数のレンダリングを一致させることを含む、
   請求項１または２に記載の医療システム。
4. 前記プロセッサはさらに、前記画像キャプチャ装置の複数の関連付けられるポーズに基づいて前記複数のレンダリングを生成するように構成される、
   請求項３に記載の医療システム。
5. 前記プロセッサはさらに、前記レンダリングの解像度を増加させる反復ステップで前記複数のレンダリングを生成するように構成される、
   請求項３または４に記載の医療システム。
6. 前記画像キャプチャ装置の前記位置は、位置センサによって生成される位置情報から決定される、
   請求項１、または請求項１を引用する請求項３乃至５のいずれか１項に記載の医療システム。
7. 前記モデルの前記小領域はさらに、前記位置情報に関連付けられる最大位置偏差に基づいて定められる、
   請求項６に記載の医療システム。
8. 前記複数の候補構造体を同定することは、構造的態様のセットに基づいて前記複数の候補構造体をフィルタリングすることを含む、
   請求項１乃至７のいずれか１項に記載の医療システム。
9. 前記構造的態様のセットは、管腔寸法、管腔形状、及び分岐部のうち少なくとも１つを含む、
   請求項８に記載の医療システム。
10. 前記プロセッサはさらに、前記本物の組織構造体との前記の一致する前記複数の候補構造体の１つの表示を生成するように構成される、
    請求項１乃至９のいずれか１項に記載の医療システム。

Images