JP7214757B2 - 生理学的ノイズを検出する管腔網のナビゲーションのためのロボットシステム及び方法 - Google Patents

Description

（関連出願の相互参照）
本願は、参照によりその全体が本明細書に組み込まれる、２０１８年５月３１日出願の米国仮特許出願第６２／６７８，５２０号の利益を主張するものである。

（発明の分野）
本明細書に開示されるシステム及び方法は、外科用ロボット工学、より具体的には管腔内のナビゲーションを目的とする。

気管支鏡検査は、医師が気管支及び細気管支などの患者の肺気道の内部状態を検査することを可能とする医療処置である。肺気道は、導管又は気管から肺に空気を運ぶ。医療処置の間、気管支鏡として知られる薄い可撓性の管状ツールを患者の口に挿入して、患者の喉からその肺気道内まで通すことができ、患者は、医療処置中の外科的検査及び手術のためにその喉及び肺空洞を弛緩させるため、一般には麻酔される。

関連技術において、気管支鏡は、医師が患者の気管及び気道を検査することを可能にする光源及び小型カメラを含んでもよく、例えば、患者の肺内に大量の出血が存在する場合、又は大きな物体が患者の喉を閉塞している場合は、剛性管を外科的な目的で気管支鏡と共に用いてもよい。剛性管が使用される場合、患者は麻酔されることが多い。ロボット気管支鏡は、管状網を通したナビゲーションにおける多大な利点を提供する。これらは、使用を容易にし、気管支鏡検査段階の間であっても治療及び生検の投与を簡便にすることを可能にする。

機械的装置又はプラットフォーム、例えば、上述のロボット気管支鏡とは別に、様々な方法及びソフトウェアモデルを使用して外科手術を支援することができる。一例として、患者の肺のコンピュータ断層撮影（ＣＴ）スキャンは、多くの場合、外科的検査の予備作業中に行われる。ＣＴスキャンからのデータを用いて、患者の肺の気道の三次元（３Ｄ）モデルを生成することができ、生成された３Ｄモデルは、外科的検査の手術処置中に有用であり得る視覚的基準に医師がアクセスすることを可能にする。

しかしながら、管状網のナビゲーションのための従来技術は、医療用装置（例えば、ロボット気管支鏡）を使用する場合、及び既存の方法（例えば、ＣＴスキャンを実行し、３Ｄモデルを生成すること）を用いる場合であっても、依然として課題を有する。一例として、患者の身体内の医療装置（例えば、気管支鏡ツール）の動作の推定は、装置の位置及び配向の変化に基づいて正確でない場合があり、その結果、装置のポジションは、患者の身体内で、リアルタイムで正確又は適切に特定されない場合がある。こうした器具の不正確な位置情報は、医療手術手順の間、３Ｄモデルを視覚的参照として使用する医師に誤解を与える情報を提供する場合がある。

したがって、管状構造体の網を通してナビゲートするための改善された技術が必要とされている。

一態様では、医療用ロボットシステムであって、１つ以上のプロセッサのセットと、プロセッサのセットと通信し、コンピュータ実行可能命令を記憶した少なくとも１つのコンピュータ可読メモリであって、コンピュータ実行可能命令が、プロセッサのセットに、器具上に位置する画像センサから第１の画像データを受信することであって、器具は、患者の管腔網を通って駆動されるように構成されている、ことと、第１の画像データの１つ以上の関心点のセットを検出することと、第１の画像データ内の点のセットにそれぞれ対応する第１の位置のセットを識別することと、画像センサから第２の画像データを受信することと、第２の画像データ内の１つ以上の点のセットを検出することと、第２の画像データ内の点のセットにそれぞれ対応する第２の位置のセットを識別することと、第１の位置のセット及び第２の位置のセットに基づいて、器具に対する管腔網の移動によって引き起こされる管腔網内での器具の位置の変化を検出することと、を行わせる、コンピュータ可読メモリと、を備える、医療用ロボットシステムが提供される。

別の態様では、非一時的コンピュータ可読記憶媒体であって、非一時的コンピュータ可読記憶媒体は、非一時的コンピュータ可読記憶媒体に記憶された命令を有し、命令は、実行されると、少なくとも１つのコンピューティング装置に、器具上に位置する画像センサから第１の画像データを受信することであって、器具は、患者の管腔網を通って駆動されるように構成される、ことと、第１の画像データの１つ以上の関心点のセットを検出することと、第１の画像データ内の点のセットにそれぞれ対応する第１の位置のセットを識別することと、画像センサから第２の画像データを受信することと、第２の画像データ内の１つ以上の点のセットを検出することと、第２の画像データ内の点のセットにそれぞれ対応する第２の位置のセットを識別することと、第１の位置のセット及び第２の位置のセットに基づいて、器具に対する管腔網の移動によって引き起こされる管腔網内での器具の位置の変化を検出することと、を行わせる、非一時的コンピュータ可読記憶媒体が提供される。

更に別の態様では、器具の位置の変化を検出するための方法であって、器具上に位置する画像センサから第１の画像データを受信することであって、器具は、患者の管腔網を通って駆動されるように構成されている、ことと、第１の画像データの１つ以上の関心点のセットを検出することと、第１の画像データ内の点のセットにそれぞれ対応する第１の位置のセットを識別することと、画像センサから第２の画像データを受信することと、第２の画像データ内の１つ以上の点のセットを検出することと、第２の画像データ内の点のセットにそれぞれ対応する第２の位置のセットを識別することと、第１の位置のセット及び第２の位置のセットに基づいて、器具に対する管腔網の移動によって引き起こされる管腔網内での器具の位置の変化を検出することと、を含む、方法が提供される。

開示される態様は、以下、添付の図面と併せて説明され、開示された態様を例示するが、限定するものではなく、同様の指定は同様の要素を示す。
一実施形態による例示的な外科用ロボットシステムを示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、図１Ａに示される外科用ロボットシステムに連結されたロボットプラットフォームの様々な斜視図を示す。 一実施形態による、例示的な外科用ロボットシステムのための例示的なコマンドコンソールを示す。 一実施形態による、図１Ａに示す器具装置マニピュレータ（ＩＤＭ）の例示的な独立駆動機構の等角図を示す。 一実施形態による、図３Ａに示される独立駆動機構のひずみゲージによって力がどのように測定され得るかを示す概念図を示す。 一実施形態による、例示的な内視鏡の上面図を示す。 一実施形態による、図４Ａに示す内視鏡の例示的な内視鏡先端部を示す。 一実施形態による、外科用ロボットシステムに含まれるＥＭ追跡システムの例示的な概略設定を示す。 一実施形態による、例示的な解剖学的内腔、及び解剖学的内腔の例示的な３Ｄモデルを示す。 一実施形態による、例示的な解剖学的内腔、及び解剖学的内腔の例示的な３Ｄモデルを示す。 一実施形態による、解剖学的空間を表すコンピュータ生成３Ｄモデルを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフを示す。 一実施形態による、分枝状管状網の３Ｄモデルに対するＥＭシステムの例示的な位置合わせの効果を示す。 一実施形態による、分枝状管状網の３Ｄモデルに対するＥＭシステムの例示的な位置合わせの効果を示す。 一実施形態による、ナビゲーション構成システムの例示的なブロック図の高レベルな概要を示す。 一実施形態による、図９Ａに示されるナビゲーションモジュールの例示的なブロック図を示す。 一実施形態による、状態推定器に含まれる推定状態データストアの例示的なブロック図を示す。 本開示の態様による、動作推定モジュールの例示的なブロック図を示す。 一実施例による、物体検出モジュールの例示的なブロック図を示す。 一実施形態による、物体マッピングモジュールの例示的なブロック図を示す。 一実施形態による、トポロジ推論モジュールの例示的なブロック図を示す。 一実施形態による、物体マッピングモジュールによって実施される例示的な物体－内腔マッピングを示す。 一実施形態による、物体マッピングモジュールによって実施される例示的な物体－内腔マッピングを示す。 本開示の態様による、生理学的ノイズを検出するための、ロボットシステム又はその構成要素（複数可）によって動作可能な例示的な方法を示すフローチャートである。 本開示の態様による、第１の時点で画像センサによってキャプチャされた例示的な画像データを示す。 本開示の態様による、第１の時点の後の、第２の時点で画像センサによってキャプチャされた画像データの別の例を示す。 本開示の態様による、図１３Ａ～１３Ｂに示される画像データフレーム間の例示的な画素の位置の変化の例を示す。 本開示の態様による、図１３Ａ～１３Ｂに示される画像データフレーム間の例示的な画素の位置の変化の別の例を示す。 本開示の態様による、スケール変化値が蓄積され得る画像データフレームのシーケンス内の２つの画像データフレームの例を示す。 本開示の態様による、スケール変化値が蓄積され得る画像データフレームのシーケンス内の２つの画像データフレームの例を示す。 本開示の態様による、画像データフレームのシーケンスにわたり蓄積されたスケール変化値に対する変化を示すグラフである。 本開示の態様による、画像データフレームのシーケンスにわたり蓄積されたスケール変化値に対する変化を示すグラフである。

ここで、いくつかの実施形態を詳細に参照し、それらの実施例が添付の図に示される。可能である場合は、類似又は同様の参照番号が図において使用され得、これらの参照番号は、類似又は同様の機能性を示し得ることに留意されたい。図は、例示のみを目的として、説明されるシステム（又は方法）の実施形態を示すものである。当業者であれば、本明細書に記載の原理から逸脱することなく、本明細書に例示した構造及び方法の代替の実施形態を採用できることを以下の説明から容易に理解するであろう。

Ｉ．外科用ロボットシステム
図１Ａは、一実施形態による例示的な外科用ロボットシステム１００を示す。外科用ロボットシステム１００は、１つ以上のロボットアーム（例えばロボットアーム１０２）に連結された基部１０１を含む。基部１０１は、コマンドコンソールに通信可能に連結されている。なお、コマンドコンソールについては、セクションＩＩで図２を参照しながら更に説明する。コマンドコンソール。基部１０１は、ロボットアーム１０２が患者に対して外科処置を実行するためのアクセスを有するように配置され得るが、一方で、医師などのユーザは、コマンドコンソールから快適に、外科用ロボットシステム１００を制御し得る。いくつかの実施形態では、基部１０１は、患者を支持するための外科手術台又はベッドに連結されてもよい。明確さのために図１には示されていないが、基部１０１は、例えば、制御電子機器、空圧系、電源、光源などのサブシステムを含んでもよい。ロボットアーム１０２は、ジョイント１１１で連結された複数のアームセグメント１１０を含み、そのことにより、ロボットアーム１０２に、複数の自由度、例えば７つのアームセグメントに対応する７つの自由度を提供する。基部１０１は、電源１１２、空気圧源１１３、制御系及びセンサ電子機器１１４（中央処理ユニット、データバス、制御回路、及びメモリなどの構成要素を含む）、並びに関連するアクチュエータ（例えばロボットアーム１０２を移動させるためのモータなど）を含んでもよい。基部１０１内の電子機器１１４はまた、コマンドコンソールから伝達される制御信号を処理及び送信してもよい。

いくつかの実施形態では、基部１０１は、外科用ロボットシステム１００を輸送するためのホイール１１５を含む。外科用ロボットシステム１００が可動性を有するので、外科手術室における空間制約に順応する助けとなり、かつ外科用機器の適切な配置及び移動を容易にする助けとなる。更に、この可動性により、ロボットアーム１０２が、患者、医師、麻酔科医、又はいかなる他の装置とも干渉しないように、ロボットアーム１０２を構成することが可能となる。手術中、ユーザは、コマンドコンソールなどの制御装置を使用して、ロボットアーム１０２を制御し得る。

いくつかの実施形態では、ロボットアーム１０２は、ロボットアーム１０２のポジションを維持するためにブレーキとカウンタバランスとの組み合わせを使用するセットアップジョイントを含む。カウンタバランスは、ガスばね又はコイルばねを含んでもよい。ブレーキ、例えば、フェイルセーフブレーキは、機械部品及び／又は電気部品を含んでもよい。更に、ロボットアーム１０２は、重力支援型の受動的支持型ロボットアームであってもよい。

各ロボットアーム１０２は、機構交換インターフェース（ＭＣＩ）１１６を使用して、器具装置マニピュレータ（ＩＤＭ）１１７に連結されてもよい。ＩＤＭ１１７は、取り外して異なるタイプのＩＤＭと交換されてもよく、例えば、第１のタイプのＩＤＭは内視鏡を操作し、一方で第２のタイプのＩＤＭは腹腔鏡を操作する。ＭＣＩ１１６は、空気圧、電力、電気信号、及び光信号をロボットアーム１０２からＩＤＭ１１７に伝達するためのコネクタを含む。ＭＣＩ１１６は、止めねじ又は基部プレートコネクタであり得る。ＩＤＭ１１７は、直接駆動、高調波駆動、ギア駆動、ベルト及びプーリ、磁気ドライブなどを含む技術を使用して、内視鏡１１８などの外科用器具を操作する。ＭＣＩ１１６は、ＩＤＭ１１７のタイプに基づいて交換可能であり、特定のタイプの外科処置のためにカスタマイズされ得る。ＫＵＫＡ ＡＧ（登録商標）ＬＢＲ５ロボットアームなどのロボットアーム１０２は、ジョイントレベルトルク感知器及び遠位端における手首部を含むことができる。

内視鏡１１８は、解剖学的構造（例えば、身体組織）の画像をキャプチャするために患者の解剖学的構造内に挿入される、管状かつ可撓性の外科用器具である。具体的には、内視鏡１１８は、画像をキャプチャする１つ以上の撮像装置（例えば、カメラ又はその他のタイプの光学センサ）を含む。撮像装置は、光ファイバ、ファイバアレイ、又はレンズなどの１つ以上の光学部品を含み得る。光学部品は、内視鏡１１８の先端部と共に移動するため、内視鏡１１８の先端部の移動により撮像装置によってキャプチャされた画像が変化する。内視鏡１１８を、セクションＩＶで図３Ａ～４Ｂを参照しながら更に説明する。内視鏡。

外科用ロボットシステム１００のロボットアーム１０２は、細長い運動部材を使用して内視鏡１１８を操作する。細長い運動部材は、プルワイヤ若しくはプッシュワイヤ、ケーブル、ファイバ、又は可撓性シャフトとも呼ばれるプルワイヤを含んでもよい。例えば、ロボットアーム１０２は、内視鏡１１８に連結された複数のプルワイヤを作動させて、内視鏡１１８の先端を偏向させる。プルワイヤは、例えば、ステンレス鋼、ケブラー、タングステン、炭素繊維などの、金属材料及び非金属材料の両方を含んでもよい。内視鏡１１８は、細長い運動部材によって印加される力に応答して、非直線的挙動を呈し得る。非直線的挙動は、内視鏡１１８の剛性及び圧縮性、並びに異なる細長い運動部材間の緩み又は剛性の変動性に基づくものであり得る。

図１Ｂ～１Ｆは、様々な実施形態による、ロボットプラットフォーム１５０（又は外科用ベッド）に連結された外科用ロボットシステム１００の様々な斜視図を示す。具体的には、図１Ｂは、ロボットアーム１０２が内視鏡１１８を操作して内視鏡を患者の体内に挿入する外科用ロボットシステム１００の側面図を示し、患者はロボットプラットフォーム１５０上に横臥している。図１Ｃは、外科用ロボットシステム１００及びロボットプラットフォーム１５０の上面図を示し、ロボットアームによって操作される内視鏡１１８が患者の体内に挿入される。図１Ｄは、外科用ロボットシステム１００及びロボットプラットフォーム１５０の斜視図を示し、内視鏡１１８はロボットプラットフォームと水平方向で平行に配置されるように制御される。図１Ｅは、外科用ロボットシステム１００及びロボットプラットフォーム１５０の別の斜視図を示し、内視鏡１１８はロボットプラットフォームに対して比較的垂直に配置されるように制御される。より詳細には、図１Ｅでは、ロボットプラットフォーム１５０の水平面と内視鏡１１８との間の角度は７５度である。図１Ｆは、図１Ｅで示される外科用ロボットシステム１００及びロボットプラットフォーム１５０の斜視図を示し、より詳細には、内視鏡１１８と、内視鏡の一方の端部１８０及びロボットプラットフォームから比較的遠くに配置されたロボットアーム１０２を接続する仮想線１６０との間の角度は９０度である。

ＩＩ．コマンドコンソール
図２は、一実施形態による、例示的な外科用ロボットシステム１００のための例示的なコマンドコンソール２００を示す。コマンドコンソール２００は、コンソール基部２０１、ディスプレイモジュール２０２（例えば、モニタ）、及び制御モジュール（例えば、キーボード２０３及びジョイスティック２０４）を含む。いくつかの実施形態では、コマンドコンソール２００の機能のうちの１つ以上は、外科用ロボットシステム１００の基部１０１、又は外科用ロボットシステム１００に通信可能に連結された別のシステムに統合されてもよい。ユーザ２０５（例えば、医師）は、コマンドコンソール２００を使用して人間工学的ポジションから外科用ロボットシステム１００を遠隔制御する。

コンソール基部２０１は、カメラ撮像データ及び追跡センサデータなどの信号（例えば、図１に示される内視鏡１１８からのデータ）の解釈及び処理に関与する、中央処理ユニット、メモリユニット、データバス、及び関連データ通信ポートを含んでもよい。いくつかの実施形態では、コンソール基部２０１及び基部１０１はどちらも、負荷平衡化のための信号処理を実行する。コンソール基部２０１はまた、ユーザ２０５によって制御モジュール２０３及び２０４を通じて提供されるコマンド及び命令を処理してもよい。図２に示すキーボード２０３及びジョイスティック２０４に加えて、制御モジュールは、他の装置、例えば、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ビデオゲームコントローラ、並びにハンドジェスチャ及び指ジェスチャをキャプチャするセンサ（例えば、モーションセンサ又はカメラ）を含んでもよい。

ユーザ２０５は、コマンドコンソール２００を速度モード又はポジション制御モードで使用して、内視鏡１１８などの外科用器具を制御することができる。速度モードでは、ユーザ２０５は、制御モジュールを使用した直接手動制御に基づいて、内視鏡１１８の遠位端のピッチ及びヨー動作を直接制御する。例えば、ジョイスティック２０４の動作は、内視鏡１１８の遠位端におけるヨー及びピッチ動作にマッピングされ得る。ジョイスティック２０４は、ユーザ２０５に触覚フィードバックを提供することができる。例えば、ジョイスティック２０４は、振動して、内視鏡１１８が特定の方向にそれ以上並進又は回転することができないことを示す。コマンドコンソール２００はまた、内視鏡１１８が最大限の並進又は回転に達したことを示すために、視覚的フィードバック（例えば、ポップアップメッセージ）及び／又は聴覚的フィードバック（例えば、ビープ音）を提供することができる。

ポジション制御モードでは、コマンドコンソール２００は、患者の三次元（３Ｄ）マップ及び患者の所定のコンピュータモデルを使用して、外科用器具、例えば、内視鏡１１８を制御する。コマンドコンソール２００は、外科用ロボットシステム１００のロボットアーム１０２に制御信号を提供して、内視鏡１１８を標的位置まで操作する。３Ｄマップへ依拠するため、ポジション制御モードは、患者の解剖学的構造の正確なマッピングを必要とする。

いくつかの実施形態では、ユーザ２０５は、コマンドコンソール２００を使用せずに、外科用ロボットシステム１００のロボットアーム１０２を手動で操作することができる。外科手術室での設定中、ユーザ２０５は、ロボットアーム１０２、内視鏡１１８、及び他の外科用機器を動かして、患者にアクセスすることができる。外科用ロボットシステム１００は、ユーザ２０５からの力フィードバック及び慣性制御に依存して、ロボットアーム１０２及び装置の適切な構成を決定してもよい。

ディスプレイモジュール２０２は、電子モニタ、仮想現実閲覧装置（例えば、ゴーグル又は眼鏡）、及び／又はディスプレイ装置の他の手段を含んでもよい。いくつかの実施形態では、ディスプレイモジュール２０２は、例えば、タッチスクリーンを有するタブレット装置として、制御モジュールに統合される。更に、ユーザ２０５は、統合ディスプレイモジュール２０２及び制御モジュールを使用して、データ及び、外科用ロボットシステム１００への入力コマンドの両方を見ることができる。

ディスプレイモジュール２０２は、立体視装置（例えば、バイザー又はゴーグル）を使用して、３Ｄ画像を表示することができる。３Ｄ画像は、患者の解剖学的構造を示すコンピュータ３Ｄモデルである「エンドビュー」（すなわち、内視鏡ビュー）を提供する。「エンドビュー」は、患者の内部の仮想環境、及び患者の内部における内視鏡１１８の予想される位置を提供する。ユーザ２０５は、「エンドビュー」モデルを、カメラによってキャプチャされた実際の画像と比較して、内視鏡１１８が患者の体内の正しい、又は概ね正しい位置にあるように、頭の中において方向付けし確認する助けとする。「エンドビュー」は、内視鏡１１８の遠位端周囲の解剖学的構造、例えば、患者の腸又は結腸の形状に関する情報を提供する。ディスプレイモジュール２０２は、内視鏡１１８の遠位端周囲の解剖学的構造の３Ｄモデルとコンピュータ断層撮影（ＣＴ）スキャンとを同時に表示することができる。更に、ディスプレイモジュール２０２は、内視鏡１１８の既に決定されたナビゲーション経路を、３Ｄモデル、及び術前モデルデータ（例えば、ＣＴスキャン）に基づいて生成されたスキャン／画像にオーバレイすることができる。

いくつかの実施形態では、内視鏡１１８のモデルが３Ｄモデルと共に表示され、外科処置の状態を示す助けとなる。例えば、ＣＴスキャンにより、生検が必要であり得る解剖学的構造にある病変が識別される。動作中、ディスプレイモジュール２０２は、内視鏡１１８の現在の位置に対応する、内視鏡１１８によってキャプチャされた基準画像を示すことができる。ディスプレイモジュール２０２は、ユーザ設定及び特定の外科処置に応じて、内視鏡１１８のモデルの異なるビューを自動的に表示することができる。例えば、ディスプレイモジュール２０２は、内視鏡１１８が患者の手術領域に接近する際のナビゲーション工程中には、内視鏡１１８の頭上からのＸ線透視図を示す。

ＩＩＩ．器具装置マニピュレータ
図３Ａは、一実施形態による、図１に示すＩＤＭ１１７の例示的な独立駆動機構の等角図を示す。独立駆動機構は、ＩＤＭ１１７の出力シャフト３０５、３０６、３０７、及び３０８をそれぞれ回転させることによって、内視鏡のプルワイヤ３２１、３２２、３２３、及び３２４を締める又は緩めることができる（例えば、互いから独立して）。出力シャフト３０５、３０６、３０７、及び３０８が、角動作を介して、それぞれプルワイヤ３２１、３２２、３２３、及び３２４に力を伝達するのと同じように、プルワイヤ３２１、３２２、３２３、及び３２４は、出力シャフトに力を伝達して戻す。ＩＤＭ１１７及び／又は外科用ロボットシステム１００は、センサ、例えば、以下に更に記載されるひずみゲージを使用して、伝達された力を測定することができる。

図３Ｂは、一実施形態による、図３Ａに示される独立駆動機構のひずみゲージ３３４によって力がどのように測定され得るかを示す概念図を示す。力３３１は、モータ３３７のモータマウント３３３に連結された出力シャフト３０５から離れるように方向付けられてもよい。したがって、力３３１は、モータマウント３３３の水平方向の変位をもたらす。更に、モータマウント３３３に水平に連結されたひずみゲージ３３４は、力３３１の方向にひずみを受ける。ひずみは、ひずみゲージ３３４の先端部３３５の水平方向変位とひずみゲージ３３４の水平幅３３６全体との比として測定され得る。

いくつかの実施形態では、ＩＤＭ１１７は、ＩＤＭ１１７の配向を判定するために、追加のセンサ、例えば、傾斜計又は加速度計を含む。追加のセンサ及び／又はひずみゲージ３３４からの測定値に基づいて、外科用ロボットシステム１００は、重力負荷効果を考慮するようにひずみゲージ３３４からの測定値を較正することができる。例えば、ＩＤＭ１１７がＩＤＭ１１７の水平側面上で配向される場合、ＩＤＭ１１７の特定の構成要素の重量が、モータマウント３３３にひずみを引き起こす場合がある。したがって、重力負荷効果を考慮することなく、ひずみゲージ３３４は、出力シャフト上のひずみに起因していなかったひずみを測定することができる。

ＩＶ．内視鏡
図４Ａは、一実施形態による、例示的な内視鏡１１８の上面図を示す。内視鏡１１８は、シース４１１の管状構成要素の内側で入れ子状又は部分的に入れ子状にされ、かつシース４１１の管状構成要素と長手方向に整列した、リーダ４１５の管状構成要素を含む。シース４１１は、近位シース区画４１２と遠位シース区画４１３とを含む。リーダ４１５は、シース４１１よりも小さな外径を有し、近位リーダ区画４１６及び遠位リーダ区画４１７を含む。シース基部４１４及びリーダ基部４１８は、例えば、外科用ロボットシステム１００のユーザからの制御信号に基づいて、遠位シース区画４１３及び遠位リーダ区画４１７をそれぞれ作動させる。シース基部４１４及びリーダ基部４１８は、例えば、図１に示されるＩＤＭ１１７の一部である。

シース基部４１４及びリーダ基部４１８は両方とも、シース４１１及びリーダ４１５に連結されたプルワイヤを制御するための駆動機構（例えば、セクションＩＩＩの器具装置マニピュレータで図３Ａ～Ｂを参照しながら更に説明される独立駆動機構）を含む。例えば、シース基部４１４は、シース４１１に連結されたプルワイヤ上に引張荷重を発生させて、遠位シース区画４１３を偏向させる。同様に、リーダ基部４１８は、リーダ４１５に連結されたプルワイヤ上に引張荷重を発生させて、遠位リーダ区画４１７を偏向させる。シース基部４１４及びリーダ基部４１８の両方は、空気圧、電力、電気信号、又は光信号を、ＩＤＭからシース４１１及びリーダ４１４へとそれぞれルーティングするためのカップリングを更に含んでもよい。プルワイヤは、シース４１１又はリーダ４１５内のプルワイヤの長さに沿ってスチールコイルパイプを含んでもよく、このスチールコイルパイプは、軸方向圧縮を、荷重の起点、例えば、シース基部４１４又はリーダ基部４１８のそれぞれに伝達して戻す。

内視鏡１１８は、シース４１１及びリーダ４１５に連結されたプルワイヤによって提供される多自由度のために、患者の解剖学的構造を容易にナビゲートすることができる。例えば、シース４１１及び／又はリーダ４１５のいずれかに４つ以上のプルワイヤを用いて、８つ以上の自由度を提供することができる。その他の実施形態では、最大で３つのプルワイヤを用いて、最大で６つの自由度を提供することができる。長手方向軸４０６に沿ってシース４１１及びリーダ４１５を最大で３６０度回転させて、より多くの動作度を提供することができる。回転角度と多自由度との組み合わせによって、外科用ロボットシステム１００のユーザに、使いやすく直感的な内視鏡１１８の制御が提供される。

図４Ｂは、一実施形態による、図４Ａに示す内視鏡１１８の例示的な内視鏡先端部４３０を示す。図４Ｂでは、内視鏡先端部４３０は、撮像装置４３１（例えば、カメラ）、照明光源４３２、及びＥＭコイル４３４の端部を含む。照明光源４３２は、解剖学的空間の内部を照明するための光を提供する。提供された光によって、撮像装置４３１がその空間の画像を記録することが可能となり、続いてこの画像を、本明細書に記載される処理のために、コマンドコンソール２００などのコンピュータシステムに送信することができる。先端部４３０上に位置する電磁（ＥＭ）コイル４３４は、ＥＭ追跡システムと共に使用されて、内視鏡先端部４３０が解剖学系内に配置されている間にそのポジション及び配向を検出することができる。いくつかの実施形態では、コイルは、異なる軸に沿ってＥＭ場に感度を提供するように角度付けされて、６つの自由度（３つのポジション自由度及び３つの角度自由度）の全てを測定する能力を付与することができる。他の実施形態では、単一のコイルのみが内視鏡先端部４３０内に配置されて、その軸が内視鏡１１８の内視鏡シャフトに沿って配向されてもよく、こうしたシステムの回転対称性に起因して、その軸を中心にロールすることは感度が悪いため、こうした場合においては５つの自由度だけが検出され得る。内視鏡先端部４３０は作業チャネル４３６を更に備え、これを通して生検針などの外科用器具を内視鏡シャフトに沿って挿入して、内視鏡先端部付近の領域へのアクセスを可能にすることができる。

Ｖ．３Ｄモデルに対するＥＭシステムの位置合わせ変換
Ｖ．Ａ．ＥＭ追跡システムの概略的な設定
図５は、一実施形態による、外科用ロボットシステム５００に含まれるＥＭ追跡システム５０５の例示的な概略設定を示す。図５では、ＥＭ追跡システム５０５には、複数のロボット構成要素（例えば、後述する窓磁場発生器、基準センサ）が含まれる。ロボット外科システム５００は、患者の身体を保持するための外科用ベッド５１１を含む。ベッド５１１の下に、ＥＭコイルのセット（例えば、図４Ｂに示されるＥＭコイル４３４）を順次作動させるように構成された窓磁場発生器（ＷＦＧ）５１２がある。ＷＦＧ５１２は、広い容積にわたって交流（ＡＣ）磁場を発生させ、例えば、いくつかの場合、約０．５×０．５×０．５ｍの容積にＡＣ磁場を生成することができる。

体内で器具を追跡するのを助けるために、更なる磁場発生器によって追加の磁場が適用されてもよい。例えば、平面磁場発生器（ＰＦＧ）を、患者に隣接するシステムアームに取り付け、傾斜したＥＭ場を提供するように配向してもよい。基準センサ５１３を患者の身体上に配置して、局所ＥＭ場を提供して、追跡精度を更に上げてもよい。基準センサ５１３のそれぞれは、ケーブル５１４によってコマンドモジュール５１５に取り付けられてもよい。ケーブル５１４は、インターフェースユニット５１６を介してコマンドモジュール５１５に接続され、インターフェースユニット５１６は、それらのそれぞれの装置との通信、並びに電力の供給を取り扱う。インターフェースユニット５１６は、上述の様々なエンティティのための全体的なインターフェースコントローラとして機能するシステム制御ユニット（ＳＣＵ）５１７に連結される。ＳＣＵ５１７はまた、磁場発生器（例えばＷＦＧ５１２）を駆動し、のみならず、インターフェースユニット５１６からのセンサデータを収集し、このセンサデータから、体内のセンサのポジション及び配向を計算する。ＳＣＵ５１７は、ユーザのアクセス及び制御を可能とするためにパーソナルコンピュータ（ＰＣ）５１８に連結されてもよい。

コマンドモジュール５１５はまた、本明細書に記載されるように外科用ロボットシステム５００に連結された様々なＩＤＭ５１９に接続される。ＩＤＭ５１９は、典型的には、単一の外科用ロボットシステム（例えば、外科用ロボットシステム５００）に連結され、これらのそれぞれの接続されたロボット構成要素、例えばロボット内視鏡ツール又はロボットアームからのデータを制御し、かつこのデータを受信するために使用される。上述したように、一例として、ＩＤＭ５１９は、外科用ロボットシステム５００の内視鏡ツール（本明細書では図示せず）に連結される。

コマンドモジュール５１５は、内視鏡ツールから渡されたデータを受信する。受信されるデータの種類は、取り付けられた対応する器具のタイプに依存する。例えば、受信されるデータの例としては、センサデータ（例えば、画像データ、ＥＭデータ）、ロボットデータ（例えば、内視鏡及びＩＤＭ物理動作データ）、制御データ、及び／又はビデオデータが挙げられる。ビデオデータをより良好に取り扱うために、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）５２０が、画像処理を取り扱うように構成されてもよい。様々なセンサ、装置、及び磁場発生器から得られたデータを比較することにより、ＳＣＵ５１７が、外科用ロボットシステム５００の異なる構成要素の運動、並びに例えばこれらの構成要素のポジション及び配向を正確に追跡することが可能となる。

患者の解剖学的構造を通してセンサを追跡するために、ＥＭ追跡システム５０５は、「位置合わせ」として知られるプロセスを必要とする場合があり、ここで、システムは、異なる座標系の間で単一の物体を整列させる幾何学的変換を発見する。例えば、患者の特定の解剖学的部位は、３Ｄモデル座標及びＥＭセンサ座標における２つの異なる表現を有する。これらの２つの異なる座標系間で一貫性及び共通言語を確立することができるように、ＥＭ追跡システム５０５は、これらの２つの表現をリンクさせる変換、すなわち位置合わせを発見する必要がある。例えば、対応する３Ｄモデル内の位置を特定するために、ＥＭ場発生器のポジションに対するＥＭトラッカのポジションが３Ｄ座標系にマッピングされ得る。

Ｖ．Ｂ ３Ｄモデル表現
図６Ａ～６Ｂは、一実施形態による、例示的な解剖学的内腔６００、及び解剖学的内腔の例示的な３Ｄモデル６２０を示す。より具体的には、図６Ａ～６Ｂは、実際の解剖学的内腔６００とその３Ｄモデル６２０との間の中心線座標、直径測定値、及び解剖学的空間の関係を示す。図６Ａでは、解剖学的内腔６００は、中心線座標６０１、６０２、６０３、６０４、６０５、及び６０６によって長手方向に概ね追跡され、各中心線座標は、内腔の断層撮影スライスの中心に概ね近似する。中心線座標は、中心線６０７によって接続され可視化される。内腔の体積は、各中心線座標で内腔の直径を測定することによって更に可視化することができ、例えば、座標６０８、６０９、６１０、６１１、６１２、及び６１３は、座標６０１、６０２、６０３、６０４、６０５、及び６０６に対応する内腔６００の測定値を表す。

図６Ｂは、一実施形態による、図６Ａに示す解剖学的内腔６００の例示的な３Ｄモデル６２０を示す。図６Ｂでは、解剖学的内腔６００は、最初に、中心線６０７に基づいて３Ｄ空間内の中心線座標６０１、６０２、６０３、６０４、６０５、及び６０６を配置することによって、３Ｄ空間内で可視化される。一例として、各中心線座標において、内腔の直径は、直径６０８、６０９、６１０、６１１、６１２、及び６１３を備える２Ｄ円形空間（例えば、２Ｄ円形空間６３０）として可視化される。これらの２Ｄ円形空間を接続して３Ｄ空間を形成することによって、解剖学的内腔６００は、３Ｄモデル６２０として近似化及び可視化される。より正確な近似値は、中心線座標及び測定値の分解能を増加させること、すなわち、所定の内腔又は小区画の中心線座標及び測定値の密度を増加させることによって判定することができる。中心線座標はまた、病変を含む医師の関心点を示すためのマーカを含んでもよい。

いくつかの実施形態では、生成された解剖学的空間の３Ｄモデルに基づいて、ナビゲーション経路を分析及び算出するために、術前ソフトウェアパッケージも使用される。例えば、ソフトウェアパッケージは、単一の病変（中心線座標によってマークされる）又はいくつかの病変に至る最短のナビゲーション経路を算出することができる。このナビゲーション経路は、手術中に、操作者の好みに応じて２次元又は３次元のいずれかで操作者に提示され得る。特定の実装形態では、ナビゲーション経路（又はその一部）は、手術前に操作者によって選択されてもよい。経路選択は、患者の解剖学的構造内の１つ以上の標的位置（単に「標的」とも称される）の識別を含み得る。

図７は、一実施形態による、解剖学的空間を表すコンピュータ生成３Ｄモデル７００を示す。図６Ａ～６Ｂで上述したように、３Ｄモデル７００は、手術前に生成されたＣＴスキャンを精査することによって得られた中心線７０１を使用して生成され得る。いくつかの実施形態では、コンピュータソフトウェアは、３Ｄモデル７００内の手術部位７０３（又は他の標的）にアクセスするために、管状網内のナビゲーション経路７０２をマッピングすることが可能であり得る。いくつかの実施形態では、手術部位７０３は、個々の中心線座標７０４にリンクされてもよく、これにより、コンピュータアルゴリズムが、管状網内の最適経路７０２を求めて３Ｄモデル７００の中心線座標内をトポロジ検索することが可能となる。特定の実施形態では、経路７０２のトポロジ検索は、１つ以上の標的の位置、１つ以上の中間点（waypoints）などといった、特定の操作者によって選択されたパラメータによって制約され得る。

いくつかの実施形態では、患者の解剖学的構造内の内視鏡ツールの遠位端が追跡され、また患者の解剖学的構造内の内視鏡ツールの追跡された位置がコンピュータモデル内でマッピング及び配置され、これによって管状網のナビゲーション能力が向上する。内視鏡ツールの遠位作業端、すなわち、作業端の位置及び配向を追跡するために、単独で又は組み合わせてのいずれかで、多数のアプローチが採用され得る。

位置特定に対するセンサベースのアプローチにおいては、ＥＭトラッカなどのセンサを内視鏡ツールの遠位作業端に連結して、内視鏡ツールの進行のリアルタイム表示を提供することができる。ＥＭベースの追跡においては、内視鏡ツールに埋め込まれたＥＭトラッカが、１つ以上のＥＭ送信機によって生成された電磁場の変動を測定する。送信機（又は磁場発生器）は、低強度磁場を生成するために、（例えば、外科用ベッドの一部として）患者に近接して配置されてもよい。これにより、ＥＭトラッカ内のセンサコイル内に小さな電流が誘導され、この電流はセンサと発生器との間の距離及び角度に相関する。続いて、電気信号が、インターフェースユニット（オンチップ又はＰＣＢ）によってデジタル化され、ケーブル／配線を介してシステムカートに戻され、続いてコマンドモジュールに送られてもよい。続いて、データを処理して、電流データを解釈し、送信機に対するセンサの正確な位置及び配向を計算することができる。それら構成要素の個々のポジションを計算するために、複数のセンサが、内視鏡ツール内、例えばリーダ及びシース内の様々な位置で用いられてもよい。したがって、人工的に生成されたＥＭ場からの測定値に基づいて、ＥＭトラッカは、患者の解剖学的構造を通って移動するときに、電界強度の変化を検出することができる。

Ｖ．Ｃ．オンザフライＥＭ位置合わせ
図８Ａ～８Ｄは、一実施形態による、管状網を通る経路の３Ｄモデルに対するＥＭシステムのオンザフライ位置合わせを示す例示的なグラフ８１０～８４０を示す。本明細書に記載されるナビゲーション構成システムは、内視鏡処置に先立って独立した位置合わせを必要とすることなく、３Ｄモデル座標に対するＥＭ座標のオンザフライ位置合わせを可能にする。より詳細には、図８Ａは、ＥＭ追跡システム及び３Ｄモデルの座標系が最初は互いに位置合わせされていないことを示し、図８Ａのグラフ８１０は、分枝状管状網（本明細書では図示せず）を通って計画されたナビゲーション経路８０２に沿って移動する内視鏡先端部８０１の位置合わせされた（又は予測された）位置を示し、位置合わせされた器具先端部８０１の位置、及び計画された経路８０２は３Ｄモデルから算出される。先端部の実際のポジションはＥＭ追跡システム５０５によって繰り返し測定され、ＥＭデータに基づく複数の測定位置データ点８０３がもたらされる。図８Ａに示すように、ＥＭ追跡から算出されたデータ点８０３は、最初は、３Ｄモデルから予測される内視鏡先端部８０１の位置合わせされた位置から遠く離れて位置し、ＥＭ座標と３Ｄモデル座標との間の位置合わせの欠如を反映している。これには、例えば、内視鏡先端部が管状網を通って比較的円滑に移動されている場合であっても、患者の肺の呼吸運動のために、ＥＭ測定値におけるいくらかの可視散乱が依然として存在し得ることなど、いくつかの理由がある場合がある。

３Ｄモデル上の点も、３Ｄモデル自体と、光学センサ（例えば、カメラ）から受信した画像データと、ロボットコマンドからのロボットデータとの間の相関に基づいて判定及び調節され得る。これらの点と収集されたＥＭデータ点との間の３Ｄ変換により、３Ｄモデル座標系に対するＥＭ座標系の初期位置合わせが決定される。

図８Ｂは、一実施形態による、グラフ８１０と比較した、後の時間段階におけるグラフ８２０を示す。より具体的には、グラフ８２０は、経路に沿った図８Ａに示される器具先端部８０１の元の予測ポジションから図８Ｂに示すポジションへのシフトによって示されるように、３Ｄモデルから予測された内視鏡先端部８０１の予測位置が、予め計画されたナビゲーション経路８０２に沿ってより遠くに移動したことを示す。グラフ８１０の生成とグラフ８２０の生成との間におけるＥＭ追跡の間に、ＥＭ追跡システムによって追加のデータ点８０３が記録されているが、新たに収集されたＥＭデータに基づく位置合わせはまだ更新されていない。結果として、図８Ｂのデータ点８０３は、可視経路８１４に沿ってクラスタ化されるが、その経路は、内視鏡先端部が、それに沿って移動するように操作者によって方向付けられる計画されたナビゲーション経路８０２とは位置及び配向が異なる。最終的に、十分なデータ（例えば、ＥＭデータ）が蓄積されると、３Ｄモデルのみ又はＥＭデータのみを使用することと比較して、ＥＭ座標を３Ｄモデルの座標と位置合わせするために必要とされる変換から比較的より正確な推定値を算出することができる。十分なデータの判定は、蓄積された合計データ又は方向の変化数などの閾値基準によってなされ得る。例えば、気管支管網などの分枝状管状網では、２つの分枝点に到着した後に十分なデータが蓄積されたと判断され得る。

図８Ｃは、一実施形態による、ナビゲーション構成システムがＥＭから３Ｄモデル座標への位置合わせ変換を推定するのに十分な量のデータを蓄積した直後のグラフ８３０を示す。図８Ｃのデータ点８０３は、ここでは、位置合わせ変換の結果として、図８Ｂに示すそれらの以前のポジションからシフトされている。図８Ｃに示すように、ＥＭデータから算出されたデータ点８０３は、ここでは、３Ｄモデルから算出された計画されたナビゲーション経路８０２に沿って置かれ、データ点８０３間の各データ点は、ここでは、３Ｄモデルの座標系中の内視鏡先端部８０１の予測ポジションの測定値を反映している。いくつかの実施形態では、更なるデータが収集されると、位置合わせ変換を更新して精度を高めることができる。場合によっては、位置合わせ変換を判定するために用いられるデータは、移動窓によって選択されるデータのサブセットであってもよく、その結果、位置合わせは経時的に変化することができ、これによって、例えば患者の動きに起因するＥＭ及び３Ｄモデルの相対座標の変化を考慮する能力が与えられる。

図８Ｄは、一実施形態による、内視鏡先端部８０１の予測位置が計画されたナビゲーション経路８０２の端部に到達して、管状網の標的位置に達する、例示的なグラフ８４０を示す。図８Ｄに示されるように、記録されたＥＭデータ点８０３は、ここでは、処置全体にわたる内視鏡先端部の追跡を表す、計画されたナビゲーション経路８０２に沿って概ね追跡する。各データ点は、３Ｄモデルに対するＥＭ追跡システムの更新された位置合わせに起因して、変換された位置を反映する。

いくつかの実施形態では、図８Ａ～８Ｄに示されるグラフのそれぞれは、内視鏡先端部が管状網内を前進すると、ユーザに可視であるディスプレイ上に連続的に示され得る。いくつかの実施形態では、ユーザが、固定された基準系を維持し、かつ、ディスプレイ上に示されるモデル上及び計画された経路上で視覚的に配向された状態を維持することができるように、プロセッサは、ディスプレイ上に示される測定された経路のシフトによって測定されたデータ点がディスプレイに位置合わせされたときに、ディスプレイ上に示されたモデルが実質的に一定の状態を維持するように、ナビゲーション構成システムからの命令で構成され得る。

図８Ｅ～８Ｆは、一実施形態による、分枝状管状網の３Ｄモデルに対するＥＭシステムの例示的な位置合わせの効果を示す。図８Ｅ～８Ｆでは、電磁追跡データ８５２及び患者の気管支系８５４のモデルを示す３Ｄグラフが、位置合わせ変換を伴わずに（図８Ｅに示される）、及び位置合わせ変換を伴って（図８Ｆに示す）、例示されている。位置合わせを伴わない図８Ｅでは、追跡データ８６０は、気管支系８５４を通る経路に対応する形状を有するが、その形状は任意のオフセット及び回転を受けている。図８Ｆでは、位置合わせを適用することによって、追跡データ８５２は、気管支系８５４を通る経路に対応するようにシフト及び回転される。

ＶＩ．ナビゲーション構成システム
ＶＩ．Ａ．ナビゲーション構成システムの高レベルな概要
図９Ａ～図９Ｃは、一実施形態による、ナビゲーション構成システム９００の例示的なブロック図を示す。より具体的には、図９Ａは、一実施形態による、ナビゲーション構成システム９００の例示的なブロック図の高レベルな概要を示す。図９Ａでは、ナビゲーション構成システム９００は、複数の入力データストアと、複数の入力データストアから様々な種類の入力データを受信するナビゲーションモジュール９０５と、ナビゲーションモジュールから出力ナビゲーションデータを受信する出力ナビゲーションデータストア９９０と、を含む。図９Ａに示すナビゲーション構成システム９００のブロック図は単なる一例であり、図示されない代替的な実施形態では、ナビゲーション構成システム９００は、異なる及び／又は追加のエンティティを含むことができる。同様に、システム９００の様々なエンティティによって実行される機能は、異なる実施形態に従って異なり得る。ナビゲーション構成システム９００は、その全体が参照により本明細書に組み込まれる、２０１７年３月２３日公開の米国特許出願公開第２０１７／００８４０２７号に記載されるナビゲーションシステムと同様であってもよい。

本明細書で使用するとき、入力データとは、内視鏡の推定状態情報及び出力ナビゲーションデータを生成するために、入力装置（例えば、コマンドモジュール、光学センサ、ＥＭセンサ、ＩＤＭ）から集められ、且つ／又は入力装置によって処理される生データを指す。複数の入力データストア９１０～９４０は、画像データストア９１０、ＥＭデータストア９２０、ロボットデータストア９３０、及び３Ｄモデルデータストア９４０を含む。入力データストア９１０～９４０のそれぞれのタイプは、ナビゲーションモジュール９０５によるアクセス及び使用のための、名前が指定されるタイプのデータ（name-indicated type of data）を記憶する。画像データは、器具先端部で撮像装置によってキャプチャされた１つ以上の画像フレーム、並びにフレームのペアの間で経過した時間の判定を可能にするフレームレート又はタイムスタンプなどの情報を含んでもよい。ロボットデータは、管状網内における医療器具又は医療器具の一部（例えば、器具先端部又はシース）の物理的移動に関連するデータを含んでもよい。例示的なロボットデータとしては、器具先端部に対して、管状網内の特定の解剖学的部位に到達するように、かつ／又はその配向を変更するように（例えば、リーダ及びシースのうちの一方又は両方の、特定のピッチ、ロール、ヨー、挿入、及び後退を用いて）指示するコマンドデータ、医療器具の一部の挿入運動を表す挿入データ（例えば、器具先端部又はシース）、ＩＤＭデータ、並びに医療器具の細長い部材の機械的移動、例えば、管状網内で内側器具（medial instrument）の実際の動きを駆動する内視鏡の１つ以上のプルワイヤ、腱、又はシャフトの動作を表す機械的データが挙げられる。ＥＭデータは、上述のＥＭセンサ及び／又はＥＭ追跡システムによって収集され得る。３Ｄモデルデータは、上記の２Ｄ ＣＴスキャンから算出され得る。

出力ナビゲーションデータストア９９０は、ナビゲーションモジュール９０５によって提供された出力ナビゲーションデータを受信して記憶する。出力ナビゲーションデータは、管状網内の特定の行き先に到達するように管状網を通して医療器具を方向付けることを支援する情報を示し、また、各瞬時における医療器具の推定状態情報に基づいており、推定状態情報は、管状網内の医療器具の位置及び配向を含む。一実施形態では、医療器具が管状網内で移動すると、医療器具の移動及び位置／配向情報の更新を示す出力ナビゲーションデータがリアルタイムで提供され、これが、管状網を通したそのナビゲーションをより良好に支援する。

出力ナビゲーションデータを判定するために、ナビゲーションモジュール９０５は、管状網内の医療器具の推定状態を位置特定（又は判定）する。図９Ａに示すように、ナビゲーションモジュール９０５は、ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、及びロボットベースのアルゴリズムモジュール９７０などの様々なアルゴリズムモジュールを更に含み、それぞれが、主に特定のタイプの入力データを消費し、かつ異なるタイプのデータを状態推定器９８０に提供し得る。図９Ａに示されるように、これらのモジュールによって出力される異なる種類のデータ、標識されたＥＭベースのデータ、画像ベースのデータ、及びロボットベースのデータは、一般に、説明のために「中間データ」と称され得る。各アルゴリズムモジュール及び状態推定器９８０の詳細な構成を、以下でより詳細に説明する。

ＶＩ．Ｂ．ナビゲーションモジュール
図９Ｂは、一実施形態による、図９Ａに示されるナビゲーションモジュール９０５の例示的なブロック図を示す。上記で紹介したように、ナビゲーションモジュール９０５は、状態推定器９８０、並びに管状網を通してナビゲートするための異なるアルゴリズムを用いる複数のアルゴリズムモジュールを更に含む。説明を明確にするために、状態推定器９８０を最初に説明し、その後、状態推定器９８０とデータを交換する様々なモジュールの説明が続く。

ＶＩ．Ｂ．１ 状態推定器
ナビゲーションモジュール９０５に含まれる状態推定器９８０は、様々な中間データを受信して、時間の関数として器具先端部の推定状態を提供し、推定状態は、管状網内の器具先端部の推定位置及び配向の情報を示す。推定状態データは、状態推定器９８０に含まれる推定データストア９８５に記憶される。

図９Ｃは、一実施形態による、状態推定器９８０に含まれる推定状態データストア９８５の例示的なブロック図を示す。推定状態データストア９８５は、分岐データストア１０８６、ポジションデータストア１０８７、深さデータストア１０８８、及び配向データストア１０８９を含んでもよいが、このデータストレージの特定の細分化は単なる一例であり、示されていない代替的な実施形態では、異なる及び／又は追加のデータストアが推定状態データストア９８５に含まれてもよい。

上記で紹介された様々なストアは、様々な方法で推定状態データを表す。具体的には、分岐データは、管状網内の分枝のセット（例えば、二分岐、三分岐、又は３つを超える分枝）に関する医療器具の位置を指す。例えば、分岐データは、例えば、管状網の全体をマッピングする３Ｄモデルによって提供される利用可能な分枝のより大きなセットに基づいて、器具が管状網内を横断する際に器具によって選択される分枝選択のセットであることができる。分岐データは、器具先端部が近位にあるが、まだ横断されていないものの、例えば、３Ｄモデルに対する先端部の現在のポジション情報に基づいて、又は次の分岐をキャプチャした画像に基づいて検出されていてもよいという、分枝（分岐）などの器具先端部の位置の前部の情報を更に含むことができる。

ポジションデータは、管状網内の医療器具の一部、又は管状網自体の一部の三次元ポジションを示す。ポジションデータは、例えば、管状網の３Ｄモデルに対する絶対位置又は相対位置の形態であり得る。一例として、ポジションデータは、器具の位置のポジションが特定の分枝内にあるという指示を含むことができる。特定の分枝の識別はまた、器具先端部が位置するモデルの特定のセグメントを一意に識別するセグメント識別（ＩＤ）として記憶されてもよい。

深さデータは、管状網内の器具先端部の深さ情報を示す。深さデータの例としては、患者内への医療器具の合計挿入（絶対）深さ、並びに特定された分枝（例えば、ポジションデータストア１０８７によって識別されたセグメント）内の（相対的）深さが挙げられる。深さデータは、管状網及び医療器具の両方に関するポジションデータに基づいて決定され得る。

配向データは、器具先端部の配向情報を示し、また、３Ｄモデルに関連した全体的なロール、ピッチ、及びヨー、並びに識別された分枝内のピッチ、ロール、ヨーを含み得る。

再び図９Ｂを参照すると、状態推定器９８０は、推定状態データをアルゴリズムモジュールに戻してより正確な中間データを生成し、状態推定器はこの中間データを使用して、改善及び／又は更新された推定状態などを生成して、フィードバックループを形成する。例えば、図９Ｂに示すように、ＥＭベースのアルゴリズムモジュール９５０は、タイムスタンプ「ｔ－１」に関連付けられたデータとも称される、以前のＥＭベース推定状態データを受信する。状態推定器９８０は、このデータを使用して、タイムスタンプ「ｔ－１」に関連付けられた「推定状態データ（以前）」を生成する。続いて、状態推定器９８０は、データをＥＭベースのアルゴリズムモジュールに戻す。「推定状態データ（以前」は、異なるアルゴリズムモジュールから生成及び受信されたとおりのタイムスタンプ「ｔ－１」に関連付けられた、異なる種類の中間データ（例えば、ロボットデータ、画像データ）の組み合わせに基づいてもよい。次に、ＥＭベースのアルゴリズムモジュール９５０は、推定状態データ（以前）を使用してそのアルゴリズムを実行して、状態推定器９８０に改善及び／又は更新されたＥＭベースの推定状態データを出力し、これは、本明細書では「ＥＭベース推定状態データ（現在）」によって表され、またタイムスタンプｔに関連付けられる。このプロセスは継続して、将来のタイムスタンプに対しても繰り返される。

状態推定器９８０は、いくつかの異なる種類の中間データを使用して、管状網内の医療器具の状態のその推定値に到達することができるため、状態推定器９８０は、測定及び分析の両方において様々な異なる種類の誤差及び不確実性を考慮するように構成されており、各タイプの基礎データ（ロボット、ＥＭ、画像）及び各タイプのアルゴリズムモジュールが、推定状態の判定における考慮のために使用される中間データを生成又は完成させることができる。これらに対処するために、確率分布及び信頼値の２つの概念が論じられる。

本明細書で使用するとき、「確率分布」の「確率」とは、医療器具の可能な位置及び／又は配向の推定値が正確である尤度を指す。例えば、異なる確率は、医療器具が管状網内のいくつかの異なる可能な分枝のうちの１つにあることの相対尤度を示すアルゴリズムモジュールのうちの１つによって計算され得る。一実施形態では、確率分布のタイプ（例えば離散分布又は連続分布）は、推定状態の特徴と一致するように選択される（例えば推定状態のタイプ、例えば、連続ポジション情報対離散分枝選択肢）。一例として、三分岐のために医療器具がどのセグメント内にあるかを識別するための推定状態は、離散確率分布によって表されてもよく、また、アルゴリズムモジュールのうちの１つによって決定されるように、３つの分枝のそれぞれの内側の位置にある可能性を表す２０％、３０％、及び５０％の３つの離散値を含んでもよい。別の例として、推定状態は、４０±５度の医療器具のロール角を含んでもよく、分枝内の器具先端部のセグメント深さは４±１ｍｍであってよく、これらはそれぞれ連続確率分布の１つのタイプであるガウス分布によって表される。異なる方法又はモダリティを使用して確率を生成することができるが、これは、後続の図を参照して以下でより詳細に説明されるように、アルゴリズムモジュールによって変化する。

対照的に、本明細書で使用するとき、「信頼値」は、１つ以上の因子に基づいてアルゴリズムのうちの１つによって提供される状態の推定における信頼性の尺度を反映する。ＥＭベースのアルゴリズムの場合、ＥＭ場に対する歪み、ＥＭ位置合わせにおける不正確性、患者のシフト又は動き、及び患者の呼吸などの因子が、状態の推定における信頼性に影響を及ぼし得る。特に、ＥＭベースのアルゴリズムによって提供される状態の推定における信頼値は、患者の特定の呼吸周期、患者又はＥＭ場発生器の動き、及び器具先端部が位置する解剖学的構造内の位置に依存し得る。画像ベースのアルゴリズムの場合、状態の推定において信頼値に影響を及ぼし得る例示的な因子としては、画像がキャプチャされる解剖学的構造内の位置の照明条件、画像をキャプチャする光学センサに対する、又はその前面にある、流体、組織、又はその他の障害物の存在、患者の呼吸、管状網内の一般的な流体及び管状網の閉塞などの患者自体（例えば、肺）の管状網の状態、並びに、例えば、ナビゲート又は画像キャプチャに使用される特定の操作技術が挙げられる。

例えば、ある因子は、特定のアルゴリズムが、気道開口部に比較的近位であるような、患者の肺内の異なる深さで異なるレベルの精度を有し、特定のアルゴリズムが、医療器具の位置及び配向の推定において高い信頼性を有し得るが、医療器具が肺の底部へと更に移動すると、その信頼値が低下し得るようであり得る。一般に、信頼値は、それによって結果が判定されるプロセスに関する１つ以上の全身性因子に基づくものであり、一方で、確率は、基礎データに基づいて単一のアルゴリズムを用いて、複数の可能性から正しい結果を決定しようと試みるときに生じる相対的な尺度である。

一例として、離散確率分布（例えば、関与する推定状態の３つの値を伴う三分岐の分枝／セグメント識別）によって表される推定状態の結果を計算するための数学的方程式は、以下のとおりであり得る。
Ｓ_１＝Ｃ_ＥＭ ^＊Ｐ_１，ＥＭ＋Ｃ_画像 ^＊Ｐ_１，画像＋Ｃ_ロボット ^＊Ｐ_{１，ロボット}；
Ｓ_２＝Ｃ_ＥＭ ^＊Ｐ_２，ＥＭ＋Ｃ_画像 ^＊Ｐ_２，画像＋Ｃ_ロボット ^＊Ｐ_{２，ロボット}；
Ｓ_３＝Ｃ_ＥＭ ^＊Ｐ_３，ＥＭ＋Ｃ_画像 ^＊Ｐ_３，画像＋Ｃ_ロボット ^＊Ｐ_{３，ロボット}。

上記の例示的な数学的方程式において、Ｓ_ｉ（ｉ＝１，２，３）は、３つの可能なセグメントが３Ｄモデル内で識別されるか又は存在する場合の、推定状態の可能な例示値を表し、Ｃ_ＥＭ、Ｃ_画像、及びＣ_ロボットは、ＥＭベースのアルゴリズム、画像ベースのアルゴリズム、及びロボットベースのアルゴリズムに対応する信頼値を表し、また、Ｐ_ｉ，ＥＭ、Ｐ_ｉ，画像、及びＰ_{ｉ，ロボット}は、セグメントｉの確率を表す。

推定状態に関連付けられた確率分布及び信頼値の概念をより良く例示するために、本明細書で詳細な例を提供する。本実施例では、ユーザは、器具先端部が管状網の中央気道（予測領域）内の特定の三分岐内に位置するセグメントを識別することを試みており、またＥＭベースのアルゴリズム、画像ベースのアルゴリズム、及びロボットベースのアルゴリズムを含む３つのアルゴリズムモジュールが用いられる。本実施例では、ＥＭベースのアルゴリズムに対応する確率分布は、第１の分枝内で２０％、第２の分枝内で３０％、及び第３の（最後の）分枝内で５０％であり得、このＥＭベースのアルゴリズム及び中央気道に適用される信頼値は８０％である。同じ実施例では、画像ベースのアルゴリズムに対応する確率分布は、第１、第２、及び第３の分枝の場合で４０％、２０％、４０％であってもよく、またこの画像ベースのアルゴリズムに適用される信頼値は３０％であり、一方で、ロボットベースのアルゴリズムに対応する確率分布は、第１、第２、及び第３の分枝の場合で１０％、６０％、３０％であってもよく、またこの画像ベースのアルゴリズムに適用される信頼値は２０％である。ＥＭベースのアルゴリズム及び画像ベースのアルゴリズムに適用される信頼値の差は、ＥＭベースのアルゴリズムが、画像ベースのアルゴリズムと比較して、中央気道におけるセグメント識別のより良い選択であり得ることを示す。最終推定状態の例示的な数学的計算は、以下のものであり得る。

第１の分枝の場合、２０％×８０％＋４０％×３０％＋１０％×２０％＝３０％；第２の分枝の場合、３０％×８０％＋２０％×３０％＋６０％×２０％＝４２％；第３の分枝の場合、５０％×８０％＋４０％×３０％＋３０％×２０％＝５８％。

この実施例では、器具先端部の出力推定状態は、結果値（例えば、結果として得られる３０％、４２％、及び５８％）、又は、器具先端部が第３の分枝にあるという判定などの、これらの結果値からの微分値であり得る。

上記のように、推定状態は、多数の異なる方法で表されてもよい。例えば、推定状態は、気道から器具の先端部の位置までの絶対深さ、並びに管状網内の器具によって横断される分枝のセットを表すデータセットを更に含んでもよく、このセットは、例えば、患者の肺の３Ｄモデルによって提供される分枝のセット全体のサブセットである。推定状態に対する確率分布及び信頼値の適用は、管状網内の器具先端部の位置及び／又は配向の推定精度の改善を可能にする。

ＶＩ．Ｂ．２アルゴリズムモジュール
図９Ｂに示すように、アルゴリズムモジュールは、ＥＭベースのアルゴリズムモジュール９５０、画像ベースのアルゴリズムモジュール９６０、及びロボットベースのアルゴリズムモジュール９７０を含む。図９Ｂに示されるアルゴリズムモジュールは単なる一例であり、代替的な実施形態では、異なる及び／又は追加のナビゲーションアルゴリズムを伴う異なる及び／又は追加のアルゴリズムモジュールもナビゲーションモジュール９０５に含まれてもよい。

ＶＩ．Ｂ．２．ｉ．画像ベースのアルゴリズムモジュール
再び図９Ｂを参照すると、画像ベースのアルゴリズムモジュール９６０は、画像データを使用して、管状網内の器具の推定状態を判定する。画像ベースのアルゴリズムモジュール９６０は、異なる画像ベースのアルゴリズムを採用する、１つ以上の異なるタイプの画像ベースのアルゴリズムモジュールを更に含む。図９Ｂに示すように、物体ベースのアルゴリズムモジュール９６２を含む一例が示される。図示されていない代替的な実施形態では、他のタイプの画像ベースのアルゴリズムが採用されてもよく、対応するアルゴリズムモジュールが、画像ベースのアルゴリズムモジュール９６０に含まれてもよい。器具の推定状態を判定することに加えて、画像ベースのアルゴリズムモジュール９６０は、器具に対する管腔網の移動によって引き起こされる管腔網内の器具の位置の変化を検出し、検出された位置の変化の指標を状態推定器９８０に提供することもできる。器具の位置の変化の検出の態様に関する更なる詳細を、図１１に関連して以下で提供する。

物体ベースのアルゴリズムモジュール９６２は、分枝開口部又は粒子などの画像データの視野内に存在する物体を検出して分析し、推定状態を判定する。一実施形態では、物体検出モジュール９６３及び物体マッピングモジュール９６４、トポロジ推論モジュール９６５、並びに動作推定モジュール９６６を含む。いくつかの実施形態では、異なるモジュール９６３、９６４、９６５、及び９６６を固定された順序で適用することが必要であっても必要でなくてもよく、また、物体ベースのアルゴリズムモジュール９６２によって説明される物体ベースのアルゴリズムのプロセスを実際に実行するとき、モジュール９６２内の各モジュールを採用する順序は、図９Ｂに示されるものとは異なる順序である。

ここで図１０Ａを参照すると、動作推定モジュール９６３は、入力として、画像データストア９１０から画像データ、推定状態データストア９８５から推定状態データ（以前）（具体的には分岐データ）、並びに３Ｄモデルデータストア９４０から３Ｄモデルデータを受信する。受信した画像データに基づいて、動作推定モジュール９６３は、受信した画像データに基づいて、複数の画像フレーム間の医療器具の移動を測定する。使用される例示的な技術としては、とりわけ、オプティカルフロー及び画像位置合わせ技術が挙げられる。この測定は、それ自体の局所的基準系における器具先端部の前後方向動作又はロール動作などの差動運動を判定する。この運動を以前の推定状態入力と組み合わせて、新たな推定状態を計算することができる。具体的には、前方（又は後方）運動は、以前の推定状態に対する深さの増加（又は減少）に変換することができる。同様に、差動ロールは、以前の推定状態に対するロール角の変化に変換される。これらの測定値は、管状網を通る運動の推定を可能にする。上記のように、これらの推定は、確率分布（例えば、ガウス分布によって表される４０±５度の医療器具のロール角）として表すことができる。出力推定状態は、推定状態データストア９８５に記憶される。

一実施形態では、特定の瞬間に対する推定状態及び分岐データが、器具先端部が分枝点にあるか又はその付近にあることを示す場合、この運動測定は、器具先端部が進入するところであるか又は進入したと推定される、推定された新しい分枝の識別を含み得る。例えば、内視鏡先端部が分枝点にあることを分岐データが示す場合、ピッチ及びヨー運動を測定して、ポインティング角度の変化を判定することができ、新たな推定角度を、管状網の３Ｄモデルにおける異なる分枝の予期角度と比較することができる。続いて、内視鏡が新しい分枝内に移動したときに、内視鏡がどの分枝に面しているのかの判定を行うことができる。新しいポジション、配向、及び／又は分枝進入のこれらの推定値のそれぞれを反映する推定状態データが、状態推定器９８０に出力される。

図１０Ｂは、一実施例による、物体検出モジュール９６４の例示的なブロック図を示す。物体検出モジュール９６４は、入力として画像データ（例えば、画像フレーム）を受信し、物体データを物体データストア１０６３に出力し、のみならず推定状態データを推定状態データストア９８５に出力する。物体データは、どのオブジェクトが識別されたかに関する情報、並びに確率として表される物体のポジション、配向、及びサイズを示す。

具体的には、物体検出モジュール９６４は、画像内で、１つ以上の物体と、管状網内の分枝点を示すことができる物体の１つ以上の関心点とを検出し、続いて、それらのポジション、サイズ、及び配向を判定する。物体検出モジュール９６４によって検出された物体は、例えば、画像内の１つ以上の識別可能な画素を含み得る「関心点」とも称され得る。特定の実施形態では、関心点は、１つ以上の画像のシーケンスにわたって検出することが可能な１つ以上の画素のセットを含んでもよい。いくつかの実装形態では、検出された物体は、高速化ロバスト特徴（ＳＵＲＦ）及びスケール不変特徴変換（ＳＩＦＴ）などの関連技術の画像処理技術を使用して検出されたより多くの関心点（例えば、画像特徴）のうちの１つを含んでもよい。しかしながら、一連の画像を通して１つ以上の画素を確実に検出及び追跡することができる任意の技術を使用して、本明細書に記載される画像処理技術で使用することができる関心点を検出することができる。

特定の実装形態では、物体は、検出された分枝点の円／楕円／長円などの二次元形状として、物体検出モジュール９６４内で計算又は表現されてもよい。これは、物体をキャプチャするために使用される画像データは、通常は器具が位置するセグメントの方向と実質的な平行な軸線に沿って向けられた器具先端部上のカメラからの画像であるという事実に対応する。結果として、管状網内の分枝などの物体は、画像内の長円などの単純な形状として現れる。一実施形態では、管状網内の所与の画像において、各分枝は、典型的には、暗い、ほぼ長円形の領域として現れ、これらの領域は、最大安定極値領域（ＭＳＥＲ）などの領域検出アルゴリズムを物体として使用して、プロセッサによって自動的に検出されてもよい。続いて、これらの領域は、画像内の長円中心、長軸及び短軸、並びに角度などの適切な自由パラメータを有する物体（例えば、長円）を画定するように適合されてもよい。モデル内腔と画像内の内腔との間のロール測定値及び識別された一致も、状態推定器９８０並びにトポロジ推論モジュール９６６に出力される。気管支網の画像上に重ね合わせられた識別された物体の例を、それらの中心を結合するリンクと共に、図１１Ａ～１１Ｂを参照して説明する。

一実施形態では、「気道」もまた、画像データ内に存在する物体として識別され得る。物体検出モジュール９６４は、気道を識別するために、他の技術と組み合わせた光反射強度を使用することができる。

物体検出モジュール９６４は、連続画像フレームのセットにわたって、検出された物体又は関心点を更に追跡してもよい。物体の追跡は、管状網内で可能な分枝のセット中からどの分枝が進入されたかを検出するために使用され得る。代替的に又は追加的に、以下でより詳細に説明されるように、物体の追跡は、器具に対する管腔網の運動によって引き起こされる管腔網内の器具の位置の変化を検出するために使用されてもよい。画像フレーム内の物体の相対ポジションを追跡することは、分枝状網内のロール角の局所的な絶対測定値を決定するためにも使用されてよい。

図１０Ｃは、一実施形態による、物体マッピングモジュール９６５の例示的なブロック図を示す。物体マッピングモジュール９６５は、入力として、３Ｄモデルデータストア９４０から３Ｄモデルデータ、物体データストア１０６３から物体データ（例えば、管状網内の可能な分枝を表す形状などの検出された物体）、及び推定状態データストア９８５から推定状態データ（以前）を受信する。

受信した入力データに基づいて、物体マッピングモジュール９６５は、物体マッピングデータを物体マッピングデータストア１０６５に出力し、のみならず、画像ベースの推定状態データ（現在）を推定状態データストア９８５に出力する。一例として、物体マッピングデータは、（検出された物体に基づいて）画像データに示される物理的分枝（内腔）と、３Ｄモデルによって生成された仮想分枝情報との間のマッピング情報を示す。モジュール９６５によって生成された推定状態データ（現在）は、画像内で視認できる管状網の各分枝の識別、のみならず３Ｄモデルと比較した内視鏡先端部のロールの推定を含む。上記のように、推定状態データ（現在）は、確率分布として表すことができる。視認できる内腔の識別には、例えば、３Ｄモデル仮想画像データと相関する物体サイズ、及び各識別された内腔の位置と管状網の特定の分枝との関連付けに基づく、画像内の各識別された内腔中心のｘ及びｙ座標が含まれ得る。

いくつかの実施形態では、内視鏡処置の前に３Ｄモデルが生成されるため、処理を加速するために、管状網の仮想画像を予め計算することができる。図示されない代替的な実施形態では、管状網は、内腔正中線の樹形図などの構造によって表すことができ、こうした正中線はそれぞれ３Ｄ経路を描写し、その結果、いかなる任意の観点から見られる局所分枝中心の予測されたポジションも、ＥＭデータ及び／又はロボットデータに基づく分枝中心の識別された実際の位置と比較することができる。

図１１Ａ～１１Ｂは、一実施形態による、物体マッピングモジュール９６５によって実施される例示的な物体－内腔マッピングを示す。より具体的には、図１１Ａは、一実施形態による、２つの物体の中心を接続するリンク１１０３と共に気管支網１１０５の画像上に重ね合わせられた、２つの例示的な識別された物体１１０１及び１１０２を示す。図示した例では、識別された物体１１０１及び１１０２は長円形である。

図１１Ｂは、一実施形態による、実際の気管支網の実際の画像１１１０内の気道内腔と、その同じ網の３Ｄモデルからの対応する仮想画像１１２０との間の一致を示す。実際の画像１１１０では、長円が、一実施形態では、図６Ａ～６Ｂで上述した分枝の中心線座標を示す、識別された中心１１１１及び１１１２と共に位置する２つの異なる分枝に対応して識別される。３Ｄモデル仮想画像１１２０は、実際の画像１１１０中に示される現実の気管支網のシミュレート表現であり、状態推定器９８０によって判定された内視鏡先端部の推定中心１１２１及び１１２２が、識別された中心１１１１及び１１１２のポジションに対応して示されている。

画像１１１０及び１１２０の両方がユーザインターフェースを介してユーザに提示される場合、３Ｄモデル画像１１２０は、実際の画像１１１０と仮想画像１１２０との間の適合の密接度を増加させるように回転又は並進されてもよく、回転又は並進に必要なロールの量が、現在の推定状態に対する補正（例えば、器具先端部のロール）として出力され得る。

一実施形態では、物体マッピングモジュール９６５によって生成された可能な推定状態に適用される確率は、実際の画像１１１０内で検出された識別された中心１１１１及び１１１２と、３Ｄモデル画像１１２０内の推定された中心１１２１及び１１２１との間の適合の密接度に基づいており、一例として、識別された中心１１１２を有する内腔内にある確率は、推定された中心１１２２と識別された中心１１１２との間の距離が増加するにつれて低下する。

図１０Ｄは、一実施形態による、トポロジ推論モジュール９６６の例示的なブロック図を示す。トポロジ推論モジュール９６６は、入力として、３Ｄモデルデータストア９４０からの３Ｄモデルデータから画像データ、物体マッピングデータストア１０６５から物体マッピングデータ、及び推定状態データストア９８５から推定状態データ（以前）を受信する。

受信したデータに基づいて、トポロジ推論モジュール９６６は、内視鏡先端部がどの分枝に面しているかを判定し、それによって、内視鏡が前方に移動した場合はどの分枝が進入されるかの予測を生成する。上記のように、判定は確率分布として表すことができる。一実施形態では、器具先端部が前方に移動しているとき、トポロジ推論モジュール９６６は、管状網の新しい分枝が進入されたと判定し、先端部がどの分枝内に移動したかを識別する。どの分枝が面されており、またどのセグメントが進入されているかの判定は、例えば、異なる識別された物体（例えば、長円）の相対的なサイズ及び位置を比較することによって行われ得る。一例として、特定の内腔分枝が進入されると、対応する検出された物体は、連続する画像フレーム内でより大きくなり、また、それらのフレーム内でより中央に置かれる。この挙動が物体のうちの１つに対して識別された場合、内視鏡先端部がその物体に関連付けられた内腔に向かって移動するにつれて、トポロジ推論モジュール９６６は、対応する推定状態にますます大きな確率を割り当てる。他の分枝は、最終的にそれらの物体形状が画像から完全に消失するまで、それに対応してより低い確率が割り当てられる。一実施形態では、医療器具がそれらの分枝内にある確率は、分枝が物体マッピングモジュール９６４によって誤識別された確率にのみ依存する。トポロジ推論モジュール９６６の出力は、分枝状網内の可能な分枝のセットのそれぞれの中に存在する推定確率を表す画像ベースの推定状態データである。

ＶＩＩ．生理学的ノイズの画像ベースの検出
呼吸器科医は、その判定及び行為を、患者の呼吸周期に基づいたものにすることによって、手術中の外傷を防止することができる。このような行為の一例は、例えば気管支鏡検査を介して組織試料を収集するための生検ツールの挿入である。肺の周辺部又はその付近では、気道は狭くなる場合があり、気道の周辺部は、肺の呼吸段階に応じて変化する。気道の直径は、呼吸周期の吸息段階で患者が吸気すると拡張し、周期の呼息段階中に患者が呼気すると収縮する。処置の間、呼吸器科医は、直径が固定された特定のツール又は内視鏡が気道に進入できるか否かを判定するために、患者を観察して、患者が吸息段階にあるか又は呼息段階にあるかを判定することができる。気道は、外傷を引き起こすことなく、呼息中にツールの周りを閉鎖することができるが、呼息段階中に収縮した気道にツールを押し通すと、例えば血管を穿刺することによって重大な外傷を引き起こす可能性がある。

上述の問題は、とりわけ、本明細書に記載される管腔網ナビゲーションシステム及び技術によって特定の実施形態で対処される。開示された管腔網ナビゲーションシステム及び技術のいくつかの実施形態は、患者の安全対策（例えば、器具制御技術、ユーザインターフェース警告、通知など）を実施するために、呼吸の周波数及び／又は規模をナビゲーションフレームワークに組み込むことに関する。

患者の呼吸周期も、患者の気道に挿入された器具のポジション及び／又は配向の検出精度に影響を及ぼし得る。したがって、開示された気管支鏡検査ナビゲーションシステム及び技術のいくつかの実施形態は、患者の気道内の器具のポジションのより正確な識別を提供するために、患者の呼吸によって引き起こされる運動を識別及び／又は補償することに関する。例えば、患者の気道内に配置された器具にＥＭセンサを設けることができる。ナビゲーションシステムは、ＥＭセンサから器具ポジション情報をフィルタリングして、呼吸によって引き起こされる呼吸経路の周期運動に起因する信号ノイズを除去することができる。周期的呼吸運動の周波数は、１つ以上の追加のセンサからのデータから得ることができる。いくつかの実装形態では、吸息及び呼息周期は、一実施例では、患者の身体上に配置された追加のＥＭセンサ（複数可）、加速度計（複数可）、及び／又は音響呼吸センサ（複数可）からのデータに基づいて決定することができる。いくつかの実装形態では、周波数は、他のタイプのセンサ又はシステム、例えば、患者の呼吸を制御するために使用されるベンチレータからの呼吸周期情報、又は患者を観察するように配置された光学センサから受信した画像の自動分析から抽出された呼吸周期情報から得ることができる。

特定の状況下では、ＥＭセンサから受信したポジション情報から患者の呼吸をフィルタリングすることは、器具のポジションの十分に正確な推定値を判定するのに十分でない場合がある。例えば、追加のＥＭセンサ（複数可）が患者の身体の外部に配置されると、ＥＭセンサは、呼吸に起因する横方向の運動を検出することができる。つまり、ＥＭセンサは、患者の身体上に配置されたＥＭセンサの運動を介して、患者の気道の全体的な拡張及び収縮を追跡し得る。

患者の気道内の器具の位置によっては、患者の呼吸は、器具の位置に対して別の効果も有し得る。すなわち、管腔網内の器具によって横断される経路の長さは、呼吸周期と共に拡張及び収縮する場合がある。器具の長さは、処置中に認め得るほどには変化しない場合があるため、管腔網内の器具によって取られる経路によって画定される管腔網の全長が拡張及び収縮すると、管腔網に対する器具の相対ポジションが変化し得る。器具の遠位端の基準点からは、これは、器具が動的に駆動されていない場合であっても、器具が管腔網内で前進及び後退しているかのように見える場合がある。特定の状況では、器具の遠位端の基準点から器具が前進及び後退されている間であっても、器具はプラットフォームの基準点に対しては実質的に静止している場合がある。この場合、ＥＭセンサに基づいて判定された器具の位置が、器具が実質的に静止していることを示してもよく、管腔網の基準フレームに対する器具の位置は、患者の呼吸周期に従って変化してもよい。

したがって、本開示の特定の態様は、患者の呼吸（又は他の生理学的運動）に起因する、管腔網の基準フレームに対する器具の運動（例えば、器具の周囲の管腔網の運動）の検出に関連し得る。検出されると、ロボットシステムは、器具の表示された位置にある特定の量の未補償の誤差が存在し得ることを示すために、ユーザインターフェース警告を提供してもよい。

ＶＩＩ．Ａ．生理学的ノイズの画像ベースの検出の概要
図１２は、本開示の態様による、生理学的ノイズを検出するための、ロボットシステム又はその構成要素（複数可）によって動作可能な例示的な方法を示すフローチャートである。例えば、図１２に示される方法１２００の工程は、プロセッサ（複数可）、及び／又は医療用ロボットシステム（例えば、外科用ロボットシステム５００）などのその他の構成要素（複数可）、若しくは関連するシステム（複数可）（例えば、ナビゲーション構成システム９００の画像ベースのアルゴリズムモジュール９６０）によって実施され得る。便宜上、方法１２００は、方法１２００の説明に関連して単に「システム」とも称されるナビゲーション構成システムによって実施されるものとして説明される。

方法１２００は、ブロック１２０１において開始する。ブロック１２０５では、システムは、器具上に位置する画像センサから第１の画像データを受信することができ、この器具は、患者の管腔網を通って駆動されるように構成される。例示的な実施形態では、器具は、患者の気道を通って駆動されるように構成された気管支鏡を含んでもよい。これらの実施形態では、システムは、画像センサから受信した画像に少なくとも部分的に基づいて、器具の呼吸運動を検出するように構成され得る。

ブロック１２１０において、システムは、第１の画像データの１つ以上の関心点のセットを検出することができる。上述したように、関心点は、例えば、画像内の１つ以上の識別可能な画素、又は画像データ内で検出される１つ以上の物体などの、複数の画像データにわたる任意の区別可能なデータであってよい。特定の実施形態では、関心点は、１つ以上の画像のシーケンスにわたって検出することが可能な１つ以上の画素のセットを含んでもよい。いくつかの実装形態では、検出された物体は、ＳＵＲＦ及びＳＩＦＴなどの関連技術の画像処理技術を使用して検出される、より多くの区別可能な物体のうちの１つを含んでもよい。しかしながら、一連の画像を通して１つ以上の画素を確実に検出及び追跡することができる任意の技術を使用して、本明細書に記載される画像処理技術で使用することができる関心点を検出することができる。

ブロック１２１５では、システムは、第１の画像データ内の点のセットにそれぞれ対応する第１の位置のセットを識別することができる。点のセットが画像内の識別可能な画素に対応する実施形態では、位置のセットは、画像内の画素の行及び／又は列値に対応し得る。したがって、第１の位置のセットは、点のセット内の画素のそれぞれに対するＸ座標及びＹ座標を含んでもよい。

ブロック１２２０において、システムは、画像センサから第２の画像データを受信することができる。第２の画像は、画像センサによって第１の画像がキャプチャされた時間の後に生じる時点で画像センサから受信した画像であってもよい。

ブロック１２２５において、システムは、第２の画像データの１つ以上の点のセットを検出することができる。第２の画像内で検出された点のセットは、第１の画像内で検出された点のセットに対応し得る。複数の画像間の同じ点のセットの検出を、図１３Ａ～１３Ｃに関連して以下でより詳細に説明する。

ブロック１２３０において、システムは、第２の画像データ内の点のセットにそれぞれ対応する第２の位置のセットを識別することができる。一部の状況では、生理学的ノイズが管腔網に対する器具の相対ポジションに影響を及ぼすとき、第２の画像内の関心点の位置のセットは、第１の画像内の関心点の位置のセットと異なる場合がある。例えば、器具が（例えば、管腔網の長さの収縮に起因して）管腔網内に前進させられると、画像センサによってキャプチャされた画像内に現れる物体は、それが画像センサに接近しているかのように見える場合がある。したがって、物体の位置を追跡することによって（例えば、関心点を追跡することによって）、システムは、管腔網に対する器具の動きを推定することができる場合がある。

ブロック１２３５において、システムは、第１の位置のセット及び第２の位置のセットに基づいて、器具に対する管腔網の移動によって引き起こされる器具周囲での管腔網の位置の変化を検出することができる。上述のように、追跡された関心点の位置の移動は、器具に対する管腔網の移動を示すことができる。管腔網の移動によって引き起こされる位置の変化の検出に関連する特定の実施形態を、図１４Ａ～１５Ｂに関連して以下で説明する。方法１２００は、ブロック１２４０において終了する。

ＶＩＩ．Ｂ．一連の画像データフレーム間の関心点の追跡例
図１３Ａは、本開示の態様による、第１の時点で画像センサによってキャプチャされた例示的な画像データを示す。図１３Ｂは、本開示の態様による、第１の時点の後の、第２の時点で画像センサによってキャプチャされた画像データの別の例を示す。実施形態に応じて、第１の画像データ及び第２の画像データは、画像センサによってキャプチャされた一連の画像データフレーム内の連続的な画像であってもよく、又は、これらの間に挟入された少なくとも１つの追加の画像データフレームを備えて時間的に分離されてもよい。図１３Ｃは、本開示の態様による、図１３Ａ～１３Ｂに示される画像データフレーム間の例示的な画素の位置の変化の例を示す。図１３Ｄは、本開示の態様による、図１３Ａ～１３Ｂに示される画像データフレーム間の例示的な画素の位置の変化の別の例を示す。

図１３Ａ～１３Ｂに示す画像データフレームは、一連の画像データフレーム間の関心点の位置の追跡に関与し得る、検出された画像データの特定の態様を示すために簡略化される。特定の実施形態では、器具の画像センサによってキャプチャされる画像データは、図示されるよりも多くの又は少ない数の画素を有する画素のアレイを含んでもよい。例えば、特定の実装形態では、画像センサは、２００ｘ２００画素の画像データフレームをキャプチャするように構成され得る。

図１３Ａは、２つの関心点１３１０Ａ及び１３２０Ａを含む第１の画像データ１３００Ａを示す。関心点１３１０Ａ及び１３２０Ａの限られた数は、単に説明目的のために簡略化されているだけであり、その他の実施形態では、より多くの数の関心点１３１０Ａ及び１３２０Ａが第１の画像データ１３００Ａ内で検出及び追跡され得る。更に、図１３Ａの例では、関心点１３１０Ａ及び１３２０Ａは、第１の画像データ１３００Ａ内の個々の画素に対応し得る。しかしながら、上述したように、その他の実施形態では、関心点１３１０Ａ及び１３２０Ａは、物体検出モジュール９６４によって識別された物体、又は、ＳＵＲＦ及び／又はＳＩＦＴなどの画像処理技術を使用して検出された関心点に対応し得る。

図１３Ｂの第２の画像データ１３００Ｂでは、システムは、第１の画像データ１３００Ａ内で識別された同じ関心点１３１０Ｂ及び１３２０Ｂを検出し得る。しかしながら、関心点１３１０Ｂ及び１３２０Ｂは、第１の画像データ１３００Ａと第２の画像データ１３００Ｂとのキャプチャ間で経過した時間のうちに、第２の画像データ１３００Ｂ内の新たな位置に移動していてもよい。関心点１３１０Ｂ及び１３２０Ｂの、第１の画像データ１３００Ａから第２の画像データ１３００Ｂ内のそれらの対応する位置まで移動は、画像センサの位置に対する管腔網の対応する部分の相対的な移動に基づき得る。器具がロボットシステムに対して静止しているとき（例えば、器具を駆動するためのロボットコマンドが提供されていないとき）、システムは、関心点１３１０Ｂ及び１３２０Ｂ、及びひいては管腔網内の器具の移動は、生理学的ノイズに起因していると推測することができる。気管支鏡検査の例では、生理学的ノイズは、患者の呼吸に起因して器具によって取られる経路に沿って拡張及び収縮する管腔網の長さに対応し得る。追加的に又は代替的に、呼吸による気道の直径の変化も、関心点の位置の変化によって追跡され得る。本明細書で開示される画像技法によって検出され得る生理学的ノイズの例としては、患者の呼吸及び患者の心拍が挙げられる。

図１３Ａ～１４Ｂ中の関心点の位置は、第１の画像データ及び第２の画像データ内の点の２Ｄ位置を含んでもよい。したがって、関心点の位置は、各点に対するＸ座標及びＹ座標を含んでもよい。他の実施形態では、システムは、画像データ１３００Ａ及び１３００Ｂに基づいて、３Ｄ空間（図示せず）内の点の位置を追跡することができる。これらの実施形態では、システムは、画像データ１３００Ａ及び１３００Ｂのそれぞれから深さ情報を抽出し、点のそれぞれの位置を示す３Ｄ情報内の点の位置を表すことができる。

図１３Ｃは、同じ画像データフレーム上にオーバレイされた第１の時点及び第２の時点のそれぞれにおける関心点の位置を示す。図１３Ｃに示すように、第１の関心点１３１０Ａ及び１３１０Ｂは、第１の画像データ１３００Ａから第２の画像データ１３００Ｂ内の異なる位置まで移動した。第１の関心点の移動は、ベクトル１３１５によって示される。同様に、第２の関心点１３２０Ａ及び１３２０Ｂは、ベクトル１３２５によって示されるように、第１の画像データ１３００Ａと第２の画像データ１３００Ｂとの間で移動している。

より一般的に言えば、システムは、器具上の画像センサポジションから受信した一連の画像データフレームにわたって関心点のセットを追跡することができる。システムは、一連の２つの連続する画像データフレーム間の「スケール変化」を判定することができる。図１３Ｄは、関心点間の相対距離を示すために、同じ画像データ上にオーバレイされた第１の時点及び第２の時点のそれぞれにおける関心点の位置の別の例を示す。図１３Ｄに示すように、第１の関心点１３１０Ａ及び１３１０Ｂは、第１の画像データ１３００Ａから第２の画像データ１３００Ｂ内の異なる位置まで移動した。システムは、第１の画像データ１３００Ａ内の第１の点１３１０Ａ及び第２の点１３２０Ａの位置に基づいて、第１の画像データ内の第１の点１３１０Ａと第２の点１３２０Ａとの間の第１の距離１３３０を判定することができる。システムはまた、第１の画像データ１３００Ｂ内の第１の点１３１０Ｂ及び第２の点１３２０Ｂの位置に基づいて、第２の画像データ１３００Ｂ内の第１の点１３１０Ｂと第２の点１３２０Ｂとの間の第２の距離１３３５を判定することができる。いくつかの実装形態では、第１及び第２の距離１３３０及び１３３５の距離は、それぞれの点間のユークリッド距離によって判定され得る。

システムは、第１の距離１３３０及び第２の距離１３３５を使用して、管腔網内の器具の位置の変化を検出することができる。例えば、一実施形態では、システムは、第１の距離１３３０及び第２の距離１３３５に基づいてスケール変化推定値を判定することができる。一実施態様では、スケール変化推定値は、第１の距離１３３０と第２の距離１３３５との間の差に基づき得る。

図１３Ａ～１３Ｄには２つの関心点のみが示されているが、システムは、一連の画像データフレームにわたって少なくとも３つの関心点のセットを追跡することができる。関心点のセット内の点の数が画像データ内の画素数よりも少ないとき、点のセットは、「低密度の」点のセットと見なされ得る。他の実施形態では、システムによって追跡される関心点のセット内の点の数は、追跡される点の数が画像データ内の画素数と等しい、「高密度な」点のセットであり得る。システムは、点のセット内の点を複数の点のペアにグループ化することができる。これは、点のセット全体に関する点のペアのそれぞれの組み合わせを含んでもよく、又は点のセットに関する可能な点のペアのサブセットを含んでもよい。

システムは、点のペアに関して判定されたスケール推定値に基づいて、２つの画像データフレーム間のスケール変化値を判定することができる。特定の実施形態では、スケール変化値は、追跡される点のペアの全て又はサブセットに基づいて、２つの画像データフレーム間のスケール変化を表すことができる。一実施形態では、システムは、スケール変化値をスケール変化推定値の中央値として判定することができる。別の実施形態では、システムは、スケール変化値をスケール変化推定値の平均値として判定することができる。当業者であれば、その他の技術又は方法を使用して、スケール変化推定値のセットに基づいてスケール変化値を生成できることを認識するであろう。

ＶＩＩ．Ｃ．一連の画像データフレームにわたる累積スケール変化の追跡例
システムは、画像データフレームのシーケンスにわたりスケール変化値を蓄積し、それにより、２つを超える画像データフレームにわたりスケール変化を追跡することができる。特定の実装形様では、システムは、画像データフレームのシーケンス中の画像データフレームの連続するペア間のスケール変化値を乗算することによってスケール変化値を蓄積することができる。図１４Ａ～図１４Ｂは、本開示の態様による、スケール変化値が蓄積され得る画像データフレームのシーケンス内の２つの画像データフレームの例を示す。図１５Ａ～１５Ｂは、本開示の態様による、画像データフレームのシーケンスにわたり蓄積されたスケール変化値に対する変化を示すグラフである。

図１４Ａ～１５Ｂを参照すると、画像データフレームのナンバリングされたシーケンスにわたり画像データのシーケンスが示され、図１５Ａは、フレーム＃９３０からフレーム＃１１２５までの画像データを含み、図１５Ｂは、フレーム＃９６５からフレーム＃１１５５までの画像データを含む。図１４Ａはフレーム＃１１２５からの画像データ１４０５を含み、図１４Ｂはフレーム＃１１５５からの画像データ１４１０を含む。

図１５Ａ～１５Ｂのそれぞれは、本開示の態様に従って判定された累積スケール値を示す。例えば、グラフ内の各フレームにおける値は、２つの画像データフレーム間の現在判定されているスケール変化値を以前のフレームに関して判定された蓄積されたスケール変化値で乗算することによって計算され得る。グラフに示されるように、累積スケール変化値は、周期的な生理学的ノイズが画像センサ（及びひいては器具の遠位端）のポジションに影響を及ぼすときの期間である。システムは、画像センサから受信した画像データのシーケンスにおけるスケール変化値に対する累積変化を第１の期間にわたって追跡し、一定期間にわたる累積スケール変化値に基づいて生理学的ノイズの周波数を判定することができる。一実施形態では、システムは、追跡されたスケール変化値を周波数領域に（例えば、フーリエ又は他の変換を使用して）変換することができる。システムは、更に、周波数領域での追跡されたスケール変化値における少なくとも１つの高調波を識別することができる。特定の実施形態では、システムは、周波数領域において追跡されたスケール変化値における第１の高調波を、生理学的ノイズの推定周波数として識別することができる。

累積スケール変化値から判定される周波数は、生理学的ノイズの周波数の推定値として利用され得る。しかしながら、生理学的ノイズは、生理的ノイズが器具の位置特定に（例えば、ナビゲーション構成システム９００によって判定して）誤差をもたらすほど大きな影響を、管腔網に対する器具の位置に対して常に有し得るわけではない。したがって、特定の実施形態では、システムは、推定された生理学的ノイズの周波数を、別に推定された生理学的ノイズの周波数と比較することができる。

一実施形態では、システムは、画像センサから受信した画像データフレームのシーケンスに基づいて、患者の第１の生理的運動周波数を判定することができる。システムは、１つ以上の位置センサ（例えば、ＥＭセンサ、形状検知ファイバ、ロボットコマンドデータ、及び放射線ベースの画像センサ）から受信したデータに基づいて、患者の第２の生理的運動周波数を更に判定することができる。１つ以上の位置センサから受信したデータに基づいて患者の生理的運動周波数を判定するためのシステム及び技術の例が、その全体が参照により本明細書に組み込まれる２０１８年３月２９日出願の米国特許出願公開第２０１８／０２７９８５２号に説明されている。

続いて、システムは、画像データのシーケンスに基づく第１の生理的運動周波数と位置センサのデータに基づく第２の生理的運動周波数との間の差が、閾値差未満であるか否かを判定することができる。第１の生理学的運動周波数と第２の生理的運動周波数との間の差が閾値差未満であるとき、システムは、画像データフレームのシーケンスにおけるスケール変化の周波数が生理学的ノイズ源に起因するものであると判定することができる。特定の実施形態では、システムは、画像データフレームのシーケンスにおけるスケール変化の周波数が生理学的ノイズ源に起因するものであると判定したことに応答して、管腔網内の器具の位置の検出された変化の表示をディスプレイに提供することができる。

対照的に、第１の生理学的運動周波数と第２の生理的運動周波数との間の差が閾値差以上であるとき、システムは、器具に対する管腔網内の運動が、器具の位置特定の精度に影響を及ぼす（例えば、ナビゲーション構成システム９００によって判定して）と判定するだけの十分な信頼度を有さない場合がある。換言すれば、画像データのシーケンスにおけるスケール変化の周波数が、別の技術を使用して測定された生理的周波数と十分に一致しないとき、システムは、器具の位置特定に誤差をもたらさないように、管腔網に対して十分に安定した器具の位置を推測することができる。

ＶＩＩ．Ｄ．関心点の逆追跡（Backtracking）の例
関心点を識別するために使用される特定の画像処理技術（例えば、ＳＵＲＦ、ＳＩＦＴなど）に応じて、画像データの２つのフレームが処理される順序が、画像データ内の関心点の位置の識別に影響を及ぼし得る。例えば、図１３Ａ～１３Ｂを参照すると、一実施例では、システムは、フレーム１３００Ａからの画素１３１０Ａ及び１３２０Ａの位置の変化を追跡することによって、画像データフレーム１３００Ｂ内の画素１３１０Ｂ及び１３２０Ｂを識別することができる。しかしながら、特定の条件下では、画素１３１０Ｂ及び１３２０Ｂを画像データフレーム１３００Ｂから画像データフレーム１３００Ａへと逆追跡することによってこのプロセスを反転させる際、システムは元の画素１３１０Ａ及び１３２０Ａからの異なる画素を識別することができる。逆追跡プロセス中に識別された画素が元の画素１３１０Ａ及び１３２０Ａと同じではないとき、識別された画素は、スケール変化推定値を判定するのに十分にロバストでない場合がある。

したがって、システムは、点のセットを第２の画像データから第１の画像データに逆追跡することによって、第１の画像データ内の点のセットの逆追跡された位置のセットを識別し、逆追跡された位置のセットを、第１の画像データから識別された点のセットの位置の元のセットと比較することができる。システムは、逆追跡された位置が、第１の位置のセットの閾値距離内にない（例えば、逆追跡された画素の位置が、フォワードトラッキングに使用される画素の元の判定された位置と十分に一致しない）点のセットから点のサブセットを識別することができる。システムは、点のセットから点のサブセットを除去し、除去された点のサブセットなしにスケール変化推定値を判定することができる。これにより、一連の画像データフレームにわたる点追跡の精度及びロバスト性を改善することができる。

ＶＩＩ．Ｄ．動的器具の運動中の生理学的ノイズの検出例
本開示の特定の態様は、器具が静止している間（例えば、器具を移動させるためのロボットコマンドが提供されていない間）に実施され得るが、動的器具の運動中（例えば、器具を管腔網内で駆動している間）に生理学的ノイズを検出することも望ましい場合がある。このような動的器具の運動中、２つの画像データフレーム（例えば、第１の時間及び第２の時間で受信される）間の変化は、器具の運動と生理学的ノイズとの組み合わせの結果であり得る。したがって、器具の動的運動中に生理学的ノイズを検出するために、器具運動動作は、画像ベースのアルゴリズムモジュール９７０によって検出された動作における生理学的ノイズから切り離されるべきである。特定の実施形態では、システムは、位置決めセンサ（例えば、ＥＭベースの状態データ、ロボットベースの状態データ、ＥＭ及び／又は光学形状感知状態データなど）から受信した器具の３Ｄ運動を使用することによって、３Ｄ空間内で動作分離（motion decoupling）を実行することができる。システムは、画像ベースの３Ｄ動作推定（例えば、動作からの構造）を含む特定の画像処理技術を採用して、器具と管腔網との間の相対的３Ｄ運動を判定することができる。

例示的な一実施態様では、システムは、位置センサから受信したデータに基づいて、２つの時点の間（例えば、ｔ_０とｔ_１との間）の位置センサベースの３Ｄ器具の運動を判定することができる。３Ｄ器具の運動データは、３つの空間自由度（ＤｏＦ）、例えば｛ｘ_ｓ，ｙ_ｓ，ｚ_ｓ｝、及び３つの回転ＤｏＦ、例えば

によって表されてもよい。システムはまた、位置センサベースの３Ｄ器具の運動におけるものと同じ６つのＤｏＦ測定値によって表される２つの時点間の画像センサベースの３Ｄ器具の運動を判定してもよい。

システムは、位置センサベースの３Ｄ器具の運動と画像センサベースの３Ｄ器具の運動との間の差を判定することによって、生理学的運動を表す３Ｄ器具運動推定値を判定することができる。続いて、システムは、画像データのシーケンスにわたる生理的運動を表す３Ｄ器具運動推定値、及び、（例えば、高調波分析を含む上記で定義された技術のうちの１つ以上を使用して）生理学的ノイズに関連する周波数及び振幅を抽出することができる、所定の期間にわたる位置センサ測定値を蓄積することができる。

ＶＩＩ．Ｅ．生理学的ノイズに起因する接合部間の器具移行の検出例
器具が管腔網内の接合部の近くに位置するとき（例えば、現在のセグメントが２つ以上の子セグメントに分枝するとき）、生理学的ノイズに起因してもたらされる、器具の判定された位置の不確実性が生じ得る。つまり、器具が接合部付近に位置していない場合は、器具が生理学的ノイズに起因して現在のセグメント内で深さの変化を有し得る場合であっても、器具は別のセグメントに移行することなく現在のセグメント内に留まる場合がある。しかしながら、器具が接合部付近に位置する場合、生理学的ノイズに起因する器具の運動は、器具を１つのセグメントから別のセグメントまで移動させるのに十分であり得る。したがって、器具が接合部を越えて管腔網の新しいセグメント内に移動したかどうかをシステムが正確に判定することができないという指示をユーザに提供することが望ましい場合がある。

特定の実施形態では、システムは、画像センサから受信した画像データから気道を識別及び分析することによって、接合部の移行を検出することができる。例えば、システムは、２つの画像データフレーム（例えば、第１の時間ｔ_０及び第２の時間ｔ_１で受信される）間で検出された気道の位置を追跡する。システムは、特定の実施形態では、以下の条件のうちの少なくとも１つが満たされたことに応答して、器具が接合部を通って移行したものと判定することができる：１）時間ｔ_１において、推定された気道の全てが画像データ内の検出された気道と重なり合うが、時間ｔ_１において画像データ内に、推定される気道と重なり合わない１つ以上の検出された気道が存在すること、２）時間ｔ_１において画像データ内で検出された気道の全てが推定された気道と重なり合うが、時間ｔ_０において画像データ内で検出された気道との重なり合いを有さない１つ以上の推定された気道が存在すること、及び３）推定された気道と重なり合わない１つ以上の検出された気道が存在し、かつ検出された気道と重なり合わない１つ以上の推定された気道が存在すること。かくして、実施形態は、以前の気道の位置及びサイズを追跡し、それらを現在の画像データ内で検出された気道の位置及びサイズと比較することができる。上記で列挙した条件のうちの１つ以上の存在、及び器具に対する解剖学的構造の移動の検出は、システムによって接合部間の移行を検出するために使用され得る。

ＶＩＩＩ．システム及び用語の実装
本明細書に開示される実装形態は、管腔網のナビゲーション中に生理学的ノイズを検出するためのシステム、方法、及び機器を提供する。

本明細書で使用するとき、用語「連結する」、「連結している」、「連結された」、又は単語結合の他の変形は、間接的接続又は直接的接続のいずれかを示し得ることに留意されたい。例えば、第１の構成要素が第２の構成要素に「連結される」場合、第１の構成要素は、別の構成要素を介して第２の構成要素に間接的に接続される、又は第２の構成要素に直接的に接続される、のいずれかであってもよい。

本明細書に記載の経路ベースのナビゲーション機能は、プロセッサ可読媒体又はコンピュータ可読媒体上の１つ以上の命令として記憶されてもよい。用語「コンピュータ可読媒体」は、コンピュータ又はプロセッサによってアクセスすることができる任意の利用可能な媒体を指す。一例として、限定するものではないが、こうした媒体は、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク読み出し専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）を含んでもよく、あるいは他の光ディスク記憶装置は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、ＣＤ－ＲＯＭ、若しくはその他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気記憶装置、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含んでもよい。コンピュータ可読媒体は、有形であり、非一時的であってもよいことに留意されたい。本明細書で使用するとき、用語「コード」は、コンピューティング装置又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指してもよい。

本明細書に開示される方法は、記載される方法を達成するための１つ以上の工程又は行為を含む。方法工程及び／又は行為は、特許請求の範囲から逸脱することなく互いに交換されてもよい。換言すれば、記載されている方法の適切な動作のために特定の順序の工程又は行為が必要とされない限り、特許請求の範囲から逸脱することなく、特定の工程及び／又は行為の順序及び／又は使用を修正してもよい。

本明細書で使用するとき、用語「複数」は、２つ以上を示す。例えば、複数の構成要素は、２つ以上の構成要素を示す。用語「判定する」は、多種多様な行為を包含し、したがって、「判定する」は、計算する、演算する、処理する、算出する、調査する、ルックアップする（例えば、テーブル、データベース又は別のデータ構造を見ること）、確認することなどを含むことができる。また、「判定する」は、受け取る（例えば、情報を受信すること）、アクセスする（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「判定する」は、解決する、選択する、選出する、確立するなどを含むことができる。

語句「基づく」は、別途明示的に指定されない限り、「のみに基づく」ことを意味しない。換言すれば、語句「基づく」は、「のみに基づく」及び「少なくとも基づく」の両方を記載する。

開示される実装形態の前述の説明は、任意の当業者が本発明を製造すること、又は使用することを可能にするために提供される。これらの実装形態に対する種々の修正は、当業者には容易に明らかになり、かつ、本明細書で規定される一般的な原理は、本発明の範囲から逸脱することなく、他の実装形様に適用され得る。例えば、当業者であれば、締結、装着、連結、又は係合ツール構成要素の均等の方法、特定の作動運動を生み出すための均等の機構、及び電気エネルギーを送達するための均等の機構など、多くの対応する代替的かつ均等の構造的詳細を使用することができると理解されるであろう。したがって、本発明は、本明細書に示される実装形態に限定されることを意図するものではなく、本明細書に開示される原則及び新規な特徴と一致する最も広い範囲が与えられるものである。

〔実施の態様〕
（１） 医療ロボットシステムであって、
１つ以上のプロセッサのセットと、
前記プロセッサのセットと通信し、コンピュータ実行可能命令を記憶した少なくとも１つのコンピュータ可読メモリであって、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
器具上に位置する画像センサから第１の画像データを受信することであって、前記器具は、患者の管腔網を通って駆動されるように構成されている、ことと、
前記第１の画像データの１つ以上の関心点のセットを検出することと、
前記第１の画像データ内の前記点のセットにそれぞれ対応する第１の位置のセットを識別することと、
前記画像センサから第２の画像データを受信することと、
前記第２の画像データ内の１つ以上の点のセットを検出することと、
前記第２の画像データ内の前記点のセットにそれぞれ対応する第２の位置のセットを識別することと、
前記第１の位置のセット及び前記第２の位置のセットに基づいて、前記器具に対する前記管腔網の移動によって引き起こされる前記管腔網内での前記器具の位置の変化を検出することと、を行わせる、コンピュータ可読メモリと、を備える、医療ロボットシステム。
（２） 前記第１の位置のセット及び前記第２の位置のセットはそれぞれ、前記第１の画像データ及び前記第２の画像データ内の前記点の二次元（２Ｄ）位置を画定する、実施態様１に記載のシステム。
（３） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
前記点のセットを複数の点のペアへとグループ化することであって、第１の点のペアは第１の点及び第２の点を含む、ことと、
前記第１の位置のセットに基づいて、前記第１の画像データ内の前記第１の点と前記第２の点との間の第１の距離を判定することと、
前記第２の位置のセットに基づいて、前記第２の画像データ内の前記第１の点と前記第２の点との間の第２の距離を判定することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の距離及び前記第２の距離に更に基づいている、実施態様２に記載のシステム。
（４） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
前記第１の距離及び前記第２の距離に基づいて、前記第１の点のペアの第１のスケール変化推定値を判定することと、
前記スケール変化推定値に基づいて、前記第１の画像データと前記第２の画像データとの間のスケール変化を表すスケール変化値を判定することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記スケール変化値に更に基づいている、実施態様３に記載のシステム。
（５） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
前記点のペアにそれぞれ対応するスケール変化推定値のセットを判定することと、
前記スケール変化推定値のセットの中央値又は前記スケール変化推定値のセットの平均値に基づいて前記スケール変化値を判定することと、を行わせる、実施態様４に記載のシステム。

（６） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
第１の期間にわたって前記画像センサから受信した画像データにおけるスケール変化を表すスケール変化値に対する累積変化を追跡することと、
追跡された前記スケール変化値を周波数領域に変換することと、
周波数領域での追跡された前記スケール変化値における少なくとも１つの高調波を識別することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記少なくとも１つの高調波に更に基づいている、実施態様１に記載のシステム。
（７） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
１つ以上の位置センサから受信したデータに基づいて前記器具の位置を判定することと、
前記第１の位置のセット及び前記第２の位置のセットに基づいて前記患者の第１の生理的運動周波数を判定することであって、前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数に更に基づいている、ことと、
前記管腔網内の前記器具の検出された前記位置の変化の表示をディスプレイに提供することと、を行わせる、実施態様１に記載のシステム。
（８） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
前記１つ以上の位置センサから受信した前記データに基づいて前記患者の第２の生理的運動周波数を判定することと、
前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の差が閾値差未満であると判定することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の前記差が前記閾値差未満であると判定することに更に応答するものである、実施態様７に記載のシステム。
（９） 前記１つ以上の位置センサが、電磁（ＥＭ）センサ、形状検知ファイバ、ロボットコマンドデータ、及び放射線ベースの画像センサのうちの少なくとも１つを含む、実施態様７に記載のシステム。
（１０） 前記生理的運動が、前記患者の呼吸又は前記患者の心拍のうちの少なくとも一方を含む、実施態様７に記載のシステム。

（１１） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
前記点のセットを前記第２の画像データから前記第１の画像データに逆追跡する（backtracking）ことによって、前記第１の画像データ内の前記点のセットの逆追跡された位置のセットを識別することと、
前記逆追跡された位置のセットを前記第１の位置のセットと比較することと、
前記逆追跡された位置が前記第１の位置のセットの閾値距離以内にない、前記点のセット内の点のサブセットを識別することと、
前記点のセットから前記点のサブセットを除去することと、を行わせる、実施態様１に記載のシステム。
（１２） 前記第１の位置のセット及び前記第２の位置のセットは、前記第１の画像データ及び前記第２の画像データの座標系に対する前記点のそれぞれの位置を示す二次元（２Ｄ）情報を含む、実施態様１に記載のシステム。
（１３） 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
前記第１の画像データから前記点のセットに関する深さ情報を抽出することと、
前記第２の画像データから前記点のセットに関する深さ情報を抽出することと、を行わせ、
前記第１の位置のセット及び前記第２の位置のセットは、前記第１の画像データ及び前記第２の画像データのそれぞれから抽出された深さ情報に基づいて判定された前記点のそれぞれの位置を示す三次元（３Ｄ）情報を含む、実施態様１に記載のシステム。
（１４） 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、前記命令は、実行されると、少なくとも１つのコンピューティング装置に、
器具上に位置する画像センサから第１の画像データを受信することであって、前記器具は、患者の管腔網を通って駆動されるように構成されている、ことと、
前記第１の画像データの１つ以上の関心点のセットを検出することと、
前記第１の画像データ内の前記点のセットにそれぞれ対応する第１の位置のセットを識別することと、
前記画像センサから第２の画像データを受信することと、
前記第２の画像データ内の１つ以上の点のセットを検出することと、
前記第２の画像データ内の前記点のセットにそれぞれ対応する第２の位置のセットを識別することと、
前記第１の位置のセット及び前記第２の位置のセットに基づいて、前記器具に対する前記管腔網の移動によって引き起こされる前記管腔網内での前記器具の位置の変化を検出することと、を行わせる、非一時的コンピュータ可読記憶媒体。
（１５） 前記第１の位置のセット及び前記第２の位置のセットはそれぞれ、前記第１の画像データ及び前記第２の画像データ内の前記点の二次元（２Ｄ）位置を画定する、実施態様１４に記載の非一時的コンピュータ可読記憶媒体。

（１６） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記点のセットを複数の点のペアへとグループ化することであって、第１の点のペアは第１の点及び第２の点を含む、ことと、
前記第１の位置のセットに基づいて、前記第１の画像データ内の前記第１の点と前記第２の点との間の第１の距離を判定することと、
前記第２の位置のセットに基づいて、前記第２の画像データ内の前記第１の点と前記第２の点との間の第２の距離を判定することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の距離及び前記第２の距離に更に基づいている、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（１７） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記第１の距離及び前記第２の距離に基づいて、前記第１の点のペアの第１のスケール変化推定値を判定することと、
前記スケール変化推定値に基づいて、前記第１の画像データと前記第２の画像データとの間のスケール変化を表すスケール変化値を判定することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記スケール変化値に更に基づいている、実施態様１６に記載の非一時的コンピュータ可読記憶媒体。
（１８） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記点のペアにそれぞれ対応するスケール変化推定値のセットを判定することと、
前記スケール変化推定値のセットの中央値又は前記スケール変化推定値のセットの平均値に基づいて前記スケール変化値を判定することと、を行わせる、実施態様１７に記載の非一時的コンピュータ可読記憶媒体。
（１９） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
第１の期間にわたって前記画像センサから受信した画像データにおけるスケール変化を表すスケール変化値に対する累積変化を追跡することと、
追跡された前記スケール変化値を周波数領域に変換することと、
周波数領域での追跡された前記スケール変化値における少なくとも１つの高調波を識別することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記少なくとも１つの高調波に更に基づいている、実施態様１４に記載の非一時的コンピュータ可読記憶媒体。
（２０） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
１つ以上の位置センサから受信したデータに基づいて前記器具の位置を判定することと、
前記第１の位置のセット及び前記第２の位置のセットに基づいて前記患者の第１の生理的運動周波数を判定することであって、前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数に更に基づいている、ことと、
前記管腔網内の前記器具の検出された前記位置の変化の表示をディスプレイに提供することと、を行わせる、実施態様１４に記載の非一時的コンピュータ可読記憶媒体。

（２１） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記１つ以上の位置センサから受信した前記データに基づいて前記患者の第２の生理的運動周波数を判定することと、
前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の差が閾値差未満であると判定することと、を行わせ、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の前記差が前記閾値差未満であると判定することに更に応答するものである、実施態様２０に記載の非一時的コンピュータ可読記憶媒体。
（２２） 前記１つ以上の位置センサが、電磁（ＥＭ）センサ、形状検知ファイバ、ロボットコマンドデータ、及び放射線ベースの画像センサのうちの少なくとも１つを含む、実施態様２０に記載の非一時的コンピュータ可読記憶媒体。
（２３） 前記生理的運動が、前記患者の呼吸又は前記患者の心拍のうちの少なくとも一方を含む、実施態様２０に記載の非一時的コンピュータ可読記憶媒体。
（２４） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記点のセットを前記第２の画像データから前記第１の画像データに逆追跡することによって、前記第１の画像データ内の前記点のセットの逆追跡された位置のセットを識別することと、
前記逆追跡された位置のセットを前記第１の位置のセットと比較することと、
前記逆追跡された位置が前記第１の位置のセットの閾値距離以内にない、前記点のセット内の点のサブセットを識別することと、
前記点のセットから前記点のサブセットを除去することと、を行わせる、実施態様１４に記載の非一時的コンピュータ可読記憶媒体。
（２５） 前記第１の位置のセット及び前記第２の位置のセットは、前記第１の画像データ及び前記第２の画像データの座標系に対する前記点のそれぞれの位置を示す二次元（２Ｄ）情報を含む、実施態様１４に記載の非一時的コンピュータ可読記憶媒体。

（２６） 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
前記第１の画像データから前記点のセットに関する深さ情報を抽出することと、
前記第２の画像データから前記点のセットに関する深さ情報を抽出することと、を行わせ、
前記第１の位置のセット及び前記第２の位置のセットは、前記第１の画像データ及び前記第２の画像データのそれぞれから抽出された深さ情報に基づいて判定された前記点のそれぞれの位置を示す三次元（３Ｄ）情報を含む、実施態様１４に記載の非一時的コンピュータ可読記憶媒体。
（２７） 器具の位置の変化を検出するための方法であって、
前記器具上に位置する画像センサから第１の画像データを受信することであって、前記器具は、患者の管腔網を通って駆動されるように構成されている、ことと、
前記第１の画像データの１つ以上の関心点のセットを検出することと、
前記第１の画像データ内の前記点のセットにそれぞれ対応する第１の位置のセットを識別することと、
前記画像センサから第２の画像データを受信することと、
前記第２の画像データ内の１つ以上の点のセットを検出することと、
前記第２の画像データ内の前記点のセットにそれぞれ対応する第２の位置のセットを識別することと、
前記第１の位置のセット及び前記第２の位置のセットに基づいて、前記器具に対する前記管腔網の移動によって引き起こされる前記管腔網内での前記器具の前記位置の変化を検出することと、を含む、方法。
（２８） 前記第１の位置のセット及び前記第２の位置のセットはそれぞれ、前記第１の画像データ及び前記第２の画像データ内の前記点の二次元（２Ｄ）位置を画定する、実施態様２７に記載の方法。
（２９） 前記点のセットを複数の点のペアへとグループ化することであって、第１の点のペアは第１の点及び第２の点を含む、ことと、
前記第１の位置のセットに基づいて、前記第１の画像データ内の前記第１の点と前記第２の点との間の第１の距離を判定することと、
前記第２の位置のセットに基づいて、前記第２の画像データ内の前記第１の点と前記第２の点との間の第２の距離を判定することと、を更に含み、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の距離及び前記第２の距離に更に基づいている、実施態様２８に記載の方法。
（３０） 前記第１の距離及び前記第２の距離に基づいて、前記第１の点のペアの第１のスケール変化推定値を判定することと、
前記スケール変化推定値に基づいて、前記第１の画像データと前記第２の画像データとの間のスケール変化を表すスケール変化値を判定することと、を更に含み、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記スケール変化値に更に基づいている、実施態様２９に記載の方法。

（３１） 前記点のペアにそれぞれ対応するスケール変化推定値のセットを判定することと、
前記スケール変化推定値のセットの中央値又は前記スケール変化推定値のセットの平均値に基づいて前記スケール変化値を判定することと、を更に含む、実施態様３０に記載の方法。
（３２） 第１の期間にわたって前記画像センサから受信した画像データにおけるスケール変化を表すスケール変化値に対する累積変化を追跡することと、
追跡された前記スケール変化値を周波数領域に変換することと、
周波数領域での追跡された前記スケール変化値における少なくとも１つの高調波を識別することと、を更に含み、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記少なくとも１つの高調波に更に基づいている、実施態様２７に記載の方法。
（３３） １つ以上の位置センサから受信したデータに基づいて前記器具の位置を判定することと、
前記第１の位置のセット及び前記第２の位置のセットに基づいて前記患者の第１の生理的運動周波数を判定することであって、前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数に更に基づいている、ことと、
前記管腔網内の前記器具の検出された前記位置の変化の表示をディスプレイに提供することと、を更に含む、実施態様２７に記載の方法。
（３４） 前記１つ以上の位置センサから受信した前記データに基づいて前記患者の第２の生理的運動周波数を判定することと、
前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の差が閾値差未満であると判定することと、を更に含み、
前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の前記差が前記閾値差未満であると判定することに更に応答するものである、実施態様３３に記載の方法。
（３５） 前記１つ以上の位置センサが、電磁（ＥＭ）センサ、形状検知ファイバ、ロボットコマンドデータ、及び放射線ベースの画像センサのうちの少なくとも１つを含む、実施態様３３に記載の方法。

（３６） 前記生理的運動が、前記患者の呼吸又は前記患者の心拍のうちの少なくとも一方を含む、実施態様３３に記載の方法。
（３７） 前記点のセットを前記第２の画像データから前記第１の画像データに逆追跡することによって、前記第１の画像データ内の前記点のセットの逆追跡された位置のセットを識別することと、
前記逆追跡された位置のセットを前記第１の位置のセットと比較することと、
前記逆追跡された位置が前記第１の位置のセットの閾値距離以内にない、前記点のセット内の点のサブセットを識別することと、
前記点のセットから前記点のサブセットを除去することと、を更に含む、実施態様２７に記載の方法。
（３８） 前記第１の位置のセット及び前記第２の位置のセットは、前記第１の画像データ及び前記第２の画像データの座標系に対する前記点のそれぞれの位置を示す二次元（２Ｄ）情報を含む、実施態様２７に記載の方法。
（３９） 前記第１の画像データから前記点のセットに関する深さ情報を抽出することと、
前記第２の画像データから前記点のセットに関する深さ情報を抽出することと、を更に含み、
前記第１の位置のセット及び前記第２の位置のセットは、前記第１の画像データ及び前記第２の画像データのそれぞれから抽出された深さ情報に基づいて判定された前記点のそれぞれの位置を示す三次元（３Ｄ）情報を含む、実施態様２７に記載の方法。

Claims (15)

1. 医療ロボットシステムであって、
   １つ以上のプロセッサのセットと、
   前記プロセッサのセットと通信し、コンピュータ実行可能命令を記憶した少なくとも１つのコンピュータ可読メモリであって、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   器具上に位置する画像センサから第１の画像データを受信することであって、前記器具は、患者の管腔網を通って駆動されるように構成されている、受信することと、
   少なくとも１つの位置センサから受信したデータに基づいて前記管腔網内の前記器具の第１の位置を決定することと、
   前記第１の画像データの１つ以上の関心点のセットを検出することと、
   前記第１の画像データ内の前記１つ以上の関心点のセットにそれぞれ対応する第１の位置のセットを識別することと、
   前記画像センサから第２の画像データを受信することと、
   前記第２の画像データ内の前記１つ以上の関心点のセットを検出することと、
   前記第２の画像データ内の前記１つ以上の関心点のセットにそれぞれ対応する第２の位置のセットを識別することと、
   前記器具を駆動するためのロボットコマンドが提供されていないことに基づいて、前記器具が動的に駆動されていないと判定することと、
   前記第１の位置のセット及び前記第２の位置のセットに基づいて、また、前記器具が動的に駆動されていないと判定することに応答して、前記器具に対する前記管腔網の移動によって引き起こされる前記管腔網内での前記器具の位置の変化を検出することと、
   前記位置の変化を検出することに応答して、前記器具に対する前記管腔網の前記移動による前記器具の決定された前記第１の位置における生理学的運動に起因する誤差を示す警告を生成することと、を行わせる、コンピュータ可読メモリと、を備える、医療ロボットシステム。
2. 前記第１の位置のセット及び前記第２の位置のセットはそれぞれ、前記第１の画像データ及び前記第２の画像データ内の前記１つ以上の関心点のセットの二次元（２Ｄ）位置を画定する、請求項１に記載のシステム。
3. 前記１つ以上の関心点のセットは、４つ以上の点を含み、
   前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   前記４つ以上の点のセットを複数の点のペアへとグループ化することであって、第１の点のペアは第１の点及び第２の点を含む、ことと、
   前記第１の位置のセットに基づいて、前記第１の画像データ内の前記第１の点と前記第２の点との間の第１の距離を判定することと、
   前記第２の位置のセットに基づいて、前記第２の画像データ内の前記第１の点と前記第２の点との間の第２の距離を判定することと、を行わせ、
   前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の距離及び前記第２の距離に更に基づいている、請求項２に記載のシステム。
4. 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   前記第１の距離及び前記第２の距離に基づいて、前記第１の点のペアの第１のスケール変化推定値を判定することと、
   前記スケール変化推定値に基づいて、前記第１の画像データと前記第２の画像データとの間のスケール変化を表すスケール変化値を判定することと、を行わせ、
   前記管腔網内の前記器具の前記位置の変化を検出することは、前記スケール変化値に更に基づいている、請求項３に記載のシステム。
5. 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   前記複数の点のペアにそれぞれ対応するスケール変化推定値のセットを判定することと、
   前記スケール変化推定値のセットの中央値又は前記スケール変化推定値のセットの平均値に基づいて前記スケール変化値を判定することと、を行わせる、請求項４に記載のシステム。
6. 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   第１の期間にわたって前記画像センサから受信した画像データにおけるスケール変化を表すスケール変化値に対する累積変化を追跡することと、
   追跡された前記スケール変化値を周波数領域に変換することと、
   周波数領域での追跡された前記スケール変化値における少なくとも１つの高調波を識別することと、を行わせ、
   前記管腔網内の前記器具の前記位置の変化を検出することは、前記少なくとも１つの高調波に更に基づいている、請求項１に記載のシステム。
7. 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   前記第１の位置のセット及び前記第２の位置のセットに基づいて前記患者の第１の生理的運動周波数を判定することであって、前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数に更に基づいている、ことと、
   前記管腔網内の前記器具の検出された前記位置の変化の表示をディスプレイに提供することと、を行わせる、請求項１に記載のシステム。
8. 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   前記少なくとも１つの位置センサから受信した前記データに基づいて前記患者の第２の生理的運動周波数を判定することと、
   前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の差が閾値差未満であると判定することと、を行わせ、
   前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の生理的運動周波数と前記第２の生理的運動周波数との間の前記差が前記閾値差未満であると判定することに更に応答するものである、請求項７に記載のシステム。
9. 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
   前記１つ以上の関心点のセットを前記第２の画像データから前記第１の画像データに逆追跡することによって、前記第１の画像データ内の前記１つ以上の関心点のセットの逆追跡された位置のセットを識別することと、
   前記逆追跡された位置のセットを前記第１の位置のセットと比較することと、
   前記逆追跡された位置が前記第１の位置のセットの閾値距離以内にない、前記１つ以上の関心点のセット内の１つ以上の点のサブセットを識別することと、
   前記１つ以上の点の関心セットから前記１つ以上の点のサブセットを除去することと、を行わせる、請求項１に記載のシステム。
10. 前記メモリが、前記メモリに記憶されたコンピュータ実行可能命令を更に有し、前記コンピュータ実行可能命令が、前記プロセッサのセットに、
    前記第１の画像データから前記１つ以上の関心点のセットに関する深さ情報を抽出することと、
    前記第２の画像データから前記１つ以上の関心点のセットに関する深さ情報を抽出することと、を行わせ、
    前記第１の位置のセット及び前記第２の位置のセットは、前記第１の画像データ及び前記第２の画像データのそれぞれから抽出された前記深さ情報に基づいて判定された前記１つ以上の関心点のセットのそれぞれの位置を示す三次元（３Ｄ）情報を含む、請求項１に記載のシステム。
11. 非一時的コンピュータ可読記憶媒体であって、前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を有し、前記命令は、実行されると、少なくとも１つのコンピューティング装置に、
    器具上に位置する画像センサから第１の画像データを受信することであって、前記器具は、患者の管腔網を通って駆動されるように構成されている、ことと、
    少なくとも１つの位置センサから受信したデータに基づいて前記管腔網内の前記器具の第１の位置を決定することと、
    前記第１の画像データの１つ以上の関心点のセットを検出することと、
    前記第１の画像データ内の前記１つ以上の関心点のセットにそれぞれ対応する第１の位置のセットを識別することと、
    前記画像センサから第２の画像データを受信することと、
    前記第２の画像データ内の前記１つ以上の関心点のセットを検出することと、
    前記第２の画像データ内の前記１つ以上の関心点のセットにそれぞれ対応する第２の位置のセットを識別することと、
    前記器具を駆動するためのロボットコマンドが提供されていないことに基づいて、前記器具が動的に駆動されていないと判定することと、
    前記第１の位置のセット及び前記第２の位置のセットに基づいて、また、前記器具が動的に駆動されていないと判定することに応答して、前記器具に対する前記管腔網の移動によって引き起こされる前記管腔網内での前記器具の位置の変化を検出することと、
    前記位置の変化を検出することに応答して、前記器具に対する前記管腔網の前記移動による前記器具の決定された前記第１の位置における生理学的運動に起因する誤差を示す警告を生成することと、を行わせる、非一時的コンピュータ可読記憶媒体。
12. 前記第１の位置のセット及び前記第２の位置のセットはそれぞれ、前記第１の画像データ及び前記第２の画像データ内の前記１つ以上の関心点のセットの二次元（２Ｄ）位置を画定する、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
13. 前記１つ以上の関心点のセットは、４つ以上の点を含み、
    前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
    前記４つ以上の点のセットを複数の点のペアへとグループ化することであって、第１の点のペアは第１の点及び第２の点を含む、ことと、
    前記第１の位置のセットに基づいて、前記第１の画像データ内の前記第１の点と前記第２の点との間の第１の距離を判定することと、
    前記第２の位置のセットに基づいて、前記第２の画像データ内の前記第１の点と前記第２の点との間の第２の距離を判定することと、を行わせ、
    前記管腔網内の前記器具の前記位置の変化を検出することは、前記第１の距離及び前記第２の距離に更に基づいている、請求項１２に記載の非一時的コンピュータ可読記憶媒体。
14. 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
    前記第１の距離及び前記第２の距離に基づいて、前記第１の点のペアの第１のスケール変化推定値を判定することと、
    前記スケール変化推定値に基づいて、前記第１の画像データと前記第２の画像データとの間のスケール変化を表すスケール変化値を判定することと、を行わせ、
    前記管腔網内の前記器具の前記位置の変化を検出することは、前記スケール変化値に更に基づいている、請求項１３に記載の非一時的コンピュータ可読記憶媒体。
15. 前記非一時的コンピュータ可読記憶媒体は、前記非一時的コンピュータ可読記憶媒体に記憶された命令を更に有し、前記命令は、実行されると、前記少なくとも１つのコンピューティング装置に、
    第１の期間にわたって前記画像センサから受信した画像データにおけるスケール変化を表すスケール変化値に対する累積変化を追跡することと、
    追跡された前記スケール変化値を周波数領域に変換することと、
    前記周波数領域での追跡された前記スケール変化値における少なくとも１つの高調波を識別することと、を行わせ、
    前記管腔網内の前記器具の前記位置の変化を検出することは、前記少なくとも１つの高調波に更に基づいている、請求項１１に記載の非一時的コンピュータ可読記憶媒体。

Images