JP7146949B2 - 画像ベースの気道分析及びマッピング - Google Patents

Description

（関連出願の相互参照）
本願は、２０１８年５月３１日に出願された米国仮出願第６２／６７８，８８１号の利益を主張するものであり、当該仮出願は参照によりその全体が本明細書に組み込まれる。

（発明の分野）
本開示は、概略的には医療器具のナビゲーションのためのシステム及び方法に関し、より具体的には、ロボット制御式の医療器具をナビゲートするための画像ベースの気道分析及びマッピングに関する。

内視鏡検査（例えば、気管支鏡検査）などの医療処置では、診断及び／又は治療目的で患者の管腔（例えば、気道）の内部にアクセスし可視化を行う場合がある。処置中に、内視鏡などの可撓性の管状ツール又は器具を患者の体内に挿入することができる。いくつかの場合には、第２の器具を、内視鏡を通して診断及び／又は治療のために特定された組織部位に到達させることができる。

気管支鏡検査は、医師が気管支及び細気管支などの患者の肺内の気道の内部状態を検査することを可能とする医療処置である。この医療処置では、気管支鏡として知られる細い可撓性の管状ツール又は器具を患者の口に挿入し、患者の喉から肺気道内へと、その後の診断及び／又は治療を行うために特定された組織部位に向かって通すことができる。気管支鏡は、組織部位への経路を提供する内部ルーメン（「作業チャネル」）を有することができ、作業チャネルを通してカテーテル及び様々な医療ツールを組織部位に挿入することができる。

いくつかの医療処置では、外科用ロボットシステムを、外科用ツールの挿入及び／又は操作を制御するために使用することができる。外科用ロボットシステムは、処置中の外科用ツールの位置決めを制御するために使用されるマニピュレータアセンブリを有する少なくとも１つのロボットアーム又はその他の器具位置決めデバイスを含むことができる。

ロボット制御可能な医療システムを使用して、腹腔鏡処置などの低侵襲的処置、及び内視鏡処置などの非侵襲的処置の両方を含む、様々な医療処置を行うことができる。ロボット制御可能な医療システムを、内視鏡処置の中でも、気管支鏡検査、尿管鏡検査、胃腸検査などの実施に使用することができる。これらのような処置の間、医師及び／又はコンピュータシステムは、患者の管腔ネットワークを通して医療器具をナビゲートすることができる。管腔ネットワークには、複数の分枝管腔（気管支網又は腎臓網など）、又は単一の管腔（消化管など）が含まれ得る。ロボット制御可能な医療システムは、管腔ネットワークを通して医療器具を誘導する（又は医療器具の誘導を支援する）ためのナビゲーションシステムを含むことができる。

本開示の実施形態は、画像ベースの気道分析及びマッピングのためのシステム及び技術に関する。画像ベースの気道分析及びマッピングは、管腔ネットワークを通したナビゲーションを支援することができる。画像ベースの気道分析は、器具上の撮像デバイスで捕捉された画像内で、管腔ネットワークの１つ以上の枝に関連付けられた１つ以上の気道を特定することと、その中で画像が捕捉された現在の気道が、検出された「子」気道にどのように分枝しているのかを示す分枝情報を判定することと、を含み得る。画像ベースの気道マッピングは、特定された気道を、管腔ネットワークの対応する枝にマッピングすることを含み得る。これらのシステム及び技術を使用して、管腔ネットワーク内の器具の位置を判定又は推定することができる。本開示のシステム、方法及びデバイスはそれぞれ、いくつかの革新的な態様を有し、そのうちの１つも、本明細書に開示される望ましい属性にのみ関与するものではない。

一態様では、管腔ネットワークを通して器具をナビゲートする方法が提供され、この方法は、器具上に配置された撮像デバイスを用いて管腔ネットワーク内の複数の画像を捕捉することであって、複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、第１の画像内の第１の気道を特定することと、第２の画像内の２つ以上の気道を特定することと、第１の画像内の第１の気道及び第２の画像内の２つ以上の気道に基づいて、重複条件が満たされていると判定することと、第２の時間中の器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、術前モデルデータと、重複条件が満たされているという判定とに基づいて、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングを決定することと、を含む。

別の一態様では、命令が記憶されている非一時的コンピュータ可読記憶媒体が提供され、命令は、実行されると、デバイスのプロセッサに、少なくとも、器具上に配置された撮像デバイスを用いて管腔ネットワーク内の複数の画像を捕捉することであって、複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、第１の画像内の第１の気道を特定することと、第２の画像内の２つ以上の気道を特定することと、第１の画像内の第１の気道及び第２の画像内の２つ以上の気道に基づいて、重複条件が満たされていると判定することと、第２の時間中の器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、術前モデルデータと、重複条件が満たされているという判定とに基づいて、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングを決定することと、を行わせる。

更に別の一態様では、管腔ネットワーク内の１つ以上の気道をマッピングするためのロボット外科用システムが提供され、このシステムは、管腔ネットワークに挿入されるように構成された細長い本体と、細長い本体の遠位部分上に配置された撮像デバイスと、を有する器具と、器具に取り付けられた器具位置決めデバイスであって、管腔ネットワークを通して器具を移動させるように構成されている、器具位置決めデバイスと、実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、少なくとも１つのコンピュータ可読メモリと通信している１つ以上のプロセッサと、を備え、プロセッサは、命令を実行して、システムに、少なくとも、器具上に配置された撮像デバイスを用いて管腔ネットワーク内の複数の画像を捕捉することであって、複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、第１の画像内の第１の気道を特定することと、第２の画像内の２つ以上の気道を特定することと、第１の画像内の第１の気道及び第２の画像内の２つ以上の気道に基づいて、重複条件が満たされていると判定することと、第２の時間中の器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、術前モデルデータと、重複条件が満たされているという判定とに基づいて、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングを決定することと、を行わせるように構成されている。

開示される態様は、以下、添付の図面と併せて説明され、開示された態様を例示するが、限定するものではなく、同様の指定は同様の要素を示す。
診断及び／又は治療用気管支鏡検査処置（複数可）のために配置されたカートベースのロボットシステムの実施形態を示す。 図１のロボットシステムの更なる態様を描写する。 尿管鏡検査のために配置された図１のロボットシステムの実施形態を示す。 血管処置のために配置された図１のロボットシステムの実施形態を示す。 気管支鏡検査処置のために配置されたテーブルベースのロボットシステムの実施形態を示す。 図５のロボットシステムの代替的な図である。 ロボットアーム（複数可）を収容するように構成された例示的なシステムを示す。 尿管鏡検査処置のために構成されたテーブルベースのロボットシステムの実施形態を示す。 腹腔鏡処置のために構成されたテーブルベースのロボットシステムの実施形態を示す。 ピッチ又は傾斜調整を備えた図５～図９のテーブルベースのロボットシステムの実施形態を示す。 図５～図１０のテーブルベースのロボットシステムのテーブルとカラムとの間のインターフェースの詳細な図である。 例示的な器具ドライバを示す。 ペアの器具ドライバを備えた例示的な医療器具を示す。 駆動ユニットの軸が器具の細長いシャフトの軸に対して平行である、器具ドライバ及び器具の代替的な設計を示す。 図１～図１０のロボットシステムの１つ以上の要素の位置（例えば図１３～図１４の器具の位置など）を推定する、例示的な実施形態に係る位置特定システムを示すブロック図である。 管腔ネットワークをナビゲートする器具の一例を示す。 ロボット制御式の外科用システムのための例示的なコマンドコンソールを示す。 医療器具の一実施形態の遠位端を示す。 画像ベースの気道分析及びマッピングのための例示的な方法を説明するフローチャートを示す。 管腔ネットワークの枝の内部の例示的な画像を示す。 管腔ネットワークの簡略図である。 ２つの異なる気道検出結果の例を示す。 例示的な実施形態による気道分析及びマッピングシステムを示す。 例示的な実施形態による画像ベースの気道分析がその中で実行される時間的コンテキストを示す。 例示的な実施形態による画像ベースの気道分析の空間的性質を示す。 ２つの連続する画像で検出された気道によって示される更なる例示的な関係を示す。 画像ベースの気道分析及びマッピングのための例示的な方法を説明するフローチャートを示す。

Ｉ．概要
本開示の態様は、腹腔鏡などの低侵襲性、及び内視鏡などの非侵襲性の両方の処置を含む、様々な医療処置を行うことができるロボット制御可能な医療システムに統合され得る。内視鏡処置のうち、システムは、気管支鏡検査、尿管鏡検査、胃鏡検査などを行うことができる。

幅広い処置を実行することに加えて、システムは、医師を支援するための強調された撮像及び誘導などの追加の利益を提供することができる。加えて、システムは、厄介なアーム運動及び位置を必要とせずに、人間工学的位置から処置を行う能力を医師に提供することができる。また更に、システムは、システムの器具のうちの１つ又は２つ以上が単一のユーザによって制御され得るように、改善された使いやすさで処置を行う能力を医師に提供することができる。

以下、説明を目的として、図面と併せて、様々な実施形態が説明される。開示された概念の多くの他の実施態様が可能であり、開示された実施態様で様々な利点が達成され得ることを理解されたい。見出しが、参照のために本明細書に含まれ、様々なセクションの位置を特定する支援となる。これらの見出しは、それに関して説明される概念の範囲を限定することを意図するものではない。そのような概念は、本明細書全体にわたって適用可能性を有し得る。

Ａ．ロボットシステム－カート
ロボット制御可能な医療システムは、特定の処置に応じて様々な方法で構成され得る。図１は、診断及び／又は治療用気管支鏡検査処置のために配置されたカートベースのロボット制御可能なシステム１０の実施形態を示す。気管支鏡検査の間、システム１０は、気管支鏡検査のための処置特有の気管支鏡であり得る操縦可能な内視鏡１３などの医療器具を、診断及び／又は治療用具を送達するための自然オリフィスアクセスポイント（すなわち、本実施例ではテーブル上に位置付けられた患者の口）に送達するための１つ又は２つ以上のロボットアーム１２を有するカート１１を含み得る。図示のように、カート１１は、アクセスポイントへのアクセスを提供するために、患者の上部胴体に近接して位置付けられ得る。同様に、ロボットアーム１２は、アクセスポイントに対して気管支鏡を位置付けるために作動され得る。図１の配置はまた、胃腸管（gastro-intestinal、ＧＩ）処置を、ＧＩ処置のための特殊な内視鏡である胃鏡を用いて実行するときに利用され得る。図２は、カートの例示的な実施形態をより詳細に描画する。

図１を引き続き参照すると、一旦カート１１が適切に位置付けられると、ロボットアーム１２は、操縦可能な内視鏡１３をロボットで、手動で、又はそれらの組み合わせで患者内に挿入することができる。図示のように、操縦可能な内視鏡１３は、内側リーダー部分及び外側シース部分などの少なくとも２つの入れ子式部品を含んでもよく、各部分は、器具ドライバのセット２８から別個の器具ドライバに結合され、各器具ドライバは、個々のロボットアームの遠位端に結合されている。リーダー部分をシース部分と同軸上に整列させるのを容易にする器具ドライバ２８のこの直線配置は、１つ又は２つ以上のロボットアーム１２を異なる角度及び／又は位置に操作することによって空間内に再配置され得る「仮想レール」２９を作成する。本明細書に記載される仮想レールは、破線を使用して図に示されており、したがって破線は、システムの物理的構造を示さない。仮想レール２９に沿った器具ドライバ２８の並進は、外側シース部分に対して内側リーダー部分を入れ子にするか、又は内視鏡１３を患者から前進又は後退させる。仮想レール２９の角度は、臨床用途又は医師の好みに基づいて調整、並進、及び枢動されてもよい。例えば、気管支鏡検査では、示されるような仮想レール２９の角度及び位置は、内視鏡１３を患者の口内に曲げ入れることによる摩擦を最小限に抑えながら内視鏡１３への医師のアクセスを提供する妥協を表す。

内視鏡１３は、対象の目的地又は手術部位に到達するまで、ロボットシステムからの正確なコマンドを使用して挿入後に患者の気管及び肺の下方に指向されてもよい。患者の肺網を通したナビゲーションを高め、及び／又は所望の標的に到達するために、内視鏡１３を操縦して、内側リーダー部分を外側シース部分から入れ子状に延在させて、高められた関節運動及びより大きな曲げ半径を得てもよい。別個の器具ドライバ２８の使用により、リーダー部分及びシース部分が互いに独立して駆動されることも可能にする。

例えば、内視鏡１３は、例えば、患者の肺内の病変又は小結節などの標的に生検針を送達するように指向されてもよい。針は、内視鏡の長さにわたる作業チャネルの下方に展開されて、病理医によって分析される組織試料を得てもよい。病理の結果に応じて、追加の生検のために追加のツールが内視鏡の作業チャネルの下方に展開されてもよい。小結節を悪性と特定した後、内視鏡１３は、潜在的な癌組織を切除するために器具を内視鏡的に送達してもよい。場合によっては、診断及び治療的処置は、別個の処置で送達されてもよい。これらの状況において、内視鏡１３はまた、標的小結節の位置を「マーク」するために基準を送達するために使用されてもよい。他の例では、診断及び治療的処置は、同じ処置中に送達されてもよい。

システム１０はまた、カート１１に支持ケーブルを介して接続されて、カート１１への制御、電子機器、流体工学、光学系、センサ、及び／又は電力のためのサポートを提供し得る移動可能なタワー３０を含んでもよい。タワー３０内にこのような機能を置くことにより、動作を行う医師及びそのスタッフがより容易に調整及び／又は再配置することができるより小さいフォームファクタのカート１１が可能となる。追加的に、カート／テーブルと支持タワー３０との間の機能の分割は、手術室の乱雑さを低減し、臨床ワークフローの改善を促進する。カート１１は患者に近接して配置されてもよいが、タワー３０は、処置中に邪魔にならないように遠隔位置に収容されてもよい。

上述のロボットシステムのサポートにおいて、タワー３０は、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内にコンピュータプログラム命令を記憶するコンピュータベースの制御システムの構成要素（複数可）を含んでもよい。これらの命令の実行は、実行がタワー３０内で行われるのか又はカート１１で行われるのかに関わらず、そのシステム又はサブシステム（複数可）全体を制御してもよい。例えば、コンピュータシステムのプロセッサによって実行されるときに、命令は、ロボットシステムの構成要素に、関連するキャリッジ及びアームマウントを作動させ、ロボットアームを作動させ、医療器具を制御させてもよい。例えば、制御信号を受信したことに応答して、ロボットアームの関節内のモータは、アームをある特定の姿勢に配置してもよい。

タワー３０はまた、内視鏡１３を通して展開され得るシステムに制御された灌注及び吸引能力を提供するために、ポンプ、流量計、弁制御、及び／又は流体アクセスを含んでもよい。これらの構成要素はまた、タワー３０のコンピュータシステムを使用して制御されてもよい。いくつかの実施形態では、灌注及び吸引能力は、別個のケーブル（複数可）を通して内視鏡１３に直接送達されてもよい。

タワー３０は、フィルタリングされ、保護された電力をカート１１に提供するように設計された電圧及びサージ保護具を含んでもよく、それによって、カート１１内に電力変圧器及び他の補助電力構成要素を配置することが回避され、カート１１はより小さく、より移動可能になる。

タワー３０はまた、ロボットシステム１０全体に配置されたセンサのための支持機器を含んでもよい。例えば、タワー３０は、ロボットシステム１０を通して光センサ又はカメラから受信したデータを検出、受信、及び処理するためのオプトエレクトロニクス機器を含んでもよい。制御システムと組み合わせて、このようなオプトエレクトロニクス機器は、タワー３０内を含むシステム全体に展開された任意の数のコンソール内に表示するためのリアルタイム画像を生成するために使用されてもよい。同様に、タワー３０はまた、展開された電磁（ＥＭ）センサから受信した信号を受信及び処理するための電子サブシステムを含んでもよい。タワー３０はまた、医療器具内又は医療器具上のＥＭセンサによる検出のためにＥＭ場発生器を収容し、配置するために使用されてもよい。

タワー３０はまた、システムの残りの部分で利用可能な他のコンソール、例えば、カートの上部に装着されたコンソールに追加して、コンソール３１を含んでもよい。コンソール３１は、医師操作者のためのユーザインターフェース及びタッチスクリーンなどの表示画面を含んでもよい。システム１０内のコンソールは、一般に、ロボット制御、並びに内視鏡１３のナビゲーション情報及び位置特定情報などの処置の術前及びリアルタイム情報の両方を提供するように設計される。コンソール３１が医師に利用可能な唯一のコンソールではない場合、コンソール３１は、看護師などの第２の操作者によって使用されて、患者の健康又は生命及びシステム１０の動作を監視し、並びにナビゲーション及び位置特定情報などの処置固有のデータを提供してもよい。その他の実施形態では、コンソール３０は、タワー３０とは別個の本体内に収容される。

タワー３０は、１つ又は２つ以上のケーブル又は接続（図示せず）を介してカート１１及び内視鏡１３に結合されてもよい。いくつかの実施形態では、タワー３０からの支持機能は、単一ケーブルを通してカート１１に提供されることにより、手術室を簡略化し、整理整頓することができる。他の実施形態では、特定の機能は、別個のケーブリング及び接続で結合されてもよい。例えば、単一の電力ケーブルを通してカート１１に電力が供給されてもよい一方、制御、光学、流体工学、及び／又はナビゲーションのためのサポートは、別個のケーブルを通して提供されてもよい。

図２は、図１に示されるカートベースのロボット制御可能なシステムからのカート１１の実施形態の詳細な図を提供する。カート１１は、概して、細長い支持構造１４（「カラム」と呼ばれることが多い）、カート基部１５、及びカラム１４の頂部にあるコンソール１６を含む。カラム１４は、１つ又は２つ以上のロボットアーム１２（図２には３つ示されている）の展開を支持するためのキャリッジ１７（代替的に「アーム支持体」）などの１つ又は２つ以上のキャリッジを含んでもよい。キャリッジ１７は、患者に対してより良好に配置するために垂直軸に沿って回転してロボットアーム１２の基部を調整する、個別に構成可能なアームマウントを含んでもよい。キャリッジ１７はまた、キャリッジ１７がカラム１４に沿って垂直方向に並進することを可能にするキャリッジインターフェース１９を含む。

キャリッジインターフェース１９は、キャリッジ１７の垂直方向の並進を案内するためにカラム１４の両側に配置されたスロット２０などのスロットを通してカラム１４に接続されている。スロット２０は、カート基部１５に対して様々な垂直方向の高さでキャリッジ１７を配置及び保持するための垂直方向の並進インターフェースを含む。キャリッジ１７の垂直方向の並進により、カート１１は、様々なテーブルの高さ、患者のサイズ、及び医師の好みを満たすようにロボットアーム１２のリーチを調整することが可能となる。同様に、キャリッジ１７上の個別に構成可能なアームマウントにより、ロボットアーム１２のロボットアーム基部２１を様々な構成で角度付けすることが可能となる。

いくつかの実施形態では、キャリッジ１７が垂直方向に並進する際にカラム１４の内部チャンバ及び垂直方向の並進インターフェース内に汚れ及び流体が侵入するのを防止するために、スロット２０には、スロット表面と同一平面及び平行であるスロットカバーが追加されてもよい。スロットカバーは、スロット２０の垂直方向の頂部及び底部付近に配置されたばねスプールの対を通じて展開されてもよい。カバーは、スプール内でコイル巻きにされており、キャリッジ１７が垂直方向に上下に並進して初めて展開して、それらのコイル状態から延伸及び後退する。スプールのばね荷重は、キャリッジ１７がスプールに向かって並進するときにカバーをスプール内に後退させるための力を提供する一方で、キャリッジ１７がスプールから離れるように並進するときに密封も維持する。カバーは、キャリッジ１７が並進する際にカバーが適切に延伸及び後退するのを確実にするために、例えば、キャリッジインターフェース１９内のブラケットを使用してキャリッジ１７に接続されてもよい。

カラム１４は、例えば、コンソール１６からの入力などのユーザ入力に応答して生成された制御信号に応答してキャリッジ１７を機械的に並進させるために垂直方向に整列した主ねじを使用するように設計された、歯車及びモータなどの機構を内部に含んでもよい。

ロボットアーム１２は、一般に、一連の関節２４によって接続されている一連の連結部２３によって分離されたロボットアーム基部２１及びエンドエフェクタ２２を含んでもよく、各関節は独立したアクチュエータを含み、各アクチュエータは、独立して制御可能なモータを含む。それぞれ独立して制御可能な関節は、ロボットアーム１２が利用可能な独立した自由度を表す。ロボットアーム１２の各々は、７つの関節を有してもよく、したがって、７つの自由度を提供することが可能である。多数の関節は、多数の自由度をもたらし、「冗長」自由度を可能にする。冗長自由度を有することにより、ロボットアーム１２は、異なる連結位置及び関節角度を使用して空間内の特定の位置、向き、及び軌道で、それらのそれぞれのエンドエフェクタ２２を配置することが可能となる。これにより、システムが空間内の所望のポイントから医療器具を配置及び指向させることが可能になると同時に、医師がアーム関節を患者から離れる臨床的に有利な位置へと移動させて、アームの衝突を回避しながらよりよいアクセスを生み出すことを可能にする。

カート基部１５は、床の上のカラム１４、キャリッジ１７、及びロボットアーム１２の重量の釣り合いをとる。したがって、カート基部１５は、電子機器、モータ、電源、並びにカート１１の移動及び／又は固定化のいずれかを可能にする構成要素などの、より重い部品を収容する。例えば、カート基部１５は、処置前にカート１１が部屋中をあちこちに容易に移動することを可能にする、転動可能なホイール形状のキャスター２５を含む。適切な位置に到達した後、キャスター２５は、処置中にカート１１を定位置に保持するためのホイールロックを使用して静止させられてもよい。

カラム１４の垂直方向の端部に配置されたコンソール１６は、ユーザ入力を受信するためのユーザインターフェース及び表示画面（又は、例えば、タッチスクリーン２６などの二重目的デバイス）の両方を可能にして、術前データ及び術中データの両方を医師であるユーザに提供する。タッチスクリーン２６上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影（computerized tomography、ＣＴ）スキャンから導出されたナビゲーション及びマッピングデータ、及び／又は術前の患者への問診からのメモを含んでもよい。ディスプレイ上の術中データは、ツールから提供される光学情報、センサからのセンサ及び座標情報、及び呼吸、心拍数、及び／又はパルスなどの不可欠な患者統計を含んでもよい。コンソール１６は、医師が、キャリッジ１７の反対側のカラム１４側からコンソール１６にアクセスすることを可能にするように配置され、傾斜が付けられてもよい。この位置から、医師は、コンソール１６をカート１１の背後から操作しながら、コンソール１６、ロボットアーム１２、及び患者を見ることができる。図示のように、コンソール１６はまた、カート１１の操作及び安定化を支援するハンドル２７を含む。

図３は、尿管鏡検査のために配置されたロボット制御可能なシステム１０の一実施形態を示す。尿管鏡検査処置では、カート１１は、患者の尿道及び尿管を横断するように設計された処置専用内視鏡である尿管鏡３２を患者の下腹部領域に送達するように配置されてもよい。尿管鏡検査では、尿管鏡３２が患者の尿道と直接整列して、領域内の敏感な解剖学的構造に対する摩擦及び力を低減することが望ましいことがある。図示のように、カート１１は、ロボットアーム１２が尿管鏡３２を、患者の尿道に直接直線状にアクセスするように配置できるように、テーブルの脚部に整列されてもよい。テーブルの脚部から、ロボットアーム１２は、尿道を通して患者の下腹部に直接、仮想レール３３に沿って尿管鏡３２を挿入してもよい。

気管支鏡検査におけるのと同様の制御技法を使用して尿道に挿入した後、尿管鏡３２は、診断及び／又は治療用途のために、膀胱、尿管、及び／又は腎臓にナビゲートされてもよい。例えば、尿管鏡３２は、尿管及び腎臓に指向され、尿管鏡３２の作業チャネルの下方に展開されたレーザー又は超音波砕石デバイスを使用して、形成された腎臓結石を破壊することができる。砕石術が完了した後、得られた結石片は、尿管鏡３２の下方に展開されたバスケットを使用して除去されてもよい。

図４は、血管処置のために同様に配置されたロボット制御可能なシステム１０の一実施形態を示す。血管処置において、システム１０は、カート１１が、操縦可能なカテーテルなどの医療器具３４を、患者の脚内の大腿動脈内のアクセスポイントに送達することができるように構成され得る。大腿動脈は、ナビゲーションのためのより大きな直径と、患者の心臓への比較的迂回性及び蛇行性でない経路との両方を呈し、これによりナビゲーションが単純化する。尿管鏡検査処置のように、カート１１は、患者の脚及び下腹部に向かって配置されて、ロボットアーム１２が患者の大腿／腰領域内の大腿動脈アクセスポイントへの直接的な線形アクセスで仮想レール３５を提供することを可能にしてもよい。動脈内への挿入後、器具ドライバ２８を並進させることによって医療器具３４が指向され、挿入されてもよい。代替的には、カート１１は、例えば、肩及び手首付近の頚動脈及び腕動脈などの代替的な血管アクセスポイントに到達するために、患者の上腹部の周囲に配置されてもよい。

Ｂ．ロボットシステム－テーブル
ロボット制御可能な医療システムの実施形態はまた、患者テーブルを組み込んでもよい。テーブルの組み込みは、カートを除去することによって手術室内の資本設備の量を低減し、患者へのより大きなアクセスを可能にする。図５は、気管支鏡検査処置のために配置されたこうしたロボット制御可能なシステムの一実施形態を示す。システム３６は、床の上にプラットフォーム３８（「テーブル」又は「ベッド」として図示）を支持するための支持構造体又はカラム３７を含む。カートベースのシステムと同様に、システム３６のロボットアーム３９のエンドエフェクタは、器具ドライバ４２の線形整列から形成された仮想レール４１を通して、又はそれに沿って、図５の気管支鏡４０などの細長い医療器具を操縦するように設計された器具ドライバ４２を含む。実際には、蛍光透視撮像を提供するためのＣアームは、放射器及び検出器をテーブル３８の周囲に置くことによって、患者の上部腹部領域の上方に配置されてもよい。

図６は、説明を目的として、患者及び医療器具なしのシステム３６の代替的な図を提供する。図示のように、カラム３７は、１つ又は２つ以上のロボットアーム３９のベースとなり得る、システム３６内でリング形状として図示される１つ又は２つ以上のキャリッジ４３を含んでもよい。キャリッジ４３は、カラム３７の長さにわたる垂直方向のカラムインターフェース４４に沿って並進して、ロボットアーム３９が患者に到達するように配置され得る異なるバンテージポイントを提供してもよい。キャリッジ（複数可）４３は、カラム３７内に配置された機械的モータを使用してカラム３７の周りを回転して、ロボットアーム３９が、例えば、患者の両側などのテーブル３８の複数の側面へのアクセスを有することを可能にしてもよい。複数のキャリッジを有する実施形態では、キャリッジはカラム上に個別に配置されてもよく、他のキャリッジとは独立して並進及び／又は回転してもよい。キャリッジ４３はカラム３７を取り囲む必要はなく、又は更には円形である必要はないが、図示されるようなリング形状は、構造的バランスを維持しながらカラム３７の周りでのキャリッジ４３の回転を容易にする。キャリッジ４３の回転及び並進により、システム３６は、内視鏡及び腹腔鏡などの医療器具を患者の異なるアクセスポイントに整列させることができる。その他の実施形態（図示せず）では、システム３６は、並行して延在するバー又はレールの形態の調節可能なアーム支持体を有する患者テーブル又はベッドを含むことができる。１つ又は２つ以上のロボットアーム３９を、（例えば、肘関節を有する肩部を介して）垂直方向に調整することができる調節可能なアーム支持体に取り付けることができる。垂直方向の調節を提供することによって、ロボットアーム３９は、有利なことに、患者テーブル又はベッドの下にコンパクトに収容されることができ、その後、処置中に引き上げられることができる。

ロボットアーム３９は、ロボットアーム３９に追加の構成可能性を提供するために個別に回転及び／又は入れ子式に延在し得る一連の関節を含むアームマウント４５のセットを介してキャリッジ４３に装着されてもよい。加えて、アームマウント４５は、キャリッジ４３が適切に回転されると、アームマウント４５がテーブル３８の同じ側（図６に示すように）、テーブル３８の両側（図９に示すように）、又はテーブル３８の隣接する側部（図示せず）のいずれかに位置付けられ得るように、キャリッジ４３上に位置付けられ得る。

カラム３７は、テーブル３８の支持及びキャリッジ４３の垂直方向の並進のための経路を構造的に提供する。内部に、カラム３７は、キャリッジ４３の垂直方向の並進を案内するための主ねじ、及び主ねじに基づくキャリッジ４３の並進を機械化するためのモータを備えていてもよい。カラム３７はまた、キャリッジ４３及びその上に装着されたロボットアーム３９に電力及び制御信号を伝達してもよい。

テーブル基部４６は、図２に示すカート１１のカート基部１５と同様の機能を果たし、テーブル／ベッド３８、カラム３７、キャリッジ４３、及びロボットアーム３９の釣り合いをとるためにより重い構成要素を収容する。テーブル基部４６はまた、処置中に安定性を提供するために剛性キャスターを組み込んでもよい。テーブル基部４６の底部から展開され、キャスターは、基部４６の両側で反対方向に延在し、システム３６を移動させる必要があるときに後退してもよい。

引き続き図６を参照すると、システム３６はまた、テーブルとタワーとの間でシステム３６の機能を分割して、テーブルのフォームファクタ及びバルクを低減するタワー（図示せず）を含んでもよい。先に開示された実施形態と同様に、タワーは、処理、計算、及び制御能力、電力、流体工学、並びに／又は光学及びセンサ処理などの様々な支持機能をテーブルに提供してもよい。タワーはまた、医師のアクセスを改善し、手術室を整理整頓するために、患者から離れて配置されるように移動可能であってもよい。加えて、タワー内に構成要素を配置することにより、ロボットアーム３９の潜在的な収容のために、テーブル基部４６内により多くの保管空間を可能にする。タワーはまた、キーボード及び／又はペンダントなどのユーザ入力のためのユーザインターフェース、並びにリアルタイム撮像、ナビゲーション、及び追跡情報などの術前及び術中情報のための表示画面（又はタッチスクリーン）の両方を提供するマスターコントローラ又はコンソールを含んでもよい。いくつかの実施形態では、タワーはまた、送気のために使用されるガスタンク用のホルダを含んでもよい。

いくつかの実施形態では、テーブル基部は、使用されていないときにロボットアームを収容して格納してもよい。図７は、テーブルベースのシステムの一実施形態におけるロボットアームを収容するシステム４７を示す。システム４７では、キャリッジ４８は、ロボットアーム５０、アームマウント５１、及びキャリッジ４８を基部４９内に収容するために、基部４９内へと垂直方向に並進されてもよい。基部カバー５２は、並進及び後退して、キャリッジ４８、アームマウント５１、及びロボットアーム５０をカラム５３の周りに展開させるように開き、使用されていないときにそれらを収容して保護するように閉じられてもよい。基部カバー５２は、閉じたときに汚れ及び流体の侵入を防止するために、その開口部の縁部に沿って膜５４で封止されてもよい。

図８は、尿管鏡検査処置のために構成されたロボット制御可能なテーブルベースのシステムの一実施形態を示す。尿管鏡検査では、テーブル３８は、患者をカラム３７及びテーブル基部４６からオフアングルに配置するためのスイベル部分５５を含んでもよい。スイベル部分５５は、スイベル部分５５の底部をカラム３７から離すように配置するために、旋回点（例えば、患者の頭部の下に位置）を中心に回転又は旋回してもよい。例えば、スイベル部分５５の旋回により、Ｃアーム（図示せず）が、テーブル３８の下のカラム（図示せず）と空間を奪い合うことなく、患者の下部腹部の上方に配置されることを可能にする。カラム３７の周りにキャリッジ３５（図示せず）を回転させることにより、ロボットアーム３９は、尿道に到達するように、仮想レール５７に沿って、患者の鼠径部領域に直接尿管鏡５６を挿入してもよい。尿管鏡検査では、処置中に患者の脚の位置を支持し、患者の鼠径部領域への明確なアクセスを可能にするために、テーブル３８のスイベル部分５５にあぶみ５８が固定されてもよい。

腹腔鏡検査処置では、患者の腹壁内の小さな切開部（複数可）を通して、低侵襲性器具を患者の解剖学的構造に挿入してもよい。いくつかの実施形態では、低侵襲性器具は、患者内の解剖学的構造にアクセスするために使用されるシャフトなどの細長い剛性部材を含む。患者の腹腔の膨張後、器具は、把持、切断、アブレーション、縫合などの外科的又は医療的タスクを実施するように方向付けられてもよい。いくつかの実施形態では、器具は、腹腔鏡などのスコープを備えることができる。図９は、腹腔鏡検査処置のために構成されたロボット制御可能なテーブルベースのシステムの一実施形態を示す。図示のように、システム３６のキャリッジ４３は回転し、垂直方向に調整されて、器具５９が患者の両側の最小切開部を通過して患者の腹腔に到達するようにアームマウント４５を使用して配置され得るように、ロボットアーム３９の対をテーブル３８の両側に配置してもよい。

腹腔鏡検査処置に対応するために、ロボット制御可能なテーブルシステムはまた、プラットフォームを所望の角度に傾斜させてもよい。図１０は、ピッチ又は傾斜調整を有するロボット制御可能な医療システムの実施形態を示す。図１０に示すように、システム３６は、テーブル３８の傾斜に適応して、テーブルの一方の部分を他方の部分より床から離れた距離に配置することができる。加えて、アームマウント４５は、ロボットアーム３９がテーブル３８と同じ平面関係を維持するように、傾斜に一致するように回転してもよい。急角度に適応するために、カラム３７はまた、テーブル３８が床に接触するか又はテーブル基部４６と衝突するのを防ぐためにカラム３７が垂直方向に延びるのを可能にする入れ子部分６０を含んでもよい。

図１１は、テーブル３８とカラム３７との間のインターフェースの詳細な図示を提供する。ピッチ回転機構６１は、カラム３７に対するテーブル３８のピッチ角を複数の自由度で変更するように構成されてもよい。ピッチ回転機構６１は、カラム－テーブルインターフェースでの直交軸１、２の配置によって可能にされてもよく、各軸は、電気ピッチ角コマンドに応答して別個のモータ３、４によって作動される。一方のねじ５に沿った回転は、一方の軸１における傾斜調整を可能にし、他方のねじ６に沿った回転は、他方の軸２に沿った傾斜調整を可能にする。いくつかの実施形態では、カラム３７に対するテーブル３８のピッチ角を複数の自由度で変更するために、玉継ぎ手が用いられてもよい。

例えば、ピッチ調整は、テーブルをトレンデレンブルグ体位に配置しようとするときに、すなわち下腹部手術のために患者の上腹部よりも床からより高い位置に患者の下腹部を位置させようとするときに、特に有用である。トレンデレンブルグ体位は、重力によって患者の内臓を患者の上腹部に向かってスライドさせ、低侵襲性ツールが入って腹腔鏡前立腺切除術などの下腹部の外科又は医療処置を実施するために、腹腔を空にする。

Ｃ．器具ドライバ及びインターフェース
システムのロボットアームのエンドエフェクタは、（ｉ）医療器具を作動させるための電気機械的手段を組み込む器具ドライバ（代替的には、「器具駆動機構」又は「器具デバイスマニピュレータ」と呼ばれる）と、（ｉｉ）モータなどの任意の電気機械的構成要素を欠いていてもよい除去可能な又は取り外し可能な医療器具と、を含み得る。この二分法は、医療処置に使用される医療器具を滅菌する必要性、それらの複雑な機械的アセンブリ及び敏感な電子機器により、高価な資本設備を十分に滅菌することができないことに牽引され得る。したがって、医療器具は、医師又は医師のスタッフによる個々の滅菌又は廃棄のために、器具ドライバ（したがってそのシステム）から取り外し、除去、及び交換されるように設計され得る。対照的に、器具ドライバは交換又は滅菌される必要がなく、保護のために掛け布がされ得る。

図１２は、例示的な器具ドライバを示す。ロボットアームの遠位端に配置される器具ドライバ６２は、駆動シャフト６４を介して医療器具に制御トルクを提供するために平行軸を伴って配置された１つ又は２つ以上の駆動ユニット６３を含む。各駆動ユニット６３は、器具と相互作用するための個々の駆動シャフト６４と、モータシャフトの回転を所望のトルクに変換するためのギヤヘッド６５と、駆動トルクを生成するためのモータ６６と、モータシャフトの速度を測定し、制御回路にフィードバックを提供するエンコーダ６７と、制御信号を受信し、駆動ユニットを作動させるための制御回路６８と、を含む。各駆動ユニット６３は独立して制御及び電動化されてもよく、器具ドライバ６２は、複数（例えば図１３及び図１４に示すように４つなど）の独立した駆動出力を医療器具に提供することができる。動作中、制御回路６８は、制御信号を受信し、モータ６６にモータ信号を送信し、エンコーダ６７によって測定された得られたモータ速度を所望の速度と比較し、モータ信号を変調して所望のトルクを生成する。

無菌環境を必要とする処置のために、ロボットシステムは、器具ドライバと医療器具との間に位置する、無菌ドレープに接続された無菌アダプタなどの駆動インターフェースを組み込んでもよい。無菌アダプタの主な目的は、器具ドライバの駆動シャフトから器具の駆動入力に角度運動を伝達する一方で、駆動シャフトと駆動入力との間の物理的分離、したがって無菌性を維持することである。したがって、例示的な無菌アダプタは、器具ドライバの駆動シャフトと嵌合されることが意図された一連の回転入力部及び出力部と、器具に対する駆動入力部とを含み得る。無菌アダプタに接続されて、無菌ドレープは、透明又は半透明プラスチックなどの薄い可撓性材料で構成され、器具ドライバ、ロボットアーム、及び（カートベースのシステムにおける）カート又は（テーブルベースのシステムにおける）テーブルなどの資本設備を覆うように設計される。ドレープの使用により、滅菌を必要としない領域（すなわち、非滅菌野）に依然として位置している間に、資本設備を患者に近接して配置することが可能となる。滅菌ドレープの反対側では、医療器具は、滅菌（すなわち、滅菌野）を必要とする領域において患者とインターフェースしてもよい。

Ｄ．医療器具
図１３は、ペアの器具ドライバを備えた例示的な医療器具を示す。ロボットシステムと共に使用するために設計された他の器具と同様に、医療器具７０は、細長いシャフト７１（又は細長い本体）及び器具基部７２を含む。医師による手動相互作用が意図されているその設計により「器具ハンドル」とも呼ばれる器具基部７２は、概して、ロボットアーム７６の遠位端において器具ドライバ７５上の駆動インターフェースを通って延在する駆動出力部７４と嵌合するように設計された、回転可能な駆動入力部７３、例えば、レセプタクル、プーリ、又はスプールを含んでもよい。物理的に接続、ラッチ、及び／又は結合されるときに、器具基部７２の嵌合された駆動入力部７３は、器具ドライバ７５における駆動出力部７４と回転軸線を共有して、駆動出力部７４から駆動入力部７３へのトルクの伝達を可能とすることができる。いくつかの実施形態では、駆動出力部７４は、駆動入力部７３上のレセプタクルと嵌合するように設計されたスプラインを含んでもよい。

細長いシャフト７１は、例えば、内視鏡におけるような解剖学的開口部若しくは管腔、又は腹腔鏡検査におけるような低侵襲性切開部のいずれかを通して送達されるように設計されている。細長いシャフト７１は、可撓性（例えば、内視鏡と同様の特性を有する）若しくは剛性（例えば、腹腔鏡と同様の特性を有する）のいずれかであってもよく、又は可撓性部分及び剛性部分の両方のカスタマイズされた組み合わせを含んでもよい。腹腔鏡検査のために設計される場合、剛性の細長いシャフトの遠位端は、少なくとも１つの自由度を有するクレビスから形成された接合された手首から延在するエンドエフェクタ、及び駆動入力部が器具ドライバ７５の駆動出力部７４から受け取ったトルクに応答して回転する際に、腱からの力に基づいて作動され得る、例えば、把持具又ははさみなどの手術ツール又は医療器具に接続され得る。内視鏡検査のために設計される場合、可撓性の細長いシャフトの遠位端は、器具ドライバ７５の駆動出力部７４から受信したトルクに基づいて関節運動及び屈曲され得る操縦可能又は制御可能な屈曲部を含んでもよい。

器具ドライバ７５からのトルクは、細長いシャフト７１に沿った腱を使用して細長いシャフト７１の下流に伝達される。プルワイヤなどのこれらの個々の腱は、器具ハンドル７２内の個々の駆動入力部７３に個別に固定されてもよい。ハンドル７２から、腱は、細長いシャフト７１に沿って１つ又は２つ以上のプルルーメン（pull lumen）を下方に誘導され、細長いシャフト７１の遠位部分、又は細長いシャフト７１の遠位部分の手首内に固定される。腹腔鏡、内視鏡、又はハイブリッド処置などの外科処置中、これらの腱は、手首、把持具、又ははさみなどの遠位に取り付けられたエンドエフェクタに連結されてもよい。このような構成の下で、駆動入力部７３に及ぼされるトルクは、腱に張力を伝達し、それによってエンドエフェクタを何らかの方法で作動させる。腹腔鏡検査では、腱は、関節を軸周りに回転させることができ、それによってエンドエフェクタをいずれかの方向に移動させる。あるいは、腱は、細長いシャフト７１の遠位端で把持具の１つ又は２つ以上のジョーに接続されてもよく、腱からの張力によって把持具が閉鎖される。

内視鏡検査では、腱は、接着剤、制御リング、又は他の機械的固定を介して、細長いシャフト７１に沿って（例えば、遠位端に）配置された屈曲部又は関節運動部に結合されてもよい。屈曲部の遠位端に固定的に取り付けられる場合、駆動入力部７３に及ぼされるトルクは、腱の下流に伝達され、より軟質の屈曲部（関節運動可能部又は領域と呼ばれることがある）を屈曲又は関節運動させる。非屈曲部分に沿って、個々の腱を内視鏡シャフトの壁に沿って（又は内側に）指向する個々のプルルーメンをねじ状又は渦巻状にして、プルワイヤにおける張力からもたらされる半径方向の力の釣り合いをとることが有利であり得る。これらの間のねじ及び／又は間隔の角度は、特定の目的のために変更又は設計されてもよく、より狭いねじは負荷力下でより小さいシャフト圧縮を呈する一方で、より少ない量のねじは負荷力下でより大きなシャフト圧縮をもたらすが、屈曲をより制限する。スペクトルのもう一方の端部では、プルルーメンは、細長いシャフト７１の長手方向軸に平行に指向されて、所望の屈曲部又は関節運動可能部における制御された関節運動を可能にしてもよい。

内視鏡検査では、細長いシャフト７１は、ロボット処置を支援するいくつかの構成要素を収容する。シャフト７１は、シャフト７１の遠位端における手術領域に対して手術ツール（又は医療器具）を展開する、灌注する、及び／又は吸引するための作業チャネルを含んでもよい。シャフト７１はまた、光学カメラを含んでもよい遠位先端部の光学アセンブリとの間で信号の授受を行うために、ワイヤ及び／又は光ファイバを収容してもよい。シャフト７１はまた、発光ダイオードなどの近位に位置する光源からシャフト７１の遠位端に光を搬送するための光ファイバを収容してもよい。

器具７０の遠位端では、遠位先端部はまた、診断及び／又は治療、灌注、及び吸引のためにツールを手術部位に送達するための作業チャネルの開口を含んでもよい。遠位先端部はまた、内部解剖学的空間の画像を捕捉するために、繊維スコープ又はデジタルカメラなどのカメラのためのポートを含んでもよい。関連して、遠位先端部はまた、カメラを使用するときに解剖学的空間を照明するための光源用のポートを含んでもよい。

図１３の例では、駆動シャフト軸、したがって駆動入力軸は、細長いシャフト７１の軸に直交する。しかしながら、この配置は、細長いシャフト７１のロール能力を複雑にする。駆動入力部７３を静止させながら、細長いシャフト７１をその軸に沿ってロールさせることにより、腱が駆動入力部７３から延出し、細長いシャフト７１内のプルルーメンに入る際に、腱の望ましくない絡まりをもたらす。結果として生じるそのような腱の絡まりは、内視鏡検査処置中に可撓性の細長いシャフト７１の移動を予測することが意図される任意の制御アルゴリズムを妨害することがある。

図１４は、駆動ユニットの軸が器具の細長いシャフトの軸に対して平行である、器具ドライバ及び器具の代替的な設計を示す。図示のように、円形の器具ドライバ８０は、ロボットアーム８２の端部において平行に整列された駆動出力部８１を備えた４つの駆動ユニットを含む。駆動ユニット及びそれらのそれぞれの駆動出力部８１は、アセンブリ８３内の駆動ユニットのうちの１つによって駆動される器具ドライバ８０の回転アセンブリ８３内に収容される。回転駆動ユニットによって提供されるトルクに応答して、回転アセンブリ８３は、回転アセンブリ８３を器具ドライバ８０の非回転部分８４に接続する円形ベアリングに沿って回転する。電力及び制御信号は、ブラシ付きスリップリング接続（図示せず）による回転を通して維持され得る電気接点を介して、器具ドライバ８０の非回転部分８４から回転アセンブリ８３に伝達されてもよい。他の実施形態では、回転アセンブリ８３は、非回転可能部分８４に一体化され、したがって他の駆動ユニットと平行ではない別個の駆動ユニットに応答してもよい。回転機構８３は、器具ドライバ８０が、器具ドライバ軸８５周りの単一ユニットとして、駆動ユニット及びそれらのそれぞれの駆動出力部８１を回転させることを可能にする。

先に開示した実施形態と同様に、器具８６は、細長いシャフト部分８８と、器具ドライバ８０内の駆動出力部８１を受容するように構成された複数の駆動入力部８９（レセプタクル、プーリ、及びスプールなど）を含む器具基部８７（説明目的のために透明な外部スキンで示される）とを含んでもよい。先の開示された実施形態とは異なり、器具シャフト８８は、器具基部８７の中心から延在し、軸は、図１３の設計にあるように直交するのではなく、駆動入力部８９の軸に実質的に平行である。

器具ドライバ８０の回転アセンブリ８３に結合されると、器具基部８７及び器具シャフト８８を含む医療器具８６は、器具ドライバ軸８５を中心にして回転アセンブリ８３と一緒に回転する。器具シャフト８８は器具基部８７の中心に配置されているため、器具シャフト８８は、取り付けられたときに器具ドライバ軸８５と同軸である。したがって、回転アセンブリ８３の回転により、器具シャフト８８は、それ自体の長手方向軸を中心に回転する。更に、器具基部８７が器具シャフト８８と共に回転すると、器具基部８７内の駆動入力部８９に接続された任意の腱は、回転中に絡まらない。したがって、駆動出力部８１、駆動入力部８９、及び器具シャフト８８の軸の平行性は、任意の制御腱を絡めることなくシャフト回転を可能にする。

Ｅ．ナビゲーション及び制御
従来の内視鏡検査は、操作者である医師に腔内誘導を提供するために、蛍光透視法（例えば、Ｃアームを通して送達され得るような）、及び他の形態の放射線ベースの撮像モダリティの使用を伴うことがある。対照的に、本開示によって企図されるロボットシステムは、放射線への医師の曝露を低減し、手術室内の機器の量を低減するために、非放射線ベースのナビゲーション及び位置特定手段を提供することができる。本明細書で使用するとき、用語「位置特定」は、基準座標系内のオブジェクトの位置を判定及び／又は監視することを指すことがある。術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータなどの技術は、放射線を含まない動作環境を達成するために個別に又は組み合わせて使用されてもよい。放射線ベースの撮像モダリティが依然として使用されるその他の場合、術前マッピング、コンピュータビジョン、リアルタイムＥＭ追跡、及びロボットコマンドデータは、放射線ベースの撮像モダリティによってのみ取得される情報を改善するために、個別に又は組み合わせて使用されてもよい。

図１５は、例示的な実施形態による、器具の位置など、ロボットシステムの１つ又は２つ以上の要素の位置を推定する位置特定システム９０を示すブロック図である。位置特定システム９０は、１つ又は２つ以上の命令を実行するように構成されている１つ又は２つ以上のコンピュータデバイスのセットであってもよい。コンピュータデバイスは、上述の１つ又は２つ以上の構成要素内のプロセッサ（又は複数のプロセッサ）及びコンピュータ可読メモリによって具現化されてもよい。例として、限定するものではないが、コンピュータデバイスは、図１に示されるタワー３０、図１～図４に示されるカート１１、図５～図１０に示されるベッドなどの形態であってよい。

図１５に示すように、位置特定システム９０は、入力データ９１～９４を処理して医療器具の遠位先端部の位置データ９６を生成する位置特定モジュール９５を含んでもよい。位置データ９６は、基準系に対する器具の遠位端の位置及び／又は向きを表すデータ又は論理であってもよい。基準系は、患者の解剖学的構造、又はＥＭ場発生器（ＥＭ場発生器についての以下の説明を参照）などの既知の物体に対する基準系とすることができる。

ここで、様々な入力データ９１～９４についてより詳細に説明する。術前マッピングは、低用量コンピュータ断層撮影（ＣＴ）スキャンの収集を利用して達成され得る。術前ＣＴスキャンは、例えば、患者の内部解剖学的構造の断面図の「スライス」として可視化される３次元画像へと再構成される。全体として分析される場合、患者の肺網などの患者の解剖学的構造の解剖学的空腔、空間、及び構造のための画像ベースのモデルが生成され得る。中心線幾何学形状（center-line geometry）などの技法を判定し、ＣＴ画像から概算して、モデルデータ９１と称される（術前ＣＴスキャンのみを用いて生成した場合は「術前モデルデータ」とも称される）患者の解剖学的構造の３次元体積を生成することができる。いくつかの実施形態では、術前モデルデータ９１は、例えば、蛍光透視法、磁気共鳴撮像法（magnetic resonance imaging、ＭＲＩ）、超音波撮像、及び／又はＸ線からのデータを含んでもよい。中心線幾何学形状の使用は、米国特許出願第１４／５２３，７６０号で述べられており、その内容物は、その全体が本明細書に組み込まれる。ネットワーク位相モデルもまた、ＣＴ画像から導出されてもよく、気管支鏡検査に特に適している。

いくつかの実施形態では、器具はカメラを装備して、視覚データ（又は画像データ）９２を提供してもよい。位置特定モジュール９５は、視覚データ９２を処理して、１つ又は２つ以上の視覚ベースの（又は画像ベースの）位置追跡モジュール又は機能を有効にしてもよい。例えば、術前モデルデータ９１は、医療器具（例えば、内視鏡又は内視鏡の作業チャネルを通って前進する器具）のコンピュータビジョンベースの追跡を可能にするために、視覚データ９２と共に使用されてもよい。例えば、術前モデルデータ９１を使用して、ロボットシステムは、内視鏡の予想される移動経路に基づいてモデルから予測される内視鏡画像のライブラリを生成することができ、各画像はモデル内の位置にリンクされる。手術中に、このライブラリは、カメラ（例えば、内視鏡の遠位端でのカメラ）で捕捉されたリアルタイム画像を画像ライブラリ内のものと比較して、位置特定を支援するために、ロボットシステムによって参照され得る。

他のコンピュータビジョンベースの追跡技法は、カメラの動き、したがって内視鏡を判定するための特徴追跡を使用する。位置特定モジュール９５のいくつかの特徴は、解剖学的管腔に対応する術前モデルデータ９１内の円形幾何学形状を特定し、それらの幾何学的形状の変化を追跡して、どの解剖学的管腔が選択されたか、並びにカメラの相対的な回転及び／又は並進運動を判定することができる。位相マップの使用は、視覚ベースのアルゴリズム又は技法を更に向上させることがある。

光学フロー、別のコンピュータビジョンベースの技法は、カメラの動きを推測するために、視覚データ９２内のビデオシーケンス内の画像ピクセルの変位及び並進を分析してもよい。光学フロー技術の例としては、動き検出、オブジェクトセグメンテーション計算、輝度、動き補償符号化、立体視差測定などを挙げることができる。複数の反復にわたり複数のフレームを比較することにより、カメラ（及びしたがって内視鏡）の移動及び位置を決定することができる。

位置特定モジュール９５は、リアルタイムＥＭ追跡を使用して、術前モデルによって表される患者の解剖学的構造に位置合わせされ得るグローバル座標系内で内視鏡のリアルタイム位置を生成し得る。ＥＭ追跡では、医療器具（例えば、内視鏡器具）内の１つ又は２つ以上の位置及び向きに埋め込まれた１つ又は２つ以上のセンサコイルを含むＥＭセンサ（又はトラッカー）は、既知の位置に配置された１つ又は２つ以上の静的ＥＭ場発生器によって生成されるＥＭ場の変動を測定する。ＥＭセンサによって検出された位置情報は、ＥＭデータ９３として記憶される。ＥＭ場発生器（又は送信機）は、埋め込まれたセンサが検出し得る低強度磁場を生成するために、患者に近接して配置され得る。磁場はＥＭセンサのセンサコイル内に小さな電流を誘導し、ＥＭセンサとＥＭ場発生器との間の距離及び角度を判定するためにこの電流が分析され得る。これらの距離及び向きは、患者の解剖学的構造の術前モデル内の位置と座標系内の単一の位置を位置合わせする幾何学的変換を判定するために、患者の解剖学的構造（例えば、術前モデル）に術中「登録」され得る。一旦登録されると、医療器具の１つ又は２つ以上の位置（例えば、内視鏡の遠位先端部）に埋め込まれたＥＭトラッカーは、患者の解剖学的構造を通じた医療器具の進行のリアルタイム表示を提供し得る。

ロボットコマンド及び運動学データ９４はまた、ロボットシステムのための位置特定データ９６を提供するために、位置特定モジュール９５によって使用されてもよい。関節運動コマンドから生じるデバイスピッチ及びヨーは、術前較正中に判定され得る。術中、これらの較正測定値は、既知の挿入深度情報と組み合わせて使用されて、器具の位置を推定し得る。あるいは、これらの計算は、ネットワーク内の医療器具の位置を推定するために、ＥＭ、視覚、及び／又は位相モデリングと組み合わせて分析され得る。

図１５が示すように、いくつかの他の入力データが位置特定モジュール９５によって使用され得る。例えば、図１５には示されていないが、形状検知繊維を利用する器具は、位置特定モジュール９５が器具の位置及び形状を判定するために使用することができる形状データを提供することができる。

位置特定モジュール９５は、入力データ９１～９４を組み合わせて（複数可）使用し得る。場合によっては、このような組み合わせは、位置特定モジュール９５が入力データ９１～９４の各々から判定された位置に信頼重みを割り当てる確率的アプローチを使用し得る。したがって、ＥＭデータが信頼できるとは言えないことがある場合（ＥＭ干渉が存在する場合など）、ＥＭデータ９３によって判定された位置の信頼性を低下させることができ、位置特定モジュール９５は、視覚データ９２並びに／又はロボットコマンド及び運動学データ９４により重く依存してもよい。

上述のように、本明細書で論じられるロボットシステムは、上記の技術のうちの１つ又は２つ以上の組み合わせを組み込むように設計され得る。タワー、ベッド、及び／又はカートに基づいて、ロボットシステムのコンピュータベースの制御システムは、例えば、永続的な磁気記憶ドライブ、ソリッドステートドライブなどの非一時的コンピュータ可読記憶媒体内に、コンピュータプログラム命令を記憶してもよく、コンピュータプログラム命令は、実行されると、システムに、センサデータ及びユーザコマンドを受信及び分析させ、システム全体の制御信号を生成させ、グローバル座標系内の器具の位置、解剖学的マップなどのナビゲーション及び位置特定データを表示させる。

ＩＩ．管腔ネットワークのナビゲーション
上述の様々なロボットシステムを使用して、内視鏡処置及び腹腔鏡検査処置などの様々な医療処置を行うことができる。いくつかの処置では、ロボット制御式の医療器具などの医療器具が患者の体内に挿入される。患者の体内で、器具を患者の管腔ネットワーク内に配置することができる。本明細書で使用するとき、用語「管腔ネットワーク」は、（例えば肺などにおける複数の分枝管腔又は血管などの）複数の管腔又は枝あるいは（例えば消化管内などの）単一の管腔又は枝のいずれを含むのかに関わらず、体内の任意の空洞構造を指す。処置中、器具は、管腔ネットワークを通って１つ以上の対象領域に移動（例えば、ナビゲート、誘導、駆動など）されてもよい。システムを通る器具の移動は、ロボットシステムを制御する医師に器具に関する位置情報を提供することができる上述のナビゲーション又は位置特定システム９０によって支援されてもよい。

図１６は、患者の例示的な管腔ネットワーク１３０を示す。図示の実施形態では、管腔ネットワーク１３０は、患者の肺の気道１５０の気管支網（すなわち、管腔、枝）である。図示の管腔ネットワーク１３０は、患者の肺内の気道の気管支網であるが、本開示は、図示の例のみに限定されない。本明細書に記載のロボットシステム及び方法は、気管支網、腎臓網、心血管網（例えば、動脈及び静脈）、消化管、尿路などの任意の種類の管腔ネットワークをナビゲートするために使用され得る。

図示のように、管腔ネットワーク１３０は、分枝構造に配置された複数の気道１５０を備える。一般に、管腔ネットワーク１３０は、三次元構造を含む。説明を容易にするために、図１６は、管腔ネットワーク１３０を二次元構造として表す。これは、本開示を二次元管腔ネットワークに限定するものと解釈されるべきではない。

図１６は、管腔ネットワーク１３０内に配置された医療器具の一例も示す。医療器具は、診断及び／又は治療のために、管腔ネットワーク１３０を通って対象領域（例えば、小結節１５５）に向かってナビゲートされる。図示の例では、小結節１５５は気道１５０の周辺に位置しているが、対象領域は、患者及び処置に応じて、管腔ネットワーク１３０内のどの場所にも位置し得る。

図示の例では、医療器具は内視鏡１１５を備えている。内視鏡１１５は、シース１２０及びリーダー１４５を含むことができる。いくつかの実施形態では、シース１２０及びリーダー１４５は、入れ子式に配置されてもよい。例えば、リーダー１４５は、シース１２０の作業チャネルの内側に摺動可能に配置されてもよい。シース１２０は第１の直径を有し得、その遠位端は、小結節１５５周辺のより小さな直径の気道１５０を通して配置できない場合がある。したがって、リーダー１４５は、シース１２０の作業チャネルから、小結節１５５までの残りの距離だけ延伸するように構成されてもよい。リーダー１４５は、器具、例えば生検針、細胞ブラシ、及び／又は組織サンプリング鉗子を小結節１５５の標的組織部位まで通すことができる管腔を有することができる。そのような実施態様では、シース１２０の遠位端及びリーダー１４５の遠位端のどちらにも、気道１５０内のそれらのそれぞれの位置を追跡するためのＥＭ器具センサ（例えば図１８のＥＭ器具センサ３０５など）が設けられ得る。シース１２０及びリーダー１４５のこの入れ子式構成は、内視鏡１１５をより薄く設計することを可能にし、シース１２０を介して構造を支持しながら内視鏡１１５の曲げ半径を改善することができる。

他の実施形態では、内視鏡１１５の全体の直径は、入れ子式構成でなくても周辺部に到達できる程度に十分に小さいか、又は、（例えば、約２．５～３ｃｍ以内など）周辺に接近して、操縦不可能なカテーテルを通して医療器具を展開できる程度に十分に小さくてもよい。内視鏡１１５を通して展開される医療器具に、ＥＭ器具センサ（例えば、図１８のＥＭ器具センサ３０５）を設けてもよく、また、以下に説明する画像ベースの気道分析及びマッピング技術を、このような医療器具に適用してもよい。

図示のように、小結節１５５に到達するためには、器具（例えば、内視鏡１１５）は、管腔ネットワークの気道１５０を通ってナビゲート又は誘導されなければならない。操作者（医師など）は、ロボットシステムを制御して、器具を小結節１５５にナビゲートすることができる。操作者は、ロボットシステムを制御するための入力を提供することができる。

図１７は、本明細書に記載のロボットシステムのいくつかの実施態様と共に使用することができる例示的なコマンドコンソール２００を示す。操作者は、例えば、ロボットシステムを制御するための入力を提供して、コマンドコンソール２００を介して小結節１５５などの対象領域に器具をナビゲート又は案内することができる。コマンドコンソール２００は、多種多様な配置又は構成で具現化することができる。図示の例では、コマンドコンソール２００は、コンソール基部２０１、ディスプレイ２０２（例えばモニタ）及び１つ以上の制御モジュール（例えば、キーボード２０３及びジョイスティック２０４）を含む。ユーザ２０５（例えば、医師又は他の操作者）は、コマンドコンソール２００を使用して、人間工学的位置から医療用ロボットシステム（例えば、図１～図１５を参照して説明したシステム）を遠隔制御することができる。

ディスプレイ２０２としては、電子モニタ（例えば、液晶ディスプレイ、ＬＥＤディスプレイ、タッチセンシティブディスプレイ）、仮想現実視覚デバイス（例えばゴーグル若しくは眼鏡）、及び／又は他のディスプレイデバイスが挙げられ得る。いくつかの実施形態では、ディスプレイ２０２のうちの１つ以上は、例えば、位置特定システム９０（図１５）によって決定された、器具に関する位置情報を表示する。いくつかの実施形態では、ディスプレイ２０２のうちの１つ以上は、患者の管腔ネットワーク１３０の術前モデルを表示する。位置情報は、術前モデルに重ね合わせることができる。ディスプレイ２０２はまた、管腔ネットワーク１３０内の器具上に配置されたカメラ又は別の感知デバイスから受信した画像情報を表示することもできる。いくつかの実施形態では、器具のモデル又は表現が術前モデルと共に表示されて、外科処置又は医療処置の状態を示す助けとなる。

いくつかの実施形態では、コンソール基部２０１は、中央処理ユニット（例えば、ＣＰＵ又はプロセッサ）と、メモリユニット（例えば、コンピュータ可読メモリ）と、データバスと、例えば、患者の管腔ネットワーク内に配置された医療器具から、カメラ画像及び追跡センサデータなどの信号を解釈及び処理する役割を担う関連データ通信ポートと、を含む。

コンソール基部２０１はまた、ユーザ２０５によって制御モジュール２０３、２０４を通じて提供されるコマンド及び命令を処理してもよい。図１７に示されるキーボード２０３及びジョイスティック２０４に加えて、制御モジュールは、コンピュータマウス、トラックパッド、トラックボール、制御パッド、ハンドヘルドリモートコントローラなどのコントローラ、並びにハンドジェスチャ及び指ジェスチャを捕捉するセンサ（例えば、モーションセンサ又はカメラ）などの他のデバイスを含み得る。コントローラは、器具の動作（例えば、関節運動、駆動、灌水など）にマッピングされた一組のユーザ入力（例えば、ボタン、ジョイスティック、方向パッドなど）を含むことができる。コマンドコンソール２００の制御モジュール２０３、２０４を使用して、ユーザ２０５は、管腔ネットワーク１３０を通して器具をナビゲートすることができる。

図１８は、例示的な医療器具３００の遠位端の詳細図である。医療器具３００は、図１６の内視鏡１１５又は操縦可能なカテーテル１４５を表してもよい。医療器具３００は、図１の内視鏡１３、図３の尿管鏡３２、図９の腹腔鏡５９などの、本開示全体を通して説明される任意の医療器具を表してもよい。図１８では、器具３００の遠位端は、撮像デバイス３１５、照明源３１０及び、ＥＭ計器センサを形成するＥＭセンサコイル３０５の端部を含む。遠位端は、器具３００の作業チャネル３２０への開口部を更に含み、この開口部を通して、生検針、細胞学的ブラシ、鉗子などの外科用器具が器具シャフトに沿って挿入され、器具先端付近の領域へのアクセスを可能にしてもよい。

器具３００の遠位端上に配置されたＥＭコイル３０５をＥＭ追跡システムと共に使用して、管腔ネットワーク内に配置されている間の器具３００の遠位端の位置及び配向を検出してもよい。いくつかの実施形態では、コイル３０５は、異なる軸に沿ったＥＭ場に対する感度を提供するように角度を付けられ、開示されたナビゲーションシステムに、６つの自由度（degrees of freedom、ＤｏＦ）、すなわち３つの位置ＤｏＦ及び３つの角度ＤｏＦの全てを測定する能力を与えることができる。他の実施形態では、単一のコイル３０５のみが遠位端の上又は中に配置され、その軸が器具のシャフトに沿って配向されてもよい。そのようなシステムの回転対称性のために、軸を中心とした回転は感知できない場合があり、そのような実施態様においては、５つの自由度だけが検出されてもよい。代替的に又は追加的に、他の種類の位置センサを使用してもよい。

照明源３１０は、解剖学的空間の一部を照明するための光を提供する。照明源３１０は、それぞれ、選択された波長又は波長範囲の光を放射するように構成された１つ以上の発光デバイスであり得る。波長は、２～３例を挙げると、例えば、可視スペクトル光、赤外光、（例えば蛍光透視法用の）Ｘ線などの任意の好適な波長であってもよい。いくつかの実施形態では、照明源３１０は、器具３００の遠位端に配置された発光ダイオード（ＬＥＤ）を含むことができる。いくつかの実施形態では、照明源３１０は、内視鏡の長さを通って延在し、例えばＸ線発生器などの遠隔光源からの光を遠位端を通して透過させることができる、１つ以上の光ファイバを含む。遠位端が複数の照明源３１０を含む場合、これらはそれぞれ、互いに同じ又は異なる波長の光を放射するように構成することができる。

撮像デバイス３１５は、受信した光を表すエネルギーを電気信号、例えば、電荷結合素子（charge-coupled device、ＣＣＤ）又は相補型金属酸化膜半導体（complementary metal-oxide semiconductor、ＣＭＯＳ）画像センサに変換するように構成された任意の感光性基板又は構造を含んでもよい。撮像デバイス３１５のいくつかの例は、内視鏡の遠位端３００から内視鏡の近位端付近の接眼レンズ及び／又は画像センサに画像を表す光を送信するように構成された、例えば、光ファイバ束などの１つ以上の光ファイバを含むことができる。撮像デバイス３１５は、様々な光学設計の必要に応じて、１つ以上のレンズ及び／又は波長通過フィルタ若しくは波長遮断フィルタを更に含むことができる。照明源３１０から放射された光は、撮像デバイス３１５が患者の管腔ネットワークの内部の画像を捕捉することを可能にする。これらの画像は次いで、個々のフレーム又は一連の連続するフレーム（例えば、ビデオ）として、コマンドコンソール２００などのコンピュータシステムに送信されてもよい。上述のように、また以下でより詳細に説明するように、撮像デバイス３１５によって捕捉された画像（例えば、図１５の視覚データ９２）は、ナビゲーション又は位置特定システム９５によって、管腔ネットワーク内での器具の位置（例えば、器具３００の遠位先端の位置）を判定又は推定するために利用されてもよい。

ＩＩＩ．画像ベースの気道分析及びマッピング
本開示の実施形態は、画像ベースの気道分析及びマッピングのためのシステム及び技術に関する。本明細書で使用するとき、画像ベースの気道分析は、画像内で、管腔ネットワークの１つ以上の枝に関連付けられた１つ以上の気道を特定することと、その中で画像が捕捉された現在の気道が、検出された「子」気道にどのように分枝しているのかを示す分枝情報を判定することと、を指し得る。例えば、画像ベースの気道分析システムは、管腔ネットワーク内の器具上に配置された撮像デバイスを使用して、管腔ネットワークの内部の画像を捕捉することができ、画像ベースの気道分析システムは、画像を分析して、画像に示される１つ以上の気道を特定することができる。本明細書で使用するとき、画像ベースの気道マッピングは、画像内で特定された気道を、例えば術前モデルデータによって示される管腔ネットワークの対応する気道又は枝にマッピングすることを指し得る。例えば、画像ベースの気道マッピングシステムは、所与の管腔ネットワークのどの気道又は枝が、捕捉された画像内で特定された気道又は枝に対応するのかを識別するように構成され得る。これらのシステム及び技術を使用して、管腔ネットワーク内の器具の位置を判定又は推定することができる。いくつかの実施態様では、これらのシステム及び技術は、（例えば、図１５を参照して上述したように）様々な他のナビゲーション及び位置特定モダリティと共に使用されてもよい。

Ａ．画像ベースの気道分析及びマッピングの概要
管腔ネットワーク内部をナビゲートする能力は、本明細書に記載のロボット制御式の外科用システムの特徴であり得る。本明細書で使用するとき、ナビゲーションは、管腔ネットワーク内の器具の位置を特定又は判定することを指し得る。判定された位置は、器具を管腔ネットワーク内の１つ以上の特定の対象領域に誘導するのを補助するために使用されてもよい。いくつかの実施形態では、ロボット制御式の外科用システムは、器具の術中ナビゲーションを提供するために、１つ以上の独立した感知モダリティを利用する。図１５に示すように、独立した感知モダリティは、位置データ（例えば、ＥＭデータ９３）、視覚データ９２、及び／又はロボットコマンド及び運動学データ９４を提供することができる。これらの独立した感知モダリティは、独立した推定位置を提供するように構成された推定モジュールを含んでもよい。独立した推定結果を、次いで、例えば位置特定モジュール９５を使用して、システムによって使用できる、又はユーザに表示できる１つのナビゲーション出力へと組み合わせてもよい。画像ベースの気道分析及びマッピングは、視覚データ９２に基づいて、独立した推定位置を提供することができる独立した感知モダリティを提供することができる。特に、いくつかの場合には、画像ベースの気道分析及びマッピングは、感知モダリティと、器具の撮像デバイスが管腔ネットワークのどの管腔又は枝に位置しているのかを、撮像デバイスによって捕捉された１つ以上の画像に基づいて推定する状態／位置推定モジュールとの組み合わせを提供する。いくつかの実施形態では、画像ベースの気道分析及びマッピングによって提供される推定結果を、単独で、又は他の推定位置と共に使用して、システムによって使用できる、又はユーザに表示できる最終的な推定位置を求めてもよい。いくつかの実施形態では、本明細書に記載の画像ベースの気道分析及びマッピングシステム及び方法は、複数の感知モダリティを使用して計算された過去の推定位置に基づいてその推定を行うことができる。

図１９は、画像ベースの気道分析及びマッピングのための例示的な方法４００を示す。方法４００は、本明細書に記載の様々なロボット制御式の外科用システムにおいて実施され得る。方法４００は、２つの工程又はブロック、すなわち、画像内の気道を検出すること（ブロック４０２）及び、検出された気道を、（例えば、術前モデルデータによって示される）管腔ネットワークの対応する気道にマッピングすること（ブロック４０４）を含んでもよい。

ブロック４０２で、方法４００は、画像内の１つ以上の気道を検出する。上述のように、医療処置中に、器具が管腔ネットワーク内に配置されてもよい（図１６を参照）。図１８に示すように、器具は、その上に配置された撮像デバイス３１５（カメラなど）を含んでもよい。撮像デバイス３１５は、管腔ネットワークの内部の画像を捕捉してもよい。例えば、特定の瞬間に、撮像デバイス３１５は、器具がその中に現在位置している管腔ネットワークの特定の気道の内部の画像を捕捉してもよい。ブロック４０２で、方法４００は、画像を分析して、画像内の１つ以上の気道を検出してもよい。例えば、画像内で検出された気道は、気道検出条件（例えば、閾値よりも大きいピクセル強度を有するなど）を満たすピクセルのセットであってもよい。検出された気道は、その中で画像が撮像デバイス３１５によって捕捉されている現在の気道及び／又は、現在の気道の１つ以上の子気道（例えば、管腔ネットワークの後続の枝）であってもよい。ブロック４０２は、画像を処理して、画像に示されている気道の数及び位置を判定する画像分析を含んでもよい。いくつかの実施態様では、画像が１つ以上の気道を含むと判定される場合、気道の様々な特徴も判定されてもよい。これらのような特徴が、検出された気道の形状又は輪郭を計算すること、及び／又は、検出された気道の重心を計算することを含んでもよい。

方法４００は、ブロック４０４で、１つ以上の検出された気道を管腔ネットワークの特定の気道にマッピングする。方法４００は、ブロック４０４で、管腔ネットワークのどの気道が管腔ネットワークの他の後続の気道に分枝しているのかを判定する。例えば、システムは、所定の術前モデルデータ（例えば、ＣＴデータ）に基づいて、所与の画像内に捕捉されることが予想される気道を、（例えば撮像デバイス３１５の現在の位置に基づいて）認識することができる。方法４００は、ブロック４０２で画像内の１つ以上の気道を検出すると、術前モデルデータに基づいて、検出された気道を予想される気道にマッピングすることができる。

方法４００は、カメラ画像で検出された気道を、管腔ネットワーク内の対応する予想される気道にマッピングすることによって、器具の推定位置を提供することができる。例えば、システム又は器具は、方法４００を使用して、器具がどの気道を「見ている」のかを特定し、この情報を使用して、管腔ネットワーク内で器具が現在位置している気道、及び器具が入ろうとしている気道を推定することができる。

Ｂ．画像ベースの気道分析
画像ベースの気道分析は、管腔ネットワーク内に配置された器具の撮像デバイス３１５によって捕捉された画像を分析して、画像内の１つ以上の気道を検出することを含んでもよい。図２０は、管腔ネットワークの枝の内部の例示的な画像５００を示す。図示の例では、画像５００は肺の気道の内部画像であるが、画像５００は、任意の種類の管腔ネットワークを表すことができる。２つの後続の気道５０２が画像５００に示されている。気道５０２は、画像が捕捉された現在の気道に接続されている。

画像ベースの気道分析は、コンピュータシステムが気道５０２を計算的に認識することができる方法を含むことができる。いくつかの場合には、画像５００は、（１）管腔ネットワークの壁（例えば、組織）を表すピクセル及び、（２）気道（例えば、気道開口部）を表すピクセルの２つのクラスのピクセルを含む。いくつかの実施形態によれば、画像ベースの気道分析は、これらの２つのクラスのピクセルを体系的に検出して、画像内の気道を特定及び検出することができる。例えば、気道５０２は、ピクセルをピクセル強度に基づいてこれらの２つのクラスに分類することによって検出され得る。ピクセル強度に基づく画像分析及び検出方法は、米国特許出願第１５／７８３，９０３号でより詳細に述べられており、その内容はその全体が本明細書に組み込まれる。

Ｃ．画像ベースの気道マッピング
本明細書に記載の画像ベースの気道マッピング技術を、検出された枝又は気道に管腔ネットワークのどの枝が関連付けられているのかを判定するために使用することができる。すなわち、画像ベースの気道マッピングは、画像が捕捉された現在の枝に管腔ネットワークのどの後続の枝が接続されているのかを判定することができる。検出された気道を管腔ネットワークの枝にマッピングすることによって、管腔ネットワーク内の器具の位置を判定することができる。更に、器具がどの枝に移動するのかの推定又は予測も得ることができる。

いくつかの実施形態では、検出された気道の特徴を管腔ネットワークの枝の特徴と比較することによって、検出された気道を管腔ネットワークの枝にマッピングすることができる。検出された気道の特徴は、上述のような画像分析によって求めることができる。管腔ネットワークの枝の特徴は、例えば管腔ネットワークの術前モデルなどの、管腔ネットワークのモデルから求めることができる。更に、いくつかの実施形態では、管腔ネットワークの枝への検出された気道のマッピングは、管腔ネットワーク内の器具の現在の推定位置に基づいてもよい。現在の推定位置を、図１５を参照して上述したような様々な感知モダリティに基づいて求めてもよい。現在の推定位置に基づいて、検出された気道を管腔ネットワークの枝にマッピングすることにより、マッピングプロセスの効率、速度、及び／又は精度を向上させることができる。例えば、現在の推定位置が与えられると、検出された気道の特徴を、予想される後続の枝の特徴と比較することができる。これにより、マッピングを実行するために必要とされる計算負荷を最小化し、マッピング速度を向上させることができる。

図２１は、管腔ネットワーク１０００の簡略化された表現を示す。管腔ネットワーク１０００は、複数の枝（例えば、管腔、セグメント、気道など）１００２、１００４、１００６、１００８、１０１０、１０１２、１０１４、１０１６を含む。管腔ネットワーク１０００はまた、様々な枝を互いに接続する分枝部１０２０、１０２２及び三叉部１０２４を含む。図２１の例では、枝１００４、１００６は同じ世代であり、枝１００８、１０１０、１０１２、１０１４、１０１６は同じ世代である。いくつかの実施形態では、管腔ネットワーク１０００は、肺の気管支網の一部を表してもよく、枝は気道を表してもよい。本開示の多くの例示的な実施形態は、気管支網内の気道を参照して説明されているが、実施形態はそのようなものとして限定されず、他の種類の管腔ネットワーク内の他の種類の枝にも当てはめられる。

管腔ネットワーク１０００は、モデルによって表されてもよい。いくつかの実施形態では、モデルは術前に決定される。例えば、術前モデルデータ９１（すなわち、術前モデルに関する情報）が記憶され、ナビゲーション及び位置特定システム９０に利用可能にされてもよい（図１５）。他の実施形態では、モデルの少なくとも一部分が術中に決定される。以下に例として説明するように、画像ベースの気道マッピングは、検出された枝を、術前モデルデータ９１に基づいて生成された管腔ネットワーク１０００の枝にマッピングするように構成することができる。

Ｄ．画像ベースの気道検出に関する潜在的な課題
気管支鏡カメラで捕捉された画像に、異なる世代の気道が含まれている場合がある。そのような場合、本明細書に記載の画像ベースの気道検出方法によって検出される気道の数は不正確となり得る。例えば、図２２は、図２１の管腔ネットワーク１０００の枝１００２で捕捉された画像２２００（ａ）（左）及び画像２２００（ｂ）（右）を示す。図２２の例では、画像２２００（ａ）、２２００（ｂ）に気道射影が追加されて、現在のカメラ位置から見えると予想される枝の数及び位置を示している。

画像２２００（ａ）で撮像ベースの気道検出方法を実行した結果、画像２２００（ａ）に示すように、４つの気道が検出された。システムは、このような結果から、現在の気道がこれら４つの検出された枝に分枝していると判定する可能性がある。しかしながら、図２１の階層構造が示すように、そのような判定は不正確である。術前モデルデータ（例えば、図２１に示す管腔ネットワーク１０００の階層構造）は、画像２２００（ａ）が捕捉された枝１００２が、画像２２００（ａ）で検出された４つの枝ではなく２つの枝（すなわち、枝１００４及び枝１００６）に分枝していると予想されることを、（正確に、かつ術前モデルデータと一致する方法で）示す。画像２２００（ａ）は４つの気道を明示しているが、これらの気道のうちで画像２２００（ａ）の右下隅に描かれている３つは、現在の枝１００２の直後の枝１００６（すなわち、現在の枝１００２の「子」）から分枝している、現在の分枝１００２の「孫」（すなわち、枝１０１２、１０１４、１０１６）である。

したがって、いくつかの実施形態では、本開示の気道分析及びマッピングシステム及び方法は、所与の画像に存在する気道の数（すなわち、総数及び／又は位置）を示す術前モデルデータを利用することによって、画像２２００（ｂ）に示すように、正しい気道数を検出することができる。

Ｅ．気道分析
図２３Ａは、例示的な気道分析及びマッピングシステム２３００Ａを示す。図示のように、気道分析及びマッピングシステム２３００Ａは、気道追跡モジュール２３００Ａ－１、気道関連付けモジュール２３００Ａ－２及び、気道マージモジュール２３００Ａ－３を含む。気道分析及びマッピングシステム２３００Ａは、（ｉ）画像データストア２３１０からの画像データ（例えば、撮像デバイスを使用して捕捉された画像）、（ｉｉ）術前モデルデータストア２３２０からのモデルデータ（例えば、蛍光透視データ、ＭＲＩデータ、超音波撮像データ、Ｘ線データなどの術前モデルデータ）、（ｉｉｉ）センサデータストア２３３０からのセンサデータ（例えば、ＥＭデータ、視覚データ、ロボットデータ、形状感知ファイバデータなど）を入力として受信し、気道データ（例えば、特定又はマージされた気道の位置、サイズ及び中心並びに、特定又はマージされた気道と術前モデルデータとの間のマッピングなど）を気道データストア２３４０に出力する。気道追跡モジュール２３００Ａ－１は、画像データの各画像で気道を特定する。気道関連付けモジュール２３００Ａ－２は、現在の画像の気道を過去の画像の気道と関連付ける。気道マージモジュール２３００Ａ－３は、例えば、センサデータ及び術前モデルデータを使用して、２つ以上の気道がマージされるべきか否かを、それらの関係に基づいて判定する。様々な実施形態による気道の特定、関連付け及びマージのプロセスは、図２３Ｂ、図２４及び図２５を参照して、以下でより詳細に説明される。

図２３Ｂは、例示的な実施形態による画像ベースの気道分析がその中で実行される時間的コンテキストを示す。簡略化のために、１つ以上の工程がシステム（例えば、気道分析及びマッピングシステム２３００Ａ）によって実行されるものとして説明されている。

図示のように、一連の画像（すなわち、画像ｔ_０、ｔ_１、．．．）が、患者の管腔ネットワークをナビゲートする医療器具上の撮像デバイスによって捕捉され、異なる時間（例えば、ｔ_０及びｔ_１）で捕捉された画像に対して、気道追跡、気道関連付け及び気道マージが行われる。大まかに言えば、気道追跡、気道関連付け及び気道マージを実行するこのプロセスは、撮像デバイスによって捕捉された画像のストリームを分析して、現在検出されている気道の位置を過去の画像で検出された気道の推定位置と比較し、次いで、現在の画像で検出された気道と過去の画像で検出された気道との間の関係を判定して、これらの気道をマージすべきか否かを判定する。画像のストリーム、又はそこから導出された気道位置情報などのデータは、分析を実行するためにシステムによって記憶されてもよい。時間的な気道追跡、気道関連付け及び気道マージについて、以下により詳細に記載する。

図２４は、例示的実施形態による画像ベースの気道分析の空間的性質を示す。図示のように、過去の画像及び現在の画像における気道は、様々な異なる種類の空間的関係（例えば、一対一、一対多、多対一、ゼロ対一及び一対ゼロなど）を示し得る。これらの例を、気道関連付けに関連して以下により詳細に記載する。

Ｅ．１．時間的な気道トラッキング
大まかに言えば、画像ベースの時間的追跡は、過去の画像内の気道の状態（例えば、位置及びサイズ）に対する現在の画像内の気道の状態を推定することを含む。図２３Ｂに示すように、気道追跡プロセスは、ｔ_１における現在の画像と、過去の画像から導出された気道情報、すなわちｔ_０における過去の画像とを、入力として受信する。これらの入力に基づいて、システムは、現在の画像に対する過去の気道の予想位置を計算し、現在の画像で検出された気道の現在位置を求めることができる。

気道の現在位置及び過去の気道の予想位置を特定するこのプロセスを図２５に示す。例えば、第１の列では、時間ｔ_０における気道Ａ及びＢの位置が、実線のボックスに示されるように特定される。時間ｔ_１において、時間的な気道追跡は、Ａ及びＢの検出された位置を入力として受信し、任意選択的に、非限定的な一例としては光学フロー技術を使用して、例えばスコープの移動に基づき、これらの気道の更新された位置を推定することができる。光学フロー技術の例としては、動き検出、オブジェクト分割計算、輝度、動き補償符号化、立体視差測定などを挙げることができる。時間ｔ_１における過去の気道の推定位置は、点線のボックスに示されている。時間的気道追跡はまた、現在の画像を分析して、時時間ｔ_１における現在の画像で検出可能な気道の位置を検出する。時時間ｔ_１における画像で検出された気道の現在位置は、実線のボックスに示されている。図２５は、気道関連付けに関連して以下により詳細に説明されている。

したがって、気道追跡プロセスは、現在の時間について、現在の画像に対する過去の気道の推定位置及び、現在の時間の画像データ内で現在検出されている気道の位置を求める。

Ｅ．２．時間的分析及び空間的分析に基づく気道関連付け
一般に、本システムによって実行される気道関連付けは、過去の画像で検出された気道と現在の画像で検出された気道との間に関係を作成することができる。気道関連付けは、過去の気道の位置及び気道追跡によって決定され得る検出された気道の位置に基づいて、これらの関係を作成する。関係は、過去の気道が２つの別個の気道として検出される場合を表す可能性がある。気道が２つの異なる気道として描かれる可能性があるこのような状況には、別の気道を通して見える気道（例えば、子孫気道）を検出する場合や、気道が最初は単一の気道として見えるが、その後、この単一の気道が実際には互いに近接して位置する複数の気道であることが明らかとなる遷移を検出する場合が、非限定的に含まれる。更に、場合によっては、元々は過去の画像の一部ではなかった気道が見える場合があり、この新しい気道と過去の気道との関連付けを回避する措置を気道関連付けが講じてもよい。

図２４は、過去の画像及び現在の画像における気道によって示され得る関係の種類の例を示す。図２４に示すように、例示的な関係は、２４００（ａ）に示す一対一（Ａ→Ａ）対応及び一対多（Ｂ→Ｃ、Ｄ）対応、２４００（ｂ）に示す一対一（Ｅ→Ｅ）対応及び多対一（Ｆ、Ｇ→Ｈ）対応、２４００（ｃ）に示すゼロ対一（無→Ｊ）対応及び一対一（Ｉ→Ｉ）対応、２４００（ｄ）に示す一対ゼロ（Ｌ→無）対応及び一対一（Ｋ→Ｋ）対応を含んでもよい。実線の長方形は、検出された気道を現在の画像（例えば、画像ｔ_１）内に包含する境界ボックスであり、破線の長方形は、検出された気道を過去の画像（例えば、画像ｔ_０）内に包含する境界ボックスである。いくつかの実施形態では、長方形及び／又は境界ボックスが使用されるが、そのような実施形態は、そのようなものとして限定されず、任意の多角形又は他の形状を使用する実施形態も含まれ得る。関連付けは、気道に一意の識別子が付与される一連のレコードとしてシステムによって記憶されてもよく、互いに関連付けられている気道の一意の識別子をリンクするデータを含んでもよい。

システムは、図２４に示す長方形（又は、より広義には気道の位置及び形状）間の重複を比較することによって、過去の画像で検出された気道と現在の画像で検出された気道との間の対応付けを行うことができる。いくつかの実施形態では、所与の気道が別の気道に対応するか否かを判定するために、以下のオーバーラップ率値のうちの１つ以上（又はこれらの任意の組み合わせ）を使用してもよい：

式中、∩及び∪はそれぞれ、２つの長方形ｂ_１とｂ_２との間の積集合演算子及び和集合演算子を表す。長方形又は他の境界形状の面積（例えば、ピクセル単位）（長方形内のピクセルを数えることによって計算され得る）は、Λ（・）として表される。ｍｉｎ（ｐ，ｑ）及びｍａｘ（ｐ，ｑ）は、それぞれ、ｐ及びｑより小さい値及びより大きい値を返す。

いくつかの実施形態では、２つの長方形（例えば、一方は過去の画像で検出された１つ以上の気道に対応し、他方は現在の画像で検出された１つ以上の気道に対応する）間の関連付けは、以下の条件が満たされている場合に成立する：

式中、τは予め定義された閾値であり、Ｏ（ｂ_１，ｂ_２）は、３つのオーバーラップ率値（Ｏ_１、Ｏ_２、及びＯ_３）のうちの１つであり得る。３つのオーバーラップ率値は例であり、これらのオーバーラップ率値の代わりに、又はこれらのオーバーラップ率値に加えて、他のオーバーラップ率値を使用してもよい。図２４の例では長方形が使用されているが、いくつかの実施形態では、任意の幾何学的形状（例えば、多角形又は他の形状）を使用して、気道間の重複を計算することができる。そのような実施形態では、現在の画像で検出された１つ以上の気道に対応する１つ以上の幾何学的形状の１つのセットと、過去の画像で検出された１つ以上の気道に対応する１つ以上の幾何学的形状の別のセットとの間の重複を計算することができる。いくつかの実施形態では、重複を計算するために使用される幾何学的形状は、検出された気道を完全に包含している。他の例では、幾何学的形状は、検出された気道を完全に包含せず、これらの気道と部分的に重複する。どの気道がマージされるのかが既知である前述の例では、システムは、図２４に示す幾何学的重複分析の一部又は全てを省略することができる。

上記を、深さレベル１の関連付け（例えば、２つ以上の気道間の１つの関連付け）を作成するものとして説明してきたが、他の実施形態では、深さレベルが１を超える鎖を作成可能であることを理解されたい。例えば、気道Ｘが気道Ｙ及びＺに関連付けられている場合、後続の画像が、オーバーラップ閾値を満たす気道Ｙ’及びＹ’’をＹ内に検出する場合がある。そのような場合、システムは、例えばＸ→Ｙ→Ｙ’，Ｙ’’を含む関連付けの鎖などの、ＹとＹ’、Ｙ’’との間の関連付けを作成することができる。

Ｅ．３．オーバーラップ閾値を調整する
図２５は、オーバーラップ率閾値の誤った設定のために誤った関連付けが作成される可能性がある３つの例を示す。例えば、画像２５００（ａ）に示す関係は、２つの一対一対応（例えば、Ａ→Ａ及びＢ→Ｂ）であるべきである。しかしながら、画像２５００（ａ）の第４列に示す重複により、現在の画像の気道Ｂが過去の画像の気道Ａに関連付けられる（又は気道Ａ、Ｂが過去の画像の気道Ａ、Ｂに関連付けられる）可能性がある。そのような場合、画像２５００（ａ）の第４列に示す重複が重複条件を満たさないように、オーバーラップ閾値を調整することができる。同様に、画像２５００（ｂ）及び２５００（ｃ）は、誤った関連付けが作成される可能性がある他の例と、そのような関連付けを防ぐためにオーバーラップ閾値をどのように調整することができるか（例えば、第４列に示す重複がオーバーラップ閾値を満たさないように調整するなど）を示す。

いくつかの実施形態では、オーバーラップ率閾値は、システムの設計者によって構成された設計時パラメータであり得る。しかしながら、他の実施形態では、システムが外科データを追跡及び記録して、様々なオーバーラップ閾値の失敗率を追跡してもよい。このようなシステムは、そのような外科データを利用して、様々なオーバーラップ閾値の使用についてシステムを訓練し、失敗率を下げることの可能な更新されたオーバーラップ閾値でシステムを更新することができる。更に、複数のシステムが外科データを共有して、そのような訓練及びオーバーラップ閾値の選択のために利用可能な外科データを増やしてもよい。

Ｅ．４．時間的分析及び空間的分析に基づく気道マージ
気道マージでは、システムは、作成された気道間の関連付け及び術前モデルデータからのデータに基づいて、２つ以上の現在の気道をマージすることができる。現在の画像内の２つ以上の気道をマージするか否かを決定するために、システムは、器具の現在の位置を判定し、次いで、術前モデルからの位置で予想される気道の数を求めてもよい。システムは、器具の位置を判定するために任意の数のアプローチを利用できることを理解されたい。例として、限定するものではないが、このようなアプローチは、ＥＭセンサ、視覚センサ、ロボットデータセンサ、形状感知ファイバセンサなどのセンサタイプのうちの１つ以上を含み得る上記のセンサ融合システムを含んでもよい。

術前モデルデータは、所与の位置について予想される気道の検索を可能にする形式で記憶されてもよい。このようなデータは、処置の前に生成されてもよく、その場合、予想される気道は、術前モデルに対する器具の位置によって索引付けされる。本明細書で使用するとき、位置は、向きを有するか又は有さない位置、セグメント内の挿入深さを有するか又は有さないセグメント、又は任意の他の位置表現であり得る。

現在の画像内の気道のセットがマージされることをシステムが決定すると、システムは、マージされた気道の新たな気道中心を計算することができる。新たな気道中心を、次に上述の画像ベースの気道マッピング方法で使用することができる。

単一の親気道を有する２つの気道をマージする例では、２つの気道の気道中心は、それぞれ、｛ｘ_１，ｙ_１｝及び｛ｘ_２，ｙ_２｝として表すことができる。一アプローチでは、マージされた気道の気道中心は、（例えば、現在の画像内の気道を表す幾何学的形状などの）現在の画像内で検出された気道のそれぞれの中心位置の中心として計算され得る。例えば、そのような値を以下のように計算してもよい：

別の例では、マージされた気道の気道中心は、（例えば、現在の画像内の気道を表す幾何学的形状などの）現在の画像内で検出された気道のそれぞれの中心位置の加重中心として計算され得る。例えば、そのような値を以下のように計算してもよい：

式中、Λ_１及びΛ_２は、それぞれ、マージされる２つの気道の面積（例えば、ピクセル単位）である。

更に別の例では、マージされた気道の気道中心は、（例えば、現在の画像内の気道を表す幾何学的形状などの）現在の画像内で検出された気道を包含する境界多角形の中心として計算され得る。例えば、２つの気道のうちの第１の気道を包含する長方形の左上隅及び右下隅の座標が

として表され、２つの気道のうちの第２の気道を包含する長方形の左上隅角及び右下隅の座標が

として表される場合、包含長方形の隅

を以下のように導出することができる：

これらの値を使用して、マージされた気道の気道中心は、以下のように求められる包含長方形の中心として計算することができる：

例えば、マージされた中心の計算結果は、現在の画像で検出された気道の他のどの中心位置とも異なってもよい。図２２の画像２２００（ｂ）に示すように、マージされた気道のマージされた中心のグラフィック表現を、このマージされた気道へとマージされた複数の気道の複数の中心の代わりに、システムのディスプレイ上に出力してもよい。いくつかの場合には、マージされた中心を、マージされた気道の中心と共にディスプレイ上に出力してもよい。マージされた気道の気道中心を計算する例示的な技術が上述されているが、マージされた気道を表す気道中心を計算する他の技術を使用してもよい。

Ｆ．例示的な画像ベースの気道分析及びマッピング方法及びシステム
図２６は、上述の画像ベースの気道分析及びマッピングを実施するための例示的な方法２６００を示す。方法２６００を、本開示全体を通して説明される様々なロボット制御式のシステムで実施してもよい。方法２６００を、管腔ネットワークに挿入されるように構成された細長い本体を有する器具を含むロボットシステムを用いて実施してもよい。撮像デバイスを、細長い本体上（例えば、細長い本体の遠位端上）に配置してもよい。器具を、管腔ネットワークを通して器具を移動させるように構成された器具位置決めデバイス（例えば、ロボットアーム）に取り付けてもよい。方法２６００を使用するシステムが、プロセッサに方法２６００を実行させる命令で構成されたプロセッサを含んでもよい。方法２６００は単なる例として挙げたものであり、図２６に示す工程とは異なる工程を使用して画像ベースの気道分析及びマッピングを実施してもよい。簡潔にするために、図２６に示す工程は、システム（例えば、本明細書に記載のシステムのうちの１つ、又は本明細書に記載の技術のうちの１つ以上を実行するように構成されたシステム）によって実行されるものとして説明されている。

ブロック２６０２で、管腔ネットワーク内の１つ以上の気道をマッピングするためのシステムは、器具上に配置された撮像デバイスを用いて、管腔ネットワーク内の複数の画像を捕捉する。複数の画像は、少なくとも２つの画像を含んでもよく、これらの画像のうちの１つ（例えば、現在の画像又は第２の画像）が、他の画像（例えば、過去の画像又は第１の画像）よりも後の時間で捕捉される。第１の画像が捕捉される時間を第１の時間と称してもよく、第２の画像が捕捉される時間を第２の時間と称してもよい。

ブロック２６０４で、システムは、第１の画像内の１つ以上の気道を特定する。いくつかの実施形態では、システムは、第１の画像内の単一の気道を特定する。他の実施形態では、システムは、第１の画像内の複数の気道を特定する。システムは、本明細書に記載の気道特定又は検出技術（例えば、ピクセル強度分析）又は他の技術のいずれを利用してもよい。例えば、特定された気道は、そのピクセルが気道検出方法によって指定されたピクセル強度閾値を満たす、１つ以上の多角形又は他の幾何学的形状を含んでもよい。いくつかの実施形態では、重心などの点位置が求められ、検出された気道と関連付けられる。

ブロック２６０６で、システムは、第２の画像内の２つ以上の気道を特定する。いくつかの実施形態では、システムは、第２の画像内の単一の気道を特定する。他の実施形態では、システムは、第２の画像内の複数の気道を特定する。システムは、ブロック２６０４で利用されるのと同様の方法で、第２の画像内の１つ以上の気道を特定することができる。

ブロック２６０８で、システムは、第１の画像内の第１の気道及び第２の画像内の２つ以上の気道に基づいて、重複条件が満たされていると判定する。重複条件が満たされていると判定することは、例えば、第１の画像内の第１の気道を表す１つ以上の幾何学的形状の第１のセットと、第２の画像内の２つ以上の気道を表す１つ以上の幾何学的形状の第２のセットとの間の空間的重複度を求めることと、空間的重複度が所定のオーバーラップ閾値、パラメータ又はしるしを満たしているか、あるいはこれを超えていると判定することと、を含んでもよい。ブロック２６０２～２６０６が、気道追跡及び気道関連付けに関して説明した１つ以上の特徴を含んでもよいことを理解されたい。すなわち、システムは、現在の画像内の気道の位置及びサイズ、並びに過去の画像で過去に検出された気道の予想位置及びサイズを追跡してもよい。重複条件が満たされている場合、システムは、過去の画像内の気道と、現在の画像内の１つ以上の画像との間の関連付けを作成することができる。上で説明したように、他の関連付けは、一対一対応であるか、又は多対一対応であってもよい。

ブロック２６１０で、システムは、第２の時間における器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスする。例えば、図２６には示されていないが、システムは、管腔ネットワーク内に配置された器具の推定位置状態にアクセスすることができる。推定位置状態は、（例えば、図２１の管腔ネットワーク１０００の階層構造内で）器具が現在どの枝に配置されているのかの特定を含むことができる。推定位置状態及び術前モデルデータ（例えば、ＣＴ画像）に基づいて、システムは、第２の時間における（すなわち、第２の画像が捕捉された時間での）器具の位置に対応する気道の予想数を求めることができる。推定位置状態を、例えば、図１５のナビゲーション及び位置特定システム９０によって求めてもよい。推定位置状態を、例えば、術前モデルデータ９１、視覚データ９２、ＥＭデータ９３（又は他の位置感知データ）、並びに／又はロボットコマンド及び運動学データ９４などの様々な及び／又は複数の位置感知モダリティ及び情報に基づいて求めてもよい。

ブロック２６１２で、システムは、術前モデルデータと、重複条件が満たされているという判定とに基づいて、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングを決定する。このブロックで、システムは、気道マージ（セクションＥ．４．を参照）を使用して、第２の画像内の気道と術前モデルデータ内の気道との間のマッピングを決定することができる。すなわち、いくつかの実施形態によれば、システムは、ブロック２６０２～２６０６（気道追跡及び気道関連付け）から導出されたデータ及び、術前モデルデータによって求められ得る、管腔ネットワーク内の現在の位置についての気道の予想数を使用して、第２の画像内で検出された気道をマージするか否かを決定することができる。次いで、システムは、マージされた又はマージされていない気道を、術前モデル内の気道にマッピングしてもよい。術前モデルデータへの気道のマッピング方法は、その全体が参照により本明細書に組み込まれ、付録Ａとして本明細書に添付される２０１７年１０月１３日出願の米国特許出願第１５／７８３，９０３号に更に記載されている。

先に説明したように、ブロック２６１２の一部として、システムは、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングを、術前モデルに基づき、第２の時間における器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることによって決定することができる。気道の予想数を求めるための術前モデルデータへのアクセスについて、以下により詳細に説明する。図２６には示されていないが、術前モデルデータは、システムが所与の位置についての気道の予想数を検索することを可能にするデータ構造を有し得る。更に、システムは、管腔ネットワーク内に配置された器具の推定位置状態にアクセスすることができる。推定位置状態は、（例えば、図２１の管腔ネットワーク１０００の階層構造内で）器具が現在どの枝に配置されているのかの特定を含むことができる。推定位置状態及び術前モデルデータ（例えば、一実施形態ではＣＴ画像から導出されたデータ）に基づいて、システムは、第２の時間における（すなわち、第２の画像が捕捉された時間での）器具の位置に対応する気道の予想数を、上述のデータ構造にアクセスすることによって求めることができる。推定位置状態を、例えば、図１５のナビゲーション及び位置特定システム９０によって求めてもよい。推定位置状態を、例えば、術前モデルデータ９１、視覚データ９２、ＥＭデータ９３（又は他の位置感知データ）、並びに／又はロボットコマンド及び運動学データ９４などの様々な及び／又は複数の位置感知モダリティ及び情報に基づいて求めてもよい。

更なる例として、術前モデルデータは、システムが管腔ネットワーク１０００の枝１００４、１００６を検出することが予想されることを示してもよい。システムがブロック２６０６で２つの気道を検出した場合、システムは、マージが不要であるという判定を、第２の画像で検出された２つ以上の気道の数と、術前モデルデータによって示される気道の予想数とが等しいことに基づいて行ってもよい。そのような場合、システムは、２つの検出された気道を、それぞれ（例えば、画像及び／又は２つの気道の向きに基づいて）図２１に示す枝１００４、１００６にマッピングすることができる。図２６の例では、システムは、第２の画像で特定された２つ以上の気道の数が、術前モデルデータによって示される気道の予想数に等しいという判定に基づいて、ブロック２６１２で、第２の画像で特定された２つ以上の気道のそれぞれが、術前モデルデータ内の気道のうちの異なる１つにマッピングされるように、マッピングを決定することができる。

別の例では、図２２に示すように、術前モデルデータは、システムが管腔ネットワーク１０００の枝１００４、１００６を検出すると予想されるが、システムがブロック２６０６で４つの気道（例えば、枝１００４、１０１２、１０１４、１０１６）を検出した可能性があることを示す場合がある。そのような場合、システムは、（例えば、枝１０１２、１０１４、１０１６に対応する検出された気道を単一の気道にマージすることによって）４つの気道を２つの気道にマージし、マージされた気道を枝１００６に、またマージされていない気道を枝１００４にマッピングすることができる。図２６の例では、システムは、第２の画像で特定された２つ以上の気道の数が、術前モデルデータによって示される気道の予想数とは異なるという判定に基づいて、ブロック２６１２で、第２の画像で特定された２つ以上の気道のうちの少なくとも２つが、術前モデルデータ内の気道のうちの１つの気道にマッピングされるように、マッピングを決定することができる。いくつかの実施形態では、マッピングは、データベース内の２つ以上の気道間の関連付けを記憶することを含む。例えば、システムは、画像で特定された所与の気道が、術前モデルデータによって示される２つ以上の気道に分枝するという指示を記憶してもよい。

上述のように、システムは、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングに基づいて、管腔ネットワークのどのセグメントに器具が現在位置しているのかを確認することができる。いくつかの実施形態では、システムは、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングに基づいて、他のデータに基づく推定位置状態の信頼値を調整することができる。例えば、この他のデータは、ＥＭデータ、ロボットデータ、光学形状センサデータ及び慣性測定ユニット（ＩＭＵ）データ、本明細書に記載される任意の他の入力データ（例えば、図１５の入力データ９１～９４）、又はこれらの任意の組み合わせを含んでもよい。追加的に又は代替的に、システムは、第２の画像内の２つ以上の気道と術前モデルデータ内の気道との間のマッピングに基づいて、管腔ネットワークのどのセグメントに器具が入るのかを予測することができる。

ブロック２６０８の一実施形態では、現在の画像内の気道の組み合わせと過去の画像内の気道の組み合わせとの重複が閾値量を超えている（又は閾値量に等しい）と判定すると、システムは、現在の画像内のマージ後の気道数が過去の画像内の気道の組み合わせの気道数と一致するように、現在の画像内の気道の組み合わせを１つ以上の気道にマージしてもよい。例えば、システムは、オーバーラップ率値（例えば、上記の式（１）～（３）におけるオーバーラップ率値のいずれか）を閾値オーバーラップ値と比較して、２つの気道の組み合わせ間に関連付けが存在するか否かを判定することができる。

システムはまた、上述のように、マージされた気道のマージされた中心を計算してもよい。例えば、システムは、（例えば、現在の画像内の気道の組み合わせを表す幾何学的形状のセットなどの）現在の画像内の気道の組み合わせのマージされた中心位置を計算してもよく、マージされた中心位置は、（例えば、現在の画像内の気道の組み合わせを表す幾何学的形状のセットなどの）現在の画像内で検出された気道のそれぞれの中心位置のうちのいずれとも異なる。

気道の組み合わせの複数の対が重複条件を満たしている（例えば、６０％の重複を有するＡ→Ｂ、及び２５％の重複を有するＡ→Ｃ）とシステムが判定した場合、システムは、より重複の大きい気道の組み合わせの対が関連付けられている（例えば、Ａ→Ｂ）と判定してもよい。いくつかの実施形態では、重複条件が満たされているか否かの判定は、（例えば、オーバーラップ率が閾値オーバーラップ率以上であるなどの）程度の判定ではなく、（例えば、現在の画像内の気道の組み合わせを包含する長方形の３つ以上のセグメントの中点が、親画像内の気道の組み合わせを包含する長方形内にあるか否かなどの）二値判定である。

いくつかの実施形態では、重複条件が満たされているか否かの判定は、（例えば、過去の画像内の気道の組み合わせを表す幾何学的形状のセットなどの）過去の画像内の気道の組み合わせを包含する境界多角形（例えば、長方形又は他の形状）を決定することと、（例えば、現在の画像内の気道の組み合わせを表す幾何学的形状のセットなどの）現在の画像内の気道の組み合わせを包含する境界多角形を決定することと、これら２つの境界多角形間の重複に基づいて空間的重複度を計算することと、を含んでもよい。

本明細書に記載の画像ベースの気道分析及びマッピング技術は、視覚分岐予測（Vision Branch Prediction、ＶＢＰ）アプローチ又は他の画像ベースの分岐予測アプローチを補う。ＶＢＰは、所与の画像において、（例えば、図２２の画像２２００（ａ）に示すように）異なる世代からの気道が見えるために、正しい気道マッピングを実行できない場合がある。本明細書に記載の画像ベースの気道分析及びマッピング技術は、管腔ネットワーク内の気道の階層構造を判定又は確認し、同じ世代に対応する気道中心を計算することができる。このことは、図２２の画像２２００（ｂ）に示すように、正しい気道マッピングを確立することを助ける。

Ｇ．再帰的距離探索
いくつかの実施形態では、現在の画像内の２つ以上の気道がマージされることが決定されると、システムは、再帰的距離探索を使用してこれらの気道をマージすることができる。その際に、システムは、気道は他の世代よりも同じ世代の気道により近いと想定してもよい。例えば、この想定は、第３世代の気道（例えば、図２２の右下隅に示す枝１０１２、１０１４、１０１６）が全て、第２世代の気道（例えば、図２２の左上隅に示す枝１００４）の気道よりも相互に近接している図２１及び図２２の例に当てはまる。

再帰的距離検索では、現在の画像で検出されたｎ個の気道中心のセットを表すセット

が含まれ得る。各気道中心をＰｉ＝｛ｘ_ｉ，ｙ_ｉ｝として表すことができる。次いで、システムは、以下の値を計算してもよい：

式中、｜｜・｜｜は、Ｌ２ノルム演算子を表す。上記の式は、セットＰ内の気道中心のうちで相互の距離が最も近い一対の中心を見つけるものであり、システムは、これら２つの気道が同じ世代に属すると想定することができる。次いで、システムは、例えば式（５）～（１１）に基づいて、（例えば、マージされた気道の気道中心を取得するなど）２つの気道をマージする。次いで、システムはｐ_ｉ及びｐ_ｊをＰから削除し、ｐ_ｋをＰに追加し、１つの気道（又は所望の数の気道）のみがＰに残るまで、このプロセス（計算、マージ、削除、追加など）を繰り返す。

ＩＶ．実施システム及び用語
本明細書に開示の実施態様は、ロボット制御式の医療器具のナビゲーションのための画像ベースの気道分析及びマッピングのためのシステム、方法及びデバイスを提供する。本明細書に記載の様々な実施態様は、管腔ネットワークの改善されたナビゲーションを提供する。

本明細書で使用するとき、用語「結合する」、「結合している」、「結合された」、又は単語結合の他の変形は、間接的接続又は直接的接続のいずれかを示し得ることに留意されたい。例えば、第１の構成要素が第２の構成要素に「結合される」場合、第１の構成要素は、別の構成要素を介して第２の構成要素に間接的に接続されるか、又は第２の構成要素に直接的に接続されてもよい。

本明細書に記載の位置推定機能及びロボット動作作動機能は、プロセッサ可読媒体又はコンピュータ可読媒体上の１つ又は２つ以上の命令として記憶されてもよい。用語「コンピュータ可読媒体」は、コンピュータ又はプロセッサによってアクセスすることができる任意の利用可能な媒体を指す。一例として、限定するものではないが、このような媒体は、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read-only memory、ＲＯＭ）、電気的消去可能プログラム可能読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリ、コンパクトディスク読み出し専用メモリ（compact disc read-only memory、ＣＤ－ＲＯＭ）、又は他の光ディスク記憶装置、磁気ディスク記憶装置、若しくは他の磁気記憶デバイス、又は命令若しくはデータ構造の形態で所望のプログラムコードを記憶するために使用することができ、コンピュータによってアクセスすることができる任意の他の媒体を含んでもよい。コンピュータ可読媒体は、有形であり、非一時的であってもよいことに留意されたい。本明細書で使用するとき、用語「コード」は、コンピューティングデバイス又はプロセッサによって実行可能であるソフトウェア、命令、コード、又はデータを指してもよい。

本明細書に開示される方法は、記載される方法を達成するための１つ又は２つ以上の工程又は行為を含む。方法工程及び／又は行為は、特許請求の範囲から逸脱することなく互いに交換されてもよい。換言すれば、記載されている方法の適切な動作のために特定の順序の工程又は行為が必要とされない限り、特許請求の範囲から逸脱することなく、特定の工程及び／又は行為の順序及び／又は使用を修正してもよい。

本明細書で使用するとき、用語「複数」は、２つ又は３つ以上を示す。例えば、複数の構成要素は、２つ又は３つ以上の構成要素を示す。用語「判定する」は、多種多様な行為を包含し、したがって、「判定する」は、計算する、演算する、処理する、導出する、調査する、ルックアップする（例えば、テーブル、データベース又は別のデータ構造を見る）、確認するなどを含むことができる。また、「判定する」は、受け取る（例えば、情報を受信すること）、アクセスする（例えば、メモリ内のデータにアクセスすること）などを含むことができる。また、「判定する」は、解決する、選択する、選出する、確立するなどを含むことができる。

語句「基づく」は、別途明示的に指定されない限り、「のみに基づく」ことを意味しない。換言すれば、語句「基づく」は、「のみに基づく」及び「少なくとも基づく」の両方を記載する。

開示される実施態様の前述の説明は、任意の当業者が本発明を製造すること、又は使用することを可能にするために提供される。これらの実施態様に対する種々の修正は、当業者には容易に明らかになり、かつ、本明細書で規定される一般的な原理は、本発明の範囲から逸脱することなく、他の実施態様に適用され得る。例えば、当業者であれば、締結、装着、結合、又は係合ツール構成要素の均等の方法、特定の作動運動を生み出すための均等の機構、及び電気エネルギーを送達するための均等の機構など、多くの対応する代替的かつ均等の構造的詳細を使用することができると理解されるであろう。したがって、本発明は、本明細書に示される実施態様に限定されることを意図するものではなく、本明細書に開示される原則及び新規な特徴と一致する最も広い範囲が与えられるものである。

〔実施の態様〕
（１） 管腔ネットワークを通して器具をナビゲートする方法であって、
前記器具上に配置された撮像デバイスを用いて前記管腔ネットワーク内の複数の画像を捕捉することであって、前記複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、前記第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、
前記第１の画像内の第１の気道を特定することと、
前記第２の画像内の２つ以上の気道を特定することと、
前記第１の画像内の前記第１の気道及び前記第２の画像内の前記２つ以上の気道に基づいて、重複条件が満たされていると判定することと、
前記第２の時間中の前記器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、
前記術前モデルデータと、前記重複条件が満たされているという前記判定とに基づいて、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間のマッピングを決定することと、
を含む、方法。
（２） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することと、
前記重複条件が満たされているという前記判定に基づいて、前記２つ以上の気道が前記第１の気道から分枝していると判定することと、
を含む、実施態様１に記載の方法。
（３） 前記重複条件が満たされていると判定することは、前記第１の画像内の前記第１の気道を表す１つ以上の幾何学的形状の第１のセットと、前記第２の画像内の前記２つ以上の気道を表す１つ以上の幾何学的形状の第２のセットとの間の空間的重複度に更に基づく、実施態様１に記載の方法。
（４） 前記第１の画像内の前記第１の気道を表す幾何学的形状の前記第１のセットを包含する第１の境界多角形を決定することと、
前記第２の画像内の前記２つ以上の気道を表す幾何学的形状の前記第２のセットを包含する第２の境界多角形を決定することと、
を更に含み、
前記空間的重複度を求めることは、前記第１の境界多角形と前記第２の境界多角形との間の重複に基づく、
実施態様３に記載の方法。
（５） 前記重複条件が満たされていると判定することは、１つ以上の幾何学的形状の前記第１のセットと１つ以上の幾何学的形状の前記第２のセットとの間の前記空間的重複度が閾値重複量よりも大きいという判定に更に基づく、実施態様３に記載の方法。

（６） 前記マッピングを決定することは、前記第２の画像で特定された前記２つ以上の気道を表す幾何学的形状の前記第２のセットのマージされた中心位置を計算することを含み、
前記マージされた中心位置は、前記第２のセットの前記幾何学的形状のそれぞれの中心位置のいずれとも異なる、
実施態様３に記載の方法。
（７） 前記マージされた中心位置は、（ｉ）前記第２のセットの前記幾何学的形状の前記それぞれの中心位置の中心、（ｉｉ）前記第２のセットの前記幾何学的形状の前記それぞれの中心位置の加重中心、又は（ｉｉｉ）前記第２のセットの前記幾何学的形状を包含する境界多角形の中心のうちの１つである、実施態様６に記載の方法。
（８） 前記第２の画像上の前記マージされた気道の前記中心位置にグラフィック表現を表示させることを更に含む、実施態様６に記載の方法。
（９） 前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記管腔ネットワークのどのセグメントに前記器具が入るのかを予測することを更に含む、実施態様１に記載の方法。
（１０） 前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記管腔ネットワークのどのセグメントに前記器具が現在位置しているのかを確認することを更に含む、実施態様１に記載の方法。

（１１） 前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、電磁（ＥＭ）データ、ロボットデータ、光学形状センサデータ及び慣性測定ユニット（ＩＭＵ）データからなる群から選択されるデータに基づく推定位置状態の信頼値を調整することを更に含む、実施態様１に記載の方法。
（１２） 前記第１のセットの前記１つ以上の幾何学的形状は、前記第１の画像内の前記第１の気道と少なくとも部分的に重複する１つ以上の多角形を含み、前記第２のセットの前記１つ以上の幾何学的形状は、前記第２の画像内の前記２つ以上の気道と少なくとも部分的に重複する１つ以上の多角形を含む、実施態様１に記載の方法。
（１３） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することと、
前記第２の画像で特定された前記２つ以上の気道の前記数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することに応答して、前記第２の画像で特定された前記２つ以上の気道のそれぞれが、前記術前モデルデータ内の前記気道のうちの異なる１つにマッピングされるように、前記マッピングを決定することと、
を含む、実施態様１に記載の方法。
（１４） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することと、
前記第２の画像で特定された前記２つ以上の気道の前記数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することに応答して、前記第２の画像で特定された前記２つ以上の気道のうちの少なくとも２つが、前記術前モデルデータ内の１つの気道にマッピングされるように、前記マッピングを決定することと、
を含む、実施態様１に記載の方法。
（１５） 命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、少なくとも、
器具上に配置された撮像デバイスを用いて管腔ネットワーク内の複数の画像を捕捉することであって、前記複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、前記第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、
前記第１の画像内の第１の気道を特定することと、
前記第２の画像内の２つ以上の気道を特定することと、
前記第１の画像内の前記第１の気道及び前記第２の画像内の前記２つ以上の気道に基づいて、重複条件が満たされていると判定することと、
前記第２の時間中の前記器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、
前記術前モデルデータと、前記重複条件が満たされているという前記判定とに基づいて、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間のマッピングを決定することと、
を行わせる、非一時的コンピュータ可読記憶媒体。

（１６） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することと、
前記重複条件が満たされているという前記判定に基づいて、前記２つ以上の気道が前記第１の気道から分枝していると判定することと、
を含む、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（１７） 前記重複条件が満たされていると判定することは、前記第１の画像内の前記第１の気道を表す１つ以上の幾何学的形状の第１のセットと、前記第２の画像内の前記２つ以上の気道を表す１つ以上の幾何学的形状の第２のセットとの間の空間的重複度に更に基づく、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（１８） 前記命令は、実行されると、前記プロセッサに、
前記第１の画像内の前記第１の気道を表す幾何学的形状の前記第１のセットを包含する第１の境界多角形を決定することと、
前記第２の画像内の前記２つ以上の気道を表す幾何学的形状の前記第２のセットを包含する第２の境界多角形を決定することと、
を更に行わせ、
前記空間的重複度を求めることは、前記第１の境界多角形と前記第２の境界多角形との間の重複に基づく、
実施態様１７に記載の非一時的コンピュータ可読記憶媒体。
（１９） 前記重複条件が満たされていると判定することは、１つ以上の幾何学的形状の前記第１のセットと１つ以上の幾何学的形状の前記第２のセットとの間の前記空間的重複度が閾値重複量よりも大きいという判定に更に基づく、実施態様１７に記載の非一時的コンピュータ可読記憶媒体。
（２０） 前記マッピングを決定することは、前記第２の画像で特定された前記２つ以上の気道を表す幾何学的形状の前記第２のセットのマージされた中心位置を計算することを含み、
前記マージされた中心位置は、前記第２のセットの前記幾何学的形状のそれぞれの中心位置のいずれとも異なる、
実施態様１７に記載の非一時的コンピュータ可読記憶媒体。

（２１） 前記マージされた中心位置は、（ｉ）前記第２のセットの前記幾何学的形状の前記それぞれの中心位置の中心、（ｉｉ）前記第２のセットの前記幾何学的形状の前記それぞれの中心位置の加重中心、又は（ｉｉｉ）前記第２のセットの前記幾何学的形状を包含する境界多角形の中心のうちの１つである、実施態様２０に記載の非一時的コンピュータ可読記憶媒体。
（２２） 前記命令は、実行されると、前記プロセッサに更に、前記第２の画像上の前記マージされた気道の前記中心位置にグラフィック表現を表示させることを行わせる、実施態様２０に記載の非一時的コンピュータ可読記憶媒体。
（２３） 前記命令は、実行されると、前記プロセッサに更に、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記管腔ネットワークのどのセグメントに前記器具が入るのかを予測させる、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（２４） 前記命令は、実行されると、前記プロセッサに更に、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記管腔ネットワークのどのセグメントに前記器具が現在位置しているのかを確認させる、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（２５） 前記命令は、実行されると、前記プロセッサに更に、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、電磁（ＥＭ）データ、ロボットデータ、光学形状センサデータ及び慣性測定ユニット（ＩＭＵ）データからなる群から選択されるデータに基づく推定位置状態の信頼値を調整させる、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。

（２６） 前記第１のセットの前記１つ以上の幾何学的形状は、前記第１の画像内の前記第１の気道と少なくとも部分的に重複する１つ以上の多角形を含み、前記第２のセットの前記１つ以上の幾何学的形状は、前記第２の画像内の前記２つ以上の気道と少なくとも部分的に重複する１つ以上の多角形を含む、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（２７） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することと、
前記第２の画像で特定された前記２つ以上の気道の前記数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することに応答して、前記第２の画像で特定された前記２つ以上の気道のそれぞれが、前記術前モデルデータ内の前記気道のうちの異なる１つにマッピングされるように、前記マッピングを決定することと、
を含む、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（２８） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することと、
前記第２の画像で特定された前記２つ以上の気道の前記数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することに応答して、前記第２の画像で特定された前記２つ以上の気道のうちの少なくとも２つが、前記術前モデルデータ内の１つの気道にマッピングされるように、前記マッピングを決定することと、
を含む、実施態様１５に記載の非一時的コンピュータ可読記憶媒体。
（２９） 管腔ネットワーク内の１つ以上の気道をマッピングするためのロボット外科用システムであって、
器具であって、
前記管腔ネットワークに挿入されるように構成された細長い本体と、
前記細長い本体の遠位部分上に配置された撮像デバイスと、
を有する器具と、
前記器具に取り付けられた器具位置決めデバイスであって、前記管腔ネットワークを通して前記器具を移動させるように構成されている、器具位置決めデバイスと、
実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
前記少なくとも１つのコンピュータ可読メモリと通信している１つ以上のプロセッサであって、前記命令を実行して、前記システムに、少なくとも、
前記器具上に配置された撮像デバイスを用いて前記管腔ネットワーク内の複数の画像を捕捉することであって、前記複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、前記第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、
前記第１の画像内の第１の気道を特定することと、
前記第２の画像内の２つ以上の気道を特定することと、
前記第１の画像内の前記第１の気道及び前記第２の画像内の前記２つ以上の気道に基づいて、重複条件が満たされていると判定することと、
前記第２の時間中の前記器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、
前記術前モデルデータと、前記重複条件が満たされているという前記判定とに基づいて、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間のマッピングを決定することと、
を行わせるように構成されている、１つ以上のプロセッサと、
を備える、ロボット外科用システム。
（３０） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することと、
前記重複条件が満たされているという前記判定に基づいて、前記２つ以上の気道が前記第１の気道から分枝していると判定することと、
を含む、実施態様２９に記載のロボット外科用システム。

（３１） 前記重複条件が満たされていると判定することは、前記第１の画像内の前記第１の気道を表す１つ以上の幾何学的形状の第１のセットと、前記第２の画像内の前記２つ以上の気道を表す１つ以上の幾何学的形状の第２のセットとの間の空間的重複度に更に基づく、実施態様２９に記載のロボット外科用システム。
（３２） 前記１つ以上のプロセッサは、
前記第１の画像内の前記第１の気道を表す幾何学的形状の前記第１のセットを包含する第１の境界多角形を決定し、
前記第２の画像内の前記２つ以上の気道を表す幾何学的形状の前記第２のセットを包含する第２の境界多角形を決定する、
ように更に構成されており、
前記空間的重複度を求めることは、前記第１の境界多角形と前記第２の境界多角形との間の重複に基づく、
実施態様３１に記載のロボット外科用システム。
（３３） 前記重複条件が満たされていると判定することは、１つ以上の幾何学的形状の前記第１のセットと１つ以上の幾何学的形状の前記第２のセットとの間の前記空間的重複度が閾値重複量よりも大きいという判定に更に基づく、実施態様３１に記載のロボット外科用システム。
（３４） 前記マッピングを決定することは、前記第２の画像で特定された前記２つ以上の気道を表す幾何学的形状の前記第２のセットのマージされた中心位置を計算することを含み、
前記マージされた中心位置は、前記第２のセットの前記幾何学的形状のそれぞれの中心位置のいずれとも異なる、
実施態様３１に記載のロボット外科用システム。
（３５） 前記マージされた中心位置は、（ｉ）前記第２のセットの前記幾何学的形状の前記それぞれの中心位置の中心、（ｉｉ）前記第２のセットの前記幾何学的形状の前記それぞれの中心位置の加重中心、又は（ｉｉｉ）前記第２のセットの前記幾何学的形状を包含する境界多角形の中心のうちの１つである、実施態様３４に記載のロボット外科用システム。

（３６） 前記１つ以上のプロセッサは、前記第２の画像上の前記マージされた気道の前記中心位置にグラフィック表現を表示させるように更に構成されている、実施態様３４に記載のロボット外科用システム。
（３７） 前記１つ以上のプロセッサは、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記管腔ネットワークのどのセグメントに前記器具が入るのかを予測するように更に構成されている、実施態様２９に記載のロボット外科用システム。
（３８） 前記１つ以上のプロセッサは、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記管腔ネットワークのどのセグメントに前記器具が現在位置しているのかを確認するように更に構成されている、実施態様２９に記載のロボット外科用システム。
（３９） 前記１つ以上のプロセッサは、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、電磁（ＥＭ）データ、ロボットデータ、光学形状センサデータ及び慣性測定ユニット（ＩＭＵ）データからなる群から選択されるデータに基づく推定位置状態の信頼値を調整するように更に構成されている、実施態様２９に記載のロボット外科用システム。
（４０） 前記第１のセットの前記１つ以上の幾何学的形状は、前記第１の画像内の前記第１の気道と少なくとも部分的に重複する１つ以上の多角形を含み、前記第２のセットの前記１つ以上の幾何学的形状は、前記第２の画像内の前記２つ以上の気道と少なくとも部分的に重複する１つ以上の多角形を含む、実施態様２９に記載のロボット外科用システム。

（４１） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することと、
前記第２の画像で特定された前記２つ以上の気道の前記数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することに応答して、前記第２の画像で特定された前記２つ以上の気道のそれぞれが、前記術前モデルデータ内の前記気道のうちの異なる１つにマッピングされるように、前記マッピングを決定することと、
を含む、実施態様２９に記載のロボット外科用システム。
（４２） 前記マッピングを決定することは、
前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することと、
前記第２の画像で特定された前記２つ以上の気道の前記数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することに応答して、前記第２の画像で特定された前記２つ以上の気道のうちの少なくとも２つが、前記術前モデルデータ内の１つの気道にマッピングされるように、前記マッピングを決定することと、
を含む、実施態様２９に記載のロボット外科用システム。

Claims (15)

1. 管腔ネットワーク内の１つ以上の気道をマッピングするためのロボット外科用システムであって、
   器具であって、
   前記管腔ネットワークに挿入されるように構成された細長い本体と、
   前記細長い本体の遠位部分上に配置された撮像デバイスと、
   を有する器具と、
   前記器具に取り付けられた器具位置決めデバイスであって、前記管腔ネットワークを通して前記器具を移動させるように構成されている、器具位置決めデバイスと、
   実行可能命令を記憶している少なくとも１つのコンピュータ可読メモリと、
   前記少なくとも１つのコンピュータ可読メモリと通信している１つ以上のプロセッサであって、前記命令を実行して、前記システムに、少なくとも、
   前記器具上に配置された前記撮像デバイスを用いて前記管腔ネットワーク内の複数の画像を捕捉することであって、前記複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、前記第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、
   前記第１の画像内の第１の気道を特定することと、
   前記第２の画像内の２つ以上の気道を特定することであって、前記第２の画像内の前記２つ以上の気道は、前記第１の画像内の前記第１の気道とは異なる、ことと、
   前記第１の画像内の前記第１の気道及び前記第２の画像内の前記２つ以上の気道に基づいて、前記第１の画像内の前記第１の気道と前記第２の画像内の前記２つ以上の気道との間の空間的重複度を判定することと、
   前記第１の画像内の前記第１の気道と前記第２の画像内の前記２つ以上の気道との間の前記空間的重複度が、重複条件を満たしていると判定することと、
   前記第２の時間中の前記器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、
   前記術前モデルデータと、前記第１の画像内の前記第１の気道と前記第２の画像内の前記２つ以上の気道との間の前記空間的重複度が前記重複条件を満たしているという前記判定とに基づいて、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間のマッピングを決定することと、
   前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに少なくとも部分的に基づいて、前記管腔ネットワークを通して前記器具を移動させることと、
   を行わせるように構成されている、１つ以上のプロセッサと、
   を備える、ロボット外科用システム。
2. 前記空間的重複度が前記重複条件を満たしていると判定することは、前記第１の画像内の前記第１の気道を表す１つ以上の幾何学的形状の第１のセットと、前記第２の画像内の前記２つ以上の気道を表す１つ以上の幾何学的形状の第２のセットとの間の空間的重複度に更に基づく、請求項１に記載のロボット外科用システム。
3. 前記１つ以上のプロセッサは、
   前記第１の画像内の前記第１の気道を表す幾何学的形状の前記第１のセットを包含する第１の境界多角形を決定し、
   前記第２の画像内の前記２つ以上の気道を表す幾何学的形状の前記第２のセットを包含する第２の境界多角形を決定する、
   ように更に構成されており、
   １つ以上の幾何学的形状の前記第１のセットと１つ以上の幾何学的形状の前記第２のセットとの間の前記空間的重複度を求めることは、前記第１の境界多角形と前記第２の境界多角形との間の重複に基づく、請求項２に記載のロボット外科用システム。
4. 前記空間的重複度が前記重複条件を満たしていると判定することは、１つ以上の幾何学的形状の前記第１のセットと１つ以上の幾何学的形状の前記第２のセットとの間の前記空間的重複度が閾値重複量よりも大きいという判定に更に基づく、請求項２に記載のロボット外科用システム。
5. 前記マッピングを決定することは、前記第２の画像で特定された前記２つ以上の気道を表す幾何学的形状の前記第２のセットのマージされた中心位置を計算することを含み、
   前記マージされた中心位置は、前記第２のセットの前記幾何学的形状のそれぞれの中心位置のいずれとも異なる、請求項２に記載のロボット外科用システム。
6. 前記第１のセットの前記１つ以上の幾何学的形状は、前記第１の画像内の前記第１の気道と少なくとも部分的に重複する１つ以上の多角形を含み、前記第２のセットの前記１つ以上の幾何学的形状は、前記第２の画像内の前記２つ以上の気道と少なくとも部分的に重複する１つ以上の多角形を含む、請求項２に記載のロボット外科用システム。
7. 前記１つ以上のプロセッサは、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記器具が入っていく、前記管腔ネットワークのセグメントを予測するように更に構成されている、請求項１に記載のロボット外科用システム。
8. 前記１つ以上のプロセッサは、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記器具が現在位置している、前記管腔ネットワークのセグメントを確認するように更に構成されている、請求項１に記載のロボット外科用システム。
9. 前記１つ以上のプロセッサは、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、電磁（ＥＭ）データ、ロボットデータ、光学形状センサデータ及び慣性測定ユニット（ＩＭＵ）データからなる群から選択されるデータに基づく推定位置状態の信頼値を調整するように更に構成されている、請求項１に記載のロボット外科用システム。
10. 前記マッピングを決定することは、
    前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することと、
    前記第２の画像で特定された前記２つ以上の気道の前記数が、前記術前モデルデータによって示される前記気道の予想数に等しいと判定することに応答して、前記第２の画像で特定された前記２つ以上の気道のそれぞれが、前記術前モデルデータ内の前記気道のうちの異なる１つにマッピングされるように、前記マッピングを決定することと、
    を含む、請求項１に記載のロボット外科用システム。
11. 命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されると、デバイスのプロセッサに、少なくとも、
    器具上に配置された撮像デバイスを用いて管腔ネットワーク内の複数の画像を捕捉することであって、前記複数の画像は、少なくとも、第１の時間に捕捉された第１の画像と、前記第１の時間よりも後の第２の時間に捕捉された第２の画像と、を含む、ことと、
    前記第１の画像内の第１の気道を特定することと、
    前記第２の画像内の２つ以上の気道を特定することであって、前記第２の画像内の前記２つ以上の気道は、前記第１の画像内の前記第１の気道とは異なる、ことと、
    前記第１の画像内の前記第１の気道及び前記第２の画像内の前記２つ以上の気道に基づいて、前記第１の画像内の前記第１の気道と前記第２の画像内の前記２つ以上の気道との間の空間的重複度を判定することと、
    前記第１の画像内の前記第１の気道と前記第２の画像内の前記２つ以上の気道との間の前記空間的重複度が、重複条件を満たしていると判定することと、
    前記第２の時間中の前記器具の位置に対応する気道の予想数を示す術前モデルデータにアクセスすることと、
    前記術前モデルデータと、前記第１の画像内の前記第１の気道と前記第２の画像内の前記２つ以上の気道との間の前記空間的重複度が前記重複条件を満たしているという前記判定とに基づいて、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間のマッピングを決定することと、
    前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに少なくとも部分的に基づいて、前記管腔ネットワークを通して前記器具を移動させることと、
    を行わせる、非一時的コンピュータ可読記憶媒体。
12. 前記マッピングを決定することは、
    前記第２の画像で特定された前記２つ以上の気道の数が、前記術前モデルデータによって示される前記気道の予想数とは異なると判定することと、
    前記空間的重複度が前記重複条件を満たしているという前記判定に基づいて、前記２つ以上の気道が前記第１の気道から分枝していると判定することと、
    を含む、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
13. 前記空間的重複度が前記重複条件を満たしていると判定することは、前記第１の画像内の前記第１の気道を表す１つ以上の幾何学的形状の第１のセットと、前記第２の画像内の前記２つ以上の気道を表す１つ以上の幾何学的形状の第２のセットとの間の空間的重複度に更に基づく、請求項１１に記載の非一時的コンピュータ可読記憶媒体。
14. 前記第１のセットの前記１つ以上の幾何学的形状は、前記第１の画像内の前記第１の気道と少なくとも部分的に重複する１つ以上の多角形を含み、前記第２のセットの前記１つ以上の幾何学的形状は、前記第２の画像内の前記２つ以上の気道と少なくとも部分的に重複する１つ以上の多角形を含む、請求項１３に記載の非一時的コンピュータ可読記憶媒体。
15. 前記命令は、実行されると、前記プロセッサに更に、前記第２の画像内の前記２つ以上の気道と前記術前モデルデータ内の前記気道との間の前記マッピングに基づいて、前記器具が入ってくる、前記管腔ネットワークのセグメントを予測させる、請求項１１に記載の非一時的コンピュータ可読記憶媒体。

Images