JP2023508521A - 解剖学的特徴の識別及び標的化 - Google Patents

Abstract

外科用器具を位置決めする方法は、患者の治療部位まで第１の医療器具を前進させることであって、第１の医療器具が、カメラを備える、前進させることと、治療部位における標的解剖学的特徴と関連付けられた標的位置を記録することと、第１の医療器具のカメラを使用して、治療部位の第１の画像を生成することと、事前訓練されたニューラルネットワークを使用して、第１の画像内の標的解剖学的特徴を識別することと、第１の画像内の識別された標的解剖学的特徴の位置に少なくとも部分的に基づいて、標的位置を調整することとを伴うことができる。

Description

（関連出願の相互参照）
本出願は、２０１９年１２月３１日出願に出願され、「ＡＮＡＴＯＭＩＣＡＬ ＦＥＡＴＵＲＥ ＩＤＥＮＴＩＦＩＣＡＴＩＯＮ ＡＮＤ ＴＡＲＧＥＴＩＮＧ」と題された、米国仮出願第６２／９５５，９９１号の優先権を主張し、その開示は、その全体として参照により本明細書に組み込まれる。

（発明の分野）
本開示は、医療手技の分野に関する。

様々な医療手技は、個別の医療手技と関連付けられた特定の解剖学的特徴の視覚化を提供するために利用され得る、特定の画像捕捉機能を伴って構成された１つ又は２つ以上のスコープ型デバイスの使用を伴う。特定の動作プロセスは、そのようなデバイスを使用して捕捉された画像データによって、少なくとも部分的に誘導することができる。

本明細書に記載されるものは、スコープデバイス又は他の医療器具を使用して取得された様々な解剖学的特徴の画像に基づいて、そのような特徴の識別及び追跡を促進するためのシステム、デバイス、及び方法である。そのような特徴の識別及び／又は追跡は、例えば、腎臓の解剖学的構造にアクセスする腎臓鏡検査又は他の手技などの医療手技に関連して特定の解剖学的特徴の標的化を促進することができる。

いくつかの実装では、本開示は、外科用器具を位置決めする方法に関する。本方法は、患者の治療部位まで第１の医療器具を前進させることであって、第１の医療器具が、カメラを備える、前進させることと、治療部位における標的解剖学的特徴と関連付けられた標的位置を記録することと、第１の医療器具のカメラを使用して、治療部位の第１の画像を生成することと、事前訓練されたニューラルネットワークを使用して、第１の画像内の標的解剖学的特徴を識別することと、第１の画像内の識別された標的解剖学的特徴の位置に少なくとも部分的に基づいて、標的位置を調整することとを含む。

本方法は、第１の画像内の識別された標的解剖学的特徴の位置に少なくとも部分的に基づいて、第１の医療器具の配向を調整することを更に含むことができる。例えば、第１の医療器具の配向の調整は、識別された標的解剖学的特徴をカメラと関連付けられた視野内で中心に置くことを伴うことができる。

いくつかの実施形態では、標的位置の記録は、標的解剖学的特徴を第１の医療器具の遠位端と接触させることと、標的解剖学的特徴及び第１の医療器具の遠位端の接触位置を示す位置データを生成することと、位置データを１つ又は２つ以上のデータ記憶デバイスに記憶させることとを伴う。例えば、本方法は、第１の画像の当該生成の前に、第１の医療器具の遠位端を標的解剖学的特徴から離して後退させることを更に含むことができる。

いくつかの実施形態では、本方法は、第１の画像の生成の後に、第１の医療器具のカメラを使用して、治療部位の第２の画像を生成することと、事前訓練されたニューラルネットワークを使用して、第２の画像内の解剖学的特徴を識別することと、第２の画像の解剖学的特徴及び第１の画像の標的解剖学的特徴が同じ特徴を表すと決定することと、当該決定に応答して、第２の画像内の識別された解剖学的特徴の位置に少なくとも部分的に基づいて、標的位置を調整することとを更に含む。例えば、第２の画像の解剖学的特徴及び第１の画像の標的解剖学的特徴が同じ特徴を表すと決定することは、第２の画像の解剖学的特徴の少なくとも一部と第１の画像の標的解剖学的特徴の少なくとも一部との間の重複の量が所定の閾値よりも大きいと決定することを伴うことができる。本方法は、第１の画像の標的解剖学的特徴の少なくとも一部をマスクする、第１の画像の第１のマスクを生成することと、第２の画像の解剖学的特徴の少なくとも一部をマスクする、第２の画像の第２のマスクを生成することとを更に含み得、重複の量の決定は、第１のマスク及び第２のマスクを使用して実施される。いくつかの実施形態では、第２の画像の解剖学的特徴及び第１の画像の標的解剖学的特徴が同じ特徴を表すと決定することは、第１の画像と第２の画像との間の特徴の移動を追跡することを伴うことができる。いくつかの実施形態では、本方法は、第１の画像及び第２の画像に少なくとも部分的に基づいて、第２の画像の解剖学的特徴の三次元位置を推定することを更に含む。例えば、解剖学的特徴の三次元位置の推定は、カメラ焦点距離、カメラ主点、第１の医療器具の相対運動、第１の医療器具の回転、並びに電磁、構造化照明、及び／又は飛行時間センサ読み取り値のうちの１つ又は２つ以上に基づく。

いくつかの実施形態では、標的位置の調整は、第１の医療器具の決定された移動に少なくとも部分的に更に基づく。本方法は、患者の組織を通して標的位置に向かって第２の医療器具を経皮的に方向付けることを更に含むことができる。例えば、患者の組織を通して標的位置に向かって第２の医療器具を経皮的に方向付けることは、第１の医療器具及び第２の医療器具の両方の整合センサによって提供されるセンサデータを使用して実施することができる。いくつかの実施形態では、本方法は、少なくとも部分的にロボットシステムによって実施される。

いくつかの実装では、本開示は、解剖学的特徴を標的化する方法に関する。本方法は、患者の標的解剖学的特徴と関連付けられた標的位置を示す標的位置データを受信することと、標的位置データを１つ又は２つ以上のデータ記憶デバイスに記憶することと、患者内の手術部位の第１の画像を受信することと、人工ニューラルネットワークを使用して、標的解剖学的特徴を表す第１の画像内の第１の形態を識別することと、第１の画像内の識別された形態に基づいて、標的位置を示す更新された標的位置データを記憶することとを含む。

本方法は、更新された標的位置データに応答して、医療器具を関節運動させることを更に含むことができる。いくつかの実施形態では、本方法は、医療システムの制御回路によって実施され、標的位置データ及び第１の画像は、医療システムの内視鏡から受信される。標的解剖学的特徴は、患者の腎臓の杯内の乳頭の露出部分であり得る。人工ニューラルネットワークは、公知の画像及び標識データに基づいて事前訓練することができる。例えば、人工ニューラルネットワークは、多層特徴ピラミッドネットワークを含むことができる。

更新された標的位置データは、患者に関連する公知の呼吸器情報に少なくとも部分的に基づくことができる。いくつかの実施形態では、本方法は、手術部位の第２の画像を受信することと、人工ニューラルネットワークを使用して、標的解剖学的特徴を表す第２の画像内の第２の形態を識別することと、第１の形態及び第２の形態に少なくとも部分的に基づいて、標的解剖学的特徴の三次元位置を決定することを更に含む。例えば、標的解剖学的特徴の三次元位置の決定は、第２の形態の相対的サイズに少なくとも部分的に基づくことができる。いくつかの実施形態では、標的解剖学的特徴の三次元位置の決定は、構造化照明センサ、飛行時間センサ、及び／又は同等物などの１つ又は２つ以上の外部カメラセンサによって生成されたデータに基づく。

いくつかの実装では、本開示は、カメラ有する内視鏡であって、その遠位端と関連付けられた電磁位置センサを有する、内視鏡と、複数の関節運動アームを含む、ロボット医療サブシステムと、内視鏡及びロボット医療サブシステムに通信可能に結合された制御回路とを備える、医療システムに関する。制御回路は、ユーザ入力に応答して、患者の治療部位まで内視鏡を前進させ、電磁場内の内視鏡の遠位端の位置を記録し、位置を標的解剖学的位置として示すユーザインターフェースデータを生成し、内視鏡のカメラから第１の画像を受信し、事前訓練されたニューラルネットワークを使用して、第１の画像内の標的解剖学的特徴を識別し、かつ第１の画像内の識別された標的解剖学的特徴の位置に少なくとも部分的に基づいて、標的解剖学的位置を調整するように構成されている。

制御回路は、電磁場内の内視鏡の遠位端を較正するように更に構成することができる。いくつかの実施形態では、医療システムは、制御回路に通信可能に結合されたロボット腎臓鏡を更に備える。

いくつかの実装態様では、本開示は、内視鏡インターフェースと、１つ又は２つ以上のプロセッサ及び１つ又は２つ以上のデータ記憶デバイスを含む制御回路とを備える、コンピューティングデバイスに関する。制御回路は、内視鏡インターフェース上で制御回路に結合された内視鏡の遠位端の位置を示す整合センサデータを受信し、内視鏡の遠位端の位置を標的腎臓鏡検査位置として示す、第１のユーザインターフェースデータを生成し、内視鏡インターフェース上で医療部位の第１の画像を受信し、第１の画像内の第１の解剖学的形態を識別し、内視鏡インターフェース上で医療部位の第２の画像を受信し、第２の画像内の第２の解剖学的形態を識別し、第１の解剖学的形態及び第２の解剖学的形態が同じ標的解剖学的特徴を表すと決定し、かつ当該決定に基づいて、標的腎臓鏡検査位置を更新するように構成されている。

制御回路は、第１の画像及び第２の画像のオーバーレイにおける第１の形態及び第２の形態の重複の量が、所定の閾値よりも大きいと決定するように更に構成することができる。いくつかの実施形態では、制御回路は、標的腎臓鏡検査位置の当該更新に応答して、更新された標的腎臓鏡検査位置を示す第２のユーザインターフェースデータを生成するように構成されている。

本開示を要約する目的のために、特定の態様、利点、及び新規の特徴が記載されている。必ずしも全てのそのような利点が、任意の特定の実施形態に従って達成され得るわけでないことを理解されたい。したがって、開示された実施形態は、本明細書で教示又は提案され得るような他の利点を必ずしも達成することなく、本明細書で教示されるような１つの利点又は利点の群を達成又は最適化する様式で、実行され得る。

様々な実施形態が、例証目的のために添付の図面に描写され、決して本発明の範囲を限定するものとして解釈されるべきではない。加えて、異なる開示された実施形態の様々な特徴は、本開示の一部である追加の実施形態を形成するために組み合わせることができる。図面の全体を通して、参照番号は、参照要素間の対応を示すために再利用され得る。
１つ又は２つ以上の実施形態による、ロボット医療システムの実施形態を図示する。 １つ又は２つ以上の実施形態による、図１の医療システムに実装され得る例示的デバイスを図示する。 １つ又は２つ以上の実施形態による、泌尿器系の尿管鏡配置部分を図示する。 １つ又は２つ以上の実施形態による、誘導型経皮的腎結石摘出術を実施するためのプロセスを図示するフロー図である。 １つ又は２つ以上の実施形態による、誘導型経皮的腎結石摘出術を実施するためのプロセスを図示するフロー図である。 １つ又は２つ以上の実施形態による、図４のプロセスと関連付けられた様々なブロック、状態、及び／又は動作に対応する特定の画像を示す。 １つ又は２つ以上の実施形態による、図４のプロセスと関連付けられた様々なブロック、状態、及び／又は動作に対応する特定の画像を示す。 １つ又は２つ以上の実施形態による、解剖学的特徴を標的化するためのプロセスを図示するフロー図である。 １つ又は２つ以上の実施形態による、標的識別及び／又は分類アーキテクチャを図示する。 １つ又は２つ以上の実施形態による、ニューラルネットワークベースの画像セグメンテーションアーキテクチャを図示する。 １つ又は２つ以上の実施形態による、標的解剖学的特徴を追跡するためのプロセスを図示するフロー図である。 １つ又は２つ以上の実施形態による、標的解剖学的特徴を追跡するためのプロセスを図示するフロー図を提供する。 １つ又は２つ以上の実施形態による、標的解剖学的特徴を追跡するためのプロセスを図示するフロー図を提供する。 １つ又は２つ以上の実施形態による、図１０－１及び図１０－２のプロセスと関連付けられた様々なブロック、状態、及び／又は動作に対応する特定の画像を示す。 １つ又は２つ以上の実施形態による、三次元位置推定フレームワークを図示する。

本明細書で提供される見出しは、単に便宜上のものであり、特許請求される発明の範囲又は意味に必ずしも影響を及ぼさない。特定の好ましい実施形態及び実施例が以下に開示されるが、発明の主題は、具体的に開示された実施形態を超えて他の代替実施形態及び／又は用途まで、並びにそれらの修正及び均等物まで拡張する。したがって、本明細書から生じ得る特許請求の範囲は、以下に記載される特定の実施形態のうちのいずれかによって限定されない。例えば、本明細書に開示される任意の方法又はプロセスでは、方法又はプロセスの行為又は動作は、任意の好適な順序で実施され得、必ずしも任意の特定の開示された順序に限定されない。様々な動作が、特定の実施形態を理解することに役立ち得る様式で、複数の別個の動作として説明され得る。しかしながら、説明の順序は、これらの動作が順序依存的であることを暗示すると解釈されるべきではない。加えて、本明細書に記載の構造、システム、及び／又はデバイスは、統合された構成要素として、又は別個の構成要素として具現化され得る。様々な実施形態を比較する目的のために、これらの実施形態の特定の態様及び利点が記載される。必ずしも全てのそのような態様又は利点が、任意の特定の実施形態によって達成されるわけではない。したがって、例えば、様々な実施形態は、本明細書で同様に教示又は提案され得るような他の態様又は利点を必ずしも達成することなく、本明細書で教示されるような１つの利点又は利点の群を達成又は最適化する様式で、実行され得る。

場所の特定の標準的な解剖学的用語が、本明細書では、好ましい実施形態に関して、動物、すなわち、ヒトの解剖学的構造を指すために使用される。「外側」、「内側」、「上側」、「下側」、「下方」、「上方」、「垂直」、「水平」、「上部」、「底部」、及び同様の用語などの特定の空間的に相対的な用語は、本明細書では、１つの装置／要素又は解剖学的構造の別の装置／要素又は解剖学的構造との空間的関係を説明するために使用されるが、これらの用語は、図面に図示されるように、要素／構造の間の位置関係を説明するための説明を容易にするために本明細書で使用されることが理解される。空間的に相対的な用語は、図面に描写される配向に加えて、使用又は動作時の要素／構造の異なる配向を包含することを意図していると理解されたい。例えば、別の要素／構造の「上方」として記載される要素／構造は、対象患者又は要素／構造の代替配向に対してそのような他の要素／構造の下方にある、又はその傍にある位置を表し得、逆もまた同様である。

本開示は、特定の医療手技を補助するために患者の標的解剖学的特徴を識別及び追跡するためのシステム、デバイス、及び方法に関する。本開示の特定の態様は、腎臓結石除去／治療手技などの腎臓、泌尿器、及び／又は腎臓学的手技の文脈において本明細書で詳細に記載されているが、そのような文脈は、便宜上及び明確性のために提供され、本明細書に開示される解剖学的特徴の識別及び追跡概念は、任意の好適な医療手技に適用可能であることを理解されたい。しかしながら、記述されたように、腎臓／泌尿器系の解剖学的構造並びに関連する医学的問題及び手技の説明が、本明細書に開示される発明の概念の説明を補助するために以下に提示される。

尿路結石症としても知られる腎臓結石病は、比較的よく見られる医学的状態であり、「腎臓結石」、「尿路結石」、「腎結石」、「腎臓結石症」、又は「腎結石症」と称される固体材料片の尿路内の形成を伴う。尿路結石は、腎臓、尿管、及び膀胱内で形成され、かつ／又は見出され得る（「膀胱結石」と称される）。尿路結石は、濃縮された鉱物の結果として形成し、尿管又は尿道を通した尿流を妨げるために十分なサイズに達すると、著しい腹痛を引き起こし得る。尿路結石は、カルシウム、マグネシウム、アンモニア、尿酸、システイン、及び／又は他の化合物から形成され得る。

膀胱及び尿管から尿路結石を除去するために、外科医は、尿道を通して尿路の中に尿管鏡を挿入させ得る。典型的には、尿管鏡は、尿路の可視化を可能にするように構成された内視鏡をその遠位端に含む。尿管鏡はまた、尿路結石を捕捉又は破砕するための結石摘出機構を含むこともできる。尿管鏡検査手技中に、１人の医師／技術者が、尿管鏡の位置を制御し得る一方で、もう１人の他の医師／技術者は、結石摘出機構を制御し得る。

腎臓から比較的大きな結石（すなわち、「腎臓結石」）を除去するために、医師は、皮膚を通して腎臓鏡を挿入して結石を破壊及び／又は除去することを含む、経皮的腎石切除（percutaneous nephrolithotomy、「ＰＣＮＬ」）技法を使用し得る。腎臓結石を位置特定することは、腎臓鏡の挿入のための標的を提供するために、蛍光透視法を使用して達成され得る。しかしながら、蛍光透視法は、蛍光透視鏡自体のコスト、並びに蛍光透視鏡を操作するための技術者のコストにより、腎石切除手技のコストを増加させる。蛍光透視法はまた、長期間にわたって患者を放射線に曝露する。蛍光透視法でさえも、腎臓結石にアクセスするための経皮的切開を正確に加えることは、困難であり、不必要に不正確であり得る。更に、いくつかの腎石切除技法は、２日間又は３日間の入院を伴う。要するに、特定の腎石切除技法は、比較的高価であり、患者にとって問題となり得る。

特定の外科的手技によると、内視鏡（例えば、尿管鏡）は、位置センサを装備することができ、センサの位置は、ＰＣＮＬのためなどの経皮的アクセスのための標的として使用される。例えば、電磁センサを装備した尿管鏡及び／又は電磁センサを装備した経皮的アクセス針が、腎臓結石の除去及び／又は同等物のための経皮的腎臓アクセスを誘導するために使用され得る。そのような手技では、外科医／医師は、腎臓の標的杯に尿管鏡を駆動し、針のための経皮的アクセス標的として尿管鏡の遠位端／先端と関連付けられた電磁センサ（例えば、ビーコン）を使用することができる。一般に、標的杯に対する経皮軸の有効性は、例えば、それを通して経皮的アクセスが標的杯まで行われ得る乳頭に対する尿管鏡の位置及び／又は先頭方位に対して、医師が尿管鏡を位置決めする／駐留させる場所に少なくとも部分的に依存し得る。尿管鏡の遠位端／先端が経皮的アクセス標的として使用される、いくつかの手技について、経皮的アクセス／接近中に尿管鏡の遠位先端が可能な限り乳頭／杯の近くにあることが望ましくあり得る。

「スコープ」及び「内視鏡」という用語は、それらの広義かつ通常の意味に従って本明細書で使用され、画像生成、視認、及び／又は捕捉機能を有し、かつ身体の任意のタイプの器官、空洞、管腔、小室、又は空間に導入されるように構成された任意のタイプの細長い医療器具を指し得る。例えば、本明細書でのスコープ又は内視鏡の言及は、尿管鏡、膀胱鏡、腎臓鏡、気管支鏡、関節鏡、結腸鏡、腹腔鏡、ボアスコープ、又は同等物を指し得る。スコープ／内視鏡は、いくつかの事例では、剛性又は可撓性チューブを備えてもよく、外側シース、カテーテル、導入器、若しくは他の管腔型デバイス内を通過させられるように定寸され得るか、又はそのようなデバイスを用いることなく使用され得る。

ロボット支援型経皮的手技は、腎臓結石除去手技などの様々な医療手技に関連して実装することができ、ロボットツールは、医師／泌尿器科医が内視鏡標的アクセス（例えば、尿管鏡）並びに経皮的アクセス又は治療を実施することを可能にすることができる。しかしながら、動作中の標的解剖学的特徴の移動は、操作する医師が固定された経皮的アクセス標的位置に依拠する場合に問題となり得る。有利なことに、本開示の態様は、医療手技におけるリアルタイム標的追跡／誘導に関し、これは、経皮的アクセス器具（例えば、針又は他の剛性ツール）を方向付けるために、かつ／又はそのようなリアルタイム標的追跡情報に応答して、内視鏡位置並びに／若しくは整合を自動的に調整することなどによって、ロボット計装を誘導するために、操作する医師によって利用され得る。そのような機能を促進するために、本開示の実施形態は、有利には、腎臓鏡検査などの様々な外科手術のための比較的に効率的かつ正確な経皮的アクセスを達成するように医師（例えば、泌尿器科医）を支援するための自動標的検出、追跡、及び／又は三次元位置決め推定のための機構を提供し得る。本開示の態様は、便宜上、尿管鏡誘導型腎臓鏡検査の文脈において本明細書に記載されているが、本開示の発明の態様は、ロボットであるか否かにかかわらず、任意の好適な又は望ましいタイプの経皮的及び／又は内視鏡的医療手技で実装され得ることを理解されたい。

医療システム
図１は、本開示の態様による、様々な医療手技を実施するための例示的医療システム１０を図示する。医療システム１０は、医療器具３２と係合し、かつ／又はそれを制御し、患者１３に手技を実施するように構成されたロボットシステム１１を含む。医療システム１０はまた、ロボットシステム１１とインターフェース接続し、手技に関する情報を提供し、かつ／又は種々の他の動作を実施するように構成された制御システム５０も含む。例えば、制御システム５０は、特定の情報を提示し、医師５を支援するためのディスプレイ４２を含むことができる。医療システム１０は、患者１３０を保持するように構成されたテーブル１５を含むことができる。システム１０は、ロボットシステム１１のロボットアーム１２のうちの１つ又は２つ以上によって保持され得るか、又は独立型デバイスであり得る、電磁（electromagnetic、ＥＭ）場発生器（図示せず、図３参照）を更に含んでもよい。

いくつかの実装では、システム１０は、経皮的腎石切除術（ＰＣＮＬ）などの経皮的手技を実施するために使用され得る。例証すると、患者１３が、大きすぎて尿路を通して除去することができない腎臓結石８０を有する場合、医師は、患者１３上の経皮的アクセス点を通して腎臓結石を除去するための手技を実施することができる。いくつかの実施形態では、医師は、制御システム５０及び／又はロボットシステム１１と相互作用してロボットシステム１１を制御し、尿道６７から、膀胱６５を通して、尿管６３の上方に、かつ結石８０が位置する腎臓７０の中に、医療器具３２（例えば、スコープ）を前進させてナビゲートすることができる。制御システム５０は、医師５が医療器具をナビゲートすることを支援するために、それを用いて捕捉されたリアルタイム内視鏡画像などの医療器具３２に関する情報をディスプレイ４２を介して提供することができる。

腎臓の解剖学的構造は、本発明の概念の態様に関連する特定の医療手技に関して参考のために本明細書に記載されている。図１の典型的な解剖学的位置に大まかに示された腎臓は、一般に、後腹膜腔内で左右に位置する２つの豆形状の器官を含む。成人のヒトでは、腎臓は、一般に、長さが約１１ｃｍである。腎臓は、対の腎動脈から血液を受容し、血液は、対の腎静脈の中に流出し、そのうちのいずれも視覚的に明確にするために示されていない。各腎臓７０は、腎臓から膀胱６５に排泄された尿を運搬する管である、尿管６３に付着している。

腎臓は、典型的には、腹腔内で比較的高く位置し、わずかに斜めの角度で後腹膜位置にある。肝臓の位置によって引き起こされる腹腔内の非対称性は、典型的には、右腎臓を左よりわずかに低く、かつ小さくし、左腎臓よりもわずかに中央に配置させる。各腎臓の上部には、副腎がある。腎臓の上部は、第１１肋骨及び第１２肋骨によって部分的に保護される。その副腎を伴う各腎臓は、脂肪の２つの層、すなわち、腎筋膜と腎被膜との間に存在する腎周囲脂肪、及び腎筋膜の上方にある腎傍脂肪によって囲繞される。

腎臓は、様々な体液区画の体積、流体浸透圧、酸塩基平衡、様々な電解質濃度、及び毒素の除去の制御に関与する。腎臓は、特定の物質を分泌し、他の物質を再吸収することによって、濾過機能を提供する。尿中に分泌される物質の例は、水素、アンモニウム、カリウム、及び尿酸である。加えて、腎臓はまた、ホルモン合成及びその他などの様々な他の機能も実行する。

腎臓７０の凹状境界上の陥凹領域は、腎動脈（図示せず）が腎臓に進入し、腎静脈（図示せず）及び尿管６３が退出する、腎門７８である。腎臓は、頑丈な線維組織である、腎被膜７４によって囲繞され、これは、それ自体が腎周囲脂肪、腎筋膜、及び腎傍脂肪によって囲繞される。これらの組織の前（正）面が、腹膜である一方で、後（裏）面は、横筋筋膜である。

腎臓の機能的物質又は実質は、２つの主要な構造、すなわち、外側腎皮質７７及び内側腎髄質８７に分割される。これらの構造は、それぞれ、腎錐体７２と呼ばれる髄質の一部を囲繞する腎皮質を含有する、複数の円錐形の腎葉の形状をとる。腎錐体７２の間には、腎柱７３と呼ばれる皮質の突起がある。腎臓の尿産生機能構造である、ネフロン（図１に詳細に示されていない）は、皮質及び髄質にまたがる。ネフロンの初期濾過部分は、皮質に位置する腎小体である。これに、皮質から髄錐体の奥深くに通過する尿細管が続く。腎皮質の一部である、髄線は、単一の集合管の中に排出する尿細管の集合である。

各錐体の先端又は乳頭７９は、個別の小腎杯７５の中に尿を出し、小腎杯７５は、大腎杯７６の中に出し、大腎杯７６は、尿管６３に移行する腎盂７１の中に出す。腎門７８では、尿管６３及び腎静脈が腎臓から出て、腎動脈が入る。腎門脂肪及びリンパ節を伴うリンパ組織は、これらの構造を囲繞する。腎門脂肪は、腎洞と呼ばれる脂肪で充填された空洞と隣接している。腎洞は、腎盂及び杯を集合的に含有し、これらの構造を腎髄組織から分離する。

医療システム１０を更に参照すると、医療器具（例えば、スコープ）３２は、尿路を通して腎臓７０の中に前進させることができる。腎臓結石８０の部位に（例えば、それを通して結石８０がアクセス可能である腎臓７０の杯内に）来ると、医療器具３２を使用して、腎臓７０への経皮的アクセスのための標的場所を指定する／タグ付けすることができる。腎臓及び／又は周辺解剖学的構造への損傷を最小限に抑えるために、医師５は、経皮的アクセス器具（例えば、針、図示せず）を用いて腎臓の中に進入するための標的場所として腎臓７０の特定の乳頭７９を指定することができる。しかしながら、他の標的場所も、指定又は決定することができる。経皮的アクセス器具が標的場所（例えば、杯）に到達すると、利用された経皮的アクセス経路は、患者１３から腎臓結石８０を抽出するために使用され得る。

図１の例では、医療器具３２は、スコープとして実装される。しかしながら、医療器具３２はそれぞれ、カテーテル、ガイドワイヤ、砕石器、バスケット回収デバイスなどの任意の好適なタイプの医療器具として実装することができる。いくつかの実施形態では、医療器具が、操縦可能デバイスである一方で、他の実施形態では、医療器具は、非操縦可能デバイスである。いくつかの実施形態では、外科用ツールは、針、メス、ガイドワイヤなどのヒトの解剖学的構造を穿刺するか、又はそれを通して挿入されるように構成されたデバイスを指す。しかしながら、外科用ツールは、他のタイプの医療器具も指し得る。

スコープ３２などのスコープは、ヒトの解剖学的構造の自然口又は管腔内などのヒトの解剖学的構造内でナビゲートするように構成することができる。スコープは、例えば、（例えば、尿路にアクセスするための）尿管鏡、腹腔鏡、（例えば、腎臓にアクセスするための）腎臓鏡、（例えば、気管支などの気道にアクセスするための）気管支鏡、（例えば、結腸にアクセスするための）結腸鏡、（例えば、関節にアクセスするための）関節鏡、（例えば、膀胱にアクセスするための）膀胱鏡などを含むことができる。

ロボットシステム１１は、医療手技の実行を少なくとも部分的に促進するように構成することができる。ロボットシステム１１は、特定の手技に応じて種々の方法で配列することができる。ロボットシステム１１は、スコープ３２と係合し、かつ／又はそれを制御し、手技を実施するように構成された１つ又は２つ以上のロボットアーム１２を含むことができる。示されるように、各ロボットアーム１２は、複数の移動度を提供し得る、関節に結合された複数のアームセグメントを含むことができる。図１の例では、ロボットシステム１１０は、患者の脚に近接して位置決めされ、ロボットアーム１２は、患者１３の尿道６７などのアクセス点の中へのアクセスのために、スコープ３２と係合し、それを位置決めするように作動される。ロボットシステム１１０が適切に位置決めされると、スコープ１２０は、ロボットアーム１２を使用してロボット制御で、医師５によって手動で、又はそれらの組み合わせで、患者１３に挿入することができる。

ロボットシステム１１は、制御システム５０、テーブル１５、ＥＭ場発生器（図示せず、図３参照）、スコープ３２、及び／又は経皮的アクセス器具（例えば、針、図３参照）などの医療システム１００の任意の構成要素に結合することができる。いくつかの実施形態では、ロボットシステム１１は、制御システム５０に通信可能に結合される。例えば、ロボットシステム１１は、制御システム５０から制御信号を受信し、特定の様式でロボットアーム１２を位置決めする、スコープ３２を操作するなどの動作を実施するように構成され得る。それに応答して、ロボットシステム１１は、ロボットシステム１１の構成要素を制御し、動作を実施することができる。いくつかの実施形態では、ロボットシステム１１は、患者１３の内部解剖学的構造、すなわち、図１の特定の描写に関する泌尿器系を表す画像及び／又は画像データをスコープ３２から受信し、かつ／若しくは画像／画像データを制御システム５０に送信する（これは、次いで、ディスプレイ４３又は他の出力デバイス上に表示され得る）ように構成される。更に、いくつかの実施形態では、ロボットシステム１１は、流体、光学系、電力、又は同等物がそこから受容されることを可能にするような様式で、制御システム５０などの医療システム１０の構成要素に結合される。ロボットシステムの追加の例示的な詳細は、図２を参照して以下で更に詳細に論じられる。

制御システム５０は、医療手技の実施を支援するための様々な機能を提供するように構成することができる。いくつかの実施形態では、制御システム５０は、ロボットシステム１１に結合され、ロボットシステム１１と協働して動作し、患者１３に医療手技を実施することができる。例えば、制御システム５０は、（例えば、ロボットシステム１１及び／又はスコープ３２を制御する、スコープ３２によって捕捉された画像を受信するなどのために）無線又は有線接続を介してロボットシステム１１と通信する、１つ又は２つ以上の流体チャネルを介してロボットシステム１１に流体を提供する、１つ又は２つ以上の電気接続を介してロボットシステム１１に電力を提供する、１つ又は２つ以上の光ファイバ若しくは他の構成要素を介してロボットシステム１１に光学系を提供することなどができる。更に、いくつかの実施形態では、制御システム５０は、針及び／又は腎臓鏡と通信して、そこから位置データを受信することができる。更に、いくつかの実施形態では、制御システム５０は、テーブル１５と通信して、テーブル１５を特定の配向に位置決めするか、又は別様にテーブル１５を制御することができる。更に、いくつかの実施形態では、制御システム５０は、ＥＭ場発生器（図示せず）と通信して、患者１３の周囲の領域内のＥＭ場の生成を制御することができる。

制御システム５０は、医師５又は他者が医療手技を実施することを支援するように構成された様々なＩ／Ｏデバイスを含むことができる。例えば、制御システム５０は、患者１３内でスコープ３２をナビゲートするためなどのスコープ３２を制御するためのユーザ入力を可能にするように構成された特定の入力／出力（Ｉ／Ｏ）構成要素を含むことができる。いくつかの実施形態では、例えば、医師５は、制御システム及び／又はロボットシステムに入力を提供することができ、それに応答して、制御信号を、スコープ３２を操作するためにロボットシステム１１に送信することができる。図１にも示されるように、制御システム５０は、手技に関する様々な情報を提供するためにディスプレイ４２を含むことができる。例えば、ディスプレイ４２は、スコープ３２に関する情報を提供することができる。例えば、制御システム５０は、スコープ３２によって捕捉されるリアルタイム画像を受信し、ディスプレイ４２を介してリアルタイム画像を表示することができる。加えて、又は代替として、制御システム１４０は、医療モニタ及び／又は患者１３と関連付けられたセンサから信号（例えば、アナログ、デジタル、電気、音響／音波、空気圧、触覚、油圧など）を受信することができ、ディスプレイ４２は、患者１３の健康又は環境に関する情報を提示することができる。そのような情報は、例えば、心拍数（例えば、ＥＣＧ、ＨＲＶなど）、血圧／速度、筋肉生体信号（例えば、ＥＭＧ）、体温、血液酸素飽和度（例えば、ＳｐＯ_２）、ＣＯ_２、脳波（例えば、ＥＥＧ）、環境及び／又は局所若しくは中核体温などを含む、医療モニタを介して表示される情報を含むことができる。

制御システム５０の機能を促進するために、制御システムは、様々な構成要素（「サブシステム」と称されることもある）を含むことができる。例えば、制御システム５０は、制御電子機器／回路、並びに１つ又は２つ以上の電源、空気圧デバイス、光源、アクチュエータ、データ記憶デバイス、及び／又は通信インターフェースを含むことができる。いくつかの実施形態では、制御システム５０は、実行されると、様々な動作を実装させる、実行可能な命令を記憶するように構成された、コンピュータベースの制御システムを備える、制御回路を含む。いくつかの実施形態では、制御システム５０が、可動である一方で、他の実施形態では、制御システム５０は、実質的に静止したシステムである。様々な機能及び構成要素が、制御システム５０によって実装されるものとして論じられているが、そのような機能及び／又は構成要素のうちのいずれかは、例えば、ロボットシステム１１、テーブル１５などの他のシステム及び／又はデバイスに統合され、かつ／若しくはそれによって実施することができる。例示的なロボットシステムの構成要素は、図２を参照して以下で更に詳細に論じられる。

医療システム１０は、医師が手技を実施することを支援するための誘導（例えば、器具追跡、器具整合情報など）を提供すること、医師がぎこちない腕の運動及び／又は位置を必要とすることなく人間工学的位置から手技を実施することを可能にすること、１人の医師が１つ又は２つ以上の医療器具を用いて手技を実施することを可能にすること、（例えば、蛍光透視技法と関連付けられた）放射線曝露を回避すること、手技が単一手術設定で実施されることを可能にすること、連続的吸引を提供し、より効率的に物体を除去する（例えば、腎臓結石を除去する）ことなどの種々の利益を提供することができる。例えば、医療システム１０は、出血及び／又は解剖学的構造（例えば、決定器官、血管など）への損傷を最小限に抑えながら、医師が様々な医療器具を使用して、標的解剖学的特徴にアクセスすることを支援するための誘導情報を提供することができる。更に、医療システム１０は、医師及び患者の放射線への曝露を低減し、かつ／又は手術室内の機器の量を低減するための非放射線ベースのナビゲーション並びに／若しくは位置特定技法を提供することができる。更に、医療システム１０は、少なくとも制御システム５０と、独立して可動であり得るロボットシステム１１との間に分布する機能を提供することができる。そのような機能及び／又は移動度の分布は、制御システム５０並びに／若しくはロボットシステム１１が、特定の医療手技のために最適な場所に配置されることを可能にし、これは、患者の周囲の作業領域を最大限にし、かつ／又は医師が手技を実施するための最適化された場所を提供することができる。

システム１０の様々な構成要素は、ネットワーク上で相互に通信可能に結合することができ、これは、無線及び／又は有線ネットワークを含み得る。例示的なネットワークは、１つ又は２つ以上のパーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットエリアネットワーク（ＩＡＮ）、セルラーネットワーク、インターネットなどを含む。更に、いくつかの実施形態では、システム１０の様々な構成要素は、１つ又は２つ以上の支持ケーブル、管、又は同等物を介して、データ通信、流体／ガス交換、電力交換などのために接続することができる。

図２は、ロボットシステム１１（例えば、カートベースのロボット対応システム）及び図１に示される制御システム５０の実施形態の詳細な例証を提供する。ロボットシステム１１は、一般に、細長い支持構造１４（「カラム」とも称される）、ロボットシステム基部２５、及びカラム１４の上部におけるコンソール１６を含む。カラム１４は、１つ又は２つ以上のロボットアーム１２（図２には３つが示されている）の展開を支持するための１つ又は２つ以上のアーム支持体１７（「キャリッジ」とも称される）を含んでもよい。アーム支持体１７は、患者に対するより良好な位置決めのために、垂直軸に沿って回転してロボットアーム１２の基部を調整する、個別に構成可能なアームマウントを含んでもよい。アーム支持体１７はまた、アーム支持体１７がカラム１４に沿って垂直方向に並進することを可能にする、カラムインターフェース１９も含む。

カラムインターフェース１９は、アーム支持体１７の垂直方向の並進を誘導するためにカラム１４の反対側に位置決めされる、スロット２０などのスロットを通してカラム１４に接続することができる。スロット２０は、ロボットシステム基部２５に対して様々な垂直方向の高さにおいてアーム支持体１７を位置決めし、保持するための垂直方向の並進インターフェースを含有する。アーム支持体１７の垂直方向の並進は、ロボットシステム１１が、種々のテーブルの高さ、患者のサイズ、及び医師の選好を満たすようにロボットアーム１２の到達範囲を調整することを可能にする。同様に、アーム支持体１７上の個別に構成可能なアームマウントは、ロボットアーム１２のロボットアーム基部２１が種々の構成で角度付けられることを可能にする。

ロボットアーム１２は、一般に、各関節が１つ又は２つ以上の独立したアクチュエータを備える、一連の関節２４によって接続される一連のリンケージ２３によって分離されたロボットアーム基部２１及びエンドエフェクタ２２を備えてもよい。各アクチュエータは、独立して制御可能なモータを備えてもよい。各独立して制御可能な関節２４は、ロボットアームに利用可能な独立した自由度を提供するか、又は表すことができる。いくつかの実施形態では、アーム１２の各々は、７つの関節を有し、したがって、「冗長」自由度を含む７つの自由度を提供する。冗長自由度は、ロボットアーム１２が、異なる結合位置及び関節角度を使用して空間内の特定の位置、配向、及び軌道で、それらのそれぞれのエンドエフェクタ２２を位置決めすることを可能にする。これにより、システムが空間内の所望のポイントから医療器具を位置決めし、方向付けることが可能になると同時に、医師がアーム関節を患者から離れる臨床的に有利な位置へと移動させて、アームの衝突を回避しながらよりよいアクセスを生み出すことを可能にする。

ロボットシステム基部２５は、床の上のカラム１４、アーム支持体１７、及びアーム１２の重量の平衡を保つ。したがって、ロボットシステム基部２５は、電子機器、モータ、電源、並びに移動を選択的に可能にするか、又はロボットシステムを固定化する構成要素などのより重い構成要素を収容し得る。例えば、ロボットシステム基部２５は、手技前にロボットシステムが部屋中をあちこちに容易に移動することを可能にする、ホイール形状のキャスタ２８を含む。適切な位置に到達した後、キャスタ２８は、手技中にロボットシステム１１を定位置に保持するためのホイールロックを使用して、固定化され得る。

カラム１４の上端に位置決めされると、コンソール１６は、ユーザ入力を受信するためのユーザインターフェース並びに術前及び術中データの両方を医師ユーザに提供するための表示画面（又は、例えば、タッチスクリーン２６などの二重目的デバイス）の両方を可能にする。タッチスクリーン２６上の潜在的な術前データは、術前計画、術前コンピュータ断層撮影（computerized tomography、ＣＴ）スキャンから導出されたナビゲーション及びマッピングデータ、並びに／又は術前の患者への問診からのメモを含んでもよい。ディスプレイ上の術中データは、ツールから提供される光学情報、センサからのセンサ及び座標情報、及び呼吸、心拍数、及び／又はパルスなどの不可欠な患者統計を含んでもよい。コンソール１６は、医師がアーム支持体１７の反対側のカラム１４側からコンソールにアクセスすることを可能にするように位置決めされ、傾転され得る。この位置から、医師は、コンソール１６をロボットシステム１１の背後から操作しながら、コンソール１６、ロボットアーム１２、及び患者を視認し得る。示されるように、コンソール１６はまた、ロボットシステム１１の操作及び安定化を支援するためのハンドル２７を含むこともできる。

ロボットアーム１２の各々のエンドエフェクタ２２は、機構交換器インターフェース（mechanism changer interface、ＭＣＩ）を使用して取り付けられ得る、器具デバイスマニピュレータ（instrument device manipulator、ＩＤＭ）を備えてもよい。いくつかの実施形態では、ＩＤＭは、除去され、異なるタイプのＩＤＭと交換することができ、例えば、第１のタイプのＩＤＭが、内視鏡を操作し得る一方で、第２のタイプのＩＤＭは、腹腔鏡を操作し得る。ＭＣＩは、空気圧、電力、電気信号、及び／又は光信号をロボットアーム１２からＩＤＭに伝達するためのコネクタを含むことができる。ＩＤＭは、例えば、直接駆動、高調波駆動、ギア駆動、ベルト及びプーリ、磁気駆動、及び同等物を含む技法を使用して、スコープ３２などの医療器具（例えば、外科用ツール／器具）を操作するように構成され得る。

図２に示される制御システム５０は、例示的な外科用ロボットシステム１１のためのコマンドコンソールとしての役割を果たし得る。制御システム５０は、コンソール基部５１及び１つ又は２つ以上の表示デバイス４２を含むことができる。

システム１０は、本明細書に記載の機能のうちの特定のものを実施するように構成された特定の制御回路６０を含んでもよい。制御回路６０は、ロボットシステム、制御システム５０、又は両方の一部であり得る。すなわち、本明細書における制御回路の言及は、ロボットシステム、制御システム、又は図１に示される医療システム１０などの医療システムの任意の他の構成要素に具現化された回路を指し得る。「制御回路」という用語は、その広義かつ通常の意味に従って本明細書で使用され、プロセッサ、処理回路、処理モジュール／ユニット、チップ、ダイ（例えば、１つ又は２つ以上の能動及び／又は受動デバイス並びに／若しくは接続性回路を含む、半導体ダイ）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、マイクロコンピュータ、中央処理ユニット、フィールドプログラマブルゲートアレイ、プログラマブル論理デバイス、状態機械（例えば、ハードウェア状態機械）、論理回路、アナログ回路、デジタル回路、及び／又は回路のハードコーディング並びに／若しくは動作命令に基づいて信号（アナログ及び／又はデジタル）を操作する任意のデバイスの任意の集合を指し得る。本明細書で言及される制御回路は、１つ又は２つ以上の回路基板（例えば、プリント回路基板）、導電性トレース及びビア、及び／又は搭載パッド、コネクタ、並びに／若しくは構成要素を更に含んでもよい。本明細書で言及される制御回路は、単一のメモリデバイス、複数のメモリデバイス、及び／又はデバイスの埋め込まれた回路で具現化され得る、１つ又は２つ以上の記憶デバイスを更に備えてもよい。そのようなデータ記憶装置は、読み取り専用メモリ、ランダムアクセスメモリ、揮発性メモリ、不揮発性メモリ、スタティックメモリ、ダイナミックメモリ、フラッシュメモリ、キャッシュメモリ、データ記憶レジスタ、及び／又はデジタル情報を記憶する任意のデバイスを備えてもよい。制御回路が、ハードウェア及び／又はソフトウェア状態機械、アナログ回路、デジタル回路、並びに／若しくは論理回路を備える、実施形態では、任意の関連動作命令を記憶するデータ記憶デバイス／レジスタは、状態機械、アナログ回路、デジタル回路、及び／又は論理回路を備える回路内に埋め込まれるか、又はその外部にあり得ることに留意されたい。

図２を更に参照すると、制御回路６０は、本図のうちの１つ又は２つ以上に図示され、かつ／又は本明細書に記載されるステップ並びに／若しくは機能のうちの少なくともいくつかに対応する、ハードコード化及び／又は動作命令を記憶するコンピュータ可読媒体を備えてもよい。そのようなコンピュータ可読媒体は、いくつかの事例では、製造物品に含めることができる。制御回路６０は、完全にローカルに維持／配置され得るか、又は少なくとも部分的に遠隔に位置し得る（例えば、ローカルエリアネットワーク及び／又は広域ネットワークを介して間接的に通信可能に結合される）。

いくつかの実施形態では、制御回路６０の少なくとも一部は、（例えば、基部２５、カラム１４、及び／又はコンソール１４内で）ロボットシステム１１、又はロボットシステム１１に通信可能に結合された別のシステムと統合される。いくつかの実施形態では、制御回路６０の少なくとも一部は、（例えば、コンソール基部５１及び／又は表示ユニット４２内で）制御システム５０と統合される。したがって、本明細書における機能的制御回路の任意の説明は、ロボットシステム１１、制御システム５０、又は両方のいずれか、及び／又は少なくとも部分的に１つ又は２つ以上の他のローカル若しくは遠隔システム／デバイスで具現化されると理解され得る。

システム１０は、１つ又は２つ以上のボタン、キー、ジョイスティック、ハンドヘルドコントローラ（例えば、ビデオゲーム型コントローラ）、コンピュータマウス、トラックパッド、トラックボール、制御パッド、及び／又は手のジェスチャ並びに指のジェスチャを捕捉するセンサ（例えば、モーションセンサ若しくはカメラ）などの任意のタイプのユーザ入力（及び／又は出力）デバイス若しくはデバイスイインターフェース、及び／又はそのためのインターフェース／コネクタを備え得る、特定のユーザ制御装置６５を含む。ユーザ制御装置６５は、制御回路６０の少なくとも一部に通信可能及び／又は物理的に結合される。

いくつかの実施形態では、ユーザ制御装置６５及び／又は制御回路６０は、ユーザが、少なくとも部分的にロボットシステムによって操作可能な器具などの内視鏡又は腎臓鏡などの医療器具を速度モード又は位置制御モードで制御することを可能にするためのユーザ入力を受信するように構成されている。速度モードでは、ユーザは、制御装置６５を使用する直接手動制御に基づいて、例えば、内視鏡又は他の器具の遠位端のピッチ及びヨー運動を直接制御することを許容され得る。例えば、ジョイスティック上の移動は、スコープ／デバイスの遠位端におけるヨー及びピッチ移動にマッピングされ得る。いくつかの実施形態では、ユーザ制御装置６５は、ユーザに触覚フィードバックを提供するように構成されている。例えば、ジョイスティック又は他の制御機構は、無効又は潜在的に問題のある入力を示すために振動し得る。いくつかの実施形態では、制御システム５０及び／又はロボットシステム１１はまた、ロボット動作と関連付けられた問題を示すために、視覚的フィードバック（例えば、ポップアップメッセージ）及び／又はオーディオフィードバック（例えば、ビープ音）を提供することもできる。

位置制御モードでは、制御回路６０は、患者の三次元（３Ｄ）マップ及び／又は患者の所定のコンピュータモデルを使用して、外科用器具（例えば、内視鏡）を制御し得る。例えば、制御回路６０は、ロボットシステム１１のロボットアーム１２に制御信号を提供して、関連する器具を操作し、標的場所、位置、及び／又は配向／整合で同器具を位置決めするように構成することができる。３Ｄマッピングを実装する実施形態については、位置制御モードは、患者の解剖学的構造の十分に正確なマッピングを必要とし得る。

いくつかの実施形態では、ユーザは、ユーザ制御装置６５を使用することなく、ロボットシステム１１のロボットアーム１２を手動で操作することができる。例えば、外科手術室内の設定中に、ユーザは、ロボットアーム１２及び／又は任意の他の医療器具を動かして、患者への所望のアクセスを提供し得る。ロボットシステム１１は、ユーザからの力フィードバック及び慣性制御に依拠し、ロボットアーム１２及び関連計装の適切な構成を決定し得る。

制御システム５０の表示デバイス４２は、例えば、ユーザ入力を提供するタッチスクリーンを伴うタブレットデバイスとして、ユーザ制御装置６５と統合され得る。表示デバイス４２は、統合されたディスプレイタッチ制御装置を使用して、ロボットシステム１１にデータ及び入力コマンドを提供するように構成することができる。表示デバイス４２は、１つ又は２つ以上の位置センサによって提供された情報に基づいて、患者及び／又はシステム内で動作する様々な器具の位置及び配向に関する情報を示す、グラフィカルユーザインターフェースを表示するように構成することができる。いくつかの実施形態では、医療器具（例えば、内視鏡）と関連付けられた位置センサは、位置を示す信号を生成し、センサに結合されたワイヤ及び／又は伝送機上で同信号を伝送するように構成され得る。そのような接続性構成要素は、制御回路６０によるその処理のために、及び表示デバイスを介した提示のために、位置情報をコンソール基部５１に伝送するように構成され得る。

図３は、本開示の１つ又は２つ以上の実施形態による、患者の泌尿器系の部分に配置された尿管鏡３４０を図示する。上記で参照されるように、尿管鏡手技は、ヒトの尿管内の異常を調査し、かつ／又は同異常を治療するために実装することができる。例えば、尿管鏡手技は、腎臓結石を治療及び／又は除去するために実装することができる。そのような手技は、少なくとも部分的に手動で実装され得、かつ／又は図１並びに図２に示されるロボットシステム１１などのロボット技術を少なくとも部分的に使用して実施され得る。例えば、特定の内視鏡手技のためのロボットデバイス及び／又はシステムの使用は、厳密に手動の手技と比較して、比較的高い精度、制御、及び／又は協調を提供することができる。いくつかの実施形態では、スコープ３４０は、医療器具（例えば、砕石器、バスケットデバイス、鉗子など）、灌注、及び／又は吸引をスコープの遠位端における動作領域に展開するための作業チャネル３４４を含む。

スコープ３４０は、スコープがヒトの解剖学的構造内で操縦され得るように、スコープの少なくとも遠位部分などに対して関節運動可能であり得る。いくつかの実施形態では、スコープ３４０は、例えば、ＸＹＺ座標移動、並びにピッチ及びヨーを含む、５自由度で関節運動されるように構成される。いくつかの実施形態では、針センサは、Ｘ、Ｙ、及びＺ縦座標位置、並びにピッチ、ロー、及びヨーを含む、６自由度を提供する。スコープ３４０の位置センサは同様に、それらが生成／提供する位置情報に関して同様の自由度を有し得る。図は、いくつかの実施形態による、スコープ３４０の複数の運動度を図示する。図３に示されるように、スコープ３４０の先端３４２は、その縦軸３０６（「ロール軸」とも称される）に対してゼロの偏向で配向することができる。

先端３４２の異なる配向において画像を捕捉するために、ロボットシステムは、先端３４２を正のヨー軸３０２、負のヨー軸３０３、正のピッチ軸３０４、負のピッチ軸３０５、又はロール軸３０６上で偏向させるように構成され得る。スコープ３４２の先端３４２又は本体３４５は、縦軸３０６、ｘ軸３０８、又はｙ軸３０９において伸長又は並進され得る。スコープ３４０は、スコープの位置を較正するための参照構造（図示せず）を含んでもよい。例えば、ロボットシステムは、参照構造に対するスコープ３４０の偏向を測定し得る。参照構造は、例えば、内視鏡３４０の近位端上に位置することができ、キー、スロット、又はフランジを含んでもよい。参照構造は、初期較正のために第１の駆動機構に結合し、かつ外科手技を実施するために第２の駆動機構に結合することができる。

ロボット実装のために、ロボットシステムのロボットアームは、細長い移動部材を使用してスコープ３４０を操作するように構成される／構成可能であり得る。細長い移動部材は、１つ又は２つ以上のプルワイヤ（例えば、プル若しくはプッシュワイヤ）、ケーブル、ファイバ、及び／又は可撓性シャフを含んでもよい。例えば、ロボットアームは、スコープ３４０に結合された複数のプルワイヤ（図示せず）を作動させて、スコープ１１８の先端３４２を偏向させるように構成され得る。プルワイヤは、ステンレス鋼、ケブラー、タングステン、炭素繊維、及び同等物などの金属及び非金属材料などの任意の好適な又は望ましい材料を含んでもよい。いくつかの実施形態では、スコープ３４０は、細長い移動部材によって印加された力に応答して、非直線的挙動を呈するように構成される。非直線的挙動は、スコープの剛性及び圧縮性、並びに異なる細長い移動部材間の緩み又は剛性の変動性に基づき得る。

スコープ（例えば、内視鏡／尿管鏡）３４０は、解剖学的構造の画像を捕捉するために患者の解剖学的構造に挿入されるように構成される管状かつ可撓性の医療器具を備えてもよい。いくつかの実施形態では、スコープ３４０は、光学カメラなどの撮像デバイス３４８を含むことができる、光学アセンブリ及びスコープ３４０の遠位端３４２に／から信号を伝達するためのワイヤ及び／又は光ファイバを収容することができる。

カメラ／撮像デバイス３４８を使用して、腎臓７０の標的杯／乳頭などの内部解剖学的空間の画像を捕捉することができる。スコープ３４０は、発光ダイオードなどの近位に位置する光源からスコープの遠位端３４２に光を搬送するための光ファイバを収容するように更に構成され得る。スコープ３４０の遠位端３４２は、カメラ／撮像デバイスを使用するときに解剖学的空間を照明するための光源用のポートを含むことができる。いくつかの実施形態では、スコープ３４０は、図１及び図２に示されるロボットシステム１１と１つ又は２つ以上の点で同様のロボットシステムによって制御されるように構成される。撮像デバイスは、光ファイバ、ファイバアレイ、及び／又はレンズを備えてもよい。光学構成要素は、スコープの先端の移動が撮像デバイス３４８によって捕捉された画像に変化をもたらすように、スコープ３４０の先端とともに移動する。

経皮的腎石切除（ＰＣＮＬ）手技については、患者の皮膚及び介在組織を通して標的杯の中にアクセスが行われる。一般に、腎臓の杯への好ましいアクセスは、軟部組織乳頭構造を通したものであり、そのような組織を通したアクセスは、一般に、出血及び／又は他の合併症のリスクの低下と関連付けられ得る。針が乳頭構造を通して挿入される場合、出血がないことに加えて、そのような経路は、腎臓の相互接続された内部チャネル（例えば、杯）への完全なアクセスを提供することができる。

ＰＣＮＬは、大きな腎結石を治療するための比較的に有効な方法を表すが、多くの医師は、標的乳頭／杯を正確に標的化することの困難に部分的に起因して、他の手技を選択する。より具体的には、ＰＣＮＬを実施することは、患者の脇腹を通した腎臓の標的杯への経皮的アクセスを獲得するために針を使用することを伴う。このステップは、医師が、周辺器官を横断せず、また、剛性器具が尿路結石に到達して治療することを可能にする、腎臓への針経路を選択しなければならないため、手技の最終的な成功にとって極めて重要と見なされ得る。医師が効果的にそのようにすることができない場合、内臓若しくは胸膜損傷を引き起こすか、又は結石を完全に治療することができないリスクがある。これらの課題により、好適な患者位置（例えば、修正された仰臥位）においてＰＣＮＬを実施するために経皮針アクセスを獲得することと関連付けられた学習曲線は、非常に高い。

いくつかの手技では、医師は、患者の術前コンピュータ断層撮影（ＣＴ）画像を研究して、尿路結石の場所、周辺器官及び骨構造の場所を決定し、杯の形態測定を調べる。この知識を用いて、医師は、経皮的針経路のための術前計画を思考的に生成し得る。典型的には、医師は、剛性器具を収容するために穿刺する後部杯を識別しなければならない。具体的には、後部杯は、一般に、腎盂の中への比較的に直線的な発射を提供する。医師は、腎血管系を損傷し、出血を引き起こすことを避けるために、乳頭を通して腎臓の中に針を挿入しようとしなければならない。術中に、医師は、いくつかの手技では、標的杯への針の整合及び挿入を誘導するために、蛍光透視法又は超音波に依拠する。しかしながら、そのような撮像技法と関連付けられた解像度及び解釈の困難は、針穿刺を十分に実行する際に比較的高い程度の困難をもたらし得る。したがって、乳頭及び杯などの標的解剖学的特徴の改善された追跡及び視覚化を提供する本開示の実施形態は、手術結果を改善し、他のＰＣＮＬ方法論よりも更なる一部の医師の興味を引くことができる。

いくつかの実施形態では、医療器具（例えば、スコープ）３４０は、センサ位置データを生成し、かつ／又は別のデバイスに送信するように構成されたセンサを含む。センサ位置データは、医療器具３４０（例えば、その遠位端３４２）の位置及び／又は配向を示すことができ、かつ／若しくは医療器具の位置／配向を決定／推定するために使用することができる。例えば、センサ（「位置センサ」と称されることもある）は、導電性材料のコイルを伴う電磁（electromagnetic、ＥＭ）センサ、又はアンテナの他の形態／実施形態を含むことができる。

図３は、医療器具上のＥＭセンサによって検出されるＥＭ場９０をブロードキャストするように構成された、ＥＭ場発生器３１５を示す。磁場９０は、ＥＭセンサとＥＭ場発生器３１５との間の距離及び角度／配向を決定するために分析され得る、わずかな電流をＥＭ位置センサのコイル内で誘発することができる。更に、医療器具／スコープ３４０は、形状感知ファイバ、加速度計、ジャイロスコープ、衛星ベースの測位センサ（例えば、全地球測位システム（global positioning system、ＧＰＳ）センサ）、高周波トランシーバなどの他のタイプのセンサを含むことができる。いくつかの実施形態では、医療器具上のセンサは、センサデータを制御システムに提供することができ、これは、次いで、医療器具の位置及び／又は配向を決定するために使用される。いくつかの実施形態では、位置センサが、医療器具３４０の遠位端３４２上に位置決めされる一方で、他の実施形態では、センサは、医療器具上の別の場所に位置決めされる。尿管鏡は、標的乳頭に近接する位置に駆動され得る。

いくつかの実装形態では、以下で更に詳細に記載されるように、尿管鏡３４０の遠位端は、標的解剖学的特徴（例えば、乳頭）に接触するように前進され得る。標的解剖学的特徴に接触及び／又は近接するスコープ３４０の遠位端と関連付けられた位置センサを用いると、スコープ３４０の遠位端の位置は、経皮的アクセス器具（例えば、針）が乳頭を通して標的杯にアクセスするように方向付けられ得る、標的経皮的アクセス位置として記録され得る。

本開示の特定の実施形態は、有利には、標的解剖学的特徴への経皮的アクセスを獲得するためのプロセスを通して自動化し、医師を誘導することに役立つ。例えば、電磁測位及びスコープ画像をともに使用して、針の患者への挿入を誘導することができる。そのような解決策は、非熟練医師が、例えば、修正された仰臥位で腎臓の中へのアクセスを獲得すること、及びＰＣＮＬを実施することを可能にすることができる。

本開示の特定の実施形態は、腎臓内の標的場所などの標的治療部位への位置センサ誘導型経皮的アクセスを伴う。例えば、スコープ３４０が、１つ又は２つ以上の電磁センサを装着され、腎臓鏡アクセス針が、１つ又は２つ以上の電磁センサを更に含み、そのようなセンサが、電場発生器３１５によって作成された電磁場９０を受ける場合、関連システム制御回路は、それらの場所を検出及び追跡するように構成することができる。いくつかの実施形態では、尿管鏡３４０の先端は、ユーザが経皮的アクセス針を挿入している間に誘導ビーコンとして作用する。そのような解決策は、ユーザが種々のアプローチから標的に命中することを可能にし、それによって、蛍光透視又は超音波画像診断法に依拠する必要性を排除することができる。

いくつかの実施形態では、スコープ３４０と関連付けられた制御システム（図３には示されていない）は、スコープ３４０及び／又は経皮的アクセス針（図示せず）などの医療器具の場所／位置を決定並びに／若しくは追跡するために、位置特定／測位技法を実装するように構成される。いくつかの例では、上記のように、ＥＭ場発生器３１５は、患者の環境内にＥＭ場９０を提供するように構成される。スコープ３４０及び／又は経皮的アクセス針は、ＥＭ信号を検出し、検出されたＥＭ信号に関するセンサデータを制御システムに送信するように構成される、ＥＭセンサを含むことができる。制御システムは、センサデータを分析して、スコープ３４０の位置及び／又は配向（例えば、ＥＭセンサとＥＭ場発生器３１５との間の距離並びに／若しくは角度／配向）を決定することができる。代替として、又は加えて、いくつかの例では、制御システムは、他の技法を使用して、スコープ３４０の位置及び／又は配向を決定することができる。例えば、スコープ３４０（及び／又は針）は、形状感知ファイバ、加速度計、ジャイロスコープ、加速度計、衛星ベースの測位センサ（例えば、全地球測位システム（ＧＰＳ））、高周波トランシーバなどを含むことができる。制御システムは、スコープ３４０からセンサデータを受信し、その位置及び／又は配向を決定することができる。いくつかの実施形態では、制御システムは、患者の座標系及び／又は解剖学的構造に対してスコープ３４０の位置並びに／若しくは配向をリアルタイムで追跡することができる。

スコープ３４０は、ユーザ入力に基づいて、又は自動的のいずれかで、任意の好適な又は望ましい方法で制御可能であり得る。制御装置３１１、３１２は、ユーザ入力を受信するために使用され得る例を提供する。いくつかの実施形態では、スコープ３４０の制御装置は、スコープの近位ハンドル上に位置し、これは、尿管鏡の配向が変化するにつれて、いくつかの手技姿勢／位置で把持することが比較的困難であり得る。いくつかの実施形態では、スコープ３４０は、画像３１２のように、両手コントローラを使用して制御される。コントローラ３１１、３１２は、ハンドヘルドコントローラとして示されているが、ユーザ入力は、タッチスクリーン／パッド、マウス、キーボード、マイクロフォンなどの任意のタイプのＩ／Ｏデバイスを使用して受信され得る。

図４（部分４－１及び４－２に表される）は、本開示の１つ又は２つ以上の実施形態による、患者の標的杯又は他の器官にアクセスするためのプロセス４００を図示するフロー図である。図５（部分５－１及び５－２に表される）は、１つ又は２つ以上の実施形態による、図４のプロセスと関連付けられた様々なブロック、状態、及び／又は動作に対応する特定の画像を示す。プロセス４００は、腎臓結石の除去（例えば、ＰＣＮＬ）のための腎臓７０への経皮的アクセスを伴い得る。そのような経皮的アクセスは、尿管鏡を介した除去が非現実的であるか、又は望ましくないほど十分に大きい結石の抽出のために望ましくあり得る。例えば、結石は、直径が２ｃｍより大きくあり得る一方で、特定の尿管鏡は、それを通して約１．２ｍｍの直径を有する結石又は断片が除去され得る作業チャネルを有する。尿管鏡検査を介した除去のために結石をより小さな断片に破砕することは、多くの事例で功を奏するが、研究は、残りの結石の破片が、しばしば新しい結石の形成源であり、将来の同様の治療を必要とすることを示している。

ブロック４０２では、プロセス４００は、上記に記載されるように、尿管鏡４４０を使用して、患者の尿管を通して腎臓にアクセスすることを伴う。特に、ブロック４０２の動作は、尿管６３を通して、腎盂７１を越えて、１つ又は２つ以上の杯若しくはその付近の領域の中にスコープ４４０を前進させることを伴い得る。

ブロック４０４では、プロセス４００は、内視鏡の遠位端４４２と関連付けられた画像捕捉デバイス（例えば、カメラ）を使用して、患者が治療される腎臓結石４８０を位置特定することを伴う。例えば、腎臓結石４８０は、少なくとも部分的にプロセス４００の目標として抽出され得る。

ブロック４０６では、プロセス４００は、それを通して腎臓結石４８０へのアクセスが達成され得る、標的杯４７５内で露出される標的乳頭４７９を識別することを伴う。標的乳頭４７９を識別することは、それを通して腎臓結石４８０へのアクセスが経皮的アクセスを介して行われ得る、作業可能な管を作成するために重要であり得る。例えば、それを通して腎臓結石４８０に到達し得る杯（例えば、小腎杯４７５）にアクセスするような方法で、比較的剛性の腎臓鏡によるアクセスのために適切である角度を決定する必要があり得る。いくつかの実装では、腎盂尿管移行部７１への十分に直線的なアクセスを提供するために、後部杯を通して腎臓結石４８０に到達することが望ましいか、又は必要であり得る。一般に、標的小腎杯は、比較的小さい標的と見なされ得る。例えば、そのような杯は、直径が約４～８ｍｍであり得る。したがって、精密な標的化が、腎臓結石を効果的に抽出するために重要であり得る。

それを通して標的杯４７５への針／腎臓鏡アクセスが達成される経路は、それを通して針／腎臓鏡が位置決めされ得る乳頭４７９と関連付けられた腎錐体４７６の周囲の血管に命中することを回避するために、有利には、可能な限り直線的であり得る。更に、患者の様々な重要な解剖学的構造の位置は、患者の組織／解剖学的構造の制約された窓を通したナビゲーションを必要とし得る。例えば、第１２肋骨の下方にある下極杯は、肺胸膜を回避するために好適なアクセスを提供し得る。更に、このアクセス経路は、結腸及び／又は傍脊椎筋を回避するために、有利には、後腋窩線の内側（例えば、第１２肋骨の先端の約１ｃｍ下方及び１ｃｍ内側）にあり得る。加えて、このアクセス経路は、有利には、肋骨の近接内に来ることを回避し、肋間神経を回避し得る。更に、進入を杯４７５の軸方向中心の領域内に標的化することによって、いくつかの事例では、主幹動脈及び／又は他の血管を回避することができる。

ブロック４０８では、プロセス４００は、それを通して所望のアクセスが達成されるべき標的杯４７９内の露出した乳頭４７９の位置をタグ付けする／記録することを伴う。例えば、位置情報／データは、電磁場空間などの三次元空間で表される／識別可能であり得る。

乳頭１７９の位置を記録するために、スコープ４４０は、前進したスコープ先端４４３によって示されるように、標的乳頭４７９に物理的に触れる／接触するように前進させられ得、それに関連して、そのような接触位置は、スコープ４４０及び／又はオペレータによって標的位置として識別され、かつ／若しくは別様に示され得る。いくつかの実装では、尿管鏡の遠位端／先端４４２と関連付けられた電磁ビーコン又は他のセンサデバイスは、標的位置を示し、それによって、電磁場空間内の標的位置を位置合わせし得る。乳頭４７９に接触し／触れ、位置を記録した後、スコープの端部４４２は、後退させられ得、そのような後退の深度は、ある様式で測定され得る。いくつかの実装では、オペレータは、一般に、接触が行われたときに閉塞した／真っ暗になった状態になり得る、それによって生成されたカメラ画像を監視することによって、スコープ４４０の遠位端４４３が乳頭４７９に接触していることを通知され得る。

ブロック４１０では、プロセス４００は、針などの医療器具４５０を患者に経皮的に導入することを伴う。例えば、そのようなアクセスは、いくつかの実装では、患者の脇腹を介して行われ得る。ブロック４１２では、プロセス４００は、標的位置に向かって経皮的に前進した医療器具４５０を方向付け、最終的に標的乳頭４７９を横断し、それを通して標的杯４７５にアクセスすることを伴う。

いくつかの実施形態では、標的杯４７５の中への針４５０の先端の進入の視覚的確認は、スコープ４４０のカメラによって提供され得る。例えば、スコープ４４０は、上記に記載されるように、標的位置から後退させられ、それによって、針４５０の先端が乳頭４７９の表面を通して突出するにつれて見えるように、杯４７５内の乳頭４７９を含む視野を提供し得る。

標的場所が記録されると、経皮的に挿入された医療器具（例えば、針４５０）は、記録された位置に向かって方向付けられ得る。しかしながら、そのような記録された位置が静的である場合、標的位置の記録後に生じる解剖学的運動は、それを通してアクセスが所望される標的解剖学的特徴と関連付けられたリアルタイム位置を正確に反映しない、標的位置をもたらし得る。例えば、針４５０を患者に挿入する行為は、標的器官（例えば、腎臓７０）及び／又は標的器官自体の周囲の特定の解剖学的構造を移動させ、かつ／若しくはある様式で歪曲した／不格好な状態にさせ、それによって、標的解剖学的特徴（例えば、乳頭４７９）に、標的アクセス位置が記録された時間とは異なる位置／形状をとらせ得る。腎臓手技に関して、尿管鏡４４０は、尿管鏡に対する腎臓７０の変形及び／又は運動がそのような標的位置破損をもたらし得るように、腎盂７１の位置に固定され得る。したがって、乳頭４７９は、解剖学的運動がシステムに導入されると、正確に追跡されない場合がある。

針のアクセスが杯４７５に行われると、より大きな直径のデバイスが、結石除去のためのより大きなポートを提供するために針４５０と交換され得る。いくつかの実装では、針４５０は、スタイレット及びカニューレを備える。針先端が杯４７５の中に前進させられた状態で、スタイレットは、腎臓結石の場所への開放ポートを形成するために、カニューレを残して除去され得る。カニューレを通して、ガイドワイヤが、結石４８０を除去するプロセスの残りを実施するために配置及び使用され得る。例えば、ガイドワイヤは、収縮したバルーン又は拡張器をワイヤに沿って通過させるために使用することができる。バルーン又は拡張器は、腎瘻管などの中空吸引チューブを杯４７５に直接導入するために十分に大きなポートを作成するために拡張することができる。この時点で、腎臓鏡又はいくつかの他の器具のうちのいずれか１つが、結石４８０の除去を支援するために、吸引チューブに導入され得る。例えば、砕石機、レーザ、超音波、バスケット、把持器、ドレナージ管などが、結石又はその断片を除去するために使用され得、かつ／又は腎瘻カテーテルなどのドレナージ管が、腎内圧力を低減するために吸引チューブの下に展開され得る。そのような機能の任意の組み合わせが、腎臓鏡（図示せず）及び／又は尿管鏡４４０で具現化され得る。

画像処理強調器具誘導及び自動化
本明細書に記載のプロセスは、尿管鏡の文脈で記載されているが、乳頭又は尿路結石などの標的解剖学的特徴を追跡するための位置センサ（例えば、電磁場センサ）及び／又はカメラを利用する、任意の他のタイプの外科手技に適用され得る。記載されるように、静的位置マーカが、標的解剖学的特徴／目印と関連付けられた標的位置を識別するように位置合わせ／記録され得る。いくつかの実施形態では、本開示は、特定の標的識別及び／又は標的追跡画像処理技法を考慮して、少なくとも部分的に静的位置マーカに基づいて、内視鏡並びに／若しくは経皮的アクセス器具を誘導及び／又は自動化するためのシステム、デバイス、及び方法を提供する。本開示の実施形態による標的識別及び追跡は、任意のタイプのロボット内視鏡検査手技に適用することができる。

いくつかの実装では、特定の画像データを収集し、標的解剖学的特徴を識別するために使用することができる。そのような識別は、少なくとも部分的に機械学習フレームワークを使用して達成され得る。例えば、本開示のシステム、デバイス、及び方法は、リアルタイム内視鏡画像内の標的解剖学的特徴の識別を提供し得、画像内の標的解剖学的特徴の識別は、特定の応答アクションを促し得る。例えば、ロボット内視鏡検査及び／又は経皮的アクセスデバイスに通信可能に結合された制御回路は、標的特徴の移動を追跡し、内視鏡の１つ又は２つ以上の部分（例えば、遠位端部）を関節運動させること、又は標的位置データを調整することなどの措置を講じるように構成され得る。例えば、制御回路は、内視鏡カメラのインターフェース及び／又は画像フィールドの視野の中心又はその付近で標的位置／点を中心に置くように、内視鏡を関節運動させるように構成され得る。

ロボット支援型経皮的アクセスを利用することにより、医師は、動作標的アクセス及び治療を実施することが可能であり得る。更に、経皮的アクセスは、以下で更に詳細に記載される本開示の態様による自動標的識別及び追跡を利用して、更に支援することができ、これは、経皮的アクセス誘導のための標的位置を正確に維持するために依拠され得る。本開示の態様による、スコープ対応標的追跡によって誘導される経皮的アクセスは、技能集約度が比較的低くあり得る。いくつかの実装では、単一のオペレータ又はロボットシステムが、プロセスを実行し得る。更に、蛍光透視法の必要性を排除することができる。

自動標的検出
図６は、１つ又は２つ以上の実施形態による、解剖学的特徴を標的化するためのプロセス６００を図示するフロー図である。本明細書に開示される特定の他のプロセスと同様に、プロセス６００は、ブロック６１０では、少なくとも部分的に標的器官内に配置された管腔又は小室などの治療部位までスコープ（例えば、尿管鏡）などの医療器具を前進させることを伴う。例えば、ブロック６１０の動作は、患者の腎臓の標的杯まで医療器具を前進させることを伴い得る。医療器具と標的との間の相対位置は、本明細書に開示される特定のプロセスに従って、解剖学的運動に起因して、及び／又は経皮的針器具が標的に接近するときに、わずかに変化し得る。そのような位置の相対的変化は、標的器官の位置を追跡するための所望又は必要性につながり得る。例えば、位置は、二次元空間で追跡され得、位置は、以下で更に詳細に記載されるように、三次元空間で回収され得る。

上記で参照されるように、本開示の態様による、ロボット内視鏡誘導型経皮的アクセスは、それを通して治療部位へのアクセスが達成される標的解剖学的特徴に対して、場所追跡技術を利用することができる。例えば、医療器具（例えば、スコープ）及び／又は経皮的アクセス器具（例えば、針）の遠位端と関連付けられた位置追跡機構／センサを、経皮的アクセス器具を治療部位（例えば、標的杯）と整合させる際に、医師／技術者を誘導するために実装することができる。本開示の態様によって可能にされるような、正確なリアルタイム標的追跡は、治療部位への比較的精密な単一穿刺アクセスを可能にすることができる。

ブロック６２０では、プロセス６００は、標的解剖学的構造の位置をタグ付けすることを伴う。この手動タグ付けプロセスは、画像処理アプローチが標的の３Ｄ場所を与えることができるときに必要とされないことを明確にする方が良い。例えば、標的解剖学的位置の位置をタグ付けすることは、決定及び／又は記録（例えば、本明細書に示され、記載されるような特定の制御回路の揮発性及び／又は不揮発性データ記憶装置内の捕捉）を伴うことができる。ブロック６２０に関連して標的解剖学的特徴の位置をタグ付けすることは、それぞれ、ブロック６２４及び６２３に関連して以下に説明される、少なくとも部分的に手動のタグ付けサブプロセス６２２又は少なくとも部分的に画像ベースのタグ付けサブプロセス６２１を使用することなどの任意の好適な又は望ましい方法で実施することができる。

特定の手動タグ付けプロセスに関して、ブロック６２２では、プロセス６００は、治療部位内の標的解剖学的特徴を医療器具の遠位端と接触させることを伴う。例えば、医療器具は、医療器具の遠位端の位置を示し得る、電磁センサ／ビーコンなどのセンサデバイスを備えてもよく、したがって、医療器具の遠位端が標的解剖学的特徴に対して及び／又は隣接して配置されると、そのような位置読み取りは、標的解剖学的特徴の位置を示すものとして依拠することができる。一例として、ユーザは、ある様式で、標的解剖学的特徴の露出面（例えば、標的杯内で露出された乳頭面）をタグ付け／位置合わせすることによって、標的解剖学的特徴の特徴接触位置を関連するコンピューティング／医療システムに通知するための入力を提供し得る。そのようなタグ付けは、ある様式でユーザ入力の提供を通して実装され得るか、又は知覚された組織接触若しくは同等物に基づいて実質的に自動的であり得る。

特定の画像ベースのタグ付けプロセスに関して、ブロック６２３では、プロセス６００は、図７及び図８に関して以下で詳細に記載されるように、画像データ入力及び特定のニューラルネットワーク機能を使用して、標的解剖学的特徴の位置を決定することを伴う。いくつかの実装では、畳み込みニューラルネットワークが、標的位置識別／タグ付けに使用される。

ブロック６２０の動作に関連して記録された特徴接触位置は、経時的に変化し得る、標的解剖学的特徴の潜在的に動的な相対位置に対する静的位置と見なされ得る。特徴接触位置は、１つ又は２つ以上のデータ記憶デバイスに記憶されるなど、任意の好適な又は望ましい様式で記録及び／又は維持され得る。

プロセス６００は、標的解剖学的特徴の方向に針又は同等物などの経皮的アクセス器具を前進させながら、手術期間にわたって標的解剖学的特徴を追跡することを含み得る、サブプロセス６３０に進む。標的解剖学的特徴の動的な相対位置のリアルタイム追跡は、有利には、治療部位への経皮的アクセス器具の正確な方向を促進することができる。

サブプロセス６３０は、様々な方法で実装され得る。例えば、サブプロセス６３２として示されるように、ライブ器具（例えば、スコープ）追跡が、標的解剖学的特徴の動作追跡を提供するように実装され得る。例えば、関連する手術期間の全体を通して、医療器具の遠位端は、医療器具によって示される位置センサデータが、標的解剖学的特徴のリアルタイムの正確な場所を提供し得るように、標的解剖学的特徴と接触して維持され得る（ブロック６３４）。したがって、ブロック６３６に示されるように、医療器具のライブ位置は、所望の経皮的アクセス経路を提供するように標的化され得る。しかしながら、医療器具の遠位端が標的解剖学的特徴と近接／接触していると、標的解剖学的特徴のリアルタイム視覚化は、カメラの視野内の特徴自体による標的解剖学的特徴の閉塞に起因して、可能ではないか、又は十分に明確ではない場合がある。すなわち、局所器具と関連付けられたカメラは、標的解剖学的特徴の塊によって十分に遮断されるか、又は隠され得、それによって、医師／ユーザが経皮的アクセス器具（例えば、針）による標的解剖学的特徴の貫通の視覚的確認を有することを妨げる。

代替サブプロセス６３１が、経皮的アクセス器具の接近中に標的解剖学的特徴の明確な視覚を依然として維持しながら、標的解剖学的特徴を追跡するために示されている。そのようなサブプロセス６３１は、ブロック６２０の動作に関連して、標的解剖学的特徴の静的なタグ付けされた位置を利用し得る。例えば、ブロック６３３では、サブプロセス６３１は、上記に記載されるブロック６２０の動作に関連して実装された標的解剖学的特徴との接触と関連付けられた特徴接触位置を記録することを伴い得る。

サブプロセス６３２と同様に、動作追跡を提供するために、標的解剖学的特徴と接触／近接して医療器具を維持し続けるのではなく、サブプロセス６３１は、医療器具を標的解剖学的特徴から離れた距離に（例えば、近位方向に）後退させ、それによって、医療器具が、ブロック６３５に示されるように、それと関連付けられたカメラの視野内の標的解剖学的特徴を明確に捕捉することを可能にすることを伴い得る。例えば、いくつかの実装では、医師／ユーザは、医療器具が標的解剖学的特徴から離れた所望の距離に駐留されたときに、ある様式でシステムに通知し得る。

明確にするために、サブプロセス６３１、６３２は、サブプロセス６３０の代替実装を表すことに留意されたい。すなわち、プロセス６００は、一般に、サブプロセス６３２又はサブプロセス６３１の両方ではなく、いずれかの実装を伴い得る。例えば、サブプロセス６３２は、一般に、標的解剖学的特徴（例えば、乳頭）の位置／表面におけるワイヤ又はスコープと関連付けられた位置追跡デバイス（例えば、電磁ビーコン）を残すことを伴う解決策を例証し、位置追跡デバイスは、針挿入中に乳頭とともに移動させられる／移動することを許容され得る。標的位置は、したがって、センサが標的解剖学的特徴とともに移動するにつれて、連続的に更新することができる。サブプロセス６３２は、一般に、任意のリアルタイム画像データを必要としない／必要とする場合がある。しかしながら、サブプロセス６３２の解決策は、閉塞により、標的乳頭の針穿刺の即時の視覚的確認を提供しない場合がある。

場合によっては、スコープが標的杯の内側に留まり、乳頭とスコープの位置合わせが保存されると想定され得る。スコープ位置センサに対する標的解剖学的特徴の相対的移動がない場合、標的位置は、決定された現在のスコープ位置に基づいて連続的に更新することができる。例えば、ブロック６３４と関連付けられた動作は、器具／センサと標的解剖学的特徴との間の接触を継続的に維持するのではなく、スコープがそのカメラ視認を可能にするように標的から離して後退され得ることを伴い得る。スコープの後退中に収集された位置データ（例えば、ＥＭデータ）は、スコープに対する乳頭の場所を登録／記録するために使用することができる。例えば、１つの使用事例によると、スコープの後退／位置決めは、乳頭の前方に約５ｍｍ及び左に２ｍｍであり得る。そのような位置オフセットは、スコープの現在の位置に対する標的の位置を決定するために使用され得る。しかしながら、標的解剖学的特徴とスコープとの間の相対移動は、位置オフセット計算の信頼性の欠如をもたらし得、したがって、そのようなプロセスは、相対移動を補償することなく不十分であり得る。

ある特定の点で、サブプロセス６３１は、サブプロセス６３２と比較した改良を表し得る。例えば、静的位置データ及び／又はスコープオフセットデータへの依拠は、一般に、標的解剖学的特徴並びに／若しくは他の運動に対する解剖学的偏移を補償するためのロバストな解決策をそれ自体が提供しない場合があり、これは、例えば、経皮的アクセス器具の挿入及び／又は他の要因に起因し得る。解剖学的移動に加えて、治療部位における医療器具の駆動／位置決めと関連付けられたロボット機構及び／又は他の構成要素の物理的位置決めの相違は、標的解剖学的特徴及び医療器具の遠位端の相対的位置決めに対する不正確性を更に導入し得る。標的解剖学的特徴の望ましくない移動により、その静的な記録された位置は、標的解剖学的特徴の実際の追跡位置を提供するために確信を持って依拠されない場合がある。したがって、ブロック６２０において記録された静的標的位置が、上記に記載されるように解剖学的運動及び／又は他の導入された不正確性に適応するように更新されることが望ましくあり得る。

医療器具がもはや標的解剖学的特徴と接触／近接しなくなると、医療器具の遠位端のリアルタイム位置は、したがって、それ自体が標的解剖学的特徴のリアルタイム位置を示さない場合がある。むしろ、サブプロセス６３１は、ブロック６３３の動作に関連して記録／タグ付けされた静的位置に基づいて、標的解剖学的特徴の場所を追跡するための様々な解決策を実装し得る。例えば、ブロック６３７では、サブプロセス６３１は、本開示の実施形態による、特定のシステム制御回路によって実装されたニューラルネットワーク回路及び／又は他の画像追跡機能を使用して、標的解剖学的特徴のリアルタイム画像を処理することによって、標的解剖学的特徴の場所を追跡することを伴い得る。例えば、ニューラルネットワーク及び／又は他の画像追跡機構は、標的解剖学的特徴の入力リアルタイム画像として受信し得、ニューラルネットワーク回路及び／又は他の画像追跡機構は、その中の標的解剖学的特徴の位置を識別及び決定するように構成される。そのような特徴識別機能は、ブロック６３３に関連して記録された静的位置に対してリアルタイムで標的解剖学的特徴を追跡するために使用され得る。

サブプロセス６３１は、接触６２４及び後退６３５ステップを含む／伴う場合とそうではない場合があり、ユーザは、標的乳頭の場所に物理的に接触し、スコープの視野内に乳頭を示すためにスコープを後退させる。例えば、画像ベースのタグ付け６２１がブロック６２０に関連して実装される場合、標的解剖学的特徴に物理的に接触して、その位置／場所を決定する必要がない場合がある。むしろ、位置／場所は、スコープ／器具の１つ又は２つ以上のカメラによって捕捉／生成された画像データに基づいて、本明細書に開示される標的識別機構を使用して決定され得る。例えば、いくつかの実施形態では、標的は、画像／視覚及び／又は位置（例えば、ＥＭ）データの複数のフレームを使用して識別及び追跡される。そのような標的位置決定の例は、図１２に関連して以下に記載される。いくつかの実装では、２つの明確に異なる位置及び／又は整合から標的解剖学的特徴（例えば、乳頭）を見ることによって、三次元空間に対して標的位置を推定／決定することができる。

ブロック６３９では、サブプロセス６３１は、経皮的アクセス器具を用いて標的解剖学的特徴の追跡された場所を標的化することを伴う。例えば、治療部位のリアルタイム画像内の識別された乳頭形状又は形態の重心は、経皮的アクセス器具のための標的位置において使用され得る。

ブロック６４０では、プロセス６００は、プロセス６００の特定の実装に応じて、サブプロセス６３２に関する標的解剖学的特徴への視覚的確認を伴わずに、又はサブプロセス６３１による視覚的確認を伴ってのいずれかで、標的解剖学的特徴を穿刺することを伴う。

ブロック６３３で特徴接触位置を記録するか、又はブロック６３６でライブ器具位置を標的化するためなどの、本開示の実施形態に関連して使用される様々な位置センサは、任意のタイプの位置センサであり得る。一例として、そのようなセンサは、電磁（ＥＭ）センサ／プローブであり得る。スコープに関して、位置センサは、その先端の近位に取り付けられるか、又は統合され得る。代替として、センサは、コイルにおいて生成され、ワイヤを辿って渡された電気信号を解釈するように構成された外部制御回路に接続される、スコープの長さに延設される電気ワイヤに接続されたコイルを備えてもよい。本開示の実施形態に関連して実装され得る位置センサデバイスのタイプの例としては、加速度計、ジャイロスコープ、磁力計、光ファイバ形状感知（例えば、ブラッグ格子、レイリー散乱、干渉測定、又は関連技法を介した）などが挙げられるが、これらに限定されない。実装形態に応じて、ＣＴスキャンなどの患者画像の別個の形態への位置合わせは、患者内の尿路結石を位置特定するための基準枠を提供するために必要である場合とそうではない場合がある。

参考のため、開示された実施形態のうちのいくつかで実装され得る特定の位置決定／位置特定機構が記載されている。コイル又は他のアンテナなどのＥＭ型センサに関して、そのようなセンサデバイスは、ＥＭセンサがフィールド内で（例えば、腎臓内で）移動するにつれてＥＭ場の変化を検出するように構成することができる。したがって、特定の実施形態は、ＥＭセンサによって拾われるＥＭ場を放出するように構成された１つ又は２つ以上のＥＭ発生器を使用して実装される。ＥＭ発生器は、それらの放出されたＥＭ場がＥＭセンサによって捕捉され、適切な制御回路によって処理されるときに、異なるＥＭ発生器からの信号が、位置情報の追加の次元を提供するために分離可能であるように、任意の好適な又は望ましい方法で変調され得る。ＥＭ発生器は、時間又は周波数を変調され得、各信号が、可能性として時間的に重複するにもかかわらず、各他の信号から完全に分離可能であるように、直交変調を使用し得る。更に、別個のＥＭ発生器は、ＥＭセンサの配向の変化が、ＥＭセンサに、任意の瞬間にＥＭ発生器のうちの少なくとも１つから少なくともある信号を受信させるように、ゼロではない非直交角度においてデカルト空間内で相互に対して配向され得る。

図６のブロック６３３における特徴接触位置の記録を更に参照すると、ＥＭ位置データが、ＥＭデータのための基準枠を確立するために、ＣＴスキャンなどのＥＭ以外の異なる技法を用いて捕捉された患者の画像に位置合わせされ得る（又はあらゆる機構が整合センサのデータを捕捉するために使用される）。スコープに加えて、経皮的アクセス針は、ＥＭセンサなどの１つ又は２つ以上の位置／整合センサを含んでもよい。針ＥＭセンサから受信された位置／整合データは、上記に記載されるように、スコープ位置データと同様に受信及び処理され得る。本明細書に記載の様々なプロセスは、完全若しくは部分的に手動で、及び／又は完全若しくは部分的にロボットを使用して、実施され得る。

本明細書に開示されるプロセスは、胆嚢結石除去、肺（肺／経胸腔）腫瘍生検、及びその他などの腎臓結石除去手技以外の手技に関連して実装され得る。一般に、任意のタイプの経皮手技が、本開示の実施形態によるニューラルネットワーク処理を使用して、特徴識別及び追跡のための画像データを捕捉するように構成された内視鏡を使用することによって、実施され得る。追加の例としては、胃の手術、食道及び肺の手術などが挙げられる。更に、除去される物体は、必ずしも尿路結石である必要はなく、それらは、人体内で生成される異物又は物体などの任意の物体であり得る。

ニューラルネットワークに基づく解剖学的特徴の識別及び追跡
図７は、本開示の１つ又は２つ以上の実施形態による、標的位置データを動的に更新するための内視鏡カメラ画像内の１つ又は２つ以上の標的解剖学的特徴を識別するための特徴識別フレームワークを図示する。特徴識別フレームワーク７００は、１つ又は２つ以上のプロセッサ、データ記憶デバイス、接続性特徴、基板、受動及び／又は能動ハードウェア回路デバイス、チップ／ダイ、並びに／若しくは同等物などを含む、特定の制御回路で具現化され得る。例えば、フレームワーク７００は、図２に示され、上記に記載される制御回路６０で具現化され得る。特徴識別フレームワーク７００は、機械学習機能を採用して、例えば、内部腎臓解剖学的構造の尿管鏡画像上で自動標的検出を実施し得る。

特徴識別フレームワーク７００は、１つ又は２つ以上の医療手技と関連付けられた治療部位の少なくとも一部を表す画像データなどの特定の画像タイプのデータ構造上で動作するように構成され得る。そのような入力データ／データ構造は、フレームワーク７００の画像処理部分と関連付けられた特定の変換回路７２０によって、ある様式で動作され得る。変換回路７２０は、任意の好適な又は望ましい人工ニューラルネットワークアーキテクチャなどの任意の好適な若しくは望ましい変換及び／又は分類アーキテクチャを備えてもよい。

変換回路７２０は、入力／出力対としての公知の解剖学的画像７１２及び個別の画像７１２に対応する標的標識７３２に従って訓練され得、変換／分類フレームワーク７２０は、それと関連付けられた１つ又は２つ以上のパラメータ又は重みを調整し、公知の入力及び出力画像データを相関させるように構成される。例えば、変換回路７２０（例えば、畳み込みニューラルネットワーク）は、標識されたデータセット及び／又は機械学習を使用して訓練され得る。いくつかの実装では、機械学習フレームワークは、任意の好適な又は望ましい様式で学習／訓練を実行するように構成され得る。

公知の標的標識７３２は、少なくとも部分的に、公知の解剖学的画像７１２内の解剖学的特徴を手動で標識することによって生成され得る。例えば、手動標識は、例えば、乳頭の解剖学的構造が杯間解剖学的画像の中にある場所を標識するように、関連する医療専門家によって決定及び／又は適用され得る。公知の入力／出力対は、いくつかの実施形態では、動的に更新可能であり得る変換回路７２０のパラメータを示すことができる。

公知の標的標識７３２は、その中に存在する標的解剖学的特徴の境界及び／又は内部領域を描写し得る。いくつかの実施形態では、フレームワーク７００は、リアルタイム解剖学的画像７１５の特定の画像が標的解剖学的特徴を含むか否かをバイナリ方式で示すような様式で、リアルタイム標的標識７３５を生成するように構成され得、更なる処理が、標的解剖学的特徴の場所及び／又は他の態様を更に識別するように、標的解剖学的特徴の１つ又は２つ以上の事例を含有するものとして識別される画像に実施され得る。いくつかの実施形態では、更なる処理が、識別された標的解剖学的特徴及び／又はその１つ又は２つ以上の部分の三次元場所を決定するために実施され得る。

フレームワーク７００は、変換回路７２０の訓練されたバージョンを使用して、リアルタイム解剖学的画像７１５と関連付けられたリアルタイム標的標識７３５を生成するように更に構成され得る。例えば、医療手技中、治療部位に配置された内視鏡又は他の医療器具と関連付けられた治療部位のリアルタイム画像は、リアルタイム画像内の１つ又は２つ以上の標的解剖学的特徴の存在及び／又は位置を識別するリアルタイム標的標識７３５を生成するように、変換回路７２０を使用して処理され得る。例えば、いくつかの実装では、尿管鏡画像は、本明細書で詳細に説明されるように、経皮的アクセス器具を用いて標的化され得る標的乳頭の存在、位置、及び／又は形状を識別するように、変換回路７２０によって処理され得る。尿管鏡用途に関して、乳頭の解剖学的構造は、一般に、対象全体の外観において同様に存在し得、したがって、乳頭の解剖学的構造は、広い人口統計学にわたって識別可能であり得る。

いくつかの実施形態では、変換回路７２０は、標的解剖学的特徴（例えば、乳頭）、並びに識別された解剖学的特徴を含有し、かつ／又は画像内の識別された解剖学的特徴を包囲するセグメント外領域を識別するように構成され得る。変換フレームワーク７２０は、畳み込みニューラルネットワークなどの人工ニューラルネットワークを含んでもよい。例えば、フレームワーク７２０は、入力画像内に取り込む深層学習アーキテクチャを実装し、学習可能な重み／バイアスを画像内の様々な態様／物体に割り当て、一方を他方から区別し得る。フレームワーク７２０のフィルタ／特性は、手動設計され得るか、又は機械学習を通して学習され得る。

フレームワーク７２０は、入力画像の視覚領域を網羅する入力画像の重複領域に対応する複数のニューロン（例えば、図７に示されるようなニューロンの層）を含んでもよい。フレームワーク７２０は、ある様式で入力画像又はその部分を平坦化するように更に動作し得る。フレームワーク７２０は、特定のフィルタの適用を通して、入力画像７１５内の空間的及び／又は時間的依存性を捕捉するように構成され得る。そのようなフィルタは、所望の出力データを達成するように様々な畳み込み演算で実行され得る。そのような畳み込み演算は、エッジ、輪郭、及び同等物などの特徴を抽出するために使用され得る。フレームワーク７２０は、任意の数の畳み込み層を含んでもよく、より多くの層が、より高いレベルの特徴の識別を提供し得る。フレームワーク７２０は、畳み込みされた特徴の空間サイズを縮小するように構成され得る、１つ又は２つ以上のプーリング層を更に含み得、これは、特定の解剖学的特徴と同様に、回転及び／又は位置不変である特徴を抽出するために有用であり得る。平坦化、プール、及び／又は他のプロセスを通して作成されると、画像データは、マルチレベルパーセプトロン及び／又はフィードフォワードニューラルネットワークによって処理され得る。更に、逆伝搬が、訓練の各反復に適用され得る。フレームワークは、入力画像内の支配的特徴と特定の低レベル特徴とを区別し、任意の好適な又は望ましい技法を使用してそれらを分類することが可能であり得る。いくつかの実施形態では、ニューラルネットワークアーキテクチャは、以下の公知の畳み込みニューラルネットワークアーキテクチャ、すなわち、ＬｅＮｅｔ、ＡｌｅｘＮｅｔ、ＶＧＧＮｅｔ、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔ、又はＺＦＮｅｔのうちのいずれかを含む。

フレームワーク７２０への入力は、ビデオ又は静止画像であり得る。いくつかの実施形態では、入力は、ビデオを含み、フレームワーク７２０は、ビデオの特定の特徴が変化する様子を示す出力（例えば、時間モデルの実装）を生成するように構成される。いくつかの実装形態では、ニューラルネットワーク７２０が訓練されると、ニューラルネットワークフレームワークへの動作入力は、複数（例えば、２つ）の画像を含むことができ、出力７３５は、画像にわたって（例えば、経時的に）１つ又は２つ以上の標的の場所を示すデータを含む。入力７１５は、画像若しくは画像データを含むことができ、及び／又は別個の（例えば、連続的な）画像間の差異を示すデータを含み得る。例えば、フレームワーク７２０は、ピクセル間の運動又は空間変化を検出することができ、ピクセル位置の変化は、画像間の及び／又は経時的な運動を示す。出力は、画像間の差異を示すことができる。いくつかの実施形態では、ニューラルネットワークフレームワーク７２０は、光学フローを推定するように訓練される。

図８は、本開示の１つ又は２つ以上の実施形態による、例示的ニューラルネットワーク特徴分類／識別フレームワーク８００を図示する。フレームワーク８００は、畳み込みニューラルネットワークアーキテクチャを表し得、図示された構成要素のうちの１つ又は２つ以上を含んでもよく、これは、それぞれが本開示のシステム、デバイス、及び／又は方法のうちのいずれかと関連付けられた制御回路の１つ又は２つ以上の部分又は構成要素で具現化され得る、特定の機能的構成要素を表し得る。フレームワーク８００は、図７の変換回路７２０の実施形態、又はその一部を表し得る。

ニューラルネットワークフレームワーク８００は、ＲｅｓＮｅｔ５０ニューラルネットワーク又は同等物などの事前訓練されたニューラルネットワーク８２１を含んでもよい。フレームワーク８００は、特徴ピラミッドネットワークなどの特徴抽出構成要素８２２（例えば、特徴抽出ネットワーク（ＳＤＮ））を更に含んでもよい。特徴抽出構成要素８２２は、入力画像の１つ又は２つ以上の特徴マップを抽出し、かつ／又は特徴検出器輪郭を設計するように構成され得る。特徴ピラミッドネットワーク機能を実装する実施形態では、複数の画像が、出力変異型を提供するように異なるレベルの解像度で処理され得る。

フレームワーク８００は、領域提案ネットワーク構成要素８２３を更に含み得る。領域提案ネットワーク８２３は、特徴抽出構成要素８２２によって生成及び／又は提供された特徴マップ上で示された／識別された標的をカプセル化する、画像上の特定の境界ボックスを提案するように構成され得る。

いくつかの実施形態では、粗から微細な処理図が、画像内の標的を抽出するように実行することができる。領域提案ネットワーク８２３によって提供される提案された境界ボックスは、１つ又は２つ以上の追加の構成要素８２７によって使用され得る。例えば、バイナリ分類ネットワーク構成要素８２６は、それらが目的の標的特徴を含有するか否かに基づいて境界ボックスを分類するように構成され得る。更に、ボックス回帰ネットワーク８２５は、領域提案ネットワーク８２３によって提案された境界ボックスを精緻化するように位置し、構成され得る。加えて、マスク予測ネットワーク構成要素８２４は、識別された標的特徴のシルエット又は形状／形態を計算する、かつ／又は表すように構成され得る。

標的解剖学的特徴の追跡
標的解剖学的特徴及びその位置を正しく識別する能力は、有利には、医療手技中に医療器具による標的解剖学的特徴の標的化を可能にすることができる。しかしながら、標的解剖学的特徴の標的位置の決定後の解剖学的運動の発生は、標的解剖学的特徴を公知の標的位置から離れるように移動させ得る。したがって、標的位置データのリアルタイム更新を提供する本開示の実施形態は、術中の解剖学的運動と関連付けられた問題を排除することに役立ち得る。

いくつかの実施形態では、測位システム（例えば、本明細書に記載されるような電磁測位システム）が、１つ又は２つ以上の医療器具の場所を決定するために実装され得る。いくつかの実施形態では、測位システムは、測位フィールド内のカメラ画像に表される特徴の場所を決定するためにカメラ画像を用いて較正され得る。

標的解剖学的特徴追跡は、様々な方法論に従って達成することができる。例えば、いくつかの実施形態では、標的追跡は、治療部位の２つの連続的又は順次に捕捉された画像のニューラルネットワーク（若しくは他の画像処理）回路の出力を比較することによって、達成することができる。例えば、異なる時間に捕捉された画像に対するニューラルネットワーク又は他のタイプの標的識別回路の出力として標的解剖学的特徴のシルエット又はマスクを考慮して、重複の割合の文脈内などのそのようなシルエット／マスクの重複（例えば、一対融合上交差（intersection-over-union、ＩＯＵ））を決定することができる。一般に、少なくとも十分に高いサンプルレートにおける画像捕捉に関して、連続画像間のコンテンツ差は有意に異ならないと想定され得る。したがって、連続的に捕捉された画像のマスクは、重複率が事前定義された／所定の閾値よりも高い場合、同じ標的解剖学的特徴を表すと見なすることができ、閾値は、サンプリング上の標的の最大移動に関連する。

図９は、本開示の１つ又は２つ以上の実施形態による、治療部位における標的解剖学的特徴を追跡するためのプロセス９００を図示するフロー図である。ブロック９０２では、プロセス９００は、標識された画像データを使用してニューラルネットワークを訓練することを伴う。例えば、ニューラルネットワークは、それぞれ、図７及び図８に示されるフレームワーク７００、８００と特定の点で同様のフレームワークを含んでもよい。

ブロック９０４では、プロセス９００は、治療部位又はその付近に配置された内視鏡又は他の医療器具から治療部位の第１の画像を受信することを伴う。ブロック９０６では、プロセス９００は、ニューラルネットワークアーキテクチャ／フレームワークを使用して、第１の画像内の第１の特徴を識別することを伴う。例えば、第１の特徴は、治療部位に存在する標的乳頭であり得る。例えば、１つ又は２つ以上の機械学習構成要素又はモジュールが、第１の画像に対する第１の特徴のセグメント化を実施するために実装され得る。

ブロック９０８では、プロセス９００は、治療部位の第２の画像を受信することを伴う。第２の画像は、第１の画像に対して連続的及び／又は順次に捕捉され得る。ブロック９１０では、プロセス９００は、ニューラルネットワークを使用して第２の画像内の第２の特徴を識別することを伴う。例えば、第２の特徴は、標的杯治療部位内の乳頭であり得る。ブロック９１２では、プロセス９００は、第１の特徴及び第２の特徴が治療部位における同じ標的乳頭などの同じ標的解剖学的特徴を表すと決定することを伴う。第１の特徴及び第２の特徴が同じ標的解剖学的特徴を表すという決定は、第１の特徴及び第２の特徴並びに及び／又はそれらの部分の決定された重複又は移動を比較することなどによって、任意の方法で行われ得る。

ブロック９１４では、プロセス９００は、識別された第２の特徴及び／又は器具位置データに基づいて、標的解剖学的特徴と関連付けられた標的追跡位置を修正することを伴う。例えば、器具位置データは、医療器具の初期のタグ付けされた位置及び／又はその関節運動若しくは相対移動に対応し得る。標的追跡位置の修正は、その動的相対移動を補償することによって、標的解剖学的特徴を追跡する役割を果たし得る。更に、第１の画像及び第２の画像を捕捉するために使用される内視鏡又は他の医療器具は、それと関連付けられた電磁センサ又は他の位置センサを有してもよい。そのような位置センサは、標的追跡位置データへの医療器具の移動の補償を導入するために使用され得る。

標的追跡位置の修正は、第１の画像の捕捉時間と第２の画像の捕捉時間との間の標的解剖学的特徴の相対運動に基づいて、必要とされ、かつ／又は望ましくあり得る。上記に記載されるように、そのような運動は、治療部位の一般的領域内の針などの経皮的アクセス器具の挿入及び／又は操作によって引き起こされ得る。運動により、標的解剖学的特徴（例えば、乳頭）は、一般に、初期標的位置を決定するために使用され得るスコープに対して固定されたままではない場合がある。したがって、本開示のシステム、デバイス、及び方法に関連して開示される特徴識別及び追跡機能は、カメラ画像を使用した経時的な標的解剖学的特徴の追跡を可能にし得る。そのような追跡は、標的解剖学的特徴の三次元場所を動的に予測するために使用され得、三次元場所は、本明細書に記載されるように、経皮的アクセス器具のための標的追跡位置として使用され得る。経皮的アクセス器具と標的解剖学的特徴との間の会合を達成することは、本明細書に記載されるように、動的標的推定によって大いに支援され得る。

医療器具（例えば、内視鏡）のカメラの位置は、医療器具の遠位端と関連付けられた位置センサの位置に関して決定され得る。そのようなカメラ位置情報を用いて、画像空間に現れる物体／特徴の場所は、位置センサと関連付けられた位置空間（例えば、電磁場空間）に関して決定され得る。したがって、第２の画像内の第２の特徴の位置は、三次元空間で決定され得、経皮的アクセス器具（例えば、針）の方向のために提供することができる。

図９は、第２の特徴識別及び／又は位置に基づいて標的追跡位置を修正することを記載するが、任意のタイプの応答アクションが、更新された解剖学的特徴識別に少なくとも部分的に基づいて実装され得ることを理解されたい。例えば、内視鏡の位置を制御するロボットに通信可能に結合された特定の制御回路が、実装され、それによって、標的解剖学的特徴の移動に基づいてスコープを調整／関節運動させ得る。例えば、スコープは、標的解剖学的特徴の重心又は他の部分が、カメラ、インターフェース、又は治療部位の他の視覚的表現の視野の中心又はその付近の位置になるように、移動することができる。

本明細書に開示されるニューラルネットワーク及びマスキング概念は、その内容全体が参照により本明細書に明示的に組み込まれる、刊行物「Ｍａｓｋ Ｒ－ＣＮＮ」（Ｈｅ，Ｋａｉｍｉｎｇ，Ｇｅｏｒｇｉａ Ｇｋｉｏｘａｒｉ，Ｐｉｏｔｒ Ｄｏｌｌａｒ，ａｎｄ Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ．「Ｍａｓｋ ｒ－ｃｎｎ．」Ｉｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＩＣＣＶ），２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ，ｐｐ．２９８０－２９８８．ＩＥＥＥ，２０１７）の態様に従って実装することができる。

図１０は、本開示の１つ又は２つ以上の実施形態による、治療部位における標的解剖学的特徴を追跡するためのプロセスを図示するフロー図である。図１０の追跡プロセス１０００は、直接追跡実施形態と見なされ得る。図１１は、図１０に示されるプロセス１０００の様々なステップに関する特定の特徴マスク及び関連画像を示す。

ブロック１００２では、プロセス１０００は、第１の時間（ｔ）に撮影された治療部位の第１の画像１２１のための標的マスク１２２を生成することを伴う。画像１２１に示されるように、第１の画像は、杯／腎臓治療部位内から可視である乳頭を表し得る、標的解剖学的特徴１１１の少なくとも一部を含む。画像１２２は、標的解剖学的特徴のマスクを表す。任意のマスクが、本開示の実施形態に従って使用され得るが、図示されたマスク１２２は、標的解剖学的特徴１１１の可視部分の形状又は形態を表す特徴領域１１２、及び標的解剖学的特徴１１１に対応しない画像１２１の領域を表す背景部分１１９を含む、バイナリマスクである。マスク１２２は、任意のタイプのセグメント化及び／又は機械学習機構を使用して生成され得、セグメント化された領域は、示されるように、領域マスクを提供するように分岐している。

ブロック１００４では、プロセス１０００は、第１の画像１２１が捕捉された時間（ｔ）に続く時間（ｔ＋１）に撮影された第２の画像１２３のための標的マスク１２４を生成することを伴う。本開示の態様による、ニューラルネットワーク画像処理又は他の標的識別メカニズムを通して、標的解剖学的特徴１１３は、画像１２３内で識別され得る。標的特徴１１３に対する画像１２３のマスク１２４は、標的解剖学的特徴１１３及び画像１２３の可視部分の形状／シルエット又は形態を表す特徴領域１１４、並びに標的解剖学的特徴１１３に対応しない画像１２３の領域を表す背景部分１２７を含む、画像１２４として示される。

ブロック１００６では、プロセス１０００は、その個別のマスク１２２、１２４を使用して、第１の画像１２１及び第２の画像１２３内の標的又は特徴重複を決定することを伴う。画像１２５は、第１のマスク１２２及び第２のマスク１２４のオーバーレイを表す。結果として生じる画像１２５は、第１の画像１２１及び第２の画像１２３の両方のための背景に対応する部分１１５、第２の画像１２３に対する特徴領域以外の第１の画像１２１に対する背景に対応する部分１１６、並びに第１の画像１２１に対する特徴領域以外の第２の画像１２３に対する背景に対応する部分１１７を含む。残りの領域１１８は、識別された解剖学的特徴１１１、１１３間の重複領域を表す。重複領域／形状は、明確にするために画像１２６として別々に示され、マスク１２２、１２４の特徴領域のいずれか以下の領域を表す。

プロセス１０００は、決定ブロック１００８に進み得、そこで、重複の量１１８、１２６が、第１の特徴領域１１２、第２の特徴領域１１４、又はその両方の領域に対する重複の所定の閾値量よりも大きいかどうかが決定され得る。決定が肯定的である場合、プロセス１０００は、応答アクションが講じられ得る、ブロック１０１０に進む。例えば、ブロック１０１０では、第１の識別された解剖学的特徴１１１及び第２の識別された解剖学的特徴１１３は、同じ標的解剖学的特徴を表すと想定され得る。例えば、両方の識別された特徴は、患者の腎臓内の同じ乳頭を表し得る。したがって、画像１２１と画像１２３との間の位置の任意の変化は、解剖学的移動を表し得、したがって、応答アクションは、標的解剖学的特徴と関連付けられた標的位置を調整すること、及び／又は画像１２１、１２３を捕捉するために利用される器具（例えば、内視鏡並びに／若しくはそのカメラ）などの利用されている医療器具の位置を調整することを伴い得る。例えば、１つ又は２つ以上のロボットアームは、ロボットアームによって制御されるアーム及び／又は内視鏡位置を調整することによって応答するように構成され得る。関連する領域の重複の決定は、二次元Ｘ／Ｙ軸に基づき得る。画像１２１、１２３間の差異は、解剖学的移動に起因するものとして説明されているが、そのような差異は、少なくとも部分的に１つ又は２つ以上の手術ツール若しくは器具の移動に起因し得ることを理解されたい。

特徴重複が所定の閾値を満たさない場合、プロセス１０００は、任意の応答アクションと関連付けられる場合とそうではない場合がある、ブロック１０１２に進み得る。例えば、ブロック１０１２では、特徴１１１、１１３は、別個の解剖学的特徴及び／又はその部分を表すと想定され得る。したがって、特徴１１１、１１３間の位置の差異は、標的解剖学的特徴の特定の解剖学的移動を表すものとして依拠されない場合がある。いくつかの実施形態では、所定の閾値は、動的に調整可能であり得、所望の又は最適な鑑別性能を生じるように選択及び／又は決定され得る。例えば、閾値は、本明細書に記載されるように、以前の公知のデータの分析に基づいて決定され得る。いくつかの実施形態では、周期的呼吸作用に起因し得る移動は、そのような移動が標的解剖学的特徴の移動に起因しないように除外され得る。例えば、画像１２１、１２３のサンプリングは、呼吸周期の期間内の同様の点に対応するように実施され得る。いくつかの実装では、画像は、毎秒約３０フレーム、又は任意の他の好適な若しくは望ましいサンプリングレートでサンプリングされる。

上記に記載されるような直接追跡方法に加えて、間接追跡方法が、本開示に従って実装され得る。例えば、光学フロー追跡が、複数の画像にわたる標的解剖学的特徴部分及び／又はその対応するピクセル表現の移動を追跡するために実装され得る。例えば、共通画像特徴を表すピクセルを追跡することは、標的解剖学的特徴の移動情報を提供し得る。更に、コーナー、ブログ、ピクセル群、及び／又は任意の他の画像特徴の追跡などの他の特徴追跡機構が、実装され得る。

セグメント化／マスキングは、ニューラルネットワークフレームワーク及び同等物を含む、本明細書に記載されるような画像処理方法論を使用して実施することができるが、いくつかの実装では、セグメント化／マスキングは、医師又は他の技術者／オペレータによって少なくとも部分的に手動で実施される。例えば、技術者は、標的解剖学的特徴を選択し、後続の画像内の同様の特徴を識別し得、順次特徴識別／セグメント化によって表される移動は、本開示に従って任意の好適な又は望ましい様式で考慮することができる。いくつかの実装では、特徴記述子は、識別された特徴領域内でローカルに実行され得、これは、後続の画像内の特徴の存在の高い可能性がある領域と見なされ得る。

本発明の開示の態様は、尿管鏡の文脈で提示されているが、そのような概念は、任意のタイプの内視鏡検査用途に適用可能であることを理解されたい。例えば、本明細書に記載の特徴識別及び追跡技法は、ポリープ又は他の標的解剖学的特徴を識別及び追跡する目的で利用され得る。気管支鏡検査手技に関して、本開示の標的解剖学的特徴の識別及び追跡概念が、腫瘍を識別し、かつ／又はサンプル若しくは同等物を収集する目的でスコープ位置を管理するために利用され得る。呼吸器手技に関して、本開示による特徴識別及び標的化が、標的気道の内側の結節、気道自体、及び／又は他の特徴を識別並びに／若しくは追跡するために利用され得る。

本明細書に開示される実施形態のうちのいずれかに関して、公知のスコープ移動データは、標的解剖学的特徴識別及び／又は追跡に関して補償され得ることを理解されたい。更に、位置センサ情報は、補償が標的特徴追跡目的のために行われ得る、移動を示す情報を更に提供し得る。図１０を更に参照すると、いくつかの実施形態では、ブロック１０１０において任意の応答アクションを開始する前に、プロセス１０００は、ユーザが開始したスコープ移動又は非意図的なスコープ移動が行われたかどうかを決定することを伴い得る。そうである場合、生成されたマスクは、そのような移動が重複決定及び／又は応答アクションに反映されないように、そのような移動を補償するように調整され得る。

本明細書に開示される様々な実施形態に関して、位置情報は、任意の好適な若しくは望ましいタイプのセンサ、デバイス、又はそれらの組み合わせを使用して、決定及び／又は生成され得る。例えば、本開示の位置センサ／デバイスは、以下のうちのいずれかの１つ又は２つ以上、すなわち、電磁センサ、インピーダンス分光センサ、同軸センサ、慣性測定センサ、加速度計、磁気メータ、ジャイロスコープ、及び／又は位置、距離、配向、加速度、整合、若しくは同等物を示す情報を提供する任意の他のタイプのセンサを含んでもよい。

三次元標的位置推定
本開示の態様による、標的解剖学的特徴追跡の目的のための三次元（３Ｄ）位置推定は、任意の好適な若しくは望ましい技法又は機構に従って実装され得る。例えば、いくつかの実施形態では、内視鏡カメラと標的解剖学的特徴との間の距離は、画像内の解剖学的特徴の代表的なサイズに基づいて推定され得る。

いくつかの実施形態では、スコープ及び／又は解剖学的特徴の移動の角度に関する情報は、３Ｄ位置を決定するために使用され得る。例えば、電磁場／空間内の電磁センサ／ビーコンは、そのような移動角度情報を提供することができる。電磁センサデータを画像データと組み合わせることにより、そのような距離の移動後に捕捉された結果として生じる画像内の標的解剖学的特徴からの距離と標的解剖学的特徴のサイズとの間のマッピングを使用して、後続の画像内の特徴の深度／距離を推定することができる。いくつかの実施形態では、標的解剖学的特徴（例えば、乳頭）に接触し、スコープをそのような特徴から離して後退させ、スコープを望ましい視野を提供する位置に駐留させるとき、移動した距離は、例えば、電磁センサデータを使用して位置合わせされ得る。更に、後続の画像は、そのような画像にどの程度大きな解剖学的特徴が現れるかに関連する情報を提供し、したがって、特徴サイズと距離との間の関係／マッピングを決定して、将来の位置決定に使用することができる。いくつかの実装では、機械学習が、画像を分類し、そのような画像内の特徴のサイズに基づいて位置情報を決定するために利用され得る。

いくつかの実施形態では、機械学習が、画像データを解釈し、画像ピクセルの３Ｄ深度を示す出力を生成するようにニューラルネットワークフレームワークを訓練するために利用され得る。そのような機械学習は、本明細書に記載の任意の好適な若しくは望ましいプロセス又は機構に従って実装され得る。いくつかの実施形態では、医療器具（例えば、スコープ）と関連付けられた外部カメラセンサを、標的の３Ｄ場所を取得するために利用することができる。例えば、構造化照明センサ及び／又は飛行時間センサを、３Ｄ測位の決定で使用することができる。

いくつかの実施形態によると、幾何学的並進アプローチが、標的解剖学的特徴の３Ｄ位置を検出するために実施され得る。例えば、本開示の特定の他の実施形態と同様に、別個のタイムスタンプと関連付けられる潜在的な画像が捕捉され得る。そのような画像に関連して、任意の好適な若しくは望ましいセンサ又はデバイスからのセンサ情報に基づいて決定され得る、カメラに関する回転並進情報が、３Ｄ空間内のそのような画像の位置を三角測量及び／又は決定し、それによって、３Ｄ空間内の標的解剖学的特徴の３Ｄ場所を示す情報を提供するために使用され得る。回転並進情報は、カメラ及び／又はスコープと関連付けられ、電磁場空間内のカメラの位置を示す、電磁ビーコンデバイスからなどのロボットアクチュエータ移動並びに／若しくは位置センサ情報に基づき得る。

図１２は、別個の時間、すなわち、それぞれ、時間（ｔ）及び時間（ｔ＋１）に対応する時間（Ｃ_ｔ及びＣ_ｔ＋１と称される）に撮影された第１の画像９１及び第２の画像９２を伴う、３Ｄ位置推定プロセスの態様を図示する図である。

カメラの内因性及び外因性パラメータ（主点、焦点距離及び歪み係数、相対運動）を考慮すると、次いで、画像上の追跡された標的二次元（２Ｄ）場所に少なくとも部分的に基づいて、標的解剖学的特徴の３Ｄ場所を計算することができる。固有パラメータについては、カメラ主点及び焦点距離が、考慮され得る。考慮され得る追加のデータは、半径方向及び接線の歪み係数を含み得る。センサ読み取り値（例えば、ロボット又はＥＭベースのいずれか）に基づいて、２つの画像が撮影された場所間のスコープの回転Ｒ及び並進Ｔを含む、外因性パラメータも取得され得る。便宜上、Ｋは、内因性パラメータを含有するマトリックスとして表され得、Ｈは、Ｃ_ｔとＣ_ｔ＋１との間の外因性回転及び並進を含有する４×４マトリックスとして表され得る。

Ｃ_ｔについては、３Ｄと２Ｄの投影関係は、ｘ_ｔ＝ＫＸとして表すことができ、式中、Ｘは、３Ｄ座標ｗ．ｒ．ｔ．である。Ｃ_ｔ及びｘ_ｔは、画像ｔ上の２Ｄ座標（標的の検出された重心）である。ここで、Ｋは、以下のように表現され得る３×４マトリックスであり、

Ｋ_（ｎ）は、Ｋの中の第ｎ行である。

同様に、Ｃ_ｔ＋１については、ｘ_ｔ＋１＝Ｋ’Ｘであり、

である。

ｘ_ｔ及びＫＸが並列ベクトルであるため、ｘ_ｔ×ＫＸ＝０であり、同様に、ｘ_ｔ＋１×Ｋ’Ｘ＝０である。ここで、「×」は、クロス積演算子である。したがって、

である。

上記は、ｉ（ｖ_ｔＫ_（３）Ｘ－Ｋ_（２）Ｘ）－ｊ（ｕ_ｔＫ_（３）Ｘ－Ｋ_（１）Ｘ）＋ｋ（ｕ_ｔＫ_（２）Ｘ－ｖ_ｔＫ_（１）Ｘ）＝０を生成し得、式中、ｕ_ｔ及びｖ_ｔは、ｘ_ｔの２Ｄ座標である。したがって、

である。

ここで、第３の方程式が最初の２つの線形結合であるため、最初の２つの方程式のみが必要とされ得る。同様に、Ｃ_ｔ＋１については、以下の２つの方程式を得ることができる。

Ｃ_ｔ及びＣ_ｔ＋１の方程式を積み重ねた後、以下が生成され得る。
ＡＸ＝０
式中、Ａは、４×４マトリックスである。

Ａの中の要素が公知である（検出された２Ｄ座標、内因性及び外因性パラメータ）ため、Ｘは、Ａに特異値分解（singular value decomposition、ＳＶＤ）を実施することによって計算することができる。
Ａ＝ＵΣＶ^Ｔ
Ｖの最後の列は、Ｘの解である。

したがって、前述の開示を考慮して、本明細書に開示される様々な発明の概念が、自動標的検出、標的追跡、及び／又は三次元位置推定を実施するために利用され得る。いくつかの実施形態では、本開示の態様は、有利には、標的解剖学的特徴との物理的接触を必要とすることなく、標的解剖学的特徴追跡を可能にし、これは、尿管鏡の使用の改良された人間工学を促進し得る。

図１２のシステムを実装するように構成された制御回路は、有利には、２つ（例えば、時間的に連続する）画像に存在する標的と関連付けられた三次元（３Ｄ）場所情報を生成することができる。いくつかの実装では、３Ｄ情報は、ニューラルネットワークフレームワークを使用して生成することができ、これは、図７に示され、かつ上記に記載される計算実装の代替として、又はそれに加えて上記に記載されるフレームワーク７２０と１つ又は２つ以上の点で同様であり得る。例えば、ニューラルネットワークへの入力は、標的解剖学的構造の３Ｄサイズ、３Ｄ場所（例えば、ｘｙｚ座標）、又は画像パラメータに関連する他のデータを示す、画像、標識、又は他のデータを含むことができる。深度情報は、ＣＴから決定することができるか、又は他の情報から導出することができる。例えば、深度及び／又はピクセル座標情報は、ニューラルネットワークからの出力であり得る。

追加の実施形態
実施形態に応じて、本明細書に記載されるプロセス又はアルゴリズムのうちのいずれかの特定の行為、事象、又は機能は、異なる順序で実施することができ、追加、マージ、又は完全に除外され得る。したがって、特定の実施形態では、全ての記載された行為又は事象が、プロセスの実践のために必要であるわけではない。

とりわけ、「することができる（can）」、「することができる（could）」、「し得る（might）」、「し得る（may）」、「例えば（e.g.）」、及び同等物などの本明細書で使用される仮定的な言語は、別途具体的に記述されない限り、又は使用される文脈内で別途理解されない限り、その通常の意味で意図され、一般的に、ある特定の実施形態が、ある特定の特徴、要素、及び／又はステップを含むが、他の実施形態が含まないことを伝えることを意図している。したがって、そのような仮定的な言語は、一般的に、特徴、要素、及び／又はステップが、１つ又は２つ以上の実施形態のために任意の方法で必要とされること、又は１つ又は２つ以上の実施形態が、オーサ入力若しくはプロンプティングの有無を問わず、これらの特徴、要素、及び／又はステップが任意の特定の実施形態に含まれるか、若しくは実施されるかどうかを判断するための論理を必ず含むことを暗示することを意図しない。「備える（comprising）」、「含む（including）」、「有する（having）」、及び同等物などの用語、それらの通常の意味で使用され、非限定的な様式で包括的に使用され、追加の要素、特徴、行為、動作などを除外しない。また、「又は」という用語は、使用される場合、例えば、要素の列挙を接続するために、「又は」という用語は、列挙された要素のうちの１つ、いくつか、又は全てを意味するように、その包含的な意味で（かつその排他的な意味ではなく）使用される。別途具体的に記述されない限り、「Ｘ、Ｙ及びＺのうちの少なくとも１つ」という語句などの接続言語は、アイテム、用語、要素などがＸ、Ｙ、又はＺのいずれかであり得ることを伝えるために、一般的に使用されるような文脈で理解される。したがって、そのような接続言語は、一般に、特定の実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、及びＺのうちの少なくとも１つが、それぞれ存在することを要求することを暗示することを意図しない。

実施形態の上記の説明では、様々な特徴は、時として、本開示を合理化し、様々な発明の態様のうちの１つ又は２つ以上の理解を補助する目的で、単一の実施形態、図、又はその説明においてともにグループ化されることを理解されたい。しかしながら、本開示の方法は、任意の請求項がその請求項に明示的に記載されているよりも多くの特徴を必要とするという意図を反映すると解釈されるべきではない。更に、本明細書の特定の実施形態に図示及び／又は記載される任意の構成要素、特徴、又はステップは、任意の他の実施形態に適用されるか、又はそれともに使用することができる。更に、いずれの構成要素、特徴、ステップ、又は構成要素、特徴、若しくはステップの群も、各実施形態のために必要又は不可欠ではない。したがって、本明細書に開示され、以下に請求される本発明の範囲は、上記に記載される特定の実施形態によって限定されるべきではないが、以下に続く特許請求の範囲の公正な読み取りのみによって決定されるべきであることが意図される。

特定の序数用語（例えば、「第１」又は「第２」）が参照を容易にするために提供され得、必ずしも物理的特性又は順序付けを暗示するわけではないことを理解されたい。したがって、本明細書で使用される場合、構造、構成要素、動作などの要素を修正するために使用される序数用語（例えば、「第１」、「第２」、「第３」など）は、必ずしも任意の他の要素に対する要素の優先順位又は順序を示すわけではなく、むしろ、一般に、要素を（序数用語の使用を別として）同様又は同一の名称を有する別の要素と区別し得る。更に、本明細書で使用される場合、不定冠詞（「ａ」及び「ａｎ」）は、「１つ」ではなく「１つ又は２つ以上」を示し得る。更に、条件又は事象に「基づいて」実施される動作はまた、明示的に列挙されていない１つ又は２つ以上の他の条件又は事象に基づいて実施され得る。

別途定義されない限り、本明細書で使用されている全ての用語（技術的及び科学的用語を含む）は、例示的実施形態が属する分野の当業者によって一般的に理解されるものと同じ意味を有している。一般的に使用される辞書で定義されているものなどの用語は、関連技術の文脈におけるそれらの意味と一致する意味を有するものとして解釈されるべきであり、本明細書で明示的にそのように定義されない限り、理想的な意味又は過度に形式的な意味で解釈されるべきではないことを更に理解されたい。

「外側」、「内側」、「上側」、「下側」、「下方」、「上方」、「垂直」、「水平」という空間的に相対的な用語、及び同様の用語は、図面に図示されるような１つの要素又は構成要素と別の要素又は構成要素との間の関係を説明するための説明を容易にするために、本明細書で使用され得る。空間的に相対的な用語は、図面に描写される配向に加えて、使用又は動作時のデバイスの異なる配向を包含することを意図していると理解されたい。例えば、図面に示されるデバイスが反転される場合、別のデバイスの「下方」又は「下に」位置決めされたデバイスは、別のデバイスに「上方」に配置され得る。したがって、「下方」という例示的用語は、下側及び上側位置の両方を含み得る。デバイスはまた、他の方向に配向され得、したがって、空間的に相対的な用語は、配向に応じて異なって解釈され得る。

別途明記されない限り、「より少ない」、「より多い」、「より大きい」などの比較及び／又は定量的用語は、平等の概念を包含することを意図している。例えば、「より少ない」は、厳密な数学的意味では「より少ない」だけでなく、「以下」も意味することができる。

〔実施の態様〕
（１） 外科用器具を位置決めする方法であって、
患者の治療部位まで第１の医療器具を前進させることであって、前記第１の医療器具が、カメラを備える、前進させることと、
前記治療部位における標的解剖学的特徴と関連付けられた標的位置を記録することと、
前記第１の医療器具の前記カメラを使用して、前記治療部位の第１の画像を生成することと、
事前訓練されたニューラルネットワークを使用して、前記第１の画像内の前記標的解剖学的特徴を識別することと、
前記第１の画像内の識別された前記標的解剖学的特徴の位置に少なくとも部分的に基づいて、前記標的位置を調整することと、を含む、方法。
（２） 前記第１の画像内の前記識別された標的解剖学的特徴の前記位置に少なくとも部分的に基づいて、前記第１の医療器具の配向を調整することを更に含む、実施態様１に記載の方法。
（３） 前記第１の医療器具の前記配向の前記調整は、前記識別された標的解剖学的特徴を前記カメラと関連付けられた視野内で中心に置くことを伴う、実施態様２に記載の方法。
（４） 前記標的位置の前記記録は、
前記標的解剖学的特徴を前記第１の医療器具の遠位端と接触させることと、
前記標的解剖学的特徴及び前記第１の医療器具の前記遠位端の接触位置を示す位置データを生成することと、
前記位置データを１つ又は２つ以上のデータ記憶デバイスに記憶させることと、を伴う、実施態様１に記載の方法。
（５） 前記第１の画像の前記生成の前に、前記第１の医療器具の前記遠位端を前記標的解剖学的特徴から離して後退させることを更に含む、実施態様４に記載の方法。

（６） 前記第１の画像の前記生成の後に、前記第１の医療器具の前記カメラを使用して、前記治療部位の第２の画像を生成することと、
前記事前訓練されたニューラルネットワークを使用して、前記第２の画像内の解剖学的特徴を識別することと、
前記第２の画像の前記解剖学的特徴及び前記第１の画像の前記標的解剖学的特徴が同じ特徴を表すと決定することと、
前記決定に応答して、前記第２の画像内の識別された前記解剖学的特徴の位置に少なくとも部分的に基づいて、前記標的位置を調整することと、を更に含む、実施態様１に記載の方法。
（７） 前記決定は、
前記第２の画像の前記解剖学的特徴の少なくとも一部と前記第１の画像の前記標的解剖学的特徴の少なくとも一部との間の重複の量を決定することと、
前記重複の量が所定の閾値よりも大きいと決定することと、を伴う、実施態様６に記載の方法。
（８） 前記第１の画像の前記標的解剖学的特徴の前記少なくとも一部をマスクする、前記第１の画像の第１のマスクを生成することと、
前記第２の画像の前記解剖学的特徴の前記少なくとも一部をマスクする、前記第２の画像の第２のマスクを生成することと、を更に含み、
前記重複の量の前記決定は、前記第１のマスク及び前記第２のマスクを使用して実施される、実施態様７に記載の方法。
（９） 前記決定は、前記第１の画像と前記第２の画像との間の特徴の移動を追跡することを伴う、実施態様６に記載の方法。
（１０） 前記第１の画像及び前記第２の画像に少なくとも部分的に基づいて、前記第２の画像の前記解剖学的特徴の三次元位置を推定することを更に含む、実施態様６に記載の方法。

（１１） 前記解剖学的特徴の前記三次元位置の前記推定は、カメラ焦点距離、カメラ主点、前記第１の医療器具の相対運動、前記第１の医療器具の回転、及び電磁センサ読み取り値のうちの１つ又は２つ以上に基づく、実施態様１０に記載の方法。
（１２） 前記標的位置の前記調整は、前記第１の医療器具の決定された移動に少なくとも部分的に更に基づく、実施態様１に記載の方法。
（１３） 前記患者の組織を通して前記標的位置に向かって第２の医療器具を経皮的に方向付けることを更に含む、実施態様１に記載の方法。
（１４） 前記方向付けは、前記第１の医療器具及び前記第２の医療器具の両方の整合センサによって提供されたセンサデータを使用して実施される、実施態様１３に記載の方法。
（１５） 前記方法は、少なくとも部分的にロボットシステムによって実施される、実施態様１に記載の方法。

（１６） 解剖学的特徴を標的化する方法であって、
患者の標的解剖学的特徴と関連付けられた標的位置を示す標的位置データを受信することと、
前記標的位置データを１つ又は２つ以上のデータ記憶デバイスに記憶することと、
患者内の手術部位の第１の画像を受信することと、
人工ニューラルネットワークを使用して、前記標的解剖学的特徴を表す前記第１の画像内の第１の形態を識別することと、
前記第１の画像内の識別された前記形態に基づいて、前記標的位置を示す更新された標的位置データを記憶することと、を含む、方法。
（１７） 前記更新された標的位置データに応答して、医療器具を関節運動させることを更に含む、実施態様１６に記載の方法。
（１８） 前記方法は、医療システムの制御回路によって実施され、
前記標的位置データ及び前記第１の画像は、前記医療システムの内視鏡から受信される、実施態様１６に記載の方法。
（１９） 前記標的解剖学的特徴は、前記患者の腎臓の杯内の乳頭の露出部分である、実施態様１６に記載の方法。
（２０） 前記人工ニューラルネットワークは、公知の画像及び標識データに基づいて事前訓練される、実施態様１６に記載の方法。

（２１） 前記人工ニューラルネットワークは、多層特徴ピラミッドネットワークを含む、実施態様２０に記載の方法。
（２２） 前記更新された標的位置データは、前記患者に関連する公知の呼吸器情報に少なくとも部分的に基づく、実施態様１６に記載の方法。
（２３） 前記手術部位の第２の画像を受信することと、
前記人工ニューラルネットワークを使用して、前記標的解剖学的特徴を表す前記第２の画像内の第２の形態を識別することと、
前記第１の形態及び前記第２の形態に少なくとも部分的に基づいて、前記標的解剖学的特徴の三次元位置を決定することと、を更に含む、実施態様１６に記載の方法。
（２４） 前記標的解剖学的特徴の前記三次元位置の前記決定は、前記第２の形態の相対的サイズに少なくとも部分的に基づく、実施態様２３に記載の方法。
（２５） 医療システムであって、
カメラを有する内視鏡であって、その遠位端と関連付けられた電磁位置センサを有する、内視鏡と、
複数の関節運動アームを含む、ロボット医療サブシステムと、
前記内視鏡及び前記ロボット医療サブシステムに通信可能に結合された制御回路であって、
ユーザ入力に応答して、患者の治療部位まで前記内視鏡を前進させ、
電磁場内の前記内視鏡の前記遠位端の位置を記録し、
前記位置を標的解剖学的位置として示すユーザインターフェースデータを生成し、
前記内視鏡の前記カメラから第１の画像を受信し、
事前訓練されたニューラルネットワークを使用して、前記第１の画像内の標的解剖学的特徴を識別し、かつ
前記第１の画像内の識別された前記標的解剖学的特徴の位置に少なくとも部分的に基づいて、前記標的解剖学的位置を調整するように構成された制御回路と、を備える、医療システム。

（２６） 前記制御回路は、前記電磁場内の前記内視鏡の前記遠位端を較正するように更に構成されている、実施態様２５に記載の医療システム。
（２７） 前記制御回路に通信可能に結合されたロボット腎臓鏡を更に備える、実施態様２５に記載の医療システム。
（２８） コンピューティングデバイスであって、
内視鏡インターフェースと、
１つ又は２つ以上のプロセッサ及び１つ又は２つ以上のデータ記憶デバイスを備える、制御回路であって、
前記内視鏡インターフェース上で前記制御回路に結合された内視鏡の遠位端の位置を示す整合センサデータを受信し、
前記内視鏡の前記遠位端の前記位置を標的腎臓鏡検査位置として示す、第１のユーザインターフェースデータを生成し、
前記内視鏡インターフェース上で医療部位の第１の画像を受信し、
前記第１の画像内の第１の解剖学的形態を識別し、
前記内視鏡インターフェース上で前記医療部位の第２の画像を受信し、
前記第２の画像内の第２の解剖学的形態を識別し、
前記第１の解剖学的形態及び前記第２の解剖学的形態が同じ標的解剖学的特徴を表すと決定し、かつ
前記決定に基づいて、前記標的腎臓鏡検査位置を更新するように構成された制御回路と、を備える、コンピューティングデバイス。
（２９） 前記制御回路は、前記第１の画像及び前記第２の画像のオーバーレイにおける前記第１の形態及び前記第２の形態の重複の量が、所定の閾値よりも大きいと決定するように更に構成されている、実施態様２８に記載のコンピューティングデバイス。
（３０） 前記制御回路は、前記標的腎臓鏡検査位置の前記更新に応答して、更新された前記標的腎臓鏡検査位置を示す第２のユーザインターフェースデータを生成するように構成されている、実施態様２８に記載のコンピューティングデバイス。

Claims (30)

1. 医療システムであって、
   カメラを有する内視鏡であって、その遠位端と関連付けられた電磁位置センサを有する、内視鏡と、
   複数の関節運動アームを含む、ロボット医療サブシステムと、
   前記内視鏡及び前記ロボット医療サブシステムに通信可能に結合された制御回路であって、
   ユーザ入力に応答して、患者の治療部位まで前記内視鏡を前進させ、
   電磁場内の前記内視鏡の前記遠位端の位置を記録し、
   前記位置を標的解剖学的位置として示すユーザインターフェースデータを生成し、
   前記内視鏡の前記カメラから第１の画像を受信し、
   事前訓練されたニューラルネットワークを使用して、前記第１の画像内の標的解剖学的特徴を識別し、かつ
   前記第１の画像内の識別された前記標的解剖学的特徴の位置に少なくとも部分的に基づいて、前記標的解剖学的位置を調整するように構成された制御回路と、を備える、医療システム。
2. 前記制御回路は、前記電磁場内の前記内視鏡の前記遠位端を較正するように更に構成されている、請求項１に記載の医療システム。
3. 前記制御回路に通信可能に結合されたロボット腎臓鏡を更に備える、請求項１に記載の医療システム。
4. コンピューティングデバイスであって、
   内視鏡インターフェースと、
   １つ又は２つ以上のプロセッサ及び１つ又は２つ以上のデータ記憶デバイスを備える、制御回路であって、
   前記内視鏡インターフェース上で前記制御回路に結合された内視鏡の遠位端の位置を示す整合センサデータを受信し、
   前記内視鏡の前記遠位端の前記位置を標的腎臓鏡検査位置として示す、第１のユーザインターフェースデータを生成し、
   前記内視鏡インターフェース上で医療部位の第１の画像を受信し、
   前記第１の画像内の第１の解剖学的形態を識別し、
   前記内視鏡インターフェース上で前記医療部位の第２の画像を受信し、
   前記第２の画像内の第２の解剖学的形態を識別し、
   前記第１の解剖学的形態及び前記第２の解剖学的形態が同じ標的解剖学的特徴を表すと決定し、かつ
   前記決定に基づいて、前記標的腎臓鏡検査位置を更新するように構成された制御回路と、を備える、コンピューティングデバイス。
5. 前記制御回路は、前記第１の画像及び前記第２の画像のオーバーレイにおける前記第１の形態及び前記第２の形態の重複の量が、所定の閾値よりも大きいと決定するように更に構成されている、請求項４に記載のコンピューティングデバイス。
6. 前記制御回路は、前記標的腎臓鏡検査位置の前記更新に応答して、更新された前記標的腎臓鏡検査位置を示す第２のユーザインターフェースデータを生成するように構成されている、請求項４に記載のコンピューティングデバイス。
7. 外科用器具を位置決めする方法であって、
   患者の治療部位まで第１の医療器具を前進させることであって、前記第１の医療器具が、カメラを備える、前進させることと、
   前記治療部位における標的解剖学的特徴と関連付けられた標的位置を記録することと、
   前記第１の医療器具の前記カメラを使用して、前記治療部位の第１の画像を生成することと、
   事前訓練されたニューラルネットワークを使用して、前記第１の画像内の前記標的解剖学的特徴を識別することと、
   前記第１の画像内の識別された前記標的解剖学的特徴の位置に少なくとも部分的に基づいて、前記標的位置を調整することと、を含む、方法。
8. 前記第１の画像内の前記識別された標的解剖学的特徴の前記位置に少なくとも部分的に基づいて、前記第１の医療器具の配向を調整することを更に含む、請求項７に記載の方法。
9. 前記第１の医療器具の前記配向の前記調整は、前記識別された標的解剖学的特徴を前記カメラと関連付けられた視野内で中心に置くことを伴う、請求項８に記載の方法。
10. 前記標的位置の前記記録は、
    前記標的解剖学的特徴を前記第１の医療器具の遠位端と接触させることと、
    前記標的解剖学的特徴及び前記第１の医療器具の前記遠位端の接触位置を示す位置データを生成することと、
    前記位置データを１つ又は２つ以上のデータ記憶デバイスに記憶させることと、を伴う、請求項７に記載の方法。
11. 前記第１の画像の前記生成の前に、前記第１の医療器具の前記遠位端を前記標的解剖学的特徴から離して後退させることを更に含む、請求項１０に記載の方法。
12. 前記第１の画像の前記生成の後に、前記第１の医療器具の前記カメラを使用して、前記治療部位の第２の画像を生成することと、
    前記事前訓練されたニューラルネットワークを使用して、前記第２の画像内の解剖学的特徴を識別することと、
    前記第２の画像の前記解剖学的特徴及び前記第１の画像の前記標的解剖学的特徴が同じ特徴を表すと決定することと、
    前記決定に応答して、前記第２の画像内の識別された前記解剖学的特徴の位置に少なくとも部分的に基づいて、前記標的位置を調整することと、を更に含む、請求項７に記載の方法。
13. 前記決定は、
    前記第２の画像の前記解剖学的特徴の少なくとも一部と前記第１の画像の前記標的解剖学的特徴の少なくとも一部との間の重複の量を決定することと、
    前記重複の量が所定の閾値よりも大きいと決定することと、を伴う、請求項１２に記載の方法。
14. 前記第１の画像の前記標的解剖学的特徴の前記少なくとも一部をマスクする、前記第１の画像の第１のマスクを生成することと、
    前記第２の画像の前記解剖学的特徴の前記少なくとも一部をマスクする、前記第２の画像の第２のマスクを生成することと、を更に含み、
    前記重複の量の前記決定は、前記第１のマスク及び前記第２のマスクを使用して実施される、請求項１３に記載の方法。
15. 前記決定は、前記第１の画像と前記第２の画像との間の特徴の移動を追跡することを伴う、請求項１２に記載の方法。
16. 前記第１の画像及び前記第２の画像に少なくとも部分的に基づいて、前記第２の画像の前記解剖学的特徴の三次元位置を推定することを更に含む、請求項１２に記載の方法。
17. 前記解剖学的特徴の前記三次元位置の前記推定は、カメラ焦点距離、カメラ主点、前記第１の医療器具の相対運動、前記第１の医療器具の回転、及び電磁センサ読み取り値のうちの１つ又は２つ以上に基づく、請求項１６に記載の方法。
18. 前記標的位置の前記調整は、前記第１の医療器具の決定された移動に少なくとも部分的に更に基づく、請求項７に記載の方法。
19. 前記患者の組織を通して前記標的位置に向かって第２の医療器具を経皮的に方向付けることを更に含む、請求項７に記載の方法。
20. 前記方向付けは、前記第１の医療器具及び前記第２の医療器具の両方の整合センサによって提供されたセンサデータを使用して実施される、請求項１９に記載の方法。
21. 前記方法は、少なくとも部分的にロボットシステムによって実施される、請求項７に記載の方法。
22. 解剖学的特徴を標的化する方法であって、
    患者の標的解剖学的特徴と関連付けられた標的位置を示す標的位置データを受信することと、
    前記標的位置データを１つ又は２つ以上のデータ記憶デバイスに記憶することと、
    患者内の手術部位の第１の画像を受信することと、
    人工ニューラルネットワークを使用して、前記標的解剖学的特徴を表す前記第１の画像内の第１の形態を識別することと、
    前記第１の画像内の識別された前記形態に基づいて、前記標的位置を示す更新された標的位置データを記憶することと、を含む、方法。
23. 前記更新された標的位置データに応答して、医療器具を関節運動させることを更に含む、請求項２２に記載の方法。
24. 前記方法は、医療システムの制御回路によって実施され、
    前記標的位置データ及び前記第１の画像は、前記医療システムの内視鏡から受信される、請求項２２に記載の方法。
25. 前記標的解剖学的特徴は、前記患者の腎臓の杯内の乳頭の露出部分である、請求項２２に記載の方法。
26. 前記人工ニューラルネットワークは、公知の画像及び標識データに基づいて事前訓練される、請求項２２に記載の方法。
27. 前記人工ニューラルネットワークは、多層特徴ピラミッドネットワークを含む、請求項２６に記載の方法。
28. 前記更新された標的位置データは、前記患者に関連する公知の呼吸器情報に少なくとも部分的に基づく、請求項２２に記載の方法。
29. 前記手術部位の第２の画像を受信することと、
    前記人工ニューラルネットワークを使用して、前記標的解剖学的特徴を表す前記第２の画像内の第２の形態を識別することと、
    前記第１の形態及び前記第２の形態に少なくとも部分的に基づいて、前記標的解剖学的特徴の三次元位置を決定することと、を更に含む、請求項２２に記載の方法。
30. 前記標的解剖学的特徴の前記三次元位置の前記決定は、前記第２の形態の相対的サイズに少なくとも部分的に基づく、請求項２９に記載の方法。

Images