発明の詳細な説明
[関連出願の相互参照]
本出願は、2018年2月23日に出願された仮出願62/634,245号の優先権を主張する非仮出願である。本出願はまた、2017年5月31日に出願された米国特許出願第15/609,334号の一部継続出願であり、これは、2016年5月18日に出願された米国特許出願第15/157,444号の一部継続出願であり、これは、2016年4月11日に出願された米国特許出願第15/095,883号の一部継続出願であり、これは、2013年10月24日に出願された米国特許出願第14/062,707号の一部継続出願であり、これは、2013年6月21日に出願された米国特許出願第13/924,505号の一部継続出願であり、これは、2012年6月21日に出願された仮出願第61/662,702号に対する優先権を主張し、および2013年3月15日に出願された仮出願第61/800,527号に対する優先権を主張し、これらの全ては、すべての目的のためにその全体が参照により本明細書に組み込まれる。
[技術分野]
本開示は、医療装置に関し、より詳細には、ロボットシステムと関連方法および関連装置に関する。
[背景技術]
頭蓋/脳外科手術を実行する際、脳の軟組織はシフトしやすい。こうしたシフトは、例えば、外科医が頭蓋骨を貫通させて頭蓋内圧が変化する後に起こり得る。したがって、こうしたシフトが生じる場合に、頭蓋骨の外部に取り付けられたマーカーを使用して、および/または術前スキャンからの登録に基づいて脳の内部の構造を追跡することは、不正確となる可能性がある。言い換えれば、手術中に、脳構造が術前画像スキャンに対してシフト/歪む場合があり、それによって、術前画像スキャンに基づいて決定される計画された軌道の精度が低減し得る。
[発明の概要]
発明概念のいくつかの実施形態では、ロボットシステムは、患者の解剖学的ボリュームに対して手術用エンドエフェクタを位置決めするよう構成されるロボットアクチュエータと、ロボットアクチュエータに結合されるコントローラとを含み得る。コントローラは、解剖学的ボリュームの第一の3次元(3D)画像スキャンに対する第一のデータを提供するように構成されてもよく、第一のデータは、第一の3D画像スキャンに対する第一の座標系における血管ノードを識別する。コントローラはまた、解剖学的ボリュームの第二の3D画像スキャンに対する第二のデータを提供するように構成されてもよく、第二のデータは、第二の3D画像スキャンに対する第二の座標系における血管ノードを識別する。コントローラは、第一のデータにおいて、および第二のデータにおいて識別される血管ノードを基準として使用して、解剖学的ボリュームの第一および第二の3D画像スキャンに対する第一および第二の座標系を共に登録するようにさらに構成され得る。さらに、コントローラは、ロボットアクチュエータを制御して、血管ノードを使用した第一および第二の3D画像スキャンに対する第一および第二の座標系の共登録に基づいて、エンドエフェクタを解剖学的ボリュームに対する標的軌道に移動させるように構成され得る。
本発明の概念のいくつかの他の実施形態によれば、医療システムを動作させる方法が提供され得る。第一のデータは、解剖学的ボリュームの第一の3次元(3D)画像スキャンに対して提供され得るが、第一のデータは、第一の3D画像スキャンに対する第一の座標系における血管ノードを識別する。第二のデータは、解剖学的ボリュームの第二の3D画像スキャンに対して提供され得るが、第二のデータは、第二の3D画像スキャンに対する第二の座標系における血管ノードを識別する。解剖学的ボリュームの第一および第二の3D画像スキャンに対する第一および第二の座標系は、第一のデータにおいて、および第二のデータにおいて識別される血管ノードを基準として共に登録され得る。
本発明の主題の実施形態による他の方法および関連するシステム、ならびに対応する方法およびコンピュータプログラム製品は、以下の図面および詳細な説明を検討することにより、当業者に明らかであり、または明らかになるであろう。このようなシステム、および対応する方法およびコンピュータプログラム製品は全て、本明細書の記載内に含まれ、本発明の主題の範囲内であり、添付の特許請求の範囲によって保護されることが意図される。さらに、本明細書で開示されるすべての実施形態は、別々に実装されてもよく、または任意の方法および/または組み合わせで組み合わされて実装されてもよい。
[図面の簡単な説明]
本開示のさらなる理解を提供するために含まれ、本出願の一部を構成する添付の図面は、本発明の概念の特定の非限定的な実施形態を示す。図面において:
図1は、外科施術中のロボットシステム、患者、外科医、および他の医療従事者の位置のあり得る配置の俯瞰図である。
図2は、一実施形態による、患者に対する手術用ロボットおよびカメラの位置決めを含むロボットシステムを示す。
図3は、例示的な実施形態による手術用ロボットシステムを示す。
図4は、例示的な実施形態による手術用ロボットの一部を示す。
図5は、例示的な実施形態による手術用ロボットのブロック図を示す。
図6は、例示的な実施形態による手術用ロボットを示す。
図7A〜7Cは、例示的な実施形態によるエンドエフェクタを示す。
図8は、一実施形態によるエンドエフェクタのガイドチューブ内に外科用器具を挿入する前後の外科用器具およびエンドエフェクタを示す。
図9A〜9Cは、例示的な実施形態によるエンドエフェクタおよびロボットアームの部分を示す。
図10は、例示的な実施形態による動的基準アレイ、撮像アレイ、および他のコンポーネントを示す。
図11は、例示的な実施形態による登録の方法を示す。
図12A〜12Bは、例示的な実施形態による撮像装置の実施形態を示す。
図13Aは、例示的な実施形態による、ロボットアームとエンドエフェクタとを含むロボットの一部を示す。
図13Bは、エンドエフェクタの拡大図であり、図13Aに示すように、複数の追跡マーカーがその上にしっかりと固定される。
図13Cは、一実施形態による、複数の追跡マーカーがその上にしっかりと固定されたツールまたは器具である。
図14Aは、第一構成の可動追跡マーカーを有するエンドエフェクタの代替バージョンである。
図14Bは、第二の構成の可動追跡マーカーを有する図14Aに示すエンドエフェクタである。
図14Cは、図14Aの第一の構成における追跡マーカーのテンプレートを示す。
図14Dは、図14Bの第二の構成における追跡マーカーのテンプレートを示す。
図15Aは、単一の追跡マーカーのみがその上に固定されたエンドエフェクタの代替バージョンを示す。
図15Bは、ガイドチューブを介して配置された器具を有する図15Aのエンドエフェクタを示す。
図15Cは、二つの異なる位置に器具を有する図15Aのエンドエフェクタを示し、器具がガイドチューブ内にまたはガイドチューブの外側に配置されるかどうかを決定するための結果のロジックを示す。
図15Dは、図15Aのエンドエフェクタを示すが、器具は、二つの異なるフレームでかつガイドチューブ上の単一の追跡マーカーに対して相対的な距離でガイドチューブ内にある。
図15Eは、座標系に対して図15Aのエンドエフェクタを示す。
図16は、ロボットのエンドエフェクタを所望の標的軌道にナビゲートして移動させる方法のブロック図である。
また、図17Aおよび17Bは、それぞれ、収縮および拡張位置に固定および可動追跡マーカーを有する拡張可能インプラントを挿入するための器具を示す。
また、図18Aおよび18Bは、それぞれ、挿入位置および傾斜位置に固定および可動追跡マーカーを有する関節のあるインプラントを挿入するための器具を示す。
図19Aは、交換可能または代替のエンドエフェクタを含むロボットの一実施形態を示す。
図19Bは、器具スタイルのエンドエフェクタが結合されたロボットの実施形態を示す。
図20は、発明概念のいくつかの実施形態による、ロボットコントローラを図示するブロック図である。
図21は、いくつかの実施形態による脳の血管を示す、コントラストを有するCT画像の3次元(3D)再構成である。
図22は、いくつかの実施形態による、脳の血管ノードを使用して自然基準を記録/識別するために使用されるツリー構造マッピングの例である。
図23は、いくつかの実施形態による、ロボットシステムの動作を図示するフローチャートである。
[発明を実施するための形態]
本開示は、その適用において、本明細書の説明に記載された、または図面に示された構成の詳細およびコンポーネントの配置に限定されないことを理解されたい。本開示の教示は、他の実施形態において使用され、実施され、様々な方法で実施され、または実行されてもよい。また、本明細書で使用される表現および用語は、説明のためのものであり、限定的であると見なされるべきではないことを理解されたい。本明細書中の「含む(including)」「含む(comprising)」または「有す(having)」の使用およびそれらの変形は、その後に列挙されるアイテムおよびその等価物ならびに追加のアイテムを含むことを意味する。別段に特定または限定されていない限り、「装着される(mounted)」、「接続される(connected)」、「支持される(supported)」および「結合される(coupled)」という用語およびそれらの変形は、広範に使用され、直接的および間接的な取り付け、接続、支持および結合の両方を包含する。さらに、「接続される(connected)」および「結合される(coupled)」は、物理的または機械的な接続または結合に限定されない。
以下の議論は、当業者が本開示の実施形態を作成し使用することを可能にするために提示される。例解された実施形態に対する様々な変更は、当業者には容易に明らかであり、本明細書の原理は、本開示の実施形態から逸脱することなく他の実施形態およびアプリケーションに適用することができる。したがって、実施形態は、示された実施形態に限定されることを意図するものではなく、本明細書に開示された原理および特徴と一致する最も広い範囲が与えられるべきである。以下の詳細な説明は、図面を参照して読まれるべきであり、異なる図における同様の要素は、同様の参照番号を有する。必ずしも縮尺通りではない図面は、選択された実施形態を示しており、実施形態の範囲を限定するものではない。当業者は、本明細書で提供される例が多くの有用な代替物を有し、実施形態の範囲内に入ることを認識するであろう。
ここで図面を参照すると、図1および図2は、例示的な実施形態による手術用ロボットシステム100を示す。手術用ロボットシステム100は、例えば、手術用ロボット102と、一つまたは複数のロボットアーム104と、基部106と、ディスプレイ110と、ガイドチューブ114を含むエンドエフェクタ112と、一つまたは複数の追跡マーカー118とを含む。手術用ロボットシステム100は、患者210に直接(例えば、患者210の骨に)固定されるように適合された一つまたは複数の追跡マーカー118も含む患者追跡装置116を含むことができる。手術用ロボットシステム100は、例えば、カメラスタンド202上に位置決めされたカメラ200を利用することもできる。カメラスタンド202は、カメラ200を所望の位置に移動させ、方向付けし、支持するための任意の適切な構成を有することができる。カメラ200は、カメラ200の視点から見ることができる所与の測定ボリューム内にある、例えば能動的および受動的な追跡マーカー118(図2の患者追跡装置116の一部として示され、図13A−13Bの拡大図によって示される)を識別することができる、一つまたは複数の赤外線カメラ(例えば、二焦点カメラまたはステレオ写真カメラ)などの適切なカメラを含んでもよい。カメラ200は、所与の測定ボリュームを走査し、マーカー118から来る光を検出して、マーカー118の三次元での位置を識別し、決定することができる。例えば、能動マーカー118は、電気信号によって作動する赤外線発光マーカー(例えば、赤外線発光ダイオード(LED))を含むことができ、および/または、受動マーカー118は、例えば、カメラ200上の照明器または他の適切な装置によって発光される、赤外線を反射する再帰反射マーカー(例えば、それらは、入射IR照射を入射光の方向へ反射する)を含むことができる。
また、図1および図2は、手術室環境における手術用ロボットシステム100の配置のあり得る構成を示す。例えば、ロボット102は、患者210の近くに、または患者210の隣に配置することができる。患者210の頭の近くに描かれているが、ロボット102は、手術を受ける患者210の領域に応じて、患者210の近くの任意の適切な場所に配置することができることが理解されよう。カメラ200は、ロボットシステム100から分離され、患者210の足に配置されてもよい。この位置は、カメラ200が外科手術領域208に対して視覚的に直接視線を有することを可能にする。ここでも、カメラ200は、外科手術領域208に対し視線を有する任意の適切な位置に配置することができると考えられる。示された構成では、外科医120はロボット102の反対側に配置されるが、依然としてエンドエフェクタ112およびディスプレイ110を操作することができる。外科医助手126もエンドエフェクタ112とディスプレイ110の両方にアクセスできるよう、外科医120の反対側に、配置することができる。必要に応じて、外科医120と助手126の位置を逆にしてもよい。麻酔医122および看護師または手術室技師124のための従来からの領域は、ロボット102およびカメラ200の位置によって妨げられないままであり得る。
ロボット102の他のコンポーネントに関して、ディスプレイ110は、手術用ロボット102に取り付けることができ、他の例示的な実施形態では、ディスプレイ110は、外科手術用ロボット102から離され、手術用ロボット102と一緒に手術室内か、または、遠隔地に置かれる。エンドエフェクタ112は、ロボットアーム104に結合され、少なくとも一つのモータによって制御されてもよい。例示的な実施形態では、エンドエフェクタ112は、患者210に対して外科手術を行うために使用される外科用器具608(本明細書でさらに説明する)を受け入れて配向することができるガイドチューブ114を含むことができる。本明細書で使用される用語「エンドエフェクタ」は、「エンドエフェクチュエータ」および「エフェクチュエータ要素」という用語と交換可能に使用される。概してガイドチューブ114で示されるが、エンドエフェクタ112は、外科手術での使用に適した任意の適切な器具で置き換えることができることが理解されよう。いくつかの実施形態では、エンドエフェクタ112は、外科用器具608の移動を所望の方法で行うための任意の既知の構造を含むことができる。
手術用ロボット102は、エンドエフェクタ112の並進および配向を制御することができる。ロボット102は、例えば、エンドエフェクタ112をx、y、z軸に沿って移動させることができる。エンドエフェクタ112は、(エンドエフェクタ112に関連するオイラーアングル(例えば、ロール、ピッチ、および/またはヨー)の一つまたは複数が選択的に制御できるように)x軸、y軸、およびz軸の一つまたは複数、およびzフレーム軸の回りに選択的に回転するよう構成することができる。いくつかの例示的な実施形態では、エンドエフェクタ112の並進および配向の選択的制御は、例えば、回転軸のみを含む6自由度のロボットアームを利用する従来のロボットと比較して、大幅に改善された正確性を有する医療処置の実行を可能にする。例えば、手術用ロボットシステム100は患者210上で動作するために使用され、ロボットアーム104は患者210の身体の上方に位置決めされ、エンドエフェクタ112は患者210の身体に向かってz軸に対して選択的に角度付けされ得る。
いくつかの例示的な実施形態では、外科用器具608の位置を動的に更新して、手術用ロボット102が手術中に外科用器具608の位置を常に知ることができるようにすることができる。その結果、いくつかの例示的な実施形態では、手術用ロボット102は、(医師が望む場合を除いて)外科用器具608を医師のさらなる助けなしに素早く所望の位置に移動させることができる。さらなるいくつかの実施形態では、外科用器具608が選択されたあらかじめ計画された軌道から逸脱する場合、外科用器具608の経路を修正するように手術用ロボット102を構成することができる。いくつかの例示的な実施形態では、手術用ロボット102は、エンドエフェクタ112および/または外科用器具608の動きの停止、変更、および/または手動制御を可能にするように構成され得る。したがって、使用中、例示的な実施形態では、医師または他のユーザは、システム100を操作することができ、エンドエフェクタ112および/または外科用器具608の自律移動を停止、修正、または手動で制御する選択肢を有する。手術用ロボット102による外科用器具608の制御および移動を含む手術用ロボットシステム100のさらなる詳細は、同時係属中の米国特許第9,782,229号に見出すことができ、その開示全体が参照により本明細書に組み込まれる。
ロボット外科手術システム100は、ロボットアーム104、エンドエフェクタ112、患者210、および/または外科用器具608の三次元での動きを追跡するように構成される一つまたは複数の追跡マーカー118を含むことができる。例示的な実施形態では、複数の追跡マーカー118を、例えばロボット102の基部106上、ロボットアーム104上、および/または、エンドエフェクタ112上等のロボット102の外面に取り付ける(そうでなければ固定する)ことができるが、これに限定されない。例示的な実施形態では、複数の追跡マーカー118のうちの少なくとも一つの追跡マーカー118をエンドエフェクタ112に取り付けるか、または別の方法で固定することができる。一つまたは複数の追跡マーカー118は、患者210にさらに取り付けてもよい(または別の方法で固定されてもよい)。例示的な実施形態では、外科医、外科用ツール、またはロボット102の他の部分によって不明瞭になる可能性を低減するために、複数の追跡マーカー118を外科手術領域208から離れた患者210上に配置することができる。さらに、一つまたは複数の追跡マーカー118を外科用ツール608(例えば、スクリュードライバ、拡張器、インプラント挿入器など)にさらに取り付ける(または別の方法で固定する)ことができる。したがって、追跡マーカー118は、マークされたオブジェクト(例えば、エンドエフェクタ112、患者210、および外科用ツール608)のそれぞれをロボット102によって追跡することを可能にする。例示的な実施形態では、システム100は、マークされたオブジェクトのそれぞれから収集された追跡情報を使用して、例えばエンドエフェクタ112、外科用器具608(例えば、エンドエフェクタ112のチューブ114内に配置される)の配向と位置および患者210の相対位置計算することができる。
マーカー118は、放射線不透過性または光学マーカーを含むことができる。マーカー118は、球形、回転楕円形、円筒形、立方体、直方体などを含む適切な形状にすることができる。例示的な実施形態では、一つまたは複数のマーカー118は光学マーカーであってもよい。いくつかの実施形態では、エンドエフェクタ112上の一つまたは複数の追跡マーカー118の位置決めは、エンドエフェクタ112の位置を確認または確認するよう機能することによって、位置測定の精度を増大/最大にし得る。手術用ロボット102および外科用器具608の制御、移動および追跡を含む手術用ロボットシステム100のさらなる詳細は、米国特許出願第2016/0242849号に見つけることができ、これらの開示全体が参照により本明細書に組み込まれる。
例示的な実施形態は、外科用器具608に結合された一つまたは複数のマーカー118を含む。例示的な実施形態では、例えば、患者210および外科用器具608に結合されたこれらのマーカー118、ならびにロボット102のエンドエフェクタ112に結合されたマーカー118は、従来の赤外線発光ダイオード(LED)、またはOptotrak(登録商標)のような市販の赤外線光学追跡システムを使用して追跡可能なOptotrak(登録商標)ダイオードを含むことができる。Optotrak(登録商標)は、カナダ、オンタリオ州、ウォータールーのNorthern Digital Inc.の登録商標である。他の実施形態では、マーカー118は、Polaris Spectraなどの市販の光学追跡システムを使用して追跡することができる従来の反射球を含むことができる。Polaris SpectraはNorthern Digital,Inc.の登録商標である。例示的な実施形態では、エンドエフェクタ112に結合されたマーカー118は、オンおよびオフにすることができる赤外線発光ダイオードを含む能動マーカーであり、患者210および外科用器具608に結合されたマーカー118は受動反射球体を含む。
例示的な実施形態では、マーカー118から放射された、および/またはマーカー118によって反射された光は、カメラ200によって検出され、マークされたオブジェクトの位置および動きを監視するために使用され得る。代替的な実施形態では、マーカー118は、無線周波数および/または電磁気反射器または受信機を含むことができ、カメラ200は、無線周波数および/または電磁気受信機を含むか、またはそれらに置き換えることができる。
手術用ロボットシステム100と同様に、図3は、本開示の例示的な実施形態に従う、ドッキングされた構成の手術用ロボットシステム300およびカメラスタンド302を示す。手術用ロボットシステム300は、ディスプレイ304と、上アーム306と、下アーム308と、エンドエフェクタ310と、縦柱312と、キャスター314と、キャビネット316と、タブレット引出し318と、コネクタパネル320と、制御パネル322と、情報のリング324とを含むロボット301を含む。カメラスタンド302は、カメラ326を含むことができる。これらのコンポーネントは、図5を参照してより拡大して説明される。図3は、例えば使用されていないときに、カメラスタンド302がロボット301と入れ子になっているドッキング構成の手術用ロボットシステム300を示す。当業者であれば、カメラ326およびロボット301は、互いに分離され、外科施術中に、例えば、図1および図2に示されるように、任意の適切な位置に配置され得ることが理解されよう。
図4は、本開示の例示的な実施形態と一致する基部400を示す。基部400は、手術用ロボットシステム300の一部であってもよく、キャビネット316を含んでもよい。キャビネット316は、バッテリ402、電力分配モジュール404、プラットフォームインターフェースボードモジュール406、コンピュータ408、ハンドル412、およびタブレット引出し414を含むがこれに限定されない手術用ロボットシステム300の特定のコンポーネントを収容することができる。これらのコンポーネント間の接続および関係は、図5を参照してより詳細に説明される。
図5は、手術用ロボットシステム300の例示的な実施形態の特定のコンポーネントのブロック図を示す。手術用ロボットシステム300は、プラットフォームサブシステム502、コンピュータサブシステム504、動作制御サブシステム506、および追跡サブシステム532を含むことができる。プラットフォームサブシステム502は、バッテリ402、電力分配モジュール404、プラットフォームインターフェースボードモジュール406、およびタブレット充電ステーション534をさらに含むことができる。コンピュータサブシステム504は、コンピュータ408、ディスプレイ304、およびスピーカ536をさらに含むことができる。動作制御サブシステム506は、駆動回路508、モータ510、512、514、516、518、安定器520、522、524、526、エンドエフェクタ310、およびコントローラ538をさらに含むことができる。追跡サブシステム532は、位置センサ540およびカメラ変換器542をさらに含むことができる。システム300はまた、フットペダル544およびタブレット546を含むことができる。
入力電力は、電力分配モジュール404に供給され得る電源548を介してシステム300に供給される。電力分配モジュール404は、入力電力を受け取り、システム300の他のモジュール、コンポーネント、およびサブシステムに提供される異なる電源供給電圧を生成するように構成される。電力分配モジュール404は、プラットフォームインターフェースモジュール406に異なる電圧を供給するように構成することができるが、電圧は、コンピュータ408、ディスプレイ304、スピーカ536、例えば電力モータ512、514、516、518およびエンドエフェクタ310のドライバ508、モータ510、リング324、カメラ変換器542、およびシステム300のための他のコンポーネント(例えばキャビネット316内の電気部品を冷却するためのファン)、などの他のコンポーネントに提供することができる。
電力分配モジュール404はまた、タブレット引出し318内に配置され得るタブレット充電ステーション534などの他のコンポーネントに電力を供給し得る。タブレット充電ステーション534は、テーブル546の充電のために、タブレット546との無線または有線通信してもよい。タブレット546は、本開示と一致し、本明細書に記載される外科医によって使用され得る。
電力分配モジュール404は、電力分配モジュール404が入力電力548から電力を受け取らない場合に一時的な電源として働くバッテリ402に接続されてもよい。他の時には、電力分配モジュール404は、必要に応じてバッテリ402を充電するように働くことができる。
プラットフォームサブシステム502の他のコンポーネントは、コネクタパネル320、制御パネル322、およびリング324も含むことができる。コネクタパネル320は、異なる装置およびコンポーネントをシステム300および/または関連するコンポーネントおよびモジュールに接続するように機能することができる。コネクタパネル320は、異なるコンポーネントからラインまたは接続を受ける一つまたは複数のポートを含むことができる。例えば、コネクタパネル320は、システム300を他の機器に接地する接地端子ポート、フットペダル544をシステム300に接続するポート、追跡サブシステム532(位置センサ540、カメラ変換器542、カメラスタンド302に関連するカメラ326と、を含むことができる)に接続するポートを有することができる。コネクタパネル320は、コンピュータ408のような他のコンポーネントへのUSB、イーサネット(登録商標)、HDMI(登録商標)通信を可能にする他のポートを含むこともできる。
制御パネル322は、システム300の動作を制御する、および/またはシステム300に関する情報を提供する様々なボタンまたはインジケータを提供することができる。例えば、制御パネル322は、システム300の電源をオンまたはオフするためのボタン、縦柱312を上げるか、または下げるためのボタン、およびシステム300を物理的に移動させるのを防ぐためにキャスター314に係合するように設計された安定器520〜526を上げるかまたは下げるためのボタンを含むことができる。緊急事態が発生した場合には、他のボタンがシステム300を停止させてもよいが、これによりすべてのモータ動力が除去され、機械的ブレーキが加えられてすべての動作が停止する。制御パネル322はまた、バッテリ402のライン電力インジケータまたは充電状態などの特定のシステム状態をユーザに通知するインジケータを有することができる。
リング324は、システム300のユーザに、システム300が動作している異なるモードおよびユーザに対するある種の警告を通知する視覚的インジケータとすることができる。
コンピュータサブシステム504は、コンピュータ408と、ディスプレイ304と、スピーカ536とを含む。コンピュータ504は、システム300を動作させるオペレーティングシステムと、ソフトウェアとを含む。コンピュータ504は、ユーザに情報を表示するために、他のコンポーネント(例えば、追跡サブシステム532、プラットフォームサブシステム502、および/または動作制御サブシステム506)から情報を受信し処理することができる。さらに、コンピュータサブシステム504は、ユーザにオーディオを提供するスピーカ536を含むこともできる。
追跡サブシステム532は、位置センサ504と変換器542とを含むことができる。追跡サブシステム532は、図3に関して説明したカメラ326を含むカメラスタンド302に対応することができる。位置センサ504は、カメラ326であってもよい。追跡サブシステムは、外科施術中にユーザが使用するシステム300の異なるコンポーネントおよび/または器具上に位置する特定のマーカーの位置を追跡することができる。この追跡は、それぞれ、LEDまたは反射マーカーなどの能動または受動素子の位置を追跡する赤外線技術の使用を含む、本開示と一致する方法で行われてもよい。これらのタイプのマーカーを有する構造体の位置、配向、および配置は、ディスプレイ304上のユーザに示されるコンピュータ408に提供されてもよい。例えば、これらのタイプのマーカーを有し、このようにして(ナビゲーション空間と呼ぶことができる)追跡される外科用器具608は、患者の解剖学的構造の三次元画像に関連してユーザに示されてもよい。
動作制御サブシステム506は、縦柱312、上アーム306、下アーム308、を物理的に移動させ、または回転エンドエフェクタ310回転させるように構成することができる。物理的な移動は、一つまたは複数のモータ510〜518の使用を通じて行うことができる。例えば、モータ510は縦柱312を垂直に持ち上げるかまたは下降させるように構成することができる。モータ512は、図3に示すように、縦柱312との係合点の周りで上アーム308を横方向に移動させるように構成することができる。モータ514は、図3に示すように、下アーム308を上アーム308との係合点の周りで横方向に移動させるように構成することができる。モータ516および518は、ひとつがロールを制御し、ひとつが傾斜を制御して、エンドエフェクタ310を移動させるように構成することができ、それによって、エンドエフェクタ310を移動させることができる複数の角度を提供することができる。これらの動きは、エンドエフェクタ310上に配置され、ユーザが所望の方法でシステム300を移動させるためにこれらのロードセルに係合することによって起動される、ロードセルを介してこれらの動きを制御するコントローラ538によって達成され得る。
さらに、システム300は、ディスプレイ304(タッチスクリーン入力装置とすることができる)上でユーザがディスプレイ304上の患者の解剖学的構造の三次元画像上の外科用器具または構成要素の位置を示すことにより、縦柱312、上アーム306、および下アーム308の自動移動を提供することができる。ユーザは、フットペダル544またはいくつかの他の入力手段を踏んでこの自動移動を開始することができる。
図6は、例示的な実施形態による手術用ロボットシステム600を示す。手術用ロボットシステム600はと、エンドエフェクタ602と、ロボットアーム604と、ガイドチューブ606と、器具608と、ロボット基部610とを含むことができる。器具ツール608は、一つまたは複数の追跡マーカー(マーカー118など)を含む追跡アレイ612に取り付けられ、関連する軌道614を有することができる。軌道614は、ガイドチューブ606を通って位置決めされるかまたは固定されると、器具ツール608が移動するように構成される移動経路(例えば器具ツール608が患者に挿入される経路など)を表すことができる。例示的な動作では、ロボット基部610は、ロボットアーム604およびエンドエフェクタ602と電子的に通信するように構成され、手術用ロボットシステム600は、患者210上で動作する際、ユーザ(例えば外科医)を支援する。手術用ロボットシステム600は、前述した手術用ロボットシステム100および300と一致し得る。
追跡アレイ612は、器具ツール608の位置および配向を監視するために、器具608に据え付けられてもよい。追跡アレイ612は、器具608に取り付けられてもよく、追跡マーカー804を含んでもよい。図8に最もよく示されるように、追跡マーカー804は、例えば、発光ダイオードおよび/または他のタイプの反射マーカー(例えば、本明細書の別の場所で説明したマーカー118)であってもよい。追跡装置は、手術用ロボットシステムに関連する一つまたは複数の視線装置であってもよい。例として、追跡装置は、手術用ロボットシステム100、300に関連する一つまたは複数のカメラ200、326であってもよく、ロボットアーム604、ロボット基部610、エンドエフェクタ602、および/または患者210に関連して器具608の定義された領域または相対的な配向について追跡アレイ612を追跡してもよい。追跡装置は、カメラスタンド302および追跡サブシステム532に関連して説明した構造と一致していてもよい。
また、図7A、図7Bおよび図7Cは、例示的な実施形態によるエンドエフェクタ602の上面図、正面図、および側面図をそれぞれ示す。エンドエフェクタ602は、一つまたは複数の追跡マーカー702を含むことができる。追跡マーカー702は、発光ダイオードまたは他のタイプの能動および受動マーカー、例えば前述の追跡マーカー118であってもよい。例示的な実施形態では、追跡マーカー702は、電気信号(例えば、赤外線発光ダイオード(LED))によって起動される能動赤外線発光マーカーである。したがって、追跡マーカー702は、赤外線マーカー702がカメラ200、326に見えるようにアクティブにしてもよい、または赤外線マーカー702がカメラ200、326には見えないように非アクティブにしてもよい。したがって、マーカー702がアクティブであるとき、エンドエフェクタ602はシステム100、300、600によって制御され、マーカー702が非アクティブ化されると、エンドエフェクタ602は所定の位置にロックされ、システム100、300、600によっては動くことができない。
マーカー702は、マーカー702が一つまたは複数のカメラ200、326、または手術用ロボットシステム100、300、600に関連する他の追跡装置によって視認されるように、エンドエフェクタ602の上または内部に配置されてもよい。カメラ200、326または他の追跡装置は、追跡マーカー702の移動に追従して異なる位置および視野角に移動するときにエンドエフェクタ602を追跡することができる。マーカー702および/またはエンドエフェクタ602の位置は、手術用ロボットシステム100、300、600に関連するディスプレイ110、304、例えば図2に示すディスプレイ110および/または図3に示すディスプレイ304に示されてもよい。このディスプレイ110、304により、ユーザは、エンドエフェクタ602がロボットアーム604、ロボット基部610、患者210、および/またはユーザに対して望ましい位置にあることを確実にすることができる。
例えば、図7Aに示すように、外科手術領域208から離れて配置され、ロボット102、301およびカメラ200、326の方を向いている追跡装置が、追跡装置に対するエンドエフェクタ602の一般的な配向の範囲を通って少なくとも3つのマーカー702を見ることができるよう、マーカー702はエンドエフェクタ602の表面の周りに配置され得る。例えば、このようにマーカー702を分布させることにより、エンドエフェクタ602が外科手術領域208内で移動および回転されるときに、追跡装置によってエンドエフェクタ602を監視することが可能になる。
さらに、例示的な実施形態では、エンドエフェクタ602は、外部カメラ200、326がマーカー702を読み取る準備ができているときを検出することができる赤外線(IR)受信機を含むことができる。この検出に際して、エンドエフェクタ602はマーカー702を照らすことができる。外部カメラ200、326がマーカー702を読み取る準備ができていることをIR受信機が検出することにより、発光ダイオードであってもよいマーカー702のデューティサイクルを外部カメラ200、326に同期させる必要があることを知らせることができる。これはまた、全体としてロボットシステムによるより低い電力消費を可能にすることができ、それにより、マーカー702は、連続的に照射される代わりに適切な時間にのみ照射される。さらに、例示的な実施形態では、マーカー702の電源をオフにして、異なるタイプの外科用器具608などの他のナビゲーションツールとの干渉を防止することができる。
図8は、追跡アレイ612および追跡マーカー804を含む一つのタイプの外科用器具608を示す。追跡マーカー804は発光ダイオードまたは反射球を含む、本明細書に記載された任意のタイプのものでよいが、これに、限定するものではない。マーカー804は、手術用ロボットシステム100、300、600に関連する追跡装置によって監視され、一つまたは複数の視線カメラ200、326であってもよい。カメラ200、326は、追跡アレイ612およびマーカー804の位置および配向に基づいて器具608の位置を追跡することができる。外科医120のようなユーザは、追跡アレイ612およびマーカー804が、追跡装置またはカメラ200、326によって十分に認識され、器具608およびマーカー804を、例えば例示的な手術用ロボットシステムのディスプレイ110上に表示するように器具608を向けることができる。
外科医120が器具608をエンドエフェクタ602のガイドチューブ606内に配置し、器具608を調整する方法は、図8において明らかである。エンドエフェクタ112、310、602の中空チューブまたはガイドチューブ114、606は、外科用器具608の少なくとも一部分を受容するような大きさおよび構成を有する。ガイドチューブ114、606は、外科用器具608の挿入および軌道が患者210の体内または体上の所望の解剖学的標的に到達できるように、ロボットアーム104によって方向付けられるように構成される。外科用器具608は、略円筒形の器具の少なくとも一部を含み得る。スクリュードライバが外科用ツール608として例示されるが、任意の適切な外科用ツール608がエンドエフェクタ602によって位置決めされてもよいことは理解されよう。一例として、外科用器具608は、一つまたは複数のガイドワイヤ、カニューレ、レトラクタ、ドリル、リーマ、スクリュードライバ、挿入ツール、除去ツールなどを含み得る。中空チューブ114、606は全体として円筒形状を有するものとして示されるが、当業者であれば、ガイドチューブ114、606は、外科用器具608を収容し、手術部位にアクセスするのに望ましい任意の適切なサイズおよび構成を有することができる。
また、図9A〜図9Cは、例示的な実施形態によるエンドエフェクタ602およびロボットアーム604の一部を示す。エンドエフェクタ602は、本体1202およびクランプ1204をさらに含むことができる。クランプ1204は、ハンドル1206、ボール1208、バネ1210、およびリップ1212を含むことができる。ロボットアーム604は、窪み1214、取り付けプレート1216、リップ1218、および磁石1220をさらに含むことができる。
エンドエフェクタ602は、一つまたは複数のカップリングを介して手術用ロボットシステムおよびロボットアーム604と機械的にインターフェースおよび/または係合することができる。例えば、エンドエフェクタ602は、位置決めカップリングおよび/または補強カップリングを介してロボットアーム604と係合することができる。これらの結合によって、エンドエフェクタ602は、可撓性で無菌の障壁の外側でロボットアーム604に固定することができる。例示的な実施形態では位置決めカップリングは磁気キネマティックマウントであってもよく、補強カップリングは五つの棒状オーバーセンタクランピングリンク機構であってもよい。
位置決めカップリングに関して、ロボットアーム604は、非磁性材料、一つまたは複数の窪み1214、リップ1218、および磁石1220であってもよい取り付けプレート1216を含むことができる。磁石1220は、窪み1214の各々の下に取り付けられている。クランプ1204の部分は、磁性材料を含み、一つまたは複数の磁石1220によって引き付けられる。クランプ1204およびロボットアーム604の磁気吸引により、ボール1208はそれぞれの窪み1214内に着座するようになる。例えば、図9Bに示すボール1208は、図9Aに示すように、窪み1214内に着座する。この座は、磁気アシストキネマティックカップリングと考えることができる。磁石1220は、エンドエフェクタ602の配向にかかわらず、エンドエフェクタ602の全重量を支持するのに十分な強度を有するように構成することができる。位置決めカップリングは、6自由度を一意的に制限する任意のスタイルのキネマティックマウントである。
補強カップリングに関して、クランプ1204の部分は、固定接地リンクとなるように構成することができ、そのようなクランプ1204は、五つの棒状リンク機構として機能することができる。リップ1212およびリップ1218が、エンドエフェクタ602とロボットアーム604を固定するようにクランプ1204に係合するとき、閉鎖クランプハンドル1206は、エンドエフェクタ602をロボットアーム604に固定してもよい。クランプハンドル1206が閉じられているとき、クランプ1204がロック位置にある間、バネ1210は伸張されてもよいし応力が加えられてもよい。ロック位置は、中心を過ぎたリンク機構を提供する位置であってもよい。クランプ1204を解放するためにクランプハンドル1206に適用される力がない場合には、リンク機構は開かない。したがって、ロック位置において、エンドエフェクタ602は、ロボットアーム604にしっかりと固定され得る。
バネ1210は、張力のある湾曲ビームであってもよい。バネ1210は、未使用のPEEK(ポリエーテルエーテルケトン)のような高い剛性と高降伏歪みを示す材料で構成することができる。エンドエフェクタ602とロボットアーム604との間のリンク機構は、二つのカップリングの締結を妨げることなく、エンドエフェクタ602とロボットアーム604との間の無菌バリアを提供し得る。
補強カップリングは、複数のバネ部材とのリンク機構であってもよい。補強カップリングは、カムまたは摩擦に基づく機構でラッチすることができる。補強カップリングは、エンドエフェクタ102をロボットアーム604に固定するのを支援する、十分に強力な電磁石であってもよい。補強カップリングは、エンドエフェクタ602とロボットアーム604との間のインターフェースを滑り、ねじ機構、オーバーセンタリンク機構、または、カム機構で固定するエンドエフェクタ602および/またはロボットアーム604から完全に分離する多数のカラーであってもよい。
図10および図11を参照すると、外科施術の前または間に、ナビゲーション空間および画像空間の両方において、患者210のオブジェクトおよび標的解剖学的構造を追跡するために、特定の登録手順が実施されてもよい。図10に示すように、このような登録を行うため、登録システム1400を使用することができる。
患者210の位置を追跡するために、患者追跡装置116は、患者210の硬い解剖学的構造に固定されることになる患者固定器具1402を含み得、動的基準ベース(DRB)1404は、患者固定器具1402に固定的に取り付けられてもよい。例えば、患者固定器具1402は、動的基準ベース1404の開口部1406に挿入されてもよい。動的基準ベース1404は、追跡サブシステム532のような追跡装置に見えるマーカー1408を含むことができる。これらのマーカー1408は、本明細書で前述したように、光学マーカーまたは追跡マーカー118などの反射球であってもよい。
患者固定器具1402は、患者210の硬い解剖学的構造に取り付けられ、外科施術中に取り付けられたままであり得る。例示的な実施形態では、患者固定器具1402は、患者210の硬い領域、例えば、外科施術の対象となる標的解剖学的構造から離れて位置する骨に取り付けられる。標的解剖学的構造を追跡するために、動的基準ベース1404は、動的基準ベース1404を標的解剖学的構造の位置で登録するために、標的解剖学的構造上またはその付近に一時的に配置される登録固定具の使用を通して、標的解剖学的構造と関連する。
登録固定具1410は、枢動アーム1412を使用して患者固定器具1402に取り付けられる。枢動アーム1412は、患者固定器具1402を登録固定具1410の開口部1414に挿入することによって患者固定器具1402に取り付けられる。枢動アーム1412は、例えば、枢動アーム1412の開口部1418にノブ1416を挿入することによって、登録固定具1410に取り付けられる。
枢動アーム1412を使用して、登録固定具1410を標的解剖学的構造の上に配置することができ、その位置は、登録固定具1410上の追跡マーカー1420および/または基準1422を使用して画像空間およびナビゲーション空間において決定することができる。登録固定具1410は、ナビゲーション空間で見えるマーカー1420の集合を含むことができる(例えば、マーカー1420は、追跡サブシステム532によって検出可能であり得る)。追跡マーカー1420は、本明細書で前述したように、赤外光で可視的な光学マーカーであってもよい。登録固定具1410は、撮像空間(例えば、三次元CT画像)内で視認可能な、例えばベアリングボールなどの基準点1422の集合体を含むこともできる。図11を参照してより詳細に説明するように、登録固定具1410を使用して、標的解剖学的構造を動的基準ベース1404に関連付けることができ、それにより、解剖学的構造の画像にナビゲーション空間内のオブジェクトの描写を重ね合わせることができる。標的解剖学的構造から離れた位置に配置された動的基準ベース1404は、基準点となり、それにより、登録固定具1410および/または枢動アーム1412を手術領域から除去することができる。
図11は、本開示による、登録のための例示的な方法1500を提供する。方法1500は、ステップ1502から始まり、標的解剖学的構造のグラフィカル表現(または画像)をシステム100、300、600、例えばコンピュータ408にインポートすることができる。このグラフィカル表現は、登録固定具1410および検出可能な基準の撮像パターン1420を含む、患者210の標的解剖学的構造の三次元CTまたは蛍光透視スキャンであってもよい。
ステップ1504において、基準点1420の撮像パターンが検出され、撮像空間に登録され、コンピュータ408に記憶される。任意選択的に、ステップ1506においてこの時点で、登録固定具1410のグラフィカル表現を、標的解剖学的構造の画像上に重ねることができる。
ステップ1508では、マーカー1420を認識することによって、登録固定具1410のナビゲーションパターンが検出され、登録される。マーカー1420は、位置センサ540を介して追跡サブシステム532によって赤外線によってナビゲーション空間内で認識される光学マーカーであってもよい。したがって、標的解剖学的構造の位置、配向、および他の情報がナビゲーション空間に登録される。したがって、登録固定具1410は、基準点1422の使用による画像空間およびマーカー1420の使用によるナビゲーション空間の両方で認識され得る。ステップ1510で、画像空間における登録固定具1410の登録がナビゲーション空間に転送される。この転送は、例えば、マーカー1420のナビゲーションパターンの位置と比較した基準1422の撮像パターンの相対位置を使用することによって行われる。
ステップ1512において、登録固定具1410のナビゲーション空間の登録(画像空間で登録される)は、さらに、患者固定器具1402に取り付けられた動的登録アレイ1404のナビゲーション空間に転送される。したがって、ナビゲーション空間が画像空間に関連付けられているため、登録固定具1410を除去し、動的基準ベース1404を使用して、ナビゲーション空間および画像空間の両方の標的解剖学的構造を追跡することができる。
ステップ1514および1516において、ナビゲーション空間は、ナビゲーション空間において認識できるマーカー(例えば、光学マーカー804を用いる外科用器具608)を用いて、画像空間およびオブジェクト上に重ね合わせてもよい。オブジェクトは、標的解剖学的構造の画像上の外科用器具608のグラフィカル表現を通して追跡することができる。
また、図12A〜図12Bは、患者210の術前、手術中、手術後、および/またはリアルタイム画像データを取得するためにロボットシステム100、300、600と共に使用され得る撮像装置1304を示す。任意の適切な主題は、撮像システム1304を使用して、任意の適切な手順のために画像化することができる。撮像システム1304は、撮像装置1306および/またはC−アーム1308装置などの任意の撮像装置とすることができる。x線システムで必要とされる患者210の頻繁な手動の再位置決めの必要性なしに、いくつかの異なる位置から患者210のx線を取得することが望ましい場合がある。図12Aに示すように、撮像システム1304は、「C」字形の対向する遠位端1312で終端する細長いC字形部材を含むC−アーム1308の形態であってもよい。C字形部材1130は、x線源1314および画像レセプタ1316をさらに含むことができる。アームのC−アーム1308内の空間は、医師がx線支持構造1318からの干渉が実質的にない患者を診断するための余地を提供することができる。図12Bに示すように、撮像システムは、図示されていない画像取り込み部を取り囲むことができるホイール1332を含むホイール付き移動カート1330のような、支持構造撮像装置支持構造1328に取り付けられたガントリハウジング1324を参照すると、固定および可動有する撮像装置1306を含むことができる。画像取り込み部は、互いに約180度に配置され、画像取り込み部の追跡に対して回転子(図示せず)に取り付けられたx線源および/または放出部と、x線受取りおよび/または画像受取り部とを含むことができる。画像取り込み部は、画像取得中に360度回転するように動作可能であってもよい。画像取り込み部は、中心点および/または軸の周りを回転することができ、患者210の画像データを複数の方向からまたは複数の平面において取得することを可能にする。特定の撮像システム1304が本明細書で例示されるが、任意の適切な撮像システムが当業者によって選択されてもよいことは理解されよう。
ここで図13A〜図13Cを参照すると、手術用ロボットシステム100、300、600は、所望の手術領域に対するエンドエフェクタ112、602、外科用器具608、および/または患者210(例えば、患者追跡装置116)の正確な位置決めに依存する。図13A〜図13Cに示す実施形態では、を参照すると、追跡マーカー118、804は、器具608および/またはエンドエフェクタ112の一部分に固定的に取り付けられている。
図13Aは、基部106、ロボットアーム104、およびエンドエフェクタ112を含むロボット102を含む手術用ロボットシステム100の一部を示す。ディスプレイ、カメラなどの図示されていない他の要素もまた、本明細書で説明するように存在してもよい。図13Bは、ガイドチューブ114を有するエンドエフェクタ112と、エンドエフェクタ112にしっかりと固定された複数の追跡マーカー118の拡大図を示す。この実施形態では、複数の追跡マーカー118がガイドチューブ112に取り付けられている。図13Cは、器具608にしっかりと固定された複数の追跡マーカー804を有する器具608(この場合、プローブ608A)を示す。本明細書の他の箇所に記載されるように、器具608は、ガイドワイヤ、カニューレ、レトラクタ、ドリル、リーマ、スクリュードライバ、挿入ツール、除去ツール、などの適切な外科用器具を含み得るが、それらに限定されない。
器具608、エンドエフェクタ112、または3Dで追跡される他のオブジェクトを追跡する場合、追跡マーカー118、804のアレイは、ツール608またはエンドエフェクタ112の一部に固定的に取り付けられてもよい。追跡マーカー118、804は、マーカー118、804がじゃまにならない(例えば、外科手術、視界などを妨げない)ように取り付けられることが好ましい。マーカー118、804は、例えば、アレイ612を用いて、器具608、エンドエフェクタ112、または追跡される他のオブジェクトに固定されてもよい。通常、三つまたは四つのマーカー118、804がアレイ612と共に使用される。アレイ612は、直線部分、クロスピースを含むことができ、マーカー118、804が互いに異なる相対位置および位置にあるように非対称であってもよい。例えば、図13Cに示すように、4−マーカー追跡アレイ612を有するプローブ608Aが示されており、図13Bは、異なる4マーカー追跡アレイ612を有するエンドエフェクタ112を示す。
図13Cでは、追跡アレイ612は、プローブ608Aのハンドル620として機能する。したがって、四つのマーカー804は、プローブ608Aのハンドル620に取り付けられ、シャフト622および先端624から離れている。これらの四つのマーカー804の立体写真測量による追跡は、器具608を剛体として追跡することを可能にし、追跡システム100、300、600が、プローブ608Aが追跡カメラ200、326の前方動かされる間に先端624の位置およびシャフト622の配向を正確に決定することができる。
一つまたは複数のツール608、エンドエフェクタ112、または3Dで追跡される他のオブジェクト(例えば、複数の剛体)の自動追跡を可能にするために、各ツール608、エンドエフェクタ112などのマーカー118、804が、既知のマーカー間間隔で非対称に配置される。非対称アラインメントの理由は、どのマーカー118、804が剛体上の特定の位置に対応するか、マーカー118、804が正面または背面から見られているかどうか、すなわち鏡像化されるかは明瞭にするためである。例えば、マーカー118、804がツール608またはエンドエフェクタ112上の正方形に配置されていた場合、どのマーカー118、804が正方形のどの隅に対応するかは、システム100、300、600にとっては不明である。例えば、プローブ608Aの場合、どのマーカー804がシャフト622に最も近いかは不明である。したがって、シャフト622がどのようにアレイ612から伸びていたかは分からない。したがって、各アレイ612、したがって各ツール608、エンドエフェクタ112、または追跡される他のオブジェクトは、他のツール608または追跡されている他のオブジェクトから区別できるように、固有のマーカーパターンを有さなければならない。非対称性およびユニークなマーカーパターンは、システム100、300、600が個々のマーカー118、804を検出し、保存されたテンプレートに対してマーカー間隔をチェックして、それらが、どのツール608、エンドエフェクタ112、または他のオブジェクトを表しているのかを決定することを可能にする。次に、検出されたマーカー118、804を自動的にソートし、追跡された各オブジェクトに正しい順序で割り当てることができる。この情報がなければ、ユーザがどの検出されたマーカー118、804がそれぞれの剛体上のどの位置のどの位置に対応するかを手動で指定しない限り、例えばツール先端624およびシャフト622のアライメントなどの重要な幾何情報を抽出するために剛体計算を実行することができないであろう。これらの概念は、3D光学追跡の方法の当業者には一般に公知である。
ここで図14A〜図14Dを参照すると、可動追跡マーカー918A〜918Dを有するエンドエフェクタ912の代替バージョンが示される。図14Aでは、可動追跡マーカー918A−918Dを有するアレイが第一の構成で示され、図14Bにおいて、可動追跡マーカー918A−918Dは、第一の構成に対して傾斜した第二の構成で示される。図14Cは、例えば、図14Aの第一の構成におけるカメラ200、326によって見られるように、追跡マーカー918A〜918Dのテンプレートを示す。図14Dは、例えば、図14Bの第二の構成におけるカメラ200、326によって見られるように、追跡マーカー918A〜918Dのテンプレートを示す。
この実施形態では、4マーカーアレイ追跡が企図されるが、マーカー918A〜918Dが剛体に対してすべて固定位置にあるわけではなく、その代わりに一つまたは複数のアレイマーカー918A〜918Dが、例えばテスト中に調整され、追跡されるマーカー918A〜918Dの自動検出およびソートのためのプロセスを中断することなく、追跡される剛体に関する最新の情報を与えることができる。
ロボットシステム100、300、600のエンドエフェクタ912に接続されたガイドチューブ914のような任意のツールを追跡する場合、追跡アレイの主な目的は、カメラ座標系におけるエンドエフェクタ912の位置を更新することである。固定システムを使用する場合、例えば、図13Bに示すように、反射マーカー118のアレイ612は、ガイドチューブ114から固定的に延びている。追跡マーカー118は固定的に接続されるので、カメラ座標系におけるマーカー位置の情報はまた、カメラ座標系におけるガイドチューブ114の中心線、先端およびテールの正確な位置を提供する。通常、このようなアレイ612からのエンドエフェクタ112の位置に関する情報、および別の追跡されたソースからの標的軌道の位置に関する情報は、ガイドチューブ114を軌道と整列するように移動させ、先端を軌道ベクトルに沿った特定の位置に移動させるロボット102の各軸に対して入力されなければならない必要な移動を計算するために使用される。
場合によっては、所望の軌道は厄介なまたは到達不能な位置にあるが、ガイドチューブ114を旋回させることができる場合には到達することができる。例えば、ガイドチューブ114がピッチ(手首上下角)軸の限界を超えて上方に枢動可能である場合、ロボット102の基部106から離れて指し示す非常に急な軌道は到達可能であり得るが、もし、ガイドチューブ114が、それを手首の端部に接続するプレートに平行に取り付けられるならば到達できないかもしれない。このような軌道に達するためには、ロボット102の基部106を移動させるか、または異なるガイドチューブアタッチメントを有する異なるエンドエフェクタ112を作業用エンドエフェクタと交換することができる。これらの解決の両方は、時間がかかり、扱いにくい場合がある。
図14Aおよび図14Bに最もよく示されるように、もし、アレイ908がマーカー918A〜918Dの一つまたは複数が固定位置になく、その代わりにマーカー918A〜918Dの一つまたは複数が調整、旋回、枢動、または移動できるならば、ロボット102は、検出および追跡プロセスを中断することなく、追跡されているオブジェクトに関する更新された情報を提供することができる。例えば、マーカー918A〜918Dの一つは定位置に固定され、他のマーカー918A〜918Dは移動可能であってもよい。マーカー918A〜918Dのうちの二つは、定位置に固定され、他のマーカー918A〜918Dは、移動可能であってもよい。マーカー918A〜918Dのうちの三つは、定位置に固定され、他のマーカー918A〜918Dは、移動可能であってもよい。またはマーカー918A〜918Dのすべてが可動であってもよい。
図14Aおよび図14Bに示す実施形態では、マーカー918A、918Bは、エンドエフェクタ912の基部906に直接的に固定的に接続され、マーカー918C、918Dは、チューブ914に固定的に接続される。アレイ612と同様に、マーカー918A〜918Dをエンドエフェクタ912、器具608、または追跡される他のオブジェクトに取り付けるために、アレイ908を設けることができる。しかしながら、この場合、アレイ908は、複数の別個のコンポーネントから構成される。例えば、マーカー918A、918Bは、第一のアレイ908Aによって基部906に接続され、マーカー918C、918Dは、第二のアレイ908Bによってガイドチューブ914に接続されてもよい。マーカー918Aは、第一のアレイ908Aの第一の端部に取り付けられてもよく、マーカー918Bは、直線距離に分離され、第一のアレイ908Aの第二の端部に固定されてもよい。第一のアレイ908は実質的に直線状であるが、第二のアレイ908Bは、曲がり構成、またはV形状構成を有し、それぞれの根元端がガイドチューブ914に接続され、そこからV字形で遠位端に分岐し、一つの遠位端にマーカー918Cを有し、他方の遠位端にはマーカー918Dを有す。特定の構成が本明細書に例示されるが、異なる数およびタイプのアレイ908A、908Bおよび異なる配置、数、およびタイプのマーカー918A〜918Dを含む他の非対称設計が企図されることが理解されよう。
ガイドチューブ914は、例えば、基部906に対するヒンジ920または他のコネクタを横切って、基部906に対して移動可能、枢動可能、または枢動可能であってもよい。したがって、マーカー918C、918Dは、ガイドチューブ914が枢動し、旋回し、または移動するときに、マーカー918C、918Dも枢動、旋回または移動するように移動可能である。図14Aに最もよく示されるように、ガイドチューブ914は、マーカー918A〜918Dが第一の構成を有するように、実質的に法線方向または垂直の向きに整列された長手方向軸916を有する。ここで図14Bを参照すると、マーカー918A〜918Dが第一の構成と異なる第二の構成を有するように、長手方向軸916が垂直方向に対して角度をなすように、ガイドチューブ914が枢動、旋回、または移動される。
図14A〜図14Dに記載された実施形態とは対照的に、四つのマーカー918A〜918Dの全てがガイドチューブ914に固定的に取り付けられた状態で、ガイドチューブ914とアーム104(例えば、手首アタッチメント)との間にスイベルが存在し、このスイベルがユーザによって調整された場合、ロボットシステム100、300、600は、ガイドチューブ914の配向が変化したことを自動的に検出することができない。ロボットシステム100、300、600は、マーカーアレイ908の位置を追跡し、ガイドチューブ914が以前の配向で手首(ロボットアーム104)に取り付けられていると仮定して、不正確なロボット軸の動きを計算する。一つまたは複数のマーカー918A〜918D(例えば、二つのマーカー918C、918D)を、チューブ914上に固定して保持し、一つまたは複数のマーカー918A〜918D(例えば、二つのマーカー918A、918B)をスイベルを横切って保持することによって、新しい位置の自動検出が可能となり、ロボットアーム104の端部上の新しいツールまたはエンドエフェクタ112、912の検出に基づいて正しいロボットの動きが計算される。
一つまたは複数のマーカー918A〜918Dは、任意の適切な手段にしたがって移動、枢動、旋回等されるように構成される。例えば、マーカー918A〜918Dは、クランプ、バネ、レバー、摺動、トグルなどのヒンジ920によって、またはマーカー918A〜918Dを個々にまたは組み合わせて移動させるための、または、アレイ908A、908Bを個々にまたは組み合わせて移動させるための、または、エンドエフェクタ912の任意の部分を別の部分に対して移動させるための、または、ツール608の任意の部分を別の部分に対して移動させるための、任意の他の適切な機構によって、動かしても良い。
図14Aおよび図14Bに示すように、アレイ908およびガイドチューブ914は、単に、クランプまたはヒンジ920を緩め、アレイ908A、908Bの一部を他の部分908A、908Bに対して移動させ、ヒンジ920を再調整して、ガイドチューブ914が異なる位置に向けられるように構成可能であってもよい。例えば、二つのマーカー918C、918Dはチューブ914と固定的に相互接続され、二つのマーカー918A、918Bはヒンジ920を介してロボットアーム104に取り付けられるエンドエフェクタ912の基部906に固定的に相互接続され得る。ヒンジ920は、ユーザが第一の構成(図14A)と第二の構成(図14B)との間を素早く切り替えることを可能にするためにゆるめて締めることができるウイングナットなどのクランプの形態であってもよい。
カメラ200、326は、例えば、図14Cおよび図14Dで識別されたテンプレートの一つにおいてマーカー918A〜918Dを検出する。アレイ908が第一の構成(図14A)にあり、追跡カメラ200、326がマーカー918A〜918Dを検出する場合、追跡されるマーカーは14Cに示すようにアレイテンプレート1と一致する。アレイ908が第二の構成(図14B)であり、追跡カメラ200、326が同じマーカー918A〜918Dを検出した場合、追跡されるマーカーは図14Dに示すようにアレイテンプレート2と一致する。アレイテンプレート1およびアレイテンプレート2は、ガイドチューブ914、マーカー918A〜918D、およびロボットアタッチメント間に固有に画定された空間的関係を有する二つの異なるツールとしてシステム100、300、600によって認識される。したがって、ユーザは、システム100、300、600に変更を通知することなく、第一および第二の構成の間でエンドエフェクタ912の位置を調整することができ、システム100、300、600は、ロボット102の動きを軌道上にあるように適切に調整する。
この実施形態では、マーカーアレイが、システム100、300、600がアセンブリを二つの異なるツールまたは二つの異なるエンドエフェクタとして認識することを可能にする固有のテンプレートと一致する二つのアセンブリ位置が存在する。これらの二つの位置の間または外側のスイベルの任意の位置では、(すなわち、それぞれ図14Cおよび図14Dに示すアレイテンプレート1およびアレイテンプレート2)マーカー918A〜918Dはいずれのテンプレートとも一致せず、システム100、300、600は、カメラ200、326によって個々のマーカー918A〜918Dが検出されるにもかかわらず、存在するアレイを検出せず、マーカー918A〜918Dがカメラ200、326の視界から一時的にブロックされた場合と同じ結果になる。他のアレイテンプレートが、例えば、異なる器具608または他のエンドエフェクタ112、912などを識別する他の構成用に存在してもよいことが理解されよう。
記載された実施形態では、二つの別個の組立位置が図14Aおよび14Bに示される。しかし、スイベルジョイント、直線ジョイント、スイベルジョイントと直線ジョイントの組み合わせ、ペグボード、または他のアセンブリ上に複数の離散的な位置が存在することが理解されよう。ここで、アレイの一つまたは複数のマーカー918A〜918Dの位置をお互いに調整することによってユニークなマーカーテンプレートを作成することができ、各離散的な位置は、特定のテンプレートと一致し、異なる既知の属性を有する固有のツール608またはエンドエフェクタ112、912を定義する。さらに、エンドエフェクタ912について例示されるが、移動可能な固定マーカー918A〜918Dは、任意の適切な器具608または追跡される他のオブジェクトとともに使用されてもよいことが理解されよう。
外部3D追跡システム100、300、600を使用してロボットのエンドエフェクタ112に取り付けられた三つ以上のマーカーの完全な剛体アレイを追跡する場合(例えば、図13Aおよび13Bに示すように)、カメラ200、326の座標系におけるロボット102の各セクションの3D位置を直接的に追跡するか、または計算することができる。トラッカーに対するジョイントの幾何学的な配向は設計によって既知であり、ジョイントの線形位置または角度位置は、ロボット102の各モータのエンコーダから既知であり、エンドエフェクタ112から基部116までのすべての可動部品の3D位置を完全に規定する。同様に、トラッカーがロボット102の基部106(図示せず)に取り付けられている場合、既知のジョイントジオメトリおよび各モータのエンコーダからのジョイント位置に基づいて、基部106からエンドエフェクタ112までのロボット102の各セクションの3D位置を追跡または計算することも同様に可能である。
いくつかの状況では、エンドエフェクタ112に固定的に取り付けられた三つ未満のマーカー118からロボット102のすべてのセグメントの位置を追跡することが望ましい場合がある。具体的には、ツール608がガイドチューブ114内に導入される場合、一つの追加のマーカー118のみが追跡されて、ロボット902の完全な剛体運動を追跡することが望ましい場合がある。
ここで図15A〜図15Eを参照すると、単一の追跡マーカー1018のみを有するエンドエフェクタ1012の代替バージョンが示される。エンドエフェクタ1012は、本明細書に記載の他のエンドエフェクタと同様であってもよく、長手方向軸1016に沿って延在するガイドチューブ1014を含んでもよい。本明細書で説明する他の追跡マーカーと同様の単一の追跡マーカー1018を、ガイドチューブ1014にしっかりと固定することができる。この単一マーカー1018は、完全な剛体追跡を可能にするために欠けている自由度を追加する目的に役立ち、および/またはロボットおよびカメラの位置決めに関する仮定が有効であることを保証する監視マーカーとして機能する目的に役立ち得る。
単一追跡マーカー1018は、任意の好都合な方向に突出し、外科医の視界を妨げないエンドエフェクタ1012に対する剛性の延長部として、ロボット式エンドエフェクタ1012に取り付けられてもよい。追跡マーカー1018は、ガイドチューブ1014またはエンドエフェクタ1012上の任意の他の適切な位置に固定することができる。ガイドチューブ1014に取り付けられたとき、追跡マーカー1018は、ガイドチューブ1014の第一の端部と第二の端部との間の位置に配置されてもよい。例えば、図15Aでは、単一追跡マーカー1018は、ガイドチューブ1014から前方に延在し、ガイドチューブ1014の長手方向の中間点の上でかつガイドチューブ1014の入口の下方に位置する細いシャフト1017の端部に取り付けられた反射球として示される。この位置は、マーカー1018がカメラ200、326によって全体的に見えることを可能にするだけでなく、外科医120の視界を妨げず、手術の近傍の他のツールまたはオブジェクトと衝突しない。さらに、この位置のマーカー1018を有するガイドチューブ1014は、ガイドチューブ1014に導入された任意のツール608上のマーカーアレイを、ガイドチューブ1014上の単一マーカー1018が見えると同時に見ることができるように設計される。
図15Bに示すように、ぴったりとフィットするツールまたは器具608がガイドチューブ1014内に配置されると、器具608は、6つの自由度のうちの4つで機械的に拘束される。すなわち、器具608は、ガイドチューブ1014の長手方向軸線1016を除いて、いかなる方向にも回転させることができず、器具608は、ガイドチューブ1014の長手方向軸線1016に沿って以外の方向に並進することができない。言い換えれば、器具608は、ガイドチューブ1014の中心線に沿って並進移動しかつ回転させることだけができる。(1)ガイドチューブ1014の長手方向軸1016周りの回転角度、(2)ガイドチューブ1014に沿った位置のようにさらに二つのパラメータが既知であれば、カメラ座標系におけるエンドエフェクタ1012の位置が完全に定義される。
次に図15Cに示すように、システム100、300、600は、ツール608がガイドチューブ1014の内部に実際に配置され、代わりにガイドチューブ1014の外側ではなく、カメラ200、326の視界のどこかにあるときを知ることができるべきである。ツール608は、長手方向軸または中心線616と、複数の追跡されるマーカー804を有するアレイ612とを有する。剛体計算を使用して、ツール608上のアレイ612の追跡位置に基づいて、ツール608の中心線616がカメラ座標系内に位置する場所を決定することができる。
単一マーカー1018からガイドチューブ1014の中心線または長手方向軸1016までの固定された法線(垂直)距離DFは固定され、幾何学的に既知であり、単一マーカー1018の位置を追跡することができる。したがって、ツール中心線616から単一マーカー1018までの検出距離DDが、ガイドチューブ中心線1016から単一マーカー1018までの既知の固定距離DFと一致する場合、ツール608がガイドチューブ1014内にある(ツール608およびガイドチューブ1014の中心線616、1016が一致)か、またはこの距離DDが固定距離DFに一致する可能性のある位置の軌跡のある点に存在していることを判定できる。例えば、図15Cに示すように、ツール中心線616から単一マーカー1018までの法線方向の検出距離DDが、二つの位置において、透明なツール608によって表される両方のデータフレーム(追跡されるマーカー座標)においてガイドチューブ中心線1016から単一マーカー1018までの固定距離DFと一致する。したがって、ツール608がガイドチューブ1014内に配置されるときを決定するために追加の考慮が必要とされ得る。
ここで図15Dを参照すると、プログラムされたロジックを使用して、ツール608がガイドチューブ1014内を移動しているという条件を満たすよう、ツール608がスペース内で単一の球体1018に対して、ある程度の最小距離だけ移動しても、ツール中心線616から単一マーカー1018までの検出距離DDが正しい長さに固定されたままである、追跡データのフレームを探すことができる。例えば、第一のフレームF1は、第一の位置のツール608によって検出され、第二のフレームF2は、第二の位置のツール608によって検出され得る(すなわち、第一の位置に対して直線的に移動される)。ツールアレイ612上のマーカー804は、第一のフレームF1から第二のフレームF2へ所与の量より多く(例えば、合計5mm超)だけ移動することができる。この移動であっても、ツール中心線ベクトルC’から単一マーカー1018までの検出距離DDは、第一のフレームF1と第二のフレームF2の両方において実質的に同一である。
論理的には、外科医120またはユーザは、ツール608をガイドチューブ1014内に配置し、ガイドチューブ1014内にそれをわずかに回転させるかまたは滑り込ませることができ、システム100、300、600は、ツール608が五つのマーカー(ツール608上の四つのマーカー804に加えガイドチューブ1014上の単一マーカー1018)から、ガイドチューブ1014内にあることを検知することができる。ツール608がガイドチューブ1014内にあることを知り、空間内のロボット式エンドエフェクタ1012の位置および配向を定める6自由度の全てを計算することができる。単一マーカー1018がなければ、ツール608がガイドチューブ1014内にあることが確実に分かっていても、ガイドチューブ1014がツールの中心線ベクトルC’に沿ってどこに位置するか、およびガイドチューブ1014が中心線ベクトルC’に対しどのように回転するかは不明である。
図15Eで強調するように、ツール608上四つのマーカー804と合わせて単一マーカー1018が追跡されるので、ガイドチューブ1014およびツール608の中心線ベクトルC’および単一マーカー1018および中心線ベクトルC’による法線ベクトルを構築することができる。この法線ベクトルは、手首の遠位のロボットの前腕(この例では、そのセグメントに平行に配向される)に対して既知の配向であり、特定の固定位置で中心線ベクトルC’と交差する配向を有する。便宜上、図15Eに示すように、三つの相互に直交するベクトルk’、j’、i’を構成することができ、ガイドチューブ1014の剛体位置および配向を画定することができる。三つの相互に直交するベクトルの一つである、k’は、中心線ベクトルC’から構成され、第二のベクトルj’は、単一マーカー1018を通る法線ベクトルから構成され、第三のベクトルi’は、第一と第二のベクトルk’、j’のベクトル積である。これらのベクトルk’、j’、i’に対するロボットのジョイント位置は、すべてのジョイントがゼロになると既知であり、固定され、したがって剛体計算を使用して、ロボットがホームポジションにいるとき、これらのベクトルk’、j’、i’に対するロボットの任意の部分の位置を決定することができる。ロボットの移動中に、ツールマーカー804の位置(ツール608がガイドチューブ1014内にある間)および単一マーカー1018の位置が追跡システムから検出され、各ジョイントの角度/直線位置がエンコーダから既知であれば、ロボットの任意の部分の位置および方向を決定することができる。
いくつかの実施形態では、ガイドチューブ1014に対するツール608の配向を固定することが有用であり得る。例えば、エンドエフェクタガイドチューブ1014は、マシニングまたはインプラントの位置決めを可能にするために、その軸1016の周りの特定の位置に向けられてもよい。ガイドチューブ1014内に挿入されたツール608に取り付けられたあらゆる物の配向は、ツール608上の追跡されるマーカー804から分かるが、ガイドチューブ1014上の追加の追跡マーカー1018(または他の実施形態では複数の追跡マーカー)がなければ、カメラ座標系におけるガイドチューブ1014自体の回転方向は不明である。このマーカー1018は、本質的に、中心線ベクトルC’に対するマーカー1018の配向に基づいて−180°〜+180°の「クロック位置」を提供する。したがって、単一マーカー1018は、完全な剛体追跡を可能にする追加の自由度を提供することができ、および/またはロボットおよびカメラの位置決めに関する仮定が有効であることを保証する監視マーカーとして機能することができる。
図16は、ロボット102のエンドエフェクタ1012(または本明細書に記載の他の任意のエンドエフェクタ)を所望の標的軌道にナビゲートおよび移動させるための方法1100のブロック図である。ロボットエンドエフェクタ1012またはガイドチューブ1014上の単一マーカー1018の別の使用は、ロボット102に取り付けられたフル追跡アレイなしでロボット102の自動安全移動を可能にする方法1100の一部である。この方法1100は、追跡カメラ200、326がロボット102に対して移動しないで(すなわち、それらが固定位置にある)、追跡システムの座標系およびロボットの座標系が共に登録され、ガイドチューブ1014の位置および配向が、各ロボット軸の符号化された位置にのみ基づいて、ロボットのデカルト座標系において正確に決定することができるように、ロボット102が較正されるとき、機能する。
この方法1100では、トラッカーとロボットの座標系を共に登録しなければならないが、これは、追跡システムのデカルト座標系からロボットのデカルト座標系への座標変換が必要であることを意味する。便宜上、この座標変換は、ロボット工学の分野で周知である4x4の並進行列および回転行列であり得る。この変換はTcrと呼ばれ、「変換−カメラからロボットに」を指す。この変換が分かれば、追跡される各マーカーに対しベクトル形式でx、y、z座標として受け取られる追跡データの新しいフレームに4x4行列を乗算することができ、結果のx、y、z座標はロボットの座標系にある。Tcrを得るためには、ロボットのフル追跡アレイが、ロボットの座標系で既知の位置にロボットに固定的に取り付けられている間に追跡され、次いで既知の剛体法が座標の変換を計算するために使用される。ロボット102のガイドチューブ1014に挿入された任意のツール608は、追加のマーカー1018も読み取られたときに、固定的に取り付けられたアレイと同じ剛体情報を提供することができることは明らかである。すなわち、ツール608は、ガイドチューブ1014内の任意の位置に、ガイドチューブ1014内の任意の回転で、挿入するだけで良い。固定された位置および配向に挿入する必要はない。したがって、追跡アレイ612を含む任意のツール608をガイドチューブ1014に挿入し、ツールのアレイ612とガイドチューブ1014の単一マーカー1018とを読み取ることにより、Tcrを決定することが可能である。同時に、それぞれの軸上のエンコーダからロボットの座標系におけるガイドチューブ1014の現在位置を決定できる。
ロボット102を標的軌道にナビゲートして移動させるための論理は、図16の方法1100において提供される。ループ1102に入る前に、変換Tcrが以前に記憶されたと仮定する。したがって、ループ1102に入る前に、ステップ1104において、ロボット基部106が固定された後、ロボットが静止している間にガイドチューブに挿入されたツールの追跡データの一つかまたはそれ以上のフレームが格納される。ステップ1106において、この静的データおよび以前の較正データから、カメラ座標からロボット座標Tcrへのロボットガイドチューブ位置の変換が計算される。Tcrは、カメラ200、326がロボット102に対して動かない限り有効であるべきである。カメラ200、326がロボット102に対して移動し、Tcrを再取得する必要がある場合、システム100、300、600は、ガイドチューブ1014内にツール608を挿入するようにユーザに促し、次いで必要な計算を自動的に実行ことができる。
方法1100のフローチャートでは、収集されるデータの各フレームは、患者210上のDRB1404の追跡された位置、エンドエフェクタ1014上の単一マーカー1018の追跡された位置、および各ロボット軸の位置のスナップショットからなる。ロボットの軸の位置から、エンドエフェクタ1012上の単一マーカー1018の位置が計算される。この計算された位置は、追跡システムから記録されたマーカー1018の実際の位置と比較される。値が一致すれば、ロボット102が既知の位置にあることを保証することができる。変換Tcrは、ロボット102の標的がロボットの座標系に関して提供されるように、DRB1404の追跡された位置に適用される。次いで、ロボット102は、標的に到達するために移動するように命令され得る。
ステップ1104、1106の後、ループ1102は、追跡システムからDRB1404の剛体情報を受信するステップ1108と、標的先端および軌道を画像座標から追跡システム座標に変換するステップ1110と、標的先端および軌道をカメラ座標からロボット座標に変換する(Tcrを適用する)ステップ1112とを含む。ループ1102はさらに、追跡システムからロボットのための単一の漂遊マーカー位置を受信するステップ1114と、単一の漂遊マーカーを追跡システム座標からロボット座標に変換する(格納Tcrを適用する)ステップ1116とを含む。ループ1102はまた、順運動学からロボット座標系における単一のロボットマーカー1018の現在位置を決定するステップ1118を含む。ステップ1116および1118からの情報は、変換された追跡された位置からの漂遊マーカー座標が、所定の公差よりも小さい計算された座標と一致するかどうかを決定する(ステップ1120)ために使用される。イエスであれば、ステップ1122に進み、標的x、y、zおよび軌道にロボット移動を計算して適用する。いいえの場合は、ステップ1124に進み、一旦停止し、処理を続行する前にガイドチューブ1014への完全なアレイ挿入を要求し、ステップ1126でアレイが挿入された後に、Tcrを再計算する。その後、ステップ1108、1114および1118を繰り返すように進む。
この方法1100は、位置を確認するために単一マーカー1018の連続的な監視が省略される方法に優る利点を有する。単一マーカー1018がなければ、Tcrを使用してエンドエフェクタ1012の位置を決定し、エンドエフェクタ1012を標的位置に送信することは可能であるが、ロボット102が実際に予想される場所にいることを確認することはできない。例えば、カメラ200、326が突き当たり、Tcrがもはや有効でない場合、ロボット102は誤った位置に移動することになる。このため、単一マーカー1018は安全性に関する価値を提供する。
ロボット102の所与の固定位置に対して、理論的には、追跡カメラ200、326を、単一の追跡されるマーカー1018は、アレイではなく単一の点であるので、移動されないままである、新しい位置に移動することが可能である。そのような場合、システム100、300、600は、単一マーカー1018の計算された位置と、追跡された位置が一致するので、何らエラーを検出しない。しかしながら、ロボットの軸がガイドチューブ1012を新しい位置に移動させると、計算された位置と追跡された位置は不一致となり、安全チェックが有効になる。
「監視マーカー」という用語が、例えば、DRB1404に対して固定位置にある単一マーカーを参照して使用することができる。この例では、DRB1404が突き当てられるか、またはそうでなければ取り外されると、監視マーカーの相対位置が変化し、外科医120に、ナビゲーションに問題がある可能性があることを警告することができる。同様に、本明細書に記載の実施形態では、ロボットのガイドチューブ1014上に単一マーカー1018を用いて、システム100、300、600は、カメラ200、326がロボット102に対して移動したかどうかを連続的にチェックすることができる。カメラ200、326が突き当たったり機能不全になったり、ロボットが誤動作したりするなどして、追跡システムの座標系のロボットの座標系への登録が失われた場合、システム100、300、600はユーザに警告し、修正を加えることができる。したがって、この単一マーカー1018は、ロボット102に対する監視マーカーと考えることもできる。
ロボット102に恒久的に取り付けられたフルアレイ(例えば、図7A〜7Cに示されるエンドエフェクタ602上の複数の追跡マーカー702)の場合、ロボット監視マーカーのような単一マーカー1018のそのような機能は、カメラ200、326がロボット102に対して固定位置にあることが要求されず、Tcrはロボット102の追跡された位置に基づいて各フレームで更新されるので、必要ではない。完全なアレイの代わりに単一マーカー1018を使用する理由は、完全なアレイがよりかさばってじゃまであり、それによって、単一マーカー1018よりも外科医の視界および外科手術領域208へのアクセスが妨げられ、フルアレイに対する視線が、単一マーカー1018に対する視線よりも容易にブロックされるからである。
ここで図17A−17Bおよび図18A−18Bを参照すると、固定および可動追跡マーカー804、806の両方を含むインプラントホルダ608B、608Cなどの器具608が示される。インプラントホルダ608B、608Cは、ハンドル620と、ハンドル620から延在する外側シャフト622とを有してもよい。シャフト622は、図示されるように、ハンドル620に対して実質的に垂直に、または任意の他の適切な配向に配置され得る。内側シャフト626は、一方の端部にノブ628を有する外側シャフト622を通って延在することができる。インプラント10、12は、シャフト622に他方の端部で、当業者に公知である典型的な接続機構を使用して、インプラントホルダ608B、608Cの先端624で接続する。ノブ628は、例えば、インプラント10、12を拡張させまたは関節接合させるために回転させることができる。米国特許第8,709,086号および第8,491,659号は、これらの開示が本明細書で参照により組み込まれるが、拡張可能な融合装置および取り付け方法を記載している。
インプラントホルダ608B、608Cのようなツール608を追跡するとき、追跡アレイ612は、アレイ612を構成するまたは、そうでなければインプラントホルダ608B、608Cに取り付けられる、固定マーカー804と一つまたは複数の可動マーカー806の組み合わせを含むことができる。ナビゲーションアレイ612は、インプラントホルダ器具608B、608Cに対して既知の位置に配置される少なくとも一つまたは複数(例えば、少なくとも二つ)の固定位置マーカー804を含むことができる。これらの固定マーカー804は、器具の幾何学的形状に対してどの方向にも動くことができず、器具608が空間中でどこにあるかを定義するのに有用である。さらに、少なくとも一つのマーカー806が存在し、これは、固定マーカー804に対して所定の境界内で動くことができる(例えば、摺動、回転など)アレイ612または器具自体に取り付けることができる。システム100、300、600(例えば、ソフトウェア)は、可動マーカー806の位置をインプラント10の特定の位置、配向、または他の属性に関係づける(例えば、図17A〜17Bに示す拡張可能な椎体間スペーサの高さ、図18A〜18Bに示される関節のある椎体間スペーサの角度)。したがって、システムおよび/またはユーザは、可動マーカー806の位置に基づいてインプラント10、12の高さまたは角度を決定することができる。
図17A〜図17Bに示す実施形態では、四つの固定マーカー804を使用してインプラントホルダ608Bを画定し、第五の可動マーカー806を所定の経路内で摺動させて、インプラント高さ(例えば、収縮位置または拡張位置)にフィードバックを提供することができる。図17Aは、拡張可能なスペーサ10をその初期高さで示しており、図17Bは、可動マーカー806が異なる位置に並進された、拡張状態のスペーサ10を示す。この場合、可動マーカー806は、インプラント10が拡張されたときに固定マーカー804に近づくが、この移動が逆転してもよいし、そうでなければ異なってもよいと考えられる。マーカー806の直線並進の量は、インプラント10の高さに対応する。二つの位置のみが示されるが、これを連続的な機能として有することが可能であり、それにより、任意の所定の拡張高さを可動マーカー806の特定の位置に相関させることができる。
ここで図18A〜図18Bを参照すると、四つの固定マーカー804がインプラントホルダ608Cを画定するために使用され、第五の可動マーカー806がインプラント関節角度に対してフィードバックを提供するために所定の経路内で摺動するよう構成される。図18Aは、関節のあるスペーサ12をその初期線形状態で示しており、図18Bは、可動マーカー806が異なる位置に移動されたあるオフセット角での関節動作した状態にあるスペーサ12を示す。マーカー806の線形並進量は、インプラント12の関節角度に対応する。二つの位置だけが示されるが、これを連続機能として有することが可能であり、それによって、任意の所与の関節角度が可動マーカー806の特定の位置に相関されることができる。
これらの実施形態では、可動マーカー806は、位置に基づいてインプラント10、12の属性に関するフィードバックを提供するために連続的に摺動する。また、インプラント属性に関するさらなる情報を提供することができる可動マーカー806がなければならない周到な位置が存在し得ることも考えられる。この場合、全てのマーカー804、806の周到な構成は、特定の配向または特定の高さにおける、インプラントホルダ608B、608Cおよびインプラント10、12の特定の幾何学的形状と相関する。さらに、可動マーカー806の任意の動きは、任意の他のタイプのナビゲートされるインプラントの他の可変属性に使用することができる。
可動マーカー806の線形移動に関して図示および説明されるが、可動マーカー806は、単に摺動に限定されるべきではない。マーカー806の回転または他の動きがインプラント10、12に関する情報を提供するのに有用であり得る用途があり得る。一組の固定マーカー804と可動マーカー806との間の位置の相対的変化は、インプラント10、12または他のデバイスに関する関連情報となり得る。さらに、拡張可能で関節のあるインプラント10、12が例示されるが、器具608は、他の医療機器およびスペーサ、ケージ、プレート、ファスナ、釘、ねじ、ロッド、ピン、ワイヤ構造、縫合糸、アンカークリップ、ステープル、ステント、骨移植片、生物製剤、セメントなどの材料ともに機能することができる。
ここで図19Aを参照すると、ロボットエンドエフェクタ112は、他のタイプのエンドエフェクタ112と交換可能であることが想定される。さらに、各エンドエフェクタ112は、所望の外科施術に基づいて一つまたは複数の機能を実行することができると考えられる。例えば、ガイドチューブ114を有するエンドエフェクタ112は、本明細書で説明されるように器具608を案内するために使用されてもよい。さらに、エンドエフェクタ112は、例えば、外科用デバイス、器具、またはインプラントを制御する、異なるまたは代替のエンドエフェクタ112で置き換えることができる。
代替のエンドエフェクタ112は、ロボットに結合され、ロボットによって制御可能な一つまたは複数の装置または器具を含むことができる。非限定的な例として、図19Aに示すエンドエフェクタ112は、レトラクタ(例えば、米国特許第8,992,425号および第8,968,363号に開示される一つまたは複数のレトラクタ)、または以下のような外科用デバイスを挿入または設置するための一つまたは複数の機構を含むことができる。それは、拡張可能な椎間融合装置(米国特許第8,845,734号、第9,510,954号、および第9,456,903号に例示される拡張可能インプラントなど)、スタンドアロンの椎間融合装置(米国特許第9,364,343号および第9,480,579号に例示されるようなインプラントなど)、拡張可能な骨切除装置(米国特許第9,393,128号および第9,173,747号に例示される骨矯正インプラントなど)、関節のあるスペーサ(米国特許第9,259,327号に例示されるインプラントなど)、ファセットプロテーゼ(米国特許第9,539,031号に例示されるデバイスなど)、椎弓形成術装置(米国特許第9,486,253号に例示されたデバイスなど)、棘突起スペーサ(米国特許第9,592,082号に例示されるインプラントなど)、インフレータブル製品、多軸スクリュー、一平面スクリュー、椎弓根スクリュー、ポストスクリューなどを含むファスナ、骨固定プレート、ロッド構築物および変更デバイス(米国特許第8,882,803号に例示されるデバイスなど)、人工および天然ディスク、動作保存装置、インプラント、および脊髄刺激装置(米国特許第9,440,076号に例示される装置など)、ならびに他の外科用デバイスである。エンドエフェクタ112は、骨セメント、骨移植片、生きた細胞、医薬品、または外科手術標的への他の送達物を提供するために、ロボットに直接的または間接的に結合された一つまたは複数の器具を含むことができる。エンドエフェクタ112はまた、椎間板切除術、脊柱後弯形成、椎骨縫合、拡張、または他の外科施術を行うために設計された一つまたは複数の器具を含むことができる。
エンドエフェクタそれ自体および/またはインプラント、デバイスまたは器具は、マーカー118の場所および位置が三次元で識別されるように、一つまたは複数のマーカー118を含むことができる。マーカー118は、カメラ200に直接的または間接的に視認可能な、本明細書に記載される能動または受動マーカー118を含むことができると考えられる。したがって、例えば、インプラント10上に配置された一つまたは複数のマーカー118は、インプラント前、インプラント中およびインプラント後のインプラント10の追跡を提供することができる。
図19Bに示すように、エンドエフェクタ112は、ロボットアーム104に結合された器具608またはその一部を含むことができ(例えば、器具608は、図9A〜図9Cに示す結合機構によってロボットアーム104に結合され得る)、ロボットシステム100によって制御可能である。したがって、図19Bに示す実施形態では、ロボットシステム100は、インプラント10を患者に挿入し、拡張可能インプラント10を拡張または収縮させることができる。したがって、ロボットシステム100は、外科医を補助するか、または部分的にまたは完全に独立して動作するように構成することができる。したがって、ロボットシステム100は、その特定の機能または外科施術のために各代替エンドエフェクタ112を制御することができることが想定される。
上述のロボットおよび関連するシステムは、背骨用途を参照して一般に説明されるが、ロボットシステムは、他の外科手術への適用において使用されるように構成される。他の外科手術には、外傷の手術または他の整形外科手術(例えば、髄内釘、プレートなどの配置)、頭蓋、神経、心胸郭、血管、結腸直腸、腫瘍学、歯科および他の外科手術および処置が挙げられるが、これらに限定されない。下記に記載するいくつかの実施形態によれば、ロボットシステムは脳外科手術用途に使用され得る。
図20は、ロボットシステムコントローラの要素(例えば、コンピュータ408内に実装される)を図示するブロック図である。示すように、コントローラは、入力インターフェース回路2001(入力インターフェースとも称される)と、出力インターフェース回路2003(出力インターフェースとも称される)と、制御インターフェース回路2005(制御インターフェースとも称される)と、メモリ回路2009(メモリとも称される)とに結合されるプロセッサ回路2007(プロセッサとも称される)を含み得る。メモリ回路2009は、プロセッサ回路2007によって実行されると、本明細書に開示された実施形態において、プロセッサ回路に動作を実施させるコンピュータ可読プログラムコードを含み得る。その他の実施形態では、プロセッサ回路2007は、別のメモリ回路が必要とされないよう、メモリを含んで画定され得る。
本明細書に記載のように、本開示のいくつかの実施形態によるロボットシステムを制御する動作は、プロセッサ2007、入力インターフェース2001、出力インターフェース2003、および/または制御インターフェース2005を含むコントローラ2000によって実行され得る。例えば、プロセッサ2007は、入力インターフェース2001を通してユーザ入力を受信し得、そうしたユーザ入力は、フットペダル544、タブレット546、ディスプレイ110/304のタッチ感応インターフェース等を通して受信されるユーザ入力を含み得る。プロセッサ2007はまた、追跡サブシステム532および/またはカメラ200から入力インターフェース2001を通して位置センサ入力を受信し得る。プロセッサ2007は、出力インターフェース2003を通して出力を提供し得、そのようなアウト(out)は、ディスプレイ110/304上のグラフィック/視覚的情報および/またはスピーカ536を通して提供されることになる音声出力を表示する情報を含み得る。プロセッサ2007は、制御インターフェース2005を通してモーション制御サブシステム506へロボット制御情報を提供し得、ロボット制御情報は、ロボットアクチュエータ(ロボットアーム104/306−308/604(ロボットアームとも称される))および/またはエンドエフェクタ112/602の動作を制御するのに使用され得る。
基準(基準ポイントまたは基準オブジェクトとも称される)は、画像スキャン(例えば、術前MRIスキャンおよび術中CTスキャン)の3D座標系において局在化され得るオブジェクト(3次元3D空間での)上のポイントである。二つ以上の異なる画像スキャン内に同一の基準を検出することができる場合が多い。二つの異なる座標系において少なくとも三つの基準が位置する場合、二つの座標系は、三つ以上の基準を使用して共に登録することができる。それぞれの3D画像スキャンに対する二つの座標系が共に登録されると、一方の画像スキャンにおける既知のポイントまたはオブジェクト(例えば、腫瘍の位置)を他方の画像スキャンにおいて識別/特定することができる。例えば、術前MRIスキャンにおいて腫瘍が特定/識別される場合、術前MRIスキャンの座標系を術中CTスキャンの座標系と共に登録して、術中MRIスキャンにおける腫瘍の局在化を可能にすることができる。手術用ロボットシステムにおいて、追跡カメラの座標系を術中CTスキャンボリュームに登録するほうが(例えば、図10および11、および関連する本文の方法を使用して)、MRIスキャンボリュームに登録するよりも、より簡単でより正確であり得る。CT座標系およびMRI座標系の共登録の後、術前MRIスキャンおよびCTの座標系に変換された軌道を使用して手術用ロボットの軌道が計画され得、これが次に、カメラとCTの登録工程を通してカメラの座標系に変換される。言い換えれば、CTスキャンおよびMRIスキャンの共登録により、MRIスキャンにおける軌道に従ってロボットを制御することが可能になる。
人工基準が、関心の解剖学的オブジェクトに/関心の解剖学的オブジェクトの近くに配置または付着される人工オブジェクトを使用して提供されてもよく、人工基準は、正確かつ繰り返し識別されることを可能にする特徴を有する、球体、ドーナツ状、ディボットであり得る。例えば、人工基準は、追跡されるオブジェクトに付着される金属bbとすることができる。金属bbは、プロセッサ2007によって3Dスキャン内で画像処理技術を使用して検出されて、スキャンの座標系におけるその3D位置を提供してもよく、および/または金属bbは、追跡されたプローブで球体の表面に触れることで検出されて、ロボットシステムの座標系におけるその3D位置を提供してもよい(例えば、光学追跡カメラ200/326を使用して)。
発明概念のいくつかの実施形態によれば、脳の外科手術を実行する際、脳上の/脳内の特徴的な解剖学的特徴は、自然基準として機能し得る。特に、脳の自然に生じる血管は、脳/頭/頭蓋骨の中に/上に人工基準オブジェクトを挿入または配置するのではなく(またはこれに加えるのではなく)、自然基準として機能し得る。血管は固有のパターンで横断して分岐するため、その脈管全体が基準オブジェクトとして機能することができる。しかしながら、脳が腫脹、萎縮およびシフトすると、血管(例えば、動脈または静脈)が分岐する任意のノード(ポイントとも称される)の変位を追うよりも、脈管全体の歪みを追跡することがより困難であり得る。これらのノード(ポイント)は、術前スキャン/スキャン(例えば、磁気共鳴画像MRIスキャンまたはコンピュータ断層撮影CTスキャン)、術中スキャン/スキャン(例えば、MRIスキャンまたはCTスキャン)、X線、および/または超音波における画像処理を使用して、プロセッサ2007によって検出され得る。血管の分岐ノード(ポイント)(血管ノードとも称される)は、こうした血管ノードが脳の大部分/全てに行き渡る良好なカバレッジを提供するため、固有の自然基準を提供し得る。したがって、グループとして使用される場合、血管の分岐ノードは、プロセッサ2007によって使用されて、脳の異なる領域および/または脳全体のシフト/歪みを正確に監視し得る。さらに、血管ノードの様々な一つは、形状、方向、および隣接する分岐ノードからの距離が異なり得、こうした分岐ノードが自動的に検出/識別されて、脳の異なる3Dスキャンにおいてソートされることを可能にしている。
図21は、脳内の血管を示す、コントラストを有するCT画像の3D再構成を図示する。X線画像またはCTスキャンを使用する際、脳の血管が、結果として生じる画像スキャンにおいてより容易に視覚化され得るように、液体造影剤が患者の血流内に注入されてもよい。造影剤が無いと、血管と脳組織との間の強度の類似性のために血管が視覚的にはっきり見えない場合がある。MRIスキャンを調べる際、周囲組織と対照的であると同時に最も明瞭に血管を示すよう、適切なMRIシーケンスタイプが選択され得る。
プロセッサ2007が二つ以上の異なる座標系を共に登録するために、それに対して座標系が共に登録される画像スキャンにおける複数の(例えば、少なくとも三つの)自然基準および/または人工基準を特定することが有用/必要であり得、スキャンにおける基準の位置の自動識別が、位置の手動認識よりも好ましい場合がある。3D画像ボリューム(例えば、MRIスキャンまたはCTスキャン)を使用する際、プロセッサ2007によって自動画像処理アルゴリズムが使用されて、血管上の分岐ポイントを、血管ノードの検出/識別のための異なるコンポーネントを使用して自動検出し得る。
こうした自動画像処理アルゴリズムの一つのコンポーネントは、プロセッサ2007が分岐が生じる方向を決定することを含み得る。異なる方向に延在する血管分岐を見る際、ノードに対する幹血管および分岐血管が分岐の方向を識別すると決定され得る。例えば、プロセッサ2007は、画像処理を使用して、血管が、二つ以上の他の血管と出会うノード(分岐または分岐ポイントとも称される)に達するまで血管を追い得る。ノードにおいて、血管のサイズ(例えば、直径および/または断面)がプロセッサ2007によって評価され得る。最大サイズ(例えば、直径および/または断面)を有するノードにおける血管を、ノードの幹血管として識別することができ、ノードにおけるその他のノード(小さなサイズの)をノードの分岐血管として識別することができる。この情報は、プロセッサ2007が、血管ノードを分類、識別、および/または特定し、そして同じ血管ノードを同じ解剖学的ボリュームの異なるスキャンにおける自然基準として識別/特定するのに有用であり得る。
こうした自動画像処理アルゴリズムの別のコンポーネントは、プロセッサ2007が血管ノード/分岐間の距離を決定することを含み得る。血管をその進路に沿って追う際、一つのノード/分岐から次のノードへの距離が同一である可能性は高くない。したがって、連続したノード/分岐間の距離(血管経路に沿った)を測定して、特定の血管および/またはそのノード/分岐を識別するのに使用することができる。こうして、ノード/分岐間の異なる距離を使用して、これらの血管が通過する特定の血管およびノード/分岐を識別することができ、この情報をプロセッサ2007によって使用して、同一の解剖学的ボリュームの異なるスキャンにおける同一のノード/分岐を識別/特定し得る。この情報は、例えば、脳を通した血管経路に沿ったノード間距離のマップを生成するために使用でき、またノード間距離のマップは、同一の血管ノードを同一の解剖学的ボリュームの異なるスキャンにおける自然基準として識別するために使用できる。
発明概念のいくつかの実施形態によれば、プロセッサ2007はこうして、CTスキャン(コントラストを有する)および/またはMRIスキャンにおける血管ノードを検出し得る。プロセッサ2007は、低い強度の組織を通して高いコントラストの薄い蛇行線として現れる構造を識別することによって、血管候補を見つけ得る。血管は、二つ(またはそれ以上)の新たな分岐を有するノードに遭遇するまで一の方向に追われ得る。ノードにおける血管のサイズ(例えば、断面および/または直径)の比較に基づいて、プロセッサ2007は、追われている血管をツリー構造の上方に追われているか下方に追われているかを決定し得る。下方に追われている場合(サイズが小さい分岐へと)、方向を逆にしてもよく、血管を、そのツリー構造の上方へと反対方向に追ってもよい。プロセッサ2007が幹血管の第一の分岐ポイントを表すノードを検出すると、幹血管は、二つ以上のより小さな血管が幹血管から分岐する次の血管ノードへと下方に追われ得る。このようにして、プロセッサ2007は、脳を通して血管ノードをマップおよび識別することができる。
図22は、血管および血管ノードのツリー構造およびマッピングの例を図示した図であり、血管ノード(AB、AC、AE、BD、BG、CF、およびDH)は、プロセッサ2007によって基準として使用され得る。図22に示すように、幹血管は、ツリー構造の最も大きな血管であり、ノードそれぞれは、二つ以上の分岐を有し得る。さらに、一つのノードにおける分岐は、ツリー構造の下方の次のノードに対する幹であり得る。例えば、分岐Cは、ノードACの分岐血管であり、かつノードCFの幹血管であり得る。プロセッサ2007は、分岐血管AおよびBが幹血管から分割されるノードABにおける第一の分岐ポイントまでツリー構造を下方に追い得る。次に分岐血管AがノードAC、AE等を通して追われ、そして分岐Aに沿ってノードそれぞれに達すると、プロセッサ2007が隣接するノード間の分岐のそれぞれの長さを記録し得る。
図2の実施例では、プロセッサ2007は、ノードAB、AC、およびAEのそれぞれを通して分岐Aを追い得、プロセッサ2007は、ノードABとノードACとの間、およびノードACとノードAEとの間の分岐Aの長さを記録し得る。さらに、プロセッサ2007は、ノードの名称(例えば、ノードAB、ノードAC,およびノードAE)に応じてノードそれぞれのx軸、y軸、およびz軸を記録し得る。新たなスキャンにおける分岐を検出する際に、ノードについてのこの情報および分岐それぞれのノード間距離を使用して、同一のノードを異なる3D画像スキャンにおける基準として識別することを容易にし得る(例えば、同一の患者の異なる3D画像スキャンのノード間の距離の差異は、隣接する分岐間の距離よりも有意に小さいと仮定する)。同様に、プロセッサ2007はノードBDおよびBGを分岐Bに沿って、ノードCFを分岐Cに沿って、そしてノードDHを分岐Dに沿ってマップし得る。
自然基準として使用されるノードを画定する血管分岐をマッピングする際、プロセッサ2007は、その他のファクターを使用して血管分岐および/またはノードを一意に画定/識別し得る。いくつかの実施形態によれば、ノードの幹血管および/または分岐血管の形状は、ノードを識別するのに使用され得る。例えば、血管がくねった線を画定する場合があり、あるいは、血管が一の方向で大きく向きを変えた後、短い距離の後に別の方向に大きく向きを変える場合がある。これらの形状特徴は、プロセッサ2007が、追われる特定の幹血管/分岐血管、および/または幹血管/分岐血管に関連付けられたノードを識別/確認するのに有用であり得る。こうした情報は、ノード間距離が、血管を区別するには不明瞭である場合に特に有用であり得る。いくつかのその他の実施例によると、ノードにおける二つの小さな分岐間の分岐間角度が、ノードを画定/識別するのに使用され得る。例えば、ノードABにおける分岐Aと分岐Bとの間の角度を使用して、ノードABを識別/画定してもよい。
図22に関して上述した動作は、CTスキャンまたはMRIスキャンなどの3D画像スキャンを使用して、プロセッサ2007によって実行され得る。X線を使用した検出は、CTスキャンまたはMRIスキャンを使用するよりも困難であり得る。X線を使用する場合、少なくとも60度離れた異なる位置から、かつ蛍光透視撮像機に固定された追跡された登録オブジェクトと共に蛍光透視ロボットガイダンスのために使用されるのと類似の方法で二つのx線ショットが捕捉され得る。追跡された登録オブジェクトは、x線ショット間の角度および距離を既知のものとし、二つのx線ショット上で見られる3D座標を正確に評価することを可能にする。複数のx線透視ショットを登録することにより、プロセッサ2007は、画像処理を使用して3Dにおける分岐ポイント/ノードを検出し、検出された分岐ポイント/ノードは、以後の蛍光透視ショットまたはその他の3Dスキャン(例えば、CTスキャンまたはMRIスキャン)との比較のためにマークされ得る。蛍光透視撮像により、複数の血管が互いにオーバーレイし、区別することが困難になり得る。ノードを蛍光透視ペアの両ショットにおいて明確に見ることができない場合、その3D座標を正確に決定することは困難であり得る。3D撮像ボリューム(例えば、CTまたはMRIを使用して生成される)では、別個のスライスを検査および追い、より明確に血管ノードを見分けることが可能であり得る。
上記に記載する動作は、プロセッサ2007によって、二つの医療3D画像スキャンの座標系を共に登録するために使用され得る。また、こうした3D画像スキャンからの情報に基づいてロボット動作を制御するために、ロボットによって使用される追跡座標系への登録も実行され得る。このような追跡座標系は、プロセッサ2007によって入力インターフェース2001を通してカメラ200/326から受信された光情報に基づき得る。このような登録のために、外部マーカーが患者に取り付けられてもよい。例えば、外部ICT(術中CT)フレームは、互いに対する固定位置に、金属基準1422および光追跡マーカー1420を含み得る。同一のスキャンにおける金属基準を自然基準として、および画像処理を使用してプロセッサ2007によって決定されるそれらのそれぞれの位置を捕捉することで、金属基準の相対位置、光追跡マーカー、および血管ノードが決定されて、ロボットの座標系および術中CTスキャンの座標系の共登録を提供するのに使用され得る。次に、プロセッサ2007は、ロボットアクチュエータ(例えば、ロボットアーム104/604)を制御して、ICTスキャンに対して共に登録された座標系を有する術中CTスキャンおよび/またはその他のスキャン(例えば、術前MRIスキャン)の解剖学的構造に関連して追跡したツールを操作し得る。
ICTスキャンは、手術用計画が実行される術前スキャン(例えば、高解像度MRIスキャン)内で補足されない場合がある。術前スキャンでは、自然基準(例えば、血管ノード)が検出され、それらの位置が記録され、そして術前スキャンが、ロボットアクチュエータのエンドエフェクタ112/602に対する計画された軌道に関する情報と共にプロセッサ2007に提供され得る。ICT基準(人工基準)は、患者に取り付けられてICTスキャン(例えば、染色造影剤を使用したCTスキャン)において捕捉されてもよく、追跡登録は、プロセッサ2007によって、ICT基準および新たな自然基準に対して確立され得る。ICTスキャンにおける新たな自然基準を検出して術前MRIスキャンにおけるオリジナルの自然基準に関連付けることで、術前MRIスキャンに対して作成された脳内への軌道の計画は全て、術中CTスキャンおよび光追跡システムに自動的に関連付けられ得る。こうした共登録は、術前画像スキャンを使用した軌道の計画後の手術中に生じ得る脳のシフト/歪みを補正し得る。脳は、術前スキャンおよび術中スキャンにおけるこうした頭蓋骨構造に対してシフトし得るため、血管ノードを基準として使用したこの登録は、頭蓋骨構造に基づくCTのMRIへの登録よりもより正確であり得る。
さらに、脳は、手術の間および/または術前スキャンから術中スキャンまでの時間に萎縮または腫脹する場合がある。術前スキャンおよび術中スキャンにおける血管ノードをマッチングさせる際、プロセッサ2007は、脳が腫脹または萎縮するのに従って予期され得る血管ノードの剛体移動を計算するために、血管ノードの最良の適合のためのアフィン変形を実行し得る。プロセッサ2007は、アフィン変形によって使用されるパラメータを分析して適合を達成し、手術中に脳の異なる領域が腫脹または萎縮する量の推定を提供し得る。こうした情報は、脳外科手術の結果を追跡する研究において有用であり得る。
いくつかの別の実施形態によると、超音波を使用して、基準として使用される血管ノードを検出し、血管ノードをロボットの追跡座標系に関連付けるのに使用される画像スキャンを生成し得る。追跡されたプローブ(すなわち、ロボットの光学追跡システムによって追跡されたプローブ)で超音波を使用すると、異なるプローブポーズを通して、または、同一のノードを異なる角度の二つのプローブで同時追跡することによって、血管ノードが三角形分割され得る。超音波を使用したいくつかの実施形態によれば、血管を流れる血液は、ドプラー効果に起因して静止組織とは異なる信号を超音波上で生成するため、ドプラー効果を使用して、プローブをガイドして血管を見つけ、何方に血液が流れるかを決定し得る。
脳自体内の血管などの自然基準を使用することで、外部基準のみを使用して異なる座標系を共に登録するよりも、追跡がより正確となり得る。さらに、血管ノードの使用は、腫脹、収縮、および/またはその他の術前スキャンから術中スキャンへの不均一なシフト/歪みの検出および/または適応を提供しうる。さらに、血管ノードの比較を使用して、脳シフト、腫脹、萎縮、および/または歪みのリアルタイムの監視を提供し得る。
ロボットシステム(患者の解剖学的位置に対してエンドエフェクタを位置付けるよう構成されるロボットアクチュエータを含む)の動作は、発明概念のいくつかの実施形態において、図23のフローチャートを参照してここで説明される。例えば、モジュールは、図20のメモリ2009に保存され得、これらのモジュールは、モジュールの命令がプロセッサ2007によって実行されると、プロセッサ2007が図23のフローチャートのそれぞれの動作を実行するよう、命令を提供し得る。
ブロック2301で、プロセッサ2007は、解剖学的ボリューム(例えば、患者の脳を含む頭部)の第一の3次元(3D)画像スキャンに対する第一のデータを提供し得るが、第一のデータは、第一の3D画像スキャンに対する第一の座標系における第一、第二および第三の血管ノード(自然基準として使用される)を識別し得る。第一の3D画像スキャンは、例えば、術前MRIスキャンであり得、ロボットアクチュエータに対する計画された軌道が、第一の3D画像スキャンで提供され得る。例えば、計画された軌道は、解剖学的ボリュームにおける標的位置および標的位置への方向を画定し得る。第一、第二、および第三の血管ノードの識別が、第一の3D画像スキャンでプロセッサ2007に提供されてもよく、あるいは、プロセッサ2007が画像処理を使用して、第一の3D画像スキャンから、第一、第二、および第三の血管ノードを識別してもよい。
ブロック2303で、プロセッサ2007は、解剖学的ボリュームの第二の3D画像スキャンに対する第二のデータを提供し得るが、第二のデータは、第二の3D画像スキャンに対する第二の座標系における、第一、第二、および第三の血管ノードを識別し得る。第二の3D画像スキャンは、例えば、術中CTスキャンであってもよく、第二の3D画像スキャンに対する第二のデータはまた、カメラ200/326を使用して別々に追跡可能な解剖学的ボリュームの外側の人工基準を識別し得る。プロセッサ2007は、例えば、図21および22に関連して上述するように、第一および/または第二の3D画像スキャンにおける第一、第二、および第三の血管ノードを識別し得る。両画像スキャンにおける少なくとも第一、第二、および第三の血管ノードを識別することで、プロセッサ2007は、両画像スキャンにおける同一の三つのポイントを識別して共登録を容易にし得る。
ブロック2305で、プロセッサ2007は、第一のデータにおいて、および第二のデータにおいて識別される第一、第二、および第三の血管ノードを第一、第二、および第三の自然基準として使用して、解剖学的ボリュームの第一および第二の3D画像スキャンに対する第一および第二の座標系を共に登録し得る。血管ノードは脳と共に移動するため、血管ノードの使用は、画像スキャン間にシフト、萎縮、腫脹、および/または変形が生じる場合でも共登録の精度の増大を提供し得る。第一および第二の座標系を共に登録することで、プロセッサ2007は、追加的な情報、例えば、第一の3D画像スキャンから第二の3D画像スキャンへのロボットアクチュエータの標的位置および/または計画された軌道を並進させることができ得る。
ブロック2307で、プロセッサは、第二の3D画像スキャンからの人工基準を使用して、第二の3D画像スキャンに対する第二の座標系と、ロボットアクチュエータに対する第三の座標系を共に登録し得る。人工基準は、カメラ200/326および/または追跡システム532を使用して追跡可能であるため、第二および第三の座標系の共登録は、追跡カメラ200/326からの光情報を使用して実行されて、ロボットアクチュエータの第三の座標系における人工基準を特定し得る。
ブロック2309で、プロセッサ2007は、第一および第二の座標系における第一、第二、および第三の血管ノードに基づく変換を使用して、第二および第三の座標系の一つにおける標的位置を提供し得る。変形は、例えば、アフリン変形を含み得る。こうした変形は、ロボットアクチュエータに対する標的位置のより正確な位置を提供して、第一および第二の3D画像スキャン間の脳のシフト萎縮、腫脹、および/またはその他の変形に適応し得る。
ブロック2311で、プロセッサ2007は、ロボットアクチュエータ(例えば、ロボットアーム104/306−308/604)を制御して、エンドエフェクタ112/302/602を、解剖学的ボリュームおよびその内部の標的位置に対する標的軌道に移動させ得る。プロセッサ2007は、例えば、標的位置を識別する第一のデータ、第一および第二の座標系の共登録、第二および第三の座標系の共登録に基づいて、および/または変形を使用して第二および第三の座標系の一つにおける標的位置の提供のうちの一つ以上に基づいてロボットアクチュエータを制御し得る。
図23のいくつかの実施形態によると、血管ノードそれぞれは、少なくとも第一および第二の分岐血管への一つの幹血管において画定され得、幹血管のサイズ(例えば、断面および/または直径)は、第一の分岐血管のサイズおよび第二の分岐血管のサイズよりも大きい。固有の特徴を使用して、3Dスキャンそれぞれにおける同一の血管ノードを識別し得る。こうした特徴は、血管ノードの分岐血管の数、血管ノードと前の血管ノードとの間の血管ノードの幹血管の長さ、血管ノードの分岐血管間の角度、および/またはノードの幹血管/分岐血管のうちの一つの形状のうちの一つ以上を含み得る。
本発明の概念の様々な実施形態の上記の説明において、本明細書で使用される用語は、特定の実施形態を説明する目的のみのものであり、本発明の概念を限定するものではないことを理解されたい。他に定義されない限り、本明細書で使用される全ての用語(技術用語および科学用語を含む)は、本発明の概念が属する当業者によって一般に理解されるのと同じ意味を有する。一般的に使用される辞書に定義されているもののような用語は、明細書および関連技術の文脈における意味と一致する意味と有すると解釈されるべきであり、本明細書において明確に定義されていない限り、理想的または過度に形式的に解釈されるうべきではないことも理解されよう。
ある要素が、別の要素に「接続されている(connected)」、「結合されている(coupled)」「応答している(responsive)」、またはその変形として称される場合、別の要素の直接接続され、結合され、または、応答してもよく、あるいは、介在要素が存在してもよい。対照的に、ある要素が別の要素に「直接接続されている(directly connected)」、「直接結合されている(directly coupled)」、「直接応答している(directly responsive)」、またはその変形として称される場合、介在要素は存在しない。同一番号は、全体を通して同一要素を指す。さらには、本明細書で使用されるように、「結合された(coupled)」、「接続された(connected)」、「応答した(responsive)」、またはその変形は、無線で結合され、接続され、または応答しすることを含み得る。本明細書で使用されているように、単数形「一つの(a、an)」および「その(the)」は、文脈が明らかにそうでないことを示さない限りは、複数形も含むものとする。周知の機能または構成は、簡潔さおよび/または明瞭さのために、詳細に説明され得ない。用語「および/または(and/or)」は、関連して列挙した項目の一つまたは複数の組み合わせのいずれかおよびすべてを含む。
用語第一、第二、第三等が様々な要素/動作を説明するために本明細書において使用され得るが、これらの要素/動作はこれらの用語に限定されるべきではないことが理解されよう。これらの用語は、ある要素/動作を別の要素/動作から区別するためにのみ使用される。よって、いくつかの実施形態における第一要素/動作は、本発明概念の教示から逸脱することなく、他の実施形態において第二の要素/動作と称されてもよい。同一参照番号または同一参照指定子は、明細書全体を通して、同一または類似の要素を示す。
本明細書中で使用される場合、用語「含む(comprise)」、「含む(comprising)」、「含む(comprises)」、「含む(include)」、「含む(including)」、「含む(includes)」、「有する(have)」、「有する(has)」、「有する(having)」またはそれらの変形は、オープンエンドであり、一つまたは複数の述べられた特徴、整数、要素、ステップ、構成要素、機能を含むが、一つまたは複数の他の特徴、整数、要素、ステップ、構成要素、機能またはそれらのグループの存在または追加を排除するものではない。さらに、本明細書で使用されるように、ラテン語の句「例示的なグラシア」に由来する一般的な略語「e.g.」は、前述のアイテムの一般的な例を導入または特定するために使用されてもよく、そのような項目を限定することを意図しない。ラテン語句「id est」に由来する一般的な略語「i.e.」を使用し、より一般的な暗唱から特定の項目を指定することができる。
例示的な実施形態は、本明細書において、コンピュータ実装方法、装置(システムおよび/または装置)および/またはコンピュータプログラム製品のブロック図および/またはフローチャート図を参照して説明される。ブロック図および/またはフローチャート図のブロック、およびブロック図および/またはフローチャート図のブロックの組み合わせは、一つまたは複数のコンピュータ回路によって実行されるコンピュータプログラム命令によって実装できることが理解される。これらのコンピュータプログラム命令は、汎用コンピュータ回路、専用コンピュータ回路、および/または他のプログラム可能データ処理回路のプロセッサ回路に供給され、コンピュータおよび/または他のプログラム可能なデータ処理装置のプロセッサを介して実行されるこれらの命令が、トランジスタ、メモリ位置に格納された値、およびブロック図および/またはフローチャートブロックまたはブロックに指定された機能/動作を実現するための回路内の他のハードウェア構成要素を変換し、制御し、故に、ブロック図および/またはフローチャートブロックまたはブロックに指定された機能/動作を実現するための手段(機能)および/または構造を作成することができる。
これらのコンピュータプログラム命令はまた、コンピュータまたは他のプログラム可能なデータ処理装置に特定のやり方で機能するよう指示する有形のコンピュータ可読媒体に格納することができ、コンピュータ可読媒体に格納されたこれらの命令は、ブロック図および/またはフローチャートブロックまたはブロックで指定された機能/動作を実装する命令を含む製造品を生成することができる。したがって、本発明の概念の実施形態は、「回路」、「モジュール」またはその変形と総称することができる、デジタル信号プロセッサなどのプロセッサ上で動作するハードウェアおよび/またはソフトウェア(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)で実施することができる。
また、いくつかの代替実施例では、ブロックに記されている機能/動作が、フローチャートに記載された順序から外れてもよいことにも留意されたい。例えば、連続して示された二つのブロックは、実際には実質的に同時に実行されてもよく、あるいは、関連する機能/動作に応じてブロックが時々逆の順序で実行されてもよい。さらに、フローチャートおよび/またはブロック図の所与のブロックの機能性は、複数のブロックに分離されてもよく、および/またはフローチャートおよび/またはブロック図の二つ以上のブロックの機能性が少なくとも部分的に統合されてもよい。最後に、図示されたブロック間に他のブロックが追加/挿入されてもよく、および/またはブロック/動作が本発明の概念の範囲から逸脱することなく省略されてもよい。さらに、図のいくつかは、通信の主要な方向を示すために通信経路上に矢印を含むが、図示された矢印とは反対の方向に通信が行われてもよいことを理解されたい。
本発明の概念のいくつかの実施形態が前述の明細書に開示されているが、本発明の概念の多くの変更および他の実施形態が、発明の概念に関係することが想定され、前述の説明および関連する図面に提示された教示の利益を享受する。したがって、本発明の概念は、上に開示された特定の実施形態に限定されず、多くの修正および他の実施形態が添付の特許請求の範囲内に含まれることが意図されることが理解される。一実施形態の特徴は、本明細書に記載された異なる実施形態の特徴と組み合わせることができ、または使用することがさらに想定される。さらに、特定の用語が、本明細書および以下の特許請求の範囲で用いられているが、それらは包括的で説明的な意味でのみ使用され、記載された発明概念または以下の特許請求の範囲を限定する目的で使用されるものではない。本明細書に引用された各特許および特許公報の開示全体は、あたかもそのような各特許または特許公報が参照により個々に本明細書に組み込まれているかのように、その全体が参照により本明細書に組み込まれる。本発明の概念の様々な特徴および/または潜在的な利点は、添付の特許請求の範囲に記載されている。
外科施術中のロボットシステム、患者、外科医、および他の医療従事者の位置のあり得る配置の俯瞰図である。
一実施形態による、患者に対する手術用ロボットおよびカメラの位置決めを含むロボットシステムを示す。
例示的な実施形態による手術用ロボットシステムを示す。
例示的な実施形態による手術用ロボットの一部を示す。
例示的な実施形態による手術用ロボットのブロック図を示す。
例示的な実施形態による手術用ロボットを示す。
例示的な実施形態によるエンドエフェクタを示す。
例示的な実施形態によるエンドエフェクタを示す。
例示的な実施形態によるエンドエフェクタを示す。
一実施形態によるエンドエフェクタのガイドチューブ内に外科用器具を挿入する前後の外科用器具およびエンドエフェクタを示す。
例示的な実施形態によるエンドエフェクタおよびロボットアームの部分を示す。
例示的な実施形態によるエンドエフェクタおよびロボットアームの部分を示す。
例示的な実施形態によるエンドエフェクタおよびロボットアームの部分を示す。
例示的な実施形態による動的基準アレイ、撮像アレイ、および他のコンポーネントを示す。
例示的な実施形態による登録の方法を示す。
例示的な実施形態による撮像装置の実施形態を示す。
例示的な実施形態による撮像装置の実施形態を示す。
例示的な実施形態による、ロボットアームとエンドエフェクタとを含むロボットの一部を示す。
エンドエフェクタの拡大図であり、図13Aに示すように、複数の追跡マーカーがその上にしっかりと固定される。
一実施形態による、複数の追跡マーカーがその上にしっかりと固定されたツールまたは器具である。
第一構成の可動追跡マーカーを有するエンドエフェクタの代替バージョンである。
第二の構成の可動追跡マーカーを有する図14Aに示すエンドエフェクタである。
図14Aの第一の構成における追跡マーカーのテンプレートを示す。
図14Bの第二の構成における追跡マーカーのテンプレートを示す。
単一の追跡マーカーのみがその上に固定されたエンドエフェクタの代替バージョンを示す。
ガイドチューブを介して配置された器具を有する図15Aのエンドエフェクタを示す。
二つの異なる位置に器具を有する図15Aのエンドエフェクタを示し、器具がガイドチューブ内にまたはガイドチューブの外側に配置されるかどうかを決定するための結果のロジックを示す。
図15Aのエンドエフェクタを示すが、器具は、二つの異なるフレームでかつガイドチューブ上の単一の追跡マーカーに対して相対的な距離でガイドチューブ内にある。
座標系に対して図15Aのエンドエフェクタを示す。
ロボットのエンドエフェクタを所望の標的軌道にナビゲートして移動させる方法のブロック図である。
収縮位置に固定マーカーを有する拡張可能インプラントを挿入するための器具を示す。
拡張位置に可動追跡マーカーを有する拡張可能インプラントを挿入するための器具を示す。
挿入位置に固定マーカーを有する関節のあるインプラントを挿入するための器具を示す。
傾斜位置に可動追跡マーカーを有する関節のあるインプラントを挿入するための器具を示す。
交換可能または代替のエンドエフェクタを含むロボットの一実施形態を示す。
器具スタイルのエンドエフェクタが結合されたロボットの実施形態を示す。
発明概念のいくつかの実施形態による、ロボットコントローラを図示するブロック図である。
いくつかの実施形態による脳の血管を示す、コントラストを有するCT画像の3次元(3D)再構成である。
いくつかの実施形態による、脳の血管ノードを使用して自然基準を記録/識別するために使用されるツリー構造マッピングの例である。
いくつかの実施形態による、ロボットシステムの動作を図示するフローチャートである。