発明の詳細な説明
関連出願の相互参照
本出願は、2016年5月18日に出願された米国特許出願第15/157,444号の一部継続であり、その米国特許出願は、2016年4月11日に出願された米国特許出願第15/095,883号の一部継続であり、その米国特許出願は、2013年10月24日に出願された米国特許出願第14/062,707号の一部継続であり、その米国特許出願は、2013年6月21日に出願された米国特許出願第13/924,505号の一部継続出願であり、その米国特許出願は、2012年6月21日に出願された仮出願第61/662,702号に対する優先権を主張し、及び2013年3月15日に出願された仮出願第61/800,527号に対する優先権を主張し、それらの全ては、全ての目的のためにその全体として参照することにより本明細書に組み込まれる。
[技術分野]
本開示は、位置認識システム、特に、医用画像の三次元追跡空間への位置合わせに関する。
[背景技術]
外科用ナビゲーションでは、追跡空間において剛体として検出される外科用デバイスが、患者の解剖学的構造に対して正確な位置で医用画像上に重なるグラフィックとして表示され得るように、医用画像または医用画像セットを三次元追跡空間に対して位置合わせする必要がある。この工程は、追跡座標系に対する画像の一方向位置合わせである。ロボットナビゲーションでは、画像座標系から追跡座標系に剛体を位置付けできるようにするには、画像及び追跡座標系を双方向に共に位置合わせすることも必要である。実際には、所望の軌道は、医用画像上で重ね合わせ、医用画像座標系で剛体として外科用物体(例えば、外科用スクリュー)を画定し、共に位置合わせすることにより、追跡空間内で剛体を同時に画定させ得る。ロボットは、追跡空間のその位置が既知であるように較正されるため、ロボットは、所望の軌道に沿って既知の位置まで移動して、スクリュー、ニードル、または他の器具が所望の軌道を辿ることができるように、外科用のツールを保持することができる。
CT画像ボリューム及びカメラ空間の両方が確実に確定されることから、追跡空間を有するコンピュータ断層撮影(CT)スキャンなど、三次元画像ボリュームを共に位置合わせする工程が可能である。画像ボリュームの基準位置により、画像処理によって、正しく検出することができ、カメラ空間の追跡マーカの位置は、立体写真測量(stereophotograrnmetry)によって正しく検出することができる。このため、既知の相対位置に追跡マーカ及び撮像基準の両方を含む位置合わせ固定具は、三次元画像と連動するとき、必要な共に位置合わせすることをもたらすことができる。しかし、複数の二次元画像から作業するとき、これらの画像と追跡空間との位置合わせ工程は、困難なものとなる。このため、追跡空間に対して二次元画像を共に位置合わせするための改善されたシステム及び方法が必要とされる。
[発明の概要]
本開示は、2つ以上の二次元画像(例えば、X線透視画像から)三次元画像ボリュームを構築し、次いで、この三次元画像ボリュームを三次元追跡空間と共に位置合わせするための方法について記載する。2つのX線透視像によって画定されると、特に、旧式のX線透視装置に存在する撮像アーチファクトに関して、画像ボリュームを正しく構成することが難しいため、このタイプの共に位置合わせすることは、困難である。更に、複数の二次元医用画像上で所望の軌道を計画し、次いで、その軌道にロボットを送る工程は、三次元医用画像ボリューム、例えば、CTスキャンなどの対応する工程とは異なる。本開示の実施形態は、共に位置合わせする工程において、きっかり90度でX線透視画像を有する必要がなくなること、球状基準の代替としてリングを使用すること、患者に代わって、X線透視装置に装着された位置合わせ固定具を使用すること、ひずみ補正を提供することなど、二次元画像を用いる工程を改善するシステム及び方法を記載する。
一実施形態においては、医用画像(複数可)を三次元追跡空間に位置合わせするための外科用ナビゲーションシステムと共に使用するための位置合わせ固定具が提供され、位置合わせ固定具は、少なくとも1つの追跡マーカを有する第1のリングと、少なくとも1つの追跡マーカを有する第1のリングに連結された第2のリングと、を含み、第1のリング及び第2のリングは互いに隔置され、かつ光学マーカを更に含む。
本発明のこれらの及び他のシステム、方法、物体、特徴、及び利点は、以下の好ましい実施形態の詳細な説明及び図より、当業者にとって明らかであろう。本明細書に記載の全ての文書は、参照することにより、その全体が本明細書に組み込まれる。
本発明及びその特定の実施形態の以下の詳細な説明は、以下の図を参照することによって理解されてもよい。
[図面の簡単な説明]
[図1]外科手技の間のロボットシステム、患者、外科医、及び他の医療要員の場所についての潜在的配設の頭上図である。
[図2]一実施形態に係る患者に対する外科用ロボット及びカメラの位置付けを含むロボットシステムを例解する。
[図3]例示的な実施形態に従う外科用ロボットシステムを例解する。
[図4]例示的な実施形態に従う外科用ロボットの一部を例解する。
[図5]例示的な実施形態に従う外科用ロボットのブロック図を例解する。
[図6]例示的な実施形態に従う外科用ロボットを例解する。
[図7A~7C]例示的な実施形態に従うエンドエフェクタを例解する。
[図8]一実施形態に係るエンドエフェクタの誘導管への外科用器具の挿入前及び後の、外科用器具及びエンドエフェクタを例解する。
[図9A~9C]例示的な実施形態に従うエンドエフェクタ及びロボットアームの一部分を例解する。
[図10]例示的な実施形態に従う動的参照アレイ、画像化アレイ、及び他の構成要素を例解する。
[図11]例示的な実施形態に従う位置合わせ方法を例解する。
[図12A~12B]例示的な実施形態に係る画像化デバイスの実施形態を例解する。
[図13]ナビゲーション固定具の一実施形態を示す。
[図14]X線源から異なる距離の2つの平面内で小型の金属球(以降「BB」と称する)の理論的投影を示すX線(X線透視装置)コレクタ極板を例解する。
[図15]3D場所を作り出すために、2つの異なる透視図の同じ放射線不透過点から撮影した2つのX線投影を例解する。
[図16]BBのグリッドのコレクタ極板に対して平行な平面から撮影したX線画像を例解する。
[図17]陰影がコレクタ極板上に現れる視野において、コレクタ極板に対して垂直の平面で見られる主要な直径及びBBを例解する。
[図18]2つの平行な平面上でのbbパターン及びX線透視ユニットの画像増強器に装着される固定具の設計を例解する。
[図19]位置合わせ固定具のBBパターンを例解する。
[図20]十字線を有する平行リングから構築された透視位置合わせ固定具を例解する。
[図21]X線コレクタがリングの平面に平行であり、リングがX線コレクタと同軸であるときのX線でのリング位置合わせ固定具の外観を例解する。
[図22]固定具がコレクタ極板及びリングに対して厳密な角度であるとき、X線でのリング位置合わせ固定具の理論的外観を例解する。
[図23]座標系マッピング工程において、zの周りでθ分回転させるための変換ステップを例解する。
[図24]座標系マッピング工程において、yの周りでα分回転させるための変換ステップを例解する。
[図25]座標系マッピング工程において、X線写真透視図に一致するように、平面で回転させるための変換ステップを例解する。
[図26]座標系マッピング工程において、座標系中心から変位(dx、dy)させるための変換ステップを例解する。
[図27]座標系マッピング工程において、視差による拡大の変換ステップを例解する。
[図28]陰影がコレクタ極板上に現れる視野において、コレクタ極板の平面に対して垂直な平面で見える主要直径及びコレクタに平行であるリングの略図を例解する。
[図29]リング平面から透視で見て、コレクタ平面に対する任意の入射角にあるリングからの図を例解する。リング平面は、このページ内及びページ外にある。
[図30]リング平面から透視で見て、コレクタ平面に対する任意の入射角にある一対の同軸リングからの図を例解する。リング平面は、このページ内及びページ外にある。
[図31]回転させた透視図からの任意の入射角でのリングの図を例解する。
[図32]任意の入射角での一対のリングの図を例解する。
[図33]y軸の周りで生じる入射角α=20°を有する2つの円形リングのX線でのモデル化された外観(視差による)を例解する。
[図34]y軸の周りで生じる入射角α=24.5°を有する2つの平行な円形リングのX線上でのモデル化された外観(視差による)を例解する。双方のリングは、X線中心からオフセットされ、双方の楕円の長軸は、y軸に対して目に見えて角度を付けているように見える。
[図35]y軸の周りで生じる入射角α=24.5°を有する2つの平行な円形リングのX線上でのモデル化された外観(視差による)を例解する。双方のリングは、X線の中心からオフセットされ、遠視野楕円は、画像の中心の周りで、近視野及び遠視野楕円がそれらの長軸と等しくなるまでスケーリングさせている。
[図36]糸巻形ひずみを例解する。
[図37]s-ひずみを例解する。
本発明は、特定の好ましい実施形態と関連して記述され、他の実施形態は、当業者によって理解され、本明細書に包含される。
[発明を実施するための形態]
本開示は、本明細書における説明に記載されるまたは図面において例解される構成要素の構築及び配設の詳細にその用途において限定されないことが理解されるものとする。本開示の教示は、他の実施形態において使用及び実践されてもよいし、種々の方法において実践または実行されてもよい。また、本明細書において使用される専門表現及び専門用語が、説明目的のためであり、制限として見なされるべきではないことが理解されるものとする。本明細書における「含む(including)」、「備える(comprising)」、または「有する(having)」、及びこれらの変化形の使用は、その後に列記される項目、及びそれらの同等物、ならびに追加の項目を包含することが意味される。別途指定または制限されない限り、「装着された(mounted)」、「接続された(connected)」、「支持された(supported)」、及び「連結された(coupled)」という用語、ならびにこれらの変化形は、広義に使用され、直接的及び間接的双方の装着、接続、支持、及び連結を包含する。更に、「接続された(connected)」及び「連結された(coupled)」は、物理的もしくは機械的接続または連結に制限されない。
以下の考察は、当業者が本開示の実施形態を作製及び使用することを可能にするために提示される。例解される実施形態への種々の修正は、当業者には容易に明らかであり、本明細書における原理は、本開示の実施形態から逸脱することなく、他の実施形態及び用途に適用され得る。このため、実施形態は、示される実施形態に制限されることを意図しないが、本明細書において開示される原理及び特性と一致する最も広い範囲が与えられるものとする。以下の発明を実施するための形態は、異なる図面における同様の要素が同様の参照番号を有する図面を参照して読まれるものとする。図面は、必ずしも縮尺通りではなく、選択された実施形態を描写し、実施形態の範囲を制限することを意図しない。当業者は、本明細書において提供される実施例が、多くの有用な代替物を有し、実施形態の範囲内にあることを認識するであろう。
ここで図1及び図2を参照し、例示的な実施形態による外科用ロボットシステム100を例解する。外科用ロボットシステム100は、例えば、外科用ロボット102、1つ以上のロボットアーム104、基部106、表示器110、例えば、誘導管114を含む、エンドエフェクタ112、及び1つ以上の追跡マーカ118を含んでもよい。外科用ロボットシステム100は、患者追跡デバイス116を含んでもよく、また、患者追跡デバイス116は、1つ以上の追跡マーカ118を含み、それは、患者210に(例えば、患者210の骨に)直接固定されるように適合される。外科用ロボットシステム100はまた、例えば、カメラスタンド202上に位置付けられた、カメラ200を利用してもよい。カメラスタンド202は、カメラ200を所望の位置に移動、配向、及び支持するために、任意の適切な構成を有することができる。カメラ200は、任意の適切なカメラまたは複数のカメラ、例えば、カメラ200の視点から見ることができる所与の測定量においてアクティブ及びパッシブ追跡マーカ118を識別することができる、例えば、1つ以上の赤外カメラ(例えば、2焦点または立体写真測量カメラ)等を含んでもよい。カメラ200は、所与の測定量をスキャンしてもよく、3次元におけるマーカ118の位置を識別及び判定するために、マーカ118から来る光を検出してもよい。例えば、アクティブマーカ118は、電気信号(例えば、赤外発光ダイオード(LED))によって作動される赤外発光マーカを含んでもよく、パッシブマーカ118は、例えば、カメラ200または他の適切なデバイス上の照明器によって発出される赤外光を反射するレトロな反射性マーカ(例えば、それらは、入射光の方向に入射するIR放射を反射する)を含んでもよい。
図1及び2は、手術室環境における外科用ロボットシステム100の配置のための潜在的な構成を例解する。例えば、ロボット102は、患者210の近くまたは次に位置付けられてもよい。患者210の頭部の近くが描写されるが、ロボット102は、手術を受けている患者210の領域に応じて、患者210の近くの任意の適切な場所に位置付けることができることが理解されるであろう。カメラ200は、ロボットシステム100から分離されてもよいし、患者210の足に位置付けられてもよい。この場所は、カメラ200が、手術野208への直接的な視線を有することを可能にする。再度、カメラ200は、手術野208への見通し線を有する任意の適切な位置に位置してもよいことが意図される。図示される構成において、外科医120は、ロボット102の向かいに位置付けられてもよいが、依然として、エンドエフェクタ112及び表示器110を操作することができる。外科助手126は、更にまた、エンドエフェクタ112及び表示器110の双方にアクセス可能に、外科医120の向かいに位置付けられてもよい。所望される場合、外科医120及び助手126の場所は、逆にされてもよい。麻酔医122及び看護師または洗浄技師124のための伝統的な領域は、ロボット102及びカメラ200の場所によって邪魔されないままである。
ロボット102の他の構成要素に関して、表示器110は、外科用ロボット102に取設することができ、他の例示的な実施形態において、表示器110は、外科用ロボット102を伴う手術室内、または遠隔の場所のいずれかにおいて、外科用ロボット102から取り外すことができる。エンドエフェクタ112は、ロボットアーム104に連結されてもよく、少なくとも1つのモータによって制御されてもよい。例示的な実施形態において、エンドエフェクタ112は、患者210上で手術を実施するために使用される(本明細書において更に説明される)外科用器具608を受け入れる及び配向させることができる、誘導管114を備えることができる。本明細書において使用される際、「エンドエフェクタ」という用語は、「エンドイフェクチュエータ」及び「イフェクチュエータ要素」という用語と同義的に使用される。誘導管114を用いて一般的に示されるが、エンドエフェクタ112は、手術中の使用に適した任意の適切な器具類と置き換えてもよいことが理解されるであろう。一部の実施形態において、エンドエフェクタ112は、所望の様態における外科用器具608の移動をもたらすために任意の既知の構造を備えることができる。
外科用ロボット102は、エンドエフェクタ112の並進及び配向を制御することができる。ロボット102は、例えば、x、y、及びz軸に沿って、エンドエフェクタ112を移動させることができる。エンドエフェクタ112は、(エンドエフェクタ112と関連付けられるオイラー角(例えば、ロール、ピッチ、及び/またはヨー)のうちの1つ以上を選択的に制御することができるように)x、y、及びz軸、ならびにZフレーム軸のうちの1つ以上の周囲の選択的回転のために構成することができる。一部の例示的な実施形態において、エンドエフェクタ112の並進及び配向の選択的制御は、例えば、回転軸のみを備える6自由度のロボットアームを利用する従来のロボットと比較して、有意に改善された精密性でもって医療手技の実施を可能にすることができる。例えば、外科用ロボットシステム100は、患者210上で動作させるために使用されてもよく、ロボットアーム104は、患者210の身体の上に位置付けることができ、エンドエフェクタ112は、患者210の身体に向かってz軸に対して選択的に角度付けられる。
一部の例示的な実施形態において、外科用器具608の位置は、外科用ロボット102が、手技中、常に外科用器具608の場所を認識することができるように、動的に更新することができる。結果として、一部の例示的な実施形態において、外科用ロボット102は、医師からのいかなる更なる支援も伴わずに(医師がそのように所望しない限り)素早く所望の位置に外科用器具608を移動させることができる。一部の更なる実施形態において、外科用ロボット102は、外科用器具608が、選択された、事前に計画された軌道から外れた場合、外科用器具608の経路を補正するように構成することができる。一部の例示的な実施形態において、外科用ロボット102は、エンドエフェクタ112及び/または外科用器具608の移動の停止、修正、及び/または手動制御を可能にするように構成することができる。このため、使用中、例示的な実施形態において、医師または他のユーザは、システム100を動作させることができ、エンドエフェクタ112及び/または外科用器具608の自主的な移動を停止、修正、または手動で制御するオプションを有する。外科用ロボット102による外科用器具608の制御及び移動を含む、外科用ロボットシステム100の更なる詳細は、その全体として参照することにより本明細書に組み込まれる、同時係属米国特許出願通し番号第13/924,505号において見出すことができる。
ロボット外科用システム100は、3次元においてロボットアーム104、エンドエフェクタ112、患者210、及び/または外科用器具608の移動を追跡するように構成された1つ以上の追跡マーカ118を備えることができる。例示的な実施形態において、複数の追跡マーカ118は、例えば、制限することなく、ロボット102の基部106上、ロボットアーム104上、またはエンドエフェクタ112上等の、ロボット102の外表面に装着(またはそうでなければ固定)することができる。例示的な実施形態において、複数の追跡マーカ118のうちの少なくとも1つの追跡マーカ118は、エンドエフェクタ112に装着またはそうでなければ固定することができる。1つ以上の追跡マーカ118は、更に患者210に装着(またはそうでなければ固定)することができる。例示的な実施形態において、複数の追跡マーカ118は、外科医、外科用ツール、またはロボット102の他のパーツによって遮られる可能性を低減するように、手術野208から離間して、患者210上に位置付けることができる。更に、1つ以上の追跡マーカ118は、外科用ツール608(例えば、スクリュードライバ、拡張器、インプラント挿入器、または同様のもの)に更に装着(またはそうでなければ固定)することができる。このため、追跡マーカ118は、マークされた物体(例えば、エンドエフェクタ112、患者210、及び外科用ツール608)のそれぞれが、ロボット102によって追跡されることを可能にする。例示的な実施形態において、システム100は、例えば、エンドエフェクタ112、(例えば、エンドエフェクタ112の管114内に位置付けられた)外科用器具608の、配向及び場所、ならびに患者210の相対位置を計算するために、マークされた物体のそれぞれから収集された追跡情報を使用することができる。
例示的な実施形態において、マーカ118のうちの1つ以上は、光学マーカであってもよい。一部の実施形態において、エンドエフェクタ112上の1つ以上の追跡マーカ118の位置付けは、エンドエフェクタ112の位置をチェックまたは検証する役割を果たすことによって、位置測定値の精密性を最大化することができる。外科用ロボット102及び外科用器具608の制御、移動、ならびに追跡を含む、外科用ロボットシステム100の更なる詳細は、その全体として参照することにより本明細書に組み込まれる、同時係属米国特許出願通し番号第13/924,505号において見出すことができる。
例示的な実施形態は、外科用器具608に連結された1つ以上のマーカ118を含む。例示的な実施形態において、例えば、患者210及び外科用器具608に連結される、これらのマーカ118、ならびにロボット102のエンドエフェクタ112に連結されるマーカ118は、従来の赤外発光ダイオード(LED)または、例えば、Optotrak(登録商標)等の商業的に入手可能な赤外光追跡システムを使用して追跡されることが可能なOptotrak(登録商標)ダイオードを備えることができる。Optotrak(登録商標)は、Northern Digital Inc.,Waterloo,Ontario,Canadaの登録商標である。他の実施形態において、マーカ118は、Polaris Spectra等の商業的に入手可能な光学追跡システムを使用して追跡されることが可能な従来の反射性球体を備えることができる。Polaris Spectraも、Northern Digital, Incの登録商標である。例示的な実施形態において、エンドエフェクタ112に連結されたマーカ118は、オン及びオフにされ得る赤外発光ダイオードを備えるアクティブマーカであり、患者210及び外科用器具608に連結されるマーカ118は、パッシブ反射性球体を備える。
例示的な実施形態において、マーカ118から発出された及び/またはマーカ118によって反射された光は、カメラ200によって検出することができ、マークされた物体の場所及び移動を監視するために使用することができる。代替の実施形態において、マーカ118は、無線周波数及び/もしくは電磁リフレクタまたはトランシーバを備えることができ、カメラ200は、無線周波数及び/もしくは電磁トランシーバを含むか、またはそれによって置き換えることができる。
外科用ロボットシステム100と同様に、図3は、本開示の例示的な実施形態と一致するドッキング型構成における、外科用ロボットシステム300及びカメラスタンド302を例解する。外科用ロボットシステム300は、表示器304、上部アーム306、下部アーム308、エンドエフェクタ310、垂直カラム312、キャスタ314、キャビネット316、タブレット引出し318、コネクタパネル320、制御パネル322、及び情報のリング324を含む、ロボット301を備えてもよい。カメラスタンド302は、カメラ326を備えてもよい。これらの構成要素は、図5に関してより多く説明される。図3は、カメラスタンド302が、例えば、使用中でないときに、ロボット301と入れ子にされる、ドッキング型構成における外科用ロボットシステム300を例解する。カメラ326及びロボット301は、例えば、図1及び図2に示されるように、外科手技中に、互いに分離してもよいし、任意の適切な場所に位置付けてもよいことが、当業者によって理解されるであろう。図4は、本開示の例示的な実施形態と一致する基部400を例解する。基部400は、外科用ロボットシステム300の一部分であってもよく、キャビネット316を備えてもよい。キャビネット316は、限定されるものではないが、バッテリ402、配電モジュール404、プラットホームインターフェースボードモジュール406、コンピュータ408、ハンドル412、及びタブレット引出し414を含む、外科用ロボットシステム300のある構成要素を収容してもよい。これらの構成要素間の接続及び関係は、図5に関してより詳細に説明される。
図5は、外科用ロボットシステム300の例示的な実施形態のある構成要素のブロック図を例解する。外科用ロボットシステム300は、プラットホームサブシステム502、コンピュータサブシステム504、動き制御サブシステム506、及び追跡サブシステム532を備えてもよい。プラットホームサブシステム502は、バッテリ402、配電モジュール404、プラットホームインターフェースボードモジュール406、及びタブレット充電ステーション534を更に備えてもよい。コンピュータサブシステム504は、コンピュータ408、表示器304、及びスピーカ536を更に備えてもよい。動き制御サブシステム506は、駆動回路508、モータ510、512、514、516、518、安定器520、522、524、526、エンドエフェクタ310、及びコントローラ538を更に備えてもよい。追跡サブシステム532は、位置センサ540及びカメラ変換器542を更に備えてもよい。システム300はまた、フットペダル544及びタブレット546を備えてもよい。
入力電力は、電源548を介してシステム300に供給され、それは、配電モジュール404に提供されてもよい。配電モジュール404は、入力電力を受け取り、システム300の他のモジュール、構成要素、及びサブシステムに提供される異なる電力供給電圧を発生するように構成される。配電モジュール404は、異なる電圧供給をプラットホームインターフェースモジュール406に提供するように構成されてもよく、それは、例えば、コンピュータ408、表示器304、スピーカ536、ドライバ508等の他の構成要素に、例えば、電力モータ512、514、516、518及びエンドエフェクタ310、モータ510、リング324、カメラ変換器542、ならびにシステム300のための他の構成要素、例えば、キャビネット316内の電気構成要素を冷却するための送風機に提供されてもよい。
配電モジュール404はまた、電力を他の構成要素、例えば、タブレット引出し318内に位置し得るタブレット充電ステーション534等に提供してもよい。タブレット充電ステーション534は、テーブル546を充電するためにタブレット546と無線または有線通信してもよい。タブレット546は、本開示と一致する及び本明細書に説明される外科医によって使用されてもよい。[0055]配電モジュール404はまた、バッテリ402に接続されてもよく、そのバッテリは、万一配電モジュール404が入力電力548からの電力を受信しない場合において、一時的な電源としての役割を果たす。他のときには、配電モジュール404は、必要な場合、バッテリ402を充電する役割を果たしてもよい。
プラットホームサブシステム502の他の構成要素はまた、コネクタパネル320、制御パネル322、及びリング324を含んでもよい。コネクタパネル320は、異なるデバイス及び構成要素をシステム300ならびに/または関連付けられた構成要素及びモジュールに接続する役割を果たしてもよい。コネクタパネル320は、異なる構成要素からの線路または接続を受け入れる1つ以上のポートを含んでもよい。例えば、コネクタパネル320は、システム300を他の機器に接地し得る接地端子ポート、フットペダル544をシステム300に接続するためのポート、位置センサ540、カメラ変換器542、及びカメラスタンド302と関連付けられたカメラ326を備え得る追跡サブシステム532に接続するためのポートを有してもよい。コネクタパネル320はまた、他の構成要素、例えば、コンピュータ408等へのUSB、イーサネット、HDMI通信を可能にするために、他のポートを含んでもよい。[0057]制御パネル322は、システム300の動作を制御する種々のボタンもしくは指示器を提供してもよいし、かつ/またはシステム300に関する情報を提供してもよい。例えば、制御パネル322は、システム300の電源をオンまたはオフにするためのボタン、垂直カラム312を上げるまたは下げるためのボタン、及びシステム300が物理的に移動することを係止するようにキャスタ314に係合するように設計され得る安定器520~526を上げるまたは下げるためのボタンを含んでもよい。万一緊急の場合には、他のボタンがシステム300を停止してもよく、それは、全てのモータ電力をなくし得、全ての動きの発生を停止するために機械的制動を加え得る。制御パネル322はまた、ユーザにあるシステム状況を通知する指示器、例えば、線路電力指示器等、またはバッテリ402用の充電の状態を通知する指示器を有してもよい。
リング324は、システム300のユーザに、システム300が不十分に動作している異なるモード及び該ユーザへのある警告を通知するための視覚的指示器であってもよい。
コンピュータサブシステム504は、コンピュータ408、表示器304、及びスピーカ536を含む。コンピュータ504は、システム300を動作させるためのオペレーティングシステム及びソフトウェアを含む。コンピュータ504は、情報をユーザに表示するために、他の構成要素(例えば、追跡サブシステム532、プラットホームサブシステム502、及び/または動き制御サブシステム506)からの情報を受信及び処理してもよい。更に、コンピュータサブシステム504はまた、音声をユーザに提供するためにスピーカ536を含んでもよい。
追跡サブシステム532は、位置センサ504及び変換器542を含んでもよい。追跡サブシステム532は、図3に関して説明されたようなカメラ326を含むカメラスタンド302に対応してもよい。位置センサ504は、カメラ326であってもよい。追跡サブシステムは、外科手技中にユーザによって使用されるシステム300及び/または器具の異なる構成要素上に位置する、ある一定のマーカの場所を追跡してもよい。この追跡は、それぞれ、アクティブまたはパッシブ要素、例えば、LEDまたは反射性マーカ等の場所を追跡する赤外技術の使用を含む、本開示と一致する様態で行われてもよい。これらの種類のマーカを有する構造の場所、配向、及び位置は、表示器304上でユーザに表示され得るコンピュータ408に提供されてもよい。例えば、これらの種類のマーカを有し、(ナビゲーション空間として呼ばれ得る)この様態で追跡される外科用器具608が、患者の解剖学的構造の3次元画像に関連してユーザに示されてもよい。動き制御サブシステム506は、垂直カラム312、上部アーム306、下部アーム308を物理的に移動させる、またはエンドエフェクタ310を回転させるように構成されてもよい。物理的移動は、1つ以上のモータ510~518の使用を通じて行われてもよい。例えば、モータ510は、垂直カラム312を垂直に上げるまたは下げるように構成されてもよい。モータ512は、図3に示されるように垂直カラム312との係合点の周囲に、上部アーム308を横に移動させるように構成されてもよい。モータ514は、図3に示されるように上部アーム308との係合点の周囲に、下部アーム308を横に移動させるように構成されてもよい。モータ516及び518は、一方がロールを制御し得、かつもう一方が傾きを制御し得るような様態で、エンドエフェクタ310を移動させるように構成されてもよく、それによって、エンドエフェクタ310が移動され得る複数の角度を提供する。これらの移動は、コントローラ538によって達成されてもよく、そのコントローラは、エンドエフェクタ310上に配置されたロードセルを通してこれらの移動を制御し得、ユーザが、これらのロードセルを係合することによって作動され得、所望の様態においてシステム300を移動させる。
更に、システム300は、ユーザが、(タッチスクリーン入力デバイスであってもよい)表示器304上に、表示器304上の患者の解剖組織の3次元画像上に外科用器具または構成要素の場所を指示することを通じて、垂直カラム312、上部アーム306、及び下部アーム308の自動移動を提供してもよい。ユーザは、フットペダル544を踏むことまたはいくらかの他の入力手段によって、この自動移動を開始してもよい。
図6は、例示的な実施形態と一致する外科用ロボットシステム600を例解する。外科用ロボットシステム600は、エンドエフェクタ602、ロボットアーム604、誘導管606、器具608、及びロボット基部610を備えてもよい。器具ツール608は、1つ以上の追跡マーカ(例えば、マーカ118等)を含む追跡アレイ612に取設してもよく、関連付けられた軌道614を有してもよい。軌道614は、器具ツール608が、一度それが誘導管606を通して位置付けられるまたは誘導管606内に固定されると進むように構成される移動の経路、例えば、患者への器具ツール608の挿入の経路を表現してもよい。例示的な動作において、ロボット基部610は、外科用ロボットシステム600が、患者210上で動作している際に、ユーザ(例えば、外科医)を支援してもよいように、ロボットアーム604及びエンドエフェクタ602と電子通信するように構成されてもよい。外科用ロボットシステム600は、前に説明した外科用ロボットシステム100及び300と一致してもよい。
追跡アレイ612は、器具ツール608の場所及び配向を監視するために、器具608上に装着されてもよい。追跡アレイ612は、器具608に取設されてもよく、追跡マーカ804を備えてもよい。図8に最も良く見られるように、追跡マーカ804は、例えば、発光ダイオード及び/または他の種類の反射性マーカ(例えば、本明細書における他の箇所に説明されるようなマーカ118)であってもよい。追跡デバイスは、外科用ロボットシステムと関連付けられた1つ以上の見通し線デバイスであってもよい。例として、追跡デバイスは、外科用ロボットシステム100、300と関連付けられた1つ以上のカメラ200、326であってもよいし、また、ロボットアーム604、ロボット基部610、エンドエフェクタ602、及び/または患者210に対する器具608の定義された領域または相対的配向について追跡アレイ612を追跡してもよい。追跡デバイスは、カメラスタンド302及び追跡サブシステム532と併せて説明された構造のものと一致してもよい。
図7A、7B、及び7Cは、例示的な実施形態と一致するエンドエフェクタ602のそれぞれ、上面図、正面図、及び側面図を例解する。エンドエフェクタ602は、1つ以上の追跡マーカ702を備えてもよい。追跡マーカ702は、発光ダイオードまたは他の種類のアクティブ及びパッシブマーカ、例えば、前に説明した追跡マーカ118等であってもよい。例示的な実施形態において、追跡マーカ702は、電気信号によって作動されるアクティブ赤外発光マーカ(例えば、赤外発光ダイオード(LED))である。このため、追跡マーカ702は、赤外マーカ702がカメラ200、326に認識できるように作動させてもよいし、または赤外マーカ702がカメラ200、326に認識できないように非作動にしてもよい。このため、マーカ702がアクティブであるとき、エンドエフェクタ602は、システム100、300、600によって制御されてもよいし、マーカ702が非作動にされるとき、エンドエフェクタ602は、適切な位置に係止され、システム100、300、600によって移動されることができなくてもよい。
マーカ702は、マーカ702が、外科用ロボットシステム100、300、600と関連付けられた1つ以上のカメラ200、326または他の追跡デバイスによって認識されることができるような様態で、エンドエフェクタ602上または内に配置してもよい。カメラ200、326または他の追跡デバイスは、追跡マーカ702の移動を追うことによって、エンドエフェクタ602を、それが異なる位置及び視野角に移動する際に、追跡してもよい。マーカ702及び/またはエンドエフェクタ602の場所は、外科用ロボットシステム100、300、600と関連付けられた表示器110、304、例えば、図2に示されるような表示器110及び/または図3に示される表示器304上に示されてもよい。この表示器110、304は、ユーザが、エンドエフェクタ602が、ロボットアーム604、ロボット基部610、患者210、及び/またはユーザに対する望ましい位置にあることを確保することを可能にし得る。
例えば、図7Aに示されるように、マーカ702は、追跡デバイスが、手術野208から離れて配置され、ロボット102、301の方に向くように、かつ、カメラ200、326が、追跡デバイス100、300、600に対するエンドエフェクタ602の共通配向の範囲を通してマーカ702のうちの少なくとも3つを見ることができるように、エンドエフェクタ602の表面の周囲に配置されてもよい。例えば、マーカ702の分配は、このようにして、エンドエフェクタ602が手術野208において並進及び回転されるときに、エンドエフェクタ602が追跡デバイスによって監視されることを可能にする。
加えて、例示的な実施形態において、エンドエフェクタ602は、外部カメラ200、326がマーカ702を読み取る準備ができたときを検出することができる赤外(IR)受信機を装備してもよい。この検出の直後、エンドエフェクタ602は、次いで、マーカ702を照明してもよい。外部カメラ200、326がマーカ702を読み取る準備ができていることがIR受信機により検出されると、外部カメラ200、326に、発光ダイオードであり得るマーカ702のデューティーサイクルを同期させる必要性を信号で伝えてもよい。これはまた、全体としてロボットシステムによる低電力消費を可能にし得、それによって、マーカ702が、連続的に照明される代わりに、適時にのみ照明されるであろう。更に、例示的な実施形態において、マーカ702は、他のナビゲーションツール、例えば、異なる種類の外科用器具608等との干渉を防ぐために、電源をオフにしてもよい。
図8は、追跡アレイ612及び追跡マーカ804を含む1つの種類の外科用器具608を描写する。追跡マーカ804は、限定されるものでないが、発光ダイオードまたは反射性球体を含む、本明細書に説明される任意の種類のものであってもよい。マーカ804は、外科用ロボットシステム100、300、600と関連付けられた追跡デバイスによって監視され、カメラ200、326の見通し線のうちの1つ以上であってもよい。カメラ200、326は、追跡アレイ612及びマーカ804の位置ならびに配向に基づいて、器具608の場所を追跡してもよい。ユーザ、例えば、外科医120等は、追跡アレイ612及びマーカ804が、追跡デバイスまたはカメラ200、326によって十分に認識され、器具608及びマーカ804を、例えば、例示的な外科用ロボットシステムの表示器110上に表示させるような様態で、器具608を配向させてもよい。
外科医120が、器具608をエンドエフェクタ602の誘導管606の中に配置し得、器具608を調節し得る様態が、図8において明らかである。エンドエフェクタ112、310、602の中空管または誘導管114、606は、外科用器具608の少なくとも一部分を受け入れるようにサイズ決定及び構成される。誘導管114、606は、外科用器具608のための挿入及び軌道が、患者210の身体内またはその上で所望の解剖学的対象に到達することができるように、ロボットアーム104によって配向されるように構成される。外科用器具608は、略円筒形器具の少なくとも一部分を含んでもよい。スクリュードライバが外科用ツール608として例解されるが、任意の適切な外科用ツール608がエンドエフェクタ602によって位置付けられてもよいことが理解されるであろう。例として、外科用器具608は、誘導ワイヤ、カニューレ、レトラクタ、掘削器、リーマ、スクリュードライバ、挿入ツール、除去ツール、または同様のもののうちの1つ以上を含んでもよい。中空管114、606は円筒形構成を有するように一般的に示されるが、誘導管114、606は、外科用器具608に適応するために及び手術位置にアクセスするために所望された任意の適切な形状、サイズ、及び構成を有してもよいことが当業者によって理解されるであろう。
図9A~9Cは、例示的な実施形態と一致するエンドエフェクタ602及びロボットアーム604の一部分を例解する。エンドエフェクタ602は、本体1202及びクランプ1204を更に備えてもよい。クランプ1204は、ハンドル1206、ボール1208、バネ1210、及びリップ部1212を備えてもよい。ロボットアーム604は、凹部1214、装着プレート1216、リップ部1218、及び磁石1220を更に備えてもよい。[0072]エンドエフェクタ602は、1つ以上の連結を通して外科用ロボットシステム及びロボットアーム604と機械的にインターフェースを取ってもよいし、ならびに/または係合してもよい。例えば、エンドエフェクタ602は、位置決め連結及び/または補強連結を通してロボットアーム604と係合してもよい。これらの連結を通して、エンドエフェクタ602は、可撓性及び無菌バリアの外側のロボットアーム604と締結してもよい。例示的な実施形態において、位置決め連結は、磁気運動学的装着であってもよく、補強連結は、5つの棒状オーバーセンタクランピングリンク機構であってもよい。
位置決め連結に関して、ロボットアーム604は、装着プレート1216を備えてもよく、それは、非磁気材料、1つ以上の凹部1214、リップ部1218、及び磁石1220であってもよい。磁石1220は、凹部1214のそれぞれの下に装着される。クランプ1204の一部分は、磁気材料を備えてもよく、1つ以上の磁石1220によって吸引されてもよい。クランプ1204及びロボットアーム604の磁気吸引を通して、ボール1208は、それぞれの凹部1214の中に着座されることになる。例えば、図9Bに示すボール1208は、図9Aに示す凹部1214に着座させてもよい。この着座は、磁気的に支援された運動学的連結と考えられ得る。磁石1220は、エンドエフェクタ602の配向に関わらず、エンドエフェクタ602の全重量を支持するのに十分強いように構成されてもよい。位置決め連結は、6自由度を固有に抑制する任意の様式の運動学的装着であってもよい。
補強連結に関して、クランプ1204の一部分は、固定接地リンクであるように構成されてもよく、そのように、クランプ1204は、5つの棒リンク機構としての役割を果たしてもよい。クランプハンドル1206を閉じることは、リップ部1212及びリップ部1218が、エンドエフェクタ602及びロボットアーム604を固定するような様態でクランプ1204に係合する際に、エンドエフェクタ602をロボットアーム604に締結し得る。クランプハンドル1206が閉じられると、バネ1210は、クランプ1204が係止位置にある間に伸長または加圧され得る。係止位置は、中心を過ぎたリンク機構を提供する位置であり得る。中心を過ぎた閉じた位置の理由で、リンク機構は、クランプ1204を解放するためにクランプハンドル1206に加えられる力がなければ開かない。このため、係止位置において、エンドエフェクタ602は、ロボットアーム604に強固に固定され得る。
バネ1210は、張力における曲がり梁であってもよい。バネ1210は、高剛性及び高降伏ひずみを呈する材料、例えば、PEEK(ポリエーテルエーテルケトン)バージン材等から成ってもよい。エンドエフェクタ602及びロボットアーム604間のリンク機構は、エンドエフェクタ602及びロボットアーム604間に、2つの連結の締結を妨害せずに、無菌バリアを提供し得る。
補強連結は、複数のバネ部材を用いるリンク機構であってもよい。補強連結は、カムまたは摩擦に基づく機構を用いて掛止めしてもよい。補強連結はまた、ロボットアーム604へのエンドエフェクタ102の締結を支持する十分に強力な電磁石であってもよい。補強連結は、エンドエフェクタ602及びロボットアーム604間の界面上を滑り、かつスクリュー機構、オーバーセンタリンク機構、またはカム機構を用いて締め付ける、エンドエフェクタ602及び/またはロボットアーム604のいずれかから完全に分離したマルチピースカラーであってもよい。
図10及び11を参照すると、外科手技の前または間に、ある位置合わせ手技が、ナビゲーション空間及び画像空間の両方において、物体及び患者210の対象の解剖学的構造を追跡するために行われてもよい。かかる位置合わせを行うために、位置合わせシステム1400は図10に例解されるように使用されてもよい。
患者210の位置を追跡するために、患者追跡デバイス116は、患者210の硬い解剖学的構造に固定されるべき患者固定器具1402を含んでもよく、動的参照基部(DRB)1404は、患者固定器具1402に確実に取設されてもよい。例えば、患者固定器具1402は、動的参照基部1404の開口部1406に挿入されてもよい。動的参照基部1404は、追跡デバイス、例えば、追跡サブシステム532等が認識できるマーカ1408を含んでもよい。これらのマーカ1408は、本明細書に前に考察されたように、光学マーカまたは反射性球体、例えば、追跡マーカ118等であってもよい。
患者固定器具1402は、患者210の硬い解剖組織に取設され、外科手技全体を通して取設されたままであってもよい。例示的な実施形態において、患者固定器具1402は、患者210の硬い領域、例えば、外科手技を受ける対象の解剖学的構造から離れて位置する骨に取設される。対象の解剖学的構造を追跡するために、動的参照基部1404は、対象の解剖学的構造の場所を用いて動的参照基部1404を位置合わせするために、対象の解剖学的構造上またはその近くに一時的に配置される位置合わせ固定具の使用を通して対象の解剖学的構造と関連付けられる。
位置合わせ固定具1410は、枢動アーム1412の使用を通じて、患者固定器具1402に取設される。枢動アーム1412は、位置合わせ固定具1410の開口部1414を通して患者固定器具1402を挿入することによって、患者固定器具1402に取設される。枢動アーム1412は、例えば、枢動アーム1412の開口部1418を通してノブ1416を挿入することによって、位置合わせ固定具1410に取設される。
枢動アーム1412を使用して、位置合わせ固定具1410は、対象の解剖学的構造の上に配置されてもよく、その場所は、位置合わせ固定具1410上の追跡マーカ1420及び/または基準1422を使用して、画像空間及びナビゲーション空間において判定されてもよい。位置合わせ固定具1410は、ナビゲーション空間において認識できるマーカ1420の集合物を含んでもよい(例えば、マーカ1420は、追跡サブシステム532によって検出可能であってもよい)。追跡マーカ1420は、本明細書において前に説明されるように、赤外光において認識できる光学マーカであってもよい。位置合わせ固定具1410はまた、画像化空間(例えば、3次元CT画像)において認識できる基準1422、例えば、軸受ボール等の集合物を含んでもよい。図11に関してより詳細に説明されるように、位置合わせ固定具1410を使用して、対象の解剖学的構造は、動的参照基部1404と関連付けられてもよく、それによって、ナビゲーション空間における物体の描写が、解剖学的構造の画像上に重ね合わされることを可能にする。対象の解剖学的構造から離れた位置に位置する動的参照基部1404は、参照点になり得、それによって、外科用領域からの位置合わせ固定具1410及び/または枢動アーム1412の取外しを可能にする。
図11は、本開示と一致する位置合わせのための例示的な方法1500を提供する。方法1500は、ステップ1502において始まり、そのステップにおいて、対象の解剖学的構造のグラフィカル表現(または画像(複数可))が、システム100、300 600、例えば、コンピュータ408にインポートされてもよい。グラフィカル表現は、位置合わせ固定具1410及び基準1420の検出可能な画像化パターンを含む、患者210の対象の解剖学的構造の3次元CTまたはX線透視スキャンであってもよい。
ステップ1504において、基準1420の画像化パターンが、画像化空間において検出及び位置合わせされ、コンピュータ408内に記憶される。任意選択的に、このときに、ステップ1506において、位置合わせ固定具1410のグラフィカル表現が、対象の解剖学的構造の画像上に重ね合わされてもよい。
ステップ1508において、位置合わせ固定具1410のナビゲーションパターンが、マーカ1420を認識することによって検出及び位置合わせされる。マーカ1420は、位置センサ540を介して追跡サブシステム532によって赤外光を通してナビゲーション空間において認識される光学マーカであってもよい。このため、対象の解剖学的構造の場所、配向、及び他の情報が、ナビゲーション空間において位置合わせされる。したがって、位置合わせ固定具1410は、基準1422の使用による画像空間とマーカ1420の使用によるナビゲーション空間の両方において認識されてもよい。ステップ1510において、画像空間内の位置合わせ固定具1410の位置合わせが、ナビゲーション空間に転移される。この転移は、例えば、マーカ1420のナビゲーションパターンの位置と比較して、基準1422の画像化パターンの相対位置を使用することによって、行われる。
ステップ1512において、(画像空間を用いて位置合わせされた)位置合わせ固定具1410のナビゲーション空間の位置合わせが、患者固定器具1402に取設された動的位置合わせアレイ1404のナビゲーション空間に更に転移される。このため、位置合わせ固定具1410は、取り外されてもよく、動的参照基部1404は、ナビゲーション空間が画像空間と関連付けられるので、ナビゲーション及び画像空間の両方において、対象の解剖学的構造を追跡するために使用されてもよい。
ステップ1514及び1516において、ナビゲーション空間は、ナビゲーション空間において認識できるマーカ(例えば、光学マーカ804を用いる外科用器具608)を用いて、画像空間及び物体上に重ね合わせてもよい。物体は、対象の解剖学的構造の画像上の外科用器具608のグラフィカル表現を通して追跡されてもよい。
図12A~12Bは、患者210の手術前、手術中、手術後、及び/またはリアルタイムの画像データを取得するためにロボットシステム100、300、600と併せて使用され得る画像化デバイス1304を例解する。任意の適切な主題が、画像化システム1304を使用して任意の適切な手技のために画像化されてもよい。画像化システム1304は、任意の画像化デバイス、例えば、画像化デバイス1306及び/またはCアーム1308デバイス等であってもよい。X線システムにおいて要求され得る患者210の頻繁な手動の再位置付けを必要とせずに、いくらかの異なる位置から患者210のX線写真を取ることが望ましいであろう。図12Aに例解されるように、画像化システム1304は、「C」形状の両遠位端1312において終端する細長いC形状部材を含むCアーム1308の形態にあってもよい。C形状部材1130は、X線源1314及び画像受信器1316を更に備えてもよい。アームのCアーム1308内の空間は、X線支持構造1318からの実質的な干渉なしで患者を診療するための余地を医師に提供し得る。図12Bに例解されるように、画像化システムは、支持構造画像化デバイス支持構造1328、例えば、車輪1332を有する車輪付移動可能カート1330等に取設されるガントリー筐体1324を有する画像化デバイス1306を含んでもよく、それは、例解されない、画像捕捉部分を取り囲んでもよい。画像捕捉部分は、X線源及び/または発出部分ならびにX線受信及び/または画像受信部分を含んでもよく、それらは、互いから約180度に配置されてもよいし、画像捕捉部分の軌道に対してロータ(例解されない)上に装着されてもよい。画像捕捉部分は、画像取得の間に360度回転するように動作可能であってもよい。画像捕捉部分は、中心点及び/または軸の周囲に回転してもよく、患者210の画像データが、多方向からまたは複数の平面において取得されることを可能にする。ある画像化システム1304が本明細書に例解されるが、任意の適切な画像化システムが、当業者によって選択されてもよいことが理解されるであろう。
追跡座標系に対する医用画像の一方向位置合わせにより手術を支援するために、X線透視像に重ね合わせた外科用ツールのシミュレートされた投影を表示するための方法がある。例えば、較正固定具は、図13に示すものなど、X線透視装置の画像増強器に装着されてもよい。固定具は、X線画像上に現れる既知の空間を有する小型の金属球(以降「BB」と称する)の列を含み、また、追跡空間において固定具の三次元(3D)位置を提供する光学追跡アレイを含む。X線経路に配置したツールがX線画像の投影としてどのように現れるべきであるかは、画像処理及び幾何学的計算から決定することができる。装着される追跡アレイを有するツールの3D位置は、追跡装置(例えば、カメラ)の座標系で追跡される。次いで、ツールのグラフィック表現をX線画像に重ね合わせ、手術野でツールを保持しながら、連続X線撮影を行った場合に見られるのとほぼ同じ視覚情報を有する「仮想透視画像」をもたらす。この方法の利点は、仮想透視画像により単一のX線画像に重ね合わせられるツールの位置を連続更新することができるため、患者及び医療従事者が晒される放射線がより少ない点である。
この方法では、3Dツールの位置を二次元(2D)医用画像にマッピングするが、2D医用画像上で検出されるマッピングポイントを3D追跡空間に適用する必要はない。つまり、医用画像空間と追跡空間とを共に位置合わせする必要はない。しかし、エミッタからコレクタに延びるベクトルを考慮することによって、こうしたマッピングを得ることは可能である。図14は、X線源1708からの距離が異なる2つの平面1704及び1706内のBB1710の理論的投影を示すX線(例えば、X線透視装置)コレクタ極板1702を例解する。X線コレクタ極板1702、平面1 1706、及び平面2 1704は、平行かつ同軸であるように示す。この例においては、X線エミッタ1708は、点であると考えられ、X線源からコレクタへのX線は、円錐パターンにおいて、この点から発する。この円錐バターンにより、平面1 1706のBB1710は、平面2 1704のBB1710に対して、X線コレクタ極板1702上に拡大されて現れるが、実際には、この実施例において、これらは、同じように隔置されている。この現象は、視差として公知である。
図15に描写されるような別のX線ビューとは実質的に異なる透視により、1つのX線ビューを撮影し、かつ3Dでのコレクタ及びエミッタの厳正な位置が、追跡手段または他の手段から既知である場合を考慮すると、エミッタからコレクタへ円錐パターンで延びるベクトルは、双方のビューに存在する解剖学的関心点1802が交差する場所まで戻って、追跡することができる。この例においては、「ベクトル」は、BBの可視X線陰影から決定されたベクトル、または可視X線陰影から推測された円錘パターンに一致するように、計算された(例えば、内挿された)任意のベクトルを意味することもある。次に、2つのビューのベクトルの交点には固有の解が存在することから、解剖学的関心点の3D位置が決定されてもよい。つまり、1つのビューから基準点の3D位置を推論することは不可能である。これは、この点が、ベクトルに沿って、X線源からエミッタまでのいずれの場所にあってもよく、また、コレクタ極板上の同じ位置に現れる得るためである。第2のビューは、ベクトルに沿ってその点があるべき固有の位置をもたらす。
図14は、2つの平行平面1704及び1706上にあるちょうど4つのBB1710を示す。これらのBBは、複数の2D X線ビューから3Dでの物体の位置を検出する方法の基準として提供され得る。しかし、より精密性を提供するためには、その代わりに、図16に示すようなBBの高密度のグリッド(例えば、10または100の)を使用してもよい。これにより、ベクトルをより精密に内挿させ得る。より多くのBBを使用することにより、より精密な内挿が可能であり、かつ、最終的には、3Dの精密性がより良くなるが、より多くのBBのX線陰影は、外科医にとって、X線画像での関心解剖学的構造を可視化し得る妨げともなる。
コレクタ極板及びエミッタ源の位置は、両方の写真間で3Dにおいて既知であることが暗示的に仮定される。例えば、コレクタ極板は、装着された追跡アレイを有してもよく、このため、その3D位置が直接追跡される。また、エミッタ上に追跡器を配置することも可能である。しかし、それを行うには欠点もある。その欠点は主に、双方の追跡器を観察するために、追跡野が非常に広い必要がある点であり、コレクタとエミッタとの間の距離は、典型的には、およそ1メートル程度であってよい。光学追跡器などの追跡システムは、1立方メートル未満の追跡野のみを有してもよい。更には、エミッタは、いくつかの臨床上典型的なX線写真の外に位置付けされてもよい。その代わり、エミッタ源の場所は、コレクタアレイに対して較正されてもよいが、エミッタの場所を画定するにあたって、X線透視装置を別々に配向した場合、外挿による精密性は低く、コレクタとエミッタとの間の距離が広く、サジ(sag)量が異なる可能性がある。あるいは、コレクタに対するエミッタ源の距離及び方向は、図14及び図17に示すものなど、既知の間隔d
ab1712を有するBBの2つの平行平面のX線透視画像から計算してもよい。その式は式1に示し、図17に描写される幾何学形状2000に基づいて成立する。
式中、
・d
ecは、エミッタからコレクタへの距離である(単位mm)。
・kは、透視出力のピクセル座標をミリメートルに変換するためのスケーリング係数である。
・l
aは、平面AでのBB1aとBB2aとの間の横方向距離(単位mm)である。
・l
bは、平面AでのBB1bとBB2bとの間の横方向距離(単位mm)である。
・y
1aは、中心にあるビームからBB1aの横方向距離(単位)である。
・y
1bは、中心にあるビームからBB1bの横方向距離(単位)である。
・y
2aは、中心にあるビームからBB2aの横方向距離(単位)である。
・y
2bは、中心にあるビームからBB2bの横方向距離(単位)である。
・Z
eaは、エミッタから平面A(BB1a及びBB2a)までの距離(単位)である。
・z
ebは、エミッタから平面B(BB1b及びBB2b)までの距離(単位)である。
・d
abは、平面Aと平面Bとの間の長手方向の距離(単位mm)である。
・L
2aは、コレクタ上の平面AでのBBの陰影間のピクセル座標の距離である。
・L
2bは、コレクタ上の平面BでのBBの陰影間のピクセル座標の距離である。
d
ecを求めることにより、以下が成立する。
このため、平面間の間隔が既知であり、BB間の間隔が既知である場合、エミッタからコレクタまでの距離は、これらのBBを含むX線画像を画像処理することにより決定できる。図17は、2つの平面において2つの隣接するBB間の陰影間の距離を測定することを示す点に留意のこと。実際には、X線画像上でのいくつかの対のBB間の距離を測定し、それらの距離を平均化してもよい。更に、図17には、平面A及び平面B上でのBB間の距離が同じであるように示すが、これらの物理的距離は異なっていてもよく、また、式中では、la及びlbによって明らかになる。実際には、互いに投影を一部妨げることのないようにするには、BBを、同じ間隔で整列させるよりも、オフセットさせることが望ましい場合もある。
コレクタに対してエミッタの位置を画定するためのこの方法では、エミッタの方向ならびに距離を画定するにあたって、2つの平行平面を使用する。コレクタに装着された位置合わせ固定具により、コレクタに対するエミッタからの方向がコレクタの平面及びBBを含む平面に対して垂直であると仮定される。この仮定が真実でない場合、近視野及び遠視野平面からのBBの投影は、X線画像上に対称的に重なり合うことはない。BB平面からのX線平面の角度を付けた所定の量の偏差については、対称的投影からのBB陰影のオフセットの量は、BB平面間の距離に比例し、平面の分離が大きいほど、X線画像上での投影の横方向の変位が大きいことがわかる。幾何学を介して、BB陰影の横方向のオフセットを使用して、コレクタ平面に対するBB平面の実際の配向(このため、3Dでのエミッタの位置)を精密に決定することができるか、または、BB陰影の横方向のオフセットを使用して、BB平面及びコレクタ極板が忠実に共平面となるまで、画像増強器上で位置合わせ固定具の配向を手動または自動で調節することができる。
スケーリング係数kは、上記式中に存在するが、この係数は、後続の、3D座標のうち、一般化させた点の3Dから2Dへのマッピングを行うために必要である。一般に、デカルト座標系のx軸及びy軸により整列された画像のX軸及びY軸を有する2D X線画像上で3D点を座標系x、y、zを用いてマッピングするために、式3が成立する。
式中、Xは、デカルトX軸によって整列された2D X線画像の座標系であり、Yは、デカルトy軸によって整列された2D X線画像の座標系であり、zは、X線画像に対して垂直であるデカルト軸である。
最大90度離した異なる配向で、2つのX線透視写真(よく見られる1つの臨床上前後写真、及びよく見られる1つの臨床上側面写真)を撮影した場合、(X1、Y1)は、点がX線画像1(例えば、前後画像)上に現れると、点(x、y、z)のx線座標として定義され得る。そのX線平面に整列された局所座標系の点のデカルト座標は、(x1、y1、z1)と定義してもよい。同様に、(X2、Y2)は、X線画像2(例えば、側面画像)上に現れるとき、同じ点のX線座標として定義され得る。そのX線平面に整列された局所座標系の点のデカルト座標は、(x2、y2、z2)と定義してもよい。追跡システムは、X線コレクタの3D位置を検出するために使用され得るため、X線透視装置が各配向にあると、デカルト座標系1からデカルト座標系2への変換T12がわかる。T12は、この視野において一般に使用される、標準4x4変換マトリックスである。このため、式4となる固有の解が存在する。
2つの座標系は、各X線平面、各X線平面でのz軸の始点、X線平面の中心にあるx軸及びy軸の始点に対して垂直であるz軸にそれぞれ配向させる点に留意のこと。X線平面に対するx及びyの方向は、任意であってよい。例えば、3D光学追跡を用いて、3DでのX線平面の場所を追跡することによって、第1の3D座標系から第2の3D座標系への変換(T12)を決定できる。
2つのX線透視ビューに関連付けられる3Dデカルト座標系を定義するための方法から、画像増強器上でBBは均一に投影されると仮定されてもよい。しかし、一般にX線透視装置から得られる画像には、糸巻形ひずみ、s-ひずみなどのひずみを伴う。これらの種類のひずみは、本明細書に記載の方法を適用する前に、画像処理を用いて補正されてもよい。ひずみ補正は、位置合わせデバイス上でBBが対称的パターンに配置されるという事実を活用できる。このため、既知の対称的パターンから投影されたX線は、対称を一致させて画像を作成する必要がある。BB間の間隔及びBBの整列は、画像処理により決定してもよく、また、BBの予測される投影と比較してもよい。アフィン変換など、画像処理において一般的に知られているアルゴリズムを使用して、投影されたX線画像を既知の、予測された対称と一致するようにしてもよい。X線上で解剖学的画像に対して同じ補正を適用してもよいことから、得られたX線画像はひずみのない投影を表し、本明細書に記載のとおり、位置合わせの有効な計算を可能なものとする必要がある。
実施形態においては、ひずみの補正に使用する対称パターンは、図16に描写される四角パターン、BBが画像の中心の周りの極座標系に分配され、BBは、共通の半径及び方位角を共有する放射状対称パターン、または図18及び図19の固定具に描写される任意の好適なパターンであってもよい。位置合わせ固定具に埋め込まれた実際のBBパターンが既知である限り、X線画像上でのBBの対応する陰影を予測することができ、ひずみ補正は、画像を予測されたパターンに一致させるように適用される。
2D画像から3D画像へのマッピング工程は、X線画像上の方向を正確に解釈することに依存する。例えば、2D X線画像が前後画像である場合、2D画像がエミッタ前部及びコレクタ後部の写真、またはエミッタ後部及びコレクタ前部の写真を表すか否か、わかっている必要がある。更に、X線透視画像は一般に円形であるため、どの方向が左、右、上、下を指すか、BB陰影から的確に決定するための方法を必要とする。固定具のBBの平面から、X線コレクタに最接近して配置されたBBを用いて、情報が提供され、X線画像を回転させて配向するように、など、配列補正に関する情報、また、例えば、BBパターンにより、正のz方向が可視平面の正面または裏面から延びるか否かを決定し得るなど、反射に関する情報、が提供されることもある。実施形態においては、固定具は、このように配置されている大きいBBを有する外側リングを含んでもよいため、独自に、画像の回転及びフリップなどの配列態様を識別する。配向及び/またはフリップを識別するためのBBパターンは、そのパターンにより、画像の回転とフリップとの独自の組み合わせが提供される能力、及びそのパターンにより、検出信頼性を高めるために、重複したBBが提供される能力に基づいて選択されてもよい。BB陰影がツールもしくはインプラントを妨げるために、または画像の一部からのX線の貫通が不十分であるため、所与のあらゆるX線写真で、全てのBBが見えるわけではないことから、重複したBBは重要であり得る。
実施形態においては、図19に示すとおり、標準的円形X線透視画像の周囲部の周りに間隔の異なるBBを有するリングを使用してもよく、周囲部にあるBBの陰影が、ビットコード(例えば、32ビットコード)を形成する。実施形態においては、点の第1のアレイを有する第1の平面2202及び点の第2のアレイを有する第2の平面2204を投影させて、組み合わせ画像2206を形成してもよい。コード長は、BBの場所の検出エラーにより、誤って、隣接するビット位置となるであろう機会が少なくなるように、BBの間隔を十分離すことができ、それでも、ビットの欠落に対して頑強であるような十分な情報を提供するように、選択するものとする。BB陰影をわずかしか検出できず、既存のBBのサブセットのみが検出される場合、サブセットを既知のテンプレートと比較することで、BBが欠落しているかに関わらず、正確な画像配向及びフリップを提供することができる。より多くの数のBBの欠落を有するサブセットが検出された場合、アルゴリズムにより、正確な画像配向及びフリップが決定され得る。実施形態においては、アルゴリズムの制限が既知であるが、システムでは、アルゴリズムを進める前に、特定の最小数のBBが検出されることを必要とすることもある。
実施形態においては、配向の一致は、点一致アルゴリズム(例えば、Kabsch点一致アルゴリズム)または両方の点セットを同じようにスケーリングさせると仮定する他の好適な点一致アルゴリズムを使用してもよい。次いで、2つの点セット間の変換をアルゴリズムにより決定してもよく、一方の点セットは、配向BBの検出から生じ、他方の点セットは、固定具3Dモデルから生じる。次に、固定具の配向マーカを画像空間に投影させてもよい。両方の点セットは、同じようにスケーリングさせる必要があるため、アルゴリズムでは、最善の一致を見出すために投影スケーリングの範囲の試験を行う。一旦最善の一致が見つかると、変換は適切にスケーリングされ、アルゴリズムにより、検出された画像マーカと物理的固定具マーカとの間に点対応が割り当てられる。次に、その結果得られる変換は、画像を回転及び/またはフリップさせて、固定具と調整するために画像に適用され得る。
リング位置合わせ固定具:
配向を確立するためのBBアレイの代替としては、位置合わせ固定具の基準として、リングまたは他の形状(金属線など、放射線不透過材料から形成されたものなど)を使用することが可能である。図20を参照すると、同じまたは異なる直径を有する(例えば、50~300mm)、2つの平行リング2304及び2306を有するリング位置合わせ固定具2300が例解されている。これらは、隔置された(例えば、50~300mm隔置されて)平行平面に同軸に位置付けられる。リング2304及び2306の中心の識別を容易にするために、リングは、リング自体と同じであるかまたは異なる直径のワイヤまたは他の不透過性材料から形成された1つ以上の十字線2308A及び2308Bを有してもよい。リングのいくつかの所望の特徴としては、投影された惰円の直径及び十字線交点の直径が正確であるように十字線がきっかり中心を通っている、厳密に円形であるリングなどが挙げられる。更に、リングがX線画像に対して任意の角度であるように、リングの断面が平坦である代わりに、リングが適切に投影される円形であることが望ましい場合もある。リングを仕上げるために考えられる方法としては、ワイヤの溶接または他の接着セグメント、放射線不透過性成形材料を用いた急速試作(3Dプリント)、プリント基板の製造に用いられたものと同じ様態でのエッチングなど、が挙げられる。
コレクタ極板上の中心に置き、リング位置合わせ固定具2300のX線画像を撮影すると、図21に示すものなど、2つの同軸円2402及び2404として現れるものとする。リング位置合わせ固定具2300がコレクタ極板に対して平行でない、または中心に置くことなく、X線画像を撮影すると、図22に示すものなど、2つの楕円2502及び2504として現れる。
更に、追跡マーカ2302A-Dは、光学マーカアレイ、磁気センサ、3D追跡方法などの他のものを用いるなど、3Dにおいて、リング位置合わせ固定具2300のリングを位置付けのための基準として使用されてもよい。参照として、追跡マーカは、位置合わせ固定具2300上の局所座標系を画定するのに簡便であってよい。例えば、参照局所座標系は、X線エミッタにより近いリングの中心にその始点を有してもよく、第2の(例えば、平行の)リングは、コレクタにより近く、x軸及びy軸は、第1のリングの中心を識別する十字線と一致してもよい。z軸線は、2つのリングの中心をつなぐベクトルと一致する。
実施形態において、リング位置合わせ固定具を用いて、3Dから2Dへ点をマッピングすることには、円錘パターンを形成するために作り出された双方のリング上で既知の点を通るベクトルを使用してもよく、次いで、このパターンは、関心領域からベクトルを内挿するために使用される。
実施形態においては、画像上の特徴から推定される変換パラメータを用いるなど、一連の通常の変換(すなわち、回転、並進、拡大)を適用させてもよい。一例として、座標系を、エミッタにより近い第1のリング(近視野リングとして)、及びコレクタにより近い第2のリング(遠視野リングとして)の中心に置くような、2リング固定具を使用する3D座標系を考慮する。この例においては、近視野及び遠視野リングは、同じ直径であってもよく、この座標系からコレクタ極板の座標系への点をマッピングするために、いくつかの変換を適用してもよい。
例解した変換セットの非限定的例は、図23~27に描写される。図23は、zの周りでθ分回転させることによる変換ステップ1を描写する(例えば、θは、引き続き回転αがyの周りで生じ得る角度である)。この図では、リングは、視差のない3Dで見え、このため、近視野及び遠視野リングが開始配向にぴったり重なり合う点に留意のこと。図24は、αによってyの周囲を回転する変換ステップ2を描写する。回転は、近視野リング(例えば、エミッタにより近いリング)の中心の周りに生じる点に留意のこと。図25は、X線写真の透視図に一致させるために平面で回転する変換ステップ3(例えば、入射角αの回転軸としてy軸を使用する代わりに、yから実際の回転軸となるまでのx-y平面での角度を見つける)を描写する。図26は、座標系の中心からdx、dy分偏位している変換ステップ4を描写する。図27は、視差により拡大している変換ステップ5を描写する。この例では、ステップ5の終了により、x-y平面は、2D平面にマッピングされた点を表す。ステップ5では、式3により拡大が生じる。
この例では、最終画像上で、近視野リングが遠視野リングより拡大されて現れる。これは、近視野リング上の点が、遠視野リング上の点より大きいz値を有するためである。更に、リングがx、y=0、0からどのぐらい離れているかに応じて、x-y平面でのリングの回転が異なって現れる。
このため、リング位置合わせ固定具に装着された座標系において指定されている3Dの点からX線平面上の2Dの点に進むには、5つ(θ、α、φ、dx及びdy)が不明である場合には、一連の変換を適用する。画像処理を使用して、これらの5つの不明のものをリング自体から推定することができる。このため、これらの5つのパラメータが定義され、位置合わせが確立すると、基準座標系においてx、y、zとして指示される新しい点はいずれも、X線画像座標に直接マッピングされてもよい。
画像から5つのパラメータを決定するための多くの計算では、BB固定具に関して記述したように、比率d
ec/kを必要とする。この比率は、コレクタ極板に対して平行に配向し、リングを撮影したX線画像から同様に求めてもよい。図28には、陰影がコレクタ極板上に現れる視野において、コレクタ極板の平面に対して垂直な平面で見える主要な直径及びコレクタに平行であるリングの略図を例解する。図28に基づいて、次式を記述して、d
ec/kを求めることができる。
式中、
d
ecは、エミッタからコレクタへの距離(単位mm)であり、
kは、透視出力のピクセル座標をミリメートルに変換するためのスケーリング係数であり、
l
aは、リングAの直径であり、
l
bは、リングBの直径であり、
y
1aは、リングAのエッジに対して中心にあるビームからの横方向距離(単位)であり、
y
1bは、リングBのエッジに対して中心にあるビームからの横方向距離(単位)であり、
y
2aは、リングAの反対側のエッジに対する中心にあるビームからの横方向距離(単位)であり、
y
2bは、リングBの反対側のエッジに対する中心にあるビームからの横方向距離(単位)であり、
z
eaエミッタから平面Aまで(リングAまで)の距離(単位)であり、
z
ebエミッタから平面Bまで(リングBまで)の距離(単位)であり、
d
abは、平面Aと平面Bとの間の長手方向の距離(単位mm)であり、
L
2aは、コレクタ上のリングAの陰影のピクセル座標の直径であり、かつ
L
2bは、コレクタ上のリングBの陰影のピクセル座標の直径である。
ここでは、不明の5つ(θ、α、φ、dx、及びdy)を決定する方法の非限定的例について記載する。
入射角αの計算:
円錐体に対して任意角の平面に当たり、収集プレートに画像を投影する円錐ビームを考慮すると、図29に描写した透視図から見たときに、リングからのビューは、リング平面から見られる透視図のコレクタ平面に対する任意の入射角である。リング平面は、挿入図のページ内及びページ内にあり、このビューは、正のzから見たものであり、再編成したx軸及びy軸は、3D座標系に示すとおりに向ける。この実施例においては、円錐体(例えば、X線エミッタ)の頂部からその上で画像が感知されるコレクタへの距離、decが固定される。同じ入射角α及び直径l0bを有する1つのリングに対して平行である、下付き文字「b」を有する第2のリングが存在するために、下付き文字「a」が使用される。平面及びその上の3D空間の座標系は、2D画像の中心がXp=0であり、3D空間の中心もXr=0であるように、配置されることに留意されたい。
図30を参照して、直径の異なる2つの平行リングを有する固定具を考慮する。パラメータz
ea及びz
ebは、エミッタから各リングの中間点(十字線の交点)までのz方向の距離を表す。図30は、リング平面から見た透視図から、コレクタ平面に対する任意の入射角である一対の同軸リングからのビューを例解する。リング平面は、このページ内及びページ外にある(挿入図参照のこと)。図30に基づいて、次式が成立する。
z
ea(及びz
eb)を求めるために、図31に例解するとおり、最も広い部分から見た、リングの他の透視図を考慮し、図29及び図30から90度回転させた透視図の入射角でのリングのビューを提供する。次式から、
リングaについては、
リングbについては、
または
式7に差し込むと、
式中、
L
2a=ピクセル座標におけるリングaの楕円状投影の最大幅であり、
L
2b=ピクセル座標におけるリングbの楕円状投影の最大幅であり、
d
ec=エミッタからコレクタの距離(単位mm)であり、
d
ab=リングaからリングbの最短距離(単位mm)であり、
k=mmに対するピクセルの変換係数であり、
l
0a=リングaの既知の実際の直径(単位mm)であり、かつ
l
0b=リングbの既知の実際の直径(単位mm)である。
式11では、リングの最大幅及び最小幅を測定し、わずかな変化によりαの不一致となり得ることを示す。その代わりに、リング中心の変位に基づいて、式を求めることは有用であるが、エラーに対する感度は低い。下部のリングを「拡大して」、上部及び下部のリングの既知の直径比に一致するようにすると(例えば、リングが同じ直径を有する場合、比率は1である)、リングを縦方向(z方向)に上に移動させたのと同じである。これは、リングの点がゼロからオフセットされる座標系において、リング上での各点の値に対してスケーリングを行うためである。図32は、図29と同じ透視図の任意入射角での一対のリングの図を例解する。近視野リングの拡大率に一致させるために、遠視野リングが拡大される場合、zea=zebになるまで、リングを物理的にz軸の上に移動させることと等価となる。
このz位置は、両方の楕円の主軸のz位置となる。画像処理により、近視野楕円直径に対する遠視野楕円直径が予測された比率に一致するまで、画像中心の周りでの遠視野楕円の画像のスケーリングが可能になる。例えば、遠視野リング及び近視野リングが同一の直径を物理的に有する場合、X線投影された遠視野楕円は、近視野楕円より小さく現れる。次いで、遠視野楕円の新しい画像が、近視野楕円と同じ直径を有するように、遠視野楕円上の点のスケーリングを行ってもよい。特に、スケーリングを必要とする唯一の点は、遠視野リングの十字線の交点によって画定される遠視野楕円の中心であってもよい。遠視野楕円がスケーリングされ、近視野楕円がスケーリングされていない場合、楕円の中心のオフセットは、リング間の距離と等しい斜辺を有する三角形の反対側の画像座標の測定値を表す。このz位置では、斜辺は、画像座標で決定され得、これは、リング間の距離と近視野リング直径上での近視野リングの主軸の比を掛けたかけたものである(または、遠視野リング直径上のスケーリングした遠視野楕円の主軸の比を掛けたものであり、スケーリングの定義によって、これは同じものである)。反対側及び斜辺を有する場合は、αは逆三角関数により求めることができる。
式中、
D
cab=画像座標でのスケーリングしていない近視野楕円の中心とスケーリングした遠視野楕円の中心との間の距離であり、
L
2a=画像座標での回転軸方向(投影された楕円の主軸とほぼ等しい)で測定された近視野楕円の直径であり、
l
0a=近視野楕円の直径(単位mm)であり、かつ
d
ab=リング間の距離(単位mm)である。
方位角φの計算:
方位角φ(Y軸上でのリングを入射するために回転軸を置く必要がある角度)は、ちょうど、楕円の1つの主軸に対する角度であることが明らかであることもある。例えば、図33は、y軸の周りで生じる入射角α=20°を有する2つの円形リングのX線でのモデル化された外観(視差による)を例解する。両方の楕円の長軸は、Y軸と直線上に配向されると考えられ、このため、方位角φ=0°が予測される。一見したところ、楕円の片方または両方の長軸の配向は、画像処理を用いて評価することができ、また、θを決定するために使用されてもよい。しかし、リングの位置が画像の中心からオフセットしている場合、楕円の長軸は、方位角を精密に反映するものではないことがわかる。数値的データから生成された図34に描写された実施例では、2つの楕円の主軸の配向が一致していないことは明らかである。図34では、y軸の周りで生じる入射角α=24.5°を有する2つの平行の円形リングのX線上でのモデル化された外観(視差による)が描写される。双方のリングが、X線の中心からオフセットされている。両方の楕円の長軸は、y軸に対して目に見えて角度が付いていると考えられ、更に、より大きい楕円の長軸は、小さい楕円とは異なる方位角を有すると考えられる。この場合、方位角がφ=0°であることは公知であるが、画像処理では、この角度を正しく与えることができない。
更なる考慮事項は小さい角度に関する点であり、直径が最も大きい厳正な方向を精密に評価することが困難であり得る点であり、このため、θを求めるために、楕円の主軸の配向を用いるための方法により、精密性の低い結果をもたらすことになり得る。実施形態においては、楕円の主軸の長さを用いる方法により、より良好な結果がもたらされることになる。
図32に関して記載されたスケーリングを実施するにあたって、拡大が、リング全体をz軸の上に移動することと等価であることを確認できる。このため、遠視野リングを適切にスケーリングする場合、2つの楕円状の画像は、近視野及び遠視野リングの同一のz座標での投影を表す。近視野及び遠視野リングの中心が同一のz座標にある場合、x及びyにおいてそれらをつなぐベクトルは、回転軸の経路を表す。実際の回転軸は、この経路に対して垂直であり、x-y平面にあるべきでもある。このため、回転軸は、画像処理により、遠視野リング中心の第1のスケーリングを行い、次に遠視野及び近視野リングの中心をつなぐ経路を追跡することによって、抽出されてもよい。図解においては、図35は、y軸の周りで生じる入射角、α=24.5°の2つの平行の円形リング上でのX線上でのモデル化した外観(視差による)を描写する。双方のリングが、X線の中心からオフセットされている。遠視野楕円は、近視野楕円と遠視野楕円とが長軸において等しくなるまで、画像の中心の周りでスケーリングされる。方位角は、φ=0°であることが公知であり(すなわち、y軸の周りで回転する(図24を参照)、これはスケーリングを実施した後の正確な結果である。
角度θは、透視図を明らかにした後、Yに対する縦方向の十字線またはXに対して水平方向の十字線の近視野の角度である。このため、楕円との十字線の交点の場所を見出すこと、及び逆入射角を適用することにより、平坦な平面において交点をもたらすことになり、これにより、十字線交点のx、y座標の逆正接から角度θを求めることができる。
いずれの十字線がXまたはYと整列されるか、かつ、+Xまたは+Yに対して十字線の点がいずれの方向であるかを知ることが重要である点に留意のこと。この情報は、参照用十字線の正軸または他の任意の好適な特徴付近のBBまたはワイヤなど、X線画像上に現れる固定具上の追加の特徴から求めることができる。
オフセット位置dx、dyは、近視野リングの中心のx、y座標のオフセット値である。この点は、固定具上の追跡器及びその結果得られるX線上で見られる対応する点を利用して、直接追跡することができる。この点は、位置合わせチェックとして機能し得る。つまり、近視野リングの中心で、ナビゲートプローグを向けると、その先端が投影された楕円の十字線交点にあるプローブの画像が見えなければならない。
位置合わせ固定具を非常に的確に画像増強器に装着させると、上述のパラメータのいくつかは、ゼロになる。つまり、入射角α、回転軸基準φ、変位dx及びdyは全てゼロになり、位置合わせ工程が簡素になる。このため、BB固定具と同様に、変換パラメータを抽出するために、代わりに、X線上での十字線とリングの交点の場所を調節ツールとして使用できる。つまり、図21で描写するものなど、X線によりリング中心とエッジの交点の相違が示される場合、X線により中心が示されるまで、固定具は、画像増強器上で手動または自動で調節されてもよく、その点では、変換が簡素化され、マッピングが最良の精密性となる。
位置合わせ固定具でリングを使用する場合、BB固定具に適用した補正とほぼ同じ方法で、ひずみの補正を達成してもよい。ひずみ補正を有効にするには、リング固定具の十字線に、各十字線に沿ってマーク付けを均等に隔置する追加の特徴が必要である。これらのマーク付けは、ハッチマーク、円、間隙、またはX線画像上で目に見える投影上に現れる任意のこうした特徴であってもよい。次いで、十字線の直線性及び十字線の印間の空間を双方とも考慮すると、糸巻形ひずみ及びs-ひずみが明らかにされ、補正される可能性がある。図36及び図37は、リング固定具を用いたときの画像上の糸巻形ひずみ及びs-ひずみの拡大図を示す。糸巻形ひずみは、画像の中心の周りで放射状に対称であるため、糸巻形ひずみを明らかにし、そのひずみを補正するための1つの十字線及び印付けを確認することのみを必要とすると仮定する。十字線は、一方のエッジから他方まで、画像の中心を介して走行すると仮定する。糸巻形ひずみが異なる角度で対称的でない場合、異なる方向の糸巻形の大きさを評価するために、追加の十字線が必要なこともある。
図36は、四角のワイヤグリッドの写真であるX線が、糸巻形ひずみ画像3602として現れるX線透視装置により生じる可能性のある糸巻形ひずみを例解する。明確にするために、糸巻形パターンを典型的なものより、更に強調して示す。図の下部には、ひずみを有さない3604(左)及び糸巻形ひずみ3606(右)である、十字線及び十字線内で均等に隔置された間隙を有するリングを示す。ひずみは、リングへの影響は有さないが、十字線の間隙空間上に明確に示され、中心から外側に向かってリングまで、目に見えて空間が増加する点に留意のこと。糸巻形ひずみの大きさは、画像の中心からエッジへ進む印間の空間の増加量として測定される。同様に、たる形ひずみは、画像中心からリングまでの十字線の間隙の減少するときに出現する。
図37は、四角のワイヤグリッドからの写真であるX線がs-ひずみ画像3702として現れる、X線透視装置により生じる可能性のあるs-ひずみを例解する。明確にするために、Sパターンを典型的なものより、更に強調して示す。図の下部には、ひずみのない3704(左)及びs-ひずみ3706(右)を有する、十字線を有するリングを示す。ひずみは、リングへの影響は有さないが、十字線上に明確に示される点に留意のこと。これは、S状となっている。2つの十字線がS状となる量から、sひずみの大きさを測定する。
2Dにおける3D外科用計画:
外科用ロボットプラットフォームと共に、など、医療手技を計画するにあたって、外科用スクリューなどの医療用物体の配置を計画することが、2D画像に基づく3Dにおいて提供され得る。実際に、2Dビューのうちの1つにスクリューを表すために描かれた線分をこのように計画するには、描かれた平面内及び平面外に特定の直径を有すると仮定され得る(例えば、z直径において)。また、描かれた平面内及び平面外に特定の開始及び終了z座標を有すると仮定され得る。例えば、前後及び側面のX線画像上で椎弓根スクリューを計画する場合、z座標を適切に仮定することは、側面X線上でのスクリューの直径がスクリューの最大長を表す可能性がある。つまり、スクリューは、平面内または平面外で角度付けすることはなく、このため、側面画像の局所座標系上でのスクリューの先端及び尾部のz座標は、同じである。z座標(先端及び尾部で同じである)は、前後画像の中心にスクリューを配置するのに適切な値であると仮定され得る。つまり、側面平面図においてx-y座標系を選択するユーザにとっては、側面画像のいずれのz座標も、使用される前後画像スクリーンの中心にスクリュー画像を発現させる。
実施形態においては、未知の計画平面において、初期の推測を改善するために、他の手段が使用されてもよい。例えば、前後画像及び側面画像は、両方の画像の頂部が吻側の解剖学的方向を表すために配向される場所を計画するために使用され得る。ソフトウェアプロンプティングを介して、ユーザが左スクリューを側面画面にドロップして、配置しようとしていることがわかっている場合、前後画像のスクリューの開始場所は、スクリーンの左側に面してもよく、左のスクリーンは、左の解剖学的方向であると仮定される。
一方のビューにおいてユーザによって一旦最初の位置が指示され、他方のビューにおいてソフトウェアによって推測または別の方法で特定されると、いずれか一方のビューにおけるスクリューのその後の再位置付けはいずれも、3D座標から2Dへの順向マッピングを十分に行うことによって、他方のビューにマッピングされてもよい。例えば、ユーザは、側面X線中、位置合わせ固定具に関連付けられた局所デカルト座標系において、スクリューの先端のx、y、z座標を定義してもよい。ソフトウェア相互作用を介して、ユーザがスクリュー先端の表現を選択し、ドラッグする場合、そのz方向ではなく、そのデカルト座標系のx-y平面で先端を移動させる必要がある。これは、デカルト座標系のx-y平面は、画像平面に対して平行であるためである。局所座標系でのx及びyの移動(z移動=0である)は、ユーザの相互作用を介して更新されてもよい。前後及び側面X線の局所座標系間での変換が追跡によりわかっているため、その結果得られる、前後画像の局所座標系に関連付けられたx、y、z座標も更新することができ、これにより、前後画像において、計画されたスクリューの先端の新しい位置へのマッピングが可能になる。一方の画像、次に他方の画像を更新する順序により、ユーザは、両方の位置合わせ固定具の追跡位置に対して既知であり、このため、カメラ空間及びロボットにとっても既知である3D位置にスクリューを移動させることができる。次に、ロボットが任意の位置に移動して、スクリューを精密に配置させ得る。
画像の2つの座標系が垂直である場合、一方は、前後を表し、他方は側面X線を表し、ソフトウェア相互作用を介して、体軸方向での前後ビューにおいてスクリュー先端または尾部の計画された表現は、側面ビューにおいて、スクリュー先端または尾部の表現を同じ量、体軸方向に移動させる影響を有する点に留意のこと。しかし、前後ビューでのスクリューの先端または尾部の左または右の移動は、側面画像において、計画された先端または尾部の位置へのいかなる影響も有し得ない。反対に、側面画像におけるスクリューの先端または尾部の前方または後方への移動は、前後画像において、スクリューの先端または尾部の位置へのいかなる影響も有さないが、側面画像において、吻方へまたは尾部へのスクリューの先端または尾部の位置の移動により、前後画像においてスクリューの先端または尾部を表現し、同じ量、体軸方向に変動することになる。2つのX線を垂直で撮影しない場合、一方のビューにおいて、計画されたスクリューの先端または尾部の左、右、上または下への移動により、他方のビューにおいて、その表現が少なくとも若干量移動される。
あらゆるX線画像用に2Dへの3Dのマッピングを作り出すことが可能であるため、計画するにあたって2つのビュー(1つは前後X線ビュー及び1つは側面X線ビューなど)を使用することを記載してきたが、画像を撮影する時点で、位置合わせ固定具の追跡情報が取得される限り、任意の数のX線画像に関する計画を同時に表示し、更新することができる。例えば、スクリーンの4つの四分区間に45度ずつ増分させた4つの画像写真を表示でき、計画されたスクリューを各ビューに位置合わせさせ得る。ソフトウェアの相互作用を用いて、一方のビューで、計画された位置を更新すると、他方のビューのそれぞれにおいて画像を変動させる。
本発明は、詳細に示し、記載している好ましい実施形態と関連して開示されているが、様々な変化形態及びその改良形態は、当業者にとって容易に明らかであろう。したがって、本発明の趣旨及び範囲は、前述の実施例に制限されるものではないが、法律によって許容可能である最も広い範囲意味で理解されるものとする。
本明細書に参照される全ての文献は、援用によって本明細書に組み込まれる。
外科手技の間のロボットシステム、患者、外科医、及び他の医療要員の場所についての潜在的配設の頭上図である。
一実施形態に係る患者に対する外科用ロボット及びカメラの位置付けを含むロボットシステムを例解する。
例示的な実施形態に従う外科用ロボットシステムを例解する。
例示的な実施形態に従う外科用ロボットの一部を例解する。
例示的な実施形態に従う外科用ロボットのブロック図を例解する。
例示的な実施形態に従う外科用ロボットを例解する。
例示的な実施形態に従うエンドエフェクタを例解する。
例示的な実施形態に従うエンドエフェクタを例解する。
例示的な実施形態に従うエンドエフェクタを例解する。
一実施形態に係るエンドエフェクタの誘導管への外科用器具の挿入前及び後の、外科用器具及びエンドエフェクタを例解する。
例示的な実施形態に従うエンドエフェクタ及びロボットアームの一部分を例解する。
例示的な実施形態に従うエンドエフェクタ及びロボットアームの一部分を例解する。
例示的な実施形態に従うエンドエフェクタ及びロボットアームの一部分を例解する。
例示的な実施形態に従う動的参照アレイ、画像化アレイ、及び他の構成要素を例解する。
例示的な実施形態に従う位置合わせ方法を例解する。
例示的な実施形態に係る画像化デバイスの実施形態を例解する。
例示的な実施形態に係る画像化デバイスの実施形態を例解する。
ナビゲーション固定具の一実施形態を示す。
X線源から異なる距離の2つの平面内で小型の金属球(以降「BB」と称する)の理論的投影を示すX線(X線透視装置)コレクタ極板を例解する。
3D場所を作り出すために、2つの異なる透視図の同じ放射線不透過点から撮影した2つのX線投影を例解する。
BBのグリッドのコレクタ極板に対して平行な平面から撮影したX線画像を例解する。
陰影がコレクタ極板上に現れる視野において、コレクタ極板に対して垂直の平面で見られる主要な直径及びBBを例解する。
2つの平行な平面上でのbbパターン及びX線透視ユニットの画像増強器に装着される固定具の設計を例解する。
位置合わせ固定具のBBパターンを例解する。
十字線を有する平行リングから構築された透視位置合わせ固定具を例解する。
X線コレクタがリングの平面に平行であり、リングがX線コレクタと同軸であるときのX線でのリング位置合わせ固定具の外観を例解する。
固定具がコレクタ極板及びリングに対して厳密な角度であるとき、X線でのリング位置合わせ固定具の理論的外観を例解する。
座標系マッピング工程において、zの周りでθ分回転させるための変換ステップを例解する。
座標系マッピング工程において、yの周りでα分回転させるための変換ステップを例解する。
座標系マッピング工程において、X線写真透視図に一致するように、平面で回転させるための変換ステップを例解する。
座標系マッピング工程において、座標系中心から変位(dx、dy)させるための変換ステップを例解する。
座標系マッピング工程において、視差による拡大の変換ステップを例解する。
陰影がコレクタ極板上に現れる視野において、コレクタ極板の平面に対して垂直な平面で見える主要直径及びコレクタに平行であるリングの略図を例解する。
リング平面から透視で見て、コレクタ平面に対する任意の入射角にあるリングからの図を例解する。リング平面は、このページ内及びページ外にある。
リング平面から透視で見て、コレクタ平面に対する任意の入射角にある一対の同軸リングからの図を例解する。リング平面は、このページ内及びページ外にある。
回転させた透視図からの任意の入射角でのリングの図を例解する。
任意の入射角での一対のリングの図を例解する。
y軸の周りで生じる入射角α=20°を有する2つの円形リングのX線でのモデル化された外観(視差による)を例解する。
y軸の周りで生じる入射角α=24.5°を有する2つの平行な円形リングのX線上でのモデル化された外観(視差による)を例解する。双方のリングは、X線中心からオフセットされ、双方の楕円の長軸は、y軸に対して目に見えて角度を付けているように見える。
y軸の周りで生じる入射角α=24.5°を有する2つの平行な円形リングのX線上でのモデル化された外観(視差による)を例解する。双方のリングは、X線の中心からオフセットされ、遠視野楕円は、画像の中心の周りで、近視野及び遠視野楕円がそれらの長軸と等しくなるまでスケーリングさせている。
糸巻形ひずみを例解する。
s-ひずみを例解する。