JP6715823B2 - Ｘ線スイートにおける画像統合及びロボット内視鏡制御 - Google Patents

Description

本発明は、概して、ロボット内視鏡に関する校正手順を実行するために低侵襲処置（例えば、心臓手術、腹腔鏡手術、自然開口部経管的手術、単切開腹腔鏡手術、肺疾患／気管支鏡検査法手術、及び診断的インターベンション）中に収集されたＸ線画像を利用することに関する。本発明は、より具体的には、低侵襲処置中にロボット内視鏡をガイドするためのＸ線／内視鏡画像の統合に関する。

小さいポートを通して患者の体内に挿入される細長い器具を用いて低侵襲手術が行われている。これらの処置における主な可視化法は内視鏡である。ロボットガイド下での低侵襲手術においては、それらの器具のうちの１つ以上が、特には内視鏡であるロボット式装置によって保持されて制御される。

具体的には、患者の体上に配される小さいポートのみが、患者の内部にアクセスするために器具及び内視鏡が通り抜け得る切り口である。従って、器具は、これらの支点周りで回転することはできるが、ポートに対して並進力を課すことはできない。何故なら、それは、患者に負傷及び危害を生じさせることになるからである。ロボットは潜在的に大きい力を及ぼし得るので、これは特に、ロボットガイド下手術にとって重要である。

従って、一部の既知のロボットは、ポート位置で回転のみが行われ、そして、ポートにおける全ての並進力が排除されることを強要することによって、支点位置に遠隔運動中心（remote center of motion；ＲＣＭ）として知られるものを実現している。これは、空間内の特定の位置に遠隔運動中心を持つ機械設計を実現し、そして、空間内のその点をポートに位置合わせすることによって達成され得る。

内視鏡が患者の体内に挿入され、ＲＣＭの適切な位置が選定されると、ロボットが内視鏡画像により制御され得る。その制御ループを閉じるために、画像座標とロボット関節空間との間の数学変換を確立しなければならない（技術的に画像ヤコビアンとして参照される）。このプロセス全体が、技術的にシステム校正として参照され、例えばカメラ及びロボット校正などの様々なステップを必要とする。また、完全な校正を提供するためには、カメラと検討中の器官／物体との間の深さを測定する必要があり、そのような測定は典型的に、画像から、又は特別なセンサを用いて、の何れかである。

処置中に内視鏡検査を補うために、術中Ｘ線撮像が使用されることがある。例えば、低侵襲冠動脈バイパス術では、動脈硬化を特定するため又は血行再建を確認するために、術中Ｘ線が使用される。この撮像モダリティは電離放射線を使用するので、患者及び手術室スタッフにとって、処置中に収集されるＸ線画像の枚数を少なくすることが有益である。

双方の撮像モダリティの有用性を高めるために、システムは、これらのモダリティ間で標的の相互特定を可能にしなければならない。例えば、動脈狭窄が、内視鏡画像内で視認できずにＸ線画像内で視認できる場合、これらの画像を統合して内視鏡画像内にその狭窄を描く方法は、ワークフローを大いに改善して、手術時間を短縮するとともに合併症の可能性を低減することになる。また、Ｘ線画像による内視鏡の制御は、内視鏡の視野の外での標的のより良い可視化及び検出につながることになる。

これら全ての統合を行うためには、内視鏡の校正及びロボットの校正を行わなければならない。手術室内でロボット及び内視鏡を校正するプロセスは、様々な問題に結びつく。

１つの問題は、カメラ校正が、訓練を受けた人物によって手術前に実行される必要がある追加工程であることである。このプロセスは時間が掛かるとともに間違いが発生しやすい。

第２の問題は、ユーザが手術中にカメラパラメータの一部（例えば、ズーム）を変更する場合に、内視鏡を患者から取り出して再校正しなければならないことであり、このようなことは、ワークフローを中断させてしまうので受け入れられないことがある。

第３の問題は、ユーザが内視鏡をロボットに対して動かす（例えば、光学式ズームを持たない一般クラスの内視鏡で機械式ズームを行うために、より深く体内に挿入する）場合に、システムを再校正しなければならないか、ロボットが追加のセンサを使用しなければならないか、の何れかであることである。

第４の問題は、校正が深さ情報を必要とすることがあり、それは、深さ測定アルゴリズムを用いてアクセス可能であり得るが（例えば、動きなどからの形状）、そのような種類の測定はノイズが多いのが通常であり、それにより不安定性を生じさせ得ることである。

これらの問題は、システムの使い勝手を低下させ得るとともにワークフローを乱し得るものであり、それにより処置コストの上昇及びいっそう低い合格率につながる。

本発明は、低侵襲処置（例えば、心臓手術、腹腔鏡手術、自然開口部経管的手術、単切開腹腔鏡手術、肺疾患／気管支鏡検査法手術、及び診断的インターベンション）中に収集されたＸ線画像によるロボット器具の一連の校正を実行するための校正コントローラを提供する。

本発明は更に、Ｘ線／内視鏡画像を統合するための及びＸ線画像によるロボット内視鏡の誘導を支援するための校正コントローラを提供する。

本発明の一形態は、Ｘ線モダリティのＸ線画像空間内に遠位端を持つロボット器具を校正するワークステーションである。当該ワークステーションは、Ｘ線画像空間内のロボット器具の異なる姿勢での遠位端の複数のＸ線画像の、Ｘ線モダリティによる生成に応答して、ロボット器具のＲＣＭ長さを校正する校正コントローラを使用する。当該ワークステーションは更に、校正コントローラによるロボット器具のＲＣＭ長さの校正に応じて、Ｘ線画像空間内でのロボット器具の誘導を制御するロボット器具コントローラを使用する。

本発明の目的では、以下に限られないが、“ワークステーション”、“校正（キャリブレーション）”、“Ｘ線画像”、“Ｘ線画像空間”、“Ｘ線モダリティ”、“焦点端”、“姿勢”、及び“誘導”を含む技術用語は、本発明の分野において理解されように、また、ここで例示的に説明されるように解釈されるべきである。

本発明の目的では、
（１）用語“ロボット器具”は、極座標ロボットによって保持される器具の全ての構造的構成を広く包含するものである。
（２）用語“器具”は、以下に限られないが、あらゆるタイプの、スコープ、グラスパ、カッター、及び超音波プローブを含め、技術的に知られるあらゆる全ての器具や道具などを広く包含するものである。
（３）用語“極座標ロボット”は、本発明の分野において理解されように、また、ここで例示的に説明されるように、遠隔運動中心（“ＲＣＭ”）を実現するようにアームセグメントを同軸接続する１つ以上のジョイントのモーター化制御を有するように構造的に構成されたあらゆるロボット装置を広く包含するものである。
（４）用語“ＲＣＭ長さ”は、本発明の分野において理解されように、また、ここで例示的に説明されるように、極座標ロボットのＲＣＭと、極座標ロボットによって保持されている器具の遠位端との間の距離の長さを広く包含するものである。

本発明の第２の形態は、専ら又は包含的に内視鏡を含むロボット器具と、Ｘ線モダリティによる上述のＸ線画像の生成に応答して、また更に、ロボット器具によるＸ線画像空間の１つ以上の内視鏡画像の生成に応答して、ロボット器具の焦点長さを校正する校正コントローラを使用するワークステーションとを含む。ロボット器具のＲＣＭ長さ及び焦点長さの校正により、校正コントローラは更に、表示のためのＸ線画像と（１つ以上の）内視鏡画像との画像統合を制御し得る。

本発明の目的では、以下に限られないが、“内視鏡画像”、“画像統合（インテグレーション）”、“表示”を更に含む技術用語は、本発明の分野において理解されように、また、ここで例示的に説明されるように解釈されるべきである。

本発明の目的では、用語“内視鏡”は、本発明の分野において理解されように、また、ここで例示的に説明されるように、体の内側から撮像する能力を有するように構造的に構成されたあらゆる装置を広く包含するものである。

内視鏡の例は、以下に限られないが、フレキシブル又はリジッドな、あらゆるタイプのスコープ（例えば、内視鏡、関節鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、胃カメラ、子宮鏡、腹腔鏡、喉頭鏡、神経鏡、耳鏡、プッシュ式腸内鏡、鼻喉頭鏡、Ｓ状結腸鏡、洞鏡、胸郭鏡、膣鏡、胸腔鏡、神経内鏡など）、及び画像システムを備えたスコープと同様のあらゆる装置を含む。撮像はローカルであり、光ファイバ、レンズ、及び小型化された（例えばＣＣＤベースの）撮像システム（例えば、腹腔鏡超音波）を用いて光学的に表面画像が取得され得る。

本発明の目的では、用語“焦点長さ”は、本発明の分野において理解されように、また、ここで例示的に説明されるように、遠位焦点端から延在する内視鏡の視野の長さを広く包含するものである。

用語“コントローラ”は、ここで後述する本発明の様々な発明原理の適用を制御するワークステーションに収容又は結合される特定用途向けメインボード又は特定用途向け集積回路の全ての構造的構成を広く包含するものである。コントローラの構造的構成は、以下に限られないが、（１つ以上の）プロセッサ、（１つ以上の）コンピュータ使用可能／コンピュータ読み取り可能な記憶媒体、オペレーティングシステム、（１つ以上の）アプリケーションモジュール、（１つ以上の）周辺装置コントローラ、（１つ以上の）スロット、及び（１つ以上の）ポートを含み得る。

ワークステーションの例は、以下に限られないが、１つ以上のコンピューティング装置（例えば、クライアントコンピュータ、デスクトップ、及びタブレット）と、ディスプレイ／モニタと、１つ以上の入力装置（例えば、キーボード、ジョイスティック、及びマウス）とのアセンブリを含む。

本発明の第３の形態は、
Ｘ線モダリティのＸ線画像空間内に遠位端を持つ内視鏡を含んだロボット器具を校正する校正コントローラであって、
Ｘ線画像及び（１つ以上の）内視鏡画像に応答して、ロボット器具のＲＣＭ長さ及び焦点長さを校正するロボット器具キャリブレータと、ロボット器具キャリブレータによるロボット器具のＲＣＭ長さ及び焦点長さの校正に応じて、Ｘ線画像と（１つ以上の）内視鏡画像とを統合する画像インテグレータとの形態をしたアプリケーションモジュールを使用する校正コントローラである。

本発明の目的では、用語“アプリケーションモジュール”は、特定のアプリケーションを実行するための電子回路及び／又は実行可能プログラム（例えば、実行可能ソフトウェア及び／又はファームウェア）で構成されるコントローラのコンポーネントを広く包含するものである。

本発明の以上の形態及びその他の形態、並びに本発明の様々な特徴及び利点が、本発明の様々な実施形態の以下の詳細な説明が添付の図面とともに読まれることで、更に明らかになる。詳細な説明及び図面は、本発明を限定するものではなく単に例示するものであり、本発明の範囲は、添付の請求項及びその均等範囲によって定められる。

本発明の発明原理に従った低侵襲処置及びコントローラスイートの例示的な一実施形態を示している。 本発明の発明原理に従った低侵襲制御システムの例示的な一実施形態を示している。 本発明の発明原理に従ったロボット内視鏡の例示的な一実施形態を示している。 本発明の発明原理に従った低侵襲制御システムに基づくワークステーションの例示的な一実施形態を示している。 本発明の発明原理に従ったＲＣＭ長さ計算法の例示的な一実施形態を表すフローチャートを示している。 図５に示したフローチャートの例示的な実行を示している。 図５に示したフローチャートの例示的な実行を示している。 図５に示したフローチャートの例示的な実行を示している。 図５に示したフローチャートの例示的な実行を示している。 図５に示したフローチャートの例示的な実行を示している。 本発明の発明原理に従った焦点長さ計算法の例示的な一実施形態を表すフローチャートを示している。 図７に示したフローチャートの例示的な実行を示している。 図７に示したフローチャートの例示的な実行を示している。 図７に示したフローチャートの例示的な実行を示している。 図７に示したフローチャートの例示的な実行を示している。 本発明の発明原理に従ったＸ線画像及び内視鏡画像の例示的な画像統合を示している。 本発明の発明原理に従ったＸ線画像及び内視鏡画像の例示的な画像統合を示している。 本発明の発明原理に従ったＸ線画像及び内視鏡画像の例示的な画像統合を示している。 本発明の発明原理に従ったＸ線画像及び内視鏡画像の例示的な画像統合を示している。

本発明の理解を容易にするため、以下の図１及び２の説明は、コントローラネットワーク２０によって遂行される低侵襲処置に関する画像ベースロボット内視鏡制御スキーム１０の基本的な発明原理を教示する。本発明の目的では、用語“ロボット内視鏡”は、極座標ロボットによって保持される内視鏡の全ての構造的構成を広く包含するものである。この説明から、当業者は、内視鏡を含まない又は含むロボット器具を組み入れる様々な低侵襲処置への本発明の発明原理の適用の仕方を理解することになる。

図１を参照するに、制御スキーム１０は、ロボット内視鏡校正段階１１、画像統合段階１２、及びロボット内視鏡誘導段階１３を含んでいる。

概して、ロボット内視鏡校正段階１１は、図２に関連してここで更に説明されることになるように、ロボット内視鏡のＲＣＭ長さ及び焦点長さを校正する目的で、Ｘ線画像空間内で、ロボット内視鏡の遠位焦点端のＸ線画像を収集することを含む。

これらの校正から、画像統合段階１２は、図２に関連してここで更に説明されることになるように、低侵襲処置中に（１つ以上の）解剖学的標的のＸ線位置特定を支援する目的で、Ｘ線画像及び内視鏡画像を統合することを含む。

この画像統合から、ロボット内視鏡誘導段階１３は、図２に関連してここで更に説明されることになるように、ロボット内視鏡を解剖学的標的にＸ線誘導することを含み、それにより、内視鏡画像内で標的が中心にされ得る。

制御スキーム１０を実装するため、コントローラネットワーク２０が、Ｘ線コントローラ３０、ロボット内視鏡コントローラ４０、校正コントローラ５０、及びディスプレイコントローラ６０を使用する。

Ｘ線コントローラ３０は構造的に、Ｘ線モダリティの撮像動作を制御するために技術的に知られているように構成され、ロボット内視鏡コントローラ４０は構造的に、ロボット内視鏡の撮像動作を制御するために技術的に知られているように構成され、ディスプレイコントローラ６０は構造的に、ディスプレイ／モニタの動作を制御するために技術的に知られているように構成される。

校正コントローラ５０は構造的に、図２に関連してここで更に説明されることになるように、ロボット内視鏡のＲＣＭ長さ及び焦点長さの校正を制御するために、本発明の発明原理に従って構成される。

実際には、コントローラネットワーク２０は、単一のワークステーションの中に組み込まれてもよいし、何らかのやり方で複数のワークステーション間に分散されてもよい。

図２は、コントローラネットワーク２０による制御スキーム１０の例示的な実装を示している。

図１及び２を参照するに、Ｘ線コントローラ３０は、Ｘ線源３３とイメージインテンシファイア３４との間に延在するＸ線画像空間３５のＸ線画像３６を収集するために、技術的に理解されるように、Ｘ線源３３及びイメージインテンシファイア３４を使用するＸ線モダリティ３２の動作を制御するためのＸ線作動コマンド３１を生成する。

ロボット内視鏡コントローラ４０は、技術的に理解されるように、内視鏡４５の遠位焦点端４６を介して内視鏡ビデオ信号を収集するために、極座標ロボット４３によって保持されている内視鏡４５によって構造的に画成されるロボット内視鏡４２の動作を制御するためのロボット作動コマンド４１を生成する。より具体的には、極座標ロボット４３は構造的に、内視鏡４５の長尺軸に沿って遠位焦点端４６に位置を揃えられた遠隔運動中心４４を確立する。技術的に理解されるように、内視鏡４５からの内視鏡ビデオ信号をコンピュータ読み取り可能な内視鏡画像の時間フレームシーケンス（“ＥＩＦ”）へと変換する能力を、ビデオキャプチャ装置４７が備える。実際には、ビデオキャプチャ装置４７は、内視鏡ビデオ信号から個々のデジタルスチルフレームをキャプチャするための何らかのタイプのフレームグラバ（捕捉部）を使用し得る。

技術的に理解されるように、ＲＣＭ長さとは、極座標ロボット４３のＲＣＭ４４と内視鏡４５の遠位焦点端４６との間の距離であり、焦点長さとは、遠位焦点端４６から延在する内視鏡４５の視野の長さであり、これらの長さは、ロボット内視鏡校正段階１１の実行前には未知である。

段階１１にてこれらの長さを校正するため、校正コントローラ５０は、ＲＣＭ長さを校正するためのＲＣＭ長さ校正部５１ａと、ロボット内視鏡４２の焦点長さを校正するための焦点長さ校正部５１ｂとを含むロボット内視鏡キャリブレータ５１を使用する。実際には、ロボット内視鏡キャリブレータ５１は、技術的に理解されるようにＸ線座標空間内でのＸ線画像空間３５の具体的な位置決めを命令するための、Ｘ線コントローラ３０へのＸ線校正コマンド５３を生成し、且つ／或いは、技術的に理解されるように極座標ロボット４３のロボット座標空間内でのロボット内視鏡４２の具体的な位置決めを命令するための、ロボット内視鏡コントローラ４０へのロボット校正コマンド５４を生成し得る。

ディスプレイコントローラ６０は、技術的に理解されるようにＸ線画像３６及び内視鏡画像４８を個別に又は統合して示すためにディスプレイ／モニタ６２の動作を制御する。統合画像について、校正コントローラ５０は更に、校正された長さに基づいてＸ線画像３６と内視鏡画像４８とを統合する画像インテグレータ５２を使用する。画像統合から、画像インテグレータ５２は、画像統合データ５６をディスプレイコントローラ６０に提供し、それにより、ディスプレイコントローラ６０が、ディスプレイ／モニタ６２による表示のための統合Ｘ線／内視鏡画像６１を生成する。

図１及び２をなおも参照して、以下にて、コントローラネットワーク２０による制御スキーム１０の実行を説明する。

ロボット内視鏡校正段階１１
Ｘ線画像空間３５内の内視鏡４５の遠位焦点端４６の複数の異なる姿勢のＸ線画像３６から、ロボット内視鏡キャリブレータ５１によって長さ校正が実行される。

実際には、内視鏡４５は、Ｘ線画像空間内の唯一の物体であってもよいし、他の物体（例えば、解剖学的ファントム物体）及び／又は患者を伴っていてもよい。患者ありの場合、好ましくは、患者に追加の電離放射線を導入する必要なく、診断手順中にＸ線画像３６が収集される。

実際には、Ｘ線コントローラ３０が、ユーザ指令されて、あるいはロボット内視鏡キャリブレータ５１からのＸ線校正コマンド５３に応答して、Ｘ線画像空間３５内の内視鏡４５の遠位焦点端４６の異なる姿勢のＸ線画像３６を収集するのに必要なように、Ｘ線源３３及びイメージインテンシファイア３４を位置付け得る。Ｘ線画像３６の収集の最中に（すなわち、オンザフライで）、又はそれに続いて、長さ校正が実行され得る。さらに、ロボット内視鏡コントローラ４０が、ユーザ指令されて、あるいはロボット内視鏡キャリブレータ５１からのロボット校正コマンド５４に応答して、長さ校正を容易にするのに必要なように、Ｘ線画像空間３５内で遠位焦点端４６を異なる姿勢にて位置付け得る。

ＲＣＭ長さ校正では、ＲＣＭ長さ校正部５１ａが、図５及び６Ａ−６Ｅに関連してここで更に説明されることになるように、２つ以上のＸ線画像３６を処理する。焦点長さ校正では、焦点長さ校正部５１ｂが、図７及び８Ａ−８Ｄに関連してここで更に説明されることになるように、３つ以上のＸ線画像３６を処理する。実際には、校正部５１ａ及び５１ｂは、これらの長さ校正を順次又は同時に実行し得る。また、校正部５１ａ及び５１ｂは、更なるＸ線画像３６を用いて再校正又は精緻化され得る当初の長さ校正を実行する。

画像統合段階１２
長さ校正の間の及び／又はそれに続く任意の時点で、画像インテグレータ５２によって画像統合が実行される。

実際には、段階１２において、図９Ａ−９Ｄに関連してここで更に説明されるように、以下に限られないが、Ｘ線ポイント投影技術、内視鏡ポイント投影技術、内視鏡オーバレイ・オン・Ｘ線技術、及びＸ線／内視鏡画像融合技術を含め、何らかの知られた画像統合技術が、画像インテグレータ５２によって実行され得る。

ロボット内視鏡誘導段階１３
当初の長さ校正及びその再校正の完了を受けて、及び何らかの精緻化校正中に、ロボット内視鏡キャリブレータ５１によって提供された、長さ校正の情報を与える長さ校正データ５５の処理を介して、ロボット内視鏡コントローラ４０により、ロボット内視鏡４２の誘導が実行される。

実際には、段階１３において、以下に限られないが、Ｘ線画像３６内の標的ポイントの選択を含め、何らかの知られたロボット誘導技術が、ロボット内視鏡コントローラ４０によって実行され、それにより、ロボット内視鏡コントローラ４０が、標的ポイントを内視鏡画像４８内の中心に置いてＸ線画像空間３５内に遠位焦点端４６を位置付けるためのロボット作動コマンド４１を生成し得る。

低侵襲処置
実際には、段階１１及び／又は１２は、段階１３を組み入れる低侵襲処置の実行の前及び／又は最中に実行され得る。従って、段階１１における校正コントローラ５０による長さ校正は、ユーザ始動されてもよいし、Ｘ線画像３６の最初の収集に応答したものであってもよい。何れの場合も、コントローラネットワーク２０は、必要に応じて、当初の長さ校正の後まで低侵襲処置の実行を防止する安全対策を実行してもよい。

本発明の更なる理解を容易にするため、以下の図３−９の説明は、図３に示すロボット内視鏡を組み入れる長さ校正法の基本的な発明原理を教示する。この説明から、当業者は、他のロボット内視鏡へのこの長さ校正法の発明原理の適用の仕方を理解することになる。

図３を参照するに、極座標ロボット７０は、回転軸ＲＡ１を持つアクチュエータ７１と、回転軸ＲＡ２を持つアクチュエータ７２と、支持アーク７３と、回転軸ＥＡを持つ金属製内視鏡８０を保持するエンドイフェクタ７５を含む器具アーク７４とを使用する。支持アーク７３は、アクチュエータ７１及びアクチュエータ７２に同軸接続され、器具アーク７４は、アクチュエータ７２に同軸接続されている。重要なことには、
（１）回転軸ＲＡ１、ＲＡ２及びＥＡは、極座標ロボット７０の遠隔運動中心７６で交差し、
（２）支持アーク７３のベースアーチ長θ_Ｂは、回転軸ＲＡ１とＲＡ２との間を延在し、
（３）器具アーク７４の延在アーク長θ_Ｅ１は、回転軸ＲＡ１とＥＡとの間を延在し、
（４）アクチュエータ７１は、内視鏡８０の遠位焦点端８２の幅広い動きを制御するために所望の角度φ_１で回転軸ＲＡ１を中心にアーク７３及び７４を共に回転させるように命令されることができ、
（５）アクチュエータ７２は、内視鏡８０の遠位焦点端８２の狙いを定めた動きを制御するために所望の角度φ_２で回転軸ＲＡ２を中心に器具アーク７４を回転させるように命令されることができ、
（６）エンドイフェクタ７５は、手動で、又は制御されて、内視鏡８０をその回転軸ＥＡを中心に回転させる能力を持ち、
（７）ＲＣＭ長さＬ_ＲＣＭは、ＲＣＭ７６と遠位焦点端８２との間の距離であり、且つ
（８）焦点長さ（図示せず）は、内視鏡８０のアイピース８１から見える遠位焦点端８２から延在する内視鏡８０の視野の長さである。

図３及び４を参照するに、Ｘ線モダリティ９０は、Ｘ線画像空間９４を確立するようにＸ線源９２とイメージインテンシファイア９３とを位置合わせしているＣアーム９１を使用する。Ｘ線テーブル９５に取り付けられた受動アーム９６にロボット７０が取り付けられ、それにより、遠位焦点端８２がＸ線画像空間９４内に位置付けられ、また、ＲＣＭ７６は、Ｘ線画像空間９４内に位置付けられることもあるし、そうでないこともある。

図３及び４をなおも参照するに、校正ワークステーション１００は、モニタ１０１と、インタフェースプラットフォーム１０２（例えば、キーボード、ボタン、ダイアル、ジョイスティックなど）と、クライアントコンピュータ１０３と、ワークステーションコンピュータ１０３内に組み込まれたコントローラネットワーク１０４とを使用する。

コントローラネットワーク１０４は、Ｘ線コントローラ１０５と、ロボット内視鏡コントローラ１０６と、校正コントローラ１０７と、ディスプレイコントローラ１０８とを含んでいる。実際には、コントローラ１０５−１０８は、クライアントコンピュータ１０３の中で、分割されていてもよいし、何らかの程度で統合されていてもよい。代替例では、Ｘ線コントローラ１０５は、Ｘ線モダリティ９０のワークステーション（図示せず）に組み込まれていてもよく、また、内視鏡コントローラ１０６は、ロボット７０のワークステーション（図示せず）に組み込まれていてもよく、それにより、クライアントコンピュータ１０３は、必要に応じてＸ線コントローラ１０５及び／又は内視鏡コントローラ１０６にアクセスするためにモニタ１０１及びユーザインタフェース１０２を介したユーザインタフェースを提供する。このような代替例に関し、ディスプレイコントローラ１０８は、各ワークステーションに組み込まれてもよい。

ワークステーションコンピュータ１０３は、今から図５−９Ｄに関連してここで説明されるように、コントローラネットワーク１０４による長さ校正法の実行を支援するよう、極座標ロボット７０、内視鏡８０、及びＸ線モダリティ９０に接続／結合される。

図５は、本発明のＲＣＭ長さ校正法を表すフローチャート１１０を例示している。

図３−５を参照するに、フローチャート１１０の理解を容易にするために、図６Ａ−６Ｅに示されるような、Ｘ線画像空間９４内の患者の心臓に対して異なる姿勢Ｅ１及びＥ２の遠位焦点端８２の２つの例示的なＸ線画像９７（Ｘ１）及び９７（Ｘ２）が提供される。Ｘ線画像９７の収集は、Ｃアーム９１を静止して位置付けることと、ユーザ命令されるように、又は校正コントローラ１０７によって作動命令されるように、Ｘ線画像空間９４内の遠位焦点端８２の姿勢Ｅ１とＥ２との間でロボット７０を動的に位置付けることとを含む。

図３−５を参照するに、フローチャートのステージＳ１１２は、校正コントローラ１０７が、Ｘ線画像９７（Ｘ１）の画像平面内で内視鏡８０の輪郭を描くことを含む。この目的で、校正コントローラ１０７は、以下の一連のステップを実行する。

第１に、校正コントローラ１０７は、黒色画素閾値を適用して、図６Ａに示されるＸ線画像空間内の金属製内視鏡８０の姿勢Ｅ１を表すＸ線画像９７（Ｘ１）の高減衰領域を選択する。

第２に、校正コントローラ１０７は、輪郭フィッティング技術を実行して、フリーフォーム（自由造形）輪郭で内視鏡の外形を描く。輪郭フィッティング技術の例は、以下に限られないが、動的輪郭法及び境界線追跡法を含む。実際には、黒色画素閾値分け及び輪郭の短寸法性からのノイズに対処するために、最小の輪郭長さが使用され得る。

校正コントローラ１０７は、このフリーフォーム輪郭を、図６Ｃに示されるように内視鏡姿勢８０（Ｅ１）の四辺で縁取られた多角形８３（ＣＰ１）をフィッティングする最小二乗フィッティング法への入力として使用する。注目すべきことには、このステップは、遠近法による変形及び平面切断の関数として、内視鏡８０がＸ線画像９７（Ｘ１）内で凸四辺形として見え得ることに依拠している。

第３に、校正コントローラ１０７は、Ｘ線画像９７（Ｘ１）の画像平面内で、輪郭多角形８３（ＣＰ１）の遠位端から、内視鏡８０（Ｅ１）の推定ＲＣＭ長さを超える距離で延在する、図６Ｃに示されるような主軸８４（ＰＡ１）を計算する。主軸８４（ＰＡ１）は、以下に限られないがハフ変換を含め、何らかの知られたモデル化技術に従って計算され得る。

第４に、校正コントローラ１０７は、主軸８４（Ｐ１）の垂線に沿って内視鏡８０（Ｅ１）の平均厚さｔｈｘ_Ｅ１を計算する。内視鏡８０（Ｅ１）の平均厚さｔｈｘ_Ｅ１は、以下に限られないがハフ変換を含め、何らかの知られたモデル化技術に従って計算され得る。

第５に、校正コントローラ１０７は、ｔ_Ｅ１＝［ｘｔ_Ｅ１，ｙｔ_Ｅ１］として記録するＸ線座標空間内の位置にて、Ｘ線画像９７（Ｘ１）内の内視鏡８０（Ｅ１）の遠位焦点端を検出する。

これら５つのステップが、図６Ｂに示されるＸ線画像９７（Ｘ２）に関して繰り返されることで、Ｘ線画像９７（Ｘ２）の画像平面内で輪郭多角形８３（ＣＰ２）の遠位端から延在する図６Ｄに示されるような主軸８４（ＰＡ２）の計算と、主軸８４（ＰＡ２）の垂線に沿った内視鏡８０（Ｅ２）の平均厚さｔｈｘ_Ｅ２の計算と、ｔ_Ｅ２＝［ｘｔ_Ｅ２，ｙｔ_Ｅ２］として記録されるＸ線座標空間内の位置での内視鏡８０（Ｅ２）の遠位焦点端の検出とがもたらされる。

フローチャート１１０のステージＳ１１４は、校正コントローラ１０７が、図３に示されるような内視鏡ＲＣＭ長さＬ_ＲＣＭを計算することを含む。この目的のため、校正コントローラ１０７は、以下の一連のステップを実行する。

第１に、校正コントローラ１０７は、図６Ｅに示されるようなＲＣＭ交差８５を、Ｘ線画像９７（Ｘ１）及び９７（Ｘ２）の等しい画像平面内での主軸８４（ＰＡ１）と主軸８４（ＰＡ２）との交差上の点として検出する。

第２に、校正コントローラ１０７は、ＲＣＭ交差８５と先に検出された内視鏡８０（Ｅ１）の遠位焦点端との間の主軸８４（ＰＡ１）のＲＣＭ長さＬ_ＲＣＭ１と、ＲＣＭ交差８５と先に検出された内視鏡８０（Ｅ２）の遠位焦点端との間の主軸８４（ＰＡ２）のＲＣＭ長さＬ_ＲＣＭ２とを計算する。実際には、ＲＣＭ長さＬ_ＲＣＭ１及びＲＣＭ長さＬ_ＲＣＭ２は、画素数によって規定されるユークリッド距離として計算され得る。

第３に、校正コントローラ１０７は、次式［１］：
Ｄ_Ｅ＝ｆ＊（ｔｈ_Ｅ／ｔｈ_ｘ） ［１］
に従って、イメージインテンシファイア９３からの内視鏡８０の深さＤ_Ｅを計算する。ただし、
ｆは、Ｘ線画像空間９４の焦点長さであり（ＤＩＣＯＭにおけるＳＩＤタグから分かる）、
ｔｈ_Ｅは、既知の又は推定される内視鏡８０の厚さであり、そして
ｔｈ_ｘは、画像化された内視鏡８０（Ｅ１）及び内視鏡８０（Ｅ２）の平均厚さ（ｔｈｘ_Ｅ１＋ｔｈｘ_Ｅ２）／２である。

実際には、内視鏡厚さｔｈ_Ｅの推定に関し、大抵の商業的に知られた内視鏡は、５ｍｍ又は１０ｍｍの厚さを有している。従って、校正コントローラ１０７は、全ての取り得るサイズについて深さを計算し、更なる経験則を用いて内視鏡厚さｔｈ_Ｅを決定し得る。例えば、Ｃアーム９１の回転中心の付近±２００ｍｍに内視鏡８０が配置されることが見込まれ得る。この情報を用いて、推定の目的で、適切な内視鏡厚さｔｈ_Ｅが校正コントローラによって選択され得る。さらに、術中Ｘ線コントローラ１０５が患者平面を計算してもよく、これがＸ線モダリティ９０のＤＩＣＯＭ情報に追加され、それにより、校正コントローラは、患者平面に最も近い深さに合致する内視鏡厚さｔｈ_Ｅを選択し得る。

Ｘ線撮像が数学的にピンホールカメラに等価であるとの概算を用いて、校正コントローラ１０７は、次式［２］：
Ｌ_ＲＣＭ＝（ｆ＊Ｄ_Ｅ）／Ｌ_ＲＣＭＸ ［２］
に従って、内視鏡ＲＣＭ長さＬ_ＲＣＭを計算する。ただし、
ｆは、Ｘ線画像空間９４の焦点長さであり（ＤＩＣＯＭにおけるＳＩＤタグから分かる）、
Ｄ_Ｅは、式［１］に従った、イメージインテンシファイア９３からの内視鏡８０の深さであり、そして
Ｌ_ＲＣＭＸは、画像化された内視鏡８０（Ｅ１）及び内視鏡８０（Ｅ２）の平均ＲＣＭ長さ（Ｌ_ＲＣＭ１＋Ｌ_ＲＣＭ２）／２である。

フローチャート１１０の終了を受けて、校正コントローラ１０７は、画像統合及びロボット内視鏡誘導の目的のため、ロボット内視鏡のＲＣＭ長さを校正されたことになる。

図７は、本発明のＲＣＭ長さ校正法を表すフローチャート１２０を例示している。

図３、４及び７を参照するに、フローチャート１２０の理解を容易にするために、図８Ａ−８Ｄに示されるような、Ｘ線画像空間９４内の患者の心臓に対して異なる姿勢Ｅ１、Ｅ２及びＥ３の遠位焦点端８２の３つの例示的なＸ線画像９７（Ｘ１）、９７（Ｘ２）及び９７（Ｘ３）が提供される。Ｘ線画像９７の収集は、Ｃアーム９１を静止して位置付けることと、ユーザ命令されるように、又は校正コントローラ１０７によって作動命令されるように、Ｘ線画像空間９４内の遠位焦点端８２の姿勢Ｅ１−Ｅ３の間でロボット７０を動的に位置付けることとを含む。

フローチャート１２０は、Ｃアーム座標空間９８（図８Ｂ）とＸ線画像空間９４（図４）とが、ステージＳ１１４（図５）に関連してここで先述したようにして計算されるか、又は次式［３］及び［４］：
ｘ＝ｆｘ＊（Ｘ／Ｚ） ［３］
ｙ＝ｆｙ＊（Ｙ／Ｚ） ［４］
に従ってＤＩＣＯＭから推定されるかである既知の焦点長さｆｘ及び既知の深さ（Ｚ）を介して関係付けられることを前提とする。ただし、
ｘ及びｙは、Ｘ線画像空間９４（図３）でのインデックスであり、そして
Ｘ、Ｙ、Ｚは、Ｃアーム座標空間９８（図８Ｂ）の点（ポイント）である。

ロボット座標空間及び内視鏡座標空間は、内視鏡８０の焦点長さｆ_Ｃが分かっていないので校正されていない。ピンホールモデルが、次式［５］：

に従うと仮定すると、Ｃアーム座標空間９８内の３Ｄの点［Ｘ，Ｙ，Ｚ］に対し、［ｘｅ，ｙｅ］が内視鏡画像空間８８（図８Ｂ）内の点となる。ただし、^ｅＴ_ｃは、Ｃアーム座標と内視鏡座標との間での座標変換である。

カメラは内視鏡８０の遠位焦点端にあり、ロボットイフェクタ端のロボットＲＣＭ７６（図３）への変換^ｅＴ_ｒは、ロボット運動学及びＲＣＭ長さＬ_ＲＣＭ（図３）から、以下の式［６］−［２６］：

に従って分かる。

従って、変換^ｅＴ_ｃは、次式［２７］：
^ｅＴ_ｃは＝^ｔＴ_ｃ＝^ｔＴ_ｒ ^ｒＴ_ｃ ［２７］
によって表され得る。ただし、
^ｔＴ_ｃは、Ｃアーム９０からロボットイフェクタ先端７５への変換であり、
^ｔＴ_ｒは、ロボット７０からロボットイフェクタ先端７５への変換であり、そして、
^ｒＴ_ｃは、Ｃアーム９０からロボット７０への変換である。

焦点長さｆｃを計算するため、フローチャート１２０は、Ｘ線画像と内視鏡画像との間のポイントマッチング［ｘ ｙ］←→［ｘｅ ｙｅ］と、^ｒＴ_ｃと、Ｃアーム撮像モデルから取り出され得る３ＤポイントＸ，Ｙ，Ｚとを使用する。

具体的には、フローチャート１２０のステージＳ１２２は、校正コントローラ１０７が、ロボット７０をＣアームに対してレジストレーションすることを含む。このレジストレーションは、６つの未知変数（３つの回転及び３つの並進）を決定するために各々２つのデータポイント（ｘ及びｙ）を有する３つのＸ線画像９７（図８Ａ）を必要とする画像ベースの方法を用いて達成される。

第１に、全てのＸ線画像９７について、校正コントローラ１０７は、Ｘ線画像空間９４における内視鏡８０の遠位焦点端の位置を検出するとともに、ロボット座標空間における検出された位置を記録する。

第２に、校正コントローラ１０７は、Ｃアーム９１のモデル及び既知の深さから、Ｃアーム３Ｄ空間９８における内視鏡８０の遠位焦点端の位置を計算する。

第３に、校正コントローラ１０７は、検出／計算された位置から、知られたポイントベースのレジストレーションを実行する。実際には、校正コントローラ１０７は、レジストレーションの現在の残余誤差をワークステーションのユーザ／オペレータに指し示し、それにより、ユーザ／オペレータが、残余誤差を最小化するために、選択的に追加のＸ線画像を収集し得る。

フローチャート１２０のステージＳ１２４は、校正コントローラ１０７が、Ｘ線画像と内視鏡画像との間のポイントマッチング（［ｘ ｙ］←→［ｘｅ ｙｅ］）を実行ことを含む。実際には、双方の画像内で見える少なくとも１つのポイントが特定されなければならない。この特定は、例えば、図８Ｃに示されるように、Ｘ線画像９７及び内視鏡画像８６の双方内で動脈分岐部をマーキングすることによってなど、手動で行われ得る。他の例では、Ｘ線画像及び内視鏡画像が術前画像（例えば、ＭＲＩ又はＣＴ画像）に対してレジストレーションされる場合、校正コントローラ１０７は、例えば、図８Ｄに示されるように、Ｘ線画像９７及び内視鏡画像８６の中で校正コントローラ１０７によって特定されるレジストレーションされたＭＲＩ画像のポイントなど、双方の画像内で視認可能なポイントを特定し得る。

フローチャート１２０のステージＳ１２６は、校正コントローラ１０７が、ステージＳ１２２及びＳ１２４にて計算されたデータから、上述の式［５］：

に従った式に従って、内視鏡の焦点長さｆｃを計算することを含む。

図５及び７を参照するに、実際には、校正コントローラ１０７は、フローチャート１１０及び１２０を順次又は同時に実行し得る。また、校正コントローラ１０７は、更なるＸ線画像を用いて再校正又は精緻化され得る当初の長さ校正を実行する。

段階１２（図１）に関して先述したように、長さ校正により、知られた画像統合技術が、図９Ａに例示的に示されるようなＸ線ポイント投影１４０、図９Ｂに例示的に示されるような内視鏡ポイント投影１４１、図９Ｃに例示的に示されるような内視鏡オーバレイ・オン・Ｘ線１４２ポイント投影、及び、図９Ｄに例示的に示されるようなＸ線／内視鏡画像融合によって実行され得る。

具体的には、図９Ａを参照するに、Ｘ線ポイント投影１４０は、校正コントローラ１０７によってＣアーム座標空間に三角測量されたＸ線画像９７（Ｘ１）及び９７（Ｘ２）の中でユーザ特定された標的ポイントが、双方の撮像モダリティのピンホールモデル及び内視鏡８０の既知の校正を用いて、内視鏡８０の画像空間へと投影される。例えば、図示のように、Ｘ線空間内で特定された狭窄が内視鏡画像空間上に投影されることで、内視鏡画像内でバイパスのための位置を特定することを可能にし得る。この投影は、内視鏡の視野の内側であることもあるし、外部で、画像の拡張平面上に投影されることもある。

図９Ｂを参照するに、同じ投影法を用いて、２つの内視鏡画像８６からのポイントがＸ線画像９７に投影される。このタイプの投影のため、校正コントローラ１０７は、Ｃアーム９１の最適位置を計算することによってＸ線画像収集をガイドし、それにより、内視鏡画像の特定の部分が、遠近法で小さくなることを最小にして収集され、あるいは最小数のＸ線収集で発見される。

図９Ｃを参照するに、内視鏡画像のオーバレイ８７が計算され、また、ロボット７０の少なくとも１つの動きを受けてオーバレイ８７がＣアーム座標空間で再計算され、そして、Ｘ線画像９７（Ｘ１）上に投影される。

図９Ｄを参照するに、Ｘ線画像９７’及び内視鏡画像８７が、同一の座標フレーム内で共に融合される。図示のように、校正コントローラ１０７は、内視鏡画像８７の視点からＸ線画像９７’が眺められるように、透視変換を用いてＸ線画像９７（図９Ｃ）を変形する。内視鏡８０と同じようにＣアーム９１を方向付けることが実際的でない（例えば、内視鏡８０が、そのＣアーム方向からのｘ線画像を妨害している）場合、この可視化は、内視鏡８０の視野を拡大するのに役立つ。

段階１３（図１）に関して先述したように、長さ校正及び画像統合により、今や、ロボット内視鏡７０／８０（図３）は、Ｘ線画像内での標的ポイントのユーザ選択によって、Ｘ線画像から誘導されることができ、それにより、ロボット内視鏡が、標的ポイントを内視鏡画像の中心とするように位置付けられることになる。

図１−９を参照するに、以下に限られないが、ワークフローの最小限の停止でロボット内視鏡を校正するロバストな手段を含め、本発明の数多くの利益が当業者によって理解されることになる。

また、ここに提供された教示に鑑みて当業者が理解するように、本開示／明細書に記載され且つ／或いは図１−９に描かれた機構、要素、コンポーネントなどは、電子部品／回路、ハードウェア、実行可能なソフトウェア、及び実行可能なファームウェアの様々な組み合わせで実装されることができ、また、単一の要素又は複数の要素に組み合わされ得る機能群を提供する。例えば、図１−９に示され／図示され／描かれた様々な機構、要素、コンポーネント等の機能は、専用のハードウェア、及び適切なソフトウェアに関連するソフトウェアを実行することが可能なハードウェアの使用を通じて提供され得る。プロセッサによって提供されるとき、これらの機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は複数の個別のプロセッサによって提供されることができ、それらの一部が共有／多重化されてもよい。また、用語“プロセッサ”の明示的な使用は、ソフトウェアを実行することが可能なハードウェアを専ら指すようには解釈されるべきでなく、暗示的に、限定することなく、デジタル信号プロセッサ（“ＤＳＰ”）ハードウェア、メモリ（例えば、ソフトウェアを格納する読み出し専用メモリ（“ＲＯＭ”）、ランダムアクセスメモリ（“ＲＡＭ”）、不揮発性ストレージなど）、並びにプロセスを実行及び／又は制御することが可能な（且つ／或いはコンフィギュラブルな）事実上あらゆる手段及び／又は機械（ハードウェア、ソフトウェア、ファームウェア、回路、これらの組み合わせなどを含む）を含み得る。

また、発明の原理、態様、及び実施形態、並びにこれらの具体的な例を記載するここでの全ての陳述は、それらの構造的及び機能的双方の均等物を包含することが意図されている。さらに、意図されることには、そのような均等物は、現在知られている均等物と将来開発される均等物（例えば、構造にかかわらず、同じ又は実質的に同様の機能を果たすことができる開発要素）との双方を含むものである。故に、例えば、ここに提供された教示に鑑みて当業者によって理解されるように、ここに提示されたブロック図は、発明の原理を具現化する例示的なシステムコンポーネント及び／又は回路の概念図を表し得る。同様に、ここに提供された教示に鑑みて当業者が理解するはずのことには、フローチャート、フロー図、及びこれらに類するものは、コンピュータ読み取り可能記憶媒体にて実質的に表されることができ且つコンピュータ、プロセッサ、又はプロセッシング能力を持つその他のデバイスによってそのように実行されることができる様々なプロセスを表し得る（そのようなコンピュータ又はプロセッサが明示的に示されていようとなかろうと）。

さらに、本発明の例示的な実施形態は、例えばコンピュータ又は何らかの命令実行システムによって又はそれとともに使用されるプログラムコード及び／又は命令を提供するコンピュータ使用可能及び／又はコンピュータ読み取り可能な記憶媒体からアクセス可能なコンピュータプログラムプロダクト又はアプリケーションモジュールの形態をとることができる。本開示によれば、コンピュータ使用可能又はコンピュータ読み取り可能な記憶媒体は、命令実行システム、装置又はデバイスによる使用又はそれとともにの使用のためにプログラムを例えば含む、格納する、通信する、伝播する、又は輸送することができる如何なる装置ともし得る。そのような例示的な媒体は、例えば、電子式、磁気式、光学式、電磁気式、赤外線式、又は半導体のシステム（又は装置若しくはデバイス）、又は伝搬媒体とし得る。コンピュータ読み取り可能媒体の例は、例えば、半導体メモリ若しくはソリッドステートメモリ、磁気テープ、リムーバブルコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュ（ドライブ）、リジッドな磁気ディスク及び光ディスクを含む。光ディスクの現行例は、コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、書換可能コンパクトディスク（ＣＤ−Ｒ／Ｗ）、及びＤＶＤを含み得る。また、理解されるべきことには、今後開発され得る新しいコンピュータ読み取り可能媒体も、本発明及び開示の例示的な実施形態に従って使用又は参照され得るコンピュータ読み取り可能媒体と見なされるべきである。

なお、低侵襲処置のためのＸ線スイート内のロボット内視鏡に関する新規で独創的な校正手順の好適で例示的な実施形態を説明してきたが（これらの実施形態は例示的なものであって限定的なものではない）、図１−９を含め、ここに提供された教示を受けた当業者によって、変更及び変形が為され得る。故に、理解されるべきことには、本開示の好適で例示的な実施形態に、ここで開示された実施形態の範囲内である変更が為され得る。

また、企図されることには、本開示に従った装置を組み込む及び／又は実装する、又はそのような装置で使用／実装され得る、対応及び／又は関係するシステムも、本発明の範囲内であると見なされるものである。さらに、本開示に従った装置及び／又はシステムを製造及び／又は使用する対応及び／又は関係する方法も、本発明の範囲内であると見なされるものである。

Claims (15)

1. Ｘ線モダリティのＸ線画像空間内に遠位端を持つ内視鏡を含んだロボット器具を校正するワークステーションであって、
   前記Ｘ線画像空間内の前記ロボット器具の異なる姿勢での前記遠位端の複数のＸ線画像の、前記Ｘ線モダリティによる生成に応答して、前記ロボット器具のＲＣＭ長さの校正を制御するように動作する校正コントローラと、
   前記校正コントローラによる前記ロボット器具の前記ＲＣＭ長さの前記校正に応じて、前記Ｘ線画像空間内での前記ロボット器具の誘導を制御するように、前記校正コントローラと通信して動作するロボット器具コントローラと、
   を有するワークステーション。
2. 前記校正コントローラは、前記Ｘ線画像が前記Ｘ線モダリティによって生成されるときに、前記ロボット器具の前記ＲＣＭ長さの前記校正を制御するように動作する、請求項１に記載のワークステーション。
3. 前記校正コントローラによる前記ロボット器具の前記ＲＣＭ長さの前記校正の制御は、
   前記校正コントローラが、前記Ｘ線画像のうちの少なくとも２つに応じて、前記ロボット器具の前記ＲＣＭ長さを計算するように動作すること
   を含む、請求項１に記載のワークステーション。
4. 前記校正コントローラによる前記ロボット器具の前記ＲＣＭ長さの計算は、
   前記校正コントローラが、前記Ｘ線画像のうちの前記少なくとも２つの各々の画像平面内で前記ロボット器具を輪郭描写するように動作すること
   を含む、請求項３に記載のワークステーション。
5. 前記校正コントローラによる前記ロボット器具の前記ＲＣＭ長さの前記計算は更に、
   前記校正コントローラが、前記少なくとも２つのＸ線画像の前記画像平面内で輪郭描写された前記ロボット器具の交差点の関数として、前記ロボット器具の前記ＲＣＭ長さを計算するように動作すること
   を含む、請求項４に記載のワークステーション。
6. 前記校正コントローラは更に、前記Ｘ線画像の前記Ｘ線モダリティによる前記生成に応答して、また更に、前記Ｘ線画像空間の少なくとも１つの内視鏡画像の、前記ロボット器具による生成に応答して、前記ロボット器具の焦点長さの校正を制御するように動作する、
   請求項１に記載のワークステーション。
7. 前記校正コントローラは、前記Ｘ線画像が前記Ｘ線モダリティによって生成され、且つ前記少なくとも１つの内視鏡画像が前記ロボット器具によって生成されるときに、前記ロボット器具の前記焦点長さの前記校正を制御するように動作する、請求項６に記載のワークステーション。
8. 前記ロボット器具コントローラは更に、前記校正コントローラによる前記ロボット器具の前記ＲＣＭ長さ及び前記焦点長さの前記校正に応じて、前記Ｘ線画像空間内での前記ロボット器具の誘導を制御するように、前記校正コントローラと通信して動作する、請求項７に記載のワークステーション。
9. 前記校正コントローラは更に、前記ロボット器具の前記焦点長さの前記校正に応じて、前記Ｘ線画像と前記少なくとも１つの内視鏡画像とを統合するように動作する、請求項６に記載のワークステーション。
10. 前記校正コントローラによる前記Ｘ線画像と前記少なくとも１つの内視鏡画像との前記統合の表示を制御するように、前記校正コントローラと通信して動作するディスプレイコントローラ、
    を更に有する請求項９に記載のワークステーション。
11. 前記校正コントローラによる前記ロボット器具の前記焦点長さの前記校正の制御は、
    前記校正コントローラが、前記Ｘ線画像のうちの少なくとも３つ及び前記少なくとも１つの内視鏡画像に応じて、前記ロボット器具の前記焦点長さを計算するように動作すること
    を含む、請求項６に記載のワークステーション。
12. 前記校正コントローラによる前記焦点長さの計算は更に、
    前記校正コントローラが、前記少なくとも３つのＸ線画像に応じて、前記ロボット器具に対して前記Ｘ線モダリティをレジストレーションするように動作すること
    を含む、請求項１１に記載のワークステーション。
13. 前記校正コントローラによる前記ロボット器具の前記焦点長さの前記計算は更に、
    前記校正コントローラが、前記ロボット器具に対する前記Ｘ線モダリティのレジストレーションに基づいて、前記少なくとも３つのＸ線画像と前記少なくとも１つの内視鏡画像との間でポイントマッチングを実行するように動作すること
    を含む、請求項１２に記載のワークステーション。
14. 前記校正コントローラによる前記ロボット器具の前記焦点長さの前記計算は更に、
    前記校正コントローラが、前記ロボット器具に対する前記Ｘ線モダリティの前記レジストレーションに応じて、また更に、前記少なくとも３つのＸ線画像と前記少なくとも１つの内視鏡画像との間での前記ポイントマッチングに応じて、前記ロボット器具の前記焦点長さを計算するように動作すること
    を含む、請求項１３に記載のワークステーション。
15. Ｘ線モダリティのＸ線画像空間内に遠位端を持つ内視鏡を含んだロボット器具を校正する校正コントローラであって、
    前記Ｘ線画像空間内の前記ロボット器具の異なる姿勢での前記遠位端の複数のＸ線画像の、前記Ｘ線モダリティによる生成に応答して、また更に、前記Ｘ線画像空間の少なくとも１つの内視鏡画像の、前記ロボット器具による生成に応答して、前記ロボット器具のＲＣＭ長さ及び焦点長さを校正するように動作するロボット器具キャリブレータと、
    前記ロボット器具キャリブレータによる前記ロボット器具の前記ＲＣＭ長さ及び前記焦点長さの校正に応じて、前記Ｘ線画像と前記少なくとも１つの内視鏡画像とを統合するように、前記ロボット器具キャリブレータと通信して動作する画像インテグレータと、
    を有する校正コントローラ。

Images