JP5814938B2 - リアルタイム速度最適化を使用した校正不要のビジュアルサーボ - Google Patents

Description

本発明は、一般的には、ロボットプロセスにおけるロボットのビジュアルサーボに関する。特には、本発明は、低侵襲手術（ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｓｕｒｇｅｒｙ）における内視鏡ロボットのビジュアルサーボに関するものである。

一般的に、低侵襲手術は、画像処理能力を有する、長くて、フレキシブルな、もしくはリジッド（ｒｉｇｉｄ）な内視鏡を利用している。内視鏡を身体の自然開口部または小さな切り口から体内に挿入することにより、内視鏡は、外科医が手術を行う際に、アイピースを通して、もしくはスクリーン上で観察できる、関心領域の映像を提供する。

ビジュアルサーボとは、ビジュアル入力（画像入力）を使用してロボットの動作パラメーターを設定する、ロボットの制御方法である。この方法は、目標追従型ロボットや、自律型ロボットについて、使用されている。外科手術用のロボットにおいて、ビジュアルサーボは、解剖学上の対象（例えば、臓器）または外科的な対象（例えば、器官）に向かってロボットを案内するように、医学的画像のコントロールループにおいて使用されている。この領域におけるビジュアルサーボの標準的な画像のモダリティ（ｍｏｄａｌｉｔｙ）は、リジッドな内視鏡である。内視鏡のカメラ映像は、ロボットコントロールループに接続され、操作情報を提供している。

ビジュアルサーボのコントロールループを閉じるためには、画像座標（ｖｉｓｕａｌｃｏｏｒｄｉｎａｔｉｏｎ）とロボット関節空間（ｒｏｂｏｔｉｃ ｊｏｉｎｔ ｓｐａｃｅ）との間の数学的変換を確立する必要がある（画像ヤコビアン：Ｉｍａｇｅ Ｊａｃｏｂｉａｎ として参照される）。プロセス全体は、システム校正（ｓｙｓｔｅｍ ｃａｌｉｂｒａｔｉｏｎ）として参照され、カメラ校正やロボット校正といった、種々の段階が必要とされる。さらには、完全な校正を提供するには、カメラと検討中の臓器／対象物との間の深さを、画像から、もしくは特別なセンサーを使用して測定する必要がある。

より特定的には、カメラ校正とは、例えば、画像の光学的中心とか、両方向の焦点距離およびピクセルサイズといった、固有のカメラパラメーターを確立するプロセスである。通常これは、術前に行われるもので、校正対象物（通常は、チェス盤のようなもの）のいくつかの画像の獲得と、これらの画像からのパラメーターの算出を含んでいる。もし、いくつかのパラメーターが、手術の最中に変更になれば（例えば、カメラの焦点が変化する）カメラ校正を繰り返す必要がある。

ロボット校正とは、ロボットの関節空間と先端効果器（ｅｎｄ−ｅｆｆｅｃｔｏｒ）、つまり、この領域においては内視鏡、との間の数学的な関係を確立するプロセスである。このプロセスは、簡単なプロセスであり、実際にもうまく確立されている。しかしながら、通常は、校正を実行するためには技術的なエキスパートを必要とする。もし、ユーザーまたは外科医が、ロボットに対して内視鏡を移動したならば、ロボット校正を繰り返す必要がある。

特に内視鏡手術について、医療用ロボットのビジュアルサーボを解決するための異なった手法が提案されてきている、しかしながら、これらの全ての手法は、画像ヤコビアンに依存しており、当業者者にとって知られるように、多くの欠点を経験する。

本発明は、画像ヤコビアン、もしくは内視鏡画像からの深さ認識に依存しない、ビジュアルサーボ技術を提供する。より特定的には、本発明に係るビジュアルサーボ技術は、内視鏡の校正、もしくはロボットに対する内視鏡の相対的な位置の獲得、をする必要のない内視鏡を有するロボットを含んでいる。本発明に係るビジュアルサーボ技術は、さらに、ハードウェアのいかなる調整もなく、そして手術ワークフローにプロセスを追加することもなく、一般的な内視鏡と共に使用されるロボットシステムを実現する。

本発明の一つの形態は、カメラ（例えば、内視鏡）と、ロボットと、ロボットコントローラーを有するロボットシステムである。カメラは、画像を示すデジタルビデオフレームを獲得するための光学的視野（例えば、前方または斜め方向）を有している。ロボットは、先端効果器を有しており、先端効果器を巧みに操縦するための一つまたはそれ以上の関節を有している。ロボットコントローラーは、デジタルビデオフレームの中の画像特徴（ｉｍａｇｅ ｆｅａｔｕｒｅ）に対する先端効果器の姿勢をコントロールするためのビジュアルサーボを含んでいる。こうして、ビジュアルサーボは、追跡ポイント（ｔｒａｃｋｉｎｇ ｐｏｉｎｔ）から画像特徴に関する目標ポイント（ｔａｒｇｅｔ ｐｏｉｎｔ）へ延びる、デジタルビデオフレームの画像座標系における追跡ベクトル（ｔｒａｃｋｉｎｇ ｖｅｃｔｏｒ）を定め、先端効果器に関するロボット座標系から組み立てられた構成空間（ｃｏｎｆｉｇｕｒａｔｉｏｎ ｓｐａｃｅ）において追跡ベクトルをマップ（ｍａｐ）し、そして構成空間における追跡ベクトルのマップからロボット座標系における先端効果器の姿勢を導出する。

本発明の第二の形態は、光学的視野を有するカメラと、先端効果器と先端効果器を巧みに操縦するための一つまたはそれ以上の関節を持ったロボットと、を含んだロボットコントロール方法である。ロボットコントロール方法は、カメラによって光学的に視認された画像を示すデジタルビデオフレームを獲得することを含み、デジタルビデオフレームにおける画像特徴に対する先端効果器の姿勢をコントロールするためのビジュアルサーボの実行を含む。ビジュアルサーボは、追跡ポイントから画像特徴に関する目標ポイントへ延びる、デジタルビデオフレームの画像座標系における追跡ベクトルを定めること、先端効果器に関するロボット座標系から組み立てられた構成空間において追跡ベクトルをマップすること、そして構成空間における追跡ベクトルのマップからロボット座標系における先端効果器の姿勢を導出すること、を含んでいる。

図１は、本発明に従って、ロボットシステムの典型的な実施例を示している。 図２は、本発明に従って、ロボットコントロールループの典型的な実施例を示している。 図３は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。 図４は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。 図５は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。 図６は、図２に示すロボットコントロールループに従って、デジタルビデオフレームの典型的なシーケンスを示している。 図７は、本発明に従って、ロボットコントロール方法の典型的な実施例を表すフローチャートを示している。 図８は、本発明に従って、方向設定方法の典型的な実施例を表すフローチャートを示している。 図９は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第一の典型的なシーケンスを示している。 図１０は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第一の典型的なシーケンスを示している。 図１１は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第一の典型的なシーケンスを示している。 図１２は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第二の典型的なシーケンスを示している。 図１３は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第二の典型的なシーケンスを示している。 図１４は、図８に示すフローチャートに従って、先端効果器の姿勢を決定する第二の典型的なシーケンスを示している。 図１５は、本発明に従って、光学的ビジュアルサーボ方法の第一の典型的な実施例を表すフローチャートを示している。 図１６は、本発明に従って、光学的ビジュアルサーボ方法の第二の典型的な実施例を表すフローチャートを示している。 図１７は、本発明に従って、速さファクターの典型的な安定化について示している。 図１８は、本発明に従って、速さ調整方法の典型的な実施例を表すフローチャートを示している。 図１９は、本発明に従って、方向調整方法の典型的な実施例を表すフローチャートを示している。 図２０は、本発明に従って、目標プローブ方法の典型的な実施例を表すフローチャートを示している。

図１に示すように、ロボットシステム２０は、カメラ３０と、ロボット４０と、ロボット４０の自動操縦機能を含むあらゆるロボット工程のためのロボットコントローラー５０を有している。このようなロボット工程の例としては、これらに限定されるわけではないが、医療工程、組立ライン工程、そして可動性ロボットを含んだ工程、がある。特に、ロボットシステム２０は、これらに限定されるわけではないが、低侵襲心臓手術（例えば、冠状動脈バイパス移植または左房室弁交換）、低侵襲腹部手術（腹腔鏡検査）（例えば、前立腺摘出手術または胆嚢切除手術）、および経管腔的内視鏡手術（ｎａｔｕｒａｌ ｏｒｉｆｉｃｅ ｔｒａｎｓｌｕｍｅｎａｌ ｅｎｄｏｓｃｏｐｉｃ ｓｕｒｇｅｒｙ）を含む医療工程のために利用されている。

カメラ３０は、前方の光学的視野もしくは斜め方向の光学的視野を持ち、規定のフレームレート（例えば、毎秒３０フレーム）で連続した２次元のデジタルビデオフレーム３２を取り込むことができる、あらゆるタイプのフレーム取り込み装置３１を備えた、あらゆるタイプのカメラであり得る。一つの典型的な実施例において、カメラ３０は、前方の光学的視野もしくは斜め方向の光学的視野を有し、各デジタルビデオフレーム３２をロボットコントローラー５０へ提供することができるデジタルフレーム取り込み装置を利用する画像装置（例えば、光ファイバー、レンズ、ＣＣＤベースの小型画像システム、など）を介して、体の（例えば、人間でも動物でも）解剖学的部位の画像を取るために構成されたあらゆる装置であるとして、ここにおいて広く定義された内視鏡である。内視鏡の例としては、これらに限定されるわけではないが、あらゆるタイプの画像スコープ（例えば、気管支鏡、大腸内視鏡、腹腔鏡、関節鏡、など）および画像装置に備え付けのスコープに類似したあらゆる装置（例えば、画像用カニューレ）を含んでいる。

ロボット４０は、特定のロボット工程のために要求されるように、ロボット４０の先端効果器４２を巧みに操縦するための一つまたはそれ以上の関節４１をモーターでコントロールするように構成された、あらゆるロボット装置であるとして、ここでは広く定義される。実際問題として、ロボット４０は、最低限４次の自由度を有し、望ましくは、６次もしくは７次の自由度を有し得る。

先端効果器４２の姿勢は、ロボット４０の座標系における先端効果器４２の位置と方向のことであり、先端効果器４２の姿勢が与えられると、ロボット４０の座標系におけるカメラ４０の光学的視野の姿勢が定まる。このように、カメラ３０は、先端効果器４２に取り付けられ得る（例えば、医療工程において、体の解剖学的部位の画像を提供するためにロボット４０に取り付けられた内視鏡）。

前方の光学的視野をもったカメラ３０を備えたロボット４０の実施例として、ロボット４０は、カメラ３０のあらゆる仮の向きを許容することができる（例えば、カメラ３０の長手方向の軸まわりに、カメラ３０を術中に手動で回転させる）。斜め方向の光学的視野をもったカメラ３０を備えたロボット４０の実施例として、ロボット４０は、カメラ３０の長手方向の軸まわりにカメラ３０を回転するための特定の関節を持つことができる。

ロボットコントローラー５０は、先端効果器４２の望ましい姿勢を達成するために必要な、それぞれのロボット関節４１の最終的な動作を命令することにより、特定のロボット工程のために必要とされるように先端効果器４２の姿勢をコントロールするために、一つまたはそれ以上のロボットコントロール命令（Ｒｏｂｏｔ Ｃｏｎｔｒｏｌ Ｃｏｍｍａｎｄ：ＲＣＣ）５２をロボット４０に与えるように構成された、あらゆるコントローラーであるとして、ここでは広く定義される。

例えば、カメラ３０が先端効果器４２に取り付けられた内視鏡である場合、ロボットコントロール命令５２は、外科医に一貫した先端部の画像を提供するように、内視鏡によって外科手術用ツールの機器先端部の追跡を促進するために、もしくは心臓病手術における血管といった特定の解剖学的部位に向かって内視鏡を操縦するために、もしくは臓器の解剖学的視野に係る安定した画像を提供するように、内視鏡と臓器を生理的に同時に移動させるために必要なように、一つまたはそれ以上のロボット関節４１を動作させることができる。

デジタルビデオフレーム３２における画像の特徴をロボット追跡（ｒｏｂｏｔｉｃ ｔｒａｃｋｉｎｇ）するために、ロボットコントローラー５０は、それぞれのデジタルビデオフレーム３２における画像の特徴に対する先端効果器４２の姿勢をコントロールするためのビジュアルサーボ５１を有する。特に、ビジュアルサーボ５１は、デジタルビデオフレーム３２における特定の画像特徴の決定された目標ポイント（例えば、一つまたはそれ以上のピクセル）の静的な（ｓｔａｔｉｃ）、もしくは動的な（ｄｙｎａｍｉｃ）ロボット追跡を、デジタルビデオフレーム３２における、追跡ポイント（例えば、一つまたはそれ以上のピクセル）から目標ポイントまで延びる追跡ベクトルを自動的に特定する適応性のある（ａｄａｐｔｉｖｅ）アルゴリズムを実行することによって、実施する。

このために、図２に示すように、ビジュアルサーボ５１は、特徴追跡工程５３、方向設定工程５５、および逆運動学工程５７を、ロボットコントロールのクローズドループ２１において、フレーム取り込み装置３１によって実施される画像取り込み工程３３とロボット関節４１のコントロールされた動作４３と共に、実施する。実際には、工程５３、５５および５７は、あらゆるプラットフォーム（例えば、一般的なコンピューター、ＡＳＩＣボード、など）に取り込まれた、ハードウェア、ソフトウェア、及び／又はファームウェアにより実現されるビジュアルサーボ５１（図示なし）のモジュールによって実行され得る。

図２において、特徴追跡工程５３は、従来技術として知られているように、デジタルビデオフレーム３２における特定の画像特徴の目標ポイントを特定するために、各デジタルビデオフレーム３２を個別に処理することを含む。例えば、図３から図６は、黒字のＸとしてシンボル化された特定の画像特徴の目標ポイントＴＧの４つのデジタルビデオフレーム３２を示している。この図３から図６の例においては、特定の特徴とは、外科手術用ツールの機器先端部であって、カメラ３０は外科医に一貫した先端部の画像を提供する内視鏡であり得るか、もしくは、特定の特徴とは、血管または臓器といった、特定の解剖学的特徴の限定的な部位であり得る。

再び図２であるが、特徴追跡工程５３は、それぞれのデジタルビデオフレーム３２における目標ポイントの追跡された移動を示す２次元の画像データ（２ＤＩＤ）５４を生成する。次に、方向設定工程５５は、それぞれのデジタルビデオフレーム３２について、追跡ポイントから目標ポイントに延びる追跡ベクトル（例えば、追跡方向と追跡速さ）を特定するために２Ｄ（２次元）データ５４を処理する。追跡ベクトルの特定では、追跡ポイントから目標ポイントに延びる固定の追跡方向を設定し、追跡速さを設定する。追跡速さも固定され得るか、代替的には目標ポイントの追跡を最適化するために調整され得る。あらゆる大きさの、もしくは最小の大きさの追跡ベクトルをもった、それぞれのデジタルビデオフレーム３２について、方向設定工程５５は、デジタルビデオフレーム３２における画像特徴に対するロボット４０の先端効果器４２の望ましい姿勢を示す３次元のロボットデータ（３ＤＲＤ）５６を生成する。逆運動学工程５７は、デジタルビデオフレーム３２における画像特徴に対する先端効果器４２の望ましい姿勢を達成するように、ロボット関節４１の適切な関節動作４３のために必要な一つまたはそれ以上のロボットコントロール命令５２を生成するために、従来技術として知られているように３Ｄ（３次元）データ５６を処理する。

例えば、図３から図６は、白抜きのＸとしてシンボル化された追跡ポイントＴＲから目標ポイントＴＧまで延びる追跡ベクトルの特定について図示している。特に、図３は、追跡ポイントＴＲにおいて初期化された目標ポイントＴＧを有するデジタルビデオフレーム３２（１）を示している。図４に示すように、デジタルビデオフレーム３２（２）において目標ポイントＴＧが追跡ポイントＴＲから離れて動くと、方向設定工程５５は、追跡ポイントＴＲから目標ポイントＴＧに向かう矢印によってシンボル化された追跡ベクトルを特定する。追跡ベクトルを特定することにより、方向設定工程５５は、デジタルビデオフレーム３２（３）の目標ポイントＴＧの方向に、デジタルビデオフレーム３２（２）における追跡ポイントＴＲを動かすための追跡方向を設定する。そして、デジタルビデオフレーム３２（２）における画像特徴に対するロボット４０の先端効果器４２の望ましい姿勢を決定するために、追跡ベクトルの追跡方向と追跡速さを利用する。次に、逆運動学工程５７は、デジタルビデオフレーム３２（２）における画像特徴に対する先端効果器４２の望ましい姿勢を達成するように、ロボット関節４１の適切な関節動作４３のために必要なロボットコントロール命令５２を生成する。

図５に示すように、デジタルビデオフレーム３２（３）では、追跡ポイントＴＲは目標ポイントＴＧの方向に動いているが、目標ポイントＴＧは、まだ追跡ポイントＴＲから離れている。方向設定工程５５は、再び、追跡ポイントＴＲから目標ポイントＴＧに向かう矢印によってシンボル化された追跡ベクトルを特定する。追跡ベクトルを特定することにより、方向設定工程５５は、デジタルビデオフレーム３２（５）（図示なし）の目標ポイントＴＧの方向に、デジタルビデオフレーム３２（４）における追跡ポイントＴＲを動かすための追跡方向を設定する。そして、デジタルビデオフレーム３２（３）における画像特徴に対する先端効果器４２の望ましい姿勢を決定するために、追跡ベクトルの追跡方向と追跡速さを利用する。再び、逆運動学工程５７は、デジタルビデオフレーム３２（４）における画像特徴に対するロボット４０の先端効果器４２の望ましい姿勢を達成するように、ロボット関節４１の適切な関節動作４３のために必要なロボットコントロール命令５２を生成する。

図６に示すように、デジタルビデオフレーム３２（４）では、追跡ポイントＴＲと目標ポイントＴＧは、再び一致している。このように、デジタルビデオフレーム３２（４）の追跡ベクトルはゼロであり、ロボットコントローラー５０は、後続デジタルビデオフレーム３２がゼロでない追跡ベクトルを示すか、もしくは追跡ポイントＴＲと目標ポイントＴＧの間の最小量の追跡ベクトルを示すときまで、ロボット関節４１を固定状態に維持する。

ここでの図１から図６の記載は、ビジュアルサーボ５１の一般的な理解を促進させる。後続の図８から図１６に示すビジュアルサーボ５１の典型的な実施例は、より詳細なビジュアルサーボ５１の理解を促進させる。特に、図１５および図１６のビジュアルサーボ方法については、追跡速度は、必要に応じてそれぞれのビデオフレームにおいて調節されるか、もしくは最適な追跡速度に固定されるまで、あらゆる特定のフレームレートである。

図７は、ビジュアルサーボ５１のためにロボットシステム２０（図１）によって実行されるロボットコントロール方法の代表的なフローチャート６０を示している。特に、フローチャート６０は、ビジュアルサーボステージＳ６３のために事前に必要なものとしてロボット校正ステージＳ６１と目標初期化ステージＳ６２を含んでいる。実際問題として、ステージＳ６１の初期導入にあたり、当業者にとっては理解されるであろうように、追跡されるべき新たな画像特徴のために、ステージＳ６２とステージＳ６３だけが実行される必要があろう。

ステージＳ６１は、従来技術として知られているように、ロボット４０の関節空間と先端効果器４２の間の数学的な関係を確立することを含んだロボット４０のロボット校正を包含している。

ステージＳ６２は、従来技術として知られているように、デジタルビデオフレーム３２において画像の特定の特徴の目標初期化を包含している。ステージＳ６２の一つの典型的な実施例においては、特定の環境におけるカメラ３０の鉛直方向の動き（挿入）は、システム２０のユーザーにより設定可能なパラメーターであり、それゆえビジュアルサーボ５１による自動的なコントロールを超えたものである。このように、環境の中にカメラ３０を挿入した後において、ビジュアルサーボ５１によるロボット４０の自動的なコントロールは、ロボット４０のための２次元的な球形キャップ（ｓｐｈｅｒｉｃａｌ ｃａｐ）を定義するためのシータ角度θとファイ角度φを含む、先端効果器４２の２次の自由度で実行され得る。このことは、環境の中にカメラ３０を挿入する際にロボット４０の仮想リモート回転中心（ｒｅｍｏｔｅ−ｃｅｎｔｅｒ−ｏｆ−ｒｏｔａｔｉｏｎ：ＲＣＭ）を確立することを含み得る。仮想ＲＣＭは、ロボット４０のための球状円錐（ｓｐｈｅｒｉｃａｌ ｃｏｎｉｃ）な作業空間を定義する特定のピボットポイントまわりのロボット４０の動きを固定する（例えば、低侵襲外科手術において患者の体の小さな開口部を通して内視鏡を挿入するポイントである）。球状円錐な作業空間は、当業者にとっては理解されるであろうように、シータ角度θとファイ角度φに基づく２次元の球形キャップに変換される。

カメラ３０が内視鏡であるロボットコントローラー５０でのＲＣＭの実施例としては、内視鏡に関するＲＣＭポイントは以下により定義される。（１）内視鏡の先端から固定の距離にある内視鏡のシャフトに沿って配置されたマーカーを利用することによるもの、（２）コンピュータープログラムを介したＲＣＭポイントと内視鏡の先端との間の距離のユーザースペックによるもの、（３）内視鏡の先端を望ましい挿入ポイントに位置決めした後でＲＣＭとして挿入ポイントを設定し、望ましい深さまで内視鏡を挿入することによるもの、もしくは（４）ロボット４０に関する空間における既定のポイントを利用し、既定のポイントが望ましい挿入ポイントと一致するようにロボット４０を位置決めすることによるもの、である。

実際問題として、ＲＣＭに基づくロボット４０の動きは、フローチャート６０のステージＳ６３のビジュアルサーボのためにロボットコントローラー５０によって実行される典型的な動作モードであろう。代替的には、ロボットコントローラー５０は、カメラ４０のための球状円錐な作業空間を定義するステージＳ６３のビジュアルサーボのために、カメラ４０の初期位置決めを実施し得る。あらゆる動作モード（ＲＣＭでも、そうでなくても）のために、ステージＳ６３は、図２に関連して前述したように、特徴追跡工程５３と逆運動学工程５７を含んだビジュアルサーボを包含し、図８から図１６に示すように、方向設定工程５５の典型的な実施例を含む。

特に、図８は、本発明の方向設定方法を表わすフローチャート７０を示している。フローチャート７０の理解を促進するために、先端効果器４２は内視鏡の先端効果器９３で表わされる。一つの実施例においては、内視鏡の先端効果器９３は、従来技術として知られたあらゆる手段によってロボット４０に接続された近位端（ｐｒｏｘｉｍａｌ ｅｎｄ）を有する内視鏡である。

図８において、フローチャート７０のステージＳ７１は、それぞれのデジタルビデオフレーム３２の２次元の画像座標系８０を、３次元であり、２次の自由度を持つロボット４０のロボット座標系９０にマップすること（ｍａｐｐｉｎｇ）を包含している。ステージＳ７１に示すように一つの実施例においては、画像座標系８０は、ｘ軸とｙ軸を有しており、ロボット座標系９０は、ピボットポイント９１（例えば、仮想ＲＣＭ）から、内視鏡の先端効果器９３がピボットポイント９１まわりに一回転することで輪郭付けされる２次元平面９２へ延びる破線によってシンボル化された軸を有する球形キャップである。実際問題として、ピボットポイント９１と内視鏡の先端効果器９３の遠位端との距離がわかる場合、シータ角度θは、平面９２の表面に沿った原点に対する球面キャップの軸まわりの内視鏡の先端効果器９３の遠位端の回転の程度を明確に数量化し、ファイ角度φは、内視鏡の先端効果器９３の遠位端の、球面キャップの軸からの分離の程度を明確に数量化する。代替的には、実際問題として、ピボットポイント９１と内視鏡の先端効果器９３の遠位端との距離がわかる場合、シータ角度θは、平面９２の表面に沿った原点に対する球面キャップの軸まわりの内視鏡の先端効果器９３の遠位端の回転の程度を非明示的に示し、ファイ角度φは、内視鏡の先端効果器９３の遠位端の、球面キャップの軸からの分離の程度を非明示的に示す。

フローチャート７０のステージＳ７２は、ロボット座標系９０によって定義されるようにシータ角度θとファイ角度φのとり得る範囲に関して、ロボット座標系９０の２次元の構成空間１００を構築することを包含している。実際問題として、構成空間の構築は、ロボット座標系９０の平面９２を、構成空間１００となる２次元平面へ球面投影することを含んでいる。結果として生じる構成空間１００は、二つの設定可能なパラメーターに関する内視鏡の先端効果器９３の先端の構成空間の全てを表わしている。

フローチャート７０のステージＳ７３は、画像座標系８０における追跡ベクトルのマッピングに基づいて、構成空間１００においてロボットベクトルをマッピングすることを含む、ロボット座標系９０に関して内視鏡の先端効果器９３の姿勢を決定することを包含している。特に、複数のデジタルビデオフレームを通して画像座標系８０における画像の動きは、構成空間１００においてマップされる。このマッピングは、以下の事実の観点で未知のスケールを伴う定性的なものである。すなわち、画像座標系８０におけるピクセルでの位置（非明示的にミリメーター単位）は、構成空間１００により表わされるように、ロボット座標系９０において二つの角度（ラジアン単位）で内視鏡の先端効果器９３の姿勢に変換される。

例えば、図９から図１１に示すように三つのデジタルビデオフレームを通して、追跡ポイント（白抜きのＸ）の周りの円によって表わされる最小量の追跡ベクトル（ｖｔｒｋ）を特定することは、追跡ベクトル（ｖｔｒｋ）を構成空間１００におけるロボットベクトル（ｖｒｏｂ）としてマップすることを可能にする。マッピングのスケールが未知であるとしても、画像座標系８０における目標ポイントＴＧの位置は、構成空間１００により表わされるように、ロボット座標系９０において二つの角度（ラジアン単位）で内視鏡の先端効果器９３の姿勢に変換される。このために、画像座標系８０における追跡ベクトル（ｖｔｒｋ）の追跡方向は、ロボット座標系９０におけるロボットベクトル（ｖｒｏｂ）のロボット方向を決定する。次に、逆運動学によって、ロボット座標系９０において内視鏡の先端効果器９３の姿勢を達成するためにロボット関節４１を動かすように処理される。

さらなる例として、図１２から図１４に示すように三つのデジタルビデオフレームを通して、再び、最小量の追跡ベクトル（ｖｔｒｋ）を特定することは、追跡ベクトル（ｖｔｒｋ）を構成空間１００におけるロボットベクトル（ｖｒｏｂ）としてマップすることを可能にする。そしてまた、マッピングのスケールが未知であるとしても、画像座標系８０における目標ポイントＴＧの位置は、構成空間１００により表わされるように、ロボット座標系９０において二つの角度（ラジアン単位）で内視鏡の先端効果器９３の姿勢に変換される。このために、画像座標系８０における追跡ベクトル（ｖｔｒｋ）の追跡方向は、ロボット座標系９０におけるロボットベクトル（ｖｒｏｂ）のロボット方向を決定する。次に、逆運動学によって、ロボット座標系９０において内視鏡の先端効果器９３の姿勢を達成するためにロボット４０の関節４１を動かすように処理される。

図９から図１４では、上述のように、画像座標系８０と構成空間１００の間のマッピングスケールは未知である。このように、追跡ベクトル（ｖｔｒｋ）は正規化され（すなわち、長さが１に設定される）、ロボットベクトル（ｖｒｏｂ）として構成空間１００に変換される。従ってロボットベクトル（ｖｒｏｂ）に関するシータ角度θとファイ角度φの値は、与えられたロボットベクトル（ｖｒｏｂ）の方向におけるロボットの単位変位を定義する。実際問題として、ロボット４０は速度制御され、それによってロボットの単位変位はシータ角度θとファイ角度φの両方の方向において、ラジアン／秒 で定義される。ロボットベクトル（ｖｒｏｂ）は正規化されているため、シータ角度θとファイ角度φの方向における速度は、１ラジアン／秒 以下となるべきである。しかしながら、他のパラメーター（例えば、デジタルビデオフレーム３２での特徴の深さ、デジタルビデオフレーム３２での追跡ポイントの相対速さ、など）によってはロボットベクトル（ｖｒｏｂ）の速度は、追跡ポイントＴＲが目標ポイントＴＧに到達するのに不十分であり得るし、もしくは追跡ポイントＴＲが目標ポイントＴＧをオーバーシュートしてしまうほど速くもあり得る。

画像座標系８０と構成空間１００の間の未知のマッピングスケールを補償するために、図１５のフローチャート１１０と図１６のフローチャート１２０は、追跡ベクトルの追跡速さ成分を最適化するための、ステージＳ７３で実行され得る最適なビジュアルサーボ方法を表わしている。

図１５において、フローチャート１１０のステージＳ１１１は、デジタルビデオフレーム３２の二つの連続したサンプルフレームの間で、目標ポイントが追跡ポイントから動かされているたびに、速さファクターの初期化と画像座標系８０での追跡ベクトル（ｖｔｒｋ）の特定を含む。実際問題として、速さファクターの初期値は、任意の無次元経験値であり得る（例えば、≦１≧）。ステージＳ１１１はさらに、追跡ベクトル（ｖｔｒｋ）と等しい参照ベクトル（ｖｒｅｆ）の初期化も含んでいる。

フローチャート１１０のステージＳ１１２は、構成作業空間１００における追跡ベクトル（ｖｔｒｋ）のマッピングを含んだ構成作業空間１００におけるロボットベクトル（ｖｒｏｂ）の特定を含んでいる。ステージＳ１１２は、さらに、速さファクター（ｓ）とロボットベクトル（ｖｒｏｂ）の積としての追跡ベクトルの設定を含んでおり、これにより速さファクター（ｓ）は、ロボットベクトル（ｖｒｏｂ）に関するシータ角度θとファイ角度φのラジアン／秒 の値を調整する。追跡速度（ｓ＊ｖｒｏｂ）はロボット座標空間１００にマップされ、それにより、追跡速度（ｓ＊ｖｒｏｂ）を実行するために必要なロボット運動の指標としての３Ｄロボットデータを生成するために、対応するシータ角度θとファイ角度φを使用する。

ロボット４０は追跡ベクトルに従って動かされるので、追跡ポイントと目標ポイントの間のあらゆる変位は、以下の事実の観点においてデジタルビデオフレーム３２の後続フレームから更新されなければならない。すなわち、（１）目標ポイントは、先端効果器４２の動きに因って、連続したサンプルデジタル画像フレーム３２の画像座標系８０において動いている可能性があること、および（２）目標ポイントは、環境の座標系において動いている可能性があること、である。従ってフローチャート１１０のステージＳ１１３からステージＳ１１７は、デジタルビデオフレーム３２のサンプルレート（ｓａｍｐｌｉｎｇ ｒａｔｅ）で（例えば、デジタルビデオフレーム３２のフレーム毎、もしくはデジタルビデオフレーム３２の指定されたフレームレートにおいて）、追跡速度を調整するために利用される。

特に、ステージＳ１１３は、デジタルビデオフレーム３２の連続したサンプルフレームにおける、追跡ポイントと目標ポイントの間の追跡ベクトル（ｖｔｒｋ）の更新を含む。ステージＳ１１４は、デジタルビデオフレーム３２の連続したサンプルフレームの中にわずかなノイズが存在してもロボット４０の安定した位置決めを維持できるように設定された精度閾値（ａｃｃｕｒａｃｙ ｔｈｒｅｓｈｏｌｄ）よりも、追跡ベクトル（ｖｔｒｋ）が小さいかどうかを決定する。もし、追跡ベクトル（ｖｔｒｋ）が精度閾値よりも小さければ、デジタルビデオフレーム３２の次の連続したサンプルフレームにおいて追跡ベクトル（ｖｔｒｋ）を更新するために、フローチャート１１０はステージＳ１１３に戻る。そうでなければ、フローチャート１１０はステージＳ１１５に進み、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）の間の角度が、角度閾値Ｘ°（例えば、９０°）よりも小さいかを決定する。

もし、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）の間の角度が、角度閾値Ｘ°よりも小さければ、次にフローチャート１１０はステージＳ１１６に進み、参照ベクトル（ｖｒｅｆ）を追跡ベクトル（ｖｔｒｋ）と等しくなるように更新して、速さファクター（ｓ）を増加させる。その後で、ステージＳ１１２に戻り、デジタルビデオフレーム３２の追加のサンプルフレームのために、必要に応じてループを繰り返す。もし、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）の間の角度が、角度閾値Ｘ°に等しいか、より大きければ、次にフローチャート１１０はステージＳ１１７に進み、参照ベクトル（ｖｒｅｆ）を追跡ベクトル（ｖｔｒｋ）と等しくなるように更新して、速さファクター（ｓ）を減少させる。その後で、ステージＳ１１２に戻り、デジタルビデオフレーム３２の追加のサンプルフレームのために、必要に応じてループを繰り返す。

実際問題として、もし、システム２０のユーザーがカメラ３０を回転させれば、追跡ベクトル（ｖｔｒｋ）と参照ベクトル（ｖｒｅｆ）は方向が変わり得る（例えば、シャフトまわりの内視鏡の回転、または内視鏡の近位端にあるＣＣＤカメラの回転）。もし、このような種類の動作がシステムによって許されていないのであれば、ステージＳ１１７は除外することができる。

ステージＳ１１３からＳ１１７の利点は、追跡速度（ｓ＊ｖｒｏｂ）の最適化である。特に、もし、デジタルビデオフレーム３２の二つのサンプルフレームの間で追跡ポイントが移動している場合、ステージＳ１１５は、新たに更新された追跡ベクトル（Ｓ１１３）と以前に更新された参照ベクトル（ｖｒｅｆ）の間の角度変位を評価して、新たに更新された追跡ベクトル（ｖｔｒｋ）が、以前に更新された参照ベクトル（ｖｒｅｆ）と同一の一般的方向にあるかどうか（例えば、角度（ｖｔｒｋ，ｖｒｅｆ）＜９０°）、または、新たに更新された追跡ベクトル（ｖｔｒｋ）が以前に更新された参照ベクトル（ｖｒｅｆ）と異なる方向を示しているかどうか（例えば、角度（ｖｔｒｋ，ｖｒｅｆ）≧９０°）を決定する。実際問題として、方向の変化は、０°より大きく９０°より小さいあらゆる角度で成される。

同一の一般的方向にいるシナリオにおいては、ロボット４０は、目標ポイントをオーバーシュートすることなく、デジタルビデオフレーム３２における目標ポイントの方向に追跡ポイントを移動させるために、正しい方向で移動しているとみなされる。このケースでは、ステージＳ１１６で、参照ベクトル（ｖｒｅｆ）が更新され、速さファクター（ｓ）が増加される。そして、ステージＳ１１２からＳ１１７のもう一つのループにおいて、目標ポイントの追跡は続いている。例えば、図９に示すように、最初の追跡ベクトル（ｖｔｒｋ）は、画像座標系の第一のフレーム８０（１）において特定され、構成作業空間１００（１）においてロボットベクトル（ｖｒｏｂ）をマップするのに利用される。追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が動かされるロボットベクトル（ｖｒｏｂ）のために設定され、図１０に示すように画像座標系の第二のフレーム８０（２）において、追跡ベクトル（ｖｔｒｋ）が更新される。図１０の追跡ベクトル（ｖｔｒｋ）は、図９に示される追跡ベクトル（ｖｔｒｋ）と同一の一般的方向にある。このように、参照ベクトル（ｖｒｅｆ）は、画像座標系８０（１）において示される追跡ベクトル（ｖｔｒｋ）として更新され、速さファクター（ｓ）が増加される。ステージＳ１１２からステージＳ１１７の後続のループにおいて、画像座標系の第二のフレーム８０（２）において更新された追跡ベクトル（ｖｔｒｋ）は、構成作業空間１００（２）においてロボットベクトル（ｖｒｏｂ）をマップするのに利用される。次に、追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が動かされるロボットベクトル（ｖｒｏｂ）のために更新され、図１１に示すように画像座標系の第三のフレーム８０（３）において、新たな追跡ベクトル（ｖｔｒｋ）が特定される。追跡ベクトル（ｖｔｒｋ）（図１１での図示なし）は、追跡ポイントを囲む円によってシンボル化されたステージＳ１１４での精度閾値より小さい。そして、次の更新された追跡ベクトル（ｖｔｒｋ）が、精度閾値と等しいか、より大きくなるまでは、ロボット４０は、固定された位置に設定される。

異なる方向にいるシナリオにおいては、ロボット４０は、デジタルビデオフレーム３２における目標ポイントの方向に追跡ポイントを移動させるために、正しい方向で移動しているとみなされるが、目標ポイントをオーバーシュートするか、もしくは、デジタルビデオフレーム３２の連続したサンプルフレームにおいて目標ポイントが変更されている。この両方のケースでは、ステージＳ１１６で、参照ベクトル（ｖｒｅｆ）が更新され、速さファクター（ｓ）が減少される。そして、ステージＳ１１２からＳ１１７のもう一つのループにおいて、目標ポイントの追跡は続いている。例えば、図１２に示すように、最初の追跡ベクトル（ｖｔｒｋ）は、画像座標系の第四のフレーム８０（４）において特定され、構成作業空間１００（４）においてロボットベクトル（ｖｒｏｂ）をマップするのに利用される。追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が動かされるロボットベクトル（ｖｒｏｂ）のために設定され、図１３に示すように画像座標系の第五のフレーム８０（５）において新たな追跡ベクトル（ｖｔｒｋ）が特定される。図１３の追跡ベクトル（ｖｔｒｋ）は、図１２に示される追跡ベクトル（ｖｔｒｋ）の方向と比較して異なった方向にある。このように、参照ベクトル（ｖｒｅｆ）は、画像座標系８０（４）の追跡ベクトル（ｖｔｒｋ）として更新され、速さファクター（ｓ）が減少される。ステージＳ１１２からステージＳ１１７の後続のループにおいて、画像座標系の第五のフレーム８０（５）において更新された追跡ベクトル（ｖｔｒｋ）は、構成作業空間１００（５）においてロボットベクトル（ｖｒｏｂ）をマップするのに利用される。次に、追跡速度（ｓ＊ｖｒｏｂ）は、それに応じてロボット４０が動かされるロボットベクトル（ｖｒｏｂ）のために更新され、図１４に示すように画像座標系の第六のフレーム８０（６）において、新たな追跡ベクトル（ｖｔｒｋ）が特定される。追跡ベクトル（ｖｔｒｋ）（図１４での図示なし）は、追跡ポイントを囲む円によってシンボル化されたステージＳ１１４での精度閾値より小さい。そして、次の追跡ベクトル（ｖｔｒｋ）が、精度閾値と等しいか、より大きくなるまでは、ロボット４０は、固定された位置に設定される。

図１６のフローチャート１２０は、画像座標系８０における追跡ベクトルの長さファクター（ｌ）を使用した比例制御（ｐｒｏｐｏｒｔｉｏｎａｌ ｃｏｎｔｒｏｌ）を実行することを除いて、フローチャート１１０（図１４）と同義である。長さファクター（ｌ）は、追跡ポイントが目標ポイントからどれだけ離れているかを示しており、ピクセルで表現され得る。このように、長さファクター（ｌ）は、フローチャート１２０のステージＳ１２１でしかるべく初期化され、ロボットベクトル（ｖｒｏｂ）の追跡速度は、フローチャート１２０のステージＳ１２２において（ｓ＊ｌ＊ｖｒｏｂ）として表わされ得る。このケースでは、速さファクター（ｓ）の次元は、ｍｍ／（ｓ＊ｐｉｘｅｌ）である。一つの実施例においては、ステージＳ１２６とステージＳ１２７での長さファクター（ｌ）の比例制御は、従来技術として知られるＰＩＤ（ｐｒｏｐｏｒｔｉｏｎａｌ−ｉｎｔｅｇｒａｌ−ｄｅｒｉｖａｔｉｖｅ）制御と同様に、長さファクター（ｌ）の微分および積分要素を使って拡張され得る。

図９から図１４は、速さファクター（ｓ）の最適化について、二つの簡単な例を示している。実際問題として、ステージＳ１１２からＳ１１７（図１５）とステージＳ１２２からＳ１２７（図１６）の有利な点は、ビジュアルサーボ５１がリアルタイムで最適な速さファクター（ｓ）を学習していることである。もし、目標ポイントが一定の速度で移動しているとすれば、速さファクター（ｓ）の初期のばらつきは、フレームをカバーする時間ｔ _ｓ 後の速さファクター（ｓ）の安定化を示す図１７に示すように、デジタルビデオフレーム３２の複数のフレーム後に安定していく。そうでなければ、もし、追跡ポイントが変動する速度で移動しているとすれば、速さファクター（ｓ）の初期のばらつきは、いくらかのノイズを伴ってデジタルビデオフレーム３２の複数のフレームの後で安定する。

実際問題として、図１５と図１６において示される速さファクター（ｓ）の増加値および減少値は、一定であり得る。代替的には、図１８は、本発明の速さ調整方法を表わすフローチャート１４０を示している。特に、フローチャート１４０のステージＳ１４１は、追跡ポイントの追跡待ち時間（ｔｒａｃｋｉｎｇ ｌａｔｅｎｃｙ）の観点もしくはシステム２０のアプリケーションの観点で、追跡速度（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）の速さを評価することを包含する。追跡待ち時間の実施例においては、ロボット４０のコントロールは、いかなる与えられた時間においても、できる限り最大のロボット４０の速さで、追跡ポイントを追跡するように試みている。このために、任意の時間において可能な限り最大の速さで追跡ポイントを追跡しようとして、フローチャート１４０のステージＳ１４２で、速さファクター（ｓ）を調整する目的のために、速さファクター（ｓ）の安定化と追跡待ち時間が評価される。例えば、速さファクター（ｓ）の増加値と減少値は、低い追跡待ち時間を持つ安定した速さファクター（ｓ）のために、もしくは不安定な速さファクター（ｓ）（例えば、目標ポイントが追跡ポイントをオーバーシュートする）のために、ステージＳ１４２において減少される。反対に、速さファクター（ｓ）の増加値および減少値は、高い追跡待ち時間を持つ安定した速さファクター（ｓ）のために、フローチャート１４０のステージＳ１４２で増加される。実際問題として、固有のロボット速さの他に、追跡待ち時間に影響するパラメーターとしては、これらに限定されるわけではないが、追跡ポイントと目標ポイントの間の距離、カメラ３０の挿入深さ、カメラ３０の先端部とＲＣＭ挿入ポイントとの間の距離、がある。にもかかわらず、速さファクター（ｓ）の調整は、パラメーターのいかなる変化にもかかわらず、追跡速度（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）の最適化を維持している。

アプリケーションの実施例においては、ロボット４０のコントロールは、デジタルビデオフレーム３２において、ロボット４０の最大限の速さではなく、アプリケーションに適した速さで追跡ポイントを追跡しようと試みている。このために、追跡速度（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）の速さ範囲は、デジタルビデオフレーム３２からビジュアルサーボ５１により決定された追跡ポイント、もしくはシステム２０の作業者によりビジュアルサーボ５１に提供された追跡ポイントの予見された動作の観点から評価される。速さファクター（ｓ）は、ステージＳ１４２でしかるべく設定される。例えば、外科手術用ツールの静的な追跡は、小さな震えを無視できるだろうし、それゆえ速さファクター（ｓ）は小さな震えを無視するように設定されるだろう。またも例として、鼓動している心臓の動的な追跡は、心臓の動作における速い変化を含み、それゆえ速さファクター（ｓ）は心臓の動作の速い変化についていくように設定されるだろう。

またも実際問題として、追跡されている特定の特徴はロボット４０に関して回転することもあり（例えば、上下動作と左右動作は二つの座標系において同一ではない、特に斜めの光学的視野のカメラがそうである）、ロボット４０のコントロールは、目標ポイントにたどり着くことなく目標ポイントのまわりで発振することもある。図１９は、目標ポイントまわりのロボット４０の潜在的な発振を修正するための、本発明に係る方向評価を表わすフローチャート１５０を示している。フローチャート１５０のステージＳ１５１は、デジタルビデオフレーム３２の二つの所定フレーム間での連続した方向変化の回数を数えることを含む、追跡速度（ｓ＊ｒｏｂ）または（ｓ＊ｌ＊ｒｏｂ）の追跡方向の評価を包含する。カウンターが、連続した方向変化の指定した回数に到達すると（望ましくは２回または３回の連続した方向変化）、フローチャート１５０はステージＳ１５２に進み、ロボット４０の移動の前に、画像座標系８０においてマップされた追跡ベクトル（ｖｔｒｋ）に関して、構成作業空間１００においてマップされたロボットベクトル（ｖｒｏｂ）を回転する。収束に達する最も早い手法は、構成作業空間を９０°、１８０°、もしくは２７０°回転に対する四つの象元に分けることである。フローチャート１５０はステージＳ１１２で実行されるが、正しい象元を検出すると、追跡方向がさらに評価されるにつれて、さらなる象元の分割が必要とされるであろう。

またも実際問題として、ロボット４０は、斜めの光学的視野のカメラ３０のために、一旦挿入ポイント（例えば、ＲＣＭポイント）が定義されれば、デジタルビデオフレーム３２において特定の特徴を自動的に発見して追跡するように、コントロールされ得る。図２０は、画像における特定の特徴を自動的に発見し追跡するための目標プローブ方法（ｔａｒｇｅｔ ｐｒｏｂｅ ｍｅｔｈｏｄ）を表わすフローチャート１６０を示している。フローチャート１６０のステージＳ１６１は、挿入ポイントに関する軸まわりのカメラ３０の回転を含んだカメラスイープ（ｃａｍｅｒａ ｓｗｅｅｐ）を包含している。一旦カメラ３０が目標の特徴を発見すれば、上述のように、方向設定の目的のためのロボット座標系９０として、フローチャート１６０のステージＳ１６２において、ロボットコントローラー５０はスイープの構成を固定する。

本発明は、典型的な見地、特徴および実行に関し述べられてきたが、開示されたシステムおよび方法は、そうした典型的な見地、特徴、及び／又は実行に限定されるものではない。むしろ、ここにおいて提供された記述から、当業者にとっては直ちに明らかなように、開示されたシステムと方法は、本発明の精神もしくは範囲から離れることのない範囲で、変更、代替、拡張することができる。従って、本発明は、明確に、そのような変更、代替、そして拡張を包含している。

Claims (20)

1. ロボットシステムであって：
   先端効果器および該先端効果器を巧みに操作するための少なくとも一つのロボット関節を有するロボットと；
   画像を示す一連のデジタルビデオフレームを取り込むための光学的視野を有するカメラであり、前記ロボットに取り付けられたカメラと；
   前記カメラおよび前記ロボットと通信するロボットコントローラーであり、該ロボットコントローラーは、各デジタルビデオフレームにおける画像特徴に対する前記先端効果器の姿勢をコントロールするためのビジュアルサーボを含むロボットコントローラーと；
   を有し、
   各デジタルビデオフレームについて、前記ビジュアルサーボは、追跡ポイントから前記画像特徴に関する目標ポイントへ延びる、前記デジタルビデオフレームの画像座標系における追跡ベクトルを特定し、
   前記先端効果器に関するシータ角度とファイ角度で表されるロボット座標系から構築された構成空間において前記追跡ベクトルをマップし、
   画像ヤコビアンに拠らず、前記構成空間における前記追跡ベクトルのマッピングから前記ロボット座標系における前記先端効果器の姿勢を導出するように動作可能である、
   ことを特徴とするロボットシステム。
2. 前記カメラは、前記先端効果器に搭載された内視鏡である、
   請求項１に記載のロボットシステム。
3. 前記ビジュアルサーボは、さらに、前記デジタルビデオフレームにおける前記画像特徴の動きを追跡するように動作可能である、
   請求項１に記載のロボットシステム。
4. 前記ビジュアルサーボは、さらに、前記先端効果器の少なくとも一つの導出された姿勢を実現するための少なくとも一つのロボット関節の動きを命令するように動作可能である、
   請求項１に記載のロボットシステム。
5. 追跡ベクトルを特定することが、前記画像座標系における前記追跡ベクトルの追跡方向と追跡速さを含む追跡速度を設定する、
   請求項１に記載のロボットシステム。
6. 前記構成空間において現在マップされた追跡ベクトルの追跡方向は、前記構成空間において以前にマップされた少なくとも二つの追跡ベクトルの間での、指定された回数の連続的な方向の変化に応じて、前記構成空間の少なくとも二つの象元の間で回転される、
   請求項５に記載のロボットシステム。
7. 前記構成空間においてマップされた前記追跡ベクトルの追跡速さは、前記デジタルビデオフレームの連続したサンプルフレームの前記画像特徴の動きの程度に応じて、速さファクターによって調整される、
   請求項５に記載のロボットシステム。
8. 前記速さファクターは、前記追跡ベクトルの追跡待ち時間と前記ロボットシステムのアプリケーションに応じた速さのうち、少なくとも一つの関数である、
   請求項７に記載のロボットシステム。
9. 前記構成空間においてマップされた前記追跡ベクトルの追跡速さは、前記追跡ポイントと前記目標ポイントとの間の距離に応じて、長さファクターによって調整される、
   請求項５に記載のロボットシステム。
10. 前記長さファクターは、比例制御、積分制御、微分制御の、少なくとも一つの関数である、
    請求項９に記載のロボットシステム。
11. 前記ロボット座標系は、リモート回転中心に対する軸まわりの前記カメラの回転を表わす、
    請求項１に記載のロボットシステム。
12. 前記ロボット座標系は、前記カメラがリモート回転中心に対する前記軸まわりに回転されると、前記画像特徴のプローブ及び特定により確立される、
    請求項１１に記載のロボットシステム。
13. 先端効果器および該先端効果器を巧みに操縦するための少なくとも一つの関節を有するロボットと、光学的視野を有するカメラであり、前記ロボットに取り付けられたカメラのためのビジュアルサーボであって、
    前記ビジュアルサーボは；
    デジタルビデオフレームにおける画像特徴の動きを追跡するための、特徴追跡モジュール；および
    前記デジタルビデオフレームの画像座標系において、追跡ポイントから前記画像特徴に関する目標ポイントへ延びる追跡ベクトルを特定し、
    前記先端効果器に関するシータ角度とファイ角度で表されるロボット座標系から構築された構成空間において前記追跡ベクトルをマッピングし、
    画像ヤコビアンに拠らず、前記構成空間における前記追跡ベクトルのマッピングから前記ロボット座標系における前記先端効果器の姿勢を導出する、
    前記特徴追跡工程のためのモジュールに応答する方向設定工程のためのモジュール；
    を有することを特徴とするビジュアルサーボ。
14. 前記ビジュアルサーボは、さらに：
    前記先端効果器の少なくとも一つの導出された姿勢を実現するための少なくとも一つのロボット関節の動きを命令する、
    前記方向設定工程のためのモジュールに応答する逆運動学工程のためのモジュール、
    を有する
    請求項１３に記載のビジュアルサーボ。
15. 前記カメラは、前記先端効果器に搭載された内視鏡である、
    請求項１３に記載のビジュアルサーボ。
16. 先端効果器および該先端効果器を巧みに操縦するための少なくとも一つの関節を有するロボットと、光学的視野を有するカメラであり、前記ロボットに取り付けられたカメラと、を含むロボットシステムをコントロールする方法であって、
    前記ロボットシステムが；
    前記カメラによって光学的に視られた画像を示す一連のデジタルビデオフレームを獲得すること；および
    各デジタルビデオフレームにおける画像特徴に対して先端効果器の姿勢をコントロールするためのビジュアルサーボを実行すること、
    を含み、
    各デジタルビデオフレームのための前記ビジュアルサーボは：
    前記デジタルビデオフレームの画像座標系において、追跡ポイントから前記画像特徴に関する目標ポイントへ延びる追跡ベクトルを特定すること、
    前記先端効果器に関するシータ角度とファイ角度で表されるロボット座標系から構築された構成空間において前記追跡ベクトルをマッピングすること、および
    画像ヤコビアンに拠らず、前記構成空間における前記追跡ベクトルのマッピングから前記ロボット座標系における前記先端効果器の姿勢を導出すること、
    を含む、
    ことを特徴とするロボットシステムをコントロールする方法。
17. 前記ロボットコントロール方法は、さらに、
    前記デジタルビデオフレームにおける前記画像特徴の動きを追跡すること、
    を含む、
    請求項１６に記載のロボットシステムをコントロールする方法。
18. 前記ロボットコントロール方法は、さらに、
    前記先端効果器の少なくとも一つの導出された姿勢を実現するための少なくとも一つのロボット関節の動きを命令すること、
    を含む、
    請求項１６に記載のロボットシステムをコントロールする方法。
19. 追跡ベクトルを特定することが、前記画像座標系における前記追跡ベクトルの追跡方向と追跡速さを含む追跡速度を設定する、
    を含む、
    請求項１６に記載のロボットシステムをコントロールする方法。
20. 前記ロボット構成空間は、リモート回転中心に対する軸まわりの前記カメラの回転を表わす、
    請求項１６に記載のロボットシステムをコントロールする方法。
    

Images