JP2024514432A - 連続自動焦点合わせモードを有する立体視撮像プラットフォーム - Google Patents

Abstract

立体視撮像プラットフォームは、標的部位の左画像及び右画像を記録するように構成された立体視カメラを含む。ロボットアームは、立体視カメラに動作可能に接続され、ロボットアームは、立体視カメラを標的に対して選択的に移動させるように適合される。立体視カメラは、少なくとも１つのレンズを有し、且つ作動距離を規定するレンズ組立体を含む。レンズ組立体は、少なくとも１つのレンズを移動させて、作動距離を選択的に変化させるように適合された少なくとも１つの焦点モータを有する。コントローラは、立体視カメラのための１つ以上の自動焦点合わせモードを選択的に実行するように適合される。自動焦点合わせモードは、ロボットアームが立体視カメラを移動させており、及び標的部位が少なくとも軸方向に沿って移動している間、少なくとも１つの立体視画像の焦点を維持するように適合された連続自動焦点モードを含む。

Description

本開示は、概して、立体視撮像プラットフォームに関する。より具体的には、本開示は、ロボット支援立体視撮像プラットフォームにおける自動焦点合わせモードに関する。人体の様々な部位を撮像するために、様々な撮像モダリティが一般に用いられている。例えば、手術などの医療処置は、焦点が合った画像のリアルタイムでの取得を必要とする場合がある。自動焦点は、撮像デバイスにおけるレンズ組立体の一部分を適切に移動させることにより、場面内の関心の対象物に焦点に合わせる。しかしながら、立体視撮像デバイスにおいて自動焦点を実施することは、課題である。立体視撮像デバイスは、一般に、それぞれ別々の画像センサを有する複数のレンズを含む。レンズは、それぞれ他のレンズから僅かにシフトした場面の視野を有するように、例えば左のレンズから左画像を、右のレンズから右画像を有するように配置される。遠近法の違いにより、レンズの焦点合わせは、各レンズが同じ対象物に焦点を合わせるように連係される必要がある。そうでない場合、レンズは、場面における様々な対象物に同時に焦点を合わせて画質を低減させる場合がある。画像が取得されている間、立体視撮像デバイスが、撮像デバイス又はカメラを移動させることが可能なロボットシステムによって支援される場合、この課題は、より大きい。

本明細書では、標的部位を撮像するための立体視撮像プラットフォームが開示される。立体視撮像プラットフォームは、標的部位の少なくとも１つの立体視画像を生成するために、標的部位の左画像及び右画像を記録するように構成された立体視カメラを含む。ロボットアームは、立体視カメラに動作可能に接続され、ロボットアームは、立体視カメラを標的に対して選択的に移動させるように適合される。立体視カメラは、少なくとも１つのレンズを有し、且つ作動距離を規定するレンズ組立体を含む。レンズ組立体は、少なくとも１つのレンズを移動させて、作動距離を選択的に変化させるように適合された少なくとも１つの焦点モータを有する。コントローラは、立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有する。コントローラは、立体視カメラのための１つ以上の自動焦点合わせモードを選択的に実行するように適合される。自動焦点合わせモードは、ロボットアームが立体視カメラを移動させており、及び標的部位が少なくとも軸方向に沿って移動している間、少なくとも１つの立体視画像の焦点を維持するように適合された連続自動焦点モードを含む。

コントローラは、初期カメラ位置からの立体視カメラの高さの変化を決定するように構成され、高さの変化は、軸方向に沿った立体視カメラの位置の変位として定義される。コントローラは、初期標的位置からの標的深さの変化を決定するように構成され、標的深さの変化は、軸方向に沿った標的部位の位置の変位として定義される。

標的深さの変化を決定することは、初期標的ディスパリティ値及び現在のディスパリティ値を含むディスパリティ信号を取得することと、コントローラを介して、閉ループ制御モジュールを実行して、現在のディスパリティ値と初期標的ディスパリティとの差を最小化することとを含む。標的深さの変化は、現在のディスパリティ値と初期標的ディスパリティとの差に基づき得る。

閉ループ制御モジュールは、比例微分制御モジュール、比例積分制御モジュール及び比例積分微分制御モジュールの少なくとも１つであり得る。閉ループ制御モジュールは、比例定数、積分定数及び微分定数を定義する比例積分微分制御モジュールであり得る。標的深さの変化は、［Ｋｐ（Ｒｃ－Ｒｔ）＋Ｋｉ∫（Ｒｃ－Ｒｔ）ｄｔーＫｄ×ｄＲｃ／ｄｔ］として決定され得、ここで、Ｒｃは、現在のディスパリティ値であり、Ｒｔは、初期標的ディスパリティ値であり、ｔは、時間であり、Ｋｐは、比例定数であり、Ｋｉは、積分定数であり、及びＫｄは、微分定数である。

コントローラは、左画像の識別可能領域を分離し、且つ右画像の第２の領域を分離することにより、ディスパリティ信号を取得するように構成され得る。第２の領域は、識別可能領域の座標を含み、且つ識別可能領域よりも大きい。画素オフセットを取得するためにテンプレートマッチが実施され、画素オフセットは、左画像における識別可能領域及び右画像における識別可能領域の水平方向変位である。ディスパリティ信号は、テンプレートマッチの最適場所における画素オフセットとして取得される。

コントローラは、立体視カメラの高さの変化及び標的深さの変化に部分的に基づき、更新された焦点距離を計算するように構成される。更新された焦点距離を計算することは、更新された焦点距離Ｆを、第１の変数Ｚｂａｓｅ、第２の変数ｚ０及び第３の変数ｚ３の関数として、

であるように取得することを含む。第１の変数Ｚｂａｓｅは、ロボットベースフレームにおける標的部位の現在の位置のそれぞれの軸方向成分である。ロボットベースフレームは、同次変換行列を介してカメラ座標フレームに変換可能であり、同次変換行列は、回転行列及び並進ベクトルから構成される。第２の変数ｚ０は、並進ベクトルのそれぞれの軸方向成分であり、及び第３の変数ｚ３は、回転行列の列のそれぞれの軸方向成分である。

コントローラは、更新された焦点距離に対応する、少なくとも１つの焦点モータのためのモータコマンドを計算するように構成される。コントローラは、作動距離が、更新された焦点距離に対応するように、少なくとも１つの焦点モータにモータコマンドを送信するように構成される。ロボットアームの移動がもはや検出されないとき、コントローラは、最大鮮鋭度位置に対応する、少なくとも１つの焦点モータのためのモータコマンドを決定するように構成される。

最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む１つ以上の鮮鋭度パラメータに基づき得る。最大鮮鋭度の微分は、第１の位置において最大に達し、最大鮮鋭度の微分は、第１の位置から移動し、且つ第２の位置においてほぼゼロで安定する。最大鮮鋭度位置は、第１の位置として定義される。鮮鋭度信号は、少なくとも１つの立体視画像における対象物のそれぞれのエッジ間のコントラストとして定義され得る。最大鮮鋭度信号は、走査期間中に観察される最大鮮鋭度値として定義され得る。

少なくとも１つの立体視画像は、１つ以上の画像フレームを含む。鮮鋭度信号は、１つ以上の画像フレームのガウシアンぼかしのラプラシアンの分散を計算することによって取得され得る。ロボットアームの移動がもはや検出されないとき、コントローラは、最大鮮鋭度位置へと焦点モータに指示するように構成される。

本明細書では、標的部位を撮像するためのロボット撮像プラットフォームが開示される。ロボット撮像プラットフォームは、標的部位の少なくとも１つの立体視画像を生成するために、標的部位の左画像及び右画像を記録するように構成された立体視カメラを含む。ロボットアームは、立体視カメラに動作可能に接続され、ロボットアームは、立体視カメラを標的部位に対して選択的に移動させるように適合される。立体視カメラは、少なくとも１つのレンズを有し、且つ作動距離を規定するレンズ組立体を含み、レンズ組立体は、少なくとも１つのレンズを移動させて、作動距離を選択的に変化させるように適合された少なくとも１つの焦点モータを有する。コントローラは、立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有する。コントローラは、立体視カメラのための１つ以上の自動焦点合わせモードを選択的に実行するように適合され、１つ以上の自動焦点合わせモードは、連続自動焦点モードを含む。連続自動焦点モードは、ロボットアームが立体視カメラを移動させており、及び標的部位が少なくとも軸方向に沿って移動している間、少なくとも１つの立体視画像の焦点を維持するように適合される。

連続自動焦点モードは、開始値のセットからそれぞれの偏差を決定するように適合され、開始値のセットは、初期カメラ位置及び初期標的位置を含む。自動焦点合わせモードは、ディスパリティモード及び鮮鋭度制御モードの少なくとも１つを含む。開始値のセットは、連続自動焦点モードの前に実行される、ディスパリティモード及び鮮鋭度制御モードの少なくとも１つから取得される。

それぞれの偏差は、初期カメラ位置からの立体視カメラの高さの変化を含み、高さの変化は、軸方向に沿った立体視カメラの位置の変位として定義される。それぞれの偏差は、初期標的位置からの標的深さの変化を含み、標的深さの変化は、軸方向に沿った標的部位の位置の変位として定義される。

コントローラは、立体視カメラの高さの変化及び標的深さの変化に部分的に基づき、更新された焦点距離を計算するように構成される。標的深さの変化は、現在のディスパリティ値と初期標的ディスパリティとの差に部分的に基づき、開始値のセットは、初期標的ディスパリティを含む。

ロボットアームの移動がもはや検出されないとき、コントローラは、最大鮮鋭度位置に対応する、少なくとも１つの焦点モータのためのモータコマンドを決定するように構成される。最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む１つ以上の鮮鋭度パラメータに基づき得る。

本開示の上記の特徴及び利点並びに他の特徴及び利点は、本開示を実施するための最良の態様の以下の詳細な説明を添付の図面と関連して読むことで容易に明らかになる。

図１は、１つ以上の自動焦点合わせモードを有する立体視カメラと、コントローラとを有する立体視撮像プラットフォームの概略部分図である。 図２は、図１の立体視カメラの一部分の概略図である。 図３は、図１の立体視カメラの別の一部分の概略図である。 図４は、自動焦点合わせのためのディスパリティモードを実現する、図１のコントローラにより実行可能な例示的方法のフローチャートである。 図５Ａは、例示的な立体視カメラについて、有効ディスパリティ領域及び有効鮮鋭度領域を示す距離スケールの概略図である。 図５Ｂは、例示的な左画像及び右画像のディスパリティを示す概略図である。 図６は、例示的な立体視カメラについて、様々な作動距離に対するディスパリティ信号を表す概略グラフである。 図７は、自動焦点合わせのための鮮鋭度制御モードを実現する、図１のコントローラにより実行可能な例示的方法のフローチャートである。 図８Ａ及び図８Ｂは、例示的な立体視カメラについての（焦点モータ位置に対する）鮮鋭度信号値の例を異なる倍率値について示す概略グラフである。 図８Ｃは、例示的な立体視カメラについての（焦点モータ位置に対する）鮮鋭度、最大鮮鋭度及び最大鮮鋭度の微分を示す概略図である。 図９は、自動焦点合わせのための標的ロッキングモードを実現する、図１のコントローラにより実行可能な例示的方法のフローチャートである。 図１０は、図９の第３の方法で使用可能な例示的な仮想球体の概略図である。 図１１は、自動焦点合わせのための連続自動焦点合わせモードを実現する、図１のコントローラにより実行可能な例示的方法のフローチャートである。

本開示の代表的な実施形態が非限定的な例として図面に示され、以下に更に詳細に説明される。しかしながら、本開示の新規な態様は、上記で列挙された図面に示される特定の形態に限定されないことが理解されるべきである。むしろ、本開示は、例えば、添付の特許請求の範囲に包含されるような本開示の範囲内に含まれる修正形態、均等物、組合せ、副次的組合せ、並べ換え、グループ化及び代替形態を包含することになる。

図面を参照すると、同様の参照番号が同様の構成要素を指す。図１は、１つ以上の自動焦点合わせモード１４を有する立体視カメラ１２を有する立体視撮像プラットフォーム１０を概略的に示す。立体視撮像プラットフォーム１０は、標的部位１６を撮像するように構成される。図１を参照すると、立体視カメラ１２は、少なくとも部分的にハウジング組立体２０のヘッドユニット１８内に配置され、ヘッドユニット１８は、少なくとも部分的に標的部位１６に向けられるように構成される。立体視カメラ１２は、標的部位１６の第１及び第２の画像を記録するように構成され、標的部位１６のライブ二次元立体視ビューを生成するように用いられ得る。標的部位１６は、患者の解剖学的場所、研究室の生体試料、較正スライド／テンプレートなどであり得る。

図１を参照すると、倍率、焦点及び他の特徴など、立体視カメラ１２の特定の特徴を選択するために、少なくとも１つのセレクタ２２がヘッドユニット１８に取り付けられ得る。セレクタ２２を利用して、オペレータがヘッドユニット１８を手動で位置決めできるようにし得る。立体視撮像プラットフォーム１０は、ヘッドユニット１８に動作可能に接続され、ヘッドユニット１８を選択的に移動させるように構成された、ロボットアーム２４を含み得る。図１を参照すると、ヘッドユニット１８は、結合プレート２６を介してロボットアーム２４に機械的に結合され得る。オペレータは、ロボットアーム２４からの支援を受けて、立体視カメラ１２を位置決め及び方向決めすることができる。センサ２８が、ロボットアーム２４及び／又は結合プレート２６に動作可能に接続され得る。センサ２８は、立体視カメラ１２を移動させるためにオペレータによって与えられる力及び／又はトルクを検出するように構成される。

ロボットアーム２４は、ヘッドユニット１８の更なる程度の位置決め及び／又は方向決めを提供するように構成された１つ以上の関節、例えば第１の関節３０及び第２の関節３２を含み得る。オペレータにより提供される力／トルクに対応する立体視カメラ１２の支援された移動を提供するために、ロボットアーム２４のどの関節を回転させるべきか、関節をどの程度迅速に回転させるべきかを決定するために、センサ２８からのデータが用いられ得る。図１を参照すると、対応する関節モータ（例えば、関節モータ３１）と対応する関節センサ（例えば、関節センサ３３）とが各関節に結合され得る。関節モータ３１は、第１の関節３０を軸の周りで回転させるように構成される一方、関節センサ３３は、（３Ｄ空間における）第１の関節３０の位置を送信するように構成される。

図１を参照すると、立体視撮像プラットフォーム１０は、少なくとも１つのプロセッサＰと、１つ以上のサブルーチン又は方法を実行するための命令が記録された少なくとも１つのメモリＭ（又は有形の非一時的コンピュータ可読記憶媒体）とを有する、コントローラＣを含む。メモリＭは、コントローラ実行可能命令セットを格納することができ、プロセッサＰは、メモリＭに格納されたコントローラ実行可能命令セットを実行することができる。

図１を参照すると、ロボットアーム２４は、コントローラＣ及び／又はロボットアームコントローラ４２などの組み込みプロセッサを介して制御され得る。ロボットアーム２４は、立体視カメラ１２の視野範囲をＸ軸、Ｙ軸及びＺ軸に沿って延長するように選択的に動作可能であり得る。ヘッドユニット１８は、図１に示される第１及び第２のディスプレイ３６及び３８等の（モニタ、端末又は二次元視覚化の他の形態であり得る）少なくとも１つの表示媒体を有するカート３４に接続され得る。図１を参照すると、コントローラＣは、第１及び第２のディスプレイ３６及び３８においてブロードキャストするための信号を処理するように構成され得る。ハウジング組立体２０は、完全独立型であり得、様々な場所間を移動可能であり得る。立体視カメラ１２からの画像ストリームは、閲覧のための画像ストリームを準備するように構成され得るコントローラＣ及び／又はカメラプロセッサ（図示せず）に送信され得る。例えば、コントローラＣは、立体視カメラ１２からの第１及び第２の映像信号を結合又は交互配置して立体視信号を作成し得る。コントローラＣは、映像及び／又は立体視映像信号を映像ファイルに格納し、メモリＭに格納するように構成され得る。第１及び第２のディスプレイ３６及び３８は、立体視ディスプレイシステムを組み込み得、２次元ディスプレイは、左目及び右目のための別々の画像を有する。立体視ディスプレイを閲覧するために、ユーザは、第１及び第２のディスプレイ３６、３８と連動して動作してユーザの左目に左視野を示し、ユーザの右目に右視野を示す特別な眼鏡をかけ得る。

図１を参照すると、第１のディスプレイ３６は、１つ以上の関節を有する可撓性機械アーム４０を介してカート３４に接続されて、柔軟な位置決めが可能になり得る。可撓性機械アーム４０は、手術中に患者の上に延びて比較的接近した閲覧を外科医に提供するのに十分な長さを有するように構成され得る。第１及び第２のディスプレイ３６及び３８は、高精細テレビジョン、超高精細テレビジョン、スマート眼鏡、プロジェクタ、１つ以上のコンピュータスクリーン、ラップトップコンピュータ、タブレットコンピュータ及び／又はスマートフォンなどの任意のタイプのディスプレイを含み得、タッチスクリーンを含み得る。

立体視カメラ１２は、キャプチャされた静止画像、リアルタイム画像及び／又はデジタル映像信号を含むが、これらに限定されない様々な形態で提示され得る標的部位１６の立体視画像を取得するように構成される。本明細書中で使用する場合、「リアルタイム」は、一般に、データを受信するのと同じ速度で情報を更新することを指す。より具体的には、「リアルタイム」とは、画像データが十分に高いデータレート及び十分に低い遅延で取得、処理及び送信されて、データが表示されるとき、ユーザが気付くような激しい振動又は待ち時間なしに対象物がスムーズに動くことを意味する。典型的には、リアルタイムは、新しい画像が少なくとも約３０フレーム／秒（ｆｐｓ）のレートで取得、処理及び送信され、約６０ｆｐｓで表示される場合並びに映像信号の組合せ処理が約１／３０秒以下の遅延を有する場合に生じる。

コントローラＣは、立体視カメラ１２のための１つ以上の自動焦点合わせモード１４（以下では「１つ以上」は省略される）を選択的に実行するように適合される。自動焦点合わせモード１４の各々が、ユーザによって選択的に開始され得る。自動焦点合わせモード１４は、立体視カメラ１２の２つの利用可能な画像（左及び右）を活用して、ユーザが、面倒な手作業での焦点合わせを必要とすることなく、画像を焦点が合っていない状態から焦点が合った状態に変換することを可能にする。

自動焦点合わせモード１４は、可変の、例えば変更可能な、作動距離Ｗを有する、いかなる立体視覚化デバイスにおいても使用され得る。図１は作動距離Ｗを示し、作動距離Ｗは、基準面と標的部位１６の焦点面との間の距離として定義され得る。それに応じて、作動距離Ｗは、標的部位１６の平面又は焦点が合っている場面を設定する。図１～図２に示す実施例では、基準面は、前側作動距離レンズ１０４の外面である。作動距離Ｗは、角視野に対応する場合があり、より長い作動距離が、より広い視野又はより大きい可視領域をもたらす。

図１を参照すると、自動焦点合わせモード１４は、ディスパリティモード５０、鮮鋭度制御モード５２、標的ロッキングモード５４及び連続自動焦点モード５６を含み得る。初期ロボットアーム入力及び動的画像フィードバックに部分的に基づいて、自動焦点合わせモード１４は、作動距離Ｗを自動的に調整して、様々な状況において改善された画像品質を達成する。コントローラＣは、自動焦点合わせモード１４の各々を開始及び停止するためのアプリケーションプログラミングインターフェース（ＡＰＩ）を提供するように適合され得る。ディスパリティモード５０、鮮鋭度制御モード５２、標的ロッキングモード５４及び連続自動焦点モード５６の例示的実現形態は、図４、図７、図９及び図１１をそれぞれ参照して以下で説明される（方法２００、４００、６００及び７００として）。

ディスパリティモード５０は、自動焦点合わせプロセス中、作動距離Ｗの調整を制御するフィードバック信号としてディスパリティ信号を使用するように適合される。ディスパリティ信号は、左視野画像における関心のある点と、右視野画像における関心のある同じ点との間の水平方向変位を反映する。鮮鋭度制御モード５２は、立体視カメラ１２の焦点が合っているときの全体的な画像を改善し、ディスパリティ変動に起因する劣った画質を低減させる。鮮鋭度制御モード５２は、ディスパリティ信号並びに複数の鮮鋭度パラメータ（例えば、鮮鋭度、最大鮮鋭度及び最大鮮鋭度の微分）を使用するように適合される。ディスパリティモード５０及び鮮鋭度制御モード５２において、ロボットアーム２４及び標的部位１６は、以下の表１に示すように場所が固定される。

ロボットアーム２４が立体視カメラ１２を移動させ、標的部位１６が固定されている間、標的ロッキングモード５４は画像における焦点を維持するように適合される。連続自動焦点モード５６は、ロボットアーム２４及び標的部位１６の両方が移動するにつれて、画像の焦点が合った状態を維持するように適合される。連続自動焦点モード５６は、ロボットアーム２４が移動を停止したときに最大鮮鋭度値に収束する。

図１のコントローラＣは、（それぞれ図４、図７、図９及び図１１に関して以下で詳細に論じられる）方法２００、４００、６００及び７００のブロックを実行するように特にプログラムされ、リモートソース及び／又は実行可能プログラムからダウンロードされた情報を含み得る又はそのような情報にアクセスし得る。図１を参照すると、コントローラＣは、ネットワーク６４を介してリモートサーバ６０及び／又はクラウドユニット６２と通信するように構成され得る。リモートサーバ６０は、例えば、研究機関、企業、大学及び／又は病院などの組織によって維持される私的又は公的な情報源であり得る。クラウドユニット６２は、データの格納、管理及び処理を行うためにインターネット上でホストされる１つ以上のサーバを含み得る。

ネットワーク６４は、ローカルエリアネットワークの形態のシリアル通信バスであり得る。ローカルエリアネットワークは、コントローラエリアネットワーク（ＣＡＮ）、コントローラエリアネットワークウィズフレキシブルデータレート（ＣＡＮ－ＦＤ）、イーサネット、ｂｌｕｅ ｔｏｏｔｈ、ＷＩＦＩ及び他のデータの形態を含み得るが、これらに限定されない。ネットワーク６４は、複数のデバイスを無線分散方式で繋ぐ無線ローカルエリアネットワーク（ＬＡＮ）、複数の無線ＬＡＮを接続する無線メトロポリタンエリアネットワーク（ＭＡＮ）又は近隣の市町村などの広い地域をカバーする無線ワイドエリアネットワーク（ＷＡＮ）であり得る。他のタイプの接続が使用され得る。

Ｉ．立体視カメラの光学構成要素
立体視カメラ１２の例示的な光学構成要素が図２～図３に提示される。当業者に利用可能な他の光学構成要素又はデバイスが用いられ得ることを理解されたい。ここで、図２を参照すると、立体視カメラ１２の一部分の概略図が示される。標的部位１６からの画像が、図２～図３に示される光学組立体１０２を介して立体視カメラ１２により受信される。図２～図３を参照すると、光学組立体１０２は、ハウジング１０８内に前側作動距離レンズ１０４及び後側作動距離レンズ１０６を含む。

図２を参照すると、光学組立体１０２の主平面１２４からの焦点距離Ｆに等しい距離に焦点面１２２が位置する。焦点面１２２の上方及び下方での立体視カメラ１２による対象物の視覚化は、対象物の焦点を弱める。主平面１２４の場所を計測することは、困難な場合があるため、ハウジング１０８の底面から焦点面１２２までの距離は、通常、作動距離Ｗとして指定される。作動距離Ｗは、標的部位１６の平面又は焦点が合っている場面を正確に設定する。

光学組立体１０２は、立体視カメラ１２に様々な作動距離Ｗ（図１を参照されたい）を提供するように構成される。図２を参照すると、コントローラＣは、後側作動距離レンズ１０６と前側作動距離レンズ１０４との間の間隔を変化させるように焦点モータ１１０に選択的に指示するように適合される。焦点モータ１１０は、光学組立体１０２の作動距離Ｗを変化させるように、（例えば、方向１１２に沿って）移動可能である。上述したように、作動距離Ｗは、立体視カメラ１２から標的部位１６の焦点が合っている基準面までの距離と称される場合がある。いくつかの実施形態では、焦点モータ１１０を介して後側作動距離レンズ１０６を移動させることにより、作動距離Ｗは２００から４５０ｍｍまで調整可能である。

前側作動距離レンズ１０４に対する後側作動距離レンズ１０６の移動も、焦点距離Ｆを変化させる。いくつかの実施形態では、焦点距離Ｆは、後側作動距離レンズ１０６と前側作動距離レンズ１０４との間の距離に、前側作動距離レンズ１０４の厚さの半分を加えたものである。達成可能な焦点距離Ｆは、ハードウェアにより許容される最大及び最小の作動距離により境界が定められる。一実施例では、焦点モータ１１０は電気モータである。しかしながら、焦点モータ１１０は、ステッパモータ、形状記憶合金アクチュエータ又は当業者に利用可能な他のタイプのアクチュエータなどのいかなるタイプの線形アクチュエータでもあり得る。

図示する実施形態では、後側作動距離レンズ１０６は、前側作動距離レンズ１０４が静止している間、方向１１４（ここではＺ軸）に沿って移動可能である。しかしながら、前側作動距離レンズ１０４が移動可能であり得ること又は前側作動距離レンズ１０４及び後側作動距離レンズ１０６の両方が移動可能であり得ることを理解されたい。焦点モータ１１０は、コントローラＣ及び／又はモータコントローラ１１６を介して選択的に動作可能であり得る。立体視カメラ１２は追加の焦点モータを含んで、前側レンズ及び後側レンズを独立に移動させることができる。光学組立体１０２の倍率は、作動距離Ｗに基づいて変化し得る。例えば、光学組立体１０２は、２００ｍｍの作動距離に対して８．９倍の倍率及び４５０ｍｍの作動距離に対して８．７５倍の倍率を有することができる。

いくつかの実施形態では、前側作動距離レンズ１０４は、平凸レンズ及び／又はメニスカスレンズで構成される。後側作動距離レンズ１０６は、色消しレンズを含み得る。光学組立体１０２が、色消し屈折組立体を含む実施例では、前側作動距離レンズ１０４は、半球状レンズ及び／又はメニスカスレンズを含み得る。後側作動距離レンズ１０６は、色消しダブレットレンズ、色消しダブレットレンズのグループ及び／又は色消しトリプレットレンズを含み得る。光学組立体１０２は、他のタイプの屈折組立体又は反射組立体及び当業者に利用可能な構成要素を含み得る。

図２を参照すると、焦点面１２２にて対象物を撮像することにより、光学組立体１０２の後側又は背面から無限遠に位置する共役像が形成される。光学組立体１０２は、光学デバイス１３０を介して、標的部位１６の左側及び右側の視野を提供するように構成される。いくつかの実施形態では、光学デバイス１３０は、それぞれのセンサ及び光デバイスを有する左側及び右側の光学ユニット１３２、１３４を含む。図２に示すように、左側及び右側の光学ユニット１３２、１３４は、それぞれ左光路１３６及び右光路１３８を生成し、これらは、ハウジング１０８内の２本の平行光路である。左側及び右側の光学ユニット１３２、１３４は、距離１４０によって横方向に分離される。いくつかの実施形態では、距離１４０は、約５８～７０ｍｍである。ハウジング１０８の外部では、左光路１３６及び右光路１３８は、それぞれ光学組立体１０２の光軸１４６と僅かに異なる方向において左光軸１４２及び右光軸１４４に延びる。左光軸１４２及び右光軸１４４は、画像点１４８における視野の中心において一致する。画像点１４８は、焦点面１２２における立体視カメラ１２の「先端」と呼ばれる場合がある。

前側作動距離レンズ１０４及び後側作動距離レンズ１０６の相対位置を調整することにより、新規な焦点面１２２Ｂの位置にある新規な作動距離Ｗ２が形成される。図２を参照すると、後側作動距離レンズ１０６の移動により、左光軸１４２Ｂ及び右光軸１４４Ｂの再整列が生じ、その結果、立体視カメラ１２の先端１４８Ｂが再配置される。

前側作動距離レンズ１０４及び後側作動距離レンズ１０６は、一緒に、下流の光学画像センサのために最適焦点を提供するための無限の共役像を提供するように構成される。換言すれば、標的部位１６の焦点面に厳密に位置する対象物は、その画像が無限遠の距離に投影されることになり、それにより提供される作動距離において無限遠結合される。一般に、対象物は、光路に沿って焦点面から特定の距離において、焦点が合っているように見える。しかしながら、特定の閾値距離を過ぎると、対象物は、ぼやけて焦点がずれているように見え始める。

図２～図３に示す光学組立体１０２は、左光路１３６及び右光路１３８の両方に対して、標的部位１６の画像を提供する。代替実施形態では、光学組立体１０２は、別々の左側及び別々の右側の前側作動距離レンズ１０４及び別々の左側及び別々の右側の後側作動距離レンズ１０６を含み得る。更に、後側作動距離レンズ１０６の各々が、独立して調整可能であり得る。

ここで、図３を参照すると、立体視カメラ１２の別の一部分の概略図が示される。図３に示す要素は、左光路１３６又は右光路１３８（図２を参照されたい）のいずれかの一部であり得、これらの要素は、一般に、これらの要素の配置に関して同一である。図３を参照すると、標的部位１６を照射するために、立体視カメラ１２は、１つ以上の照明ソース、例えば第１の光源１５０、第２の光源１５２及び第３の光源１５４を含み得る。他の実施例では、立体視カメラ１２は、追加の光源又はより少ない光源を含み得る。照明源により生成された光は、相互作用し、標的部位１６で反射し、反射された一部の光は、光学組立体１０２に向かう。代わりに、立体視カメラ１２は、外部光源又は環境からの周囲光を使用することができる。

一実施例では、第１の光源１５０は、電磁スペクトルの可視部分における光を出力するように構成され、第２の光源１５２は、可視スペクトルの赤色部分を僅かに過ぎた波長を主に有する近赤外光を出力するように構成される。第３の光源１５４は、主に可視スペクトルの青色部分における波長を有する近紫外光を出力するように構成され得る。生成される光の輝度は、コントローラＣ及び／又は対応する光源に関連付けられた対応するマイクロコントローラによって制御され得る。いくつかの実施形態では、第３の光源１５４からの光は、落射照明設定を使用して、偏向要素１５６により反射されて光学組立体１０２に向かう。偏向要素１５６は、例えば、ビームスプリッタであり得る。偏向要素１５６は、コーティングされ得るか、又は近紫外線波長範囲を超えた光のみを反射し、それにより近紫外光をフィルタリングするように構成され得る。

図３を参照すると、偏向要素１５６は、特定波長の光を、光学組立体１０２を通して第３の光源１５４から標的部位１６まで送信するように構成され得る。偏向要素１５６は、標的部位１６から受け取った光を、拡大及び記録のための前方レンズセット１５８を含む下流の光学要素に向けて反射するようにも構成される。いくつかの実施形態では、偏向要素１５６は、特定波長の光が前方レンズセット１５８に到達するように、光学組立体１０２を通して標的部位１６から受け取った光をフィルタ処理し得る。偏向要素１５６は、光を特定方向に反射させるための任意のタイプの鏡又はレンズを含み得る。一実施例では、偏向要素１５６は、異なる波長において異なる反射及び伝送特性を有するダイクロイックミラー又はフィルタを含む。

図３を参照すると、立体視カメラ１２は、１つ以上のズームレンズを含んで、焦点距離及び標的部位１６の視野角を変化させてズーム倍率を提供し得る。図示する実施例では、ズームレンズは、前方レンズセット１５８、ズームレンズ組立体１６０及びレンズバレルセット１６６を含む。前方レンズセット１５８は、それぞれ（左光路及び右光路に対する）対応する正収束レンズを含んで、偏向要素１５６からの光をズームレンズ組立体１６０の対応するレンズに導くことができる。前方レンズセット１５８の横方向位置がズームレンズ組立体１６０に伝播される、光学組立体１０２及び偏向要素１５６からのビームを定めることができる。前方レンズセット１５８は、調整可能な半径方向位置及び軸方向位置を有するレンズを含み得る。

図３を参照すると、ズームレンズ組立体１６０は、レンズバレルセット１６６に伝搬される光ビームのサイズを変化させることにより視野（例えば、線形視野）のサイズを変化させるための無限焦点ズームシステムを形成し得る。ズームレンズ組立体１６０は、対応する左側及び右側前方ズームレンズを有する前方ズームレンズセット１６２を含み得る。ズームレンズ組立体１６０は、対応する左側及び右側前方ズームレンズを有する後方ズームレンズセット１６４を含み得る。前方ズームレンズセット１６２は、正収束レンズを含み得る一方、後方ズームレンズセット１６４は、負発散レンズを含み得る。いくつかの実施形態では、レンズバレルセット１６６は、ハウジング１０８内で、半径方向及び軸方向に固定され得る。他の実施例では、レンズバレルセット１６６は、光路に沿って軸方向に沿って移動可能であり、倍率の増加を提供し得る。加えて、前方レンズセット１５８、前方ズームレンズセット１６２及び／又は後方ズームレンズセット１６４における対応する要素の一部若しくは全ては、半径方向及び／又は回転方向に調整可能であり得る。

図３の立体視カメラ１２は、光の所望の波長を選択的に伝送するための１つ以上の光学フィルタ１６８を含み得る。光路の各々が別々のフィルタを有し得る。別々のフィルタを含むことにより、例えば、左光路及び右光路から異なる波長の光を同時にフィルタ処理することが可能になり、それにより例えば可視光画像に関連する蛍光画像を表示することが可能になる。

図３を参照すると、フィルタ１６８は、回転軸を中心に回転可能であって複数の異なる光学フィルタペアを収容することが可能なホイールを含み得る。光学組立体１０２、前方レンズセット１５８、ズームレンズ組立体１６０及びレンズバレルセット１６６のレンズは、オペレータにとって関心がある波長及び望ましくない波長を含む、光の比較的広い帯域幅を通過させるように構成され得る。他の実施形態では、フィルタ１６８は、光路の方向を映像フレームレートで変化させることができるデジタルマイクロミラーを含み得る。

図３を参照すると、立体視カメラ１２は、フィルタ１６８から受け取った光を可撓性部材１７４に接続され得る光学画像センサ１７２上に焦点合わせするための最終光学要素セット１７０を含み得る。最終光学要素セット１７０は、右側及び左側の正収束レンズを含み得、これらは、光が光学画像センサ１７２に到達する前に、右光路及び左光路における倍率及び／又は集束収差を補正するために、半径方向及び／又は軸方向に調整可能である。

図３を参照すると、光学画像センサ１７２は、最終光学要素セット１７０から受け取った入射光を取得及び／又は記録するように構成される。光学画像センサ１７２は、右光路及び左光路に対して別々の右光学画像センサ及び左光学画像センサを含み得、相補型金属酸化物半導体（「ＣＭＯＳ」）感知要素、Ｎ型金属酸化物半導体（「ＮＭＯＳ」）及び／又は半導体電荷結合デバイス（「ＣＣＤ」）感知要素を含み得るが、これらに限定されない。コントローラＣは、倍率及び作動距離の各値に対してカメラのモデルパラメータを測定及び計算するように構成され得る。標的部位１６の左及び右の立体視視野に整合させるために、立体視カメラ１２の出力は、コントローラＣにより実行可能な数学モデルを使用して較正され得る。

ＩＩ．ディスパリティモード
ここで、図４を参照すると、方法２００のフローチャートが示される。方法２００は、図１のディスパリティモード５０の例示的実現形態であり、図１のコントローラＣに格納され、コントローラＣにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法２００は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。本明細書で使用する場合、用語「動的」及び「動的に」は、ルーチンの実行中又はルーチンの実行の繰り返し中、リアルタイムで実行されるステップ又はプロセスであって、パラメータの状態を監視又は決定すること及び定期的又は周期的にパラメータの状態を更新することにより特徴付けられるステップ又はプロセスを説明する。

可変の作動距離を有する３Ｄ立体視撮像デバイス（例えば、立体顕微鏡）を想定すると、作動距離Ｗの初期状態に関係なく、作動距離Ｗを迅速に変化させ（例えば、焦点モータ１１０を調整することにより）、焦点が合った画像を自動的に取得する方法を見つけることが課題である。最初の課題は、作動距離Ｗを変化させるためのフィードバック信号を取得することである。ディスパリティモード５０では、使用されるフィードバック信号はディスパリティ信号である。例示的な左画像３２０及び右画像３２２に関するディスパリティを示す概略図を、縮尺通りに描かれていない図５Ｂに示す。ディスパリティ値／信号３２４は、左目画像３２０における識別可能領域３２６Ａと右目画像３２２における同じ識別可能領域３２６Ｂとの間の画素オフセットの数値として定義され得る。図５Ｂを参照すると、ディスパリティ信号は、左目画像３２０の識別可能領域３２６Ａを取得し、右目画像３２２における識別可能領域３２６Ｂの同じ座標を含む第２の（より大きい）領域３２８に対してテンプレートマッチを実施することにより計算され得る。第２の領域３２８は、識別可能領域３２６Ａ／３２６Ｂよりも大きい。第２の課題は、作動距離Ｗの初期状態が完全にぼやけた画像をもたらし、ディスパリティ信号が信頼できなくなる場合があるため、作動距離Ｗの全体にわたって探索することである。したがって、探索が実施されなければならず、焦点モータ１１０は、ディスパリティ信号が有効な、フィードバックコントローラにおいて使用され得る領域に移動される。

図４を参照すると、方法２００は、ブロック２０２から始まる。ブロック２０２では、コントローラＣは、ロボットアーム２４の状態を調査し、画像に焦点を合わせるために焦点モータ１１０が移動する必要がある選択方向３０８（図５Ａを参照されたい）を決定するようにプログラムされる。図５Ａを参照すると、最小作動距離３０２と最大作動距離３０４との間の距離スケール３００が示される。作動距離Ｗの初期状態（及び図２の焦点モータ１１０の対応する初期位置）は、開始点３０６により示される。選択方向３０８は、ロボットアーム２４の移動方向に整合する。画像の焦点が合っていた前回以降に、ロボットアーム２４がどの方向を移動したかを決定するために、データが調査される。この方向への探索により、有効なディスパリティ領域３１０（図５Ａを参照されたい）に迅速に遭遇することが可能になる。図５Ａは、有効なディスパリティ領域３１０及び有効な鮮鋭度領域３１２を示す。有効な鮮鋭度領域３１２は、有効なディスパリティ領域３１０よりも小さく、その中に含まれる。

図４のブロック２０２において、コントローラＣは、選択方向３０８に作動距離（Ｗ）の範囲を走査又は掃引し、各ステップにおいてディスパリティ信号を計算するようにもプログラムされる。上述したように、図５Ｂを参照すると、ディスパリティ信号３２４は、左目画像３２０の識別可能領域３２６Ａを取得し、右目画像３２２における識別可能領域３２６Ｂの同じ座標を含むより大きい第２の領域３２８に対してテンプレートマッチを実施することにより計算され得る。最適テンプレートマッチの位置を計算することにより画素オフセットが得られ、画素オフセットは、ディスパリティ信号として設定される。他の方法が用いられ得る。

図６を参照すると、例示的なディスパリティ信号の概略グラフが示される。水平軸３６０は、最小作動距離３６２と最大作動距離３６４との間の作動距離を示す。垂直軸３６６は、ディスパリティ信号の大きさを示す。図６を参照すると、画像の焦点が徐々に合うにつれて、ディスパリティ信号は有効ディスパリティ領域３７０の端部から直線的に傾き（ゼロ－ディスパリティ位置３７２において）ゼロになる。ゼロディスパリティ位置３７２は、ディスパリティ信号がゼロであることを示す。ディスパリティ信号がゼロである場合、左画像と右画像は、重なり合い、オフセットしておらず、その結果、画像の焦点は、より良好である。図６を参照すると、有効ディスパリティ領域３７０内のディスパリティ信号は、有効／正当な値を反映する一方、第１の外側領域３７４及び第２の外側領域３７６におけるディスパリティ信号の値は、アーチファクト又は無意味な値を反映する。アーチファクトは、例えば、上述したテンプレートマッチングプロセスを用いて、ディスパリティ信号が計算される方法の結果である。ゼロディスパリティ位置３７２から更に離れるにつれて、画像は、一層ぼやけるようになり、最終的に、画像は、完全にぼやけ、その点において、最適テンプレートマッチの場所を計算することにより得られる画素オフセットは、単にノイズを返している。数値的に有効なディスパリティが検出された場所（例えば、図５Ａの有効なディスパリティ領域３１０）に、可変作動距離の領域が入力されると、コントローラＣは、フィードバックコントローラ（例えば、ＰＩＤコントローラ）を使用するように切り換えて、それに応じて焦点モータ１１０を移動させ、ディスパリティをゼロになるように駆動するようにプログラムされる。

図４のブロック２０４において、コントローラＣは、計算されたディスパリティ信号がゼロとなるような焦点モータ１１０のためのモータコマンドを決定するようにプログラムされる。これは、エラー値（Ｅ）を、所望のディスパリティ（Ｄ_{ｄｅｓｉｒｅｄ}＝０）と推定されたディスパリティ（Ｄ_{ｅｓｔｉｍａｔｅｄ}）との差として得るように構成された閉ループ制御モジュールを介して行われ得る。
Ｅ＝［^ＬＩＭＤ_{ｅｓｔｉｍａｔｅｄ}－Ｄ_{ｄｅｓｉｒｅｄ}］

閉ループ制御モジュールは、コントローラＣに組み込まれ得るか、又はコントローラＣにアクセス可能であり得る。閉ループ制御モジュールは、制御変数（この場合には作動距離）を新しい値に調整することにより、経時的なエラー値を最小化するように構成される。閉ループ制御モジュールは、比例微分（ＰＤ）制御モジュール、又は比例積分（ＰＩ）制御モジュール、又は比例積分微分（ＰＩＤ）制御モジュールであり得る。当業者に理解されるように、ＰＩ制御モジュール及びＰＩＤ制御モジュールは、フィードバックループを用いてエラー値を連続的に計算する。エラー値は、所望の値と測定されたプロセス変数との差である。ＰＩ制御モジュールは、比例項及び積分項に基づいて補正を適用する一方、ＰＩＤ制御モジュールは、微分項を更に含み、ＰＤ制御モジュールは、比例項及び微分項に基づいて補正を適用する。

図４のブロック２０６において、コントローラＣは、焦点モータ１１０を（ブロック２０４において決定される）対応するゼロディスパリティ位置３７２に移動させて焦点が合った画像を取得するようにプログラムされる。「完全な焦点ディスパリティ」は、ユニットごとに大きく変動することが観察されているため、これは、単純明快なことではない。加えて、立体視カメラ１２の加熱のような変化は、ゼロディスパリティ位置３７２をシフトさせ得る。ディスパリティモード５０は、ロボットアーム２４が移動していないときに単一の関数呼び出しを提供して、いつでも、いかなる初期条件からも、焦点が合っている画像が取得される。別の技術的利点は、立体視カメラ１２に利用可能な２つの画像があるため、接地点までの距離を測定するのに追加のハードウェアが不要であり、したがって距離計の必要性が排除されることである。

ＩＩＩ．鮮鋭度及びディスパリティベースの自動焦点
ここで、図７を参照すると、方法４００のフローチャートが示される。方法４００は、図１の鮮鋭度制御モード５２の例示的実現形態であり、図１のコントローラＣに格納され、コントローラＣにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法４００は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。鮮鋭度制御モード５２は、立体視カメラ１２の焦点が合っているときの全体的な画像を改善し、ディスパリティ変動に起因する劣った画質を低減させる。多くの状況では、最大鮮鋭度の位置は、ゼロディスパリティの位置からオフセットしている。ここでの課題は、最大鮮鋭度の位置に収束させるために動的な調整を適用することである。別の課題は、作動距離範囲全体にわたる鮮鋭度信号の有効性である。なぜなら、有効な鮮鋭度領域３１２（図５Ａを参照されたい）の外側の部分は使用不能である／ぼやけているからである。図５Ａに示すように、有効な鮮鋭度領域３１２は、特に高い倍率において、比較的小さい。

図８Ａ及び図８Ｂは、例示的な立体視カメラ１２について、焦点モータ１１０の様々な位置に対する、鮮鋭度信号の値の例を示す概略的グラフである。図８Ａ及び図８Ｂでは、水平軸５０２が焦点モータの位置を反映する一方、垂直軸５０４が鮮鋭度信号の振幅を反映する。図８Ａにおけるトレース５０６は、１Ｘの倍率において得られた鮮鋭度信号を示し、鮮鋭度信号は、モータ位置５０８において最大値を有する。図８Ｂにおけるトレース５１６は、１０Ｘの倍率において得られた鮮鋭度信号を示し、鮮鋭度信号は、モータ位置５１８において最大値を有する。鮮鋭度信号の幅は、倍率又はズームによって変化する。図８Ａ及び図８Ｂに示すように、幅は、より高い倍率の領域では、より狭い。

図７の方法４００は、ブロック４０２から始まる。ブロック４０２では、コントローラＣは、焦点を合わせるために焦点モータ１１０が移動する必要がある選択方向（例えば、図５Ａの選択方向３０８）を決定するようにプログラムされる。選択方向は、画像の焦点が合っていた前回の時点においてロボットアーム２４が移動した方向に設定される。コントローラＣは、選択方向３０８に作動距離（Ｗ）の範囲を走査するようにプログラムされる。

図７のブロック４０４において、コントローラＣは、計算されたディスパリティ信号がゼロ（例えば図６の、ゼロディスパリティ位置３７２を参照されたい）となるような焦点モータ１１０のためのモータコマンドを決定するようにプログラムされる。これは、エラー値（Ｅ）を、所望のディスパリティ（Ｄ_{ｄｅｓｉｒｅｄ}＝０）と推定されたディスパリティ（Ｄ_{ｅｓｔｉｍａｔｅｄ}）との差として得るように構成された閉ループ制御モジュールを介して行われ得る。
Ｅ＝［^ＬＩＭＤ_{ｅｓｔｉｍａｔｅｄ}－Ｄ_{ｄｅｓｉｒｅｄ}］

閉ループ制御モジュールは、コントローラＣに組み込まれ得るか、又はコントローラＣにアクセス可能であり得る。閉ループ制御モジュールは、制御変数（この場合には作動距離）を新しい値に調整することにより、経時的なエラー値を最小化するように構成される。閉ループ制御モジュールは、比例微分（ＰＤ）制御モジュール、又は比例積分（ＰＩ）制御モジュール、又は比例積分微分（ＰＩＤ）制御モジュールであり得る。当業者に理解されるように、ＰＩ制御モジュール及びＰＩＤ制御モジュールは、フィードバックループを用いてエラー値を連続的に計算する。エラー値は、所望の値と測定されたプロセス変数との差である。ＰＩ制御モジュールは、比例項及び積分項に基づいて補正を適用する一方、ＰＩＤ制御モジュールは、微分項を更に含み、ＰＤ制御モジュールは、比例項及び微分項に基づいて補正を適用する。

図７のブロック４０６において、コントローラＣは、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の微分、すなわち最大鮮鋭度の経時的な変化率を含む複数の鮮鋭度パラメータを決定又は追跡するようにプログラムされる。図８Ｃは、立体視カメラ１２についての鮮鋭度信号５５０、最大鮮鋭度信号５６０及び最大鮮鋭度の微分５７０の例を示す概略図である。垂直軸５４０は、対応する鮮鋭度パラメータの大きさを示す一方、水平軸５４２は、焦点モータ１１０の対応する位置を示す。鮮鋭度パラメータは、画像のサクサク感（ｃｒｉｓｐｎｅｓｓ）を反映する。鮮鋭度信号５５０は、画像内の対象物のエッジ間のコントラストとして定義され得、それは、画像の高周波成分である。鮮鋭度信号５５０は、立体視画像の各画像フレームのガウシアンぼかしのラプラシアンの変動を計算することにより計算され得る。当業者に理解されるように、（ときにラプラス演算子と呼ばれる）ラプラシアンは、ユークリッド空間の関数の勾配の発散により与えられる微分演算子である。ガウシアンぼかしは、ガウス関数を使用して画像をぼやけさせる又は平滑化することにより得ることができる。これらの計算は、数学ソフトウェア、機械学習アルゴリズム及び当業者が利用可能な処理デバイスを使用して実施され得る。鮮鋭度信号５５０の定義は、手近な用途に基づいて変化し得る。

図８Ｃを参照すると、最大鮮鋭度信号５６０は、走査時間中に観察される最高鮮鋭度値として定義され得る。最大鮮鋭度信号５６０は絶え間なく更新され、最大鮮鋭度の微分５７０は時間に対して計算される。いくつかの実施形態では、最大鮮鋭度の微分５７０（ｄＳ_ｍａｘ／ｄｔ）は、ｄＳ_ｍａｘ／ｄｔ＝ｆｉｌｔｅｒ（［Δｓ［ｎ＋１］－Δｓ［ｎ］］／Ｔ_ｓ）として得ることができ、Ｔ_ｓはサンプルレートであり、ｎはサンプル数であり、Δｓは最大鮮鋭度の変化であり、フィルタ関数は当業者が利用可能な平滑化又はノイズ除去フィルタ関数であり得る。鮮鋭度信号５５０は、異なるスレッドにおいて異なるレートで入力される場合があり、焦点モータコマンドが更新される時間と僅かに異なる時間に計算される場合がある。

図８Ｃに示すように、最大鮮鋭度の微分５７０は、第１の位置５４４において最大に達する。最大鮮鋭度の微分５７０がゼロに戻る場合、これは、最善の鮮鋭度場所を通過したことを意味し、コントローラＣが起動される。例えば、コントローラＣは、微分５７０が所定数のステップにわたってゼロに落ち着いたときである第２の位置５４６において起動され得る。コントローラＣは、最大鮮鋭度位置とみなされる第１の位置５４４に戻すように焦点モータ１１０に指示するようにプログラムされる。

図７の方法４００は、ブロック４０６からブロック４０８に進む。図７のブロック４０８において、コントローラＣは、最大鮮鋭度位置においてディスパリティ信号が許容可能な閾値にあるか又はそれを下回るかを判定するようにプログラムされる。その場合、方法４００はブロック４１０に進む。ブロック４１０では、焦点モータ１１０は（ブロック４０６において得られた）最大鮮鋭度に対応する作動距離位置に移動するように指示される。ディスパリティ信号を活用して、小さい鮮鋭度領域への収束を保証することにより、方法４００は、迅速、堅牢であり、複数のズームレベルで良好に機能する。鮮鋭度を最大化することにより、結果として生じる画像は、単に単独でディスパリティに収束する場合よりも、ぼやけが低減される。

ディスパリティ信号が許容可能な閾値を上回る場合、方法４００はブロック４１２に進む。ブロック４１２では、焦点モータ１１０は、ブロック４０４において得られたゼロディスパリティ位置３７２（図６を参照されたい）に移動するように指示される。立体視カメラ１２が不適切に較正される一部の場合、最大鮮鋭度に対応する場所は、許容できない高いディスパリティをもたらす場合があり、それにより３次元で認識することが困難になる。この場合、最大鮮鋭度を使用することができないため、方法４００は、０ディスパリティの場所に戻る。鮮鋭度のみを使用することは、意味がある鮮鋭度情報を有する領域が極めて小さいことに起因して、高い倍率で課題である。

要約すれば、方法４００は、複数の掃引を実施し、ディスパリティフィードバック及び鮮鋭度フィードバックを使用して作動距離Ｗを変化させて、最適焦点を達成する。画像を考慮する場合、ディスパリティがあまり大きくなく、画像の鮮鋭度が最大化される場合、画像は、最大限に焦点が合っていると考えることができる。鮮鋭度制御モード５２は、鮮鋭度パラメータとディスパリティ信号とを対にすることにより、最大鮮鋭度への最適な収束を可能にする。ディスパリティ信号は、より大きく有効な鮮鋭度領域３１２（図５Ａを参照されたい）を含む有効なディスパリティ領域３１０（図５Ａを参照されたい）を有する。

ＩＶ．標的ロッキングモード
ここで、図９を参照すると、例示的方法６００のフローチャートが示される。方法６００は、図１の標的ロッキングモード５４の例示的実現形態であり、図１のコントローラＣに格納され、コントローラＣにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法６００は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。

いくつかの実施形態では、図１を参照すると、標的ロッキングモード５４は、オペレータが（例えば、マウスなどの入力デバイス６６を介して）標的ロッキングモード５４を選択したときに始まり、それにより、命令メッセージ又は信号は、コントローラＣ及び／又はロボットアームコントローラ４２に送信される。命令が受信されると、例示的なコントローラＣ及び／又はロボットアームコントローラ４２は、立体視カメラ１２の現在の作動距離、倍率、焦点及び／又は他の光学パラメータを記録し得る。標的部位１６の現在の位置は、ロボットアーム２４の様々な関節の位置データから決定され得る。コントローラＣ及び／又はロボットアームコントローラ４２は、標的部位１６の現在の画像も記録し得る。

標的ロッキングモード５４は、リアルタイムで標的部位１６をロックして焦点が合った状態を維持する一方、作動距離の変化を許容しながら、立体視カメラ１２が（ロボットアーム２４を介して）３Ｄ空間内の任意の場所に移動することを可能にする。ロボットアーム２４の移動中に画像の焦点が合った状態を維持する課題は、立体視カメラ１２の向き、すなわち３Ｄ空間内での立体視カメラ１２のビューベクトル１１８（図３を参照されたい）の方向が変化したときに生じる。これらの実施形態では、標的ロッキングモード５４により、立体視カメラ１２を標的部位１６の特定点（例えば、図３に示す標的点１２０）にロックさせながら、立体視カメラ１２の向きを変化させることを可能にすることにより、ロボットアーム２４が外科医の拡張として作動することが可能になる。

方法６００は、図９のブロック６０２から始まる。ブロック６０２では、コントローラＣは、ロボットアーム２４が移動したかどうかを決定するようにプログラムされる。移動した場合、方法６００はブロック６０２からブロック６０４に進む。ブロック６０４では、標的部位１６の位置は、標的ロック機能を介してロックされる。標的ロック機能は、立体視カメラ１２の位置を、標的部位１６の現在の位置に基づいて、仮想球体の外面、例えば図１０に示す仮想球体６５０の外面６５２に制限する。図１０は、方法６００で使用可能な例示的な仮想球体６５０の概略図である。図１０を参照すると、外面６５２上の所与の位置が、回転球体角度Ｖ及びＵの関数である方程式により与えられ得る。

図１０を参照すると、立体視カメラ１２のビューベクトル１１８（図３にも示される）は、仮想球体６５０の中心６５４に向いている。中心６５４は、図３に示す標的点１２０などの標的部位１６における選択点と同じＸＹＺ空間での座標を有する。図１０を参照すると、外面６５２上の（立体視カメラ１２の）端位置６５６が、受け取った入力のタイプに基づいて、異なって得られる場合がある。いくつかの実施形態では、入力は、図１に示すような入力デバイス６６（例えば、ジョイスティック又はマウス）を介して受け取られる。コントローラＣ及び／又はロボットアームコントローラ４２は、「上」、「下」、「左」及び「右」をカメラ座標からロボットベースフレーム座標に変換するように適合され得る。Ｘ及びＹベクトルは、立体視カメラ１２がどのように仮想球体６５０上を移動して端位置６５６を決定するかを直接決定するために、コントローラＣ及び／又はロボットアームコントローラ４２により使用される。

いくつかの実施例では、コントローラＣは、回転角度の形式で表される軌道入力データを受け取るように構成される。これらの実施例では、図１０を参照すると、コントローラＣは、仮想球体６５０の第２の球体角度Ｕに沿う移動を反復しながら、第１の球体角度Ｖを一定に保持する。第２の球体角度Ｕに沿う反復移動は、軌道入力のための端位置６５６の決定を可能にする。いくつかの実施形態では、仮想球体６５０は、異なる形状で表され得、外面６５２は、平坦面６７０により表され得る。

端位置６５６が決定された後、コントローラＣは、立体視カメラ１２が移動した後に、立体視カメラ１２が、ロックを選択点のＸＹＺ座標に維持するのに必要な回転量を計算するように構成される。コントローラＣ（及び／又はロボットアームコントローラ４２）は、立体視カメラ１２に関するロール及びピッチ量を決定し、偏揺れ防止補正を提供し得る。図１の例示的なコントローラＣ及び／又はロボットアームコントローラ４２は、オペレータが、（ビューベクトル１１８Ｂにより示されるように）立体視カメラ１２を仮想球体６５０の中心６５４に向けた状態を維持しながら、立体視カメラ１２を外面６５２上で端位置６５６に移動させることを可能にし、それにより移動中に標的部位１６は焦点が合った状態に維持される。換言すれば、コントローラＣは、仮想球体６５０上でのその新しい位置が与えられたとき、端位置６５６のビューベクトル１１８Ｂが（選択ポイントに対応する）仮想球体６５０の中心における同じＸＹＺ座標で提供されるように、立体視カメラ１２をどのように向けるべきかを決定するように構成される。加えて、コントローラＣ及び／又はロボットアームコントローラ４２は、所望の向きを達成するために必要なロボットアーム２４及び／又は結合プレート２６の関節角度を決定するように適合される。

方法６００は、ブロック６０４からブロック６０６に進み、そこでは、コントローラＣは、ロボットアーム２４を介する立体視カメラ１２の移動に起因する、前回保存された値（又は前回の反復）に対する作動距離（ΔＷ）の変化を計算するようにプログラムされる。コントローラＣは、作動距離（Ｗ）の更新された値を取得するようにプログラムされる。換言すれば、ロボット移動に起因する作動距離（Ｗ）の変位は、移動サイクルごとに追跡される。

方法６００は、ブロック６０６からブロック６０８に進み、そこでは、コントローラＣは、作動距離（Ｗ）の更新された値に対応する焦点モータ１１０のためのモータコマンドを計算するようにプログラムされる。いくつかの実施形態では、作動距離の変化を焦点モータ１１０のためのコマンドに変換するために、較正されたルックアップテーブルが用いられる。方法６００はブロック６１０に進む。図９のブロック６１０において、コントローラＣは、各反復において作動距離（Ｗ）が更新されながらも画像の焦点がずれることがないように、ブロック６０８からの計算されたモータコマンドを送信して、焦点モータ１１０を移動させるようにプログラムされる。

ロボットアーム２４の移動がブロック６０２においてもはや検出されない場合、方法６００は、６１４に進み、そこで鮮鋭度が最大化された位置が突き止められる。図７のブロック４０６と同様に、ブロック６１４において、コントローラＣは、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の微分、すなわち経時的な変化率を含む複数鮮鋭度パラメータを決定又は追跡するようにプログラムされる。図８Ｃは、立体視カメラ１２についての鮮鋭度信号５５０、最大鮮鋭度信号５６０及び最大鮮鋭度の微分５７０の例を示す。垂直軸５４０は、対応する鮮鋭度パラメータの大きさを示す一方、水平軸５４２は、焦点モータ１１０の対応する位置を示す。前述したように、鮮鋭度信号５５０は、各画像フレームのガウシアンぼかしのラプラシアンの変動を計算することにより計算され得る。鮮鋭度信号５５０の定義は、手近な用途に基づいて変化し得る。最大鮮鋭度信号５６０は、走査時間中に観察される最大鮮鋭度値として定義され得る。最大鮮鋭度信号５６０は絶え間なく更新され、最大鮮鋭度の微分５７０は経時的に計算される。図８Ｃに示すように、最大鮮鋭度の微分５７０は、第１の位置５４４において最大に達する。最大鮮鋭度の微分５７０がゼロに戻る場合、これは、最善の鮮鋭度場所を通過したことを意味し、コントローラＣが起動される。例えば、コントローラＣは、微分５７０が所定数のステップにわたってゼロに落ち着いたときである第２の位置５４６において起動され得る。第１の位置５４４は、最大鮮鋭度位置とみなされる。

図９の方法６００は、ブロック６１４からブロック６１６に進み、そこでは、コントローラＣは、焦点モータ１１０を最大鮮鋭度位置に移動させるように適合される。ライン６１２で示すように、方法６００は、ブロック６１０からブロック６０２にループを戻る。サイクルが更新されるごとに、方法６００は、作動距離（Ｗ）に沿って移動した変位量を、例えばメートル単位で更新する。次いで、この移動量は、較正されたルックアップテーブルを用いてモータ焦点コマンドに収束される。次いで、このモータコマンドは送信され、その結果、作動距離（Ｗ）が変化するにつれて、画像の焦点がずれることはない。各反復における仮想球体６５０の半径は、内部標的ロック機能計算がサイクルごとに仮想球体６５０の半径を更新して、作動距離（Ｗ）の更新された値に再設定される。標的部位１６が移動している場合、（仮想球体６５０の中心６５４にある）選択点は、標的部位１６の移動に対応する動的軌道に置換される。

要約すれば、方法６００は、ロボットアーム２４が標的部位１６に注目しながら３次元空間内を移動している間、焦点が維持されることを可能にする。コントローラＣは、ロボットアーム２４の移動を動的に解釈し、焦点を維持するために、どの程度移動させるべきかを計算する。ロボットアーム２４の全ての移動が終わったとき、焦点モータ１１０は、最大鮮鋭度の場所に移動される。この調整（最大鮮鋭度の場所への移動）の量は、ロボットアーム２４の動作中の連続的な追跡に起因して小さい場合がある。この結果、ロボットアーム２４が作動距離を変化させている場合でも、常に焦点が合ったように見える画像がもたらされる。図１を参照すると、標的ロッキングモード５４では、（ロボットアーム２４の移動に起因する）作動距離Ｗの変化が許容される。作動距離Ｗの許容可能な変化は、仮想球体６５０の半径がハードウェアにより許容される最大及び最小の作動距離を超えないように限定され得る。いくつかの実施形態では、フィーチャフラグを挿入して、人工的ロボット境界を強制して、ロボットアーム２４が作動距離Ｗに対するこれらの限界を超えることを防止し得る。

いくつかの実施形態では、コントローラＣは、異なる視野角から作成された、対象物の映像内での移動経路をプログラム及び格納し得る。例えば、コントローラＣ及び／又はロボットアームコントローラ４２は、眼内の点を中心として枢動することにより患者の眼の眼科検査を実施するようにプログラムされ得る。この例では、ロボットアーム２４は、患者の眼が多くの視野角から視認されるように、立体視カメラ１２を概ね円錐運動で掃引する。手術部位を視覚化するそのような移動は、照明からのスプリアス反射を除外するため又は障害物を避けて代わりの視野角で見るために、最善の角度を選択するために用いることができる。

Ｖ．連続自動焦点モード
ここで、図１１を参照すると、方法７００のフローチャートが示される。方法７００は、図１の連続自動焦点モード５６の例示的実現形態であり、図１のコントローラＣに格納され、コントローラＣにより部分的に実行可能な、コンピュータ可読コード又は命令として具体化され得る。方法７００は、本明細書に記載される特定の順序で適用される必要はなく、動的に実行され得る。更には、一部のステップが削除され得ることを理解されたい。

図１の連続自動焦点モード５６は、ロボットアーム２４が移動する際、移動タイプに無関係に画像の焦点が合った状態を維持し、移動の最後にスムーズな低雑音の最大鮮鋭度の調整を提供するように適合される。これは、立体視カメラ１２が異なる場面を見るために回転しているか、場面自体が深さを変化させているか、作動距離が変化しているか又は上記の全てが同時に生じる場合でも、画像の焦点が合ったままであることを意味する。後述するように、連続自動焦点モード５６は、ロボットアーム２４の現在状態並びにディスパリティ信号の動的制御を用いる標的深さ（すなわち軸方向の位置、ここではＺ軸）の相対的変化を測定することにより、ビューベクトル１１８（図２を参照されたい）の相対的変化を測定する。これにより、焦点の合った画像が（自動的に又はユーザにより）検出された時点において、初期化が可能になり、この時点以降、画像は、焦点が合ったままである。ディスパリティ信号は、移動中に動的に使用されるため、ロボットアーム２４が移動するときに生じる深さ（すなわち軸方向の位置）の変化は、焦点が合ったままになるであろう。

方法７００は、図１１のブロック７０２から始まる。ブロック７０２では、コントローラＣは、ロボットアーム２４が移動したかどうかを決定するようにプログラムされる。その場合、方法７００は、ブロック７０４に進む。ブロック７０４では、コントローラＣは、（ブロック７０２において検出される）ロボットアーム２４の変化に起因する高さの変化を決定するようにプログラムされる。高さは、ロボットアーム２４の移動による、軸方向（ここではＺ軸）に沿った立体視カメラ１２の位置の変化として定義される。コントローラＣは、ブロック７０６により示されるような関節（例えば、図１の関節センサ３３）及びロボットアーム２４の他の部分の位置データを使用して、高さの変化を計算し得る。

図１１の方法７００は、ブロック７０４からブロック７０８に進む。ブロック７０８では、コントローラＣは、標的深さ（ΔＺ＿ｔａｒｇｅｔ）の変化を決定するようにプログラムされる。ブロック７１０により示されるように、コントローラＣは、標的深さの変化を計算するために、ディスパリティ信号に関連する入力データを受信し得る。標的深さ（ΔＺ＿ｔａｒｇｅｔ）の変化は、ＰＩコントローラ、ＰＤコントローラ及び／又はＰＩＤコントローラであり得る閉ループ制御モジュールを用いて、フィードバック制御を使用して計算され得る。一実施例では、標的深さ（ΔＺ＿ｔａｒｇｅｔ）の変化は、ＰＩＤコントローラ及びディスパリティ値を使用して以下のように計算される。
ΔＺ＿ｔａｒｇｅｔ＝Ｋｐ（Ｒｃ－Ｒｔ）＋Ｋｉ∫（Ｒｃ－Ｒｔ）ｄｔーＫｄ×ｄＲｃ／ｄｔ

ここで、Ｒｃは、現在のディスパリティ値であり、Ｒｔは、開始値が初期化され格納されたときに記録されるディスパリティ値として定義される初期標的ディスパリティ値である。ここで、Ｋｐ、Ｋｉ及びＫｄは、それぞれＰＩＤコントローラからの比例定数、積分定数及び微分定数であり、プロセス変数は、現在のディスパリティ値（Ｒｃ）と初期標的ディスパリティ（Ｒｔ）との差である。定数Ｋｐ、Ｋｉ及びＫｄは、標的深さの既知の変化（ここではＺ軸に沿った変化）を用いる較正を介して得ることができる。

図１１の方法７００は、ブロック７０８からブロック７１２に進む。ブロック７１２では、コントローラＣは、（ブロック７０８からの）標的深さの変化に基づいて、標的部位１６の位置座標の変化を決定するようにプログラムされる。標的部位１６のＺ成分の格納された場所は、以下のように更新される。
Ｚ＿ｕｐｄａｔｅｄ＝Ｚ＿ｉｎｉｔｉａｌ－ΔＺ＿ｔａｒｇｅｔ

次いで、方法７００は、ブロック７１４に進む。ブロック７１４では、コントローラＣは、合算された焦点距離の変化（ΔＦ）を決定し、焦点距離（Ｆ）を更新するようにプログラムされる。更新サイクルごとに、焦点距離Ｆは、以下のように、ロボットアーム２４からのフィードフォワード項に、標的深さディスパリティからのフィードバック項を加算したものを使用して更新される。
ΔＦ＝ΔＦ＿ｒｏｂｏｔ＋ΔＦ＿ｔａｒｇｅｔ

焦点距離Ｆは、２つの要素：第１に、立体視カメラ１２のビューベクトル１１８の終了点がどの程度変化したか、及び第２に、標的１６の標的深さがどの程度変化したかにより更新される。

２つの要素は、異なる座標系にあるため、ロボットベースフレームにおけるベース座標（Ｘｂａｓｅ、Ｙｂａｓｅ、Ｚｂａｓｅ）をカメラ座標フレームに変換するために、同次変換行列（４ｘ４）が用いられる。ベース座標（Ｘｂａｓｅ、Ｙｂａｓｅ、Ｚｂａｓｅ）は、ロボットベースフレームの標的部位１６の即時の又は現在の場所を表す。同次変換行列は、回転行列Ｑ（３ｘ３）及び並進ベクトルＰで構成され、以下のように表すことができる。

回転行列Ｑは３×３の成分を有し、並進ベクトルＰは３×１の成分を有する。並進ベクトルＰは、ロボットベースフレームからカメラフレームまでのオフセット（ｘ０、ｙ０、ｚ０）を表し、ロボットベースフレームの原点はゼロ（０、０、０）であり、ロボットベースフレームにおけるカメラフレームの原点は（ｘ０、ｙ０、ｚ０）である。以下の式は、（ロボットベースフレームにおける）ベース座標をカメラフレームに変換する。

この式を展開すると、以下のようになる。

ここで、ベクトル（ｘ３、ｙ３、ｚ３）は、回転行列Ｑの第３列を表し、これは、変換マトリックスの回転空間のＺ基底ベクトルである。Ｚ基底ベクトルのｚ位置成分は、ｚ３で表される。更新された焦点距離Ｆは、以下の式を使用して計算され得る。
Ｚｂａｓｅ＝Ｆ（ｚ３）＋ｚ０ （式３）

方法７００は、ブロック７１４からブロック７１６に進む。ブロック７１６において、コントローラＣは、ブロック７１４において決定された更新された焦点距離Ｆに対応するモータコマンドを計算するように構成される。モータコマンドは送信され、焦点モータ１１０は、作動距離Ｗが更新された焦点距離Ｆと同じになるように、較正により決定された補正量だけ移動される。図１１を参照すると、ライン７１７で示すように、更新された焦点距離Ｆ（及び更新された作動距離Ｗ）は、ロボットアーム２４の関節角度に関するデータを更新するためにブロック７０６にフィードバックされ得る。上述したように、ロボットアーム２４の移動に起因する高さの変化を得るために、ブロック７０４において関節角度に関するデータが使用される。加えて、ライン７１７で示すように、ブロック７０８において標的深さの変化を得るために使用されるディスパリティ信号の情報を更新するために、更新された焦点距離Ｆがブロック７１０に入力され得る。最後に、方法７００は、図１１のライン７１８で示すように、ブロック７１６からブロック７０２までループを戻る。

図１１のブロック７０２を再び参照すると、ロボットアーム２４の移動が検出されない場合、方法７００はブロック７０２からブロック７２０に進む。ブロック７２０では、コントローラＣは、走査し、最大鮮鋭度のための焦点モータ位置を計算するようにプログラムされる。図７のブロック４０６と同様に、ブロック６１４において、コントローラＣは、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の微分、すなわち経時的な変化率を含む複数鮮鋭度パラメータを決定又は追跡するようにプログラムされる。図８Ｃは、立体視カメラ１２についての鮮鋭度信号５５０、最大鮮鋭度信号５６０及び最大鮮鋭度の微分５７０の例を示す。垂直軸５４０は、対応する鮮鋭度パラメータの大きさを示す一方、水平軸５４２は、焦点モータ１１０の対応する位置を示す。前述したように、鮮鋭度信号５５０は、各画像フレームのガウシアンぼかしのラプラシアンの変動を計算することにより計算され得る。鮮鋭度信号５５０の定義は、手近な用途に基づいて変化し得る。最大鮮鋭度信号５６０は、走査時間中に観察される最高鮮鋭度値として定義され得る。最大鮮鋭度信号５６０は絶え間なく更新され、最大鮮鋭度の微分５７０は経時的に計算される。図８Ｃに示すように、最大鮮鋭度の微分５７０は、第１の位置５４４において最大に達する。最大鮮鋭度の微分５７０がゼロに戻る場合、これは、最善の鮮鋭度場所を通過したことを意味し、コントローラＣが起動される。例えば、コントローラＣは、微分５７０が所定数のステップにわたってゼロに落ち着いたときである第２の位置５４６において起動され得る。第１の位置５４４は、最大鮮鋭度位置とみなされる。最後に、図１１の方法７００は、ブロック７２０からブロック７２２に進む。ブロック７２２では、コントローラＣは、モータコマンドを送信し、最大鮮鋭度のための位置に移動するようにプログラムされる。

連続自動焦点モード５６は、（３Ｄ空間における）標的場所の開始値又は推定値及び焦点距離の初期セットを必要とする。開始値は、適用中、ディスパリティモード５０又は鮮鋭度制御モード５２の少なくとも一方が一度良好に実施された場合に得ることができる。いくつかの実施形態では、ディスパリティモード５０又は鮮鋭度制御モード５２の少なくとも一方が完了しない限り、連続自動焦点モード５６は、機能しないであろう。代わりに、開始値の初期セットがサブルーチン又は機械学習アルゴリズムの出力としてコントローラＣに供給され得る。その後、ロボットアーム２４が移動しており、標的場所、深さ及び作動距離が変化している可能性がある場合でも、連続自動焦点モード５６は、焦点距離の相対的な変化を測定し、開始値からの偏差に基づいて、画像の焦点が合った状態を維持する。

連続自動焦点モード５６は、ロボットアーム２４の移動から独立している。これは、連続自動焦点モード５６が、コントローラＣ（及び／又はロボットアームコントローラ４２）からのコマンドではなく、ロボットアーム２４の実際の物理的状態を監視していることを意味する。これは、ロボットアーム２４の状態の追跡が不完全であっても、画像が依然として焦点が合ったままとなることを意味する。

図１のコントローラＣは、立体視撮像プラットフォーム１０の一体部分であり得るか、又は立体視撮像プラットフォーム１０に動作可能に接続された別個のモジュールであり得る。コントローラＣは、コンピュータによって（例えば、コンピュータのプロセッサによって）読み取られ得るデータ（例えば、命令）を提供することに関係する非一時的（例えば、有形）媒体を含むコンピュータ読取可能媒体（プロセッサ読取可能媒体とも称する）を含む。かかる媒体は、不揮発性媒体及び揮発性媒体を含むが、限定されない多くの形態をとり得る。不揮発性媒体は、例えば、光ディスク又は磁気ディスク及び他の永続的メモリを含み得る。揮発性媒体は、例えば、メインメモリを構成し得るダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み得る。かかる命令は、コンピュータのプロセッサに結合されるシステムバスを含む配線を含む、同軸ケーブル、銅線及び光ファイバを含む１つ以上の伝送媒体によって伝送され得る。コンピュータ読取可能媒体の幾つかの形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤ、他の光媒体、パンチカード、紙テープ、他の孔のパターンを有する物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＥＰＲＯＭ、他のメモリチップ若しくはカートリッジ又は他のコンピュータが読み取ることができる媒体を含む。

本明細書に記載されるルックアップテーブル、データベース、データリポジトリ又は他のデータストアは、階層型データベース、ファイルシステム内の一式のファイル、独自形式のアプリケーションデータベース、リレーショナルデータベース管理システム（ＲＤＢＭＳ）等を含む様々な種類のデータを格納、アクセス及び取得するための様々な種類の機構を含み得る。それぞれのかかるデータストアは、上述したようなコンピュータオペレーティングシステムを採用するコンピューティングデバイス内に含まれ得、様々な方法の１つ以上でネットワークを介してアクセスされ得る。ファイルシステムは、コンピュータオペレーティングシステムからアクセス可能であり得、様々な形式で格納されたファイルを含み得る。ＲＤＢＭＳは、上述のＰＬ／ＳＱＬ言語等のストアドプロシージャを作成、保存、編集及び実行するための言語に加えて、構造化照会言語（ＳＱＬ）を用い得る。

本明細書で提示されるフローチャートは、本開示の様々な実施形態に従うシステム、方法及びコンピュータプログラム製品の予想される実現形態のアーキテクチャ、機能及び動作を示す。これに関連して、フローチャート又はブロック図における各ブロックは、モジュール、セグメント又はコードの一部を表す場合があり、指定された論理的機能を実現するための１つ以上の実行可能命令を含む。ブロック図及び／又はフローチャート例の各ブロック並びにブロック図及び／又はフローチャート例におけるブロックの組合せは、指定された機能又は行為を実施する特定目的ハードウェアベースデバイス又は特定目的ハードウェアとコンピュータ命令との組合せにより実現され得ることにも留意されたい。これらのコンピュータプログラム命令は、コンピュータ可読媒体にも格納され得る。コンピュータプログラム命令は、フローチャート及び／又はブロック図のブロックにおいて指定される機能／行為を実現するための命令を含む、コンピュータ可読媒体に格納された命令が製造物品を生産するように、コントローラ又は他のプログラム可能データ処理装置に指示して特定の形式で機能させることができる。

添付の請求の範囲を含む本明細書における（例えば、量又は条件の）パラメータの数値は、それぞれの各インスタンスにおいて、「約」という用語が実際に数値の前に置かれているかどうかに関わらず、「約」により修飾されていると理解されるべきである。「約」は、述べられた数値が幾分の僅かな不正確性を許容することを示す（幾つかのアプローチでは、厳密な値である；概ね又は適度に接近している；ほぼ）。「約」により提供される不正確性が当技術分野においてこの通常の意味で理解されない場合、本明細書において使用される「約」は、少なくとも、そのようなパラメータを測定し、使用する通常の方法から生じ得る変動を示す。加えて、範囲の開示は、各値と、全範囲内の更に分割された範囲との開示を含む。本明細書では、範囲内の各値と範囲の端点とが別々の実施形態として開示される。

詳細な説明及び図面又は各図は、本開示をサポートし、説明するものであるが、本開示の適用範囲は、特許請求の範囲によってのみ定義される。特許請求される本開示を実施するための最良の態様及び他の実施形態のいくつかを詳細に説明したが、添付の特許請求の範囲において定義された開示を実施するための様々な代替的な設計及び実施形態が存在する。更に、図面に示された実施形態又は本明細書で言及された様々な実施形態の特徴は、必ずしも互いに独立した実施形態として理解されるべきではない。むしろ、ある実施形態の例の１つで説明した特性のそれぞれは、他の実施形態からの１つ又は複数の他の望ましい特性と組み合わせることが可能であり、その結果、言語で説明されていないか又は図面を参照することによって説明されていない他の実施形態を得ることができる。したがって、かかる他の実施形態は、添付の特許請求の範囲の枠組み内に含まれる。

Claims (20)

1. 標的部位を撮像するための立体視撮像プラットフォームであって、
   前記標的部位の少なくとも１つの立体視画像を生成するために、前記標的部位の左画像及び右画像を記録するように構成された立体視カメラ、
   前記立体視カメラに動作可能に接続されたロボットアームであって、前記立体視カメラを前記標的部位に対して選択的に移動させるように適合され、
   前記立体視カメラは、少なくとも１つのレンズを有し、且つ作動距離を規定するレンズ組立体を含み、前記レンズ組立体は、前記少なくとも１つのレンズを移動させて、前記作動距離を選択的に変化させるように適合された少なくとも１つの焦点モータを有する、ロボットアーム、
   前記立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有するコントローラであって、
   前記立体視カメラのための１つ以上の自動焦点合わせモードを選択的に実行するように適合され、前記１つ以上の自動焦点合わせモードは、連続自動焦点モードを含み、
   前記連続自動焦点モードは、前記ロボットアームが前記立体視カメラを移動させており、及び前記標的部位が少なくとも軸方向に沿って移動している間、前記少なくとも１つの立体視画像の焦点を維持するように適合される、コントローラ
   を含む立体視撮像プラットフォーム。
2. 前記コントローラは、初期カメラ位置からの前記立体視カメラの高さの変化を決定するように構成され、前記高さの前記変化は、前記軸方向に沿った前記立体視カメラの位置の変位として定義される、請求項１に記載の立体視撮像プラットフォーム。
3. 前記コントローラは、初期標的位置からの標的深さの変化を決定するように構成され、前記標的深さの前記変化は、前記軸方向に沿った前記標的部位の位置の変位として定義される、請求項２に記載の立体視撮像プラットフォーム。
4. 前記標的深さの前記変化を決定することは、
   初期標的ディスパリティ値及び現在のディスパリティ値を含むディスパリティ信号を取得することと、
   前記コントローラを介して、閉ループ制御モジュールを実行して、前記現在のディスパリティ値と前記初期標的ディスパリティとの差を最小化することであって、前記標的深さの前記変化は、前記差に基づく、最小化することと
   を含む、請求項３に記載の立体視撮像プラットフォーム。
5. 前記コントローラは、
   前記左画像における識別可能領域を分離することと、
   前記右画像における第２の領域を分離することであって、前記第２の領域は、前記識別可能領域の座標を含み、且つ前記識別可能領域よりも大きい、分離することと、
   テンプレートマッチを実施して画素オフセットを取得することであって、前記画素オフセットは、前記左画像における前記識別可能領域及び前記右画像における前記識別可能領域の水平方向変位である、取得することと、
   前記ディスパリティ信号を、前記テンプレートマッチの最適場所における前記画素オフセットとして取得することと
   により、前記ディスパリティ信号を取得するように構成される、請求項４に記載の立体視撮像プラットフォーム。
6. 前記閉ループ制御モジュールは、比例微分制御モジュール、比例積分制御モジュール及び比例積分微分制御モジュールの少なくとも１つである、請求項４に記載の立体視撮像プラットフォーム。
7. 前記閉ループ制御モジュールは、比例定数、積分定数及び微分定数を定義する比例積分微分制御モジュールであり、及び
   前記標的深さの前記変化は、［Ｋｐ（Ｒｃ－Ｒｔ）＋Ｋｉ∫（Ｒｃ－Ｒｔ）ｄｔーＫｄ×ｄＲｃ／ｄｔ］として決定され、ここで、Ｒｃは、前記現在のディスパリティ値であり、Ｒｔは、前記初期標的ディスパリティ値であり、ｔは、時間であり、Ｋｐは、前記比例定数であり、Ｋｉは、前記積分定数であり、及びＫｄは、前記微分定数である、請求項６に記載の立体視撮像プラットフォーム。
8. 前記コントローラは、前記立体視カメラの前記高さの前記変化及び前記標的深さの前記変化に部分的に基づき、更新された焦点距離を計算するように構成される、請求項４に記載の立体視撮像プラットフォーム。
9. 前記更新された焦点距離を計算することは、前記更新された焦点距離Ｆを、第１の変数Ｚｂａｓｅ、第２の変数ｚ０及び第３の変数ｚ３の関数として、
   

   

   であるように取得することを含み、
   前記第１の変数Ｚｂａｓｅは、ロボットベースフレームにおける前記標的部位の現在の位置のそれぞれの軸方向成分であり、
   前記ロボットベースフレームは、同次変換行列を介してカメラ座標フレームに変換可能であり、前記同次変換行列は、回転行列及び並進ベクトルから構成され、
   前記第２の変数ｚ０は、前記並進ベクトルの前記それぞれの軸方向成分であり、及び前記第３の変数ｚ３は、前記回転行列の列の前記それぞれの軸方向成分である、請求項８に記載の立体視撮像プラットフォーム。
10. 前記コントローラは、前記更新された焦点距離に対応する、前記少なくとも１つの焦点モータのためのモータコマンドを計算するように構成され、及び
    前記コントローラは、前記作動距離が、前記更新された焦点距離に対応するように、前記少なくとも１つの焦点モータに前記モータコマンドを送信するように構成される、請求項８に記載の立体視撮像プラットフォーム。
11. 前記ロボットアームの移動がもはや検出されないとき、前記コントローラは、最大鮮鋭度位置に対応する、前記少なくとも１つの焦点モータのための前記モータコマンドを決定するように構成され、
    前記最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む１つ以上の鮮鋭度パラメータに基づく、請求項１０に記載の立体視撮像プラットフォーム。
12. 前記最大鮮鋭度の前記微分は、第１の位置において最大に達し、前記最大鮮鋭度の前記微分は、前記第１の位置から移動し、且つ第２の位置においてほぼゼロで安定し、及び
    前記最大鮮鋭度位置は、前記第１の位置として定義される、請求項１１に記載の立体視撮像プラットフォーム。
13. 前記鮮鋭度信号は、前記少なくとも１つの立体視画像における対象物のそれぞれのエッジ間のコントラストとして定義され、及び
    前記最大鮮鋭度信号は、走査期間中に観察される最大鮮鋭度値として定義される、請求項１１に記載の立体視撮像プラットフォーム。
14. 前記少なくとも１つの立体視画像は、１つ以上の画像フレームを含み、及び
    前記鮮鋭度信号は、前記１つ以上の画像フレームのガウシアンぼかしのラプラシアンの分散を計算することによって取得される、請求項１１に記載の立体視撮像プラットフォーム。
15. 前記ロボットアームの移動がもはや検出されないとき、前記コントローラは、前記最大鮮鋭度位置へと前記焦点モータに指示するように構成される、請求項１１に記載の立体視撮像プラットフォーム。
16. 標的部位を撮像するためのロボット撮像プラットフォームであって、
    前記標的部位の少なくとも１つの立体視画像を生成するために、前記標的部位の左画像及び右画像を記録するように構成された立体視カメラ、
    前記立体視カメラに動作可能に接続されたロボットアームであって、前記立体視カメラを前記標的部位に対して選択的に移動させるように適合され、
    前記立体視カメラは、少なくとも１つのレンズを有し、且つ作動距離を規定するレンズ組立体を含み、前記レンズ組立体は、前記少なくとも１つのレンズを移動させて、前記作動距離を選択的に変化させるように適合された少なくとも１つの焦点モータを有する、ロボットアーム、
    前記立体視カメラと通信し、且つプロセッサと、命令が記録される有形の非一時的メモリとを有するコントローラであって、
    前記立体視カメラのための１つ以上の自動焦点合わせモードを選択的に実行するように適合され、前記１つ以上の自動焦点合わせモードは、連続自動焦点モードを含み、
    前記連続自動焦点モードは、前記ロボットアームが前記立体視カメラを移動させており、及び前記標的部位が少なくとも軸方向に沿って移動している間、前記少なくとも１つの立体視画像の焦点を維持するように適合され、
    前記連続自動焦点モードは、開始値のセットからそれぞれの偏差を決定するように適合され、前記開始値のセットは、初期カメラ位置及び初期標的位置を含む、コントローラ
    を含むロボット撮像プラットフォーム。
17. 前記１つ以上の自動焦点合わせモードは、ディスパリティモード及び鮮鋭度制御モードの少なくとも１つを含み、及び
    前記開始値のセットは、前記連続自動焦点モードの前に実行される、前記ディスパリティモード及び前記鮮鋭度制御モードの少なくとも１つから取得される、請求項１６に記載のロボット撮像プラットフォーム。
18. 前記それぞれの偏差は、前記初期カメラ位置からの前記立体視カメラの高さの変化を含み、前記高さの前記変化は、前記軸方向に沿った前記立体視カメラの位置の変位として定義され、及び
    前記それぞれの偏差は、前記初期標的位置からの標的深さの変化を含み、前記標的深さの前記変化は、前記軸方向に沿った前記標的部位の位置の変位として定義される、請求項１６に記載のロボット撮像プラットフォーム。
19. 前記コントローラは、前記立体視カメラの前記高さの前記変化及び前記標的深さの前記変化に部分的に基づき、更新された焦点距離を計算するように構成され、
    前記標的深さの前記変化は、現在のディスパリティ値と初期標的ディスパリティとの差に部分的に基づき、前記開始値のセットは、前記初期標的ディスパリティを含む、請求項１８に記載のロボット撮像プラットフォーム。
20. 前記ロボットアームの移動がもはや検出されないとき、前記コントローラは、最大鮮鋭度位置に対応する、前記少なくとも１つの焦点モータのためのモータコマンドを決定するように構成され、
    前記最大鮮鋭度位置は、鮮鋭度信号、最大鮮鋭度信号及び最大鮮鋭度の時間微分を含む１つ以上の鮮鋭度パラメータに基づく、請求項１９に記載のロボット撮像プラットフォーム。

Images