JP7132731B2 - 撮像システム、撮像装置、及びそれらの制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、ロボットアームの動作状態に基づいて撮像装置の焦点調節を制御する技術に関するものである。

例えば、組立用のロボット等においては、ロボットアームによりワークをピック＆プレイスする際に、カメラを用いてロボットを制御することが行われている。この制御は、ロボットアームの手先部に取り付けられたカメラにより、そのワークを撮影し、その撮影画像データからワークの位置を検出し、検出位置にロボットアームを移動させてハンドでワークを把持するというものである。

この種のロボット制御装置として、特許文献１には、カメラに焦点調節機能、焦点距離調節機能、絞り調整機能等を有する光学系調節手段を有し、ワークを撮影した撮影画像データに基づいて光学系調節手段を制御する装置が記載されている。

特開２００３－２１１３８２号公報

しかしながら、上記の従来技術では、ビジュアルサーボと称される視覚フィードバッグ制御により、対象物の特徴量を目標データとして記憶し、目標データ記憶時と誤差が少なくなるようにピント、焦点距離、絞りを調節する構成となっている。

この制御では、対象物を撮影し、撮影した撮影画像を視覚認識装置に送信し、視覚認識装置で目標データと現在データとを比較してその誤差を算出し、誤差を減少させる（０となる）ように再度ロボット制御およびカメラ制御を繰り返す。そのため、誤差を減少させるために時間がかかる。その場合、ロボットアームの動作のスムーズな動きを阻害してしまう。

また、対象物にピントを合わせる場合、対象物を撮影し、撮影した撮影画像からピントが合っているか否かを確認しながらピント位置を調整していると、対象物までの距離が様々である場合には、各距離で同じ制御を行う必要が出てくるので時間がかかる。

そのため、自動でピントを合わせるオートフォーカスの機能を備えることが考えられるが、合焦位置から離れた位置からピントが合う位置を探索していては、ピントが合うまでに時間がかかるという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することである。

本発明に係わる撮像システムは、ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、前記制御装置は、前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知手段を備え、前記撮像装置は、被写体像を撮像する撮像手段と、被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、前記通知手段により前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更手段と、を備え、前記変更手段は、ユーザによりフォーカスレンズを指定位置に移動させるように指示された場合、前記自動焦点調節の動作を中断して、前記フォーカスレンズを前記指定位置に移動させるように動作を変更することを特徴とする。

本発明によれば、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することが可能となる。

本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図。 撮像装置、画像処理コントローラ、ロボットアームの外観を模式的に表した図。 第１の実施形態における撮像装置のフォーカス制御を示すフローチャート。 第２の実施形態における撮像装置のフォーカス制御を示すフローチャート。

（第１の実施形態）
＜撮像システムの構成＞
本発明の第１の実施形態における撮像システムについて説明する。この撮像システムでは、ロボットアームの動作状態に基づいて、ロボットアームに設置された撮像装置の焦点調節制御を行う。

図１Ａは、本発明の第１の実施形態に係わる撮像システムの構成を示すブロック図である。この撮像システムは、撮像装置１００と、画像処理コントローラ１２０と、ロボットアーム１３０とが通信可能に接続されて構成されている。

撮像装置１００には、撮像光学系として、第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４、フォーカスレンズ１０５（フォーカスコンペンセータレンズ）が配置されている。変倍レンズ１０２を光軸に沿う方向に移動することにより変倍を行い、焦点距離を変えることができる。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

ズーム駆動源１０９は変倍レンズ１０２を移動させる駆動源である。絞り駆動源１１０は絞り１０３を動かすための駆動源である。フォーカシング駆動源１１１はフォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１０９、絞り駆動源１１０、フォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

撮像装置１００は、さらに撮像素子１０６、ＣＤＳ／ＡＧＣ回路１０７、カメラ信号処理部１０８、タイミングジェネレータ１１２、ＡＦ信号処理部１１３、記録部１１５、カメラマイクロコンピュータ１１４（以下、単にカメラマイコンという）、通信装置１１６を備える。

撮像素子１０６は被写体像を光電変換する素子であって、ＣＣＤやＣＭＯＳセンサなどから構成されている。撮像素子１０６は行列状に複数の画素部を有する。撮像光学系を通過した光束は撮像素子１０６の受光面上に結像され、各画素部が有するフォトダイオード（光電変換部）によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラマイコン１１４の指令に従ってタイミングジェネレータ１１２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子１０６から順次読み出される。

撮像素子１０６から読み出された出力信号は、サンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路１０７に入力される。カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に対して各種の画像処理を施して、画像信号を生成する。第１の実施形態における画像信号は、ロボット制御に用いるための静止画像や動画像の信号である。記憶部１１５は、カメラ信号処理部１０８からの画像信号を記憶する。

ＡＦ信号処理部１１３はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートを通過した信号から高周波成分や輝度差成分（ＡＦゲートを通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、カメラマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的にＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。

カメラマイコン１１４は、撮像装置１００全体の動作の制御を司るとともに、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御（自動焦点調節制御）を行う。カメラマイコン１１４は、ＡＦ制御として、ＴＶ－ＡＦ方式でのＡＦ制御（以下、単に「ＴＶ－ＡＦ」という。）を行う。ＴＶ－ＡＦ方式とは上記のようなコントラスト検出により焦点検出を行う焦点検出方式である。また、カメラマイコン１１４は、ズーム駆動源１０９を制御して変倍レンズ１０２を移動させ焦点距離制御を行い、絞り駆動源１１０を制御して絞り１０３を動作させる絞り制御を行う。

通信装置１１６は、画像処理コントローラ１２０と通信を行うための装置である。画像処理コントローラ１２０は、撮像装置１００への撮影指示、撮影した画像の解析、および各カメラ制御（フォーカス制御、露出制御、焦点距離制御）の指示を行う。また、ロボットアーム１３０の動作状態やロボットアーム１３０の位置状態に基づいて被写体までの距離を撮像装置１００へ送信（通知）するとともに、カメラの撮影状態の受信等を行う。さらにロボットアーム１３０への操作指示を行うものである。なお、上記のロボットアーム１３０の動作状態やロボットアーム１３０の位置状態は、ロボットアーム１３０に備えられた各種のセンサの検出値や画像処理コントローラ１２０からロボットアーム１３０に送られる指示コマンドなどから判断される。また、データの送受信は、所定の通信プロトコルに準じて行われる。ここでは、あらかじめ各種指示ごとに決められたコマンドを用いてデータの送受信を行う。

画像処理コントローラ１２０は、ＣＰＵ１２１、一次記憶装置１２２、二次記憶装置１２３、通信装置１２４、表示部１２５、操作部１２６を備える。ＣＰＵ１２１は、画像処理コントローラ１２０全体を制御する。二次記憶装置１２３は、ハードディスクなどからなり、ＣＰＵ１２１を動かすプログラムを格納する。一次記憶装置１２２は、ＲＡＭなどからなり、二次記憶装置１２３から読み込まれたプログラムが格納される。通信装置１２４は、撮像装置１００やロボットアーム１３０と通信を行う。表示部１２５は撮影画像の表示、対話的な操作のための文字表示などを行う。操作部１２６は、使用者の操作を受け付ける。

撮像装置１００はロボットアーム１３０に固定されている。ロボットアーム１３０が動くと、撮像装置１００の撮影範囲が変更される。また、ロボットアーム１３０は、アーム先端のロボットハンドを使って撮影対象物を把持することができる。ＣＰＵ１３１はロボットアーム１３０全体を制御する。通信装置１３２は、画像処理コントローラ１２０と通信を行う。

また、図１Ｂは撮像装置１００、画像処理コントローラ１２０、ロボットアーム１３０の外観を模式的に表した図である。なお、本実施形態では画像処理コントローラ１２０が親となり、撮像装置１００とロボットアーム１３０に指示を送るものとする。

＜フォーカス制御処理＞
次に、カメラマイコン１１４が実行するフォーカス制御処理について説明する。ここでは、ＴＶ－ＡＦ方式により、フォーカスレンズ１０５を移動させ、フォーカスレンズ１０５の位置ごとのＡＦ評価値信号を取得しながら、ＡＦ評価値信号が最大となるフォーカスレンズ位置を探索する。そして、最終的に、フォーカスレンズ１０５をＡＦ評価値信号が最大となるフォーカスレンズ位置へ移動させて停止させるワンショットＡＦ動作を実行する。

図２は、図１におけるカメラマイコン１１４が実行するフォーカス制御処理を示すフローチャートである。本処理は、カメラマイコン１１４内に格納されたコンピュータプログラムに従って実行される。また、本処理は、例えば、１フィールド画像（以下、１フレーム、１画面ともいう）を生成するための撮像素子１０６からの画像信号の読み出し周期（垂直同期期間ごと）で実行される。ただし、垂直同期期間（Ｖレート）内に複数回繰り返すようにしてもよい。

まず、Ｓ２０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からのコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ２０１でＹｅｓ）、Ｓ２０２へ移行し、コマンドを受信していない場合（Ｓ２０１でＮｏ）、Ｓ２２１へ移行する。

Ｓ２０２では、カメラマイコン１１４は、ロボットアーム１３０が動作中か停止中かを示す動作状態の情報を受信する受信コマンドか否かを判定する。ロボットアーム１３０の動作情報の受信コマンドの場合（Ｓ２０２でＹｅｓ）、Ｓ２０３において動作中か否かを判定し、ロボットアーム１３０が動いている場合（Ｓ２０３でＹｅｓ）、Ｓ２０４において外部装置の動作中フラグをセットする。一方、Ｓ２０３においてロボットアーム１３０が停止していると判定された場合（Ｓ２０３でＮｏ）、Ｓ２０５において外部装置の動作中フラグをクリアする。

Ｓ２０６では、ワンショットＡＦコマンドを一度受信し、カメラマイコン１１４内で保持している状態か否かを判定する。ワンショットＡＦコマンドを保持していない場合には（Ｓ２０６でＮｏ）、そのまま処理を終了する。ワンショットＡＦコマンドを保持している場合には（Ｓ２０６でＹｅｓ）、Ｓ２０９においてワンショットＡＦ動作を実行中か否かを示すワンショットＡＦ動作中フラグが立っているか否かを判定する。

一方、Ｓ２０２においてロボットアームの動作情報受信コマンドでない場合（Ｓ２０２でＮｏ）、Ｓ２０７においてワンショットＡＦコマンドか否かを判定する。ワンショットＡＦコマンドである場合（Ｓ２０７でＹｅｓ）、Ｓ２０８において外部装置の動作中フラグが立っているか否かを判定する。

外部装置の動作中フラグが立っている場合（Ｓ２０８でＹｅｓ）、Ｓ２１１においてワンショットＡＦ動作（焦点検出動作）を実行するのを一時的に禁止し、ワンショットＡＦコマンドを受信したことをカメラマイコン１１４が認識するために、ワンショットＡＦコマンドを保持する。そして、Ｓ２２２においてワンショットＡＦ動作中フラグをクリアしておく。

外部装置の動作中フラグが立っていない場合（Ｓ２０８でＮｏ）、ワンショットＡＦ動作中フラグが立っているか否かを判定する（Ｓ２０９）。ワンショットＡＦ動作中フラグが立っている場合（Ｓ２０９でＹｅｓ）、Ｓ２１２においてワンショットＡＦ動作処理を継続する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２０９でＮｏ）、Ｓ２１０においてワンショットＡＦ動作中フラグを立て、Ｓ２１２へ移行する。

Ｓ２１２では、ワンショットＡＦ動作を実行する。Ｓ２１３では、ＡＦ評価値信号が最大となるフォーカスレンズ位置である合焦レンズ位置が分かったか否かを判定する。ワンショットＡＦ動作の実行途中で合焦レンズ位置が分かった場合（Ｓ２１３でＹｅｓ）、Ｓ２１４においてワンショットＡＦ動作が終了したか否かを判定する。

ワンショットＡＦ動作により、合焦レンズ位置へフォーカスレンズを移動してフォーカスレンズが停止し、ワンショットＡＦ動作のすべての処理が終了した場合には（Ｓ２１４でＹｅｓ）、Ｓ２１５においてワンショットＡＦ動作中フラグをクリアする。ワンショットＡＦ動作の処理が終了していない場合には（Ｓ２１４でＮｏ）、ワンショットＡＦ動作終了通知をカメラマイコン１１４から通信装置１１６を経由して画像処理コントローラ１２０へ送信する。

ワンショットＡＦ動作では、合焦レンズ位置を算出することができた場合、その算出された合焦レンズ位置へフォーカスレンズを移動させる必要がある。しかしながら、フォーカスレンズが合焦レンズ位置へ移動するのを待っていては、ロボットアーム１３０と撮像装置１００の連携に無駄時間ができてしまい、スムーズな制御を妨げてしまう。そのため、合焦レンズ位置が分かった時点で、フォーカスレンズの合焦位置への移動が完了する前に、ワンショットＡＦ動作の終了を通知することで、本実施形態の撮像システムにおける制御の効率化を図ることができる。ただし、不図示ではあるが、合焦レンズ位置が分かったと同時にワンショットＡＦ動作終了と判定した場合には、Ｓ２１６のワンショットＡＦ動作終了通知を送信してからＳ２１４へ移行する必要がある。

一方、Ｓ２０７において、ワンショットＡＦコマンドでない場合（Ｓ２０７でＮｏ）は、Ｓ２１７においてフォーカスレンズを指示されたレンズ位置へ移動させる位置指定コマンドであるか否かを判定する。位置指定コマンドでない場合には（Ｓ２１７でＮｏ）、処理を終了し、位置指定コマンドであった場合には（Ｓ２１７でＹｅｓ）、Ｓ２１８において受信した指定位置へフォーカスレンズを移動させる。Ｓ２１９では、指定された位置へフォーカスレンズを移動させるために、ワンショットＡＦ動作を強制的に中断するため、ワンショットＡＦ動作中フラグをクリアし、Ｓ２２０においてワンショットＡＦコマンドの保持を解除する。

一方、Ｓ２２１では、ワンショットＡＦ動作中フラグが立っている場合（Ｓ２２１でＹｅｓ）、ワンショットＡＦ動作を継続するためにＳ２０８へ移行する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ２２１でＮｏ）、処理を終了する。

位置指定コマンド時は、ロボットアーム１３０の動作状態による影響は全くないので、ロボットアーム１３０の動作状態による判定をせずに、指定されたフォーカスレンズ位置へ移動させることができる。

本実施形態においては、ロボットアーム１３０が動作しているか停止しているかの動作情報を撮像装置１００が受信し、その動作情報に基づいてワンショットＡＦ動作の実行を制限する。ワンショットＡＦ動作は、ロボットアーム１３０が動作している状態では、ロボットアーム１３０の動きによってＡＦ評価値信号が変化してしまうため、合焦レンズ位置を正確に見つけることができなくなる。そのため、ロボットアーム１３０の動作情報を受信してＡＦ動作を行うか否かを判断することにより、ワンショットＡＦ動作によるピント合わせを正確に行うことができ、適切な撮影画像を取得することができるようになる。

また、ワンショットＡＦ動作の実行により、合焦レンズ位置が算出されてフォーカスレンズを算出された合焦レンズ位置へ移動する前に、ワンショットＡＦ動作の終了を画像処理コントローラ１２０へ送信する。これにより、フォーカスレンズが合焦レンズ位置へ移動し停止するまでの時間を無駄にすることなくロボットアーム１３０を動作せることができ、ロボットアーム１３０の動きをスムーズにすることができる。

また、ワンショットＡＦ動作コマンドを受信した際は、ロボットアーム１３０が動作中の場合はワンショットＡＦ動作の実行を禁止する。また、位置指定コマンドを受信した際は、ロボットアーム１３０が動作中か否かを判定せずに、フォーカスレンズを指定された位置へ移動させる。このように、撮像装置１００が受信したコマンドによって、ロボットアーム１３０の動作状態に基づく制御を変更することにより、ロボットアーム１３０の制御を阻害することなく効率的なフォーカス制御を実行することができる。

（第２の実施形態）
図３は、図１におけるカメラマイコン１１４が実行する第２の実施形態におけるフォーカス制御処理を示すフローチャートである。

まず、Ｓ３０１において、カメラマイコン１１４は、通信装置１１６を経由して画像処理コントローラ１２０からコマンドを受信したか否かを判定する。コマンドを受信した場合（Ｓ３０１でＹｅｓ）、Ｓ３０２へ移行し、コマンドを受信していない場合（Ｓ３０１でＮｏ）、Ｓ３２０へ移行する。

Ｓ３０２では、ロボットアーム１３０が動作中か停止中かを示す動作状態を受信する受信コマンドか否かを判定する。ロボットアーム１３０の動作情報の受信コマンドの場合（Ｓ３０２でＹｅｓ）、Ｓ３０３において動作中か否かを判定する。ロボットアーム１３０が動いている場合（Ｓ３０３でＹｅｓ）、Ｓ３０４において外部装置の動作中フラグをセットする。ロボットアーム１３０が停止している場合（Ｓ３０３でＮｏ）、Ｓ３０５において外部装置の動作中フラグをクリアする。

Ｓ３０６では、ワンショットＡＦコマンドを一度受信しカメラマイコン１１４内で保持している状態か否かを判定する。ワンショットＡＦコマンドを保持していない場合には（Ｓ３０６でＮｏ）、そのまま処理を終了する。ワンショットＡＦコマンドを保持している場合には（Ｓ３０６でＹｅｓ）、Ｓ３０９においてワンショットＡＦ動作を実行中か否かを示すワンショットＡＦ動作中フラグが立っているか否かを判定する。

一方、ロボットアームの動作情報の受信コマンドでない場合（Ｓ３０２でＮｏ）、Ｓ３０７においてワンショットＡＦコマンドか否かを判定する。ワンショットＡＦコマンドである場合（Ｓ３０７でＹｅｓ）、Ｓ３０８において外部装置の動作中フラグが立っているか否かを判定する。

外部装置の動作中フラグが立っている場合（Ｓ３０８でＹｅｓ）、Ｓ３１１においてワンショットＡＦ動作を実行するのを一時的に禁止し、ワンショットＡＦコマンドを受信したことをカメラマイコン１１４が認識するために、ワンショットＡＦコマンドを保持する。そして、Ｓ３２２においてワンショットＡＦ動作中フラグをクリアしておく。

外部装置の動作中フラグが立っていない場合（Ｓ３０８でＮｏ）、Ｓ３０９においてワンショットＡＦ動作中フラグが立っているか否かを判定する。ワンショットＡＦ動作中フラグが立っている場合（Ｓ３０９でＹｅｓ）、Ｓ３１２においてワンショットＡＦ動作処理を継続する。ワンショットＡＦ動作中フラグが立っていない場合（Ｓ３０９でＮｏ）、Ｓ３１０においてワンショットＡＦ動作中フラグを立て、Ｓ３２３へ移行する。

Ｓ３２３では、ワンショットＡＦ動作を実行する前に、位置指定コマンドが実施されたか否かを判定するために、位置指定コマンド有フラグがセットされているか否かを判定する。位置指定コマンド有フラグがセットされていない場合（Ｓ３２３でＮｏ）、Ｓ３２４において第１のサーチ範囲に設定する。位置指定コマンド有フラグがセットされている場合（Ｓ３２３でＹｅｓ）、Ｓ３２５において第１のサーチ範囲よりも狭い第２のサーチ範囲に設定する。

そして、Ｓ３１２でワンショットＡＦ動作を実行し、Ｓ３１３においてワンショットＡＦ動作が終了したか否かを判定する。ワンショットＡＦ動作の処理が終了した場合には（Ｓ３１３でＹｅｓ）、Ｓ３１４においてワンショットＡＦ動作中フラグをクリアし、Ｓ３１５において位置指定コマンド有フラグをクリアする。ワンショットＡＦ動作の処理が終了していない場合には（Ｓ３１３でＮｏ）、処理を終了する。

一方、Ｓ３０７において、ワンショットＡＦコマンドでない場合（Ｓ３０７でＮｏ）は、Ｓ３１７においてフォーカスレンズを指示されたレンズ位置へ移動させる位置指定コマンドであるか否かを判定する。位置指定コマンドでない場合には（Ｓ３１７でＮｏ）、処理を終了する。位置指定コマンドであった場合には（Ｓ３１７でＹｅｓ）、Ｓ３１８において受信した指定位置へフォーカスレンズを移動させる。Ｓ３１９では、指定された位置へフォーカスレンズを移動するために、ワンショットＡＦ動作を強制的に中断させるため、ワンショットＡＦ動作中フラグをクリアし、Ｓ３２０においてワンショットＡＦコマンドの保持を解除する。そして、Ｓ３３０では、位置指定コマンド有フラグをセットする。 一方、Ｓ３２１では、ワンショットＡＦ動作中フラグが立っている場合（Ｓ３２１でＹｅｓ）、ワンショットＡＦ動作を継続するためにＳ３０８へ移行し、ワンショットＡＦ動作中フラグが立っていない場合（Ｓ３２１でＮｏ）、処理を終了する。

本実施形態においては、位置指定コマンドによりフォーカスレンズを移動した後か否かに応じて、ワンショットＡＦ動作時のフォーカスレンズのサーチ範囲を変更する。これは、次のような理由による。つまり、位置指定コマンドによりフォーカスレンズを移動した後に、ワンショットＡＦ動作を実行する場合、ユーザが位置指定コマンドにより合わせたい対象物に近い位置へフォーカスレンズを移動したと考えられる。その場合、対象物へのピントを合わせる際にピント位置の変化も少なく、フォーカス位置を探索する範囲も狭くすることができ、ワンショットＡＦ動作の時間を短縮することができる。そのため、位置指定コマンドでフォーカスレンズを移動した場合には、フォーカスレンズを移動していない場合の第１のサーチ範囲よりも狭い第２のサーチ範囲に設定する。これにより、ワンショットＡＦにおける合焦動作をロボットアームの動きに応じて安定させることができ、さらに合焦時間を短縮することも可能となる。

また、不図示ではあるが、本実施形態においては、位置指定コマンドを受信した後、ワンショットＡＦ動作を実行する際には、常に第２のサーチ範囲としている。しかし、本発明はこの動作に制限されるものではない。例えば、対象物までの距離を示す距離情報を受信することで、距離情報に基づいたフォーカスレンズ位置と位置指定コマンドで受信したフォーカスンレンズ位置を比較する。そして、被写体までの距離に応じて変動する制御情報である距離情報に基づいてフォーカスレンズ位置と位置指定コマンドで受信したフォーカスレンズ位置との差があらかじめ決められた所定の値以下の場合は、第２のサーチ範囲としてもよい。この場合は、ロボットアームから対象物までの距離に基づいて、対象物に対してピント位置が近傍か否かを判定することができる。そして、さらに正確にサーチ範囲を設定することができ、ユーザの使用に合わせたワンショットＡＦ動作を実行することができる。また、ワンショットＡＦ動作の時間を状況に応じて短縮することができる。

（第３の実施形態）
第１及び第２の実施形態の構成においては、撮像装置１００はロボットアーム１３０に固定されており、ロボットアーム１３０に連動して移動するものであった。しかし、撮像装置１００がロボットアーム１３０に固定されておらず、定点位置に置かれている場合も考えられる。

本実施形態のフォーカス制御処理は、図１の第１の実施形態におけるフォーカス制御処理と同様であるが、次の点が異なる。本実施形態では、カメラマイコン１１４は、画像処理コントローラ１２０から撮像装置１００がロボットアーム１３０に固定されているのか、それもと定点撮影として固定されているのかの情報を受け取る。そして、撮像装置１００はその情報に基づいてロボットアーム１３０が動作中にワンショットＡＦ動作を実行するか否かを判断する。また、ワンショットＡＦにおけるフォーカスレンズを移動して合焦位置を探索するサーチ範囲を変更する。

定点撮影状態として撮像装置が設置されている場合には、ロボットアームが動作していても、ロボットアームの動作に連動して撮影画像が変化することがない。そのため、ＡＦ評価値信号はロボットアームの動作に影響されにくい。また、対象物に対して被写体までの距離が大きく変化することはない。そのため、定点状態として撮像装置が設置されている場合は、ロボットアームの動作中にワンショットＡＦ動作を実行してもよい。また、定点状態として撮像装置が設置されていない場合と比較してサーチ範囲を狭くしてもよい。また、この場合サーチを範囲を０として、フォーカスレンズを移動しないようにしてもよい。これにより、撮像装置の設置状態に応じて、ワンショットＡＦ動作によるピント合わせを効率的に行うことができる。

また、画像処理コントローラ１２０は、ロボットアーム１３０と別々の構成としていたが、ロボットアーム１３０内に画像処理コントローラ１２０が搭載されている構成でもよい。

＜各実施形態の利点＞
以上説明したように、上記の各実施形態では、ロボットアーム１３０の動作状態に基づいてワンショットＡＦ動作を実行するか否かを変更する。さらに、ワンショットＡＦ動作により合焦レンズ位置が判定できた時点で、ワンショットＡＦ動作の終了を通知する。これらにより、正確な合焦位置を算出することができ、ロボットアームの動作をスムーズに制御することができる。

また、ワンショットＡＦ動作を実行する前に位置指定コマンドによりフォーカスレンズ位置が移動されたか否かに応じて、撮像装置１００が、ピント位置を探索するためのフォーカスレンズを移動するサーチ範囲を変更する。位置指定コマンドによりフォーカスレンズを移動することで対象物の合焦位置近傍にフォーカスレンズを移動していると判断し、ワンショットＡＦ動作での合焦位置のサーチ範囲を狭く変更する。これにより、ワンショットＡＦ動作の時間を短縮することができる。

このように、ロボットアーム１３０の動作状態に基づいて、ワンショットＡＦ動作終了の通知タイミング、ワンショットＡＦ動作時のサーチ範囲を変更することにより、効率的なフォーカス制御およびピント合わせを実現することができる。結果として、ロボットアーム１３０をスムーズに動作させることができ、ユーザに快適なロボットアーム制御を実現することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：撮像装置、１０５：フォーカスレンズ、１０６：撮像素子、１０８：カメラ信号処理部、１１４：カメラマイクロコンピュータ、１１６：通信装置、１２０：画像処理コントローラ、１３０：ロボットアーム

Claims (13)

1. ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、
   前記制御装置は、
   前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知手段を備え、
   前記撮像装置は、
   被写体像を撮像する撮像手段と、
   被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
   前記通知手段により前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更手段と、を備え、
   前記変更手段は、ユーザによりフォーカスレンズを指定位置に移動させるように指示された場合、前記自動焦点調節の動作を中断して、前記フォーカスレンズを前記指定位置に移動させるように動作を変更することを特徴とする撮像システム。
2. 前記変更手段は、前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を制限するか否かを変更することを特徴とする請求項１に記載の撮像システム。
3. 前記変更手段は、前記ロボットアームの動作状態が動作中の場合には、前記自動焦点調節手段による焦点検出動作を制限することを特徴とする請求項２に記載の撮像システム。
4. 前記撮像装置は、前記自動焦点調節手段により合焦となるフォーカスレンズの位置が算出された場合には、前記フォーカスレンズの合焦となる位置への移動が完了する前に、焦点調節の完了を示す信号を前記制御装置に送信することを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
5. 前記自動焦点調節手段は、自動焦点調節の動作の前にユーザの指示により前記フォーカスレンズが前記指定位置に移動されたか否かに応じて、自動焦点調節の動作を変更することを特徴とする請求項１に記載の撮像システム。
6. 前記自動焦点調節手段は、自動焦点調節の動作の前にユーザの指示により前記フォーカスレンズが前記指定位置に移動されたか否かに応じて、焦点検出のために前記フォーカスレンズの合焦位置を探索する範囲を変更することを特徴とする請求項５に記載の撮像システム。
7. 前記自動焦点調節手段は、自動焦点調節の動作の前にユーザの指示により前記フォーカスレンズが前記指定位置に移動された場合には、前記フォーカスレンズが前記指定位置に移動されない場合よりも、焦点検出のために前記フォーカスレンズの合焦位置を探索する範囲を狭くすることを特徴とする請求項６に記載の撮像システム。
8. 前記撮像装置は、被写体までの距離に応じて変動する制御情報を前記通知手段により受信し、前記自動焦点調節手段は、前記制御情報に基づいたフォーカスレンズの位置とユーザにより指定されたフォーカスレンズの前記指定位置とに基づいて、焦点検出を実行する際のフォーカスレンズの合焦位置を探索する範囲を変更することを特徴とする請求項５乃至７のいずれか１項に記載の撮像システム。
9. ロボットアームに取り付けられる撮像装置であって、
   被写体像を撮像する撮像手段と、
   被写体に対して撮像光学系の焦点を合わせる自動焦点調節手段と、
   前記ロボットアームの動作状態の情報を受信する受信手段と、
   前記受信手段により受信した前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節手段による自動焦点調節の動作を変更する変更手段と、を備え、
   前記変更手段は、ユーザによりフォーカスレンズを指定位置に移動させるように指示された場合、前記自動焦点調節の動作を中断して、前記フォーカスレンズを前記指定位置に移動させるように動作を変更することを特徴とする撮像装置。
10. ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムを制御する方法であって、
    前記制御装置が、前記撮像装置に対して、前記ロボットアームの動作状態の情報を通知する通知工程と、
    前記撮像装置が、前記通知工程において前記制御装置から通知された前記ロボットアームの動作状態の情報に基づいて、自動焦点調節手段による自動焦点調節の動作を変更する変更工程と、を有し、
    前記変更工程では、ユーザによりフォーカスレンズを指定位置に移動させるように指示された場合、前記自動焦点調節の動作を中断して、前記フォーカスレンズを前記指定位置に移動させるように動作を変更することを特徴とする撮像システムの制御方法。
11. ロボットアームに取り付けられる撮像装置を制御する方法であって、
    被写体に対して撮像光学系の焦点を合わせる自動焦点調節工程と、
    前記ロボットアームの動作状態の情報を受信する受信工程と、
    前記受信工程において受信した前記ロボットアームの動作状態の情報に基づいて、前記自動焦点調節工程による自動焦点調節の動作を変更する変更工程と、を有し、
    前記変更工程では、ユーザによりフォーカスレンズを指定位置に移動させるように指示された場合、前記自動焦点調節の動作を中断して、前記フォーカスレンズを前記指定位置に移動させるように動作を変更することを特徴とする撮像装置の制御方法。
12. 請求項１０または１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
13. 請求項１０または１１に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images