JP7137355B2

JP7137355B2 - 撮像システム及びその制御方法、プログラム、記憶媒体

Info

Publication number: JP7137355B2
Application number: JP2018096519A
Authority: JP
Inventors: 誠横関
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-05-18
Filing date: 2018-05-18
Publication date: 2022-09-14
Anticipated expiration: 2038-05-18
Also published as: JP2019200398A

Description

本発明は、カメラの撮影画像に基づいてロボットアームを制御する撮像システムに関するものである。

例えば、組立用のロボット等においては、ロボットアームによりワークをピック＆プレイスする際に、カメラを用いてロボットを制御することが行われている。この制御は、ロボットアームの手先部に取り付けられたカメラにより、そのワークを撮影し、その撮影画像データからワークの位置を検出し、検出位置にロボットアームを移動させてハンドでワークを把持するというものである。

この種のロボット制御装置として、特許文献１には、カメラに焦点調節機能、焦点距離調節機能、絞り調節機能等を有する光学系調節手段を有し、ワークを撮影した撮影画像データに基づいて光学系調節手段を制御する装置が記載されている。

特開２００３－２１１３８２号公報

しかしながら、上記の従来技術では、ビジュアルサーボと称される視覚フィードバッグ制御により、対象物の特徴量を目標データとして記憶し、目標データ記憶時と誤差が少なくなるようにピント、焦点距離、絞りを調節する構成となっている。

この制御では、対象物を撮影し、撮影した撮影画像を視覚認識装置に送信し、視覚認識装置で目標データと現在データとを比較してその誤差を算出し、誤差を減少させる（０となる）ように再度ロボット制御およびカメラ制御を繰り返す。そのため、誤差を減少させるために時間がかかる。その場合、ロボットアームの動作のスムーズな動きを阻害してしまう。

また、対象物にピントを合わせる場合、対象物を撮影し、撮影した撮影画像からピントが合っているか否かを確認しながらピント位置を調整していると、対象物までの距離が様々である場合には、各距離で同じ制御を行う必要が出てくるので時間がかかる。

そのため、自動でピントを合わせるオートフォーカスの機能を備えることが考えられるが、合焦位置から離れた位置からピントが合う位置を探索していては、ピントが合うまでに時間がかかるという問題がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することである。

本発明に係わる撮像システムは、ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、前記制御装置は、前記撮像装置に対して、前記撮像装置に対する被写体距離情報を通知する通知手段を備え、前記撮像装置は、被写体像を撮像する撮像手段と、撮像光学系の焦点を合わせるフォーカスレンズを駆動する駆動手段と、前記制御装置から受信した被写体距離情報に基づいて、該被写体距離情報に応じた位置に前記フォーカスレンズを駆動しながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行う制御手段と、を備え、前記制御手段は、前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて増加していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と同じ方向とすることを特徴とする。
また、本発明に係わる撮像システムは、ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、前記制御装置は、前記撮像装置に対して、前記撮像装置に対する被写体距離情報を通知する通知手段を備え、前記撮像装置は、被写体像を撮像する撮像手段と、撮像光学系の焦点を合わせるフォーカスレンズを駆動する駆動手段と、前記制御装置から受信した被写体距離情報に基づいて、該被写体距離情報に応じた位置に前記フォーカスレンズを駆動しながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行う制御手段と、を備え、前記制御手段は、前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて減少していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と反対の方向とすることを特徴とする。
また、本発明に係わる撮像装置は、ロボットによる操作対象である対象物を撮像する撮像手段を有する撮像装置であって、前記ロボットの動作を制御するための情報に基づく前記撮像装置から前記対象物までの距離に関する情報を取得する取得手段と、前記対象物に焦点を合わせるためにフォーカスレンズの移動を制御する制御手段と、を有し、前記制御手段は、前記対象物までの距離に関する情報に基づいて、前記フォーカスレンズを移動させながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行い、前記第２の駆動制御の際、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて増加していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と同じ方向とすることを特徴とする。
また、本発明に係わる撮像装置は、ロボットによる操作対象である対象物を撮像する撮像手段を有する撮像装置であって、前記ロボットの動作を制御するための情報に基づく前記撮像装置から前記対象物までの距離に関する情報を取得する取得手段と、前記対象物に焦点を合わせるためにフォーカスレンズの移動を制御する制御手段と、を有し、前記制御手段は、前記対象物までの距離に関する情報に基づいて、前記フォーカスレンズを移動させながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行い、前記第２の駆動制御の際、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて減少していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と反対の方向とすることを特徴とする。

本発明によれば、ロボットに取り付けられたカメラを制御するシステムにおいて、対象物までの距離が様々である場合にもスムーズな焦点調節制御を実現することが可能となる。

本発明の一実施形態に係わる撮像システムの構成を示すブロック図。撮像装置、画像処理コントローラ、ロボットアームの外観を模式的に表した図。フォーカスマニュアル駆動処理の動作を示すフローチャート。ワンショットＡＦ処理の動作を示すフローチャート。フォーカスレンズの位置に対するＡＦ評価値の変化を示す図。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

＜撮像システムの構成＞
本発明の一実施形態の撮像システムについて説明する。この撮像システムでは、ＡＦ評価値信号の履歴に基づいて、ロボットアームに設置された撮像装置の焦点調節制御を行う。

図１Ａは、本発明の一実施形態に係わる撮像システムの構成を示すブロック図である。この撮像システムは、撮像装置１００と、画像処理コントローラ１２０と、ロボットアーム１３０とが通信可能に接続されて構成されている。

撮像装置１００には、撮像光学系として、第１の固定レンズ群１０１、変倍レンズ１０２、絞り１０３、第２の固定レンズ群１０４、フォーカスレンズ１０５（フォーカスコンペンセータレンズ）が配置されている。変倍レンズ１０２を光軸に沿う方向に移動することにより変倍を行い、焦点距離を変えることができる。フォーカスレンズ１０５は、変倍に伴う焦点面の移動を補正する機能とフォーカシングの機能とを兼ね備えている。

ズーム駆動源１０９は変倍レンズ１０２を移動させる駆動源である。絞り駆動源１１０は絞り１０３を動かすための駆動源である。フォーカシング駆動源１１１はフォーカスレンズ１０５を移動させるための駆動源である。ズーム駆動源１０９、絞り駆動源１１０、フォーカシング駆動源１１１は、ステッピングモータ、ＤＣモータ、振動型モータ及びボイスコイルモータ等のアクチュエータにより構成される。

撮像装置１００は、さらに撮像素子１０６、ＣＤＳ／ＡＧＣ回路１０７、カメラ信号処理部１０８、タイミングジェネレータ１１２、ＡＦ信号処理部１１３、記録部１１５、カメラマイクロコンピュータ１１４（以下、単にカメラマイコンという）、通信装置１１６を備える。

撮像素子１０６は被写体像を光電変換する素子であって、ＣＣＤやＣＭＯＳセンサなどから構成されている。撮像素子１０６は行列状に複数の画素部を有する。撮像光学系を通過した光束は撮像素子１０６の受光面上に結像され、各画素部が有するフォトダイオード（光電変換部）によって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、カメラマイコン１１４の指令に従ってタイミングジェネレータ１１２から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子１０６から順次読み出される。

撮像素子１０６から読み出された出力信号は、サンプリングし、ゲイン調整するＣＤＳ／ＡＧＣ回路１０７に入力される。カメラ信号処理部１０８は、ＣＤＳ／ＡＧＣ回路１０７から出力された画像信号に対して各種の画像処理を施して、画像信号を生成する。第１の実施形態における画像信号は、ロボット制御に用いるための静止画像や動画像の信号である。記憶部１１５は、カメラ信号処理部１０８からの画像信号を記憶する。

ＡＦ信号処理部１１３はＣＤＳ／ＡＧＣ回路１０７からの全画素の出力信号のうち焦点検出に用いられる領域の信号のみを通すＡＦゲートを通過した信号から高周波成分や輝度差成分（ＡＦゲートを通過した信号の輝度レベルの最大値と最小値の差分）等を抽出してＡＦ評価値信号を生成する。ＡＦ評価値信号は、カメラマイコン１１４に出力される。ＡＦ評価値信号は、撮像素子１０６からの出力信号に基づいて生成される映像信号の鮮鋭度（コントラスト状態）を表すものであるが、鮮鋭度は撮像光学系の焦点状態によって変化するので、結果的にＡＦ評価値信号は撮像光学系の焦点状態を表す信号となる。

カメラマイコン１１４は、撮像装置１００全体の動作の制御を司るとともに、フォーカシング駆動源１１１を制御してフォーカスレンズ１０５を移動させるＡＦ制御（自動焦点調節制御）を行う。カメラマイコン１１４は、ＡＦ制御として、ＴＶ－ＡＦ方式でのＡＦ制御（以下、単に「ＴＶ－ＡＦ」という）を行う。ＴＶ－ＡＦ方式とは上記のようなコントラスト検出により焦点検出を行う焦点検出方式である。また、カメラマイコン１１４は、ズーム駆動源１０９を制御して変倍レンズ１０２を移動させ焦点距離制御を行い、絞り駆動源１１０を制御して絞り１０３を動作させる絞り制御を行う。

通信装置１１６は、画像処理コントローラ１２０と通信を行うための装置である。画像処理コントローラ１２０は、撮像装置１００への撮影指示、撮影した画像の解析、および各カメラ制御（フォーカス制御、露出制御、焦点距離制御）の指示を行う。また、ロボットアーム１３０の動作状態やロボットアーム１３０の位置状態に基づいて被写体までの距離を撮像装置１００へ送信（通知）するとともに、カメラの撮影状態の受信等を行う。さらにロボットアーム１３０への操作指示を行うものである。なお、上記のロボットアーム１３０の動作状態やロボットアーム１３０の位置状態は、ロボットアーム１３０に備えられた各種のセンサの検出値や画像処理コントローラ１２０からロボットアーム１３０に送られる指示コマンドなどから判断される。また、データの送受信は、所定の通信プロトコルに準じて行われる。ここでは、あらかじめ各種指示ごとに決められたコマンドを用いてデータの送受信を行う。

画像処理コントローラ１２０は、ＣＰＵ１２１、一次記憶装置１２２、二次記憶装置１２３、通信装置１２４、表示部１２５、操作部１２６を備える。ＣＰＵ１２１は、画像処理コントローラ１２０全体を制御する。二次記憶装置１２３は、ハードディスクなどからなり、ＣＰＵ１２１を動かすプログラムを格納する。一次記憶装置１２２は、ＲＡＭなどからなり、二次記憶装置１２３から読み込まれたプログラムが格納される。通信装置１２４は、撮像装置１００やロボットアーム１３０と通信を行う。表示部１２５は撮影画像の表示、対話的な操作のための文字表示などを行う。操作部１２６は、使用者の操作を受け付ける。

撮像装置１００はロボットアーム１３０に固定されている。ロボットアーム１３０が動くと、撮像装置１００の撮影範囲が変更される。また、ロボットアーム１３０は、アーム先端のロボットハンドを使って操作対象となる対象物を把持することができる。ＣＰＵ１３１はロボットアーム１３０全体を制御する。通信装置１３２は、画像処理コントローラ１２０と通信を行う。

また、図１Ｂは撮像装置１００、画像処理コントローラ１２０、ロボットアーム１３０の外観を模式的に表した図である。なお、本実施形態では画像処理コントローラ１２０が親となり、撮像装置１００とロボットアーム１３０に指示を送るものとする。

＜フォーカスマニュアル駆動処理＞
本実施形態では、撮像装置の後述するＡＦ（オートフォーカス）処理を行う前に、ユーザーの指示によりフォーカスレンズ１０５のマニュアル駆動を行い、フォーカスレンズ１０５の各位置での焦点評価値を取得する処理（第１の駆動制御）を行う。図２は、本実施形態におけるフォーカスマニュアル駆動処理の動作を示すフローチャートである。

まず、ユーザーが操作部１２６を介して画像処理コントローラ１２０にフォーカスマニュアル駆動処理の開始指示を入力すると、ＣＰＵ１２１は、通信装置１２４を介して被写体距離情報を撮像装置１００の通信装置１１６に送信する。被写体距離情報は、操作部１２６から入力されるデータであってもよいし、二次記憶装置１２３に記憶されているデータをＣＰＵ１２１から読み出してもよい。

Ｓ２０１では、撮像装置１００のカメラマイコン１１４は、画像処理コントローラ１２０から被写体距離情報を受信したか否かを判断する。被写体距離情報を受信すると、Ｓ２０２へ進み、受信していない場合は被写体距離情報を受信するまでＳ２０１を繰り返す。

Ｓ２０２では、カメラマイコン１１４は、Ｓ２０１において受信した被写体距離情報に相当する目標フォーカスレンズ位置を算出する。その後、現在のフォーカスレンズ位置と、算出した目標フォーカスレンズ位置との位置関係から、焦点を合わせるためには至近方向か無限遠方向のいずれの方向にフォーカスレンズ１０５を動かせばよいかを判断し、決定した駆動方向を記憶部１１５に保存する。

Ｓ２０３では、カメラマイコン１１４はＳ２０２で決定した駆動方向にフォーカスレンズ１０５を駆動するようフォーカシング駆動源１１１に駆動指示を送り、フォーカシング駆動源１１１はフォーカスレンズ１０５の駆動を開始する。そして、以後の動作では、フォーカスレンズ１０５がＳ２０２で算出した目標フォーカスレンズ位置に到達するまで、Ｓ２０４～Ｓ２０８の処理を所定の周期で繰り返し、その都度焦点評価値を取得する。

Ｓ２０４では、カメラマイコン１１４は、ＡＦ信号処理部１１３から出力されるＡＦ評価値を取得し、記憶部１１５へＡＦ評価値履歴情報として保存する。

Ｓ２０５では、カメラマイコン１１４は、Ｓ２０４で記憶したＡＦ評価値履歴情報に基づいてＡＦ評価値がピーク（つまり、合焦となるフォーカスレンズ位置）を通過したか否かを判断する。フォーカスレンズが合焦位置を通過したか否かは、ＡＦ評価値履歴情報の中の最大ＡＦ評価値に対して、最新のＡＦ評価値が閾値以上低下しているか否かにより判断する。そして、最新のＡＦ評価値が閾値以上低下している場合に、最大または極大のＡＦ評価値となった映像を蓄積したときのフォーカスレンズ位置を合焦位置とする。

Ｓ２０６では、Ｓ２０５においてＡＦ評価値のピークがあった場合は、Ｓ２０７に進み、ＡＦ評価値のピークが未だない場合はＳ２０８に進む。

Ｓ２０７では、カメラマイコン１１４は、ＡＦ評価値のピークとなる映像を蓄積したときのフォーカスレンズ位置をピークレンズ位置として記憶部１１５に保存する。

Ｓ２０８では、カメラマイコン１１４は、フォーカスレンズ１０５がＳ２０２で算出した目標フォーカスレンズ位置に到達したか否かを判断する。目標フォーカスレンズ位置に到達していると判断した場合は処理を終了し、到達していないと判断した場合はＳ２０４に進み処理を継続する。

＜ワンショットＡＦ処理＞
図３は、本実施形態における撮像装置１００のワンショットＡＦ（オートフォーカス）処理（第２の駆動制御）の動作を示すフローチャートである。このワンショットＡＦ処理は、図２で説明したフォーカスマニュアル駆動処理の後に実行されることで、ワンショットＡＦ処理の短縮化が図られる。

まず、ユーザーが操作部１２６を介して画像処理コントローラ１２０にワンショットＡＦ処理の開始指示を入力すると、ＣＰＵ１２１は通信装置１２４を介してワンショットＡＦの開始指示を撮像装置１００の通信装置１１６に送信する。

撮像装置１００のカメラマイコン１１４は、Ｓ３０１において画像処理コントローラ１２０からワンショットＡＦコマンドを受信したか否かを判断する。ワンショットＡＦコマンドを受信すると、Ｓ３０２へ進み、受信していない場合はワンショットＡＦコマンドを受信するまでＳ３０１を繰り返す。

Ｓ３０２では、カメラマイコン１１４は、記憶部１１５に図２のＳ２０７において保存されるピークレンズ位置が記憶されているか否かを判断する。ピークレンズ位置が記憶されている場合はピークレンズ位置の情報を読み出してＳ３０３に進み、ピークレンズ位置が記憶されていない場合はＳ３０６に進む。

Ｓ３０３では、Ｓ３０２で読み出したピークレンズ位置の情報が記憶部１１５に記憶された時刻から現在の時刻までの間に、アーム部１４２が停止し続けていたか否かを判断する。

アーム部１４２が動作したか否かの情報は、本実施形態においてはカメラマイコン１１４内部の図示しない一時記憶領域にフラグ情報として記憶されているものとする。フラグ情報の一例として、例えば、Ｓ２０７においてピークレンズ位置を保存したタイミングでフラグ情報を「停止継続」のステータスとし、ロボットアーム１３０が駆動された時点でフラグ情報を「動作済」の情報とする。

または、ピークレンズ位置が保存されることなくＳ２０８において目標レンズ位置に到達した場合は、カメラマイコン１１４はフォーカスレンズが目標レンズ位置に到達したと判断したタイミングでフラグ情報を「停止継続」のステータスとする。したがって、上記の動作により、Ｓ３０３においてフラグ情報が「停止継続」の場合はＳ３０４に進み、フラグ情報が「動作済」の場合はＳ３０５に進むこととなる。

Ｓ３０４では、カメラマイコン１１４は、現在のフォーカスレンズ位置と記憶部１１５から読み出したピークレンズ位置の位置関係から、ワンショットＡＦの開始方向をピークレンズ位置のある方向に設定してワンショットＡＦを開始する（ワンショットＡＦに移行する）。

上記について、図４（ａ）を用いて説明する。図４の縦軸はＡＦ評価値を示しており、大きい値程ＡＦ評価値も高いことを表している。また、横軸はフォーカスレンズ位置を示しており、本実施形態では右に行くほど至近方向のレンズ位置を示しており、左に行くほど無限遠方向のレンズ位置を示している。

さらに、横軸に記載の「Ｓ」はＳ２０３においてフォーカスレンズを指定位置へ移動開始（Ｓｔａｒｔ）したときのフォーカスレンズ位置を示している。「Ｅ」はＳ２０８においてフォーカスレンズが目標フォーカスレンズ位置に到達してフォーカスマニュアル処理が終了（Ｅｎｄ）したときのフォーカス位置を示している。「Ｐ」はフォーカスマニュアル駆動処理中にＡＦ評価値履歴情報から合焦位置（Ｐｅａｋ）と判断したときのフォーカスレンズ位置を示している。図４（ａ）では、曲線４０１から、フォーカスマニュアル制御を開始（Ｓ）してから終了（Ｅ）するまでの間に合焦位置（Ｐ）が見つかっていることがわかる。

したがって、Ｓ３０４では、フォーカスレンズ位置が「Ｅ」にあるときにワンショットＡＦの開始指示を受け取るため、Ｓ３０４ではワンショットＡＦの開始方向を無限遠方向に設定して開始する。

一方、Ｓ３０５では、ピークレンズ位置を保存してからワンショットＡＦ指示を受けるまでの間にアームが動いているため、被写体がいる方向がわからなくなったパターンである。したがって、ワンショットＡＦを予め決められた方向から開始する。予め決められた方向とは、画像処理コントローラ１２０の二次記憶装置１２３に記憶されている方向情報でもよいし、ユーザーが指定した方向としてもよい。

次に、Ｓ３０６からＳ３１３は、Ｓ３０２においてフォーカスマニュアル駆動処理時にピークレンズ位置がなかったと判断された場合のワンショットＡＦ動作を示している。

Ｓ３０６では、カメラマイコン１１４はＳ２０４において記憶したＡＦ評価値の履歴情報から、ＡＦ評価値が増加しているか否かを判断する。ＡＦ評価値が増加していると判断された場合は、Ｓ３０７に進み、ＡＦ評価値が増加していないと判断された場合は、Ｓ３１０に進む。

ここで、ＡＦ評価値が増加しているか否かの判断方法の一例について図４（ｂ）を用いて説明する。図４（ｂ）では、フォーカスマニュアル制御を開始（Ｓの位置）してから終了（Ｅの位置）するまでの間に合焦位置（Ｐ）が見つかっていないことを表している。
曲線４０２は、フォーカスマニュアル制御開始時のレンズ位置（Ｓ）からフォーカスマニュアル制御終了時のレンズ位置（Ｅ）までのＡＦ評価値の変化を表したグラフである。このグラフから、ＡＦ評価値がＳからＥまで単調に増加していることがわかる。４０３はＳからＥまでのＡＦ評価値の変化量を表している。

上述した「増加している」ことの判断として、上述した変化量４０３が所定量以上の場合に増加していると判断する方法があげられる。また、別の例として、Ｅを含んだ所定期間のＡＦ評価値が単調に増加している、または最小値と最大値の差が所定値以上であることを「増加している」ことの判断とする方法がある。さらに、別の例として、Ｅを含んだ所定期間のＡＦ評価値の増加率が所定値以上であることを「増加している」ことの判断とすることも考えられる。

次に、Ｓ３０７では、カメラマイコン１１４はフォーカスレンズ１０５が目標フォーカス位置に到着してからワンショットＡＦコマンドを受信するまでの間にアームが停止していたか否かを判断する。つまり、前述したフラグ情報が「停止継続」のステータスか「動作済」のステータスかを判断する。

アームが停止していた、つまりフラグ情報が「停止継続」のステータスである場合はＳ３０８に進み、アームが動作した、つまりフラグ情報が「動作済」のステータスである場合はＳ３０９に進む。

Ｓ３０８では、カメラマイコン１１４は、Ｓ２０２において記憶部１１５に記憶した駆動方向情報を読み出し、読み出した駆動方向と同一の方向をワンショットＡＦの開始方向に設定してワンショットＡＦを開始する。図４（ｂ）ではフォーカスマニュアル駆動によってフォーカスレンズ１０５を位置Ｓから位置Ｅまで駆動した状態を示している。

上述したように、ＡＦ評価値が増加しているか否かを判断すると、図４（ｂ）の点線で表現したように、Ｅよりも至近のレンズ位置で合焦する可能性があることが予想される。したがって、Ｅの位置においてワンショットＡＦの開始指示を受けると、至近方向をワンショットＡＦの開始方向に設定してワンショットＡＦを開始することで、ワンショットＡＦの処理時間を短縮することが可能となる。

一方、Ｓ３０９では、フラグ情報を保存してからワンショットＡＦ指示を受けるまでの間にアームが動いているため、被写体がいる方向がわからなくなったパターンである。したがって、ワンショットＡＦを予め決められた方向から開始する。予め決められた方向とは、画像処理コントローラ１２０の二次記憶装置１２３に記憶されている方向でもよいし、ユーザーが指定した方向でもよい。

次に、Ｓ３１０では、カメラマイコン１１４はＳ２０４において記憶したＡＦ評価値の履歴情報から、ＡＦ評価値が減少しているか否かを判断する。ＡＦ評価値が減少していると判断された場合は、Ｓ３１１に進み、ＡＦ評価値が減少していないと判断された場合は、Ｓ３１３に進む。

ここで、ＡＦ評価値が減少しているか否かの判断方法の一例について図４（ｃ）を用いて説明する。

図４（ｃ）では、フォーカスマニュアル制御を開始（Ｓの位置）してから終了（Ｅの位置）するまでの間に合焦点（Ｐ）が見つかっていないことを表している。曲線４０４は、フォーカスマニュアル制御開始時のレンズ位置（Ｓ）からフォーカスマニュアル制御終了時のレンズ位置（Ｅ）までのＡＦ評価値の変化を表したグラフである。このグラフから、ＡＦ評価値がＳからＥまで単調に減少していることがわかる。４０５はＳからＥまでのＡＦ評価値の変化量を表している。

上述した「減少している」ことの判断として、上述した変化量４０５が所定量以上の場合に減少していると判断する方法があげられる。また、別の例として、Ｓを含んだ所定期間のＡＦ評価値が単調に減少している、または最小値と最大値の差が所定値以上であることを「減少している」ことの判断とする方法がある。さらに、別の例として、Ｓを含んだ所定期間のＡＦ評価値の減少率が所定値以上であることを「減少している」ことの判断とすることも考えられる。

Ｓ３１１では、カメラマイコン１１４はフォーカスレンズ１０５が目標フォーカス位置に到着してからワンショットＡＦコマンドを受信するまでの間にアームが停止していたか否かを判断する。つまり、前述したフラグ情報が「停止継続」のステータスか「動作済」のステータスかを判断する。アームが停止していた、つまりフラグ情報が「停止継続」のステータスである場合はＳ３１２に進み、アームが動作した、つまりフラグ情報が「動作済」のステータスである場合はＳ３１３に進む。

Ｓ３１２では、カメラマイコン１１４は、Ｓ２０２において記憶部１１５に記憶した駆動方向情報を読み出し、読み出した駆動方向と反対の方向をワンショットＡＦの開始方向に設定してワンショットＡＦを開始する。図４（ｃ）では、フォーカスマニュアル駆動によってフォーカスレンズ１０５を位置Ｓから位置Ｅまで駆動した状態を示している。

上述したように、ＡＦ評価値が減少しているか否かを判断すると、図４（ｃ）の点線で表現したように、Ｓよりも無限遠寄りのレンズ位置で合焦する可能性があることが予想される。したがって、Ｅの位置においてワンショットＡＦの開始指示を受けると、無限遠方向をワンショットＡＦの開始方向に設定してワンショットＡＦを開始することで、ワンショットＡＦの処理時間を短縮することが可能となる。

一方、Ｓ３１３では、ワンショットＡＦを予め決められた方向から開始する。この処理は、以下に記載する場合に実行される処理である。
（１）以下の条件を全て満足する場合
・フォーカスマニュアル駆動時に合焦位置を特定できず、ピークレンズ位置が保存されていない。
・Ｓ３０６において、フォーカスマニュアル駆動時に保存したＡＦ評価値履歴が増加していると判定されなかった。
・Ｓ３１０において、フォーカスマニュアル駆動時に保存したＡＦ評価値履歴が減少していると判定されなかった。
あるいは、
（２）フラグ情報を保存してからワンショットＡＦ指示を受けるまでの間にアームが動いているため、被写体がいる方向がわからなくなった場合。
（３）あるいは、フォーカスマニュアル駆動が実行されていないことによって、ＡＦ評価値履歴が保存されていない場合。

なお、アームが動いた旨の情報を受信した場合は、保存されているＡＦ評価値履歴をクリアするようにしてもよい。予め決められた方向とは、画像処理コントローラ１２０の二次記憶装置１２３に記憶されている方向でもよいし、ユーザーが指定した方向でもよい。

以上説明したように、本実施形態では、フォーカスマニュアル制御時のＡＦ評価値履歴情報に基づいて、ワンショットＡＦ開始指示を受信したときのワンショットＡＦ開始方向を変更する。これにより、ワンショットＡＦにかかる時間を短縮することができ、スムーズなロボット制御を実現することが可能となる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：撮像装置、１０２：変倍レンズ、１０５：フォーカスレンズ、１０６：撮像素子、１０８：カメラ信号処理部、１０９：ズーム駆動源、１１１：フォーカシング駆動源、１１３：ＡＦ信号処理部、１１４：カメラマイクロコンピュータ、１１６：通信装置、１２０：画像処理コントローラ、１３０：ロボットアーム

Claims

ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、
前記制御装置は、
前記撮像装置に対して、前記撮像装置に対する被写体距離情報を通知する通知手段を備え、
前記撮像装置は、
被写体像を撮像する撮像手段と、
撮像光学系の焦点を合わせるフォーカスレンズを駆動する駆動手段と、
前記制御装置から受信した被写体距離情報に基づいて、該被写体距離情報に応じた位置に前記フォーカスレンズを駆動しながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行う制御手段と、を備え、
前記制御手段は、前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて増加していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と同じ方向とすることを特徴とする撮像システム。
前記第１の駆動制御と前記第２の駆動制御は、ユーザーの指示により行われることを特徴とする請求項１に記載の撮像システム。
前記制御手段は、前記ユーザーの指示に基づいて、前記第１の駆動制御の後に、前記第２の駆動制御を行うことを特徴とする請求項２に記載の撮像システム。
ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムであって、
前記制御装置は、
前記撮像装置に対して、前記撮像装置に対する被写体距離情報を通知する通知手段を備え、
前記撮像装置は、
被写体像を撮像する撮像手段と、
撮像光学系の焦点を合わせるフォーカスレンズを駆動する駆動手段と、
前記制御装置から受信した被写体距離情報に基づいて、該被写体距離情報に応じた位置に前記フォーカスレンズを駆動しながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行う制御手段と、を備え、
前記制御手段は、前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて減少していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と反対の方向とすることを特徴とする撮像システム。
前記制御手段は、前記フォーカスレンズを前記第１の駆動制御で駆動してから前記第２の駆動制御の指示を受けるまでの間に、前記ロボットアームが動作していない旨の情報を受けた場合に、前記焦点評価値の変化の履歴に基づいて決定した方向を、前記フォーカスレンズを駆動する方向とすることを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
前記制御手段は、前記フォーカスレンズを前記第１の駆動制御で駆動してから前記第２の駆動制御の指示を受けるまでの間に、前記ロボットアームが動作している旨の情報を受けた場合に、前記第２の駆動制御における前記フォーカスレンズの駆動方向をあらかじめ定められた方向とすることを特徴とする請求項１乃至４のいずれか１項に記載の撮像システム。
ロボットによる操作対象である対象物を撮像する撮像手段を有する撮像装置であって、
前記ロボットの動作を制御するための情報に基づく前記撮像装置から前記対象物までの距離に関する情報を取得する取得手段と、
前記対象物に焦点を合わせるためにフォーカスレンズの移動を制御する制御手段と、を有し、
前記制御手段は、前記対象物までの距離に関する情報に基づいて、前記フォーカスレンズを移動させながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行い、
前記第２の駆動制御の際、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて増加していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と同じ方向とすることを特徴とする撮像装置。
ロボットによる操作対象である対象物を撮像する撮像手段を有する撮像装置であって、
前記ロボットの動作を制御するための情報に基づく前記撮像装置から前記対象物までの距離に関する情報を取得する取得手段と、
前記対象物に焦点を合わせるためにフォーカスレンズの移動を制御する制御手段と、を有し、
前記制御手段は、前記対象物までの距離に関する情報に基づいて、前記フォーカスレンズを移動させながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行い、
前記第２の駆動制御の際、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて減少していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と反対の方向とすることを特徴とする撮像装置。
前記制御手段は、前記フォーカスレンズを前記第１の駆動制御で駆動してから前記第２の駆動制御に移行するまでの間に、前記ロボットが動作していない旨の情報を受けた場合に、前記焦点評価値の変化の履歴に基づいて決定した方向を、前記フォーカスレンズを駆動する方向とすることを特徴とする請求項７または８に記載の撮像装置。
前記制御手段は、前記フォーカスレンズを前記第１の駆動制御で駆動してから前記第２の駆動制御の指示を受けるまでの間に、前記ロボットが動作している旨の情報を受けた場合に、前記第２の駆動制御における前記フォーカスレンズの駆動方向をあらかじめ定められた方向とすることを特徴とする請求項７または８に記載の撮像装置。
ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムを制御する方法であって、
前記制御装置が、前記撮像装置に対して、前記撮像装置に対する被写体距離情報を通知する通知工程と、
前記撮像装置の制御手段が、前記制御装置から受信した被写体距離情報に基づいて、該被写体距離情報に応じた位置にフォーカスレンズを駆動しながら、撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行う制御工程と、を有し、
前記制御工程では、前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて増加していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と同じ方向とすることを特徴とする撮像システムの制御方法。
ロボットアームに取り付けられた撮像装置と、前記ロボットアームと前記撮像装置を制御する制御装置とを備える撮像システムを制御する方法であって、
前記制御装置が、前記撮像装置に対して、前記撮像装置に対する被写体距離情報を通知する通知工程と、
前記撮像装置の制御手段が、前記制御装置から受信した被写体距離情報に基づいて、該被写体距離情報に応じた位置にフォーカスレンズを駆動しながら、撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行う制御工程と、を有し、
前記制御工程では、前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて減少していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と反対の方向とすることを特徴とする撮像システムの制御方法。
ロボットによる操作対象である対象物を撮像する撮像手段を有する撮像装置の制御方法であって、
前記ロボットの動作を制御するための情報に基づく前記撮像装置から前記対象物までの距離に関する情報を取得する取得工程と、
前記対象物に焦点を合わせるためにフォーカスレンズの移動を制御する制御工程と、を有し、
前記制御工程では、前記対象物までの距離に関する情報に基づいて、前記フォーカスレンズを移動させながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行い、
前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて増加していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と同じ方向とすることを特徴とする撮像装置の制御方法。
ロボットによる操作対象である対象物を撮像する撮像手段を有する撮像装置の制御方法であって、
前記ロボットの動作を制御するための情報に基づく前記撮像装置から前記対象物までの距離に関する情報を取得する取得工程と、
前記対象物に焦点を合わせるためにフォーカスレンズの移動を制御する制御工程と、を有し、
前記制御工程では、前記対象物までの距離に関する情報に基づいて、前記フォーカスレンズを移動させながら、前記撮像手段により得られた画像から焦点評価値の変化の履歴を取得する第１の駆動制御と、該第１の駆動制御で得られた焦点評価値の変化の履歴に基づいて、前記フォーカスレンズを駆動する方向を判定し、自動焦点調節を行う第２の駆動制御とを行い、
前記第２の駆動制御の指示を受けた場合、前記焦点評価値の変化の履歴において合焦位置がない場合は、前記焦点評価値の変化の履歴において、前記焦点評価値が前記第１の駆動制御による前記フォーカスレンズの駆動に応じて減少していたときは、前記第２の駆動制御による前記フォーカスレンズの駆動方向を前記第１の駆動制御による駆動の方向と反対の方向とすることを特徴とする撮像装置の制御方法。
請求項１１乃至１４のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
請求項１１乃至１４のいずれか１項に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。