JP4933383B2 - カメラの露出制御装置 - Google Patents

Description

この発明はカメラの露出制御装置に関し、より具体的には移動体に搭載されたカメラの露出制御装置に関する。

従来、例えば下記の特許文献１において、太陽光などの高輝度の光源がカメラの画角内に写り込まれるとき、撮像素子面上に内部反射で発生するゴーストの位置、形状などを予測し、撮影画像のどの部分がゴーストか判定し、判定されたゴースト部分を撮影者の指定により、あるいは自動的に補正（低減処理）する技術が提案されている。
特開２００６−１２９０８４号公報

特許文献１記載の技術はいわゆるデジタルカメラやビデオカメラであり、ユーザが人などの撮影対象に向けて操作して撮影するカメラについての技術であるが、その種のカメラを移動ロボットなどの移動体に搭載して視覚センサとして使用することがある。

そのような場合、画像内に本来撮影したい人などの撮影対象が写っているか不明であることから距離情報に基づいて露出パラメータを調整することになるが、図１５に示す如く、太陽光やスポットライトなどの高輝度の光源がカメラの画角内に写り込まれるとき、輝度値の飽和を避けようとしてシャッタ速度を上げたり、絞りを閉じたりすると、撮影対象の輝度値が潰れてしまい、撮影対象の抽出などの後段の処理に適した画像が得られないことがある。図１５で実際には人は画面に右側に存在する。

従ってこの発明の目的は上記した課題を解決し、移動体に搭載されるカメラであって、太陽光などの高輝度の光源がカメラの画角内に写り込まれるときも撮影対象を適切な輝度値で撮影するようにしたカメラの露出制御装置を提供することにある。

上記した課題を解決するために、請求項１に係るカメラの露出制御装置にあっては、移動体に搭載され、撮影対象を含む外界からの入射光によって画像を撮像する少なくとも２個の撮像素子と、前記２個の撮像素子によって撮像された前記画像の視差に基づき画素ごとの距離情報を算出するステレオ処理手段と、前記画像の中の前記撮影対象の輝度値と前記撮影対象を含む画像全体の最大輝度値とを比較し、前記最大輝度値の方が大きいときは前記最大輝度値を、前記撮影対象の輝度値の方が大きいときは前記撮影対象の輝度値を選択し、前記選択された輝度値と前記距離情報とに基づいて輝度値ヒストグラムを生成するヒストグラム生成手段と、前記生成された輝度値ヒストグラムに基づいてシャッタ速度を含む露出パラメータを設定する露出パラメータ設定手段と、前記設定された露出パラメータが所定範囲内にあるか否か判断し、所定範囲内にないと判断されるとき、前記撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判定し、逆光であると判定されたときは、高輝度撮像部位を除去する必要があると判定する高輝度撮像部位除去要否判定手段と、前記高輝度撮像部位を除去する必要があると判定されるとき、前記画像の所定ブロックごとの輝度値の平均値を算出すると共に、輝度値の平均値が所定値以上のブロック群を抽出し、前記抽出されたブロック群に基づいて前記高輝度撮像部位を抽出する高輝度撮像部位抽出手段と、前記高輝度撮像部位のサイズに応じて、前記高輝度撮像部位を前記画像から除去するように前記移動体の行動を生成させる高輝度撮像部位除去手段とを備える如く構成した。

上記で「高輝度の入射光」とは光源などの輝度が比較的高い入射光を、「高輝度撮像部位」とは高輝度の入射光によって画像に撮像される部位を意味する。

請求項２に係るカメラの露出制御装置にあっては、前記撮影対象が人であると共に、前記ヒストグラム生成手段は人の顔部の輝度値と前記画像全体の最大輝度値を算出する如く構成した。

請求項３に係るカメラの露出制御装置にあっては、前記高輝度撮像部位抽出手段は、前記抽出されたブロック群の中央位置を算出することで前記高輝度撮像部位を抽出する如く構成した。

請求項４に係るカメラの露出制御装置にあっては、前記高輝度撮像部位抽出手段は、前記抽出されたブロック群の中で前記算出された平均値が最も大きいブロックを抽出し、前記抽出されたブロックに基づいて前記高輝度撮像部位を抽出する如く構成した。

請求項５に係るカメラの露出制御装置にあっては、前記高輝度撮像部位除去手段は、前記高輝度撮像部位のサイズが画面の所定範囲以上であるときは、前記移動体の脚部を駆動して、前記移動体の向き変更して高輝度の入射光を回避するように動作させる一方、前記高輝度撮像部位のサイズが画面の所定範囲未満であるときは、前記移動体の腕部で高輝度の入射光を遮るように動作させる如く構成した。

請求項１に係るカメラの露出制御装置にあっては、移動体に搭載され、撮影対象を含む外界からの入射光によって画像を撮像する少なくとも２個の撮像素子によって撮像された画像の視差に基づき画素ごとの距離情報を算出し、画像の中の撮影対象の輝度値と撮影対象を含む画像全体の最大輝度値とを比較し、最大輝度値の方が大きいときは最大輝度値を、撮影対象の輝度値の方が大きいときは撮影対象の輝度値を選択し、選択された輝度値と距離情報とに基づいて輝度値ヒストグラムを生成し、生成された輝度値ヒストグラムに基づいてシャッタ速度を含む露出パラメータを設定し、設定された露出パラメータが所定範囲内にあるか否か判断し、所定範囲内にないと判断されるとき、撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判定し、逆光であると判定されたときは、高輝度撮像部位を除去する必要があると判定すると共に、除去する必要があると判定されるとき、画像の所定ブロックごとの輝度値の平均値を算出すると共に、輝度値の平均値が所定値以上のブロック群を抽出し、抽出されたブロック群に基づいて高輝度撮像部位を抽出し、高輝度撮像部位のサイズに応じて、高輝度撮像部位を画像から除去するように移動体の行動を生成させる如く構成したので、太陽光などの高輝度の光源がカメラの画角内に写り込まれるときも、撮影対象を適切な輝度値で撮影することができる。

また、画像の中の撮影対象の輝度値と画像全体の最大輝度値を算出し、算出された輝度値について輝度値ヒストグラムを生成し、それに基づいてシャッタ速度を含む露出パラメータを設定する如く構成したので、太陽光などの高輝度の光源がカメラの画角内に写り込まれるときも、露出パラメータを的確に設定することができ、よって撮影対象を適切な輝度値で撮影することができる。さらに、特定された高輝度撮像部位を画像から除去するように移動体に所定の行動を生成させる如く構成したので、高輝度撮像部位を画像から確実に除去することができる。

請求項２に係るカメラの露出制御装置にあっては、撮影対象が人であると共に、ヒストグラム生成手段は人の顔部の輝度値と画像全体の最大輝度値を算出する如く構成したので、上記した効果に加え、太陽光などの高輝度のみならず、人の顔部のような低輝度の撮像部位がカメラの画角内に画角内に写り込まれるときも、露出パラメータを的確に設定することができ、よって撮影対象を適切な輝度値で撮影することができる。

請求項３に係るカメラの露出制御装置にあっては、抽出されたブロック群の中央位置を算出することで高輝度撮像部位を抽出する如く構成したので、上記した効果に加え、高輝度撮像部位を確実に抽出して画像から除去することができる。

請求項４に係るカメラの露出制御装置にあっては、抽出されたブロック群の中で算出された平均値が最も大きいブロックを抽出し、抽出されたブロックに基づいて高輝度撮像部位を抽出する如く構成したので、上記した効果に加え、同様に高輝度撮像部位を確実に抽出して画像から除去することができる。

請求項５に係るカメラの露出制御装置にあっては、高輝度撮像部位のサイズが画面の所定範囲以上であるときは、移動体の脚部を駆動して、移動体の向き変更して高輝度の入射光を回避するように動作させる一方、高輝度撮像部位のサイズが画面の所定範囲未満であるときは、移動体の腕部で高輝度の入射光を遮るように動作させる如く構成したので、上記した効果に加え、高輝度撮像部位を画像から確実に除去することができる。

以下、添付図面に即してこの発明に係るカメラの露出制御装置を実施するための最良の形態について説明する。

図１はこの実施例に係るカメラの露出制御装置が搭載される移動体としての脚式移動ロボットの正面図、図２は図１に示すロボットの側面図である。

図１に示すように、脚式移動ロボット（移動体。以下単に「ロボット」という）１０は、左右２本の脚部１２Ｌ，１２Ｒ（左側をＬ、右側をＲとする。以下同じ）を備える。脚部１２Ｌ，１２Ｒは、基体１４の下部に連結される。基体１４の上部には頭部１６が連結されると共に、側方には左右２本の腕部２０Ｌ，２０Ｒが連結される。左右の腕部２０Ｌ，２０Ｒの先端には、それぞれハンド（エンドエフェクタ）２２Ｌ，２２Ｒが連結される。この実施例にあっては、脚式移動ロボットとして、２本の脚部と２本の腕部を備えた、１．３ｍ程度の身長を有するヒューマノイド型のロボットを例にとる。

図２に示すように、基体１４の背部には格納部２４が設けられ、その内部には電子制御ユニット（以下「ＥＣＵ」と呼ぶ）２６およびバッテリ（図示せず）などが収容される。

図３は、図１に示すロボット１０をスケルトンで表す説明図である。以下、図３を参照し、ロボット１０の内部構造について関節を中心に説明する。尚、図示のロボット１０は左右対称であるので、以降Ｌ，Ｒの付記を省略する。

左右の脚部１２は、それぞれ大腿リンク３０と下腿リンク３２と足部３４とを備える。大腿リンク３０は、股関節を介して基体１４に連結される。図３では、基体１４を基体リンク３６として簡略的に示すが、基体リンク３６は、関節３８を介して上半部３６ａと下半部３６ｂとが相対変位自在に構成される。

大腿リンク３０と下腿リンク３２は膝関節を介して連結されると共に、下腿リンク３２と足部３４は足関節を介して連結される。股関節は、Ｚ軸（ヨー軸）回りの回転軸４０と、Ｙ軸（ピッチ軸）回りの回転軸４２と、Ｘ軸（ロール軸）回りの回転軸４４とから構成される。即ち、股関節は３自由度を備える。

膝関節はＹ軸回りの回転軸４６から構成され、１自由度を備える。足関節はＹ軸回りの回転軸４８とＸ軸回りの回転軸５０とから構成され、２自由度を備える。このように、左右の脚部１２のそれぞれには３個の関節を構成する６個の回転軸（自由度）が与えられ、脚部全体としては合計１２個の回転軸が与えられる。

脚部１２は、アクチュエータ（図示せず）によって駆動される。脚部１２を駆動する脚部アクチュエータは基体１４と脚部１２の適宜位置に配置された１２個の電動モータからなり、上記した１２個の回転軸を個別に駆動する。

また、左右の腕部２０は、それぞれ上腕リンク５２と下腕リンク５４を備える。上腕リンク５２は、肩関節を介して基体１４に連結される。上腕リンク５２と下腕リンク５４は、肘関節を介して連結されると共に、下腕リンク５４とハンド２２は手首関節を介して連結される。

肩関節はＹ軸回りの回転軸５６とＸ軸回りの回転軸５８とＺ軸回りの回転軸６０とから構成され、３自由度を備える。肘関節はＹ軸回りの回転軸６２から構成され、１自由度を備える。手首関節はＺ軸回りの回転軸６４とＹ軸回りの回転軸６６とＸ軸回りの回転軸６８とから構成され、３自由度を備える。このように、左右の腕部２０のそれぞれには３個の関節を構成する７個の回転軸（自由度）が与えられ、腕部全体として合計１４個の回転軸が与えられる。

腕部２０も、脚部１２と同様に図示しないアクチュエータによって駆動される。腕部２０を駆動する腕部アクチュエータは基体１４と腕部２０の適宜位置に配置された１４個の電動モータからなり、上記した１４個の回転軸を個別に駆動する。ロボット１０は脚部アクチュエータあるいは腕部アクチュエータの動作が制御されて各回転軸が適宜な角度で駆動されることにより、脚部１２あるいは腕部２０に所望の動きが与えられる。

ハンド２２には、５本の指部７０が設けられる。指部７０は図示しないハンドアクチュエータによって動作自在とされ、腕部２０の動きに連動して物を把持する、あるいは適宜な方向を指差すなどの動作が実行可能とされる。

頭部１６は、基体１４に首関節を介して連結される。首関節はＺ軸回りの回転軸７２とＹ軸回りの回転軸７４とから構成され、２自由度を備える。回転軸７２，７４も、図示しない頭部アクチュエータによって個別に駆動される。頭部アクチュエータの動作を制御して回転軸７２，７４を適宜な角度で駆動することにより、頭部１６を所望の方向に向けることができる。基体リンク３６も関節３８に配置されたアクチュエータ（図示せず）を駆動することで、上半部３６ａと下半部３６ｂが相対回転させられる。

左右の脚部１２には、それぞれ力センサ（６軸力センサ）７６が取り付けられ、床面から脚部１２に作用する床反力の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚを示す信号を出力する。左右の腕部２０にも同種の力センサ７８がハンド２２と手首関節の間で取り付けられ、腕部２０に作用する外力の３方向成分Ｆｘ，Ｆｙ，Ｆｚとモーメントの３方向成分Ｍｘ，Ｍｙ，Ｍｚを示す信号を出力する。

基体１４には傾斜センサ８０が設置され、鉛直軸に対する基体１４の傾斜角度とその角速度などの状態量を示す信号を出力する。頭部１６には、人などの撮影対象を含む外界からの入射光によって撮像する２個（左右）のＣＣＤカメラ（以下「カメラ」という）８２が設置され。また、頭部１６には、マイクロフォン８４ａとスピーカ８４ｂからなる音声入出力装置８４が設けられる。

上記したセンサなどの出力は、ＥＣＵ２６（図２に示す）に入力される。ＥＣＵ２６はマイクロコンピュータからなり、図示しないＣＰＵや入出力回路、ＲＯＭ、ＲＡＭなどを備える。

図４は、ロボット１０の構成をＥＣＵ２６の入出力関係を中心に示すブロック図である。

図示の如く、ロボット１０は、上記したセンサなどに加え、回転軸４０などのそれぞれに配置されたロータリエンコーダ群８６と、ジャイロセンサ８８と、ＧＰＳ受信器９０と、人（撮影対象）が携行するＩＣタグ９２に無線系で接続されてＩＣタグ９２から発信されるＩＣタグ情報を受信するＩＣタグ信号受信器（リーダ）９４を備える。

ロータリエンコーダ群８６はそれぞれ、回転軸４０などの回転角度、即ち、関節角度に応じた信号を出力する。ジャイロセンサ８８は、ロボット１０の移動方向と距離に応じた信号を出力する。ＧＰＳ受信器９０は衛星から発信された電波を受信し、ロボット１０の位置情報（緯度と経度）を取得してＥＣＵ２６に出力する。ＩＣタグ信号受信器９４は、ＩＣタグ９２に記憶されると共に、それから発信される識別情報（ＲＦＩＤ（Radio Frequency ID）、具体的にはＩＣタグ９２の携行者である人を識別する識別情報）を無線系で受信してＥＣＵ２６に出力する。

ＥＣＵ２６は、力センサ７６、傾斜センサ８０およびロータリエンコーダ群８６の出力に基づいて歩容を生成して歩行制御を行う。具体的には、前記した脚部アクチュエータ（符号１００で示す）の動作を制御して脚部１２を駆動してロボット１０を移動（歩行）させる。歩容生成および歩行制御については本出願人が提案した特許第３７２６０８１号に記載されているので、詳細な説明は省略する。

また、ＥＣＵ２６は、歩行制御などに付随して腕部アクチュエータ（符号１０２で示す）とハンドアクチュエータ（符号１０４で示す）の動作を制御して腕部２０とハンド２２を駆動すると共に、頭部アクチュエータ（符号１０６で示す）の動作を制御して頭部１６の向きを調整する。

さらに、ＥＣＵ２６は、カメラ８２の露出制御装置として動作、即ち、カメラ８２の露出制御を実行する。

図５は、ＥＣＵ２６がカメラ８２の露出制御装置として動作するときの構成を機能的に示すブロック図である。

図示の如く、そのときのＥＣＵ２６の動作を機能別に見ると、ＥＣＵ２６は、ステレオ処理部２６ａと、ヒストグラム生成部２６ｂと、露出パラメータ設定部２６ｃと、高輝度撮像部位除去要否判定部２６ｄと、高輝度撮像部位抽出部２６ｅと、画像処理部２６ｆと、行動生成部２６ｇとからなる。

ステレオ処理部２６ａは、移動体（ロボット）１０に搭載され、撮影対象、具体的には人を含む外界からの入射光によって画像を撮像する、少なくとも２個のカメラ（撮像素子）８２の出力を入力し、ステレオ処理によって入力した画像の視差から画素ごとの距離情報を算出する。カメラ８２の画素の数は３２０×２４０とする。ステレオ処理部２６ａは、濃淡画像データから３次元（３Ｄ）データを算出して出力する。

ヒストグラム生成部２６ｂは撮影された画像の輝度値ヒストグラムを作成すると共に、距離ごとに、あるいは距離に応じて重み付けを行う。

露出パラメータ設定部２６ｃは、撮像したい距離の輝度値から露出パラメータ（より具体的にはシャッタ速度）を設定する。カメラ８２はロボット１０に搭載されて視覚センサとして機能する関係上、自ら撮影対象を捜索して撮影することはなく、撮影画像から撮影対象を抽出しなければならない。そのため、カメラ８２の絞りは最小に固定され、近距離、具体的には０．５ｍから２．５ｍ程度で焦点が合うように調整される。従って、露出パラメータとしてはシャッタ速度のみが調整自在とされる。

高輝度撮像部位除去要否判定部２６ｄは、撮影対象を撮影するのに適正な露出を得るため、画像内に光源などの高輝度の入射光によって撮像された高輝度撮像部位を画像内から除去する必要があるか否か判定する。

高輝度撮像部位抽出部２６ｅは、高輝度撮像部位を画像内から除去する必要があると判定された場合、高輝度撮像部位を抽出し、カメラ８２のカメラパラメータに基づいてステージ座標系、即ち、画面の１点を原点とし、床面をｘ，ｙ平面とする直交座標系での高輝度撮像部位の位置と角度を算出する。高輝度撮像部位の抽出は、輝度値の平均値がしきい値より大きい領域を高輝度撮像部位の領域と判定するか、あるいは画像の所定ブロックごとの輝度値の平均値を算出し、その値の最も大きいブロックを高輝度撮像部位の中心と判定することで行う。

画像処理部２６ｆは、ロボット１０が移動するとき、視覚センサとしての画像処理を行う。行動生成部２６ｇは、高輝度撮像部位の大きさなどから高輝度撮像部位を画像から除去するようにロボット１０に所定の行動を生成させる。

次いで、上記したＥＣＵ２６の動作をさらに詳細に説明する。

図６は、図５と同様、ＥＣＵ２６がカメラ８２の露出制御装置として動作するときの処理を示すフロー・チャートである。図示のプログラムは所定時刻、例えば１ｍｓｅｃから３００ｍｓｅｃの間の任意の時刻ごとに実行される。

以下説明すると、Ｓ１０において撮影対象、即ち、人がいるか否か判断する。これは撮影対象が携行するＩＣタグ９２から発信される識別情報を受信するＩＣタグ信号受信器９４の出力から判断する。

Ｓ１０で肯定されるときはＳ１２に進み、カメラ８２で撮影対象を撮影して得た画像、即ち、画面の中の撮影対象の輝度値を算出し、Ｓ１４に進み、撮影対象を含む画面全体の最大輝度値を算出する。尚、Ｓ１０で否定されるときはＳ１２の処理をスキップする。

次いでＳ１６に進み、算出された輝度値同士を比較し、最大輝度値の方が大きいときはＳ１８に進んで最大輝度値を高輝度撮像部位と判定すると共に、撮影対象の輝度値の方が大きいときはＳ２０に進んでそれを高輝度撮像部位と判定する。Ｓ１０からＳ２０までの処理は図５のステレオ処理部２６ａによって実行される。次いでＳ２２に進んで露出パラメータ設定処理を実行する。

図７はその処理を示すサブ・ルーチン・フロー・チャートであり、前記したヒストグラム生成部２６ｂと露出パラメータ設定部２６ｃによって実行される。

以下説明すると、Ｓ１００において対象画素を抽出する。ここで「対象画素」は、露出を合わせたい距離情報を持つ画素を意味する。この対象画素の抽出は、撮影対象を撮影して得た画像の輝度値ヒストグラムを生成することに相当する。

次いでＳ１０２に進み、抽出した画素の数が適宜設定されるしきい値Ａを超えるか否か判断する。尚、しきい値Ａは、露出を合わせたい距離での撮影対象の画面全体に占めるべき面積を算出して予め設定される値である。

Ｓ１０２で肯定されるときはＳ１０４に進み、輝度値の平均値を以下の式１に従って算出する。
輝度値の平均値＝前フレーム平均値×（１−抽出画素数×係数／領域画素数）
＋現フレーム平均値（距離考慮）×抽出画素数／領域画素数
・・・式１

次いでＳ１０６に進み、カウンタ（アップカウンタ）の値をリセットする。他方、Ｓ１０２で否定されるときはＳ１０８に進み、カウンタの値が適宜設定されるしきい値Ｂ未満か否か判断し、肯定されるときはＳ１１０に進み、輝度値の平均値を以下の式２に従って算出し、Ｓ１１２に進んでカウンタの値を更新（アップ）する。
輝度値の平均値＝前フレーム平均値×（１−係数）＋現フレーム平均値×係数
・・・式２

またＳ１０８で否定されるときはＳ１１４に進み、輝度値の平均値を以下の式３に従って算出し、次いでＳ１１２に進む。
輝度値の平均値＝現フレーム平均値 ・・・式３

上の式１などで、「前フレーム平均値」は２００ｍｓｅｃごとに撮影されている画像（フレーム）の過去の数フレームの全（即ち、画面全体の）画素の輝度値を平均して得た値、「抽出画素数」はＳ１００で抽出された画素の数、「領域画素数」は抽出画素を含む、全（即ち、画面全体の）画素の数、「係数」は経験で求められる補正係数、「現フレーム平均値」は今回撮影された全（即ち、画面全体の）画素の輝度値を平均して得た値である。前記したように画素は全て距離情報を持つことから、画素の輝度値を平均するときも距離を勘案して行う。

次いでＳ１１６に進み、Ｓ１０４などで算出された輝度値の平均値が適宜設定されるしきい値Ｃ未満か、あるいはしきい値Ｄを超えるか否か判断する。しきい値Ｃ，Ｄは画像処理が可能な値を経験的に選択して設定される。

Ｓ１１６で肯定されるときはＳ１１８に進み、露出パラメータの一つであるシャッタ速度のシフト量（変更量）を以下の式４に従って算出（換言すれば、露出パラメータを設定）する。
シフト量＝（輝度値の平均値−しきい値Ｃ，Ｄ／２）×現シャッタ速度×係数１
・・・式４

即ち、Ｓ１１８においては、輝度値の平均値がしきい値Ｃとしきい値Ｄの中央となるようにシャッタ速度のシフト量を算出する。尚、係数１は経験から設定される補正係数である。前記したようにカメラ８２の絞りは最小に固定され、露出パラメータとしてはシャッタ速度のみが調整自在とされる。

他方、Ｓ１１６で否定されるときはＳ１２０に進み、基準値を以下の式５に従って算出し、Ｓ１２２に進み、算出された基準値などを用いてシャッタ速度のシフト量（変更量）を以下の式６に従って算出（換言すれば、露出パラメータを設定）する。式５，６において係数２，３も経験から設定される補正係数である。
基準値＝輝度値の平均値−（有効輝度しきい値を超える画素数―有効輝度しきい値未満の画素数）／係数２ ・・・式５
シフト量＝（輝度値の平均値−基準値）×現シャッタ速度×係数３
・・・式６

図７の処理を説明すると、この実施例においては、例えば図８に示すように太陽光などの外光が採光窓から入射して画面に写り込まれるような状況において撮影対象を適切な輝度値で撮影することを課題とする。

図８に示す撮影状況において、図９に示すような通常の輝度値ヒストグラムを算出すると、白潰れ（飽和）している画素が黒詰まり（感度不足）している画素を大きく上回っているため、それに基づいて露出調整すると、撮影対象が黒詰まりを起こしてしまう。また、図８では撮影対象が画面中央付近から若干左に位置しているため、画面中央付近の輝度情報に基づいて露出調整しても同様の結果となる。

そこで、図１０に示すような視差画像を求め、図１１に示すような距離によって重み付けを行った輝度値ヒストグラムを算出する。図１１に示すヒストグラムでは、カメラ８２に近い画素の値を重視した場合、白潰れと黒詰まりの頻度が同程度となり、露出調整が最適となる。図８は、そのような距離による重み付けを行った輝度値ヒストグラムに基づいて露出調整した場合を示す。

さらに、図７の処理において、図８に示すように撮影対象が画面内に一旦存在した後、経時的に移動して画面から消える事態も生じる。そこで、Ｓ１０２で肯定されて撮影対象が画面内に存在するか、あるいはＳ１０２で否定されてもＳ１０８でカウンタの値がしきい値Ｂ（例えば数フレーム）未満と判断されるとき、輝度値の平均値は現フレームの輝度値の平均値と前フレームのそれとの加重平均を算出するようにした（Ｓ１０４あるいはＳ１１０）。尚、Ｓ１０８で否定されてしきい値を超えるときは過去の撮影データと切り離し、画面全体の画素の平均値を輝度値の平均値をする（Ｓ１１４）。

さらに、図７の処理においては撮影対象の存在が否定され、画面の最大輝度値が高輝度撮像部位と判定される場合も含まれる。そのような場合もＳ１０８で否定されてカウンタの値がしきい値Ｂに達した時点でＳ１１４に進み、画面全体の画素の平均値が輝度値の平均値とされる（Ｓ１１４）。

シャッタ速度のシフト量について説明すると、輝度値の平均値がしきい値Ｃとしきい値Ｄの間にあるときは、平均値が２つのしきい値の中央に入るように式４に従ってシフト量が算出される（Ｓ１１８）。

他方、然らざる場合、式５に従って最初に基準値を算出する。図１１を参照して式５を説明すると、「有効輝度しきい値を超える画素数」は例えば輝度値２５を超える画素数であり、「有効輝度しきい値未満の画素数」は例えば輝度値２２５未満の画素数である。即ち、例えば輝度値２５を超えて２２５未満の画素の平均値を輝度平均値から減算して得た差を基準値とし、しきい値Ｃ，Ｄの１／２に代え、その基準値を輝度平均値から除算することでシャット速度の変更量を算出する。

図６フロー・チャートの説明に戻ると、次いでＳ２４に進み、図７フロー・チャートのＳ１１８あるいはＳ１２２で算出されたシャッタ速度のシフト量（換言すれば設定された露出パラメータ）が所定範囲内にあるか否か判断し、肯定されるときは算出されたシフト量に従って図示しないルーチンでシャッタ速度を変更して撮影することで適正な輝度値で撮影できることから、以降の処理をスキップする。

他方、Ｓ２４で否定されるときはＳ２６に進み、高輝度撮像部位除去要否判定処理を実行する。

図１２はその処理を示すサブ・ルーチン・フロー・チャートであり、前記した高輝度撮像部位除去要否判定部２６ｄによって実行される。

以下説明すると、Ｓ２００において撮影対象の位置情報があるか否か判断する。これは図６フロー・チャートのＳ１２あるいは図７フロー・チャートの処理で得られた情報から判断する。

Ｓ２００で肯定されるときはＳ２０２に進み、撮影対象の位置の輝度値の平均値を算出する一方、否定されるときはＳ２０４に進み、画面の中の比較的近距離、例えば数ｍ以内の画素の輝度値の平均値を算出する。Ｓ２００からＳ２０４の処理は、図６フロー・チャートのＳ１０からＳ１４の処理に類似する。

次いでＳ２０６に進み、算出された輝度値の平均値がしきい値Ｅ未満か否か判断する。Ｓ２０６の判断は撮影状況が逆光であるか、あるいは順光であるかを判定するためであることから、しきい値Ｅはそれを判定するに足る値が適宜設定される。

Ｓ２０６で肯定されるときは逆光であって撮影対象などが黒詰まりして輝度値が低く、従って撮影対象を撮影するのに適正な露出を得られないと判断されることからＳ２０８に進み、高輝度撮像部位を除去する必要があると判定する。他方、Ｓ２０６で否定されるときは、そのような不都合が見られないことからＳ２１０に進み、高輝度撮像部位を除去する必要がないと判定する。

図６フロー・チャートの説明に戻ると、次いでＳ２８に進み、高輝度撮像部位を除去する必要がないと判定されたか否か判断し、肯定されるときは以降の処理をスキップすると共に、否定されるときはＳ３０に進み、高輝度撮像部位抽出処理を実行する。

図１３はその処理を示すサブ・ルーチン・フロー・チャートであり、前記した高輝度撮像部位抽出部２６ｅによって実行される。

以下説明すると、Ｓ３００において画面のブロックごとの輝度値の平均値を算出する。ここで「ブロック」とは例えば１０×１０の画素を意味する。カメラ８２は３２０×２４０の画素数を備えることから、それらについて上記した単位面積ごとに輝度値の平均値を算出する。

次いでＳ３０２に進み、輝度が高い、より具体的には適宜設定されるしきい値を超える高輝度のブロック群を抽出し、Ｓ３０４に進み、それらの分散値を算出、より具体的には輝度が高い部分の広がりを算出する。

次いでＳ３０６に進み、算出された分散値が適宜設定されるしきい値Ｆを超えるか否か判断する。Ｓ３０６で肯定されるときは図８の右側に示すように明るい領域が広く広がっていると判断されることからＳ３０８に進み、カメラ８２から入力されるカメラパラメータに基づいて高輝度ブロック群の中央位置を算出する。

次いでＳ３１０に進み、高輝度撮像部位の中心角度、即ち、算出された中央位置に対する角度を算出し、Ｓ３１２に進み、高輝度撮像部位のサイズが大と判定し、その判定結果とＳ３１０で算出された高輝度撮像部位の中心角度を出力する。このように、輝度値の平均値がしきい値Ｆより大きいとき、その領域を高輝度撮像部位の領域と判定し、ステージ座標系での高輝度撮像部位の位置と角度を算出する。

他方、Ｓ３０６で否定されるときはＳ３１４に進み、高輝度ブロック群の中で平均値が最大となるブロックを抽出し、Ｓ３１６に進み、高輝度撮像部位の中心角度、即ち、抽出された平均値が最大となるブロックに対する角度をカメラパラメータに基づいて算出し、Ｓ３１８に進み、高輝度撮像部位のサイズが小さいと判定し、その判定結果とＳ３１６で算出された高輝度撮像部位の中心角度を出力する。

即ち、輝度値の平均値がしきい値より大きくない場合、画像の所定ブロックごとの輝度値の平均値の最も大きいブロックを高輝度撮像部位の中心と判定し、ステージ座標系での高輝度撮像部位の位置と角度を算出する。

図６フロー・チャートの説明に戻ると、次いでＳ３２に進み、行動生成処理を実行する。

図１４はその処理を示すサブ・ルーチン・フロー・チャートであり、前記した行動生成部２６ｇによって実行される。

以下説明すると、Ｓ４００において図１３フロー・チャートのＳ３１２あるいはＳ３１８で出力された高輝度撮像部位のサイズが１／４Ｓを超えるか否か判断する。「Ｓ」は、画面の面積を示すことから、Ｓ４００での判断は高輝度部位のサイズが画面の１／４を超えるかを判断することを意味する。

Ｓ４００で肯定されるときはＳ４０２に進み、高輝度撮像部位のサイズが比較的大きいことから、ロボット１０の脚部１２を駆動して基体１４（および頭部１６）の向きを変更して高輝度の入射光を回避する（入射光が入らない）ように動作（行動を生成）させる一方、否定されるときはＳ４０４に進み、高輝度撮像部位のサイズが比較的小さいことから、ロボット１０の腕部２０Ｒあるいは２０Ｌを駆動して可能な限り伸張させ、ハンド２２Ｒあるいは２２Ｌで高輝度の入射光を遮るように動作（行動を生成）させ、よって高輝度撮像部位を画像から除去する。

この実施例は上記の如く、移動体（ロボット１０）に搭載され、撮影対象（人）を含む外界からの入射光によって画像を撮像、より具体的にはステレオの原理によって画像を撮像する少なくとも２個の撮像素子（ＣＣＤカメラ８２）と、前記２個の撮像素子によって撮像された前記画像の視差に基づき画素ごとの距離情報を算出するステレオ処理手段（ステレオ処理部２６ａ）と、前記画像の中の前記撮影対象の輝度値と前記撮影対象を含む画像全体の最大輝度値とを比較し、前記最大輝度値の方が大きいときは前記最大輝度値を、前記撮影対象の輝度値の方が大きいときは前記撮影対象の輝度値を選択し、前記選択された輝度値と前記距離情報とに基づいて輝度値ヒストグラムを生成するヒストグラム生成手段（ヒストグラム生成部２６ｂ，Ｓ１２からＳ２０）と、前記生成された輝度値ヒストグラムに基づいてシャッタ速度を含む露出パラメータを設定する露出パラメータ設定手段（露出パラメータ設定部２６ｃ，Ｓ２２，Ｓ１００からＳ１２２）と、前記設定された露出パラメータが所定範囲内にあるか否か判断し、所定範囲内にないと判断されるとき、前記撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判定し、逆光であると判定されたときは、高輝度撮像部位を除去する必要があると判定する高輝度撮像部位除去要否判定手段（高輝度撮像部位除去要否判定部２６ｄ，Ｓ２４，Ｓ２６，Ｓ２００からＳ２１０）と、前記高輝度撮像部位を除去する必要があると判定されるとき、前記画像の所定ブロックごとの輝度値の平均値を算出すると共に、輝度値の平均値が所定値以上のブロック群を抽出し、前記抽出されたブロック群に基づいて前記高輝度撮像部位を抽出する高輝度撮像部位抽出手段（高輝度撮像部位抽出部２６ｅ，Ｓ２８，Ｓ３０，Ｓ３００からＳ３１８）と、前記高輝度撮像部位のサイズに応じて、前記高輝度撮像部位を前記画像から除去するように前記移動体の行動を生成させる高輝度撮像部位除去手段（行動生成部２６ｇ，Ｓ３２，Ｓ４００からＳ４０４）とを備える如く構成したので、太陽光などの高輝度の光源がカメラ８２の画角内に写り込まれるときも、撮影対象を適切な輝度値で撮影することができる。

また、前記画像の中の前記撮影対象の輝度値と前記画像全体の最大輝度値を算出し、前記算出された輝度値について輝度値ヒストグラムを生成し、前記生成された輝度値ヒストグラムに基づいて、より具体的には前記生成された輝度値ヒストグラムの大小に基づいてシャッタ速度を含む露出パラメータを設定する（Ｓ１０からＳ２２，Ｓ１００からＳ１２２）如く構成したので、太陽光などの高輝度の光源がカメラ８２の画角内に写り込まれるときも、露出パラメータを的確に設定することができ、よって撮影対象を適切な輝度値で撮影することができる。また、前記特定された高輝度撮像部位を前記画像から除去するように前記移動体に所定の行動を生成させる（Ｓ４００からＳ４０４）如く構成したので、高輝度撮像部位を画像から確実に除去することができる。

また、前記撮影対象が人であると共に、前記ヒストグラム生成手段は人の顔部の輝度値と前記画像全体の最大輝度値を算出する（Ｓ１０からＳ２２，Ｓ１００からＳ１２２）如く構成したので、太陽光などの高輝度のみならず、人の顔部のような低輝度の撮像部位がカメラの画角内に画角内に写り込まれるときも、露出パラメータを的確に設定することができ、よって撮影対象を適切な輝度値で撮影することができる。

また、前記高輝度撮像部位抽出手段は、前記抽出されたブロック群の中央位置を算出することで前記高輝度撮像部位を抽出する（Ｓ３００からＳ３１２）如く構成したので、上記した効果に加え、光源などの高輝度の入射光によって撮像された高輝度撮像部位を確実に抽出して画像から除去することができる。

また、前記高輝度撮像部位抽出手段は、前記抽出されたブロック群の中で前記算出された平均値が最も大きいブロックを抽出し、前記抽出されたブロックに基づいて前記高輝度撮像部位を抽出する（Ｓ３００からＳ３０６，Ｓ３１４からＳ３１８）如く構成したので、上記した効果に加え、同様に高輝度撮像部位を確実に抽出して画像から除去することができる。

また、前記高輝度撮像部位除去手段は、前記高輝度撮像部位のサイズが画面の所定範囲以上であるときは、前記移動体の脚部を駆動して、前記移動体の向き変更して高輝度の入射光を回避するように動作させる一方、前記高輝度撮像部位のサイズが画面の所定範囲未満であるときは、前記移動体の腕部で高輝度の入射光を遮るように動作させる（行動生成部２６ｇ，Ｓ３２，Ｓ４００からＳ４０４）如く構成したので、上記した効果に加え、高輝度撮像部位を画像から確実に除去することができる。

尚、上記において、撮影対象として人を予定したが、それ以外にロボット１０の作業で予定される道具やワークなどの物体であっても良い。

また上記において、撮影対象の有無を撮影対象が携行するＩＣタグ９２から発信される識別情報を受信するＩＣタグ信号受信器９４の出力から判断するようにしたが、カメラ８２の出力から判断しても良い。さらには外部からコマンドを入力して教示しても良い。

また上記において、移動体の例として脚式移動ロボット、具体的には２足歩行ロボットを例示したが、それに限られるものではなく、自律移動自在であればどのようなものであっても良い。

この発明の実施例に係るカメラの露出制御装置が搭載される移動体としての脚式移動ロボットの正面図である。 図１に示すロボットの側面図である。 図１に示すロボットをスケルトンで示す説明図である。 図１に示すロボットの構成を電子制御ユニット（ＥＣＵ）の入出力関係を中心に示すブロック図である。 図４に示す電子制御ユニットがカメラの露出制御装置として動作するときの構成を機能的に示すブロック図である。 図５と同様、電子制御ユニットがカメラの露出制御装置として動作するときの処理を示すフロー・チャートである。 図６の露出パラメータ設定処理を示すサブ・ルーチン・フロー・チャートである。 図７の処理を示す画面の一例である。 図８の画面の通常の（距離を考慮しない）輝度値ヒストグラムである。 図８の画面の視差画像である。 図８の画面の距離を考慮した輝度値ヒストグラムである。 図６の高輝度撮像部位除去要否判定処理を示すサブ・ルーチン・フロー・チャートである。 図６の高輝度撮像部位抽出処理を示すサブ・ルーチン・フロー・チャートである。 図６の行動生成処理を示すサブ・ルーチン・フロー・チャートである。 この実施例に係るカメラの露出制御装置で撮影を予定する場面の一例である。

符号の説明

１０：脚式移動ロボット（移動体、ロボット）、１２：脚部、１４：基体、２０：腕部、２６：ＥＣＵ（電子制御ユニット）、２６ａ：ステレオ処理部、２６ｂ：ヒストグラム生成部、２６ｃ：露出パラメータ設定部、２６ｄ：高輝度撮像部位除去要否判定部、２６ｅ：高輝度撮像部位抽出部、２６ｆ：画像処理部、２６ｇ：行動生成部、８２：ＣＣＤカメラ（撮像素子。カメラ）、９２：ＩＣタグ、９４：ＩＣタグ信号受信器

Claims (5)

1. 移動体に搭載され、撮影対象を含む外界からの入射光によって画像を撮像する少なくとも２個の撮像素子と、前記２個の撮像素子によって撮像された前記画像の視差に基づき画素ごとの距離情報を算出するステレオ処理手段と、前記画像の中の前記撮影対象の輝度値と前記撮影対象を含む画像全体の最大輝度値とを比較し、前記最大輝度値の方が大きいときは前記最大輝度値を、前記撮影対象の輝度値の方が大きいときは前記撮影対象の輝度値を選択し、前記選択された輝度値と前記距離情報とに基づいて輝度値ヒストグラムを生成するヒストグラム生成手段と、前記生成された輝度値ヒストグラムに基づいてシャッタ速度を含む露出パラメータを設定する露出パラメータ設定手段と、前記設定された露出パラメータが所定範囲内にあるか否か判断し、所定範囲内にないと判断されるとき、前記撮影対象の位置の輝度値の平均値から撮影状況が逆光であるか否か判定し、逆光であると判定されたときは、高輝度撮像部位を除去する必要があると判定する高輝度撮像部位除去要否判定手段と、前記高輝度撮像部位を除去する必要があると判定されるとき、前記画像の所定ブロックごとの輝度値の平均値を算出すると共に、輝度値の平均値が所定値以上のブロック群を抽出し、前記抽出されたブロック群に基づいて前記高輝度撮像部位を抽出する高輝度撮像部位抽出手段と、前記高輝度撮像部位のサイズに応じて、前記高輝度撮像部位を前記画像から除去するように前記移動体の行動を生成させる高輝度撮像部位除去手段とを備えたことを特徴とするカメラの露出制御装置。
2. 前記撮影対象が人であると共に、前記ヒストグラム生成手段は人の顔部の輝度値と前記画像全体の最大輝度値を算出することを特徴とする請求項１記載のカメラの露出制御装置。
3. 前記高輝度撮像部位抽出手段は、前記抽出されたブロック群の中央位置を算出することで前記高輝度撮像部位を抽出することを特徴とする請求項１または２記載のカメラの露出制御装置。
4. 前記高輝度撮像部位抽出手段は、前記抽出されたブロック群の中で前記算出された平均値が最も大きいブロックを抽出し、前記抽出されたブロック群に基づいて前記高輝度撮像部位を抽出することを特徴とする請求項１または２記載のカメラの露出制御装置。
5. 前記高輝度撮像部位除去手段は、前記高輝度撮像部位のサイズが画面の所定範囲以上であるときは、前記移動体の脚部を駆動して、前記移動体の向き変更して高輝度の入射光を回避するように動作させる一方、前記高輝度撮像部位のサイズが画面の所定範囲未満であるときは、前記移動体の腕部で高輝度の入射光を遮るように動作させることを特徴とする請求項１から４のいずれかに記載のカメラの露出制御装置。