JP4523629B2 - 撮像装置 - Google Patents

Description

本発明は、自動露出制御機能を有し、特徴領域の最適な露出レベルを維持する撮像装置に関するものであり、撮像画像から特徴領域を検出した結果を用いて、露出制御に有効な測光ブロックを選択して、露出制御を行う撮像装置に関する。

カメラの露出制御は、撮像画面を複数の測光ブロックに分割し、被写体の状態、撮影者の意図に応じて、測光ブロックごとの輝度値を選択、解析することで最適な露出制御を行っている。例えば、中央重点測光の露出制御では、撮像画面の中央部の輝度積算値を用いて、露出制御量を決定している。

また、従来の撮像装置において、例えば顔を検出したエリアを測光エリアとして用いることで、露出制御の露光量を最適化するものがある（例えば、特許文献１）。

特開２００３−１０７５５５号公報（段落００６２〜００８９、第８図） 特許第３,４７８，２０１号明細書 なお特許文献２については後に言及する。

一般的な露出制御では、測光ブロック内に撮像される被写体と背景を含む平均輝度値を露出量と用いるために、背景光の露出状態の影響を受けやすく、背景が暗い場合は被写体が明るく写り、背景が明るい場合には被写体が暗く写るなど、被写体の露出レベルが背景光の影響で変動するため、後段の認識処理等の高度な画像処理の精度が安定しにくい問題があった。

また、従来の重点測光などでは、被写体内の一点の輝度値の値で、露出制御がなされるため、被写体内の一点の輝度値のばらつきにより、露出値が変動する問題があった。

さらに、上記の特許文献１に記載された従来例のように顔検出を用いた露出制御方法においても、顔検出領域内に、メガネなどの反射光が入った場合、メガネの反射光の影響を受けて、露出値が変動する問題があった。

本発明は上述したような課題を解決するためになされたもので、被写体の露出値を安定的に検出することができ、認証などの高度な画像処理の処理結果を安定させることができる、露出制御を有する撮像装置を提供することを目的とする。

本発明の撮像装置は、
撮像手段と、
前記撮像手段の撮像信号の、それぞれ撮像画面の一部をなす複数の所定の測光ブロックごとに積算値を求める積算手段と、
前記撮像手段の撮像信号から前記撮像画面内の特徴領域を構成する測光ブロックを検出する特徴領域検出手段と、
前記撮像手段の撮像信号から前記測光ブロック内の輝度分布のヒストグラムを生成し、前記ヒストグラムが高輝度または低輝度に偏った前記測光ブロックを特異ブロックとして検出する特異領域検出手段と、
前記特徴領域検出手段により検出された特徴領域に含まれる測光ブロックであって、前記特異領域検出手段により検出された特異領域に含まれる測光ブロック以外のものの、前記積算値を用いて、前記露出評価値を算出し、前記露出評価値を用いて前記撮像手段を制御する露出制御手段と
を有する。

本発明によれば、人物の顔、指の指紋、紙面中の文字など特徴を有する特徴領域の検出結果から求めた測光ブロックを露出制御に用いるため、特徴領域の露出評価値が安定して得られる。

また、背景の明るさが変化する場合においても特徴領域の露出評価値が安定して得られる。

実施の形態１．
図１は本発明の実施の形態１の撮像装置の概略を示すブロック図である。図１に示されるように、実施の形態１の撮像装置は、撮像手段１と、積算手段３と、特徴領域検出手段４と、特異領域検出手段５と、露出制御手段２とを有する。

撮像手段１は、光電変換素子のアレイを備えた固体撮像素子を含み、被写体の画像信号に対応するデジタル信号を出力する。
積算手段３は、撮像手段１から出力されるデジタル信号を、それぞれ撮像画面の一部をなす、複数の所定の測光ブロック（測光窓）ごとに積算する。
特徴領域検出手段４は、撮像手段１から出力されるデジタル信号から撮像画面内の特徴領域、例えば被写体が人物である場合の顔の部分を検出する。
特異領域検出手段５は、撮像手段１のデジタル出力から、特徴領域検出手段４で検出された特徴領域を構成する測光ブロック（特徴領域に含まれる測光ブロック）の各々について輝度分布を検出し、検出結果に基づいて、測光ブロックのうち、輝度分布が特異なもの、例えば局所的に著しく輝度が高い部分を検出する。このような局所的に輝度が高い部分としては、例えばてかっている（光っている）鼻の部分、あるいは光を反射しているメガネの部分がある。例えば局所的に著しく輝度が低い部分、例えば、汚れた部分や、サングラスの部分を検出するようにしても良い。

露出制御手段２は、特徴領域検出手段４の検出した特徴領域の検出結果、及び特異領域検出手段５の検出結果に応じて、露出制御に用いるべき測光ブロックを選択し、選択した測光ブロックの積算手段３の積算結果を用いて、露出制御を行う。

図２は図１の撮像装置のより具体的な構成を示す図である。図１において、本実施の形態１の撮像装置は、撮像手段１と、デジタル信号処理手段１０と、タイミング生成手段１１と、特徴領域検出手段４と、特異領域検出手段５と、露出制御手段２と、システム制御手段１５と、表示手段１２と、記録手段１３と、データメモリ１６と、プログラムメモリ１７とを有する。データメモリ１６は例えばＳＤＲＡＭで構成され、プログラムメモリ１７は例えばフラッシュメモリで構成される。

撮像手段１は、レンズ６と、固体撮像素子７と、アナログ信号処理手段８と、ＡＤ変換手段９とを有する。

デジタル信号処理手段１０は、ＡＤ変換手段９のデジタル出力を信号処理するものであり、上記した積算手段３として機能する部分を含む。デジタル信号処理手段１０はまた、撮像画像を表示手段１２に表示する機能や、外付け外部記憶装置などの記憶手段１３に撮像画像などのデータを書き込む機能をもつ。

システム制御手段１５は、図２に示される撮像装置の各部を制御するほか、撮像装置全体の電源起動時のイニシャル制御、電源立ち下げ時の終了制御、露出制御以外のシステム全体の制御をも行う。

特徴領域検出手段４と、特異領域検出手段５と、露出制御手段２と、システム制御手段１５とは、ソフトウエアにより、例えば、プログラムメモリ１７に格納されたプログラムに従って動作するＣＰＵ１８により実現される。

撮像手段１のレンズ６は、被写体からの反射光を固体撮像素子７へ結像する。
固体撮像素子７は、被写体から各画素へ入射する光の強さ（光量）を光電変換し、撮像信号ＡＡとして取り出す。
アナログ信号処理手段８は、固体撮像素子７から出力される撮像信号ＡＡを相関二重サンプリング処理（ＣＤＳ）し、増幅（ＡＧＣ）したアナログ信号ＡＢを出力する。
ＡＤ変換手段９は、アナログ信号処理手段８の出力信号ＡＢをデジタル変換する。

タイミング生成手段１１は、固体撮像素子７、アナログ信号処理手段８、ＡＤ変換手段９、デジタル信号処理手段１０の同期処理を行うためのタイミング信号ＢＢ、ＢＣ、ＢＤ、ＢＥを生成する。

タイミング生成手段１１は、露出制御手段２の制御信号ＣＡに基づき、固体撮像素子７の蓄積時間を変更することで、シャッタスピード（蓄積時間の逆数）を制御する。
アナログ信号処理手段１１は、露出制御手段２の制御信号ＣＢに基づき、その利得が制御される。
このように固体撮像素子７の蓄積時間乃至はシャッタスピードと、アナログ信号処理手段８の利得を制御することで露出制御が実現できる。

積算手段３は、デジタル信号処理手段１０内に構成されており、ＡＤ変換手段９の出力をもとに、所定の測光ブロック毎にＡＤ変換手段９の出力の積算を行う。この積算結果は、ＣＰＵバス１９経由でデータメモリ１６に蓄積され、さらに露出制御手段２に入力され、露出制御に用いられる。

ここで、所定の測光ブロックとは、露出制御を行うための露出評価値を検出するための基本となる撮像信号の積算する単位を示している。

測光ブロックは、画面全体を例えば図３に示すように分割することで構成される。
図３に示す例では、画面全体が、水平方向に１６個、垂直方向に１２個の測光ブロック（測光窓）に分割されている。
各測光ブロックには、画面の左上隅からの水平方向位置に応じた番号（水平ブロック番号（「水平ブロック座標」とも呼ばれる）、垂直方向位置に応じた番号（垂直ブロック番号（「垂直ブロック座標」とも呼ばれる）が付され、Ｂ（ｉ，ｊ）（但し、（ｉは水平方向の座標、ｉ＝０〜１５、ｊは垂直方向の座標であり、ｊ＝０〜１１）で表される。

固体撮像素子７の画素数が、水平６４０画素、垂直ラインの場合は、各測光ブロックは、水平方向に４０画素、垂直方向に４０ラインを有する。
各測光ブロックの位置は、上記の水平ブロック座標と垂直ブロック座標の組合せから成る二次元座標（ｉ，ｊ）で表される。
なお、各測光ブロックの座標を、その左上隅の画素の座標で表すこととしても良い。

撮像手段１の固体撮像素子７は、図４に示すように、ＲＧＲＧとＲ色とＧ色の画素が繰返すＲＧライン７１と、ＧＢＧＢとＧ色とＢ色の画素が繰返すＧＢライン７２が交互に配置された一般にベイヤ配列といわれる構造のカラーフィルタを備える。
ここで、Ｒ色、Ｇ色の画素が続くＧ色の表記をＧｒ色とし、Ｇ色、Ｒ色の画素が続くＧ色の表記をＧｂ色とする。なお、Ｒ色、Ｂ色、Ｇ色の信号が得られるカラーフィルタであれば、上述以外のカラーフィルタ配列でも良い。
上記のようなベイヤ配列のカラーの撮像そしにおいては、各測光ブロック（基本測光ブロック）の４０×４０画素のうち、Ｒ色、Ｇｒ色（Ｒ色と同一ラインのＧ色）、Ｂ色、Ｇｂ色（Ｂ色と同一ラインのＧ色）の画素はそれぞれ１／４を占め、従って、各測光ブロックに含まれる各色成分の画素の数は２０×２０画素である。

尚、固体撮像素子７としては、一枚の固体撮像素子７の前段に、Ｒ色、Ｇ色、Ｂ色のフィルタを配した３板式のものを用いても良い。また、本発明は、カラーフィルタを配置しないモノクロの固体撮像素子７の場合にも適用できる。

また、固体撮像素子７としては、ＣＣＤやＣＭＯＳセンサなど、マトリクス上の画素が配置された撮像素子を用いることができる。

特徴領域検出手段４は、デジタル信号処理手段１０から出力され、データメモリ１６内に保存されている画像のデジタル信号をもとに、例えば顔の領域ＦＡを、測光ブロック単位で検出し、特徴領域ＦＡを構成する測光ブロックを表す情報（特定する情報）、例えば水平方向ブロック番号及び垂直方向ブロック番号の組合せで構成される、測光ブロックのブロック座標（ｉ，ｊ）を出力する。

図３に示す例の場合、特徴領域検出手段４で、特徴領域ＦＡを構成する測光ブロック
Ｂ（５，４）、Ｂ（６，４）、Ｂ（７，４）、Ｂ（８，４）、Ｂ（９，４）、
Ｂ（５，５）、Ｂ（６，５）、Ｂ（７，５）、Ｂ（８，５）、Ｂ（９，５）、
Ｂ（５，６）、Ｂ（６，６）、Ｂ（７，６）、Ｂ（８，６）、Ｂ（９，６）、
Ｂ（５，７）、Ｂ（６，７）、Ｂ（７，７）、Ｂ（８，７）、Ｂ（９，７）
を表す情報が、特徴領域検出手段４から出力される。

測光ブロックを表す情報として、上記のように当該測光ブロックの位置を示すブロック座標を出力する代わりに、当該測光ブロックの左上隅に位置する画素の、撮像画面内の位置を示す座標（水平方向位置、垂直方向位置の組み合わせ）を、当該測光ブロックの座標として出力しても良い。

特徴領域の検出方法としては、例えば、予め指定された色の部分（例えば肌色の部分）を検出することで、顔を検出することとしても良く、その他の公知の方法、例えば、特徴領域の輝度分布の変化を検出する方法、被写体の幾何学的な特徴（顔の楕円）を検出する方法、特徴領域内の画像の構成要素の相対位置（例えば、顔の構成要素である目、鼻、口の位置）を検出する方法などを用いることができる。

なお、特徴領域検出手段４を、ソフトウエアにより実現する代わりに、デジタル信号処理手段１０内に構成することとしても良く、ＣＰＵバス１９に接続された、ＡＳＩＣ、ＦＰＧＡなどのハードウェアロジックで実現することとしても良い。

特異領域検出手段５は、特徴領域検出手段４で検出された測光ブロックの各々について輝度分布のヒストグラムを生成し、生成したヒストグラムに基づいて、露出制御に用いるべきでない測光ブロック、即ち除外すべき測光ブロックを検出する。

図３に示す例の場合、特徴領域検出手段４で、特徴領域ＦＡを構成する測光ブロック
Ｂ（５，４）、Ｂ（６，４）、Ｂ（７，４）、Ｂ（８，４）、Ｂ（９，４）、
Ｂ（５，５）、Ｂ（６，５）、Ｂ（７，５）、Ｂ（８，５）、Ｂ（９，５）、
Ｂ（５，６）、Ｂ（６，６）、Ｂ（７，６）、Ｂ（８，６）、Ｂ（９，６）、
Ｂ（５，７）、Ｂ（６，７）、Ｂ（７，７）、Ｂ（８，７）、Ｂ（９，７）
を表す情報が出力されるが、このデータを受けて、特異領域検出手段５は、測光ブロック単位のヒストグラムを生成し、該ヒストグラムに基づき、露出制御に用いるべきでない測光ブロック、即ち除外すべき測光ブロックを検出する。

例えば、局所的に輝度の著しく高い部分や局所的に輝度の著しく低い部分が除外すべき特異な領域として検出される。図３に示す例では、測光ブロックＢ（７，５）及びＢ（７，６）が、てかっている鼻ＮＳの部分であり、除外すべき測光ブロックとして検出され、該ブロックＢ（７，５）、Ｂ（７，６）を表す情報が出力される。

図２に示される構成で、露出制御手段２は、積算手段３で求められ、データメモリ１６内に蓄えられた所定の測光ブロックごとの積算値を、ＣＰＵバス１９を介して供給される。
露出制御手段２はまた、特徴領域検出手段４で検出された特徴領域ＦＡを構成する測光ブロックを表す情報、例えば該測光ブロックの座標（ｉ，ｊ）を、ＣＰＵバス１９経由で供給され、さらに、特異領域検出手段５で検出された特異な輝度分布を持つ測光ブロックを表す情報、例えば、該測光ブロックのブロック座標（ｉ，ｊ）を、ＣＰＵバス１９経由で供給される。

露出制御手段２は、特徴検出手段４からの、特徴領域を構成する測光ブロックを表す情報、及び特異領域検出手段５からの、上記除外すべき測光ブロックを表す情報を受けて、これらに基づき、露出制御に用いる測光ブロックを選択し、選択された測光ブロックごとの積算値に基づき、シャッタスピード、及び利得を求め、撮像手段１の露出（固体撮像素子７のシャッタスピード及びアナログ信号処理手段８の利得）を制御する。

露出制御においては、一般的に、暗い照明光下においては、制御信号ＣＢにより利得が高くなるよう設定される。明るい照明光下においては、制御信号ＣＡによりシャッタスピードが高速になるように設定される。

以下に上記の撮像装置の動作を、露出制御を中心としてさらに詳しく説明する。
被写体からの反射光は、レンズ６で固体撮像素子７に結像する。

固体撮像素子７に結像した被写体からの反射光は、露出制御で決められる所定の露出時間の間、蓄積される。蓄積された電荷を、垂直方向の転送クロックと水平方向の転送クロックで、転送することで撮像信号ＡＡを出力することができる。ここで、ＣＣＤの場合は、水平転送クロックや垂直転送クロックのほかに、固体撮像素子７を構成するフォトダイオードから垂直ＣＣＤへの電荷読出しのためのクロックや、シャッタスピードで設定される露光時間を越える蓄積電荷を基板へ排出するためのＳＵＢクロックなどのクロックがタイミング生成手段１１から固体撮像素子７に供給される。

続いて、固体撮像素子７からの撮像信号ＡＡは、アナログ信号処理手段８でＣＤＳ処理を受ける。ＣＤＳ処理では、撮像信号ＡＡの黒レベルと信号レベルをタイミング生成手段１１のサンプルホールド制御信号ＢＤにより検出して、サンプル信号ＡＢを生成する。サンプル信号ＡＢは、ＡＤ変換手段でデジタル変換され、デジタル信号ＡＣとして出力される。

デジタル信号処理手段１０の積算手段３は、デジタル信号ＡＣから測光ブロックごとのＲ色の積算値、Ｇ色の積算値、Ｂ色積算値を求め、これらから、測光ブロックごとの露出評価値ＹＡを以下の式（１）で求める。
ＹＡ（ｉ，ｊ）＝ｋｒ×Ａｒ（ｉ，ｊ）＋ｋｇ×Ａｇ（ｉ，ｊ）＋ｋｂ×Ａｂ（ｉ，ｊ） …（１）

Ａｒ（ｉ，ｊ）は測光ブロック（ｉ，ｊ）のＲ色の平均値を、
Ａｇ（ｉ，ｊ）は測光ブロック（ｉ，ｊ）のＧ色の平均値を、
Ａｂ（ｉ，ｊ）は測光ブロック（ｉ，ｊ）のＢ色の平均値を示している。
上記のＧ色の平均値Ａｇ（ｉ，ｊ）としては、Ｇｒ色の画素の平均値を用いても良く、Ｇｂ色の画素の平均値を用いても良く、Ｇｒ色の画素及びＧｂ色の画素の平均値を用いても良い。
ｋｒ、ｋｇ、ｋｂは、平均輝度を、ＲＧＢの三原色から求める場合の係数であり、例えば、ｋｒ＝０．２９９、ｋｇ＝０．５８７、ｋｂ＝０．１１４の値である。なお、前述の係数に限定されず、画像処理を行うシステムが採用する色空間の規格によって規定される。

デジタル信号処理手段１０からは、ＣＰＵバス１９経由でデータメモリ１６へ、ＹＣｂＣｒや、ＲＧＢの画像形式で画像信号を送り、これらのデータがデータメモリ１６に蓄えられる。

特徴領域検出手段４は、データメモリ１６に保持された画像信号から、前述の特徴領域検出方法に基づき、特徴領域ＦＡを検出し、特徴領域ＦＡを構成する測光ブロックを表す情報を出力する。
図３に示す例の場合、特徴領域検出手段４で、測光ブロック
Ｂ（５，４）、Ｂ（６，４）、Ｂ（７，４）、Ｂ（８，４）、Ｂ（９，４）、
Ｂ（５，５）、Ｂ（６，５）、Ｂ（７，５）、Ｂ（８，５）、Ｂ（９，５）、
Ｂ（５，６）、Ｂ（６，６）、Ｂ（７，６）、Ｂ（８，６）、Ｂ（９，６）、
Ｂ（５，７）、Ｂ（６，７）、Ｂ（７，７）、Ｂ（８，７）、Ｂ（９，７）
を表す情報を出力する。

検出した特徴領域ＦＡを構成する測光ブロックを表す情報、例えば、ブロック番号乃至ブロックを表す座標を露出制御手段２へＣＰＵバス１９経由で、出力する。なお、このブロック番号は、データメモリ１６内に一時記憶することしても良く、露出制御手段２内のメモリ空間内に記憶することとしても良い。
例えば、特徴領域ＦＡが矩形に限られている場合、特徴領域ＦＡを構成する測光ブロックのうち、特徴領域ＦＡの左上隅に位置するものの至座標（５，４）及び右下隅に位置するものの座標（９，７）を、特徴領域ＦＡの階始点及び終了点の位置を表す情報として出力することとしても良い。

なお、上記のように、各測光ブロックの座標値を、その左上隅の画素の座標で表しても良く、その場合、矩形の特徴領域ＦＡの左上隅に位置するブロックＢ（５，４）の左上隅の画素の座標（２００，１６０）、特徴領域の右下隅に位置するブロックＢ（９，７）の左上隅の画素の座標（３６０，２８０）を、それぞれ特徴領域ＦＡの開始点、終了点の位置を表す情報として出力する。

特異領域検出手段５では、特徴領域検出手段４で検出された上記の測光ブロックの各々の輝度分布を表すヒストグラムを生成し、ヒストグラムに基づいて特異領域かどうかの判定を行う。ここで言う特異領域とは、鼻の部分やメガネの部分のように局所的に特別輝度が高い部分とか、汚れやサングラスのように局所的に特別輝度が低い部分を意味する。

鼻ＮＳの部分がてかっている場合、図３において、鼻ＮＳの部分に相当する測光ブロックＢ（７，５）、Ｂ（７，６）の輝度分布を表すヒストグラムは図５に示すように、高い輝度レベル（階級）の頻度（度数）が高くなる。特徴領域ＦＡの他の測光ブロックは、肌色の部分に対応し（てかっておらず）、そのヒストグラムは、図６のように中間の輝度レベルの度数が高くなる。よって、ヒストグラムの分布の違いを統計的、経験的に判断し、測光ブロックＢ（７，５）、Ｂ（７，６）を除外し、その他の測光ブロック、
Ｂ（５，４）、Ｂ（６，４）、Ｂ（７，４）、Ｂ（８，４）、Ｂ（９，４）、
Ｂ（５，５）、Ｂ（６，５）、Ｂ（８，５）、Ｂ（９，５）、
Ｂ（５，６）、Ｂ（６，６）、Ｂ（８，６）、Ｂ（９，６）、
Ｂ（５，７）、Ｂ（６，７）、Ｂ（７，７）、Ｂ（８，７）、Ｂ（９，７）
を用いて露出制御を行うことで、被写体が安定した露出状態となる。
を露出制御に用いる。

局所的に輝度が高い測光ブロック、例えばてかりのある測光ブロックＢ（７，５）、Ｂ（７，６）を除くためのアルゴリズムの一例においては、測光ブロックごとのヒストグラムに基づき、比較的少数の（第１の所定数以下の）測光ブロックにおいて、高輝度レベルの範囲において、度数が所定値を超える階級の数が第２の所定数以上であり、中間輝度レベルの範囲において、度数が所定値を超える階級の数が第３の所定数以下であると判断されたときは、局所的に著しく輝度が高い特異な測光ブロックであると判断する。

逆に、「てかり」などの輝度の高い信号ではなく、局所的に輝度の低い測光ブロック、例えば汚れや、サングラスなどにより輝度が低い部分をも露出制御から除くことが望ましい。その場合には、例えば、比較的少数の（第４の所定数以下の）測光ブロックにおいて、低輝度レベルの範囲において、度数が所定値を超える階級の数が第５の所定数以上であり、中間輝度レベルの範囲において、度数が所定数を超える階級の数が第６の所定数以下であれば、局所的に著しく輝度が低い特異な測光ブロックであると判断する。

図７に示すように、メガネをかけた人の場合も同様の問題が起こり得る。即ち、メガネＥＧに照明光が反射した場合も、メガネＥＧの部分の輝度が明るくなるため、図８に示すヒストグラムのように、高い輝度分布が多くなる。図７に示すように、メガネＥＧの部分の測光ブロックを除いた、測光ブロック
Ｂ（５，４）、Ｂ（９，４）
Ｂ（５，５）、Ｂ（９，５）
Ｂ（５，６）、Ｂ（６，６）、Ｂ（７，６）、Ｂ（８，６）、Ｂ（９，６）
Ｂ（５，７）、Ｂ（６，７）、Ｂ（７，７）、Ｂ（８，７）、Ｂ（９，７）
を用いて露出制御を行うことで、被写体が安定した露出状態となる。

露出制御手段２は、積算手段３の積算結果に基づき、選択された測光ブロックのブロック座標の積算結果を得て、下記の式（２）により、基本の露出評価値ΣＥＸを求める。
図３に示す例の場合、選択された測光ブロックのブロック座標の積算結果を得て、下記の式（２）により、基本の露出評価値ΣＥＸを求める。
ΣＥＸ＝｛ＹＡ（５，４）＋ＹＡ（６，４）＋ＹＡ（７，４）＋ＹＡ（８，４）＋ＹＡ（９，４）＋ＹＡ（５，５）＋ＹＡ（６，５）＋ＹＡ（８，５）＋ＹＡ（９，５）＋ＹＡ（５，６）＋ＹＡ（６，６）＋ＹＡ（８，６）＋ＹＡ（９，６）＋ＹＡ（５，７）＋ＹＡ（６，７）＋ＹＡ（７，７）＋ＹＡ（８，７）＋ＹＡ（９，７）｝／ｎ
…（２）
上記の式（２）において、ｎは、選択された測光ブロックの総数（図３の例では「１８」）である。

上記の式（２）の演算は、下記の式（３）で表すこともできる。
ΣＥＸ
＝｛α（０，０）×ＹＡ（０，０）＋α（１，０）×ＹＡ（１，０）＋・・・＋α（１５，０）×ＹＡ（１５，０）
＋α（０，１）×ＹＡ（０，１）＋α（１，１）×ＹＡ（１，１）＋・・・＋α（１５，１）×ＹＡ（１５，１）
＋・・・
＋α（０，１１）×ＹＡ（０，１１）＋α（１，１１）×ＹＡ（１，１１）＋・・・＋α（１５，１１）×ＹＡ（１５，１１）｝／ｎ
…（３）
となる。

上記の式（３）において、α（ｉ，ｊ）はブロック座標の選択制御係数であり、選択ブロックについては、α（ｉ，ｊ）＝１、非選択ブロックについては、α（ｉ，ｊ）＝０である。ＹＡ（ｉ，ｊ）は、測光ブロックＢ（ｉ，ｊ）の露出評価値、ｎは、α（ｉ，ｊ）＝１の測光ブロックの総数（例えば１８）を示し、ｎ＝Σα（ｉ，ｊ）である。

よって、図３の場合、特徴領域の検出結果、及び特異領域の検出結果をもとに、
α（５，４）、α（６，４）、α（７，４）、α（８，４）、α（９，４）、α（５，５）、α（６，５）、α（８，５）、α（９，５）、α（５，６）、α（６，６）、α（８，６）、α（９，６）、α（５，７）、α（６，７）、α（７，７）、α（８，７）、及びα（９，７）は、１であり、その他のα（ｉ，ｊ）は、０となる。
なお、有効な測光ブロックの総数ｎを２のべき乗になるように設定することとすれば、ビットシフトで除算処理が可能となり、ΣＥＸをハードウェア処理、ソフトウェア処理によらず、高速な演算処理を行うことができる。

ΣＥＸは、有効な測光ブロックの露出評価値を示している。
露出制御は、あらかじめ設定されている露出目標値へ収束するように行われる。このときの、収束の方法としては、露出評価値と露出目標値の差分をフィードバックして、収束させるフィードバック型の露出制御方法や、露出評価値と露出目標値の差分が０になるまで、露出制御に用いられるＬＵＴのアドレスを制御する、例えば上記の特許文献２に示されたフィードフォワード型の露出制御方法などを用いることができる。

測光ブロック毎の露出評価値を用いているために、特徴領域検出手段４の検出結果及び特異領域検出手段５の検出結果で求まる測光ブロックの総数ｎによらず、露出制御の制御方法を変更することなく、制御することができる。

以上のように、特異領域検出手段５により、輝度分布が他の測光ブロックに対して著しく異なる特異領域を除くことで、適切な露出制御を行うことができる。

例えば、上記したように、被写体の鼻などは、照明の入り方によって、明るくてかる状態などがあり得る。この部分の輝度情報を積算値に用いた場合、露出制御の平均輝度が明るい方向にシフトするため、露出制御後の顔画像は、露出不足の状態に落ちてしまうことがある。局所的に輝度の著しく高い領域を除外することで、適切な露出制御が可能となる。

メガネが照明光を反射している場合にも同様であり、撮像した場合、目の情報が欠落する。このような場合も、露出不足になるが、図７のように、メガネ部分の測光ブロックを除外し、それ以外の測光ブロックを用いることで適切な露出制御を行い得る。

局所的に輝度が著しく低い部分も同様に特異な領域として除外することで、適切な露出制御を行い得る。

被写体に対し、最適な露出状態を維持することで、被写体のコントラストと明るさを一定に保つことができ、例えば被写体の認識処理においても安定した明るさ、コントラストの画像信号を得ることができ、認識精度の向上が図れる。また、様々な照明環境化においても安定した認識精度を得ることができる。

図２に示す例では、特異領域検出手段５が、ソフトウエアにより、即ちプログラムメモリ１７のプログラムで動作するＣＰＵ１８の一部として構成されているが、代わりに、デジタル信号処理手段１０内に構成することとしても良い。デジタル信号処理手段１０の一部として構成した場合は、ＣＰＵバス１９を用いて、全データを送る必要が無く、バス転送効率を考慮することなく、高速でヒストグラムを生成することが出来る。

一方、特異領域検出手段５をＣＰＵ１８の一部として構成する場合、ヒストグラムを生成する以外に、高度な画像処理を合わせて実現でき、特徴領域の露出評価値の検出精度を増すことが出来る。

例えば、メガネなどが、特徴領域内に存在する場合、メガネの輪郭を検出することができる。検出方法としては、エッジ検出を行いエッジの情報を得る。例えば、エッジの情報が連続し、特徴領域内（顔）内や顔周辺に存在し、楕円、長方形などの形状であれば、その連続するエッジ情報に囲まれた領域は、メガネの中であると判断し、メガネを含む測光ブロックを使用しないなどの輝度情報の検出精度の向上が図れる。

図９は、本発明の露出制御のフローチャートを示している。
露出制御が開始されると、特徴領域検出ステップＳＴ１において、撮像画像から特徴領域を検出する。この処理は、特徴領域検出手段４により行われる。
次に、特徴領域判断ステップＳＴ２では、特徴領域を検出できたか否かの判断を行う。この処理はシステム制御手段１５により行われる。
特徴領域検出ステップＳＴ２で特徴領域が検出された場合（ＳＴ２でＹＥＳの場合）、特徴領域内の、測光ブロック毎の輝度分布を判別し、特異な分布を有する測光ブロックを、除外すべきもの（特異領域の測光ブロック）として検出する（ＳＴ３）。この処理は特異領域検出手段５により行われる。
次に、ステップＳＴ３において検出された特徴領域を構成する測光ブロックを表す情報、及びステップＳＴ５において検出された特異領域を構成する測光ブロックを表す情報に基づいて、測光ブロックの選択を行う（ＳＴ４）。この場合、ステップＳＴ３で特徴領域を構成すると判断された測光ブロックのうち、ステップＳＴ５で、特異領域を構成すると判断された測光ブロック以外のものを選択する。
ステップＳＴ２で特徴領域が検出されない場合（ＳＴ２でＮＯ）の場合には、ステップＳＴ５で予め定められた測光ブロックを選択する。
露出制御ステップＳＴ６では、ステップＳＴ４により選択された測光ブロック、またはステップＳＴ５により選択された測光ブロックの輝度情報に基づいて露出制御（固体撮像素子７のシャッタースピードの決定及びアナログ信号処理手段８のゲインの決定）を行う。ステップＳＴ４、ＳＴ５及びＳＴ６の処理は露出制御手段２により行われる。

以上のように、本実施の形態１の撮像装置は、被写体の特徴部分に対応する特徴領域ＦＡをもとに測光ブロックを求める手段を有することで、被写体が最適な露出条件を維持することができる。
また、特異領域検出手段５で輝度分布が他の測光ブロックと比べて著しく異なる測光ブロックを除外するので、てかった鼻、反射しているメガネ、汚れやサングラスなどの影響を避けることができる。

なお、図１の概略構成は、図２に示される構成の代わりに、他のシステム構成によって構成することができる。
例えば、図２のレンズの入射側に絞りを設けた撮像手段１を用いることもできる。その場合、露出制御の一部として、絞りの開放度の制御を行うこともできる。
絞りの有無は、撮像装置のシステム構成の仕様に基づき決まるものである。絞りによる制御がある場合、画像測光ブロックの輝度評価値が、決められた平均輝度レベルになるように、固体撮像素子７の蓄積時間及びアナログ信号処理手段８における利得の制御に加え、絞りの制御（ＣＰＵ１８による）が加わる点で異なるのみである。

また、上記の例では、特徴領域検出手段４において、特徴領域を構成する測光ブロックのみを選択したが、特徴領域として検出された領域の面積が狭い場合などは、その周辺の測光ブロックをも選択して、露出制御に用いることとしても良い。

本発明の実施の形態１の撮像装置の概略構成を示すブロック図である。 図１の撮像装置を詳細に示すブロック図である。 特徴領域検出手段及び特異領域検出手段で選択される測光ブロックの一例を示す図である。 ベイヤ型配列における各色成分の画素の配置を示す図である。 図３のてかっている鼻に対応する測光ブロックＢ（７，５）、Ｂ（７，６）の輝度分布を示すヒストグラムの一例を示す図である。 図３の特徴領域内のブロックのうち、特異なブロックＢ（７，５）、Ｂ（７，６）以外のブロックの輝度分布を示すヒストグラムの一例を示す図である。 特徴領域検出手段及び特異領域検出手段で選択される測光ブロックの他の例を示す図である。 図７の光っているメガネの部分に対応する測光ブロックＢ（６，４）、Ｂ（７，４）、Ｂ（８，４）、Ｂ（６，５）、Ｂ（７，５）、Ｂ（８，５）の輝度分布を示すヒストグラムの一例を示す図である。 図１及び図２の撮像装置の動作を示すフローチャートである。

符号の説明

１ 撮像装置、 ２ 露出制御手段、 ３ 積算手段、 ４ 特徴領域検出手段、 ５ 特異領域検出手段。

Claims (1)

1. 撮像手段と、
   前記撮像手段の撮像信号の、それぞれ撮像画面の一部をなす複数の所定の測光ブロックごとに積算値を求める積算手段と、
   前記撮像手段の撮像信号から前記撮像画面内の特徴領域を構成する測光ブロックを検出する特徴領域検出手段と、
   前記撮像手段の撮像信号から前記測光ブロック内の輝度分布のヒストグラムを生成し、前記ヒストグラムが高輝度または低輝度に偏った前記測光ブロックを特異ブロックとして検出する特異領域検出手段と、
   前記特徴領域検出手段により検出された特徴領域に含まれる測光ブロックであって、前記特異領域検出手段により検出された特異領域に含まれる測光ブロック以外のものの、前記積算値を用いて、前記露出評価値を算出し、前記露出評価値を用いて前記撮像手段を制御する露出制御手段と
   を有することを特徴とした撮像装置。

Images