JP4577446B2

JP4577446B2 - 撮像装置

Info

Publication number: JP4577446B2
Application number: JP2009164610A
Authority: JP
Inventors: 淳平遠藤; 素生井狩; 聡古川; 健一萩尾
Original assignee: Panasonic Corp; Matsushita Electric Works Ltd
Current assignee: Panasonic Corp; Panasonic Electric Works Co Ltd
Priority date: 2009-07-13
Filing date: 2009-07-13
Publication date: 2010-11-10
Anticipated expiration: 2024-05-31
Also published as: JP2010004543A

Description

本発明は、ＣＣＤ等の固体撮像素子により来訪者等を撮像し、来訪者等の映像をモニターに映し出す撮像装置に関するものである。

従来の撮像装置には、撮像領域から顔の輪郭や、目、鼻等の形状といった顔の特徴量を検出することで、人体の顔領域検出を行い、検出した顔領域の輝度等を最適に制御して、顔の視認性を良好なものにし、人の特定を容易にしたものがある。（例えば、特許文献１参照）。

特開２００３−９２７００号公報（段落番号［００１１］〜［００１５］、図２〜図５）

しかし、上記従来例では、逆光状態（輝度が高い状態）や順光状態（輝度が低い状態）等では、顔の特徴量を検出することができずに顔を検出できないことがあった。

本発明は、上記事由に鑑みてなされたものであり、その目的は、逆光状態や順光状態等であっても人の顔の特徴量を確実に検出することができ、顔の検出精度を上げることができる撮像装置を提供することにある。

請求項１の発明は、来訪者等の監視対象を撮像する撮像手段と、撮像手段からの映像信号の振幅、オフセットを調整する映像調整手段と、映像調整手段を介した映像信号をデジタル化してデジタル映像データを出力するＡ／Ｄ変換手段と、デジタル映像データから顔の特徴を示す量を検出することで顔領域を検出する顔検出手段と、顔検出手段で検出された顔領域の輝度を検出する輝度検出手段と、顔検出手段が顔領域を検出できない場合には映像信号の調整レベルを変化させ、顔領域検出後は輝度検出手段で検出された顔領域の輝度が所定の輝度となるように映像信号の調整レベルを制御する調整レベル制御手段とを備え、調整レベル制御手段は、顔検出手段が顔領域を検出するときに、最初は映像信号の調整レベルを最大と最小との中間とし、調整レベル中間時における撮像範囲の輝度に応じて以後の調整レベルの変化範囲を決定することを特徴とする。

この発明によれば、映像信号の調整レベルを変化させながら顔検出を行うので、逆光状態（輝度が高い状態）や順光状態（輝度が低い状態）等であっても人の顔の特徴量を確実に検出することが可能となり、顔の検出精度を上げることができる。さらに、顔領域検出の確実性を維持しながら、顔領域検出の処理時間を短縮できる。

請求項２の発明は、請求項１において、映像信号の調整レベルと、映像信号のレベルとから、撮像範囲の照度を検出する照度検出手段を備え、前記顔検出手段は、照度検出手段が検出した撮像範囲の照度が所定照度より低い場合には、顔領域を検出する処理を行わないことを特徴とする。

この発明によれば、フォトトランジスタ等を用いた照度検出手段を別途設ける必要がなく、コストダウンや小型化を図ることができる。さらに、監視領域が低照度環境である場合は、監視領域の照度に比べて顔領域の照度のみが極端に異なることはないので、顔領域の輝度と顔領域以外の輝度とが大きく異なるということはなく、顔領域の視認性をよくするために顔領域を検出する必要がなくなり、処理速度を上げることができる。

請求項３の発明は、請求項１または２において、前記顔検出手段は、現在から一定時間前までの所定期間内における顔領域検出回数を記憶しており、顔領域を検出しなかった場合、前記顔領域検出回数が０回であるか否かを判別し、前記顔領域検出回数が１回以上であれば、前記調整レベル制御手段は映像信号の調整レベルを変化させることなく、顔検出手段は、前回の映像信号の調整レベルで顔領域を検出し、前記顔領域検出回数が０回であれば、前記調整レベル制御手段は撮像範囲全体の輝度に応じて映像信号の調整レベルを制御することを特徴とする。

この発明によれば、撮像途中で顔が撮像範囲から外れた場合でも、引き続き撮像領域の輝度を適切に補正することができる。

請求項４の発明は、請求項１乃至３いずれかにおいて、前記顔検出手段は、顔の輪郭抽出を行い、抽出した輪郭領域を顔領域候補とし、前記輝度検出手段は、輪郭領域の輝度を算出し、前記調整レベル制御手段は、輝度検出手段で検出された輪郭領域の輝度が所定の輝度となるように映像信号の調整レベルを制御し、顔検出手段は、前記制御された調整レベルのデジタル映像データから顔の特徴を示す量を検出することで顔領域を検出し、輝度検出手段は、顔検出手段で検出された顔領域の輝度を検出し、調整レベル制御手段は、顔検出手段が顔領域を検出できない場合には映像信号の調整レベルを変化させ、顔領域検出後は輝度検出手段で検出された顔領域の輝度が所定の輝度となるように映像信号の調整レベルを制御することを特徴とする。

この発明によれば、顔輪郭検出によって顔領域候補の輝度を最適にした後、顔領域候補に顔の特徴量が存在するか否かを判別するため、どのような照明環境下でも顔領域を検出することができ、その検出精度も向上している。さらに、監視領域全体の輝度に基づいてアナログゲインを調整すると、照明状態によっては顔が見えない可能性があるが、顔の輪郭は見える可能性は高いので、顔の輪郭によって顔位置の検出を行い、さらに検出精度を上げるために顔の特徴量による顔領域検出を行うので、監視領域および顔領域の輝度がどのような状態であっても、精度よく顔領域を検出することができる。

請求項５の発明は、請求項１乃至４いずれかにおいて、前記顔検出手段が複数の顔領域を検出した場合、前記輝度検出手段は、検出した各顔領域の大きさに応じて各顔領域の輝度に重み付けを行って、該重み付けを行った各輝度に基づいて複数の顔領域全体の輝度を特定し、前記調整レベル制御手段は、該特定した輝度が所定の輝度となるように映像信号の調整レベルを制御することを特徴とする。

この発明によれば、監視領域に複数の顔が存在する場合、各顔の大きさに合った視認性を確保することができる。

請求項６の発明は、請求項１乃至５いずれかにおいて、色温度を検出することで撮像範囲の光源を判断する光源判断部を備え、前記顔検出手段は、光源判断部が光源は太陽光であると判断した場合に顔領域を検出する処理を行うことを特徴とする。

この発明によれば、逆光状態において顔領域が黒くつぶれてしまうのは太陽光が光源となっていると考えられるため、光源が太陽である場合のみ顔領域の検出を行うことで、処理速度を上げることができる。

以上説明したように、本発明では、映像信号の調整レベルを変化させながら顔検出を行うので、逆光状態（輝度が高い状態）や順光状態（輝度が低い状態）等であっても人の顔の特徴量を確実に検出することが可能となり、顔の検出精度を上げることができるという効果がある。さらに、顔領域検出の確実性を維持しながら、顔領域検出の処理時間を短縮できるという効果もある。

本発明の実施形態１の撮像装置のブロック構成を示す図である。同上のフィードバック動作のフローチャートを示す図である。本発明の実施形態２の撮像装置のブロック構成を示す図である。同上のフィードバック動作のフローチャートを示す図である。本発明の実施形態３のフィードバック動作のフローチャートを示す図である。本発明の実施形態４のフィードバック動作のフローチャートを示す図である。顔領域の輝度と背景領域の輝度との差が大きい場合の映像を示し、（ａ）は従来の映像、（ｂ）は本発明の実施形態４の映像である。顔輪郭検出処理の説明するための図である。本発明の参考例１の撮像装置のブロック構成を示す図である。同上のフィードバック動作のフローチャートを示す図である。逆光状態での映像を示し、（ａ）は従来の映像、（ｂ）は本発明の参考例１の映像である。本発明の参考例２のフィードバック動作のフローチャートを示す図である。本発明の参考例４のフィードバック動作のフローチャートを示す図である。

以下、本発明の実施の形態を図面に基づいて説明する。

（参考例１）
図９は本参考例の撮像装置のブロック構成を示し、撮像装置は、ＣＣＤカメラ等の固体撮像素子からなる撮像部１と、撮像部１からの映像信号に対して自動利得制御（ＡＧＣ）を行い、映像信号の振幅、オフセットを制御する映像調整部２と、映像調整部２からの映像信号をＡ／Ｄ変換してデジタル映像データを出力するＡ／Ｄ変換部３と、デジタル映像データを記憶する画像メモリ４と、画像メモリ４のデジタル映像データから顔領域を検出する顔検出部５と、顔検出部５が出力する顔領域のデジタル映像データから顔領域の平均輝度を算出する輝度検出部６と、映像調整部２における映像信号の調整レベルを制御する調整レベル制御部７とから構成される。

次に、本参考例の動作について説明する。まず、撮像部１は、撮像範囲である監視領域から入射された光を光電変換した電気信号を映像信号として出力する。映像調整部２では、映像信号の増幅度であるアナログゲイン（映像調整レベル）が、調整レベル制御部７から出力される調整レベル信号に応じて調整可能に設定されており、設定されたアナログゲインで映像信号を増幅して出力する。映像調整部２から出力された映像信号は、Ａ／Ｄ変換部３でアナログ／デジタル変換されてデジタル映像データとして出力され、画像メモリ４に監視領域のデジタル映像データが書き込まれる。

以下、画像メモリ４に記憶されたデジタル映像信号に基づいて行われる本参考例のフィードバック動作について図１０のフローチャートを用いて説明する。このフィードバック動作は、撮像部１が撮像を開始するときや、撮像中に定期的に行われるようになっている。まず、調整レベル制御部７は、予め定められている調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを所定値にして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ１０）。そして顔検出部５は、人の顔の特徴を含んだテンプレート画像（例えば、平均的な人の顔のモノクロ画像）を予め記憶しており、このテンプレート画像と所定のタイミングで画像メモリ４から読み出したデジタル映像データ全体とを比較して映像の各位置での相関値を計算し、相関値が予め設定されたしきい値より高くなっている位置に顔が存在すると判断することで顔領域を検出する（ステップＳ１１）。すなわち、デジタル映像データから顔の特徴を示す量（この場合はテンプレート画像との相関値）を検出することで顔領域を検出するのである。なお、テンプレート画像の輝度とデジタル映像データの輝度との差が大きい場合は、その差を吸収できる正規化相関処理を行ってもよい。そして、顔検出部５は顔領域が検出されたか否かを判別し（ステップＳ１２）、顔領域が検出された場合は、その顔領域のデジタル映像データを輝度検出部６へ出力する。輝度検出部６では、顔領域のデジタル映像データから顔領域の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された顔領域の輝度と予め設定されている適切な輝度とを比較し、顔領域の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ１３）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ１６）、顔領域の輝度は所定の輝度となるように制御される。

逆光状態での撮像のように、顔領域の輝度と背景領域の輝度との差が大きい場合、通常の自動露光（ＡＥ：ＡｕｔｏＥｘｐｏｓｕｒｅ）の処理では図１１（ａ）のように顔領域が黒くつぶれてしまうことがあったが、本参考例の上記処理では顔領域を検出し、顔領域の輝度が適切となるように映像調整を行うので、図１１（ｂ）のように顔領域を適切な輝度で確認することができる。

また、顔検出部５で顔領域が検出されなかった場合、顔検出部５は調整レベル制御部７へ顔領域が検出されなかったことを伝達し、調整レベル制御部７は、顔領域の検出の可能性があるか否かを判別して（ステップＳ１４）、可能であれば、ステップＳ１１に戻って、調整レベル制御部７は、アナログゲインを現状から変化させた調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを現状より変化させて映像信号を増幅し、顔領域検出処理を再び行う。そして、顔検出部５で顔領域が検出されなかった場合は、これらの処理を調整レベル制御部７が、アナログゲインを変化させても顔領域の検出は不可能であると判別するまで繰り返す。

アナログゲインを変化させても顔領域検出は不可能であると調整レベル制御部７が判別した場合、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、画像メモリ４に記憶されている監視領域のデジタル映像データを読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域全体の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ１５）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ１６）、監視領域全体の輝度は所定の輝度となるように制御される。

このように、顔領域が検出されない場合は、映像調整レベルを変化させながら顔領域検出処理を繰り返し行うので、監視領域が逆光状態（輝度が高い状態）や順光状態（輝度が低い状態）等であっても人の顔の特徴量を確実に検出することが可能となり、顔領域が存在すれば確実に顔領域を検出することができる。したがって、顔領域の輝度を適切に制御でき、顔領域の視認性を向上させている。

ここで、顔領域が検出されない場合に実行される上記映像調整レベルの可変制御は、可変時の監視領域の輝度が高いとき（逆光状態）では映像調整レベルの変化幅を小さくすれば、特に顔領域の検出が難しい逆光状態において顔領域検出の精度を向上させることができる。さらに、監視領域の輝度が中間レベルでは映像調整レベルの変化幅を最大とし、監視領域の輝度が低いとき（順光レベル）では映像調整レベルの変化幅を中レベル（輝度が高いときよりは大きく、輝度が中間レベル時よりは小さい）とすれば、輝度の全範囲において撮像範囲の輝度に適した調整を行うことができ、顔領域検出の精度がさらに向上する。

なお、映像調整部２は、映像調整レベルとして撮像部１のアナログゲインを可変とすることによって映像調整を行っているが、撮像部１に設けた電子シャッターの速度を可変とすることで映像調整を行ってもよく、映像調整レベルの可変範囲、可変段数は任意に設定できる。

また、顔検出部５は、上記顔領域検出処理において濃淡パターンマッチング手法を用いているが、目、口、鼻といった特徴点の位置関係を用いるグラフマッチング手法を用いてもよい。

さらに、輝度検出部６は、平均輝度を算出しているが、色信号や色差信号の平均を算出して、調整レベル制御部７では、輝度検出部６で検出された色信号または色差信号と予め設定されている適切な色信号または色差信号とを比較してもよい。また、輝度検出部６で行う平均値の算出処理においては、顔領域あるいは監視領域の中心部に重みを持たせる等の測光パターンを用いて、重み付け演算処理を行ってもよい。

（参考例２）
本参考例の撮像装置のブロック構成は参考例１と同様に図９に示され、参考例１と同様の構成には同一の符号を付して説明は省略する。

本参考例は、デジタル映像信号に基づいて行われる参考例１のフィードバック動作を具体的に説明するもので、以下、本参考例のフィードバック動作について図１２のフローチャートを用いて説明する。このフィードバック動作は、撮像部１が撮像を開始するときや、撮像中に定期的に行われるようになっている。まず、調整レベル制御部７は、アナログゲインを最大とした調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを最大にして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ２０）。次に顔検出部５は、参考例１と同様の濃淡パターンマッチング手法を用いて顔領域の検出処理を行う（ステップＳ２１）。そして、顔検出部５は顔領域が検出されたか否かを判別し（ステップＳ２２）、顔領域が検出された場合は、その顔領域のデジタル映像データを輝度検出部６へ出力する。輝度検出部６では、顔領域のデジタル映像データから顔領域の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された顔領域の輝度と予め設定されている適切な輝度とを比較し、顔領域の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ２３）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ２７）、顔領域の輝度は所定の輝度となるように制御される。

また、顔検出部５で顔領域が検出されなかった場合、顔検出部５は調整レベル制御部７へ顔領域が検出されなかったことを伝達し、調整レベル制御部７は、現状のアナログゲインが最小であるか否かを判別して（ステップＳ２４）、アナログゲインが最小でなければ、調整レベル制御部７は、アナログゲインを現状より１段階下げた調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを現状より１段階下げて映像信号を増幅する（ステップＳ２５）。そして、ステップＳ２１に戻って顔領域検出処理を再び行う。顔検出部５で顔領域が検出されなかった場合は、これらの処理をアナログゲインが最小となるまで繰り返す。

アナログゲインを最小としても、顔検出部５で顔領域が検出されなかった場合、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、画像メモリ４に記憶されている監視領域のデジタル映像データを読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域全体の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ２６）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ２７）、監視領域全体の輝度は所定の輝度となるように制御される。

このように、顔領域が検出されない場合は、映像調整レベルを変化させながら顔領域検出処理を繰り返し行うので、監視領域がどのような照明状態であっても、顔領域が存在すれば確実に顔領域を検出することができる。したがって、顔領域の輝度を適切に制御でき、顔領域の視認性を向上させている。また、映像調整レベルを最大から最小に向かって順次下げていくので、映像は明るい状態から暗い状態へ遷移していき、モニター時に見た目の違和感をあまり感じずにすむ。さらには、映像調整レベルを変化させたときの収束時間が早くなるというメリットもある。

（参考例３）
本参考例の撮像装置のブロック構成は参考例１と同様に図９に示され、参考例１と同様の構成には同一の符号を付して説明は省略する。

画像メモリ４に記憶されたデジタル映像信号に基づいて行われる本参考例のフィードバック動作は、参考例２において、アナログゲインを変化させる方向を逆方向にしたものである。すなわち、顔検出部５で顔領域が検出されなかった場合に、アナログゲインを最小から最大に向かって順次上げていくものであって、まず、調整レベル制御部７は、アナログゲインを最小とした調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを最小にして撮像部１からの映像信号を増幅している。そして、顔検出部５で顔領域が検出されなかった場合、顔検出部５は調整レベル制御部７へ顔領域が検出されなかったことを伝達し、調整レベル制御部７は、現状のアナログゲインが最大でなければ、アナログゲインを現状より１段階上げた調整レベル信号を映像調整部２へ出力して顔領域検出処理を再び行う。顔検出部５で顔領域が検出されなかった場合は、これらの処理をアナログゲインが最大となるまで繰り返す。

（参考例４）
図１は本参考例の撮像装置のブロック構成を示し、参考例１の構成に、照度検出部８と、赤外ＬＥＤ９とを備えたものであり、参考例１と同様の構成には同一の符号を付して説明は省略する。

照度検出部８は、調整レベル制御部７が設定しているアナログゲインと画像メモリ４に記憶されている監視領域のデジタル映像データとに基づいて、監視領域の照度を検出する。赤外ＬＥＤ９は、監視領域に向かって赤外光を照射するように設置されている。

以下、画像メモリ４に記憶されたデジタル映像信号に基づいて行われる本参考例のフィードバック動作について図１３のフローチャートを用いて説明する。このフィードバック動作は、撮像部１が撮像を開始するときや、撮像中に定期的に行われるようになっている。まず、調整レベル制御部７は、アナログゲインを最大とした調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを最大にして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ４０）。そして照度検出部８は、設定されているアナログゲインと監視領域のデジタル映像データとに基づいて、監視領域の照度を演算し（ステップＳ４１）、所定の照度以下か否かを判別する（ステップＳ４２）。

そして、監視領域の照度が所定の照度より高い場合、ステップＳ４３〜ステップＳ４８、およびステップＳ５１に示すように参考例２と同様の処理にしたがって、映像信号の調整を行う。

また、監視領域の照度が所定の照度以下である場合、照度検出部８は監視領域の照度が低いと判断して、赤外ＬＥＤ９を点灯させて監視領域に向かって赤外光を照射する（ステップＳ４９）。そして、赤外ＬＥＤ９の点灯により監視領域の照度を上げた状態で、映像調整部２は所定のアナログゲインで撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれるとともに、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、赤外ＬＥＤ９点灯状態での監視領域のデジタル映像データを画像メモリ４から読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域全体の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ５０）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ５１）、監視領域全体の輝度は所定の輝度となるように制御される。

このように、監視領域が低照度環境である場合は、例えば逆光状態のように顔領域の輝度と顔領域以外の輝度とが大きく異なるということはないので、監視領域全体の照度を上げることによって顔領域の視認性も良くなり、顔領域の検出を行わないことで処理速度を上げている。

なお、赤外ＬＥＤ９は白色ＬＥＤを用いてもよい。また、監視領域の照度が所定の照度以下である場合、照度を上げる代わりに撮像部１の電子シャッターの速度を遅くするスローシャッターによって映像信号量を増やしてもよく、あるいはその両方を組み合わせて用いてもよい。

（実施形態１）
本実施形態の撮像装置のブロック構成は参考例４と同様に図１に示され、参考例４と同様の構成には同一の符号を付して説明は省略する。

画像メモリ４に記憶されたデジタル映像信号に基づいて行われる本実施形態のフィードバック動作は、アナログゲインを最初、中間レベルに設定しておき、そのときの監視領域の輝度に応じて以後のアナログゲインの調整範囲を決定する点が参考例４と異なるもので、以下、本実施形態のフィードバック動作について図２のフローチャートを用いて説明する。このフィードバック動作は、撮像部１が撮像を開始するときや、撮像中に定期的に行われるようになっている。まず、調整レベル制御部７は、アナログゲインを最大と最小との中間にする調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを中間にして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ６０）。そして照度検出部８は、設定されているアナログゲインと監視領域のデジタル映像データとに基づいて、監視領域の照度を演算し（ステップＳ６１）、所定の照度以下か否かを判別する（ステップＳ６２）。監視領域の照度が所定の照度より高い場合、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、画像メモリ４に記憶されている監視領域のデジタル映像データを読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、監視領域全体の平均輝度に応じてアナログゲインの調整範囲を決定する（ステップＳ６３）。アナログゲインの調整範囲は、中間レベルを中心としてその上下に設定され、アナログゲインの中間レベル設定時における監視領域全体の平均輝度が大きい場合、アナログゲインの調整範囲は広く設定され、監視領域全体の平均輝度が小さい場合、アナログゲインの調整範囲は狭く設定される。これは、アナログゲインの中間レベル設定時に監視領域全体の平均輝度が大きい場合には、監視領域内の輝度分布も広いと推測されるためである。

次に、調整レベル制御部７は、まず、アナログゲインを中間レベルとする調整レベル信号を映像調整部２へ出力し、映像調整部２は上記調整範囲内でアナログゲインを中間レベルにして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ６４）。次に顔検出部５は、参考例１と同様の濃淡パターンマッチング手法を用いて顔領域の検出処理を行う（ステップＳ６５）。そして、顔検出部５は顔領域が検出されたか否かを判別し（ステップＳ６６）、顔領域が検出された場合は、その顔領域のデジタル映像データを輝度検出部６へ出力する。輝度検出部６では、顔領域のデジタル映像データから顔領域の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された顔領域の輝度と予め設定されている適切な輝度とを比較し、顔領域の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ６７）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ７２）、顔領域の輝度は所定の輝度となるように制御される。

また、顔検出部５で顔領域が検出されなかった場合、顔検出部５は調整レベル制御部７へ顔領域が検出されなかったことを伝達し、調整レベル制御部７は、アナログゲインの上記調整範囲の全範囲で顔領域検出処理を行ったか否かを判別して（ステップＳ６８）、全範囲で顔領域検出処理を行っていなければ、ステップＳ６４へ戻って、調整レベル制御部７は、まだ顔領域検出処理を行っていないアナログゲインに対応する調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインに応じて映像信号を増幅し、顔領域検出処理を再び行う。顔検出部５で顔領域が検出されなかった場合は、これらの処理をアナログゲインの上記調整範囲内で繰り返す。

アナログゲインの上記調整範囲の全範囲で顔領域検出処理を行っても、顔検出部５で顔領域が検出されなかった場合、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、画像メモリ４に記憶されている監視領域のデジタル映像データを読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域全体の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ６９）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ７２）、監視領域全体の輝度は所定の輝度となるように制御される。

また、監視領域の照度が所定の照度以下である場合、照度検出部８は監視領域の照度が低いと判断して、ステップＳ７０〜ステップＳ７２に示すように参考例４と同様の処理にしたがって、映像信号の調整を行う。

このように、アナログゲインを最初、中間レベルに設定しておき、そのときの監視領域の輝度に応じて以後のアナログゲインの調整範囲を決定するので、アナログゲインの調整範囲を限定でき、処理速度が速くなる。さらに、アナログゲインを中間レベルから変化させるので、顔領域を検出するまでに要する調整レベルの変化量を少なくできる。

（実施形態２）
図３は本実施形態の撮像装置のブロック構成を示し、参考例１の構成に、光源判断部１０を備えたものであり、参考例１と同様の構成には同一の符号を付して説明は省略する。

光源判断部１０は、画像メモリ４に記憶されているデジタル映像データから、ホワイトバランス機能によって光源が太陽光であるか否かを判定する。具体的には、日中の太陽光の色温度は５０００〜６０００Ｋであり、タングステン電球の色温度はＪＩＳで定められているＡ光源の２８５６Ｋまたは３２００Ｋであるので、色温度を検出することによって、光源が太陽光であるのか、あるいは太陽光以外であるのかを判定することができる。

以下、画像メモリ４に記憶されたデジタル映像信号に基づいて行われる本実施形態のフィードバック動作について図４のフローチャートを用いて説明する。このフィードバック動作は、撮像部１が撮像を開始するときや、撮像中に定期的に行われるようになっている。まず、調整レベル制御部７は、アナログゲインを最大とした調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを最大にして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ８０）。そして光源判断部１０は、画像メモリ４に記憶されている監視領域のデジタル映像データから色温度を抽出して、光源が太陽光であるか否かを判定する（ステップＳ８１）。

そして、光源が太陽光である場合、ステップＳ８３〜ステップＳ８８、およびステップＳ９０に示すように参考例２と同様の処理にしたがって、映像信号の調整を行う。

また、光源が太陽光でない場合、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、画像メモリ４に記憶されている監視領域のデジタル映像データを読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域全体の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ８９）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ９０）、監視領域全体の輝度は所定の輝度となるように制御される。

このように、逆光状態において顔領域が黒くつぶれてしまうのは太陽光が光源となっていると考えられるため、光源が太陽光である場合のみ顔領域の検出を行うことで、処理速度を上げている。また、光源が太陽光でない場合は、顔領域の輝度と、顔領域以外の領域の輝度とが大きく異なることはないので、監視領域全体の輝度を調整することによって顔領域の視認性が良くなる。

（実施形態３）
本実施形態の撮像装置のブロック構成は参考例１と同様に図９に示され、参考例１と同様の構成には同一の符号を付して説明は省略する。

本実施形態では、顔領域を１度検出した後の処理について図５のフローチャートを用いて説明する。まず、調整レベル制御部７は、検出した顔領域の輝度が適切となるように一定の調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを一定にして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ３０）。次に顔検出部５は、参考例１と同様の濃淡パターンマッチング手法を用いて顔領域の検出処理を行う（ステップＳ３１）。そして、顔検出部５は顔領域が引き続き検出されたか否かを判別し（ステップＳ３２）、顔領域が引き続き検出された場合は、その顔領域のデジタル映像データを輝度検出部６へ出力する。輝度検出部６では、顔領域のデジタル映像データから顔領域の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された顔領域の輝度と予め設定されている適切な輝度とを比較し、顔領域の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ３３）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ３６）、顔領域の輝度は所定の輝度となるように引き続き制御される。そして、ステップＳ３１に戻って上記処理を繰り返す。

また、撮像途中で顔が撮像範囲から外れた場合等で顔検出部５で顔領域が検出されなかった場合、顔検出部５は、今回の撮像において現在から一定時間前までの所定期間内における顔領域検出回数を記憶しており、その顔領域検出回数が０回であるか否かを判別する（ステップＳ３４）。所定期間内の顔領域検出回数が１回以上であれば、ステップＳ３１に戻って、前回の顔領域検出時と同一のアナログゲインで再度顔領域検出を行う。所定期間内の顔領域検出回数が０回であれば、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、画像メモリ４に記憶されている監視領域のデジタル映像データを読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域全体の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ３５）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ３６）、監視領域全体の輝度は所定の輝度となるように制御される。そして、ステップＳ３１に戻って上記処理を繰り返す。

このように、本実施形態では、撮像途中で顔が撮像範囲から外れた場合でも、引き続き撮像領域の輝度を適切に補正することができる。なお、前回の顔領域検出時と同一のアナログゲインで再度顔領域検出を行う処理の繰り返し回数は、所定期間内の顔検出回数や、前回の顔領域検出からの時間によって制限してもよい。

（実施形態４）
本実施形態の撮像装置のブロック構成は参考例１と同様に図９に示され、参考例１と同様の構成には同一の符号を付して説明は省略する。

以下、本実施形態のフィードバック動作について図６のフローチャートを用いて説明する。このフィードバック動作は、撮像部１が撮像を開始するときや、撮像中に定期的に行われるようになっている。まず、調整レベル制御部７は、予め定められている調整レベル信号を映像調整部２へ出力し、映像調整部２はアナログゲインを所定値にして撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる。そして輝度検出部６は、所定のタイミングで画像メモリ４から読み出したデジタル映像データ全体から監視領域の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ１００）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ１０１）、輝度が所定の輝度となるように制御された監視領域のデジタル映像データがＡ／Ｄ変換部３を介して画像メモリ４に書き込まれる。

そして顔検出部５は、所定のタイミングで画像メモリ４から読み出したデジタル映像データ全体に対してＳＯＢＥＬオペレータ等の微分フィルタを用いて顔の輪郭抽出を行う。また、顔検出部５は、人の顔の形である複数の円形のテンプレート画像を予め記憶しており、これらのテンプレート画像と抽出された輪郭画像との類似度を算出して、その類似度と所定のしきい値とを比較し（ステップＳ１０２）、類似度がしきい値より大きい場合は、その位置に顔の輪郭または顔の輪郭に近い形状が存在すると判断して（ステップＳ１０３）、この顔の輪郭領域を顔領域の候補データとして輝度検出部６へ出力する。輝度検出部６では、顔の輪郭領域のデジタル映像データから顔の輪郭領域の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された顔の輪郭領域の輝度と予め設定されている適切な輝度とを比較し、検出された顔の輪郭領域の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ１０４）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して、Ａ／Ｄ変換部３を介して画像メモリ４に監視領域のデジタル映像データが書き込まれる（ステップＳ１０５）。

次に顔検出部５は、参考例１と同様の濃淡パターンマッチング手法を用いて顔領域の検出処理を行う（ステップＳ１０６）。そして、顔検出部５は顔領域が検出されたか否かを判別し（ステップＳ１０７）、顔領域が検出された場合は、その顔領域のデジタル映像データを輝度検出部６へ出力する。輝度検出部６では、顔領域のデジタル映像データから顔領域の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された顔領域の輝度と予め設定されている適切な輝度とを比較し、顔領域の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ１０８）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ１１０）、顔領域の輝度は所定の輝度となるように制御される。

逆光状態での撮像のように、顔領域の輝度と背景領域の輝度との差が大きい場合、通常の自動露光（ＡＥ：ＡｕｔｏＥｘｐｏｓｕｒｅ）の処理では図７（ａ）のように顔領域が黒くつぶれてしまうことがあったが、本実施形態の上記処理では顔領域を検出し、顔領域の輝度が適切となるように映像調整を行うので、図７（ｂ）のように顔領域を適切な輝度で確認することができる。また、顔輪郭検出のみ行い、上記のような顔領域検出を行わない場合は、図８のように顔の輪郭に近い形状のものは全て顔であると認識してしまうという問題があったが、本実施形態のように顔輪郭検出によって顔領域候補の輝度を最適にした後、顔領域候補に顔の特徴量が存在するか否かを判別するため、どのような照明環境下でも顔領域を検出することができ、その検出精度も向上している。さらに、監視領域全体の輝度に基づいてアナログゲインを調整すると、照明状態によっては顔が見えない可能性があるが、顔の輪郭は見える可能性は高く、本実施形態では、顔の輪郭によって顔位置の検出を行い、さらに検出精度を上げるために顔の特徴量による顔領域検出を行うので、監視領域および顔領域の輝度がどのような状態であっても、精度よく顔領域を検出することができる。

また、顔検出部５で顔の輪郭が検出されなかった場合、および顔検出部５で顔領域が検出されなかった場合、顔検出部５は、輝度検出部６に対して監視領域全体の輝度を算出するように命令を送る。そして輝度検出部６では、画像メモリ４に記憶されている監視領域のデジタル映像データを読み出し、監視領域のデジタル映像データから監視領域全体の平均輝度を算出し、調整レベル制御部７は、輝度検出部６で検出された監視領域全体の輝度と予め設定されている適切な輝度とを比較し、監視領域全体の輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力する（ステップＳ１０９）。映像調整部２は調整レベル信号で設定されたアナログゲインで撮像部１からの映像信号を増幅して出力し（ステップＳ１１０）、監視領域全体の輝度は所定の輝度となるように制御される。

上記実施形態１〜４、参考例１〜４において、顔検出部５が複数の顔領域を検出した場合、最も大きい顔領域が最も近い位置に存在するとみなすことができるので、最も近い顔に対して視認性を確保するためには、輝度検出部６は最も大きい顔領域のデジタル映像データから平均輝度を算出すればよい。

また、顔検出部５が複数の顔領域を検出した場合に全ての顔に対して一定以上の視認性を確保するためには、輝度検出部６は、複数の顔領域が存在する顔領域全体のデジタル映像データから平均輝度を算出し、調整レベル制御部７は、この平均輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力すればよい。

さらに、顔検出部５が複数の顔領域を検出した場合に各顔の大きさに合った視認性を確保するためには、輝度検出部６は、複数の顔領域の各デジタル映像データに対して、検出領域が大きい顔領域の輝度は重要視するように重みを重くし、検出領域が小さい顔領域の輝度は重みを小さくするというように、例えば各顔領域の大きさに比例して各輝度に重み付けを行って、この重み付けを行った各デジタル映像データから平均輝度を算出し、調整レベル制御部７は、この平均輝度が所定の輝度となるような調整レベル信号を映像調整部２へ出力すればよい。

１撮像部
２映像調整部
３Ａ／Ｄ変換部
４画像メモリ
５顔検出部
６輝度検出部
７調整レベル制御部
８照度検出部
９赤外ＬＥＤ

Claims

来訪者等の監視対象を撮像する撮像手段と、撮像手段からの映像信号の振幅、オフセットを調整する映像調整手段と、映像調整手段を介した映像信号をデジタル化してデジタル映像データを出力するＡ／Ｄ変換手段と、デジタル映像データから顔の特徴を示す量を検出することで顔領域を検出する顔検出手段と、顔検出手段で検出された顔領域の輝度を検出する輝度検出手段と、顔検出手段が顔領域を検出できない場合には映像信号の調整レベルを変化させ、顔領域検出後は輝度検出手段で検出された顔領域の輝度が所定の輝度となるように映像信号の調整レベルを制御する調整レベル制御手段とを備え、調整レベル制御手段は、顔検出手段が顔領域を検出するときに、最初は映像信号の調整レベルを最大と最小との中間とし、調整レベル中間時における撮像範囲の輝度に応じて以後の調整レベルの変化範囲を決定する
ことを特徴とする撮像装置。
映像信号の調整レベルと、映像信号のレベルとから、撮像範囲の照度を検出する照度検出手段を備え、前記顔検出手段は、照度検出手段が検出した撮像範囲の照度が所定照度より低い場合には、顔領域を検出する処理を行わないことを特徴とする請求項１記載の撮像装置。
前記顔検出手段は、現在から一定時間前までの所定期間内における顔領域検出回数を記憶しており、顔領域を検出しなかった場合、前記顔領域検出回数が０回であるか否かを判別し、前記顔領域検出回数が１回以上であれば、前記調整レベル制御手段は映像信号の調整レベルを変化させることなく、顔検出手段は、前回の映像信号の調整レベルで顔領域を検出し、前記顔領域検出回数が０回であれば、前記調整レベル制御手段は撮像範囲全体の輝度に応じて映像信号の調整レベルを制御することを特徴とする請求項１または２記載の撮像装置。
前記顔検出手段は、顔の輪郭抽出を行い、抽出した輪郭領域を顔領域候補とし、
前記輝度検出手段は、輪郭領域の輝度を算出し、
前記調整レベル制御手段は、輝度検出手段で検出された輪郭領域の輝度が所定の輝度となるように映像信号の調整レベルを制御し、
顔検出手段は、前記制御された調整レベルのデジタル映像データから顔の特徴を示す量を検出することで顔領域を検出し、
輝度検出手段は、顔検出手段で検出された顔領域の輝度を検出し、
調整レベル制御手段は、顔検出手段が顔領域を検出できない場合には映像信号の調整レベルを変化させ、顔領域検出後は輝度検出手段で検出された顔領域の輝度が所定の輝度となるように映像信号の調整レベルを制御する
ことを特徴とする請求項１乃至３いずれか記載の撮像装置。
前記顔検出手段が複数の顔領域を検出した場合、前記輝度検出手段は、検出した各顔領域の大きさに応じて各顔領域の輝度に重み付けを行って、該重み付けを行った各輝度に基づいて複数の顔領域全体の輝度を特定し、前記調整レベル制御手段は、該特定した輝度が所定の輝度となるように映像信号の調整レベルを制御することを特徴とする請求項１乃至４いずれか記載の撮像装置。
色温度を検出することで撮像範囲の光源を判断する光源判断部を備え、前記顔検出手段は、光源判断部が光源は太陽光であると判断した場合に顔領域を検出する処理を行うことを特徴とする請求項１乃至５いずれか記載の撮像装置。