JP4274316B2 - 撮像システム - Google Patents

Description

本発明は、被写体を撮像して得られた画像データ中の被写体の撮像領域が、画像処理の実行に適切な輝度値を有する画像データを撮像する撮像システムに関するものである。

ＣＣＤ（Charge Coupled Device）等の撮像素子を利用して外部から入力される光学像を取り込み、画像データを生成する撮像装置は、良好な画質の画像データを取得するために、入力される光学像の光量を適切に調整する機能を備えている。また、撮像装置は、良好な明るさの画像データを取得するために、光学像を取り込んだ撮像素子が出力する電気信号を適切な増幅率にて増幅した後、Ａ／Ｄ（アナログ／デジタル）変換して画像データを生成する。

撮像装置は、良好な画質及び明るさの画像データを取得するためにゲイン調整機能を備えている。ゲイン調整機能として、例えば、ＡＧＣ（オート・ゲイン・コントロール）では、撮像する画像データ中の各画素データが示す輝度値の平均が、予め設定してある輝度値よりも小さい場合に増幅率を増加し、また、予め設定してある輝度値よりも大きい場合に増幅率を減少する。尚、良好な画質の画像データを撮像すべくゲイン調整機能を備えた撮像装置としては、以下の特許文献１乃至３に示すものがある。
特開２００１−１１９６２２号公報 特開２００２−３１４８７４号公報 特開平９−２８４７８４号公報

しかし、ＡＧＣは、撮像装置の全撮像領域における輝度に従ってゲイン調整を行なうため、背景領域の輝度に影響され、画像処理を行なう対象としての被写体の撮像領域が適切な輝度となる画像データを確実に取得することは困難であるという問題がある。例えば、逆光時には被写体が暗く撮像され、順光時には被写体が明るく撮像されてしまう。

特に、撮像装置を用いた監視システムにおいては、撮像装置の撮像領域の一部の輝度が極端に高くなり、監視対象である被写体の撮像領域の輝度に関係なくゲイン調整が行なわれた場合には、監視対象を見失う危険性がある。また、撮像装置の撮像領域に対して被写体が小さく、被写体の撮像領域における輝度変化が、撮像装置の全撮像領域の輝度変化に影響を与えない場合には、ゲイン調整が行なわれないため、監視対象を見失う危険性があるという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、画像処理の対象として撮像する被写体の顔の領域における画素データに基づく光量調整又はゲイン調整を実行することで、背景領域の輝度に影響されず、被写体の顔の領域が適切な輝度を有する画像データを取得する撮像システムを提供することを目的とする。

本願に開示する撮像システムは、顔を有する被写体を撮像し、水平方向及び垂直方向の夫々に複数の画素データが配列された画像データを取得し、取得した画像データから、垂直方向に配列された画素データを加算して得た加算値に基づいて、前記被写体の顔の領域を検出し、検出した顔の領域における画素データの平均が所定の範囲よりも小さい場合に光量を増加させ、前記平均が所定の範囲よりも大きい場合に光量を減少させるように構成してあることを特徴とする。本願に開示する撮像システムは、調整された光量を用いて前記被写体の撮像処理を繰り返す。

本願による場合は、顔を有する被写体を撮像して取得した画像データ中の、前記被写体の顔の領域における画素データの平均が所定の範囲内になるように光量を増減させて撮像することにより、画像処理の対象として撮像する被写体の顔の領域における画素データに基づく光量調整を実行し、背景領域の輝度に影響されず、被写体の顔の領域が適切な輝度を有する画像データの取得が可能となる。

本発明に係る撮像システムは、照射手段が被写体に照射する光の照射強度及び照射時間を増減するように構成してあることを特徴とする。

本発明による場合は、被写体に照射する光の照射強度及び照射時間を増減させることにより、取得する画像データにおける輝度の微妙な調整が可能となり、画像処理の実行に適した輝度を有する画像データをより確実に取得することができる。

本願に開示する撮像システムは、顔を有する被写体を撮像して外部から入力される光を電気信号に変換し、得られた電気信号を所定の増幅率にて増幅し、増幅した電気信号に基づいて、水平方向及び垂直方向の夫々に複数の画素データが配列された画像データを生成し、生成した画像データから検出された、前記被写体の顔の領域における画素データの平均が所定の範囲よりも小さい場合に前記増幅率を増加させ、前記平均が所定の範囲よりも大きい場合に前記増幅率を減少させるように構成してあることを特徴とする。本願に開示する撮像システムは、変更された増幅率にて増幅された電気信号に基づいて画像データを順次生成することにより、前記被写体の撮像処理を繰り返す。

本願による場合は、外部から入力された光に基づいて生成した画像データ中の、被写体の顔の領域における画素データの平均が所定の範囲内になるように、外部から入力される光を変換して得られた電気信号を増幅する際の増幅率を増減させて撮像することにより、画像処理の対象として撮像する被写体の顔の領域における画素データに基づくゲイン調整を実行し、背景領域の輝度に影響されず、被写体の顔の領域が適切な輝度を有する画像データの取得が可能となる。

本願によれば、顔を有する被写体を撮像して取得した画像データ中の被写体の顔の領域における画素データに基づいて、撮像する際の光量の増減、又は外部から入力される光を変換して得られた電気信号を増幅する際の増幅率の増減を行なうことで、画像処理の対象として撮像する被写体の顔の領域における画素データに基づく光量調整又はゲイン調整を実行し、背景領域の輝度に影響されず、被写体の顔の領域が適切な輝度を有する画像データの取得ができる。また、撮像する際に被写体に照射する光の照射強度及び照射時間を増減させることにより、撮像した画像データにおける輝度の微妙な調整が可能となる。

以下に、本発明に係る撮像システムをその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
実施の形態１に係る撮像システムは、例えば、自動車等の車両に乗車する運転者の顔を撮像できる位置に設置されたカメラで、運転者の顔を被写体として撮像し、得られた画像データに基づいてカメラのゲイン調整を行なうように構成されている。尚、カメラは、例えば、ミラー又はハンドルの配置位置近傍に取り付けられ、１秒当たり３０枚の画像フレーム（画像データ）を取得するものを用いる。

図１は実施の形態１に係る撮像システムの構成例を示すブロック図であり、図中１００は本発明に係る撮像システムを示している。撮像システム１００は、カメラ１と、カメラ１の動作を制御する制御装置２とをケーブルＣを介して接続してある。尚、カメラ１と制御装置２とは、専用のケーブルＣで接続されるだけでなく、車載ＬＡＮ（Local Area Network）等のネットワークを介して接続することも可能である。

カメラ１は、ＭＰＵ（Micro Processor Unit）１０を制御中枢としてバス１８を介して接続される以下のハードウェア各部の動作を制御する。バス１８には、ＭＰＵ１０の制御手順を示す制御プログラム等を記憶したＲＯＭ１１、ＭＰＵ１０による制御動作中に発生する種々のデータを一時的に記憶するＲＡＭ１２、ＣＣＤ等により構成され、外部から入力される光を電気信号に変換する撮像部（撮像素子）１３、撮像部１３にて変換されて得られたアナログ信号を所定の増幅率（ゲイン）で増幅する増幅器（増幅手段）１４、増幅器１４にて増幅されたアナログ信号をデジタル信号に変換してデジタルの画像フレームを生成するＡ／Ｄ変換器（生成手段）１５、ＤＲＡＭ等により構成され、Ａ／Ｄ変換器１５にて生成された画像フレームを一時的に記憶するフレームメモリ１６、ケーブルＣを介して制御装置２とデータ伝送を行なうためのインタフェース１７等が接続されている。

ＭＰＵ１０は、自身が備える時計手段（図示せず）により所定のタイミングを計時しながらバス１８を介して上述したハードウェア各部を制御するとともに、ＲＯＭ１１に記憶してあるカメラ１の動作に必要な種々の制御プログラムを順次実行する。ＲＯＭ１１は、ＭＰＵ１０により実行される制御プログラムの他、増幅器１４が撮像部１３から入力される電気信号を増幅する際に用いる所定の増幅率を記憶する。尚、本実施の形態の増幅器１４は、ケーブルＣを介した制御装置２の指示に従ったＭＰＵ（増幅率変更手段）１０の制御により増幅率の増減が可能に構成されており、ＲＯＭ１１は増幅率を増減する際の増減幅を記憶する。更に、Ａ／Ｄ変換器１５は、増幅器１４から順次出力されるアナログの画像フレームを、例えば各画素を２５６階調（１Ｂｙｔｅ）の画素データ（輝度値）で示すデジタルの画像フレームに変換する。

従って、上述した構成のカメラ１は、ＭＰＵ１０による制御に従って所定のタイミングで撮像部１３が画像フレームをアナログ信号として取り込み、増幅器１４が増幅したアナログ信号をＡ／Ｄ変換器１５がデジタルの画像フレームに変換し、得られた画像フレームを一旦フレームメモリ１６に記憶させる。また、フレームメモリ１６に記憶してある画像フレームはインタフェース１７を介して制御装置２に伝送される。尚、カメラ１は、モノクロの画像フレームを取得するカメラでも、カラーの画像フレームを取得するカメラでもよい。

一方、制御装置２は、コンピュータにより構成されており、制御中枢としてのＣＰＵ（Central Processing Unit）２０、ＣＰＵ２０の制御手順を示す制御プログラム等を記憶したハードディスク（以下、ＨＤという）２１、ＣＰＵ２０による制御動作中に発生する種々のデータを一時的に記憶するＲＡＭ２２、ＤＲＡＭ等により構成され、ケーブルＣを介して取得した画像フレームを一時的に記憶するフレームメモリ２３、ケーブルＣを介してデータ伝送を行なうためのインタフェース２４等を備えている。

ＣＰＵ２０は、時計手段（図示せず）を備えており、所定のタイミングを計時しながら、バス２５を介して接続される上述したハードウェア各部を制御するとともに、ＨＤ２１に記憶してある制御プログラムを順次実行する。ＨＤ２１は、制御プログラムの他、制御装置２がケーブルＣを介してカメラ１から取得した画像フレームから、被写体として撮像した運転者の顔の撮像領域を検出するための領域検出処理プログラムを記憶する。また、ＨＤ２１は、ＣＰＵ２０が行なう各処理で用いる閾値として、所定の輝度範囲を示す最小輝度値及び最大輝度値、並びに所定の輝度値を記憶する。尚、所定の輝度範囲は、カメラ１が撮像した画像フレームに行なう画像処理を精度よく実行するために適切な輝度範囲であり、実行する画像処理を考慮して適宜設定すればよい。

上述した構成の撮像システム１００において、制御装置２のＣＰＵ２０は、ケーブルＣを介して順次カメラ１から取得してフレームメモリ２３に記憶してある画像フレームに対して、ＨＤ２１の領域検出処理プログラムをＲＡＭ２２に読み出して順次実行する。従って、ＣＰＵ２０は、被写体として撮像した運転者の顔からの反射光から、カメラ１の撮像部１３、増幅器１４及びＡ／Ｄ変換器１５を介して生成された顔の撮像領域を検出する検出手段として動作する。また、ＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる画素データが示す各画素の輝度値の平均（以下、平均輝度という）を算出する平均算出手段として動作する。

更に、ＣＰＵ２０は、上述のように算出した、画像フレーム中の顔の撮像領域における平均輝度を、閾値としてＨＤ２１に記憶する最小輝度値及び最大輝度値と比較する比較手段として動作する。また、ＣＰＵ２０は、比較した結果、顔の撮像領域の平均輝度が最小輝度値よりも小さい場合に、カメラ１の増幅器１４における増幅率を増加させるようにカメラ１を制御する。一方、顔の撮像領域の平均輝度が最大輝度値よりも大きい場合に、カメラ１の増幅器１４における増幅率を減少させるようにカメラ１を制御する。これにより、カメラ１は、画像フレーム中の顔の撮像領域が、画像処理を精度よく実行できる輝度を有する画像フレームを取得することが可能である。

上述したように、カメラ１が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、カメラ１の増幅器１４の増幅率を増減させることにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適した輝度で撮像することができる。

以下に、上述した構成の撮像システム１００において、カメラ１が撮像した画像フレームに基づいて、制御装置２が行なうカメラ１におけるゲイン（増幅率）の調整処理について説明する。図２は実施の形態１に係る撮像システム１００におけるカメラ１のゲインを調整する調整処理手順を示すフローチャートであり、制御装置２のＣＰＵ２０は、まずカメラ１が撮像する画像フレームを取得して（Ｓ１）、フレームメモリ２３に記憶させる。また、ＣＰＵ２０は、ＨＤ２１の領域検出処理プログラムを実行し、フレームメモリ２３に記憶してある画像フレームから、被写体である運転者の顔の撮像領域を検出する（Ｓ２）。尚、この顔の領域検出処理については後に詳述する。

次にＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる各画素データの平均を算出することにより顔の撮像領域の平均輝度を算出し（Ｓ３）、算出した平均輝度と、ＨＤ２１が記憶する所定の輝度範囲を示す最大輝度値とを比較し、算出した平均輝度が最大輝度値よりも大きいか否かを判断する（Ｓ４）。ＣＰＵ２０は、平均輝度が最大輝度値よりも大きいと判断した場合（Ｓ４：ＹＥＳ）、カメラ１のゲインを所定値下げるようにカメラ１を制御し（Ｓ５）、ゲインを所定値下げた状態でカメラ１が撮像した画像フレームを取得して（Ｓ６）、ステップＳ２の処理に戻る。

ＣＰＵ２０は、ゲインを下げて撮像した画像フレームについて、顔の領域検出処理を実行し（Ｓ２）、検出した顔の撮像領域に含まれる各画素データの平均を算出することによりこの領域の平均輝度を算出し（Ｓ３）、算出した平均輝度がＨＤ２１に記憶する最大輝度値よりも小さい値となるまでステップＳ２からＳ６までの処理を繰り返す。ＣＰＵ２０は、ステップＳ４で、画像フレームについて、顔の撮像領域における平均輝度が最大輝度値よりも小さいと判断した場合（Ｓ４：ＮＯ）、ステップＳ３で算出した平均輝度と、ＨＤ２１が記憶する所定の輝度範囲を示す最小輝度値とを比較し、算出した平均輝度が最小輝度値よりも小さいか否かを判断する（Ｓ７）。

ＣＰＵ２０は、平均輝度が最小輝度値よりも小さいと判断した場合（Ｓ７：ＹＥＳ）、カメラ１のゲインを所定値上げるようにカメラ１を制御し（Ｓ８）、ゲインを所定値上げた状態でカメラ１が撮像した画像フレームを取得して（Ｓ９）、ステップＳ２の処理に戻る。また、ＣＰＵ２０は、ゲインを上げて撮像した画像フレームについて、顔の領域検出処理を実行し（Ｓ２）、検出した顔の撮像領域に含まれる各画素データの平均を算出することによりこの領域の平均輝度を算出し（Ｓ３）、算出した平均輝度がＨＤ２１に記憶する最大輝度値よりも小さく、最小輝度値よりも大きい値となるまでステップＳ２からＳ９までの処理を繰り返す。

ＣＰＵ２０は、平均輝度が最小輝度値よりも大きいと判断した場合（Ｓ７：ＮＯ）、カメラ１又は制御装置２の電源がオフされた場合や、カメラ１又は制御装置２の操作部（図示せず）が操作されることにより上述したようなカメラ１のゲインの調整処理の終了が指示されたか否かを判断しており（Ｓ１０）、ゲインの調整処理の終了が指示されていない場合（Ｓ１０：ＮＯ）、順次カメラ１が撮像する画像フレームを取得し（Ｓ１１）、上述したステップＳ２からＳ１１までの処理を繰り返す。尚、ゲインの調整処理の終了が指示された場合（Ｓ１０：ＹＥＳ）、ＣＰＵ２０は上述のゲイン調整処理における各処理を終了する。

上述したように、監視対象として運転者の顔を撮像した画像フレームにおいて、運転者の顔の撮像領域における平均輝度が、画像処理を実行する際に適切であると設定された輝度範囲内の値となるように、カメラ１のゲインを調整することにより、背景領域の輝度に影響されず、監視対象である顔の撮像領域の輝度に基づくゲイン調整を実行し、被写体としての運転者の顔の撮像領域が、画像処理の実行に適した輝度を有する画像フレームを撮像することができる。

以下に、上述した構成の撮像システム１００において、制御装置２が行なうカメラ１のゲイン調整処理におけるサブルーチンである顔の領域検出処理（図２におけるステップＳ２）について説明する。尚、本実施の形態では、ＣＰＵ２０は、カメラ１が撮像する画像フレームに基づいて、この画像フレームに含まれる被写体としての運転者の水平方向における顔の領域を検出するように構成されている。図３は実施の形態１に係る制御装置２による顔の領域検出処理手順を示すフローチャートであり、ＣＰＵ２０は、ＨＤ２１の領域検出処理プログラムを実行し、画像フレームの垂直方向に隣合って配列される各画素データを順次加算する（Ｓ２１）。

図４は制御装置２による顔の領域の検出処理を説明するための図であり、図４（ａ）はカメラ１が撮像した画像フレームの例を示している。図４（ａ）においてＸは画像フレームにおける水平方向を、Ｙは画像フレームにおける垂直方向を夫々示しており、画像フレームは水平方向Ｘ及び垂直方向Ｙ夫々に複数の画素データが配列してある。ＣＰＵ２０は、画像フレームの垂直方向Ｙに配列される画素データを順次加算することにより、図４（ｂ）に示すようなグラフを算出する。図４（ｂ）のグラフにおいては、横軸に水平方向Ｘを、縦軸に算出された加算値、具体的には輝度和を夫々示している。

ここで、顔の領域は、髪の領域及び背景領域と比較して明るく撮像される傾向にあり、上述のように算出した輝度和に基づき顔の領域を特定することができ、本実施の形態におけるＣＰＵ２０は、ＨＤ２１に予め設定された閾値としての所定の輝度値を用い、上述のように算出された輝度和が所定の輝度値よりも大きい場合に、当該輝度和に算出された画素データは、顔の領域内の画像データであると判断し、顔の領域を特定する（Ｓ２２）。具体的には、ＣＰＵ２０は、上述のように算出した輝度和と所定の輝度値とを比較し、その結果が、前記輝度和が所定の輝度値よりも大きい領域、例えば、図４（ｃ）中にＦ１で示す領域を顔の領域と特定することができる。尚、図４（ｃ）中のＦ１ａは顔の領域の左端位置を、Ｆ１ｂは顔の領域の右端位置を夫々示している。

また、画像フレームの水平方向の画素データの変化は、背景の領域から顔の領域へ、及び顔の領域から背景の領域へ変化する箇所が、他の箇所と比較して大きく変化する傾向にあり、上述のように算出した輝度和の変化量に基づいても顔の領域を特定することができる。従って、ＣＰＵ２０は、上述のように算出した輝度和について、水平方向Ｘの各位置において、各位置の輝度和を中心として、水平方向Ｘの左右に所定数の画素間での変化量を算出し、夫々算出された変化量が大きく変化する位置、例えば、図４（ｄ）中にＦ２ａで示す位置を、水平方向Ｘにおける顔の輪郭部分であると特定する特定手段として動作し、顔の領域の左端位置として顔の領域を特定する（Ｓ２３）。

尚、図４（ｄ）においては、変化量に基づく顔の領域の特定処理によっては、顔の領域の右端位置は特定されず、このような場合には、図４（ｃ）に示すように、所定の輝度値に基づき特定された右端位置Ｆ１ｂを、顔の領域の右端位置として顔の領域を特定し、ＣＰＵ１０は、特定した顔の領域をＲＡＭ１２に記憶して（Ｓ２４）、顔の領域検出処理を終了する。

上述したように、カメラ１が撮像する画像フレーム中の処理対象となる領域、即ち、運転者の顔の撮像領域における輝度情報（平均輝度）に基づいて、撮像部１３から出力されるアナログ信号を増幅させる際の増幅率を増減させることにより、背景領域のように処理対象ではない領域における輝度情報に影響されず、画像処理の実行に適した輝度にて被写体を撮像することができる。尚、カメラ１が撮像する画像フレームから、画像処理の処理対象としての顔の撮像領域を検出する方法は、上述したような、画像フレームの水平方向の領域を検出する方法には限られない。

（実施の形態２）
以下に、実施の形態２に係る撮像システムについて説明する。尚、上述した実施の形態１の撮像システム１００と同様の構成を有するものについては同一の符号を付して説明を省略する。図５は実施の形態２に係る撮像システムの構成例を示すブロック図であり、図中１０１は実施の形態２の撮像システムを示している。撮像システム１０１は、撮像手段としてのカメラ１と、被写体に対して光を照射する照射手段としてのＬＥＤ（Light Emitting Diode）３と、カメラ１及びＬＥＤ３の動作を制御する制御装置２とを備えている。また、カメラ１と制御装置２とは、上述した実施の形態１の撮像システム１００と同様にケーブルＣを介して接続されている。

制御装置２は、ケーブルＣ１を介してＬＥＤ３を制御するためのＬＥＤ用インタフェース２６を備えており、ＬＥＤ用インタフェース２６に接続されたケーブルＣ１を介してＬＥＤ３と接続している。尚、カメラ１、制御装置２及びＬＥＤ３は夫々、専用のケーブルＣ、Ｃ１で接続されるだけでなく、車載ＬＡＮ等のネットワークを介して接続することも可能である。また、本実施の形態の制御装置２において、ＣＰＵ２０は、カメラ１が撮像した画像フレームの画素データ（輝度情報）に基づいてＬＥＤ３が照射する光の照射強度及び照射時間の増減を制御する光量調整手段として動作する。ここで、カメラ１のシャッター（図示せず）の開放時間以上にＬＥＤ３の照射時間を増加させた場合や、シャッターが開いていないときにＬＥＤ３を照射させた場合には、画像フレーム中の各画素データが示す輝度情報は変化しないため、ＣＰＵ２０は、カメラ１のシャッターの開放時間（シャッタースピード）に同期させて、ＬＥＤ３の照射タイミング及び照射時間を制御する。

上述した構成の撮像システム１０１において、制御装置２のＣＰＵ２０は、実施の形態１の制御装置２と同様に、ケーブルＣを介して順次カメラ１から取得してフレームメモリ２３に記憶する画像フレームに対して、ＨＤ２１の領域検出処理プログラムをＲＡＭ２２に読み出して順次実行して、被写体として撮像した運転者の顔の撮像領域を検出する。また、ＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる画素データが示す各画素の輝度値の平均（平均輝度）を算出し、算出した平均輝度を、閾値としてＨＤ２１に記憶する最小輝度値及び最大輝度値と比較する。

また、ＣＰＵ２０は、比較した結果、顔の撮像領域における平均輝度が最小輝度値よりも小さい場合に、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に増加させ、カメラ１の撮像部１３に入力される光の光量を増加させるようにＬＥＤ３を制御する。一方、顔の撮像領域の平均輝度が最大輝度値よりも大きい場合に、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に減少させ、カメラ１の撮像部１３に入力される光の光量を減少させるようにＬＥＤ３を制御する。これにより、カメラ１は、画像フレーム中の顔の撮像領域が、画像処理を精度よく実行できる輝度を有する画像フレームを取得することが可能である。

上述したように、カメラ１が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、ＬＥＤ３が被写体である運転者の顔に照射する光の照射強度及び照射時間を増減させることにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適切な輝度で撮像することが可能となる。

以下に、上述した構成の撮像システム１０１において、カメラ１が撮像した画像フレームに基づいて、制御装置２が行なうＬＥＤ３における光量の調整処理について説明する。図６は実施の形態２に係る撮像システム１０１におけるＬＥＤ３の光量を調整する調整処理手順を示すフローチャートであり、制御装置２のＣＰＵ２０は、まずカメラ１が撮像する画像フレームを取得して（Ｓ３１）、フレームメモリ２３に記憶させる。また、ＣＰＵ２０は、ＨＤ２１の領域検出処理プログラムを実行し、フレームメモリ２３に記憶してある画像フレームから、被写体である運転者の顔の撮像領域を検出する（Ｓ３２）。尚、この顔の領域検出処理は、上述した実施の形態１と同様であるので説明を省略する。

次にＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる各画素データの平均を算出することにより顔の撮像領域の平均輝度を算出し（Ｓ３３）、算出した平均輝度と、ＨＤ２１が記憶する所定の輝度範囲を示す最大輝度値とを比較し、算出した平均輝度が最大輝度値よりも大きいか否かを判断する（Ｓ３４）。ＣＰＵ２０は、平均輝度が最大輝度値よりも大きいと判断した場合（Ｓ３４：ＹＥＳ）、ＬＥＤ３が照射する光の光量を減少させるように制御し（Ｓ３５）、減少された光量でＬＥＤ３を発光させたときにカメラ１が撮像した画像フレームを取得して（Ｓ３６）、ステップＳ３２の処理に戻る。尚、ＬＥＤ３の光量は、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に変更することにより増減される。

ＣＰＵ２０は、ＬＥＤ３の光量を減少させて撮像した画像フレームについて、顔の領域検出処理を実行し（Ｓ３２）、検出した顔の撮像領域に含まれる各画素データの平均を算出することによりこの領域の平均輝度を算出し（Ｓ３３）、算出した平均輝度が、ＨＤ２１に記憶する最大輝度値よりも小さい値となるまでステップＳ３２からＳ３６までの処理を繰り返す。ＣＰＵ２０は、ステップＳ３４で、画像フレームについて、顔の撮像領域における平均輝度が最大輝度値よりも小さいと判断した場合（Ｓ３４：ＮＯ）、ステップＳ３３で算出した平均輝度と、ＨＤ２１が記憶する所定の輝度範囲を示す最小輝度値とを比較し、算出した平均輝度が最小輝度値よりも小さいか否かを判断する（Ｓ３７）。

ＣＰＵ２０は、平均輝度が最小輝度値よりも小さいと判断した場合（Ｓ３７：ＹＥＳ）、ＬＥＤ３の光量を増加させるように制御し（Ｓ３８）、増加された光量でＬＥＤ３を発光させたときにカメラ１が撮像した画像フレームを取得して（Ｓ３９）、ステップＳ３２の処理に戻る。また、ＣＰＵ２０は、ＬＥＤ３の光量を増加させて撮像した画像フレームについて、顔の領域検出処理を実行し（Ｓ３２）、検出した顔の撮像領域に含まれる各画素データの平均を算出することによりこの領域の平均輝度を算出し（Ｓ３３）、算出した平均輝度が、ＨＤ２１に記憶する最大輝度値よりも小さく、最小輝度値よりも大きい値となるまでステップＳ３２からＳ３９までの処理を繰り返す。

ＣＰＵ２０は、平均輝度が最小輝度値よりも大きいと判断した場合（Ｓ３７：ＮＯ）、カメラ１又は制御装置２の電源がオフされた場合や、カメラ１又は制御装置２の操作部が操作されることにより上述したようなＬＥＤ３の光量の調整処理の終了が指示されたか否かを判断しており（Ｓ４０）、光量の調整処理の終了が指示されていない場合（Ｓ４０：ＮＯ）、順次カメラ１が撮像する画像フレームを取得し（Ｓ４１）、上述したステップＳ３２からＳ４１までの処理を繰り返す。尚、ＬＥＤ３の光量の調整処理の終了が指示された場合（Ｓ４０：ＹＥＳ）、ＣＰＵ２０は上述した光量調整処理における各処理を終了する。

上述したように、監視対象として運転者の顔を撮像した画像フレームにおいて、運転者の顔の撮像領域における平均輝度が、画像処理を実行するのに適切であると設定された輝度範囲内の値となるように、ＬＥＤ３が照射する光の照射強度及び照射時間を調整することにより、背景領域の輝度に影響されずに、監視対象の撮像領域の輝度に基づくＬＥＤ３の光量調整を実行し、被写体としての運転者の顔の撮像領域が、画像処理の実行に適した輝度を有する画像フレームを撮像することができる。

（実施の形態３）
以下に、実施の形態３に係る撮像システムについて説明する。尚、上述した実施の形態２の撮像システム１０１と同様の構成を有するものについては同一の符号を付して説明を省略する。図７は実施の形態３に係る撮像システムの構成例を示すブロック図であり、図中１０２は実施の形態３の撮像システムを示している。撮像システム１０２は、実施の形態２の撮像システム１０１と同様に、カメラ１と、ＬＥＤ３と、カメラ１及びＬＥＤ３の動作を制御する制御装置２とを備えている。また、本実施の形態の制御装置２は、フレームメモリ２３の他に、フレームメモリ２３に記憶してある画像フレームを後の処理に利用する際に記憶しておくための保存用フレームメモリ２７を備えている。

更に、本実施の形態の制御装置２は、上述した実施の形態１及び２における制御装置２のＨＤ２１が記憶する領域検出処理プログラムを有しておらず、ＣＰＵ２０は、異なる光量でＬＥＤ３を発光させた場合に撮像した２つの画像フレームに基づいて、これらの画像フレーム中の、被写体として撮像された運転者の顔の撮像領域を検出するように構成されている。

具体的には、制御装置２において、ＣＰＵ２０がＬＥＤ３を発光させずにカメラ１が撮像した画像フレームを一旦フレームメモリ２３に記憶させた後、この画像フレームをフレームメモリ２３から読み出して保存用フレームメモリ２７に記憶させる。次に、ＣＰＵ２０が所定の光量でＬＥＤ３を発光させてカメラ１が撮像した画像フレームをフレームメモリ２３に記憶させる。従って、保存用フレームメモリ２７は、ＣＰＵ２０の制御による第１光量としてＬＥＤ３を発光させずに撮像した画像フレームを記憶する第１記憶手段として動作し、フレームメモリ２３は、ＣＰＵ２０の制御による第２光量としてＬＥＤ３を発光させて撮像した画像フレームを記憶する第２記憶手段として動作する。

ＣＰＵ２０は、保存用フレームメモリ２７に記憶してある画像フレームと、フレームメモリ２３に記憶してある画像フレームとについて、対応する画素の画素データ（輝度値）の差分（差分値）を算出する差分算出手段として動作する。また、ＣＰＵ２０は、算出した差分を、ＨＤ２１に記憶する所定の閾値と比較し、比較した結果、算出した差分が所定の閾値よりも大きい領域を検出する。

ここで、ミラー又はハンドルの近傍に取り付けたカメラ１及びＬＥＤ３を利用して運転者の顔を撮像した場合、背景と比較して撮像距離が短い運転者の顔が、ＬＥＤ３が照射する光の影響を受け易い。従って、上述したように、ＬＥＤ３を発光させて撮像した画像フレームと、ＬＥＤ３を発光させずに撮像した画像フレームとにおいて、各画素データにおける差分が大きい領域は、運転者の顔の撮像領域であると特定することができる。

上述した構成の撮像システム１０２において、制御装置２のＣＰＵ２０は、カメラ１が撮像した画像フレームに対して、上述した処理を実行することにより、被写体として撮像した運転者の顔からの反射光に基づいて、カメラ１の撮像部１３、増幅器１４及びＡ／Ｄ変換器１５が生成した顔の撮像領域を検出する。また、ＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる画素データが示す各画素の輝度値の平均を算出し、算出した平均輝度を、閾値としてＨＤ２１に記憶する最小輝度値及び最大輝度値と比較する。

また、ＣＰＵ２０は、比較した結果、顔の撮像領域における平均輝度が最小輝度値よりも小さい場合に、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に増加させ、カメラ１の撮像部１３に入力される光の光量を増加させるようにＬＥＤ３を制御する。一方、顔の撮像領域の平均輝度が最大輝度値よりも大きい場合に、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に減少させ、カメラ１の撮像部１３に入力される光の光量を減少させるようにＬＥＤ３を制御する。

上述したように、カメラ１が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、ＬＥＤ３が被写体である運転者の顔に照射する光の照射強度及び照射時間を増減させることにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適切な輝度で撮像することが可能となる。

尚、上述した構成の撮像システム１０２において、カメラ１が撮像する画像フレームに基づいて、制御装置２が行なうＬＥＤ３における光量の調整処理については、上述した実施の形態２（図６）と同様であるので説明を省略する。

以下に、上述した構成の撮像システム１０２において、制御装置２が行なうＬＥＤ３の光量の調整処理におけるサブルーチンである顔の領域検出処理について説明する。図８は実施の形態３に係る制御装置２による顔の領域検出処理手順を示すフローチャートであり、ＣＰＵ２０は、ケーブルＣ１を介してＬＥＤ３を発光させない場合にカメラ１が撮像した画像フレームを取得してフレームメモリ２３に一旦記憶した後、保存用フレームメモリ２７に記憶させる（Ｓ５１）。次にＣＰＵ２０は、ＬＥＤ３を所定の光量にて発光させた場合にカメラ１が撮像した画像フレームを取得してフレームメモリ２３に記憶させる（Ｓ５２）。

次にＣＰＵ２０は、保存用フレームメモリ２７に記憶してある画像フレームと、フレームメモリ２３に記憶してある画像フレームとについて、対応する画素の画素データの差分値を算出し（Ｓ５３）、算出した各差分値と所定の閾値とを比較する。ＣＰＵ２０は、比較した結果、算出した差分値が所定の閾値よりも大きい値を有する領域を抽出し（Ｓ５４）、抽出した領域を、被写体としての運転者の顔の撮像領域であると特定して顔の領域検出処理を終了する。

このように、ＬＥＤ３を発光させて撮像した画像フレームと、ＬＥＤ３を発光させずに撮像した画像フレームとにおいて、各画素における画素データの差分値が大きい領域を、運転者の顔の撮像領域であると特定することにより、比較的単純な処理にて、画像処理の処理対象である領域を検出することができる。尚、上述した実施の形態３における撮像システム１０２では、ＣＰＵ２０が、ＬＥＤ３により運転者の顔に照射する光の照射強度及び照射時間を増減させることにより、被写体である運転者の顔の撮像領域が、画像処理の実行に適切な輝度を有する画像フレームを撮像しているが、実施の形態１における撮像システム１００と同様に、ＣＰＵ２０が、カメラ１の増幅器１４の増幅率を増減させる構成であっても同様の効果が得られる。

（実施の形態４）
以下に、実施の形態４に係る撮像システムについて説明する。尚、本実施の形態の撮像システムは、上述した実施の形態３の撮像システム１０２と同様の構成であるので説明を省略する。

本実施の形態の撮像システムにおいて、制御装置２のＣＰＵ２０は、上述の実施の形態３で説明したように、ＬＥＤ３を発光させないで撮像した画像フレームと、ＬＥＤ３を発光させて撮像した画像フレームとに基づいて、画像フレーム中の顔の撮像領域を検出するように構成してある。また、ＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、検出した顔の撮像領域に含まれる各画素データが示す各画素の平均輝度を算出し、算出した平均輝度を、閾値としてＨＤ２１に記憶する最小輝度値及び最大輝度値と比較する。

また、ＣＰＵ２０は、比較した結果、顔の撮像領域における平均輝度が最小輝度値よりも小さい場合に、カメラ１の増幅器１４における増幅率を増加させるようにカメラ１を制御するとともに、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に増加させ、カメラ１の撮像部１３に入力される光の光量を増加させるようにＬＥＤ３を制御する。一方、顔の撮像領域における平均輝度が最大輝度値よりも大きい場合に、カメラ１の増幅器１４における増幅率を減少させるようにカメラ１を制御するとともに、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に減少させ、カメラ１の撮像部１３に入力される光の光量を減少させるようにＬＥＤ３を制御する。

ここで、ＬＥＤ３が照射する光の照射強度及び照射時間の増減による画像フレームの輝度の調整は、カメラ１の増幅器１４における増幅率の増減による場合と比較して、微妙な調整が可能である。そこで、本実施の形態では、ＣＰＵ２０は、上述のように算出した顔の撮像領域の平均輝度が最小輝度値よりも所定値以上小さい場合に、カメラ１の増幅器１４の増幅率を増加させ、また、顔の撮像領域の平均輝度と最小輝度値との差が所定値以下である場合に、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に増加させるように、カメラ１及びＬＥＤ３を制御する。一方、ＣＰＵ２０は、顔の撮像領域の平均輝度が最大輝度値よりも所定値以上大きい場合に、カメラ１の増幅器１４の増幅率を減少させ、また、顔の撮像領域の平均輝度と最大輝度値との差が所定値以下である場合に、ＬＥＤ３が照射する光の照射強度及び照射時間を適切に減少させるように、カメラ１及びＬＥＤ３を制御する。

上述したように、カメラ１が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、ＬＥＤ３が被写体である運転者の顔に照射する光の照射強度及び照射時間を増減させ、また、カメラ１の増幅器１４の増幅率を増減させることにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適した輝度で撮像することが可能となるとともに、画像フレームにおける輝度情報の微調整も可能である。

以下に、本実施の形態の撮像システムにおいて、カメラ１が撮像した画像フレームに基づいて、制御装置２が行なうＬＥＤ３における光量の調整処理及びカメラ１におけるゲインの調整処理について説明する。図９は実施の形態４に係る撮像システムにおけるＬＥＤ３の光量を調整する調整処理手順及びカメラ１のゲインを調整する調整処理手順を示すフローチャートであり、制御装置２のＣＰＵ２０は、まずカメラ１が撮像する画像フレームを取得して（Ｓ６１）、フレームメモリ２３に記憶させる。また、ＣＰＵ２０は、上述の実施の形態３（図８）で説明した顔の領域検出処理実行し、フレームメモリ２３に記憶してある画像フレームから、被写体である運転者の顔の撮像領域を検出する（Ｓ６２）。具体的には、ＬＥＤ３を発光させずに撮像した画像フレームと、ＬＥＤ３を発光させて撮像した画像フレームとに基づく顔の領域検出処理を実行する。

次にＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる各画素データの平均を算出することにより顔の撮像領域の平均輝度を算出し（Ｓ６３）、算出した平均輝度と、ＨＤ２１が記憶する所定の輝度範囲を示す最大輝度値とを比較し、算出した平均輝度が最大輝度値よりも大きいか否かを判断する（Ｓ６４）。ＣＰＵ２０は、平均輝度が最大輝度値よりも大きいと判断した場合（Ｓ６４：ＹＥＳ）、平均輝度と最大輝度値との差が所定値以上あり、平均輝度が最大輝度値よりも所定値以上大きいか否かを判断する（Ｓ６５）。ＣＰＵ２０は、所定値以上大きいと判断した場合（Ｓ６５：ＹＥＳ）、カメラ１のゲイン（増幅率）を所定値下げるようにカメラ１を制御し（Ｓ６６）、ゲインを所定値下げた状態でカメラ１が撮像した画像フレームを取得して（Ｓ６７）、ステップＳ６２の処理に戻る。

また、ＣＰＵ２０は、平均輝度が最大輝度値よりも大きく、平均輝度と最大輝度値との差が所定値未満であると判断した場合（Ｓ６５：ＮＯ）、ＬＥＤ３が照射する光の光量を減少させるように制御し（Ｓ６８）、減少された光量でＬＥＤ３を発光させたときにカメラ１が撮像した画像フレームを取得して（Ｓ６９）、ステップＳ６２の処理に戻る。ＣＰＵ２０は、画像フレーム中の顔の撮像領域の平均輝度が、ＨＤ２１に記憶する最大輝度値よりも小さい値となるまでステップＳ６２からＳ６９までの処理を繰り返す。ＣＰＵ２０は、ステップＳ６４で、画像フレーム中の顔の撮像領域の平均輝度が最大輝度値よりも小さいと判断した場合（Ｓ６４：ＮＯ）、ステップＳ６３で算出した平均輝度と、ＨＤ２１が記憶する所定の輝度範囲を示す最小輝度値とを比較し、算出した平均輝度が最小輝度値よりも小さいか否かを判断する（Ｓ７０）。

ＣＰＵ２０は、平均輝度が最小輝度値よりも小さいと判断した場合（Ｓ７０：ＹＥＳ）、平均輝度と最小輝度値との差が所定値以上あり、平均輝度が最小輝度値よりも所定値以上小さいか否かを判断する（Ｓ７１）。ＣＰＵ２０は、所定以上小さいと判断した場合（Ｓ７１：ＹＥＳ）、カメラ１のゲインを所定値上げるようにカメラ１を制御し（Ｓ７２）、ゲインを所定値上げた状態でカメラ１が撮像した画像フレームを取得して（Ｓ７３）、ステップＳ６２の処理に戻る。また、ＣＰＵ２０は、平均輝度が最小輝度値よりも小さく、平均輝度と最小輝度値との差が所定値未満であると判断した場合（Ｓ７１：ＮＯ）、ＬＥＤ３が照射する光の光量を増加させるように制御し（Ｓ７４）、増加された光量でＬＥＤ３を発光させたときにカメラ１が撮像した画像フレームを取得して（Ｓ７５）、ステップＳ６２の処理に戻る。

ＣＰＵ２０は、画像フレーム中の顔の撮像領域の平均輝度が、ＨＤ２１に記憶する最大輝度値よりも小さく、最小輝度値よりも大きい値となるまでステップＳ６２からＳ７５までの処理を繰り返す。また、ＣＰＵ２０は、平均輝度が最小輝度値よりも大きいと判断した場合（Ｓ７０：ＮＯ）、カメラ１又は制御装置２の電源がオフされた場合や、カメラ１又は制御装置２の操作部が操作されることにより上述したような、カメラ１のゲインの調整処理及びＬＥＤ３の光量の調整処理の終了が指示されたか否かを判断しており（Ｓ７６）、光量の調整処理の終了が指示されていない場合（Ｓ７６：ＮＯ）、順次カメラ１が撮像する画像フレームを取得し（Ｓ７７）、上述したステップＳ６２からＳ７７までの処理を繰り返す。尚、カメラ１のゲインの調整処理及びＬＥＤ３の光量の調整処理の終了が指示された場合（Ｓ７６：ＹＥＳ）、ＣＰＵ２０は上述した調整処理における各処理を終了する。

上述したように、監視対象として運転者の顔を撮像した画像フレームにおいて、運転者の顔の撮像領域における平均輝度が、画像処理を実行するのに適切であると設定された輝度範囲内の値となるように、カメラ１のゲインを調整し、また、ＬＥＤ３が照射する光の照射強度及び照射時間を調整することにより、撮像した画像フレームにおける輝度情報の微調整が可能であり、背景領域の輝度に影響されずに、監視対象の撮像領域の輝度に基づくＬＥＤ３の光量調整を実行し、被写体としての運転者の顔の撮像領域が、画像処理の実行に適した輝度を有する画像フレームを撮像することができる。

ここで、上述した実施の形態４における撮像システムでは、実施の形態３で説明したように、ＬＥＤ３を発光させずに撮像した画像フレーム及びＬＥＤ３を発光して撮像した画像フレームに基づいて、画像処理対象である運転者の顔の撮像領域を検出しているが、実施の形態１及び２において説明したような領域検出処理プログラムをＣＰＵ２０が実行する構成であっても同様の効果が得られる。

尚、カメラ１が撮像する画像フレームから、被写体としての運転者の顔の撮像領域を検出する処理として、実施の形態１及び２では、カメラ１が撮像する画像フレームに含まれる運転者の水平方向における顔の領域を検出する処理を実行し、実施の形態３及び４では、ＬＥＤ３を発光させずに撮像した画像フレーム及びＬＥＤ３を発光して撮像した画像フレームの差分から運転者の顔の領域を検出する処理を実行しているが、これらの処理に限られない。また、上述した実施の形態２乃至４においては、カメラ１が撮像する画像フレームにおける輝度を調整する方法として、ＬＥＤ３が照射する光の照射強度及び照射時間を増減するように構成してあるが、外部から撮像部１３へ入力される光の量を調整する絞りを開閉させる構成であってもよい。

実施の形態１に係る撮像システムの構成例を示すブロック図である。 実施の形態１に係る撮像システムにおけるカメラのゲインを調整する調整処理手順を示すフローチャートである。 実施の形態１に係る制御装置による顔の領域検出処理手順を示すフローチャートである。 制御装置による顔の領域の検出処理を説明するための図である。 実施の形態２に係る撮像システムの構成例を示すブロック図である。 実施の形態２に係る撮像システムにおけるＬＥＤの光量を調整する調整処理手順を示すフローチャートである。 実施の形態３に係る撮像システムの構成例を示すブロック図である。 実施の形態３に係る制御装置による顔の領域検出処理手順を示すフローチャートである。 実施の形態４に係る撮像システムにおけるＬＥＤの光量を調整する調整処理手順及びカメラのゲインを調整する調整処理手順を示すフローチャートである。

符号の説明

１００，１０１，１０２ 撮像システム
１ カメラ（撮像手段）
１０ ＭＰＵ（増幅率変更手段）
１３ 撮像部（撮像素子）
１４ 増幅器（増幅手段）
１５ Ａ／Ｄ変換器（生成手段）
２０ ＣＰＵ（光量調整手段、差分算出手段、検出手段、平均算出手段、比較手段）
２３ フレームメモリ（第２記憶手段）
２７ 保存用フレームメモリ（第１記憶手段）
３ ＬＥＤ（照射手段）

Claims (3)

1. 顔を有する被写体を撮像し、水平方向及び垂直方向の夫々に複数の画素データが配列された画像データを取得する撮像手段と、前記撮像手段が取得した画像データに基づいて光量を調整する光量調整手段とを備える撮像システムにおいて、
   前記撮像手段が取得した画像データから、垂直方向に配列された画素データを加算して得た加算値に基づいて、前記被写体の顔の領域を検出する検出手段と、
   前記検出手段が検出した顔の領域における画素データの平均を算出する平均算出手段と、
   前記平均算出手段が算出した平均を所定の範囲と比較する比較手段とを備え、
   前記光量調整手段は、前記平均が所定の範囲よりも小さい場合に光量を増加させ、前記平均が所定の範囲よりも大きい場合に光量を減少させ、
   前記撮像手段は、前記光量調整手段により調整された光量を用いて、前記顔を有する被写体の撮像処理を繰り返すように構成してあることを特徴とする撮像システム。
2. 前記顔を有する被写体に光を照射する照射手段を備え、
   前記光量調整手段は、
   前記照射手段が照射する光の照射強度及び照射時間を増減させるように構成してあることを特徴とする請求項１に記載の撮像システム。
3. 顔を有する被写体を撮像して外部から入力される光を電気信号に変換する撮像素子と、前記撮像素子が変換した電気信号を所定の増幅率にて増幅する増幅手段と、前記増幅手段が増幅した電気信号に基づいて、水平方向及び垂直方向の夫々に複数の画素データが配列された画像データを生成する生成手段とを備える撮像システムにおいて、
   前記生成手段が生成した画像データから、垂直方向に配列された画素データを加算して得た加算値に基づいて、前記被写体の顔の領域を検出する検出手段と、
   前記検出手段が検出した顔の領域における画素データの平均を算出する平均算出手段と、
   前記平均算出手段が算出した平均を所定の範囲と比較する比較手段と、
   前記平均が所定の範囲よりも小さい場合に前記増幅率を増加させ、前記平均が所定の範囲よりも大きい場合に前記増幅率を減少させる増幅率変更手段とを備え、
   前記増幅率変更手段により変更された増幅率にて前記増幅手段により増幅された電気信号に基づいて前記生成手段が画像データを生成することにより、前記顔を有する被写体の撮像処理を繰り返すことを特徴とする撮像システム。

Images