JP4679175B2

JP4679175B2 - 撮像システム及び制御装置

Info

Publication number: JP4679175B2
Application number: JP2005051990A
Authority: JP
Inventors: 幸三馬場; 寿雄伊藤; 明義田福; 知信 ▲高▼島; 卓片桐
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2005-02-25
Filing date: 2005-02-25
Publication date: 2011-04-27
Anticipated expiration: 2025-02-25
Also published as: JP2006235401A

Description

本発明は、被写体を撮像して得られた画像データを処理する撮像システム、及び該撮像システムにて用いられる制御装置に関し、特に画像データの輝度を適正化する撮像システム及び制御装置に関する。

ＣＣＤ（Charge Coupled Device）等の撮像素子を利用して外部から入力される光学像を取り込み、画像データを生成する撮像装置は、良好な画質の画像データを取得するために、入力される光学像の光量を適切に調整する機能を備えている。また、撮像装置は、良好な明るさの画像データを取得するために、光学像を取り込んだ撮像素子が出力する電気信号を適切な増幅率にて増幅した後、Ａ／Ｄ（アナログ／デジタル）変換して画像データを生成する。さらに、撮像装置は、良好なコントラストの画像データを取得するために、取得した画像データの輝度をγ補正と呼ばれる方法により変換している。

撮像装置は、良好な画質及び明るさの画像データを取得するためにゲイン調整機能を備えている。ゲイン調整機能として、例えば、ＡＧＣ（オート・ゲイン・コントロール）では、撮像する画像データ中の各画素データが示す輝度値の平均が、予め設定してある輝度値よりも小さい場合に増幅率を増加させ、また、予め設定してある輝度値よりも大きい場合に増幅率を減少させる。尚、良好な画質の画像データを撮像すべくゲイン調整機能を備えた撮像装置としては、以下の特許文献１乃至３に示すものがある。
特開２００１−１１９６２２号公報特開２００２−３１４８７４号公報特開平９−２８４７８４号公報

しかしながらＡＧＣは、撮像装置の全撮像領域における輝度に従ってゲイン調整を行なうため、背景領域の輝度に影響されるので、画像処理を行なう対象としての被写体の撮像領域が適切な輝度となる画像データを確実に取得することは困難であるという問題がある。例えば、逆光時には被写体が暗く撮像され、順光時には被写体が明るく撮像されてしまう。

特に、撮像装置を用いた監視システムにおいては、撮像装置の撮像領域の一部の輝度が極端に高くなり、監視対象である被写体の撮像領域の輝度に関係なくゲイン調整が行なわれた場合には、監視対象を見失う危険性がある。また、撮像装置の撮像領域に対して被写体が小さく、被写体の撮像領域における輝度変化が、撮像装置の全撮像領域の輝度変化に影響を与えない場合には、ゲイン調整が行なわれないため、監視対象を見失う危険性があるという問題がある。

本発明は斯かる事情に鑑みてなされたものであり、画像処理の対象として撮像する被写体の撮像領域における画像データに基づくゲイン調整又はγ補正を行うことにより、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像データを取得する撮像システム、及び該撮像システムにて用いられる制御装置の提供を目的とする。

本願に記載の撮像システムは、被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を増幅する増幅手段と、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する生成手段と備える撮像システムにおいて、前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、検出した前記領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した前記平均輝度を、予め設定されている基準輝度と比較する比較手段と、画像の輝度に係るゲイン値と対応付けて、照射時間、撮像時間及び増幅率を予め記録するテーブルと、前記平均輝度及び前記基準輝度が異なる場合に、前記基準輝度及び前記平均輝度を用いて算出した第１のゲイン値に基づき、前記テーブルを参照して、前記第１のゲイン値に対応する照射時間、撮像時間及び増幅率を決定する決定手段と、前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する変更手段とを備えることを特徴とする。

本願に記載の撮像システムは、前記比較手段は、前記基準輝度及び前記平均輝度の比に基づいて比較し、前記決定手段は、前記比較手段の比較結果、並びに前記画像データを撮像した際に設定されていた照射時間、撮像時間及び増幅率に基づき決定される第２のゲイン値に基づいて、前記第１のゲイン値を算出することを特徴とする。

本願に記載の制御装置は、被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を所定の増幅率にて増幅する増幅手段とを制御し、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する制御装置において、生成した画像データから前記被写体を示す領域を検出する手段と、検出した前記領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した前記平均輝度を、予め設定されている基準輝度と比較する比較手段と、画像の輝度に係るゲイン値と対応付けて、照射時間、撮像時間及び増幅率を予め記録するテーブルと、前記平均輝度及び前記基準輝度が異なる場合に、前記基準輝度及び前記平均輝度を用いて算出した第１のゲイン値に基づき、前記テーブルを参照して、前記第１のゲイン値に対応する照射時間、撮像時間及び増幅率を決定する決定手段と、前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する手段とを備える。

本願では、被写体を示す領域に含まれる画素データの平均輝度に基づいて、照射時間、撮像時間及び増幅率を変更することにより、画像処理の対象として撮像した被写体を示す領域における画素データに関するゲイン調整を行うので、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像データの取得が可能となる。しかも段階的に調整するのはなく、テーブルに基づいて一回でゲイン調整を行うので、迅速に調整を完了することが可能である。

本願では、被写体を示す領域に含まれる画素データの平均輝度に基づいて、輝度値を所定の指数で累乗して変換する方法等の変換方法を変更、例えば指数を変更することにより、画像処理の対象として撮像した被写体を示す領域における画素データに関するγ補正のパラメータの変更を行うので、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像データの取得が可能となる。しかも撮像して得られたアナログの電気信号を増幅する増幅率の変更を伴わないので、アナログの電気信号に含まれるノイズの増幅を抑制することが可能である。また調整に用いるパラメータは１種類だけであるので、処理負荷の少ない単純な処理での調整が可能である。

本発明に係る撮像システム及び制御装置は、光を照射した被写体を撮像して得られた入力光を電気信号に変換し、更にそれを増幅した電気信号に基づく複数の画素データを含む画像データを生成する。そして本発明では、生成した画像データから被写体を示す領域を検出し、検出した領域に含まれる画素データの平均輝度を算出し、算出した平均輝度に対する基準輝度の比と、予め記録している照射時間、撮像時間及び増幅率並びにそれらから決定されるゲイン値の関係とに基づいて、比に応じたゲイン値を算出し、算出したゲイン値に応じて照射時間、撮像時間及び増幅率を変更する。

この構成により、画像処理の対象として撮像した被写体を示す領域における画素データに関するゲイン調整を行うので、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像データの取得が可能となる等、優れた効果を奏する。しかも段階的に調整するのはなく、テーブルに基づいて一回でゲイン調整を行うので、迅速に調整を完了することが可能である等、優れた効果を奏する。

以下に、本発明に係る撮像システムをその実施の形態を示す図面に基づいて具体的に説明する。

実施の形態１．
実施の形態１に係る撮像システムは、例えば、自動車等の車両に乗車する運転者の顔を撮像できる位置に設置されたカメラで、運転者の顔を被写体として撮像し、得られた画像データに基づいてカメラのゲイン値の調整を行うように構成されている。尚、カメラは、例えば、ミラー又はハンドルの配置位置近傍に取り付けられ、１秒当たり３０枚の画像フレーム（画像データ）を取得するものを用いる。

図１は、本発明の実施の形態１に係る撮像システムの構成例を示すブロック図であり、図中１００は本発明に係る撮像システムを示している。撮像システム１００は、被写体を撮像する撮像手段としてのカメラ１と、システム全体を制御する制御装置２と、被写体に対して光を照射する照射手段としてのＬＥＤ（Light Emitting Diode）３とを備え、制御装置２は、カメラ１及びＬＥＤ３を制御する。尚、光を照射する照射手段としては、ＬＥＤ以外のものを用いても良い。カメラ１及び制御装置２は、専用の第１ケーブルＣ１を介して接続されており、制御装置２及びＬＥＤ３は、専用の第２ケーブルＣ２を介して接続されている。なおカメラ１及びＬＥＤ３と、制御装置２とは、第１ケーブルＣ１及び第２ケーブルＣ２で接続されるだけでなく、車載ＬＡＮ（Local Area Network）等のネットワークを介して接続することも可能である。

カメラ１は、ＭＰＵ（Micro Processor Unit）１０を制御中枢としてバス１８を介して接続される以下のハードウェア各部の動作を制御する。バス１８には、ＭＰＵ１０の制御手順を示す制御プログラム等を記憶したＲＯＭ１１、ＭＰＵ１０による制御動作中に発生する種々のデータを一時的に記憶するＲＡＭ１２、ＣＣＤ等により構成され、外部からの入力光を電気信号に変換する撮像部１３、撮像部１３にて変換されて得られたアナログ信号を所定の増幅率で増幅する増幅器１４、増幅器１４にて増幅されたアナログ信号をデジタル信号に変換してデジタルの画像フレームを生成するＡ／Ｄ変換器１５、ＤＲＡＭ等により構成され、Ａ／Ｄ変換器１５にて生成された画像フレームを一時的に記憶するフレームメモリ１６、第１ケーブルＣ１を介して制御装置２とデータ伝送を行うためのインタフェース１７等が接続されている。

ＭＰＵ１０は、自身が備える時計手段（図示せず）により所定のタイミングを計時しながらバス１８を介して上述したハードウェア各部を制御するとともに、ＲＯＭ１１に記憶してあるカメラ１の動作に必要な種々の制御プログラムを順次実行する。なおカメラ１が備えるＲＯＭ１１には、撮像部１３が入力光を受け付ける撮像時間、所謂シャッタースピードの設定を変更する制御プログラム、及び増幅器１４が入力される電気信号を増幅する際に用いる増幅率の設定を変更する制御プログラムが記憶されており、カメラ１では、制御装置２から第１ケーブルＣ１を介して送信される制御信号が示す指示に基づいて、ＭＰＵ１０の制御により、撮像時間の設定及び増幅率の設定を変更する。更に、Ａ／Ｄ変換器１５は、増幅器１４から順次出力されるアナログの画像フレームを、例えば各画素の輝度を２５６階調（１Ｂｙｔｅ）に分級された画素データで示すデジタルの画像フレームに変換する。

従って、上述した構成のカメラ１は、ＭＰＵ１０による制御に従って所定のタイミングで撮像部１３が画像フレームをアナログ信号として取り込み、増幅器１４が増幅したアナログ信号をＡ／Ｄ変換器１５がデジタルの画像フレームに変換し、得られた画像フレームを一旦フレームメモリ１６に記憶させる。また、フレームメモリ１６に記憶してある画像フレームはインタフェース１７を介して制御装置２に伝送される。尚、カメラ１は、モノクロの画像フレームを取得するカメラでも、カラーの画像フレームを取得するカメラでもよい。

一方、制御装置２は、コンピュータにより構成されており、制御中枢としてのＣＰＵ（Central Processing Unit）２０、ＣＰＵ２０の制御手順を示す制御プログラム等を記憶したハードディスク（以下、ＨＤという）２１、ＣＰＵ２０による制御動作中に発生する種々のデータを一時的に記憶するＲＡＭ２２、ＤＲＡＭ等により構成され、第１ケーブルＣ１を介して取得した画像フレームを一時的に記憶するフレームメモリ２３、第１ケーブルＣ１を介して様々なデータを伝送するための第１インタフェース２４、第２ケーブルＣ２を介してＬＥＤ３を制御する制御信号を送信する第２インタフェース２５等の回路を備えている。そして制御装置２は、第１インタフェース２４を介して制御信号をカメラ１へ送信することにより、カメラ１に対する撮像時間、増幅率の設定等の制御を行い、第２インタフェース２５を介して制御信号をＬＥＤ３へ送信することにより、ＬＥＤ３に対する照射指示及び照射時間の設定等の制御を行う。

ＣＰＵ２０は、時計手段（図示せず）を備えており、所定のタイミングを計時しながら、バス２６を介して接続される上述したハードウェア各部を制御するとともに、ＨＤ２１に記憶してある制御プログラムを順次実行する。ＨＤ２１は、制御プログラムの他、制御装置２が第１ケーブルＣ１を介してカメラ１から取得した画像フレームから、被写体として撮像した運転者の顔の撮像領域を検出するための領域検出処理プログラムを記憶している。またＨＤ２１には、ＬＥＤ３の照射時間並びにカメラ１の撮像時間及び増幅率の設定値を、照射時間、撮像時間及び増幅率に基づき決定される画像の輝度に係るゲイン値に対応付けて記録するテーブル２１ａが記録されている。さらにＨＤ２１には、画像フレーム内の運転者の顔の輝度を調整する時の基準となる基準輝度等の様々な情報が記録されている。

上述した構成の撮像システム１００において、制御装置２のＣＰＵ２０は、第１ケーブルＣ１を介して順次カメラ１から取得してフレームメモリ２３に記憶してある画像フレームに対して、ＨＤ２１の領域検出処理プログラムをＲＡＭ２２に読み出して順次実行する。従って、ＣＰＵ２０は、被写体として撮像した運転者の顔からの反射光から、カメラ１の撮像部１３、増幅器１４及びＡ／Ｄ変換器１５を介して生成された顔の撮像領域を検出する手段として動作する。また、ＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる画素データが示す各画素の輝度の平均（以下、平均輝度という）を算出する手段として動作する。

更に、ＣＰＵ２０は、上述のように算出した、画像フレーム中の顔の撮像領域における平均輝度を、予め設定されている基準輝度と比較する比較手段として動作する。また、ＣＰＵ２０は、比較結果と、ＬＥＤ３に対して設定している照射時間並びにカメラ１に対して設定している撮像時間及び増幅率から決定される値とに基づいて、比較結果に応じたゲイン値を算出する手段として動作する。更に、ＣＰＵ２０は、算出したゲイン値に応じた照射時間、撮像時間及び増幅率を、テーブル２１ａの記録内容に基づき決定する決定手段として動作する。またＣＰＵ２０は、前記比較手段が比較した結果、平均輝度及び基準輝度が所定の範囲を超えて異なる場合に、前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、照射時間、撮像時間及び増幅率の中の少なくとも一つの設定を変更する手段として動作する。これにより、画像処理の対象として撮像した被写体を示す領域における画素データに関するゲイン調整を行うので、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像フレームの取得が可能となる。

上述したように、カメラ１が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、カメラ１の撮像部１３の撮像時間及び増幅器１４の増幅率並びにＬＥＤ３の照射時間の設定を変更することにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適した輝度で撮像することができる。

図２は、本発明の実施の形態１に係る撮像システムの制御装置２が備えるテーブル２１ａの記録内容の例を概念的に示す図表である。図２に示すようにテーブル２１ａでは、ゲイン値（ｄｂ）に対応付けて、カメラ１の撮像部１３の撮像時間（シャッタースピード）の設定値（μｓｅｃ）、カメラ１の増幅器１４の増幅率の設定値、及びＬＥＤ３の照射時間の設定値（μｓｅｃ）が記録されている。テーブル２１ａに示す様に、ゲイン値は、１ｄｂ毎に設定され、所望するゲイン値が決定すると、決定されたゲイン値を実現する撮像時間、増幅率及び照射時間が決定される。また撮像時間、増幅率及び照射時間からゲイン値を求めることができる。なおゲイン値は、１ｄｂ毎の設定ではなく、更に小さい単位で設定することでより詳細な設定を行うことも可能である。なおテーブル２１ａを用いるのでは無く、計算により撮像時間、増幅率及び照射時間からゲイン値を求め、またゲイン値から撮像時間、増幅率及び照射時間を決定する様にしても良い。ゲイン値から計算により撮像時間、増幅率及び照射時間を決定する場合、撮像時間は、撮像部１３の仕様により例えば５００μｓｅｃ、１０００μｓｅｃ及び２０００μｓｅｃ等の数段階に固定されているため、先ず撮像時間を決定し、増幅率を決定し、撮像時間内に収まる様に照射時間を決定する。

以下に、上述した構成の撮像システム１００において、カメラ１が撮像した画像フレームに基づいて、制御装置２が行うゲイン値の調整処理について説明する。図３は、本発明の実施の形態１に係る撮像システムが備える制御装置２のゲイン値調整処理手順を示すフローチャートである。制御装置２は、カメラ１及びＬＥＤ３を制御して、被写体を撮像した画像フレームを生成する。具体的には、ＬＥＤ３が、被写体に対して光を照射し、カメラ１が、撮像部１３により、光の照射方向、即ち被写体の方向を撮像して得られた入力光を電気信号に変換し、増幅器１４により、変換した電気信号を増幅し、Ａ／Ｄ変換器１５により、増幅されたアナログ信号をデジタル信号に変換してデジタルの画像フレームを生成し、生成した画像フレームをフレームメモリ１６に記憶させる。そしてカメラ１は、フレームメモリ１６に記憶させた複数の画素データを含む画像フレームをインタフェース１７から第１ケーブルＣ１を介して制御装置２へ送信する。

制御装置２は、ＣＰＵ２０の制御により、第１ケーブルＣ１を介して送信される画像フレームを第１インタフェース２５から取得して（Ｓ１０１）、フレームメモリ２３に記憶させる。また制御装置２は、ＣＰＵ２０の制御により、ＨＤ２１に記憶している領域検出プログラムを実行し、フレームメモリ２３に記憶してある画像フレームから、被写体である運転者の顔の撮像領域を検出する（Ｓ１０２）。尚、この顔の領域検出処理については後に詳述する。

次に制御装置２は、ＣＰＵ２０の制御により、フレームメモリ２３に記憶している画像フレーム中の、上述のように検出した顔の撮像領域に含まれる各画素データの輝度の平均を算出することにより顔の撮像領域の平均輝度を算出し（Ｓ１０３）、算出した平均輝度を、ＨＤ２１に記録された予め設定されている基準輝度と比較する（Ｓ１０４）。ステップＳ１０４における平均輝度と基準輝度との比較は、下記の式１に示すように、基準輝度及び平均輝度の比の値の対数として示される変更ｄｂ量を算出することにより行われる。

変更ｄｂ量＝２０×ｌｏｇ₁₀（基準輝度／平均輝度） …式１

そして制御装置２は、ＣＰＵ２０の制御により、平均輝度と基準輝度とを比較した結果である変更ｄｂ量が「０」以外であるか否か、即ち平均輝度及び基準輝度が異なるか否かを判定する（Ｓ１０５）。

ステップＳ１０５において、変更ｄｂ量が「０」ではなく、平均輝度及び基準輝度が異なると判定した場合（Ｓ１０５：ＹＥＳ）、制御装置２は、ＣＰＵ２０の制御により、比較の結果である変更ｄｂ量、並びに設定されている現在の照射時間、撮像時間及び増幅率に基づき決定されるゲイン値に基づいて、下記の式２により、設定すべきゲイン値を算出する（Ｓ１０６）。設定されている照射時間、撮像時間及び増幅率とは、ステップＳ１０１にて取得した画像フレームの撮像に際して設定された照射時間、撮像時間及び増幅率であり、テーブル２１ａを参照することにより、照射時間、撮像時間及び増幅率に基づくゲイン値を取得することができる。例えば図２に示したテーブル２１ａにおいて、照射時間が５００μｓｅｃ、撮像時間が５００μｓｅｃ、そして増幅率が１４である場合、ゲイン値は、１となる。なおテーブル２１ａを参照するのではなく、取得した画像フレームに係るゲイン値をＨＤ２１又はＲＡＭ２２に記録しておき、記録しているゲイン値そのものを読み取るようにしても良い。

設定ゲイン値＝｛現在のゲイン値（ｄｂ）＋変更ｄｂ量｝ …式２

そして制御装置２は、ＣＰＵ２０の制御により、算出したゲイン値に応じた照射時間、撮像時間及び増幅率を、テーブル２１ａの記録内容に基づき決定し（Ｓ１０７）、決定した照射時間、撮像時間及び増幅率に基づいて、カメラ１の撮像時間及び増幅率並びにＬＥＤ３の照射時間の設定を変更して（Ｓ１０８）、ステップＳ１０１に戻り、次の画像フレームに対する処理を実行する。ステップＳ１０６にて式２により算出されたゲイン値が６である場合、照射時間が１０００μｓｅｃ、撮像時間が１０００μｓｅｃ及び増幅率が１５に決定される。

ステップＳ１０５において、変更ｄｂ量が「０」であり、平均輝度及び基準輝度が一致していると判定した場合（Ｓ１０５：ＮＯ）、ゲイン値の調整を行う必要がないと判定し、ステップＳ１０１に戻り、次の画像フレームに対する処理を実行する。

上述したように、監視対象として運転者の顔を撮像した画像フレームにおいて、運転者の顔の撮像領域における平均輝度が、基準輝度と異なる場合に、照射時間、撮像時間及び増幅率を調整してゲイン値を調整することにより、背景領域の輝度に影響されず、監視対象である顔の撮像領域の輝度に基づくゲイン調整を実行し、被写体としての運転者の顔の撮像領域が、画像処理の実行に適した輝度を有する画像フレームを撮像することができる。

以下に、上述した構成の撮像システム１００において、制御装置２が行うカメラ１のゲイン調整処理におけるサブルーチンである顔の領域検出処理（図３におけるステップＳ１０２）について説明する。尚、ここでは、制御装置２は、カメラ１が撮像する画像フレームに基づいて、この画像フレームに含まれる被写体としての運転者の水平方向における顔の領域を検出するように構成されている例を示す。図４は、本発明の実施の形態１に係る制御装置２の領域検出処理手順を示すフローチャートであり、制御装置２は、ＣＰＵ２０の制御により、ＨＤ２１の領域検出処理プログラムを実行し、画像フレームの垂直方向に隣合って配列される各画素の輝度を順次加算する（Ｓ２０１）。

図５は、本発明の実施の形態１に係る撮像システムが備える制御装置２の領域検出処理を概念的に示す説明図である。図５（ａ）はカメラ１が撮像した画像フレームの例を示している。図５（ａ）においてＸは画像フレームにおける水平方向を、Ｙは画像フレームにおける垂直方向を夫々示しており、画像フレームは水平方向Ｘ及び垂直方向Ｙ夫々に複数の画素が配列してある。制御装置２では、画像フレームの垂直方向Ｙに配列される画素の輝度を順次加算することにより、図５（ｂ）に示すようなグラフを算出する。図５（ｂ）のグラフにおいては、横軸に水平方向Ｘを、縦軸に算出された加算値、具体的には輝度和を夫々示している。

ここで、顔の領域は、髪の領域及び背景領域と比較して明るく撮像される傾向にあり、上述のように算出した輝度和に基づき顔の領域を特定することができ、制御装置２は、ＣＰＵ２０の制御により、ＨＤ２１に予め設定された閾値としての所定の輝度値を用い、上述のように算出された輝度和が所定の輝度値よりも大きい場合に、当該輝度和に算出された画素は、顔の領域内の画像データであると判断し、顔の領域を特定する（Ｓ２０２）。具体的には、制御装置２は、上述のように算出した輝度和と所定の輝度値とを比較し、その結果が、前記輝度和が所定の輝度値よりも大きい領域、例えば、図５（ｃ）中にＦ１で示す領域を顔の領域と特定することができる。尚、図５（ｃ）中のＦ１ａは顔の領域の左端位置を、Ｆ１ｂは顔の領域の右端位置を夫々示している。

また、画像フレームの水平方向の画素の輝度の変化は、背景の領域から顔の領域へ、及び顔の領域から背景の領域へ変化する箇所が、他の箇所と比較して大きく変化する傾向にあり、上述のように算出した輝度和の変化量に基づいても顔の領域を特定することができる。従って、制御装置２は、ＣＰＵ２０の制御により、上述のように算出した輝度和について、水平方向Ｘの各位置において、各位置の輝度和を中心として、水平方向Ｘの左右に所定数の画素間での変化量を算出し、夫々算出された変化量が大きく変化する位置、例えば、図５（ｄ）中にＦ２ａで示す位置を、水平方向Ｘにおける顔の輪郭部分であると特定する特定手段として動作し、顔の領域の左端位置として顔の領域を特定する（Ｓ２０３）。

尚、図５（ｄ）においては、変化量に基づく顔の領域の特定処理によっては、顔の領域の右端位置は特定されず、このような場合には、図５（ｃ）に示すように、所定の輝度値に基づき特定された右端位置Ｆ１ｂを、顔の領域の右端位置として顔の領域を特定し、制御装置２は、ＣＰＵ２０の制御により、特定した顔の領域をＲＡＭ２２に記憶して（Ｓ２４）、顔の領域検出処理を終了する。

上述したように、カメラ１が撮像する画像フレーム中の処理対象となる領域、即ち、運転者の顔の撮像領域における画素の平均輝度に基づいて、ゲイン値を調整することにより、背景領域のように処理対象ではない領域における輝度情報に影響されず、画像処理の実行に適した輝度にて被写体を撮像することができる。尚、カメラ１が撮像する画像フレームから、画像処理の処理対象としての顔の撮像領域を検出する方法は、上述したような、画像フレームの水平方向の領域を検出する方法には限られない。

実施の形態２．
以下に、実施の形態２に係る撮像システムについて説明する。尚、上述した実施の形態１の撮像システム１００と同様の構成を有するものについては同一の符号を付して説明を省略する。図６は、本発明の実施の形態２に係る撮像システムの構成例を示すブロック図であり、図中１０１は実施の形態２の撮像システムを示している。本発明の実施の形態２に係る撮像システムが備えるカメラ１は、画素データの輝度値をγ補正により変換するγ変換器１９を備えており、Ａ／Ｄ変換器１５によりデジタル信号に変換した画像フレームは、画素データの輝度値をγ変換器１９によりγ補正された上で、フレームメモリ１６に記憶される。

上述した構成の撮像システム１０１において、制御装置２のＣＰＵ２０は、実施の形態１の制御装置２と同様に、第１ケーブルＣ１を介して順次カメラ１から取得してフレームメモリ２３に記憶する画像フレームに対して、ＨＤ２１の領域検出処理プログラムをＲＡＭ２２に読み出して順次実行して、被写体として撮像した運転者の顔の撮像領域を検出する。また、ＣＰＵ２０は、フレームメモリ２３に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる画素データが示す各画素の輝度値の平均（平均輝度）を算出し、算出した平均輝度を、閾値としてＨＤ２１に記憶している輝度範囲である最小輝度値及び最大輝度値と比較する。

また、ＣＰＵ２０は、比較した結果、顔の撮像領域における平均輝度が最大輝度値よりも大きい場合に、γ補正に要するパラメータ、即ち変換前の輝度値を累乗する指数であるγ値を大きくするように制御する。一方、顔の撮像領域の平均輝度が最小輝度値よりも小さい場合に、γ補正に要するパラメータであるγ値を小さくするように制御する。これにより、カメラ１は、画像フレーム中の顔の撮像領域が、画像処理を精度よく実行できる輝度を有する画像フレームを取得することが可能である。

上述したように、カメラ１が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、γ補正に要するパラメータである指数値を変更させることにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適切な輝度で撮像することが可能となる。

次にγ補正について説明する。図７及び図８は、本発明の実施の形態２における撮像システムが備えるカメラ１にて行われるγ補正の例を示すグラフである。γ補正は、入力された画素の輝度値、本発明では、Ａ／Ｄ変換器１５によりデジタル信号に変換した画像フレームに含まれる画素データの輝度値ｘを、所定の指数であるγ値により累乗することで輝度値ｙに変換して出力する変換方法であり、下記の式３にて示される。

図７（ａ）は、γ値が１である場合の入力される画素の輝度値と、出力される画素の輝度値との関係を示すグラフであり、横軸に入力される画素の輝度値をとり、縦軸に出力される画素の輝度値をとって、その関係を示している。図７（ｂ）及び図７（ｃ）は、画像フレームに含まれる画素データの輝度値の度数分布を示すヒストグラムであり、横軸に輝度値をとり、縦軸に度数をとって、その関係を示している。図７（ｂ）は、γ変換器１９に入力される画像フレームに含まれる画素データの輝度値の度数分布を示しており、図７（ｂ）の度数分布を示す画素データを含む画像フレームに対し、γ変換器１９により図７（ａ）に示すγ補正にて変換し出力した画像フレームに含まれる画素データの度数分布を示したものが図７（ｃ）に示すヒストグラムである。図７（ａ）に示す様にγ値が１である場合、入力される画素の輝度値と出力される画素の輝度値が一致、即ち図７（ｂ）及び図７（ｃ）に示すように実質的な輝度値の変換は行われない。

図８（ａ）は、γ値が１未満の数値である場合の入力される画素の輝度と、出力される画素の輝度との関係を示すグラフであり、横軸に入力される画素の輝度をとり、縦軸に出力される画素の輝度をとって、その関係を示している。図８（ｂ）及び図８（ｃ）は、画像フレームに含まれる画素データの輝度の度数分布を示すヒストグラムであり、横軸に輝度をとり、縦軸に度数をとって、その関係を示している。図８（ｂ）は、γ変換器１９に入力される画像フレームに含まれる画素データの輝度の度数分布を示しており、図８（ｂ）の度数分布を示す画素データを含む画像フレームに対し、γ変換器１９により図８（ａ）に示すγ補正にて変換し出力した画像フレームに含まれる画素データの度数分布を示したものが図８（ｃ）に示すヒストグラムである。図８（ａ）に示す様にγ値が１未満の数値である場合、図８（ｂ）及び図８（ｃ）から明らかな様に輝度が高い画素の度数が多くなっており、変換した画素データの輝度が全体的に高く、即ち変換された画素データにより示される画像が明るくなることが読み取れる。なおγ値を１より大きい数値とした場合、γ補正により変換された画素データにより示される画像は暗くなる。

以下に、上述した構成の撮像システム１０１において、カメラ１が撮像した画像フレームに基づいて、制御装置２が行うγ値の調整処理について説明する。図９は、本発明の実施の形態２に係る撮像システムが備える制御装置２のγ値調整処理手順を示すフローチャートである。制御装置２は、カメラ１を制御して被写体を撮像した画像フレームを生成する。具体的には、カメラ１が、被写体を撮像して得られた入力光を電気信号に変換し、増幅器１４により、変換した電気信号を増幅し、Ａ／Ｄ変換器１５により、増幅されたアナログ信号をデジタル信号に変換してデジタルの画像フレームを生成し、生成した画像フレームに含まれる画素データの輝度値をγ変換器１９により変換し、変換した画像フレームをフレームメモリ１６に記憶させる。そしてカメラ１は、フレームメモリ１６に記憶させた複数の画素データを含む画像フレームをインタフェース１７から第１ケーブルＣ１を介して制御装置２へ送信する。

制御装置２は、ＣＰＵ２０の制御により、第１ケーブルＣ１を介して送信される画像フレームを第１インタフェース２５から取得して（Ｓ３０１）、フレームメモリ２３に記憶させる。また制御装置２は、ＣＰＵ２０の制御により、ＨＤ２１に記憶している領域検出プログラムを実行し、フレームメモリ２３に記憶してある画像フレームから、被写体である運転者の顔の撮像領域を検出する（Ｓ３０２）。尚、この顔の領域検出処理は、上述した実施の形態１と同様であるので説明を省略する。

次に制御装置２は、ＣＰＵ２０の制御により、フレームメモリ２３に記憶している画像フレーム中の、上述のように検出した顔の撮像領域に含まれる各画素データの輝度の平均を算出することにより顔の撮像領域の平均輝度を算出し（Ｓ３０３）、算出した平均輝度を、予め設定されている輝度範囲の上限を示す最大輝度値と比較する（Ｓ３０４）。

ステップＳ３０４において、平均輝度が最大輝度値より大きく輝度範囲から外れると判定した場合（Ｓ３０４：ＹＥＳ）、制御装置２は、ＣＰＵ２０の制御により、カメラ１が備えるγ変換器１９のγ値を、より大きい値に変更させる指示を行う（Ｓ３０５）。ステップＳ３０５における指示の方法としては、制御装置２から具体的なγ値を示す値を指示する指示信号を送信する様にしても良く、また予めカメラ１に複数段階のγ値を設定しておき、設定しているγ値が大きくなるように変更する指示を行う指示信号を行うようにしてもよい。またγ値の変更の程度としては、予め設定されている所定の数値分の変更を行うようにしても良いが、平均輝度と最大輝度値との差に基づいて数値を決定する様にしても良い。そして制御装置２では、ステップＳ３０１に戻り、次の画像フレームに対する処理を実行する。

ステップＳ３０４において、平均輝度が最大輝度値以下であると判定した場合（Ｓ３０４：ＮＯ）、制御装置２は、ＣＰＵ２０の制御により、平均輝度を、予め設定されている輝度範囲の下限を示す最小輝度値と比較する（Ｓ３０６）。

ステップＳ３０６において、平均輝度が最小輝度値より小さく輝度範囲から外れると判定した場合（Ｓ３０６：ＹＥＳ）、制御装置２は、ＣＰＵ２０の制御により、カメラ１が備えるγ変換器１９のγ値を、より小さい値に変更させる指示を行う（Ｓ３０７）。ステップＳ３０７における指示の方法としては、制御装置２から具体的なγ値を示す値を指示する指示信号を送信する様にしても良く、また予めカメラ１に複数段階のγ値を設定しておき、設定しているγ値が小さくなるように変更する指示を行う指示信号を行うようにしてもよい。またγ値の変更の程度としては、予め設定されている所定の数値分の変更を行うようにしても良いが、平均輝度と最小輝度値との差に基づいて数値を決定する様にしても良い。そして制御装置２では、ステップＳ３０１に戻り、次の画像フレームに対する処理を実行する。

ステップＳ３０６において、平均輝度が最小輝度値より大きく輝度範囲内であると判定した場合（Ｓ３０６：ＮＯ）、ステップＳ３０１に戻り、次の画像フレームに対する処理を実行する。

上述したように、監視対象として運転者の顔を撮像した画像フレームにおいて、運転者の顔の撮像領域における平均輝度が、輝度範囲から外れる場合に、γ値を調整することにより、背景領域のように処理対象ではない領域における輝度に影響されず、画像処理の実行に適した輝度になるように被写体を撮像することができる。

また前記実施の形態１及び２では、運転者の顔を撮像対象とする形態を示したが、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を撮像対象とする形態であっても良い。

以上の実施の形態１及び２を含む実施の形態に関し、更に以下の付記を開示する。

（付記１）被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を増幅する増幅手段と、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する生成手段と備える撮像システムにおいて、前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した平均輝度を、予め設定されている基準輝度と比較する比較手段と、平均輝度及び基準輝度が異なる場合に、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する変更手段とを備えることを特徴とする撮像システム。
（付記２）前記比較手段は、基準輝度及び平均輝度の比に基づいて比較するように構成してあり、照射時間、撮像時間及び増幅率、並びに該照射時間、撮像時間及び増幅率に基づいて決定される画像の輝度に係るゲイン値を対応付けて記録するテーブルと、前記比較手段の比較結果、並びに設定されている照射時間、撮像時間及び増幅率に基づき決定されるゲイン値に基づいて、比較結果に応じたゲイン値を算出する手段と、算出したゲイン値に応じた照射時間、撮像時間及び増幅率を、前記テーブルの記録内容に基づき決定する決定手段とを更に備え、前記変更手段は、前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、照射時間、撮像時間及び増幅率の中の少なくとも一つを変更するように構成してあることを特徴とする付記１に記載の撮像システム。
（付記３）被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを備える撮像システムにおいて、前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した平均輝度を予め設定されている輝度範囲と比較する手段と、平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段とを備えることを特徴とする撮像システム。
（付記４）前記変換方法は、輝度値を所定の指数にて累乗することで変換する方法であり、前記変換方法を変更する手段は、指数を変更するように構成してあることを特徴とする付記３に記載の撮像システム。
（付記５）被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を所定の増幅率にて増幅する増幅手段とを制御し、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する制御装置において、生成した画像データから前記被写体を示す領域を検出する手段と、検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した平均輝度を、予め設定されている基準輝度と比較する比較手段と、平均輝度及び基準輝度が異なる場合に、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する手段とを備えることを特徴とする制御装置。
（付記６）被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを制御する制御装置において、前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した平均輝度を予め設定されている輝度範囲と比較する手段と、平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段とを備えることを特徴とする制御装置。

本発明の実施の形態１に係る撮像システムの構成例を示すブロック図である。本発明の実施の形態１に係る撮像システムの制御装置が備えるテーブルの記録内容の例を概念的に示す図表である。本発明の実施の形態１に係る撮像システムが備える制御装置のゲイン値調整処理手順を示すフローチャートである。本発明の実施の形態１に係る制御装置の領域検出処理手順を示すフローチャートである。本発明の実施の形態１に係る撮像システムが備える制御装置の領域検出処理を概念的に示す説明図である。本発明の実施の形態２に係る撮像システムの構成例を示すブロック図である。本発明の実施の形態２における撮像システムが備えるカメラにて行われるγ補正の例を示すグラフである。本発明の実施の形態２における撮像システムが備えるカメラにて行われるγ補正の例を示すグラフである。本発明の実施の形態２に係る撮像システムが備える制御装置のγ値調整処理手順を示すフローチャートである。

符号の説明

１００，１０１撮像システム
１カメラ
１３撮像部
１４増幅器
１９ γ変換器
２制御装置
２１ａテーブル
３ＬＥＤ

Claims

被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を増幅する増幅手段と、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する生成手段と備える撮像システムにおいて、
前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、
検出した前記領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
算出した前記平均輝度を、予め設定されている基準輝度と比較する比較手段と、
画像の輝度に係るゲイン値と対応付けて、照射時間、撮像時間及び増幅率を予め記録するテーブルと、
前記平均輝度及び前記基準輝度が異なる場合に、前記基準輝度及び前記平均輝度を用いて算出した第１のゲイン値に基づき、前記テーブルを参照して、前記第１のゲイン値に対応する照射時間、撮像時間及び増幅率を決定する決定手段と、
前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する変更手段と
を備えることを特徴とする撮像システム。
前記比較手段は、前記基準輝度及び前記平均輝度の比に基づいて比較し、
前記決定手段は、前記比較手段の比較結果、並びに前記画像データを撮像した際に設定されていた照射時間、撮像時間及び増幅率に基づき決定される第２のゲイン値に基づいて、前記第１のゲイン値を算出する
ことを特徴とする請求項１に記載の撮像システム。
被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を所定の増幅率にて増幅する増幅手段とを制御し、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する制御装置において、
生成した画像データから前記被写体を示す領域を検出する手段と、
検出した前記領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
算出した前記平均輝度を、予め設定されている基準輝度と比較する比較手段と、
画像の輝度に係るゲイン値と対応付けて、照射時間、撮像時間及び増幅率を予め記録するテーブルと、
前記平均輝度及び前記基準輝度が異なる場合に、前記基準輝度及び前記平均輝度を用いて算出した第１のゲイン値に基づき、前記テーブルを参照して、前記第１のゲイン値に対応する照射時間、撮像時間及び増幅率を決定する決定手段と、
前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する手段と
を備えることを特徴とする制御装置。