JP5041056B2 - 撮像システム及び制御装置 - Google Patents

撮像システム及び制御装置 Download PDF

Info

Publication number
JP5041056B2
JP5041056B2 JP2010276181A JP2010276181A JP5041056B2 JP 5041056 B2 JP5041056 B2 JP 5041056B2 JP 2010276181 A JP2010276181 A JP 2010276181A JP 2010276181 A JP2010276181 A JP 2010276181A JP 5041056 B2 JP5041056 B2 JP 5041056B2
Authority
JP
Japan
Prior art keywords
luminance
imaging
value
average
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010276181A
Other languages
English (en)
Other versions
JP2011091845A (ja
Inventor
幸三 馬場
寿雄 伊藤
明義 田福
知信 ▲高▼島
卓 片桐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010276181A priority Critical patent/JP5041056B2/ja
Publication of JP2011091845A publication Critical patent/JP2011091845A/ja
Application granted granted Critical
Publication of JP5041056B2 publication Critical patent/JP5041056B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Studio Devices (AREA)

Description

本願は、被写体を撮像して得られた画像データを処理する撮像システム、及び該撮像システムにて用いられる制御装置に関し、特に画像データの輝度を適正化する撮像システム及び制御装置に関する。
CCD(Charge Coupled Device)等の撮像素子を利用して外部から入力される光学像を取り込み、画像データを生成する撮像装置は、良好な画質の画像データを取得するために、入力される光学像の光量を適切に調整する機能を備えている。また、撮像装置は、良好な明るさの画像データを取得するために、光学像を取り込んだ撮像素子が出力する電気信号を適切な増幅率にて増幅した後、A/D(アナログ/デジタル)変換して画像データを生成する。さらに、撮像装置は、良好なコントラストの画像データを取得するために、取得した画像データの輝度をγ補正と呼ばれる方法により変換している。
撮像装置は、良好な画質及び明るさの画像データを取得するためにゲイン調整機能を備えている。ゲイン調整機能として、例えば、AGC(オート・ゲイン・コントロール)では、撮像する画像データ中の各画素データが示す輝度値の平均が、予め設定してある輝度値よりも小さい場合に増幅率を増加させ、また、予め設定してある輝度値よりも大きい場合に増幅率を減少させる。尚、良好な画質の画像データを撮像すべくゲイン調整機能を備えた撮像装置としては、以下の特許文献1乃至3に示すものがある。
特開2001−119622号公報 特開2002−314874号公報 特開平9−284784号公報
しかしながらAGCは、撮像装置の全撮像領域における輝度に従ってゲイン調整を行なうため、背景領域の輝度に影響されるので、画像処理を行なう対象としての被写体の撮像領域が適切な輝度となる画像データを確実に取得することは困難であるという問題がある。例えば、逆光時には被写体が暗く撮像され、順光時には被写体が明るく撮像されてしまう。
特に、撮像装置を用いた監視システムにおいては、撮像装置の撮像領域の一部の輝度が極端に高くなり、監視対象である被写体の撮像領域の輝度に関係なくゲイン調整が行なわれた場合には、監視対象を見失う危険性がある。また、撮像装置の撮像領域に対して被写体が小さく、被写体の撮像領域における輝度変化が、撮像装置の全撮像領域の輝度変化に影響を与えない場合には、ゲイン調整が行なわれないため、監視対象を見失う危険性があるという問題がある。
本願では斯かる事情に鑑み、画像処理の対象として撮像する被写体の撮像領域における画像データに基づくゲイン調整又はγ補正を行うことにより、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像データを取得する撮像システム、及び該撮像システムにて用いられる制御装置を開示する。
本願は、被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを備える撮像システムにおいて、前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した平均輝度を予め設定されている輝度範囲と比較する手段と、平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段とを備え、前記変換方法は、輝度値を所定の指数にて累乗することで変換する方法であり、前記変換方法を変更する手段は、平均輝度が輝度範囲の上限値より大きい場合に、平均輝度と上限値との差に基づいて決定される数値に指数を変更し、平均輝度が輝度範囲の下限値より小さい場合に、平均輝度と下限値との差に基づいて決定される数値に指数を変更するように構成してある撮像システムを開示する。
本願は、被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを制御する制御装置において、前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、算出した平均輝度を予め設定されている輝度範囲と比較する手段と、平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段とを備え、前記変換方法は、輝度値を所定の指数にて累乗することで変換する方法であり、前記変換方法を変更する手段は、平均輝度が輝度範囲の上限値より大きい場合に、平均輝度と上限値との差に基づいて決定される数値に指数を変更し、平均輝度が輝度範囲の下限値より小さい場合に、平均輝度と下限値との差に基づいて決定される数値に指数を変更するように構成してある制御装置を開示する。
本願に係る撮像システム及び制御装置は、画像データから被写体を示す領域を検出し、検出した領域に含まれる画素データの平均輝度を算出し、算出した平均輝度を予め設定されている輝度範囲と比較し、平均輝度が輝度範囲から外れる場合に、輝度に対するγ補正の指数の変更等の変換方法の変更を行う。
この構成により、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像データの取得が可能となる等、優れた効果を奏する。しかも撮像して得られたアナログの電気信号を増幅する増幅率の変更を伴わないため、輝度を高くした場合でも、アナログの電気信号に含まれるノイズが増幅されることがないので、被写体を示す領域の検出に関する精度の低下を抑制することが可能である等、優れた効果を奏する。また調整に用いるパラメータは1種類だけであるので、処理負荷の少ない単純な処理での調整が可能である等、優れた効果を奏する。
本発明の実施の形態1に係る撮像システムの構成例を示すブロック図である。 本発明の実施の形態1に係る撮像システムの制御装置が備えるテーブルの記録内容の例を概念的に示す図表である。 本発明の実施の形態1に係る撮像システムが備える制御装置のゲイン値調整処理手順を示すフローチャートである。 本発明の実施の形態1に係る制御装置の領域検出処理手順を示すフローチャートである。 本発明の実施の形態1に係る撮像システムが備える制御装置の領域検出処理を概念的に示す説明図である。 本発明の実施の形態2に係る撮像システムの構成例を示すブロック図である。 本発明の実施の形態2における撮像システムが備えるカメラにて行われるγ補正の例を示すグラフである。 本発明の実施の形態2における撮像システムが備えるカメラにて行われるγ補正の例を示すグラフである。 本発明の実施の形態2に係る撮像システムが備える制御装置のγ値調整処理手順を示すフローチャートである。
以下に、本発明に係る撮像システムをその実施の形態を示す図面に基づいて具体的に説明する。
実施の形態1.
実施の形態1に係る撮像システムは、例えば、自動車等の車両に乗車する運転者の顔を撮像できる位置に設置されたカメラで、運転者の顔を被写体として撮像し、得られた画像データに基づいてカメラのゲイン値の調整を行うように構成されている。尚、カメラは、例えば、ミラー又はハンドルの配置位置近傍に取り付けられ、1秒当たり30枚の画像フレーム(画像データ)を取得するものを用いる。
図1は、本発明の実施の形態1に係る撮像システムの構成例を示すブロック図であり、図中100は本発明に係る撮像システムを示している。撮像システム100は、被写体を撮像する撮像手段としてのカメラ1と、システム全体を制御する制御装置2と、被写体に対して光を照射する照射手段としてのLED(Light Emitting Diode)3とを備え、制御装置2は、カメラ1及びLED3を制御する。尚、光を照射する照射手段としては、LED以外のものを用いても良い。カメラ1及び制御装置2は、専用の第1ケーブルC1を介して接続されており、制御装置2及びLED3は、専用の第2ケーブルC2を介して接続されている。なおカメラ1及びLED3と、制御装置2とは、第1ケーブルC1及び第2ケーブルC2で接続されるだけでなく、車載LAN(Local Area Network)等のネットワークを介して接続することも可能である。
カメラ1は、MPU(Micro Processor Unit)10を制御中枢としてバス18を介して接続される以下のハードウェア各部の動作を制御する。バス18には、MPU10の制御手順を示す制御プログラム等を記憶したROM11、MPU10による制御動作中に発生する種々のデータを一時的に記憶するRAM12、CCD等により構成され、外部からの入力光を電気信号に変換する撮像部13、撮像部13にて変換されて得られたアナログ信号を所定の増幅率で増幅する増幅器14、増幅器14にて増幅されたアナログ信号をデジタル信号に変換してデジタルの画像フレームを生成するA/D変換器15、DRAM等により構成され、A/D変換器15にて生成された画像フレームを一時的に記憶するフレームメモリ16、第1ケーブルC1を介して制御装置2とデータ伝送を行うためのインタフェース17等が接続されている。
MPU10は、自身が備える時計手段(図示せず)により所定のタイミングを計時しながらバス18を介して上述したハードウェア各部を制御するとともに、ROM11に記憶してあるカメラ1の動作に必要な種々の制御プログラムを順次実行する。なおカメラ1が備えるROM11には、撮像部13が入力光を受け付ける撮像時間、所謂シャッタースピードの設定を変更する制御プログラム、及び増幅器14が入力される電気信号を増幅する際に用いる増幅率の設定を変更する制御プログラムが記憶されており、カメラ1では、制御装置2から第1ケーブルC1を介して送信される制御信号が示す指示に基づいて、MPU10の制御により、撮像時間の設定及び増幅率の設定を変更する。更に、A/D変換器15は、増幅器14から順次出力されるアナログの画像フレームを、例えば各画素の輝度を256階調(1Byte)に分級された画素データで示すデジタルの画像フレームに変換する。
従って、上述した構成のカメラ1は、MPU10による制御に従って所定のタイミングで撮像部13が画像フレームをアナログ信号として取り込み、増幅器14が増幅したアナログ信号をA/D変換器15がデジタルの画像フレームに変換し、得られた画像フレームを一旦フレームメモリ16に記憶させる。また、フレームメモリ16に記憶してある画像フレームはインタフェース17を介して制御装置2に伝送される。尚、カメラ1は、モノクロの画像フレームを取得するカメラでも、カラーの画像フレームを取得するカメラでもよい。
一方、制御装置2は、コンピュータにより構成されており、制御中枢としてのCPU(Central Processing Unit)20、CPU20の制御手順を示す制御プログラム等を記憶したハードディスク(以下、HDという)21、CPU20による制御動作中に発生する種々のデータを一時的に記憶するRAM22、DRAM等により構成され、第1ケーブルC1を介して取得した画像フレームを一時的に記憶するフレームメモリ23、第1ケーブルC1を介して様々なデータを伝送するための第1インタフェース24、第2ケーブルC2を介してLED3を制御する制御信号を送信する第2インタフェース25等の回路を備えている。そして制御装置2は、第1インタフェース24を介して制御信号をカメラ1へ送信することにより、カメラ1に対する撮像時間、増幅率の設定等の制御を行い、第2インタフェース25を介して制御信号をLED3へ送信することにより、LED3に対する照射指示及び照射時間の設定等の制御を行う。
CPU20は、時計手段(図示せず)を備えており、所定のタイミングを計時しながら、バス26を介して接続される上述したハードウェア各部を制御するとともに、HD21に記憶してある制御プログラムを順次実行する。HD21は、制御プログラムの他、制御装置2が第1ケーブルC1を介してカメラ1から取得した画像フレームから、被写体として撮像した運転者の顔の撮像領域を検出するための領域検出処理プログラムを記憶している。またHD21には、LED3の照射時間並びにカメラ1の撮像時間及び増幅率の設定値を、照射時間、撮像時間及び増幅率に基づき決定される画像の輝度に係るゲイン値に対応付けて記録するテーブル21aが記録されている。さらにHD21には、画像フレーム内の運転者の顔の輝度を調整する時の基準となる基準輝度等の様々な情報が記録されている。
上述した構成の撮像システム100において、制御装置2のCPU20は、第1ケーブルC1を介して順次カメラ1から取得してフレームメモリ23に記憶してある画像フレームに対して、HD21の領域検出処理プログラムをRAM22に読み出して順次実行する。従って、CPU20は、被写体として撮像した運転者の顔からの反射光から、カメラ1の撮像部13、増幅器14及びA/D変換器15を介して生成された顔の撮像領域を検出する手段として動作する。また、CPU20は、フレームメモリ23に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる画素データが示す各画素の輝度の平均(以下、平均輝度という)を算出する手段として動作する。
更に、CPU20は、上述のように算出した、画像フレーム中の顔の撮像領域における平均輝度を、予め設定されている基準輝度と比較する比較手段として動作する。また、CPU20は、比較結果と、LED3に対して設定している照射時間並びにカメラ1に対して設定している撮像時間及び増幅率から決定される値とに基づいて、比較結果に応じたゲイン値を算出する手段として動作する。更に、CPU20は、算出したゲイン値に応じた照射時間、撮像時間及び増幅率を、テーブル21aの記録内容に基づき決定する決定手段として動作する。またCPU20は、前記比較手段が比較した結果、平均輝度及び基準輝度が所定の範囲を超えて異なる場合に、前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、照射時間、撮像時間及び増幅率の中の少なくとも一つの設定を変更する手段として動作する。これにより、画像処理の対象として撮像した被写体を示す領域における画素データに関するゲイン調整を行うので、背景領域の輝度に影響されず、被写体の撮像領域が適切な輝度を有する画像フレームの取得が可能となる。
上述したように、カメラ1が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、カメラ1の撮像部13の撮像時間及び増幅器14の増幅率並びにLED3の照射時間の設定を変更することにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適した輝度で撮像することができる。
図2は、本発明の実施の形態1に係る撮像システムの制御装置2が備えるテーブル21aの記録内容の例を概念的に示す図表である。図2に示すようにテーブル21aでは、ゲイン値(db)に対応付けて、カメラ1の撮像部13の撮像時間(シャッタースピード)の設定値(μsec)、カメラ1の増幅器14の増幅率の設定値、及びLED3の照射時間の設定値(μsec)が記録されている。テーブル21aに示す様に、ゲイン値は、1db毎に設定され、所望するゲイン値が決定すると、決定されたゲイン値を実現する撮像時間、増幅率及び照射時間が決定される。また撮像時間、増幅率及び照射時間からゲイン値を求めることができる。なおゲイン値は、1db毎の設定ではなく、更に小さい単位で設定することでより詳細な設定を行うことも可能である。なおテーブル21aを用いるのでは無く、計算により撮像時間、増幅率及び照射時間からゲイン値を求め、またゲイン値から撮像時間、増幅率及び照射時間を決定する様にしても良い。ゲイン値から計算により撮像時間、増幅率及び照射時間を決定する場合、撮像時間は、撮像部13の仕様により例えば500μsec、1000μsec及び2000μsec等の数段階に固定されているため、先ず撮像時間を決定し、増幅率を決定し、撮像時間内に収まる様に照射時間を決定する。
以下に、上述した構成の撮像システム100において、カメラ1が撮像した画像フレームに基づいて、制御装置2が行うゲイン値の調整処理について説明する。図3は、本発明の実施の形態1に係る撮像システムが備える制御装置2のゲイン値調整処理手順を示すフローチャートである。制御装置2は、カメラ1及びLED3を制御して、被写体を撮像した画像フレームを生成する。具体的には、LED3が、被写体に対して光を照射し、カメラ1が、撮像部13により、光の照射方向、即ち被写体の方向を撮像して得られた入力光を電気信号に変換し、増幅器14により、変換した電気信号を増幅し、A/D変換器15により、増幅されたアナログ信号をデジタル信号に変換してデジタルの画像フレームを生成し、生成した画像フレームをフレームメモリ16に記憶させる。そしてカメラ1は、フレームメモリ16に記憶させた複数の画素データを含む画像フレームをインタフェース17から第1ケーブルC1を介して制御装置2へ送信する。
制御装置2は、CPU20の制御により、第1ケーブルC1を介して送信される画像フレームを第1インタフェース25から取得して(S101)、フレームメモリ23に記憶させる。また制御装置2は、CPU20の制御により、HD21に記憶している領域検出プログラムを実行し、フレームメモリ23に記憶してある画像フレームから、被写体である運転者の顔の撮像領域を検出する(S102)。尚、この顔の領域検出処理については後に詳述する。
次に制御装置2は、CPU20の制御により、フレームメモリ23に記憶している画像フレーム中の、上述のように検出した顔の撮像領域に含まれる各画素データの輝度の平均を算出することにより顔の撮像領域の平均輝度を算出し(S103)、算出した平均輝度を、HD21に記録された予め設定されている基準輝度と比較する(S104)。ステップS104における平均輝度と基準輝度との比較は、下記の式1に示すように、基準輝度及び平均輝度の比の値の対数として示される変更db量を算出することにより行われる。
変更db量=20×log10(基準輝度/平均輝度) …式1
そして制御装置2は、CPU20の制御により、平均輝度と基準輝度とを比較した結果である変更db量が「0」以外であるか否か、即ち平均輝度及び基準輝度が異なるか否かを判定する(S105)。
ステップS105において、変更db量が「0」ではなく、平均輝度及び基準輝度が異なると判定した場合(S105:YES)、制御装置2は、CPU20の制御により、比較の結果である変更db量、並びに設定されている現在の照射時間、撮像時間及び増幅率に基づき決定されるゲイン値に基づいて、下記の式2により、設定すべきゲイン値を算出する(S106)。設定されている照射時間、撮像時間及び増幅率とは、ステップS101にて取得した画像フレームの撮像に際して設定された照射時間、撮像時間及び増幅率であり、テーブル21aを参照することにより、照射時間、撮像時間及び増幅率に基づくゲイン値を取得することができる。例えば図2に示したテーブル21aにおいて、照射時間が500μsec、撮像時間が500μsec、そして増幅率が14である場合、ゲイン値は、1となる。なおテーブル21aを参照するのではなく、取得した画像フレームに係るゲイン値をHD21又はRAM22に記録しておき、記録しているゲイン値そのものを読み取るようにしても良い。
設定ゲイン値={現在のゲイン値(db)+変更db量} …式2
そして制御装置2は、CPU20の制御により、算出したゲイン値に応じた照射時間、撮像時間及び増幅率を、テーブル21aの記録内容に基づき決定し(S107)、決定した照射時間、撮像時間及び増幅率に基づいて、カメラ1の撮像時間及び増幅率並びにLED3の照射時間の設定を変更して(S108)、ステップS101に戻り、次の画像フレームに対する処理を実行する。ステップS106にて式2により算出されたゲイン値が6である場合、照射時間が1000μsec、撮像時間が1000μsec及び増幅率が15に決定される。
ステップS105において、変更db量が「0」であり、平均輝度及び基準輝度が一致していると判定した場合(S105:NO)、ゲイン値の調整を行う必要がないと判定し、ステップS101に戻り、次の画像フレームに対する処理を実行する。
上述したように、監視対象として運転者の顔を撮像した画像フレームにおいて、運転者の顔の撮像領域における平均輝度が、基準輝度と異なる場合に、照射時間、撮像時間及び増幅率を調整してゲイン値を調整することにより、背景領域の輝度に影響されず、監視対象である顔の撮像領域の輝度に基づくゲイン調整を実行し、被写体としての運転者の顔の撮像領域が、画像処理の実行に適した輝度を有する画像フレームを撮像することができる。
以下に、上述した構成の撮像システム100において、制御装置2が行うカメラ1のゲイン調整処理におけるサブルーチンである顔の領域検出処理(図3におけるステップS102)について説明する。尚、ここでは、制御装置2は、カメラ1が撮像する画像フレームに基づいて、この画像フレームに含まれる被写体としての運転者の水平方向における顔の領域を検出するように構成されている例を示す。図4は、本発明の実施の形態1に係る制御装置2の領域検出処理手順を示すフローチャートであり、制御装置2は、CPU20の制御により、HD21の領域検出処理プログラムを実行し、画像フレームの垂直方向に隣合って配列される各画素の輝度を順次加算する(S201)。
図5は、本発明の実施の形態1に係る撮像システムが備える制御装置2の領域検出処理を概念的に示す説明図である。図5(a)はカメラ1が撮像した画像フレームの例を示している。図5(a)においてXは画像フレームにおける水平方向を、Yは画像フレームにおける垂直方向を夫々示しており、画像フレームは水平方向X及び垂直方向Y夫々に複数の画素が配列してある。制御装置2では、画像フレームの垂直方向Yに配列される画素の輝度を順次加算することにより、図5(b)に示すようなグラフを算出する。図5(b)のグラフにおいては、横軸に水平方向Xを、縦軸に算出された加算値、具体的には輝度和を夫々示している。
ここで、顔の領域は、髪の領域及び背景領域と比較して明るく撮像される傾向にあり、上述のように算出した輝度和に基づき顔の領域を特定することができ、制御装置2は、CPU20の制御により、HD21に予め設定された閾値としての所定の輝度値を用い、上述のように算出された輝度和が所定の輝度値よりも大きい場合に、当該輝度和に算出された画素は、顔の領域内の画像データであると判断し、顔の領域を特定する(S202)。具体的には、制御装置2は、上述のように算出した輝度和と所定の輝度値とを比較し、その結果が、前記輝度和が所定の輝度値よりも大きい領域、例えば、図5(c)中にF1で示す領域を顔の領域と特定することができる。尚、図5(c)中のF1aは顔の領域の左端位置を、F1bは顔の領域の右端位置を夫々示している。
また、画像フレームの水平方向の画素の輝度の変化は、背景の領域から顔の領域へ、及び顔の領域から背景の領域へ変化する箇所が、他の箇所と比較して大きく変化する傾向にあり、上述のように算出した輝度和の変化量に基づいても顔の領域を特定することができる。従って、制御装置2は、CPU20の制御により、上述のように算出した輝度和について、水平方向Xの各位置において、各位置の輝度和を中心として、水平方向Xの左右に所定数の画素間での変化量を算出し、夫々算出された変化量が大きく変化する位置、例えば、図5(d)中にF2aで示す位置を、水平方向Xにおける顔の輪郭部分であると特定する特定手段として動作し、顔の領域の左端位置として顔の領域を特定する(S203)。
尚、図5(d)においては、変化量に基づく顔の領域の特定処理によっては、顔の領域の右端位置は特定されず、このような場合には、図5(c)に示すように、所定の輝度値に基づき特定された右端位置F1bを、顔の領域の右端位置として顔の領域を特定し、制御装置2は、CPU20の制御により、特定した顔の領域をRAM22に記憶して(S24)、顔の領域検出処理を終了する。
上述したように、カメラ1が撮像する画像フレーム中の処理対象となる領域、即ち、運転者の顔の撮像領域における画素の平均輝度に基づいて、ゲイン値を調整することにより、背景領域のように処理対象ではない領域における輝度情報に影響されず、画像処理の実行に適した輝度にて被写体を撮像することができる。尚、カメラ1が撮像する画像フレームから、画像処理の処理対象としての顔の撮像領域を検出する方法は、上述したような、画像フレームの水平方向の領域を検出する方法には限られない。
実施の形態2.
以下に、実施の形態2に係る撮像システムについて説明する。尚、上述した実施の形態1の撮像システム100と同様の構成を有するものについては同一の符号を付して説明を省略する。図6は、本発明の実施の形態2に係る撮像システムの構成例を示すブロック図であり、図中101は実施の形態2の撮像システムを示している。本発明の実施の形態2に係る撮像システムが備えるカメラ1は、画素データの輝度値をγ補正により変換するγ変換器19を備えており、A/D変換器15によりデジタル信号に変換した画像フレームは、画素データの輝度値をγ変換器19によりγ補正された上で、フレームメモリ16に記憶される。
上述した構成の撮像システム101において、制御装置2のCPU20は、実施の形態1の制御装置2と同様に、第1ケーブルC1を介して順次カメラ1から取得してフレームメモリ23に記憶する画像フレームに対して、HD21の領域検出処理プログラムをRAM22に読み出して順次実行して、被写体として撮像した運転者の顔の撮像領域を検出する。また、CPU20は、フレームメモリ23に記憶してある画像フレーム中の、上述のように検出した顔の撮像領域に含まれる画素データが示す各画素の輝度値の平均(平均輝度)を算出し、算出した平均輝度を、閾値としてHD21に記憶している輝度範囲である最小輝度値及び最大輝度値と比較する。
また、CPU20は、比較した結果、顔の撮像領域における平均輝度が最大輝度値よりも大きい場合に、γ補正に要するパラメータ、即ち変換前の輝度値を累乗する指数であるγ値を大きくするように制御する。一方、顔の撮像領域の平均輝度が最小輝度値よりも小さい場合に、γ補正に要するパラメータであるγ値を小さくするように制御する。これにより、カメラ1は、画像フレーム中の顔の撮像領域が、画像処理を精度よく実行できる輝度を有する画像フレームを取得することが可能である。
上述したように、カメラ1が撮像した画像フレームにおいて、監視対象として撮像した運転者の顔の撮像領域における平均輝度に基づいて、γ補正に要するパラメータである指数値を変更させることにより、背景領域の輝度に影響を受けず、被写体である運転者の顔の撮像領域を、画像処理の実行に適切な輝度で撮像することが可能となる。
次にγ補正について説明する。図7及び図8は、本発明の実施の形態2における撮像システムが備えるカメラ1にて行われるγ補正の例を示すグラフである。γ補正は、入力された画素の輝度値、本発明では、A/D変換器15によりデジタル信号に変換した画像フレームに含まれる画素データの輝度値xを、所定の指数であるγ値により累乗することで輝度値yに変換して出力する変換方法であり、下記の式3にて示される。
Figure 0005041056
図7(a)は、γ値が1である場合の入力される画素の輝度値と、出力される画素の輝度値との関係を示すグラフであり、横軸に入力される画素の輝度値をとり、縦軸に出力される画素の輝度値をとって、その関係を示している。図7(b)及び図7(c)は、画像フレームに含まれる画素データの輝度値の度数分布を示すヒストグラムであり、横軸に輝度値をとり、縦軸に度数をとって、その関係を示している。図7(b)は、γ変換器19に入力される画像フレームに含まれる画素データの輝度値の度数分布を示しており、図7(b)の度数分布を示す画素データを含む画像フレームに対し、γ変換器19により図7(a)に示すγ補正にて変換し出力した画像フレームに含まれる画素データの度数分布を示したものが図7(c)に示すヒストグラムである。図7(a)に示す様にγ値が1である場合、入力される画素の輝度値と出力される画素の輝度値が一致、即ち図7(b)及び図7(c)に示すように実質的な輝度値の変換は行われない。
図8(a)は、γ値が1未満の数値である場合の入力される画素の輝度と、出力される画素の輝度との関係を示すグラフであり、横軸に入力される画素の輝度をとり、縦軸に出力される画素の輝度をとって、その関係を示している。図8(b)及び図8(c)は、画像フレームに含まれる画素データの輝度の度数分布を示すヒストグラムであり、横軸に輝度をとり、縦軸に度数をとって、その関係を示している。図8(b)は、γ変換器19に入力される画像フレームに含まれる画素データの輝度の度数分布を示しており、図8(b)の度数分布を示す画素データを含む画像フレームに対し、γ変換器19により図8(a)に示すγ補正にて変換し出力した画像フレームに含まれる画素データの度数分布を示したものが図8(c)に示すヒストグラムである。図8(a)に示す様にγ値が1未満の数値である場合、図8(b)及び図8(c)から明らかな様に輝度が高い画素の度数が多くなっており、変換した画素データの輝度が全体的に高く、即ち変換された画素データにより示される画像が明るくなることが読み取れる。なおγ値を1より大きい数値とした場合、γ補正により変換された画素データにより示される画像は暗くなる。
以下に、上述した構成の撮像システム101において、カメラ1が撮像した画像フレームに基づいて、制御装置2が行うγ値の調整処理について説明する。図9は、本発明の実施の形態2に係る撮像システムが備える制御装置2のγ値調整処理手順を示すフローチャートである。制御装置2は、カメラ1を制御して被写体を撮像した画像フレームを生成する。具体的には、カメラ1が、被写体を撮像して得られた入力光を電気信号に変換し、増幅器14により、変換した電気信号を増幅し、A/D変換器15により、増幅されたアナログ信号をデジタル信号に変換してデジタルの画像フレームを生成し、生成した画像フレームに含まれる画素データの輝度値をγ変換器19により変換し、変換した画像フレームをフレームメモリ16に記憶させる。そしてカメラ1は、フレームメモリ16に記憶させた複数の画素データを含む画像フレームをインタフェース17から第1ケーブルC1を介して制御装置2へ送信する。
制御装置2は、CPU20の制御により、第1ケーブルC1を介して送信される画像フレームを第1インタフェース25から取得して(S301)、フレームメモリ23に記憶させる。また制御装置2は、CPU20の制御により、HD21に記憶している領域検出プログラムを実行し、フレームメモリ23に記憶してある画像フレームから、被写体である運転者の顔の撮像領域を検出する(S302)。尚、この顔の領域検出処理は、上述した実施の形態1と同様であるので説明を省略する。
次に制御装置2は、CPU20の制御により、フレームメモリ23に記憶している画像フレーム中の、上述のように検出した顔の撮像領域に含まれる各画素データの輝度の平均を算出することにより顔の撮像領域の平均輝度を算出し(S303)、算出した平均輝度を、予め設定されている輝度範囲の上限を示す最大輝度値と比較する(S304)。
ステップS304において、平均輝度が最大輝度値より大きく輝度範囲から外れると判定した場合(S304:YES)、制御装置2は、CPU20の制御により、カメラ1が備えるγ変換器19のγ値を、より大きい値に変更させる指示を行う(S305)。ステップS305における指示の方法としては、制御装置2から具体的なγ値を示す値を指示する指示信号を送信する様にしても良く、また予めカメラ1に複数段階のγ値を設定しておき、設定しているγ値が大きくなるように変更する指示を行う指示信号を行うようにしてもよい。またγ値の変更の程度としては、予め設定されている所定の数値分の変更を行うようにしても良いが、平均輝度と最大輝度値との差に基づいて数値を決定する様にしても良い。そして制御装置2では、ステップS301に戻り、次の画像フレームに対する処理を実行する。
ステップS304において、平均輝度が最大輝度値以下であると判定した場合(S304:NO)、制御装置2は、CPU20の制御により、平均輝度を、予め設定されている輝度範囲の下限を示す最小輝度値と比較する(S306)。
ステップS306において、平均輝度が最小輝度値より小さく輝度範囲から外れると判定した場合(S306:YES)、制御装置2は、CPU20の制御により、カメラ1が備えるγ変換器19のγ値を、より小さい値に変更させる指示を行う(S307)。ステップS307における指示の方法としては、制御装置2から具体的なγ値を示す値を指示する指示信号を送信する様にしても良く、また予めカメラ1に複数段階のγ値を設定しておき、設定しているγ値が小さくなるように変更する指示を行う指示信号を行うようにしてもよい。またγ値の変更の程度としては、予め設定されている所定の数値分の変更を行うようにしても良いが、平均輝度と最小輝度値との差に基づいて数値を決定する様にしても良い。そして制御装置2では、ステップS301に戻り、次の画像フレームに対する処理を実行する。
ステップS306において、平均輝度が最小輝度値より大きく輝度範囲内であると判定した場合(S306:NO)、ステップS301に戻り、次の画像フレームに対する処理を実行する。
上述したように、監視対象として運転者の顔を撮像した画像フレームにおいて、運転者の顔の撮像領域における平均輝度が、輝度範囲から外れる場合に、γ値を調整することにより、背景領域のように処理対象ではない領域における輝度に影響されず、画像処理の実行に適した輝度になるように被写体を撮像することができる。
また前記実施の形態1及び2では、運転者の顔を撮像対象とする形態を示したが、本発明はこれに限らず、様々な人物、更には人物以外の生物又は無生物を撮像対象とする形態であっても良い。
以上の実施の形態1及び2を含む実施の形態に関し、更に以下の付記を開示する。
(付記1)
被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を増幅する増幅手段と、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する生成手段と備える撮像システムにおいて、
前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、
検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
算出した平均輝度を、予め設定されている基準輝度と比較する比較手段と、
平均輝度及び基準輝度が異なる場合に、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する変更手段と
を備えることを特徴とする撮像システム。
(付記2)
前記比較手段は、基準輝度及び平均輝度の比に基づいて比較するように構成してあり、
照射時間、撮像時間及び増幅率、並びに該照射時間、撮像時間及び増幅率に基づいて決定される画像の輝度に係るゲイン値を対応付けて記録するテーブルと、
前記比較手段の比較結果、並びに設定されている照射時間、撮像時間及び増幅率に基づき決定されるゲイン値に基づいて、比較結果に応じたゲイン値を算出する手段と、
算出したゲイン値に応じた照射時間、撮像時間及び増幅率を、前記テーブルの記録内容に基づき決定する決定手段と
を更に備え、
前記変更手段は、前記決定手段が決定した照射時間、撮像時間及び増幅率に基づいて、照射時間、撮像時間及び増幅率の中の少なくとも一つを変更するように構成してある
ことを特徴とする付記1に記載の撮像システム。
(付記3)
被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを備える撮像システムにおいて、
前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、
検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
算出した平均輝度を予め設定されている輝度範囲と比較する手段と、
平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段と
を備えることを特徴とする撮像システム。
(付記4)
前記変換方法は、輝度値を所定の指数にて累乗することで変換する方法であり、
前記変換方法を変更する手段は、指数を変更するように構成してある
ことを特徴とする付記3に記載の撮像システム。
(付記5)
被写体に対して光を照射する照射手段と、該照射手段が光を照射した方向を撮像して得られた入力光を電気信号に変換する撮像手段と、該撮像手段が変換した電気信号を所定の増幅率にて増幅する増幅手段とを制御し、該増幅手段が増幅した電気信号に基づいて、複数の画素データを含む画像データを生成する制御装置において、
生成した画像データから前記被写体を示す領域を検出する手段と、
検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
算出した平均輝度を、予め設定されている基準輝度と比較する比較手段と、平均輝度及び基準輝度が異なる場合に、前記照射手段の照射時間、前記撮像手段の撮像時間及び前記増幅手段の増幅率の中の少なくとも一つを変更する手段と
を備えることを特徴とする制御装置。
(付記6)
被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを制御する制御装置において、
前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、
検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
算出した平均輝度を予め設定されている輝度範囲と比較する手段と、
平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段と
を備えることを特徴とする制御装置。
100,101 撮像システム
1 カメラ
13 撮像部
14 増幅器
19 γ変換器
2 制御装置
21a テーブル
3 LED

Claims (2)

  1. 被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを備える撮像システムにおいて、
    前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、
    検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
    算出した平均輝度を予め設定されている輝度範囲と比較する手段と、
    平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段と
    を備え
    前記変換方法は、輝度値を所定の指数にて累乗することで変換する方法であり、
    前記変換方法を変更する手段は、
    平均輝度が輝度範囲の上限値より大きい場合に、平均輝度と上限値との差に基づいて決定される数値に指数を変更し、
    平均輝度が輝度範囲の下限値より小さい場合に、平均輝度と下限値との差に基づいて決定される数値に指数を変更する
    ように構成してある
    撮像システム。
  2. 被写体の撮像に基づいて複数の画素データを含む画像データを生成する生成手段と、該生成手段が生成した画像データに含まれる画素データの輝度を所定の変換方法で変換する変換手段とを制御する制御装置において、
    前記生成手段が生成した画像データから前記被写体を示す領域を検出する手段と、
    検出した領域に含まれる画素データの輝度の平均を平均輝度として算出する手段と、
    算出した平均輝度を予め設定されている輝度範囲と比較する手段と、
    平均輝度が輝度範囲から外れる場合に前記変換手段の変換方法を変更する手段と
    を備え
    前記変換方法は、輝度値を所定の指数にて累乗することで変換する方法であり、
    前記変換方法を変更する手段は、
    平均輝度が輝度範囲の上限値より大きい場合に、平均輝度と上限値との差に基づいて決定される数値に指数を変更し、
    平均輝度が輝度範囲の下限値より小さい場合に、平均輝度と下限値との差に基づいて決定される数値に指数を変更する
    ように構成してある
    制御装置。
JP2010276181A 2010-12-10 2010-12-10 撮像システム及び制御装置 Active JP5041056B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010276181A JP5041056B2 (ja) 2010-12-10 2010-12-10 撮像システム及び制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010276181A JP5041056B2 (ja) 2010-12-10 2010-12-10 撮像システム及び制御装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005051990A Division JP4679175B2 (ja) 2005-02-25 2005-02-25 撮像システム及び制御装置

Publications (2)

Publication Number Publication Date
JP2011091845A JP2011091845A (ja) 2011-05-06
JP5041056B2 true JP5041056B2 (ja) 2012-10-03

Family

ID=44109591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010276181A Active JP5041056B2 (ja) 2010-12-10 2010-12-10 撮像システム及び制御装置

Country Status (1)

Country Link
JP (1) JP5041056B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6690481B2 (ja) * 2016-09-13 2020-04-28 株式会社リコー 飛行型点検装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61258567A (ja) * 1985-05-13 1986-11-15 Hitachi Denshi Ltd デイジタル映像信号処理方式
JP2645859B2 (ja) * 1988-05-20 1997-08-25 三洋電機株式会社 撮像装置
JPH0220970A (ja) * 1988-07-08 1990-01-24 Olympus Optical Co Ltd 画像信号処理装置
JPH07322132A (ja) * 1994-05-23 1995-12-08 Fuji Photo Film Co Ltd 映像信号のレベル調整装置およびその制御方法
JP4043574B2 (ja) * 1997-12-26 2008-02-06 富士フイルム株式会社 デジタルカメラ並びにデジタルカメラの記録再生方法

Also Published As

Publication number Publication date
JP2011091845A (ja) 2011-05-06

Similar Documents

Publication Publication Date Title
JP4645921B2 (ja) 画像信号処理装置および方法、プログラム、並びに撮像装置
KR100990904B1 (ko) 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법
US7990443B2 (en) Image sensing apparatus and image processing method
US8115857B2 (en) Digital camera and image processing computer program product
US20140036141A1 (en) Image pickup apparatus that performs exposure control, method of controlling the image pickup apparatus, and storage medium
JP4736939B2 (ja) 撮像装置及び画像処理方法
US9313416B2 (en) Image processing apparatus that performs gradation correction of photographed image, method of controlling the same, and storage medium
JP2007082181A (ja) 撮像装置及び画像処理方法
JP4948591B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR101937249B1 (ko) 열상카메라의 영상 잡음 레벨에 기반한 대조비 향상 기법 및 장치
CN107295267A (zh) 控制高动态范围自动曝光控制成像中的信噪比
JP4679175B2 (ja) 撮像システム及び制御装置
JP2007336258A (ja) 映像信号処理装置及び映像信号処理方法
JP5041056B2 (ja) 撮像システム及び制御装置
US9904991B2 (en) Image pickup apparatus that corrects contrast of image, control method for the image pickup apparatus, and storage medium
JP2009100302A (ja) 画像処理装置、画像処理方法、プログラム、撮像装置、及び撮像方法
US10142552B2 (en) Image processing apparatus that corrects contour, control method therefor, storage medium storing control program therefor, and image pickup apparatus
JP2013179485A (ja) 画像処理装置及びその制御方法
JP4274316B2 (ja) 撮像システム
KR20160051463A (ko) 저조도 영상의 전처리 시스템 및 그 방법
JP6514577B2 (ja) 画像処理装置および画像処理方法ならびに撮像装置
JP5398860B2 (ja) 画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体
US11012630B1 (en) Image processor and image processing method
US11388346B2 (en) Image capturing control apparatus and image capturing control method
JP2011249948A (ja) ステレオ画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120612

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120625

R150 Certificate of patent or registration of utility model

Ref document number: 5041056

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150720

Year of fee payment: 3