JP5285543B2

JP5285543B2 - 撮像装置

Info

Publication number: JP5285543B2
Application number: JP2009196124A
Authority: JP
Inventors: 利春竹ノ内; 睦裕山中; 修上杉
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2009-08-26
Filing date: 2009-08-26
Publication date: 2013-09-11
Anticipated expiration: 2029-08-26
Also published as: JP2011049792A

Description

本発明は、撮像装置に関し、特に周囲光の影響を低減した画像を撮像するための撮像装置に関するものである。

本出願人は、光照射手段で光を照射しているときに撮像した画像（発光時画像）と、光照射手段で光を照射していないときに撮像した画像（非発光時画像）との差分画像を取得する撮像装置を既に提案している（特許文献１参照）。かかる差分画像では、光照射手段から照射される光の反射光成分のみを画素値としており、太陽光などの周囲光による影響が低減されている。

特開２００６−１２１６１７号公報

ところで、上述のような撮像装置で移動する対象物（被写体）や大きさが異なる対象物をランダムに撮像する場合、光照射手段の照射範囲を広く且つ発光量を多くすれば、対象物に確実に光を照射できる。

その一方で、光照射手段の照射範囲を広く且つ発光量を多くすると、対象物の状況（位置や大きさなど）によっては対象物に照射されない光の割合が大きくなってしまい、光照射手段において無駄な電力が消費されてしまうことになる。

本発明は上記事情に鑑みて為されたものであり、その目的は、対象物の状況に応じた適切な範囲に光を照射することで無駄な電力消費が抑制できる撮像装置を提供することにある。

請求項１の発明は、上記目的を達成するために、対象領域に光を照射する光照射手段と、光照射手段が光を照射する照射期間に同期して撮像した第１の画像と照射期間以外で撮像した第２の画像との差分画像を生成する差分画像生成手段と、撮像の対象である対象物の状況に関する情報を取得する情報取得手段と、情報取得手段で取得する情報に基づいて光照射手段を制御する制御手段とを備え、光照射手段は、それぞれに１乃至複数の光源を有する複数の光源部と、これら複数の光源部の一部又は全部を選択して発光させる発光制御部とを具備し、制御手段は、対象物以外に照射される光が少なくなるように発光制御部が選択する光源部を設定することを特徴とする。

請求項１の発明によれば、制御手段が、対象物の状況に関する情報に基づき、対象物以外に照射される光が少なくなるように発光制御部が選択する光源部を設定するので、対象物の状況に応じた適切な範囲に光を照射することで無駄な電力消費が抑制できる。

請求項２の発明は、請求項１の発明において、情報取得手段が取得する前記情報は、対象物の大きさに関する情報であることを特徴とする。

請求項３の発明は、請求項１の発明において、情報取得手段が取得する前記情報は、対象物までの距離であることを特徴とする。

請求項４の発明は、請求項１の発明において、情報取得手段が取得する前記情報は、対象物の位置であることを特徴とする。

請求項５の発明は、請求項２〜４の何れか１項の発明において、情報取得手段は、複数の差分画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から前記情報を取得することを特徴とする。

請求項５の発明によれば、対象物の状況に関する情報を簡易に取得できる。

請求項６の発明は、請求項２〜４の何れか１項の発明において、情報取得手段は、外部から取り込んだ対象領域の画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から前記情報を取得することを特徴とする。

請求項６の発明によれば、情報取得手段における情報取得の処理が簡素化できる。

請求項７の発明は、請求項１の発明において、情報取得手段は、前記情報として対象物の大きさや対象物までの距離、あるいは対象物の位置などの複数種類の情報を取得することを特徴とする。

請求項８の発明は、請求項２〜４の何れか１項の発明において、情報取得手段は、前記情報を外部から受け取ることを特徴とする。

請求項９の発明は、請求項１〜８の何れか１項の発明において、制御手段は、各フレーム毎に発光制御部が選択する光源部を設定することを特徴とする。

請求項９の発明によれば、より適切な範囲に光を照射して無駄な電力消費がさらに抑制できる。

本発明によれば、対象物の状況に応じた適切な範囲に光を照射することで無駄な電力消費が抑制できる。

本発明の実施形態１を示すブロック図である。同上における光源部の概略構成図である。（ａ）〜（ｃ）は同上の動作説明図である。本発明の実施形態２を示すブロック図である。本発明の実施形態３を示すブロック図である。本発明の実施形態４を示すブロック図である。

以下、高速道路の料金所や有料駐車場の入場ゲート又は出場ゲートなどを通過する自動車を対象物（被写体）とする撮像装置に本発明の技術思想を適用した実施形態について詳細に説明する。但し、本発明の技術思想が適用可能な撮像装置は、これに限定されるものではない。

（実施形態１）
本実施形態の撮像装置Ａ１は、図１に示すように対象領域（自動車が走行するレーン）に光（赤外光）を照射する複数（図示例では４つ）の光源部１₁〜１₄と、光源部１_i（ｉ＝１，２，３，４）を各別に発光させる発光制御部２と、赤外光に感度を有する撮像素子をを具備した撮像部３と、撮像部３を駆動制御する駆動制御部４と、光源部１_iから赤外光が照射される照射期間に同期して撮像部３が撮像した第１の画像（発光時画像）と照射期間以外で撮像部３が撮像した第２の画像（非発光時画像）との差分画像（光変調画像）を生成する画像生成部５とを備える。尚、画像生成部５で生成された差分画像は、外部の画像記録装置Ｂ並びに表示装置Ｃに出力され、画像記録装置Ｂに記録されるとともに表示装置Ｃに表示される。

光源部１_iは、図２に示すように多数の赤外発光ダイオードＬＤがマトリクス状に配設されてなり、縦横２列に配置されている。発光制御部２は、例えば、非常に高い周波数（例えば、１０メガヘルツ）の変調信号を光源部１_iの赤外発光ダイオードＬＤに出力して対象物（自動車）が存在する対象領域に変調光を照射させる。駆動制御部４は、発光制御部２の変調信号による赤外発光ダイオードＬＤの発光周期に同期して、変調光が照射されている照射期間と変調光が照射されていない非照射期間のそれぞれにおいて撮像部３の撮像素子で受光した反射光成分を画素値とする第１の画像並びに第２の画像を画像生成部５に出力している。

画像生成部５においては、撮像部３から出力される第１及び第２の画像をディジタルの画像データに変換した後、照射期間に得られる画像データと非照射期間に得られる画像データとの各画素毎の差分を演算することで変調光（赤外光）の反射光成分のみを画素値とする差分画像（光変調画像）を生成している。但し、このような画像生成部５については、特開２００６−１２１６１７号公報等にも記載されているように公知の技術で実現可能であるから詳細な説明は省略する。

また、本実施形態の撮像装置Ａ１は、対象物（自動車）の状況に関する情報を取得する情報取得手段と、情報取得手段で取得する情報に基づいて光照射手段（光源部１_i並びに発光制御部２）を制御する制御手段とを備えている。本実施形態における情報取得手段は、画像生成部５で生成される差分画像から対象物（自動車）を抽出する対象物抽出部７と、対象物抽出部７で抽出される対象物の状況（例えば、対象物の位置や対象物の大きさなど）を推定する対象物推定部８からなる。

対象物抽出部７は、画像生成部５で連続して生成された複数フレームの差分画像について全画素の画素値の差分（時間的な変化量）を求め、当該差分が所定の閾値以上となる画素群を対象物として抽出する。例えば、図３（ａ），（ｂ）に示すように撮像装置Ａ１の画角が固定されており、画角内にはレーンＬ並びにゲートＧとともにレーンＬを走行する自動車Ｍが撮像されるものとすると、対象物抽出部７では、図３（ａ）に示すｎ−１番目のフレームの画像（差分画像）と図３（ｂ）に示すｎ番目のフレームの画像（差分画像）とのフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から対象物（自動車Ｍ_n-1，自動車Ｍ_n）を抽出する（図３（ｃ）参照）。つまり、移動する対象物（レーンＬを走行する自動車Ｍ）以外のレーンＬやゲートＧの撮像画像はフレーム間差分によって相殺されてしまうので、時間的差分画像には移動する対象物の撮像画像（自動車Ｍ_n-1，自動車Ｍ_n）のみが残ることになる。

ここで、対象物である自動車ＭはレーンＬに沿ってゲートＧに近付く向き（図３においては右上から左下へ向かう向き）に移動（走行）しているので、自動車Ｍの走行速度が判れば、次のｎ＋１番目のフレームで撮像される自動車Ｍ_n+1の位置を推定することができる。故に、対象物推定部８では、対象物抽出部７で抽出された対象物（自動車Ｍ_n-1，自動車Ｍ_n）の位置がフレーム間で変位する変位量に基づいて移動速度（走行速度）を算出するとともに、当該移動速度並びに前フレームにおける対象物の位置に基づいて、次フレーム（ｎ＋１番目のフレーム）における対象物（自動車Ｍ_n+1）の位置（図３（ｃ）における破線参照）を推定し、その推定結果（対象物である自動車の運転席の位置情報）を制御手段たる主制御部６に渡す。ここで、対象物の大きさは自動車の車種に応じた運転席（フロントガラス）の高さに関連しており、例えば、バスやトラックなどの大型車と普通乗用車などの小型車では、同じ位置にあっても車高が大きく違うために運転席の位置も異なることになる。故に、レーンＬを通過する自動車の車種が小型車又は大型車の何れか一方に限定されていれば、上述したように抽出した自動車の位置のみから対象物である当該自動車の運転席の位置を推定することができるが、小型車と大型車の双方が同じレーンＬを通過する場合においては、抽出された自動車の位置だけでなく当該自動車の大きさに基づいて対象物である運転席の位置を推定する必要がある。

主制御部６は、対象物推定部８の推定結果に基づき、対象物（自動車Ｍ_n+1の運転席）を含む範囲に適切な光量で変調光が照射され且つ対象物以外に照射される変調光が少なくなるように発光制御部２が選択（発光）する光源部１_iを設定する。例えば、次フレームにおける対象物の推定位置が画面中央よりも左下の範囲であるときは、自動車Ｍ_n+1の位置が相対的に近い位置であるとみなして光源部１₃のみを発光制御部２に選択（発光）させ、反対に対象物の推定位置が画面中央よりも右上の範囲であるときは、自動車Ｍ_n+1の位置が相対的に遠い位置であるとみなして光源部１₁，１₂，１₄のみを発光制御部２に選択（発光）させればよい。尚、自動車の車種によって対象物である運転席の大きさも変わるので、対象物の大きさ（車種＜大型車又は小型車＞）と位置に基づき、大型車と小型車がほぼ同一の位置にある場合において大型車に対しては小型車と比較して選択する光源部１_iの数を増やせばよい。

而して本実施形態の撮像装置Ａ１によれば、制御手段たる主制御部６が、対象物（自動車）の状況に関する情報に基づき、対象物以外に照射される光が少なくなるように発光制御部２が選択する光源部１_iを設定するので、対象物の状況に応じた適切な範囲に光を照射することで無駄な電力消費が抑制できるものである。ここで、対象物抽出部７並びに対象物推定部８が連続する複数フレームの差分画像から順次対象物の状況に関する情報（大きさや位置）を推定し、それらの情報に基づいて、主制御部６が各フレーム毎に発光制御部２が選択（発光）させる光源部１_iを設定するようにしても構わない。

（実施形態２）
本実施形態の撮像装置Ａ２は、図４に示すように対象物抽出部７が画像生成部５で生成される差分画像の代わりに、外部に設置されている汎用撮像装置Ｄで撮像された画像から対象物（自動車）を抽出する点に特徴がある。但し、本実施形態の撮像装置Ａ２の基本構成は実施形態１の撮像装置Ａ１と共通であるから、共通の構成要素については同一の符号を付して適宜図示並びに説明を省略する。

汎用撮像装置Ｄは、例えば、市販されている汎用のＣＣＤカメラであって、撮像装置Ａ２とほぼ同一の画角で対象領域を撮像するものである。そして、汎用撮像装置Ｄで撮像された画像が対象物抽出部７に出力される。

対象物抽出部７は、実施形態１と同様に、汎用撮像装置Ｄで連続して撮像される複数フレームの画像について全画素の画素値の差分（時間的な変化量）を求め、当該差分が所定の閾値以上となる画素群を対象物として抽出する。尚、対象物推定部８並びに主制御部６が行う処理については実施形態１と共通であるから説明は省略する。

而して本実施形態の撮像装置Ａ２においても実施形態１の撮像装置Ａ１と同様に、情報取得手段（対象物抽出部７並びに対象物推定部８）で取得される次フレームの対象物の状況に関する情報（対象物の大きさや位置など）に基づいて、制御手段たる主制御部６が当該次フレームの差分画像を撮像する際に対象物以外に照射される光が少なくなるように発光制御部２が選択する光源部１_iを設定するので、対象物の状況に応じた適切な範囲に光を照射することで無駄な電力消費が抑制できるものである。尚、汎用撮像装置Ｄで撮像される複数フレームの画像から順次対象物の状況に関する情報（大きさや位置）を推定し、それらの情報に基づいて、主制御部６が各フレーム毎に発光制御部２が選択（発光）させる光源部１_iを設定するようにしても構わない。

（実施形態３）
本実施形態の撮像装置Ａ３は、図５に示すように対象物抽出部７の代わりに対象物検出装置Ｅで検出する対象物に基づいて対象物推定部９が対象物の状況に関する情報を取得（推定）する点に特徴がある。但し、本実施形態の撮像装置Ａ３の基本構成は実施形態１の撮像装置Ａ１と共通であるから、共通の構成要素については同一の符号を付して適宜図示並びに説明を省略する。

対象物検出装置Ｅは、例えば、レーンＬに沿って電波若しくは超音波を送波し、対象物である自動車に反射して戻る反射波を受波することで当該自動車までの距離並びに走行速度を検出するとともに、赤外線センサを利用して自動車の車高を検出するものであって、検出結果（自動車の位置情報並びに大きさ（高さ）情報）を撮像装置Ａ３の対象物推定部９に出力する。

対象物推定部９は、対象物検出装置Ｅから取得する対象物（自動車）の位置情報並びに大きさ（高さ）情報に基づいて次フレームの差分画像を撮像する際の対象物（自動車の運転席）の位置を推定し、その推定結果を主制御部６に出力する。尚、主制御部６が行う処理については実施形態１と共通であるから説明は省略する。

而して本実施形態の撮像装置Ａ３においても実施形態１，２の撮像装置Ａ１，Ａ２と同様に、情報取得手段（対象物推定部９）で取得される次フレームの対象物の状況に関する情報（対象物の大きさや位置など）に基づいて、制御手段たる主制御部６が当該次フレームの差分画像を撮像する際に対象物以外に照射される光が少なくなるように発光制御部２が選択する光源部１_iを設定するので、対象物の状況に応じた適切な範囲に光を照射することで無駄な電力消費が抑制できる。尚、対象物検出装置Ｅで検出される対象物の位置や大きさに基づいて対象物推定部９が順次対象物の状況に関する情報を推定し、それらの情報に基づいて、主制御部６が各フレーム毎に発光制御部２が選択（発光）させる光源部１_iを設定するようにしても構わない。

（実施形態４）
本実施形態の撮像装置Ａ４は、図６に示すように外部のシステム（例えば、ＥＴＣシステムＦ）から受け取る対象物（自動車）の状況に関する情報に基づいて、対象物以外に照射される光が少なくなるように主制御部６が発光制御部２の選択する光源部１_iを設定する点に特徴がある。但し、本実施形態の撮像装置Ａ４の基本構成は実施形態１の撮像装置Ａ１と共通であるから、共通の構成要素については同一の符号を付して適宜図示並びに説明を省略する。

ＥＴＣ（エレクトロニック・トール・コレクション，但し、「ＥＴＣ」は登録商標）システムＦにおいては、自動車に搭載される車載器にセットアップされている情報、具体的には車検証に記載されている車両情報、例えば、車体の形式（箱形やステーションワゴン，トラックなど）や車体寸法（全長・全幅・全高など）などを当該車載器から無線通信で取得している。そして、本実施形態の撮像装置Ａ４では、ＥＴＣシステムＦが対象物である自動車から取得した車両情報を主制御部６で取得し、当該車両情報に基づいて発光制御部２の選択する光源部１_iを設定している。

而して本実施形態の撮像装置Ａ４では、自動車の大きさ（車種）を対象物の状況に関する情報とし、車種によって自動車の運転席の位置が変化する場合においても当該運転席に変調光が照射されるとともに運転席以外に照射される変調光を減らすように発光制御部２が選択（発光）する光源部１_iを設定するので、自動車の車種に応じた適切な範囲に光を照射することで無駄な電力消費が抑制できる。

ところで、実施形態１〜４では複数の光源部１_iを選択的に発光させることで対象物以外に照射される光が少なくなるようにしているが、単一の光源部１の姿勢を機械的に変化させることで対象物のみに変調光が照射されるようにしても構わない。

１光源部（光照射手段）
２発光制御部（光照射手段）
３撮像部（差分画像生成手段）
４駆動制御部（差分画像生成手段）
５画像生成部（差分画像生成手段）
６主制御部（制御手段）
７対象物抽出部（情報取得手段）
８対象物推定部（情報取得手段）

Claims

対象領域に光を照射する光照射手段と、光照射手段が光を照射する照射期間に同期して撮像した第１の画像と照射期間以外で撮像した第２の画像との差分画像を生成する差分画像生成手段と、撮像の対象である対象物の状況に関する情報を取得する情報取得手段と、情報取得手段で取得する情報に基づいて光照射手段を制御する制御手段とを備え、
光照射手段は、それぞれに１乃至複数の光源を有する複数の光源部と、これら複数の光源部の一部又は全部を選択して発光させる発光制御部とを具備し、
制御手段は、対象物以外に照射される光が少なくなるように発光制御部が選択する光源部を設定することを特徴とする撮像装置。
情報取得手段が取得する前記情報は、対象物の大きさに関する情報であることを特徴とする請求項１記載の撮像装置。
情報取得手段が取得する前記情報は、対象物までの距離であることを特徴とする請求項１記載の撮像装置。
情報取得手段が取得する前記情報は、対象物の位置であることを特徴とする請求項１記載の撮像装置。
情報取得手段は、複数の差分画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から前記情報を取得することを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
情報取得手段は、外部から取り込んだ対象領域の画像のフレーム間差分を演算して時間的差分画像を生成し、当該時間的差分画像から前記情報を取得することを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
情報取得手段は、前記情報として対象物の大きさや対象物までの距離、あるいは対象物の位置などの複数種類の情報を取得することを特徴とする請求項１記載の撮像装置。
情報取得手段は、前記情報を外部から受け取ることを特徴とする請求項２〜４の何れか１項に記載の撮像装置。
制御手段は、各フレーム毎に発光制御部が選択する光源部を設定することを特徴とする請求項１〜８の何れか１項に記載の撮像装置。