JPWO2016117213A1 - 撮像装置及び方法、並びにプログラム及び記録媒体 - Google Patents

Abstract

探知手段で検知した物体の中から注目度の高い物体を選択し、対応する注目領域を検波枠として、撮像画像の明るさを算出し、算出された明るさに基づいて露光制御を行う。距離が近いほど注目度を高く評価する。或いは方向が進行方向に近いほど注目度を高く評価する。物体までの距離が短いほど、注目領域を大きくする。物体の種類を判別して、判別結果に基づいて注目領域の大きさを決めても良い。注目被写体が鮮明に視認できるようにする。

Description

本発明は、撮像装置及び方法に関する。本発明はまた、撮像装置又は方法における処理をコンピュータに実行させるためのプログラム、及び該プログラムを記録した記録媒体に関する。

従来の撮像装置として、撮像画面の中央部の撮像信号のレベルと、撮像画面の周辺部の撮像信号のレベルとに対して演算処理を行い、画像周辺部に光源等を含んだ状態かどうかを判別し、その状態に応じてゲインコントロール部の利得を連続的に制御して画像中央部が適正な信号レベルになるように補正を行うものが知られている（例えば、特許文献１参照）。

特開昭６２−１１０３６９号公報（第２頁、段落８〜段落９）

上記の従来の撮像装置は、画像周辺部に光源等を含んだ状態かどうかを判別して逆光補正するので、注目被写体が画面中央にはないときに、注目被写体にとっての逆光状態を検出できないまま露光制御を行う。そのため、注目被写体が黒つぶれ、白飛びして視認できなくなるという問題があった。また、この撮像画像を使った認識を行う場合、注目被写体の認識率が低いという問題があった。

この発明は、上記の課題を解決するためになされたもので、注目被写体の黒つぶれ、或いは白飛びの発生を抑え、鮮明に視認できるようにすることを目的とする。

本発明の撮像装置は、
撮像画角範囲内に位置する被写体を撮像して撮像画像を生成する撮像手段と、
前記撮像画角範囲に少なくとも部分的に重なる探知範囲内に存在する物体を検知して、該物体の方向を示す情報及び該物体までの距離を示す情報を出力する探知手段と、
前記探知手段から出力される、前記物体の方向を示す情報及び前記距離を示す情報に基づいて１又は２以上の物体を選択し、選択された物体の前記撮像画像中における位置を示す情報及び前記選択された物体までの距離を示す情報を出力する注目物体選択手段と、
前記注目物体選択手段から出力された、前記選択された物体の位置を示す情報及び前記選択された物体までの距離を示す情報から、前記撮像画像における、前記選択された物体を含む領域を、注目領域として特定する注目領域特定手段と、
前記注目領域特定手段で特定された注目領域における前記撮像画像の明るさを算出する明るさ算出手段と、
前記明るさ算出手段で算出された前記明るさに基づいて前記撮像手段を露光制御する露光制御手段と
を備えることを特徴とする。

本発明によれば、選択した物体に対応する画像部分の黒つぶれ、あるいは白飛びがしにくく、従って選択した物体を鮮明に視認することができるという効果がある。

本発明の実施の形態１の撮像装置の構成を示すブロック図である。 図１のレーダーの概略構成を示すブロック図である。 自車両から見た前方のシーンの一例を示す図である。 図３の前方シーンのうち、撮像画角範囲及びレーダーによる探知範囲を示す図である。 図４の探知範囲内において、レーダーによって検知された、探知範囲内における物体の位置を示す図である。 図５に示される物体のうち、距離に基づいて選択された一つの物体に対して特定された注目領域の例を示す図である。 図６の注目領域を検波枠として露光制御を行った結果得られる画像の一例を示す図である。 自車両から見た前方のシーンの他の例を示す図である。 図８のシーンの探知範囲内において、レーダーによって検知された、探知範囲内における物体の位置を示す図である。 図８に示される物体のうち、距離に基づいて選択された一つの物体に対して特定された注目領域の例を示す図である。 図１０の注目領域を検波枠として露光制御を行った結果得られる画像の一例を示す図である。 本発明の実施の形態２の撮像装置の構成を示すブロック図である。 図５に示される物体のうち、方向及び距離に基づいて選択された一つの物体に対して特定された注目領域の例を示す図である。 図１３の注目領域を検波枠として露光制御を行った結果得られる画像の一例を示す図である。 図８に示される物体のうち、方向及び距離に基づいて選択された一つの物体に対して特定された注目領域の例を示す図である。 図１５の注目領域を検波枠として露光制御を行った結果得られる画像の一例を示す図である。 本発明の実施の形態３の撮像装置の構成を示すブロック図である。 図５に示される物体のうち、距離に基づいて選択された一つの物体に対して、物体の判別結果に基づいて特定された注目領域の例を示す図である。 図１８の注目領域を検波枠として露光制御を行った結果得られる画像の一例を示す図である。 本発明の実施の形態４の撮像装置の構成を示すブロック図である。 図５に示される物体のうち、方向及び距離に基づいて選択された一つの物体に対して、物体の判別結果を考慮に入れて特定された注目領域の例を示す図である。 図２１の注目領域を検波枠として露光制御を行った結果得られる画像の一例を示す図である。 本発明の実施の形態５の撮像装置の構成を示すブロック図である。 本発明の実施の形態６の撮像装置の構成を示すブロック図である。 図５に示される物体のうち、距離に基づいて選択された二つの物体に対して特定された注目領域の例を示す図である。 図２５の注目領域を検波枠として露光制御を行った結果得られる画像の一例を示す図である。 本発明の実施の形態７の撮像装置の構成を示すブロック図である。 実施の形態１、３、５又は６の撮像装置を構成するコンピュータシステムを示すブロック図である。 実施の形態２又は４の撮像装置を構成するコンピュータシステムを示すブロック図である。

実施の形態１．
図１は、本発明の実施の形態１の撮像装置の構成を示すブロック図である。
図示の撮像装置は、車両に搭載されるものであり、レンズ１と、撮像素子２と、カメラ信号処理回路３と、レーダー４と、注目物体選択回路５と、注目領域特定回路６と、明るさ算出回路７と、露光制御回路８とを有する。

レンズ１は撮像画角範囲に位置する被写体からの光を撮像素子２の撮像面上に導き、撮像面上に被写体像を形成する。
撮像素子２は、撮像面上に形成された被写体像を光電変換して、撮像画像を表す撮像信号を生成する。撮像素子２で生成された撮像信号Ｄ２は、カメラ信号処理回路３に供給される。
以下では、撮像素子２により動画撮影が行われ、撮像素子２からフレーム期間毎に撮像信号が出力される場合を想定して説明する。
撮像素子２は、撮像装置を搭載した車両（自車両）の車体の前方を撮像するように設けられており、レンズ１の光軸の方向は、自車両の車体の前方向に一致しているものとする。

カメラ信号処理回路３は、撮像素子２から出力される各フレームの撮像画像に対して色同時化処理、信号増幅処理、階調補正処理、ノイズ低減処理、輪郭補正処理、白バランス調整処理、及び色補正処理を施して、これらの処理の結果得られる画像（信号処理後の撮像画像）の時系列を映像信号Ｄ３として出力する。映像信号Ｄ３は出力端子９から出力される。
出力される映像信号Ｄ３は、例えば運転支援処理における物体認識のために利用される。
カメラ信号処理回路３は、また、映像信号Ｄ３で表される各フレームの撮像画像の各画素の輝度を表す輝度信号Ｙ３を出力する。輝度信号Ｙ３は、明るさ算出回路７に供給される。

上記の色同時化処理においては、各画素位置において欠落している色成分を補間する。例えば、ＲＧＢベイヤ型の画素配列の場合、各画素位置に、Ｒ画素、Ｇ画素、及びＢ画素のどれか１つの画素データしか存在しないため、各画素位置において欠落している色の画素データを周辺画素の同じ色の画素データを用いて補間する。これにより、各画素位置に、Ｒ、Ｇ、及びＢのすべての画素データが揃った映像信号を生成することができる。

上記の信号増幅処理においては、後述の露光制御回路８による画像の明るさの検出結果に基づいて信号を増幅する。
上記の階調補正処理においては、例えばガンマ特性の階調特性となるようにテーブルを参照して階調補正を行う。

上記のノイズ低減処理においては、例えば空間的な平滑処理及び時間的な平滑処理の少なくとも一方を行うことでノイズを低減する。
上記の輪郭補正処理においては、例えば平滑処理などで鈍った輪郭を、例えば高域通過フィルタで強調することで補正する。

上記の白バランス調整処理においては、例えばＲ信号とＢ信号（あるいはＲ−Ｙ信号とＢ−Ｙ信号）を検波して、例えば平均値を求め、平均値の大きさを比較して、Ｒ信号とＢ信号（あるいはＲ−Ｙ信号とＢ−Ｙ信号）が白バランスするようにゲイン調整する。
上記の色補正処理においては、Ｒ信号、Ｇ信号、及びＢ信号に対してマトリクス演算を行うことで色相、及び彩度を補正する。

探知手段としてのレーダー４は、探知範囲内に存在する１又は２以上の物体の位置を検知する。以下では、レーダー４の探知範囲が撮像素子２の撮像画角範囲と同じであるとして説明する。
レーダー４は、図２に示すように、送出信号を生成する送信部４１と、送出信号に対応する送出電波を特定方向に送出し、各物体からの反射電波を受信する指向性の高いアンテナ４２と、アンテナ４２で受信した電波から反射波を抽出する受信部４３とを備え、送出波及び反射波から、探知範囲内の物体の方向と距離を測定する。
レーダー４は、測定された方向を示す情報（方向情報）Ｄ４ａ及び距離を示す情報（距離情報）Ｄ４ｂを、各物体の位置情報Ｄ４として出力する。
方向情報Ｄ４ａで示される方向は、撮像素子２の撮像画像内の位置に対応付けられている。撮像画像内の位置は、例えば、撮像画像内の水平方向位置及び垂直方向位置で表される。
以下では、レーダー４による物体の検知は、撮像素子２による撮像に同期して、即ち、同じ周期で、且つ同じタイミングで行われるものとする。
位置情報Ｄ４は注目物体選択回路５に供給される。

注目物体選択回路５は、レーダー４からの各物体の位置情報Ｄ４に基づいて注目物体を選択する。注目物体の選択に当たっては、各物体の注目度を評価し、評価結果に基づいて物体を選択する。例えば、注目度が最も高い物体を特定し、特定した物体を選択する。

注目物体選択回路５は、選択した物体の位置を示す情報Ｄ５を注目領域特定回路６に供給する。
選択した物体の位置を示す情報Ｄ５には、選択した物体の、撮像画像中における位置を示す情報Ｄ５ａと、自車両から当該物体までの距離を示す情報Ｄ５ｂが含まれる。
上記のように、レーダー４から出力される位置情報Ｄ４に含まれる方向情報Ｄ４ａで示される方向は、撮像画像内の位置に対応付けられている。従って、レーダー４から出力される、各物体についての方向情報Ｄ４ａから、撮像画像内の対応する位置を特定することができる。
注目物体選択回路５はさらに、レーダー４から出力される、各物体について距離情報Ｄ４ｂから、上記の選択された物体までの距離を示す情報Ｄ５ｂを抽出する。

注目領域特定回路６は、注目物体選択回路５から出力される情報Ｄ５で示される物体の位置、即ち、注目物体選択回路５で選択された物体の位置に基づいて撮像画像内の注目領域を特定し、特定した領域を示す情報（注目領域情報）Ｄ６を出力する。注目領域情報Ｄ６は明るさ算出回路７に供給される。

明るさ算出回路７は、注目領域特定回路６から出力された注目領域を示す情報Ｄ６に基づいて、注目領域を検波枠として、カメラ信号処理回路３から出力される輝度信号Ｙ３を検波する。例えば、明るさ算出回路７は、検波枠に含まれる画素の輝度信号Ｙ３に基づいて、該検波枠に含まれる画素の輝度の平均値（輝度平均値）Ｙａｖを計算し、計算結果を、明るさを表す情報として露光制御回路８に供給する。このようにして求められた輝度平均値は明るさ指標値として用いられる。

露光制御回路８は、明るさ算出回路７により算出された輝度平均値Ｙａｖを輝度目標値Ｙｒｆと比較して、比較の結果に基づいて露光制御を行う。
露光制御は、露光条件のパラメータ、即ち、撮像素子２に対する露光時間Ｔｅの制御及びカメラ信号処理回路３に対する信号増幅ゲインＧｓの制御により行われる。露光制御回路８は、露光時間Ｔｅの制御のための制御信号Ｃｔを撮像素子２に供給し、信号増幅ゲインＧｓの制御のための制御信号Ｃｇをカメラ信号処理回路３に供給する。

露光制御回路８は、メモリ８１を備えている。メモリ８１には、撮像素子２での撮像に用いられる露光時間Ｔｅの値（パラメータ）及びカメラ信号処理回路３での信号増幅に用いられる信号増幅ゲインＧｓの値（パラメータ）が記憶されている。
明るさ算出回路７から輝度平均値Ｙａｖが入力されると、露光制御回路８は、露光時間Ｔｅ及び信号増幅ゲインＧｓの調整を行う。

例えば、輝度目標値Ｙｒｆよりも輝度平均値Ｙａｖが大きければ、露光時間を短くする調整、或いは信号増幅ゲインを小さくする調整を行う。
逆に、輝度目標値Ｙｒｆよりも輝度平均値Ｙａｖが小さければ、露光時間を長くする調整、或いは信号増幅ゲインを大きくする調整を行う。

露光時間と信号増幅ゲインのいずれを変更するかは、ノイズがより少なくなるように決める。例えば、被写体が次第に暗くなる時には、先に露光時間を長くし、露光時間が最大になったら、それ以降は信号振幅ゲインを大きくする。露光時間の最大値は、１フレーム周期、あるいは動きぼけの許容限界となる時間である。動きぼけの許容限界となる時間の長さは、被写体の動きが激しいほど短い。
なお、レンズ１の絞りを制御して露光制御を行っても良い。

露光時間Ｔｅ又は信号増幅ゲインＧｓが調整されると、メモリ８１に記憶されている露光時間の値又は信号増幅ゲインの値が、調整後の値で書き換えられる（更新される）。
調整後の露光時間Ｔｅ又は信号増幅ゲインＧｓの値は、次のフレーム期間以降における撮像に際して、撮像素子２及びカメラ信号処理回路３に供給されて、露光制御に用いられる。

露光制御回路８による、撮像素子２の露光時間の制御及びカメラ信号処理回路３の信号増幅ゲインの制御によって、カメラ信号処理回路３から出力される映像信号で表される画像は、注目領域の物体が適正な明るさで見えるように制御されたものとなる。

本実施の形態の撮像装置を車両前方の物体を撮像して、認識するために適用した場合について説明する。この場合、撮像装置は車両に搭載されて車両の前方を撮像する。

図３は、本実施の形態の自車両から見た前方のシーンの一例を示す。このシーンが撮像素子２の撮影対象となり、またレーダー４の探知対象となる。
図示の例では、自車両（図示しない）が、片側２車線の道路の追越し車線ＴＦＬを走行して、トンネルＴＮにさしかかった場合を想定している。

トンネルＴＮの中の追越し車線ＴＦＬに小型車両Ａが走行しており、トンネルＴＮの手前の走行車線ＴＳＬに大型車両Ｂが走行しており、大型車両Ｂに続いて二輪車Ｄが走行している。対向方向の走行車線ＲＳＬにはトンネルＴＮから出てきた小型車両Ｃが走行している。対向車線の追い越し車線ＲＦＬを走行している車両はない。

大型車両の例としては、大型のトラック、大型のバスがある。小型車両の例としては、乗用車がある。道路上には、上記のほか人がいる場合もある。以下では、上記の車両Ａ〜Ｄを物体と言うことがある。また、人も、物体の一種として扱う。

進行方向の車線と対向方向の車線とは中央分離帯ＭＤで分離されている。進行方向の走行車線ＴＳＬと追越し車線ＴＦＬとの間には、車線区分線ＴＬＭが引いてある。対向方向の走行車線ＲＳＬと追い越し車線ＲＦＬとの間には、車線区分線ＲＬＭが引いてある。

以下では、時間帯は昼間であり、天気は快晴であり、トンネルＴＮの外は明るく、トンネルＴＮの中は暗い場合を想定する。

図３の前方シーンのうち、点線の枠ＣＲで示す範囲（撮像画角範囲）内の被写体が撮像素子２で撮像されて、図４に示す撮像画像が得られたものとする。また、上記のように、レーダー４の探知範囲も図３の点線の枠ＣＲで示す範囲（撮像画角範囲）と同じであるものとする。

図４の探知範囲に対してレーダー４は、検知した物体の位置情報Ｄ４を、注目物体選択回路５に供給する。レーダー４の探知により検知された物体の位置を図５に黒丸で示す。図５には、検知された物体の位置関係をわかりやすくするために背景シーン（トンネルＴＮ、中央分離帯ＭＤ、並びに車線区分線ＴＬＭ及びＲＬＭ）を重ねて示す。

レーダー４による探知においては、物体がある距離以上離れており、反射波が戻るまでの時間が予め定めた値よりも長い場合、或いは反射波の強度が予め定められた値未満である場合には、そのような物体は存在しない、或いは検知されなかったものとして扱う。

図５に示す例では、レーダー４は、物体Ａ、物体Ｂ、物体Ｃ及び物体Ｄを検知している。
レーダー４は、検知した物体の位置を示す情報（位置情報）Ｄ４として例えば、自車両から見た、物体の方向を示す情報（方向情報）Ｄ４ａ、及び自車両から物体までの距離を示す情報（距離情報）Ｄ４ｂを出力する。

位置情報Ｄ４としては、物体の中心の位置を示す情報が出力される。
その場合、同じ物体からの反射波が受信された方向範囲のうちの中心の方向、或いは同じ物体から反射波の強度が最も強い方向を、物体の中心の方向とみなす。
また、物体の中心の方向からの反射波に基づいて計算される距離を物体の中心までの距離として扱う。
レーダー４としては、比較的低性能のものを想定しており、レーダー４の出力からは、物体の大きさ及び形状を正確に知ることはできず、従って物体の種類を特定することはできないものとする。

上記のように、注目物体選択回路５は、レーダー４からの各物体の位置情報Ｄ４に基づいて各物体の注目度を評価し、注目度が最も高い物体を選択し、選択した物体の位置を示す情報Ｄ５を出力する。物体の位置を示す情報Ｄ５には、物体の撮像画像中の位置を示す情報Ｄ５ａと、物体までの距離を示す情報Ｄ５ｂとが含まれる。物体の撮像画像中の位置を示す情報Ｄ５ａは、例えば物体の中心の、撮像画像内の位置を示す情報である。物体までの距離を示す情報Ｄ５ｂは、例えば物体の中心までの距離を示す情報である。出力された情報Ｄ５は、注目領域特定回路６に供給される。

上記のように、レーダー４から出力される位置情報Ｄ４で示される方向は、撮像画像中の位置と対応付けられており、レーダー４で検知された物体の中心の位置に対応する撮像画像中の位置を特定することができる。従ってレーダー４から出力される、各物体の方向を示す情報Ｄ４ａから、同じ物体の撮像画像中の位置を示す情報Ｄ５ａを生成することができる。
各物体までの距離を示す情報Ｄ５ｂとしては、レーダー４から出力される同じ物体までの距離を示す情報Ｄ４ｂをそのまま用いることができる。

注目物体選択回路５における、各物体の注目度の評価に当たっては、例えば、自車両からの距離が短いほど、注目度が高いものとする。
図５の例では、物体Ｄが自車両からの距離が最も短く、従って注目度が最も高いと判定される。この場合、注目物体選択回路５は、物体Ｄを選択する。

注目領域特定回路６は、注目物体選択回路５で選択された物体について、撮像画像中の注目領域を特定する。例えば、注目物体選択回路５で選択された物体の中心を中心として、当該物体までの距離に応じた大きさの領域を注目領域として特定する。注目領域は、水平方向に延びた一対の辺と垂直方向に延びた一対の辺を有する矩形の領域である。

注目領域の大きさは、選択された物体が、想定される複数種類の物体のうちで最も大きい種類のもの、即ち、大型車両であると仮定した場合に、撮像画像において該物体が占めると推定される部分、即ち該物体に対応する画像部分をすべてその内部に含む大きさである。この大きさを推定するに当たり、選択された物体までの距離を考慮に入れる。これは、同じ大型車両であっても、距離によって撮像画像中に現れる大きさは変わるからである。

撮像画像中に現れる物体の大きさを推定するに当たり、選択された物体が、想定される複数種類の物体のうちで最も大きい種類のもの、即ち、大型車両であると仮定するのは、選択された物体がどのような種類のものであっても、当該物体の撮像画像中の対応部分（撮像画像中に現れる物体）が注目領域内に含まれるようにするためである。

図６には、選択された物体Ｄを含む矩形の領域が注目領域Ｒｄとして特定された場合が示されている。
図６には、特定された注目領域Ｒｄに含まれる物体Ｄのほか、物体Ａ、Ｂ、及びＣが、背景シーン（トンネルＴＮ、中央分離帯ＭＤ、車線区分線ＬＭ）とともに示されている。注目領域Ｒｄの位置関係をわかりやすくするためである。

注目領域特定回路６は、図６に示す注目領域Ｒｄを特定する情報を生成して明るさ算出回路７に供給する。

明るさ算出回路７は、注目領域Ｒｄを検波枠として、カメラ信号処理回路３から出力される輝度信号Ｙ３を検波して輝度平均値Ｙａｖを計算し、計算結果を露光制御回路８に供給する。

露光制御回路８は、明るさ算出回路７により算出された輝度平均値Ｙａｖを輝度目標値Ｙｒｆと比較し、比較結果に基づいて露光制御を行う。
図６に示す例では、注目領域Ｒｄは、その全体がトンネルＴＮの外部にある。日中、快晴の場合、トンネルＴＮの外は明るい。従って、撮像画像のうち、注目領域Ｒｄ内の部分の輝度平均値Ｙａｖは高い。このように輝度平均値Ｙａｖが高い場合には、露光時間を短くする調整、或いは信号増幅ゲインを小さくする調整が行われる。
その結果、カメラ信号処理回路３から出力される映像信号Ｄ３で表される画像の明るさが変わり、注目領域Ｒｄにおいて、明るさが最適に制御された画像が得られる。即ち、注目領域Ｒｄ内の画像部分が白飛びすることなく、注目領域Ｒｄ内の物体Ｄの視認性の高い画像が得られる。

例えば、図７に示すように、トンネルＴＮの内部は黒潰れしているものの、トンネルＴＮの外、特に注目領域Ｒｄ、従って、その内部に位置する物体Ｄについて明るさが適切に制御された画像が得られる。

以上、撮像素子２の撮像対象及びレーダー４の探知対象となるシーンがトンネルの入り口付近である場合について説明した。以下では、撮像素子２の撮像対象及びレーダー４の探知対象となるシーンが、トンネルの出口付近である場合について説明する。

図８はトンネルの出口付近における自車両から見た前方のシーンの一例を示したものである。図８は、自車両が図３と同じく追い越し車線ＴＦＬを走行しており、図３と同じ物体Ａ〜Ｄが、自車両に対して同じ相対的位置にあり、手前側の物体Ｂ、Ｃ、Ｄがトンネルの内側に存在し、輝度が低く、奥側の物体Ａがトンネルの外側に存在し、輝度が高い場合を想定している。

図８の前方シーンのうち、点線の枠ＣＲで示す範囲（撮像画角範囲）内の被写体が撮像素子２による撮像画角範囲であり、かつレーダー４による探知範囲であるものとする。

図９は、図８の前方のシーンの、レーダー４により探知された物体の位置を示す。
上記のように、自車両に対する物体Ａ〜Ｄの相対位置が、図３と同じであるので、レーダー４による探知結果は、図５と同じである。

図９の物体に対し、レーダー４から出力される物体の位置情報および距離情報に基づいて、注目物体選択回路５が、注目度が最も高い物体を選択し、注目領域特定回路６が、撮影画像中の注目領域を特定する。この動作は、図５の場合、即ち対象となるシーンがトンネルの入り口付近である場合の動作と同様である。

例えば、最も自車両に近い物体Ｄが注目物体として選択され、図１０に示すように、物体Ｄに対応する注目領域Ｒｄが特定されたものとする。
図１０に示すように、注目領域Ｒｄは、トンネルＴＮ内部に位置しており、注目領域Ｒｄの輝度平均値が低いため、例えば、露光時間を長くする調整、或いは信号増幅ゲインを大きくする調整が行われる。
その結果、図１１に示すように、トンネル外に位置する物体Ａは白飛びするものの、物体Ｄの視認性の高い画像が得られる。

上記の実施の形態によれば、レーダーと撮像素子との組合せで、注目すべき物体の明るさが適切に制御された画像を得ることができる。
撮像素子を用いず、レーダーのみで障害物を検知するシステムでは、障害物の種類を特定できず、例えば車両であるか否かも判別できない場合がある。
これに対して、上記の実施の形態では、レーダーと撮像素子とを組合せることで、レーダーで検知した物体のうちの注目度の高い物体が最適露光となるように露光制御を行うので、注目度の高い物体が黒潰れ或いは白飛びすることなく視認できるという効果が得られる。従って、運転の支援、或いは事故の防止を図る上で有効である。

また、レーダーとしては物体の方向及び距離を示す情報が得られるものであれば良いので、比較的低性能で廉価なものを用いることができ、撮像装置を低コストで実現できる。

また、上記の実施の形態では、レーダーで検知された物体のうち、自車両に最も近い物体を選択して、該物体を含む領域を注目領域とするので、最も近い物体に対する視認性が向上し、差し迫った衝突の危険の回避を図る上で有効である。

実施の形態２．
図１２は、本発明の実施の形態２の撮像装置の構成を示すブロック図である。
図１２の撮像装置は、図１の撮像装置と概して同じであるが、注目物体選択回路５の代わりに注目物体選択回路５ｂが設けられ、進行方向検知回路１０が付加されている点で異なる。
上記以外の構成要素の動作は、実施の形態１の図１の説明と同様であり、同様の処理を行うので説明を省略する。

進行方向検知回路１０は、自車両のハンドルの操舵方向から自車両の進行方向を検知して、進行方向を示す情報Ｄ１０を注目物体選択回路５ｂに供給する。
図１２の注目物体選択回路５ｂは、図１の注目物体選択回路５と概して同じであるが以下の点で異なる。

注目物体選択回路５ｂは、進行方向検知回路１０から供給された自車両の進行方向を示す情報Ｄ１０と、レーダー４から供給された物体の位置情報Ｄ４（方向情報Ｄ４ａ及び距離情報Ｄ４ｂ）に基づいて物体の注目度を評価して、評価結果に基づいて、注目度の比較的高い物体、例えば最も高い物体を選択し、選択した物体の位置を示す情報Ｄ５を、注目領域特定回路６に供給する。
例えば、各物体の方向が自車両の進行方向に近いほど、方向評価値を高くするとともに、各物体の距離が短いほど、距離評価値を高くし、方向評価値と距離評価値とを総合することで注目度を決める。この場合、方向評価値が高いほど注目度を高くするとともに、距離評価値が高くなるほど注目度を高くする。そして、注目度が最も高い物体を選択する。

例えば図３のシーンを対象として探知を行った結果レーダー４が図５に示される物体Ａ〜Ｄを検知し、注目物体選択回路５ｂが、検知された物体Ａ〜Ｄに対して自車両の進行方向を重視して注目度の評価を行った結果、自車両と同じ車線にある物体Ａについての注目度が最も高いと判定された場合を想定する。

注目物体選択回路５ｂは、注目度が最も高いと判定された物体Ａの位置を注目領域特定回路６に通知する。

注目領域特定回路６は、注目度の高い物体Ａの位置について、注目領域を特定する。
この場合にも、実施の形態１で説明したのと同様に、注目物体選択回路５ｂで選択された物体Ａの中心を中心とし、物体Ａが大型車両であると仮定して、その距離に応じた大きさの領域Ｒａを特定する。例えば、図１３に示す領域Ｒａを特定し、注目領域として明るさ算出回路７に通知する。

明るさ算出回路７は、注目領域Ｒａを検波枠として、カメラ信号処理回路３から出力される輝度信号Ｙ３を検波して輝度平均値Ｙａｖを計算し、計算結果を露光制御回路８に供給する。

露光制御回路８は、輝度平均値Ｙａｖに基づいて露光制御を行う。
物体ＡはトンネルＴＮ内にあり、領域Ｒａは撮像画像中のトンネルＴＮの部分内にある。
トンネルＴＮ内にある領域Ｒａは比較的輝度平均値が低いので、例えば、露光時間を長くする調整、或いは信号増幅ゲインを大きくする調整が行われる。その結果、注目領域Ｒａにおいて、明るさが最適に制御された撮像画像が得られる。即ち、注目領域Ｒａ内の画像部分が黒潰れすることなく、注目領域Ｒａ内の物体Ａの視認性の高い画像が得られる。

例えば、図１４に示すように、トンネルＴＮの外は白飛びしているものの、トンネルＴＮ内においては明るさが適切に制御された画像が得られる。図１４では白飛びをしたことを示すため車両Ｂ、Ｃ、Ｄを描いていない。中央分離帯ＭＤ及び車線区分線ＬＭも白飛びにより画像中では見えなくなる場合があるが、図１４では、車両Ｂの位置関係を示すため、図示している。一方、トンネルＴＮの内にある注目領域、従って、その内部に位置する物体Ａについては、明るさが適切に制御され、物体Ａの視認性が高いた画像が得られる。

以上、撮像素子２の撮像対象及びレーダー４の探知対象となるシーンが図３に示されるようにトンネルの入り口付近である場合について説明した。以下では、撮像素子２の撮像対象及びレーダー４の探知対象となるシーンが、図８に示されるように、トンネルの出口付近である場合について説明する。
この場合、レーダー４により探知された物体の位置は、図９のごとくである。注目物体選択回路５ｂは、自車両の進行方向を重視して注目度の評価を行い、その結果、自車両と同じ車線に位置する物体Ａが注目度が最も高いと判定する。そして、注目領域特定回路６は、図１５に示すように、物体Ａに対応する注目領域Ｒａを特定する。

図１５に示すように、注目領域ＲａはトンネルＴＮ外部に位置し、注目領域の輝度平均値が高いため、露光制御回路８では、例えば露光時間を短くする調整、或いは信号増幅ゲインを小さくする調整が行われる。その結果、図１６に示すように、トンネル内に位置する物体Ｂ、Ｃ、Ｄは黒潰れするものの、物体Ａの視認性の高い画像が得られる。

上記の例では、撮像素子２による撮像方向が自車両の車体の前方向に一致する場合を想定しているが、撮像素子２による撮像方向が自車両の車体の前方向に一致していない場合には、自車両の車体の前方向に対して撮像素子２による撮像方向がなす角と、ハンドルの操舵方向とに基づいて自車両の進行方向を算出すれば良い。

以上のように、レーダーで検知した物体のうち自車両の進行方向に対して方向がより近く、自車両からの距離がより近い物体が、最適露光となるように露光制御するので、追突事故の防止を図る上で有効である。

実施の形態３．
図１７は、本発明の実施の形態３の撮像装置の構成を示すブロック図である。
図１７の撮像装置は、図１の撮像装置と概して同じであるが、注目物体判別回路１１が付加され、注目領域特定回路６の代わりに注目領域特定回路６ｃが設けられている。

注目物体判別回路１１は、カメラ信号処理回路３から映像信号Ｄ３を受け、注目物体選択回路５から、撮像画像中の注目物体の位置を示す情報Ｄ５ａを受ける。
注目物体判別回路１１は、映像信号Ｄ３のうち、情報Ｄ５ａで示される位置の、予め定められた大きさの領域（解析領域）の画像を解析し、物体の種類を判別する。

物体の種類の判別においては、解析領域に含まれる画像部分に対応する物体が、トラック、バスなどの大型車両、乗用車など小型車両、二輪車両、歩行者などのうちのいずれであるかを判定する。
判定結果を示す情報Ｄ１１は、注目領域特定回路６ｃに供給される。

解析領域の大きさは、注目物体選択回路５で選択された物体が大型車両であると仮定した場合に、選択された物体に対応する画像部分の、画像中の大きさに一致するように定められる。この場合にも、物体までの距離を考慮に入れる。

注目領域特定回路６ｃは、注目物体選択回路５から、選択された物体の位置を示す情報Ｄ５を受け、注目物体判別回路１１から、選択された物体の種類を示す情報Ｄ１１を受け、これらの情報に基づいて、選択された物体に対応する注目領域を特定する。

注目物体判別回路１１による判定結果が大型車両であることを示す場合、注目領域特定回路６ｃにより特定される注目領域は、実施の形態１の場合の注目領域と同じである。
判定結果が大型車両以外であることを示す場合、注目領域特定回路６ｃにより特定される注目領域は、実施の形態１の場合の注目領域よりも小さくなる。
注目領域特定回路６ｃは、注目領域を示す情報Ｄ６を、明るさ算出回路７に供給する。

注目物体選択回路５は、図１の場合と同様に、レーダー４で検知された物体のうちで、距離に基づいて注目度が最も高い物体を選択する。例えば物体の位置が図５のごとくであり、注目物体選択回路５が、物体Ｄを、注目度が最も高い物体であると判定した場合を想定する。

この場合、注目物体判別回路１１は、注目物体選択回路５から、撮像画像中の物体Ｄの位置を示す情報Ｄ５ａを受け、該情報Ｄ５ａで示される位置に対応する、映像Ｄ３中の画像部分を解析して、物体Ｄが二輪車であると判定し、判定結果を示す情報Ｄ１１を、注目領域特定回路６ｃに供給する。

注目領域特定回路６ｃは、情報Ｄ１１に基づいて物体Ｄが二輪車であることを認識し、物体Ｄが二輪車である場合に、撮像画像において物体Ｄが占めると推定される部分、即ち物体Ｄに対応する画像部分を含む領域Ｒｍｄ（図１８）を注目領域として出力する。この場合にも距離を考慮に入れる。図１８には、実施の形態１による注目領域Ｒｄをも比較のために示す。
注目領域特定回路６ｃは、注目領域Ｒｍｄを示す情報を明るさ算出回路７に供給する。

明るさ算出回路７は、注目領域特定回路６ｃから供給された情報に基づいて、注目領域Ｒｍｄを検波枠として、カメラ信号処理回路３から出力される輝度信号Ｙ３を検波して輝度平均値Ｙａｖを計算し、計算結果を露光制御回路８に供給する。

露光制御回路８は、明るさ算出回路７により算出された、注目領域Ｒｍｄ内の輝度平均値Ｙａｖに基づいて露光制御を行う。

図１８に示す例では、注目領域Ｒｍｄは、その全体がトンネルＴＮの外部にある。従って、注目領域の輝度平均値Ｙａｖは高い。このように輝度平均値Ｙａｖが高い場合には、露光時間を短くする調整、或いは信号増幅ゲインを小さくする調整が行われる。
その結果、カメラ信号処理回路３から出力される映像信号Ｄ３で表される画像の明るさが変わり、注目領域Ｒｍｄにおいて、明るさが最適に制御された撮像画像が得られる。即ち、注目領域Ｒｍｄ内の画像部分が白飛びすることなく、注目領域Ｒｍｄ内の物体Ｄの視認性の高い画像が得られる。

例えば、図１９に示すように、トンネルＴＮの中は黒潰れしているものの、トンネルＴＮの外、特に注目領域Ｒｍｄ、従って、その内部に位置する物体Ｄについて、明るさが適切に制御され、物体Ｄの視認性が高い画像が得られる。

また、撮像画像中の領域Ｒｍｄが、実施の形態１の領域Ｒｄよりも小さいので、物体Ｄ以外の部分（物体Ｄに対応する画像部分以外の部分）がより少なくなり、物体Ｄの明るさに対してより適切な露光制御が行われる。
その結果物体Ｄの視認性が一層向上する。

実施の形態４．
図１７の撮像装置は、図１の撮像装置に対して変形を加えたものであるが、図１２の撮像装置に対しても同様の変形を加えることができる。
図２０は、本発明の実施の形態４の撮像装置の構成を示すブロック図である。
図２０の撮像装置は、図１２の撮像装置と概して同じであるが、注目物体判別回路１１が付加され、注目領域特定回路６の代わりに注目領域特定回路６ｃが設けられている。
注目物体判別回路１１及び注目領域特定回路６ｃは実施の形態３に関して説明したのと同じものである。

注目物体選択回路５ｂは、図１２の場合と同様に、レーダー４で検知された物体のうちで、距離と方向に基づいて注目度が最も高い物体を特定する。例えば、物体の位置が図３のごとくであり、注目物体選択回路５ｂが、物体Ａを注目度が最も高い物体と判定した場合を想定する。
この場合、注目物体判別回路１１は、注目物体選択回路５ｂから、撮像画像中の物体Ａの位置を示す情報Ｄ５ａを受け、該情報Ｄ５ａで示される位置に対応する、映像Ｄ３中の画像部分を解析して、物体Ａが小型車であると判定し、判定結果を示す情報Ｄ１１を、注目領域特定回路６ｃに供給する。

注目領域特定回路６ｃは、情報Ｄ１１に基づいて物体Ａが小型車であることを認識し、物体Ａを含み、物体Ａが小型車である場合に、撮像画像において物体Ａが占めると推定される部分、即ち、物体Ａに対応する画像部分を含む領域Ｒｍａ（図２１）を注目領域として出力する。この場合にも距離を考慮に入れる。図２１には、実施の形態２による注目領域Ｒａをも比較のために示す。
注目領域特定回路６ｃは、注目領域Ｒｍａを示す情報を明るさ算出回路７に供給する。

明るさ算出回路７は、注目領域特定回路６ｃから供給された情報に基づいて、注目領域Ｒｍａを検波枠として、カメラ信号処理回路３から出力される輝度信号Ｙ３を検波して輝度平均値Ｙａｖを計算し、計算結果を露光制御回路８に供給する。

露光制御回路８は、明るさ算出回路７により算出された、注目領域Ｒｍａ内の輝度平均値Ｙａｖに基づいて露光制御を行う。

図２１に示す例では、注目領域Ｒｍａは、その全体がトンネルＴＮの中にある。従って、注目領域の輝度平均値Ｙａｖは低い。このように輝度平均値Ｙａｖが低い場合には、露光時間を長くする調整、或いは信号増幅ゲインを大きくする調整が行われる。

その結果、カメラ信号処理回路３から出力される映像信号Ｄ３で表される画像の明るさが変わり、注目領域Ｒｍａにおいて、明るさが最適に制御された撮像画像が得られる。即ち、注目領域Ｒｍａ内の画像部分が黒潰れすることなく、注目領域Ｒｍａ内の物体Ａの視認性の高い画像が得られる。

例えば、図２２に示すように、トンネルＴＮの外は白飛びしているものの、トンネルＴＮの中、特に、注目領域Ｒｍａ、従って、その内部に位置する物体Ａについて明るさが適切に制御され、物体Ａの視認性が高い画像が得られる。

また、撮像画像中の領域Ｒｍａが、実施の形態２の領域Ｒａよりも小さいので、物体Ａ以外の部分（物体Ａに対応する画像部分以外の部分）がより少なくなり、物体Ａの明るさに対してより適切な露光制御が行われる。
その結果物体Ａの視認性が一層向上する。

以上のように、実施の形態３及び４によれば、物体の大きさに応じて検波枠が決められるので検波枠の大きさを物体の大きさにより近いものにすることができ、物体について明るさがより適切に制御された画像を得ることができ、従って、場像中の物体の視認性が向上する。

実施の形態５．
図２３は本発明の実施の形態５の撮像装置の構成を示すブロック図である。図２３の撮像装置は図１の撮像装置と概して同じであるが、注目物体選択回路５の代わりに注目物体選択回路５ｃが設けられ、車線検知回路１２が新たに付加されている。

車線検知回路１２は、撮像画像又は撮像画像を処理することで得られる映像信号、例えば、カメラ信号処理回路３から出力される映像信号Ｄ３を受け、映像信号Ｄ３で表される撮像画像中の車線区分線と中央分離体の位置を検出し、検出した車線区分線及び中央分離体の位置を示す情報を出力する。

注目物体選択回路５ｃは図１の注目物体選択回路５と概して同じであるが以下の点で異なる。

注目物体選択回路５ｃは、車線検知回路１２から供給された車線区分線および中央分離帯の位置を示す情報Ｄ１２と、レーダー４から供給された物体の位置情報Ｄ４（方向情報Ｄ４ａ及び距離情報Ｄ４ｂ）に基づいて物体の注目度を評価して、評価結果に基づいて、注目度の比較的高い物体、例えば最も高い物体を選択し、選択した物体の位置を示す情報Ｄ５を、注目領域特定回路６に供給する。

例えば、中央分離帯の反対側に位置する物体は評価対象から除外する。中央分離帯の同じ側に位置する物体のうち、自車両が走行中の車線と同じ車線上の物体は車線評価値を高くする。また各物体の距離が短いほど、距離評価値を高くする。車線評価値と距離評価値を総合することで注目度を決める。この場合、車線評価値が高いほど注目度を高くするとともに、距離評価値が高くなるほど注目度を高くする。そして、注目度が最も高い物体を選択する。

注目領域特定回路６、明るさ算出回路７、及び露光制御回路８は、実施の形態１で説明したのと同様に動作する。

以上のように、車線を示す情報を用いて自車両と同一進行方向の車線に位置する物体のみを対象として選択するとともに、追突の可能性が高い同一車線の物体が最適露光となるように露光制御を行うため、対向車線を走行する車のヘッドライトの影響により画像が暗くなるのを避けることができ、追突事故の防止を図る上で有効である。

実施の形態６．
実施の形態１に関し、図６及び図７を参照して説明した例では、注目度が最も高い物体のみを選択して、選択した物体を含む領域を注目領域として、該注目領域の輝度に基づいて露光制御を行うこととしている。しかしながら、選択する物体の数は一つに限定されない。即ち、複数の物体を選択し、それぞれ選択した物体を含む複数の領域を注目領域とし、複数の注目領域の輝度に基づいて露光制御を行うこととしても良い。

図２４は、そのような露光制御を行う撮像装置の構成を示す。
図２４の撮像装置は、図１の撮像装置と概して同じである。但し、注目物体選択回路５、注目領域特定回路６、及び明るさ算出回路７の代わりに注目物体選択回路５ｄ、注目領域特定回路６ｄ、及び明るさ算出回路７ｂが設けられている。

そのような構成の場合、注目物体選択回路５ｄは、複数の物体を選択し、選択した物体の位置を表す情報を出力する。例えば注目度が最も高い物体と注目度が２番目に高い物体を選択する。距離が短いほど注目度が高いものとする場合、距離が最も近い物体と、距離が２番目に短い物体とを選択する。図５の例では、物体Ｄと物体Ｂとを選択する。

注目領域特定回路６ｄは、注目物体選択回路５ｄで選択された複数の物体の各々についてその中心を中心とし、当該物体までの距離に応じた大きさの領域を注目領域として特定する。例えば、図２５に示すように、物体Ｄを含む領域と物体Ｂを含む領域とが特定される。物体Ｂを含む領域Ｒｂの大きさも、物体Ｂの距離に大型車両があると仮定した場合に物体Ｂに対応する画像部分の大きさである。物体Ｂを含む領域Ｒｂは、物体Ｄを含む領域Ｒｄよりも小さい。これは、物体Ｂまでの距離が、物体Ｄまでの距離よりも大きいからである。

明るさ算出回路７ｂは、注目領域Ｒｂ及びＲｄを合わせた領域を一つの検波枠として、カメラ信号処理回路３から出力される輝度信号Ｙ３を検波して輝度平均値Ｙａｖを計算し、計算結果を露光制御回路８に供給する。即ち、注目領域Ｒｂ及びＲｄに対して一つの輝度平均値Ｙａｖが一つの明るさ指標値として求められる。

露光制御回路８は、輝度平均値Ｙａｖに基づいて露光制御を行う。
この結果、注目領域Ｒｂ及びＲｄにおいて明るさが最適に制御された画像が得られる。即ち、注目領域Ｒｂ及びＲｄ内の画像部分が白飛びすることなく、注目領域Ｒｂ及びＲｄ内の物体Ｂ及びＤの視認性の高い画像が得られる。

例えば、図２６に示すように、トンネルＴＮの内部は黒潰れしているものの、トンネルＴＮの外、特に注目領域Ｒｂ及びＲｄ、従って、その内部に位置する物体Ｂ及びＤについて明るさが適切に制御され、物体Ｂ及びＤの視認性が高い画像が得られる。

以上、実施の形態６を実施の形態１に対する変形例として記載した。
実施の形態２〜５に対しても同様の変形を加えることができる。

実施の形態７．
実施の形態６では、複数の物体を選択し、選択した物体に対応する複数の領域を注目領域とする場合、複数の注目領域をまとめて一つの検波枠とし、該検波枠についての輝度平均値を求めて、求めた輝度平均値に基づいて露光制御を行う。このようにする代わりに、撮像素子２による撮像の、互いに異なるフレーム期間に互いに異なる注目領域を指定し、指定された注目領域を検波枠として、輝度平均値を求め、求めた輝度平均値に基づいて定められた露光条件を、その後に同じ注目領域が指定されるフレーム期間の撮像に適用することとしても良い。以下選択される物体の数がＭ（Ｍは２以上の整数）、従って、注目領域の数がＭであるものとして説明する。この場合、撮像装置はＭフレーム期間を１動作周期乃至動作サイクルとして動作する。

この場合に用いられる撮像装置を図２７に示す。図２７の撮像装置は、図２４の撮像装置と概して同じであるが、明るさ算出回路７ｂ及び露光制御回路８の代わりに、明るさ算出回路７ｄ及び露光制御回路８ｄが設けられ、カウンタ１４が付加されている。

カウンタ１４は、１動作周期を構成するフレーム期間の数Ｍを最大値とし、フレーム期間毎にそのカウント値ｍが１ずつインクリメントされ、カウント値ｍが上記の最大値Ｍに達したら初期値１に戻り、カウントを繰り返す。
カウンタ１４のカウント値ｍは明るさ算出回路７ｄ及び露光制御回路８ｄに供給される。

注目物体選択回路５ｄは、Ｍ個の物体を選択し、選択した物体の位置を表す情報を出力する。例えば注目度が最も高い物体から注目度がＭ番目に高い物体までを選択する。Ｍが２であり、距離が短いほど注目度が高いものとする場合、距離が最も近い物体と、距離が２番目に短い物体とが選択される。図５の例では、物体Ｄと物体Ｂとが選択される。

注目物体選択回路５ｄは、選択したＭ個の物体の各々について、その位置を示す情報Ｄ５を注目領域特定回路６ｄに供給する。

注目領域特定回路６ｄは、注目物体選択回路５ｄで選択されたＭ個の物体の各々について注目領域を特定する。例えば、Ｍが２であり、図５に示される物体Ｄ及びＢが選択された場合、図２５に示すように、物体Ｄを含む領域と物体Ｂを含む領域とが特定される。

注目領域特定回路６ｄは、特定したＭ個の注目領域の各々について注目領域情報Ｄ６を明るさ算出回路７ｄに供給する。

明るさ算出回路７ｄは、各フレーム期間において、Ｍ個の注目領域の一つを指定し、指定した注目領域を検波枠として、カメラ信号処理回路３から出力される輝度信号Ｙ３を検波して輝度平均値Ｙａｖを計算する。
具体的には、１動作周期のｍ番目のフレーム期間に得られた撮像画像については、ｍ番目の注目領域を検波枠として輝度平均値Ｙａｖｍを計算する。

処理対象となる撮像画像が、１動作周期のｍ番目のフレーム期間に得られた撮像画像であることは、カウンタ１４のカウント値がｍであることから確認可能である。
例えば、Ｍが２であり、注目領域Ｒｂ及びＲｄが特定された場合、注目領域Ｒｂ及びＲｄの各々を交互に、即ち１フレーム期間おきに、注目領域Ｒｂ、Ｒｄの輝度平均値Ｙａｖ１、Ｙａｖ２を計算する。
明るさ算出回路７ｄは、上記の計算結果Ｙａｖｍを露光制御回路８ｄに供給する。

露光制御回路８ｄのメモリ８１は、Ｍ個の注目領域Ｒ１〜ＲＭにそれぞれ対応する露光条件のパラメータ、すなわち露光時間Ｔｅの値（パラメータ）Ｔｅ１〜ＴｅＭと信号増幅ゲインＧｓの値（パラメータ）Ｇｓ１〜ＧｓＭを記憶する。

露光制御回路８ｄは、各フレーム期間において、Ｍ個の注目領域の一つを検波枠として算出された輝度平均値に基づく露光制御を行う。
具体的には、１動作周期のｍ番目のフレーム期間における撮像に際しては、メモリ８１に記憶されている露光条件のパラメータＴｅｍ、Ｇｓｍを用いて、撮像素子２及びカメラ信号処理回路３に対する露光制御を行う。

また、１動作周期のｍ番目のフレーム期間に得られた撮像画像については、明るさ算出回路７ｄで、当該撮像画像のｍ番目の注目領域を検波枠として輝度平均値Ｙａｖｍを算出されるので、露光制御回路８ｄは、算出された輝度平均値Ｙａｖｍ及びメモリ８１に記憶されている露光条件のパラメータＴｅｍ、Ｇｓｍに基づいて新たなパラメータＴｅｍ、Ｇｓｍを算出し（パラメータを更新し）、算出した新たなパラメータ（更新後のパラメータ）Ｔｅｍ、Ｇｓｍをメモリ８１に記憶させる。

メモリ８１に記憶された更新後のパラメータＴｅｍ、Ｇｓｍは、次の動作周期のｍ番目のフレーム期間における撮像の際の露光制御に利用される。
処理対象となる撮像画像が、１動作周期のｍ番目のフレーム期間に得られた撮像画像であることは、カウンタ１４のカウント値がｍであることから確認可能である。

以上のように複数の注目領域をフレーム期間毎に順に選択して、選択した注目領域を検波枠として、輝度平均値を求め、求めた輝度平均値に基づいて、選択した注目領域に対応する、新たな露光条件のパラメータを算出し、次の動作周期において、同じ注目領域が選択されるフレーム期間に、上記の算出したパラメータを用いて露光制御を行う。従って、各フレームの撮像画像において、選択された注目領域の視認性が高い画像を得ることができる。

例えば、Ｍが２であり、注目領域がＲｂ、Ｒｄである場合、あるフレーム期間では注目領域Ｒｂの視認性の良い画像が得られ、次のフレーム期間には、注目領域Ｒｄの視認性の良い画像が得られる。

上記の例では、選択される物体の数と、１動作周期を構成するフレーム期間の数がともにＭであり、互いに同じであり、各物体に対応する注目領域の輝度平均値に基づく露光制御は同じ頻度で行われる。しかしながら、本発明はこれに限定されない。例えば、各物体に対応する注目領域の輝度平均値に基づく露光制御を異なる頻度で行うようにしても良い。

例えば、選択される物体の数（Ｍｏ）よりも、１動作周期を構成するフレーム期間の数（Ｍｆ）をより多くし、選択される物体のうちの一部について、１動作周期内の２つ以上のフレーム期間に、対応する注目領域の輝度平均値に基づく露光制御を行うこととしても良い。要するに、あるフレーム期間での撮像画像から、ある注目領域の輝度平均値に基づいて露光条件のパラメータを更新し、次に同じ注目領域の輝度平均値を求めるフレーム期間の撮像に際して、上記の更新したパラメータを利用するようにすれば良い。

以上実施の形態７を実施の形態１に対する変形として説明した。実施の形態２〜５に対しても同様の変形を加え得る。

実施の形態３〜７では、トンネルの入り口付近での動作を例にして説明したが、実施の形態１、２で説明したのと同様に、トンネルの出口付近でも同様の効果が得られる。

上記の実施の形態１〜７では、レーダー４の探知範囲が撮像素子２の撮像画角範囲と同じであるとして説明したが、この点は必須ではなく、両者が少なくとも部分的に重なっていれば良い。

上記の実施の形態１〜７では、レーダー４による探知が撮像素子２による撮像に同期して行われるものとしたが、この点は必須ではない。レーダー４による探知と、撮像素子２による撮像とが同期していない場合には、レーダー４による探知の結果得られる位置情報及び撮像素子２による撮像画像の一方を時間方向に補間して、同じタイミングでの情報及び画像を生成すれば良い。例えば、レーダー４による位置情報を補間して撮像素子２による撮像と同じタイミングにおける位置情報を生成しても良い。逆に、撮像素子２による撮像画像を補間してレーダー４による探知と同じタイミングにおける画像を生成しても良い。ここで言う補間には、最も近いタイミングで得られた位置情報又は撮像画像をそのまま補間後の位置情報又は画像として用いる補間が含まれる。

以上本発明を撮像装置として説明したが、上記の撮像装置で実施される撮像方法もまた本発明の一部を成す。

以上実施の形態１〜７において、撮像装置の構成部分のうちの少なくとも一部は、処理回路により実現される。処理回路は、専用のハードウェアであっても、メモリに格納されるプログラムを実行するＣＰＵであっても良い。
例えば、図１、図１７、図２３、図２４又は図２７の、レンズ１、撮像素子２、及びレーダー４以外の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。同様に、図１２又は図２０の、レンズ１、撮像素子２、レーダー４、及び進行方向検知回路１０以外の各部分の機能をそれぞれ別個の処理回路で実現してもよいし、複数の部分の機能をまとめて一つの処理回路で実現しても良い。

処理回路がＣＰＵである場合、撮像装置の各部分の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア或いはファームウェアはプログラムとして記述され、メモリに格納される。処理回路は、メモリに記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、撮像装置は、処理回路により実行されるときに、図１、図１２、図１７、図２０、図２３、図２４又は図２７に示される、レンズ１、撮像素子２、レーダー４及び進行方向検知回路１０以外の各部分の機能が、結果的に実行されることになるプログラムを格納するためのメモリを備える。また、これらのプログラムは、撮像装置で実施される撮像方法における処理の方法、或いはその手順をコンピュータに実行させるものであるともいえる。

なおまた、撮像装置の各部分の機能のうち、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしても良い。
このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

図２８に単一のＣＰＵを含むコンピュータ（符号５０で示す）で図１、図１７、図２３、図２４又は図２７の撮像装置のレンズ１、撮像素子２及びレーダー４以外のすべての機能を実現する場合の構成の一例を、レンズ１、撮像素子２及びレーダー４とともに示す。コンピュータ５０と、レンズ１、撮像素子２、及びレーダー４とで、撮像装置が構成されている。

図２８に示されるコンピュータ５０は、ＣＰＵ５１と、メモリ５２と、第１の入力インターフェース５３Ａと、第２の入力インターフェース５３Ｂと、第１の出力インターフェース５４Ａ、第２の出力インターフェース５４Ｂとを備え、これらはバス５５で接続されている。
第１の入力インターフェース５３Ａには、撮像素子２からの撮像信号Ｄ２が入力される。

ＣＰＵ５１は、メモリ５２に記憶されたプログラムに従って動作する。具体的には、ＣＰＵ５１は、第１の入力インターフェース５３Ａを介して入力された撮像信号Ｄ２に対し、カメラ信号処理回路３と同様の処理を行い、処理の結果得られた映像信号Ｄ３を第２の出力インターフェース５４Ｂから出力する。ＣＰＵ５１はさらに、第１の入力インターフェース５３Ａを介して入力された撮像信号Ｄ２及び第２の入力インターフェース５３Ｂを介して入力されたレーダー４からの位置情報Ｄ４に対して、注目物体選択回路５、注目領域特定回路６、明るさ算出回路７又は７ｂ及び露光制御回路８又は８ｂと同様の処理を行い、処理の結果算出された露光時間を制御するための制御信号Ｃｔを第１の出力インターフェース５４Ａから撮像素子２に供給する。

図２９に単一のＣＰＵを含むコンピュータ（符号５０で示す）で図１２又は図２０の撮像装置のレンズ１、撮像素子２、レーダー４及び進行方向検知回路１０以外のすべての機能を実現する場合の構成の一例を、レンズ１、撮像素子２、レーダー４及び進行方向検知回路１０とともに示す。コンピュータ５０と、レンズ１、撮像素子２、レーダー４及び進行方向検知回路１０とで、撮像装置が構成されている。

図１２又は図２０の実施の形態の場合、コンピュータ５０は、図２８の構成に加え、図２９に示すように、第３の入力インターフェース５３Ｃを備え、該第３の入力インターフェース５３Ｃを介して、進行方向検知回路１０からの、進行方向を示す情報Ｄ１０が入力される。

図２９のＣＰＵ５１は、第１の入力インターフェース５３Ａを介して入力された撮像信号Ｄ２及び第２の入力インターフェース５３Ｂを介して入力されたレーダー４からの位置情報Ｄ４のみならず、進行方向検知回路１０から第３の入力インターフェースを介して入力された進行方向を示す情報Ｄ１０をも用いて、これらに対して、注目物体選択回路５、注目領域特定回路６、明るさ算出回路７又は７ｂ及び露光制御回路８又は８ｂと同様の処理を行い、処理の結果算出された露光時間を制御するための制御信号Ｃｔを第１の出力インターフェース５４Ａから撮像素子２に供給する。

なお、進行方向検知回路１０は、自車両のハンドルの操舵方向から自車両の進行方向を検知して、進行方向を示す情報Ｄ１０を出力するものであるが、その一部が処理回路で構成されていても良い。また、進行方向検知回路１０が、ＣＰＵ５１内部で生成される情報に基づいて進行方向を検知するものである場合には、進行方向検知回路１０の全体が処理回路で構成されていても良い。

撮像装置で実施される撮像方法、撮像装置の各部分の処理、或いは撮像方法における各処理をコンピュータに実行させるプログラムについても、撮像装置について述べたのと同様の効果が得られる。

１ レンズ、 ２ 撮像素子、 ３ カメラ信号処理回路、 ４ レーダー、 ５、５ｂ、５ｃ、５ｄ 注目物体選択回路、 ６、６ｃ、６ｄ 注目領域特定回路、 ７、７ｂ、７ｄ 明るさ算出回路、 ８、８ｄ 露光制御回路、 ９ 出力端子、 １０ 進行方向検知回路、 １１ 注目物体判別回路、 １２ 車線検知回路、 ４１ 送信部、 ４２ アンテナ、 ４３ 受信部、 ５０ コンピュータ、 ５１ ＣＰＵ、 ５２ メモリ。

Claims (15)

1. 撮像画角範囲内に位置する被写体を撮像して撮像画像を生成する撮像手段と、
   前記撮像画角範囲に少なくとも部分的に重なる探知範囲内に存在する物体を検知して、該物体の方向を示す情報及び該物体までの距離を示す情報を出力する探知手段と、
   前記探知手段から出力される、前記物体の方向を示す情報及び前記距離を示す情報に基づいて１又は２以上の物体を選択し、選択された物体の前記撮像画像中における位置を示す情報及び前記選択された物体までの距離を示す情報を出力する注目物体選択手段と、
   前記注目物体選択手段から出力された、前記選択された物体の位置を示す情報及び前記選択された物体までの距離を示す情報から、前記撮像画像における、前記選択された物体を含む領域を、注目領域として特定する注目領域特定手段と、
   前記注目領域特定手段で特定された注目領域における前記撮像画像の明るさを算出する明るさ算出手段と、
   前記明るさ算出手段で算出された前記明るさに基づいて前記撮像手段を露光制御する露光制御手段と
   を備えることを特徴とする撮像装置。
2. 前記注目物体選択手段は、前記探知手段から出力される、各物体についての前記距離を示す情報で表される各物体までの距離が短いほど、当該物体の注目度を高く評価し、該注目度に基づいて物体の選択を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像装置は、車両に搭載されるものであり、
   ハンドルの操舵方向から、当該車両の進行方向を検知して、進行方向を示す情報を出力する進行方向検知手段をさらに備え、
   前記注目物体選択手段は、
   前記進行方向検知手段から出力された前記進行方向を示す情報と、前記探知手段から出力された前記物体の方向を示す情報及び前記物体の距離を示す情報とに基づいて、物体の選択を行う
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記注目物体選択手段は、
   前記探知手段から出力される、各物体についての前記方向を示す情報で表される各物体の方向が、前記進行方向に近いほど、当該物体の注目度を高く評価し、該注目度に基づいて物体の選択を行う
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記撮像装置は、車両に搭載されるものであり、
   前記撮像画像から、前記撮像画像中の車線区分線および中央分離帯の位置を検出し、検出した前記車線区分線および中央分離帯の位置を示す情報を出力する車線検知手段をさらに備え、
   前記注目物体選択手段は、
   前記車線検知手段から出力される前記車線区分線および中央分離帯の位置を示す情報と、前記探知手段から出力される前記物体の方向を示す情報及び前記距離を示す情報とに基づいて、物体の選択を行う
   ことを特徴とする請求項１に記載の撮像装置。
6. 前記注目領域特定手段は、
   前記注目物体選択手段で選択された物体について、当該物体が、想定される複数種類の物体のうちで最も大きい種類のものであると仮定した場合に、前記撮像画像において、当該物体が占めると推定される部分を含む領域を、前記注目領域として特定する
   ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記注目物体選択手段は、前記物体の方向を示す情報及び前記距離を示す情報に基づいて、複数の物体を選択し、
   前記注目領域特定手段は、前記注目物体選択手段で選択された複数の物体について、それぞれ注目領域を特定する
   ことを特徴とする請求項１から６のいずれか１項に記載の撮像装置。
8. 前記明るさ算出手段は、前記複数の物体についてそれぞれ特定された複数の注目領域を一つの検波枠として明るさを算出することを特徴とする請求項７に記載の撮像装置。
9. 前記撮像手段は、前記被写体の動画撮像を行ってフレーム期間毎に前記撮像画像を出力し、
   前記明るさ算出手段は、各フレーム期間において、前記複数の物体についてそれぞれ特定された複数の注目領域の一つを検波枠として、明るさを算出する
   ことを特徴とする請求項７に記載の撮像装置。
10. 前記露光制御手段は、あるフレーム期間において、前記複数の注目領域の一つを検波枠として算出した明るさに基づいて、露光条件を調整し、調整後の露光条件を、その後同じ注目領域を検波枠として明るさを算出するフレーム期間の撮像の際に用いることを特徴とする請求項９に記載の撮像装置。
11. 前記撮像手段から出力される撮像画像から、前記注目物体選択手段で選択した物体の種類を判別する注目物体判別手段をさらに備え、
    前記注目領域特定手段は、前記注目物体判別手段で判別された物体の種類に基づいて前記注目領域を決定する
    ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記注目物体判別手段は、
    前記注目物体選択手段で選択された物体について、当該物体が、想定される複数種類の物体のうちで最も大きい種類のものであると仮定した場合に、前記撮像画像において、当該物体が占めると推定される部分を解析することで、当該物体の種類を判別する
    ことを特徴とする請求項１１に記載の撮像装置。
13. 撮像画角範囲内に位置する被写体を撮像して撮像画像を生成する撮像手段と、
    前記撮像画角範囲に少なくとも部分的に重なる探知範囲内に存在する物体を検知して、該物体の方向を示す情報及び該物体までの距離を示す情報を出力する探知手段とを備える撮像装置における撮像方法であって、
    前記探知手段から出力される、前記物体の方向を示す情報及び前記距離を示す情報に基づいて１又は２以上の物体を選択し、選択された物体の前記撮像画像中における位置を示す情報及び前記選択された物体までの距離を示す情報を生成する注目物体選択ステップと、
    前記注目物体選択ステップで生成された、前記選択された物体の位置を示す情報及び前記選択された物体までの距離を示す情報から、前記撮像画像における、前記選択された物体を含む領域を、注目領域として特定する注目領域特定ステップと、
    前記注目領域特定ステップで特定された注目領域における前記撮像画像の明るさを算出する明るさ算出ステップと、
    前記明るさ算出ステップで算出された前記明るさに基づいて前記撮像手段を露光制御する露光制御ステップと
    を備えることを特徴とする撮像方法。
14. 請求項１３に記載の撮像方法における処理をコンピュータに実行させるためのプログラム。
15. 請求項１４に記載のプログラムを記録した、コンピュータで読み取り可能な記録媒体。

Images