JP4099011B2 - 監視装置および監視方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像された画像を用いて、監視領域内の状況を監視する監視装置および監視方法に関する。
【０００２】
【従来の技術】
近年、単眼カメラまたはステレオカメラを用いて所定の監視領域を含む景色を撮影し、これにより得られた情報を用いて監視領域内の状況を監視する監視装置が注目・実用化されている。一般に、このような監視装置に用いられるカメラは、自然界の明暗の階調幅と比較して、表現可能なダイナミックレンジが小さいので、撮像した景色を画像平面上で有効に表現できないことがある。例えば、車両の走行状況を監視する装置において、トンネルの出口付近を走行する車両から前方を眺めた場合、自車両近傍の道路は暗くなる（暗部）のに対して、トンネルの外を走行する先行車は明るくなる（明部）。このような状態をカメラで撮像した場合、画像平面において、明部は白潰れ（輝度の飽和）を起こし、また、暗部は黒詰まり（感度不足）を起こしてしまい、対象物の認識精度の低下を招くおそれがある。
【０００３】
なお、特開平９−２６６５４５号公報には、高階調（明部と暗部が共存する）の被写体を認識可能に撮像する撮像装置が提案されている。この撮像装置は、予め設定したシャッタースピード（またはレンズ絞り）で、カメラを周期的に変化させながら被写体を撮像し、この撮像された複数の画像の中から、被写体が適切に写っている画像を選択する。そして、この選択された画像をオペレータに対して表示する。この他にも、高階調の被写体を単一の画像上で認識可能とするため、明部に対応した露光時間で撮像した画像と、暗部に対応した露光時間で撮像した画像とを合成することで、明暗両方が写った画像を生成する手法も提案されている。さらに、明部と暗部とに対応した露光時間で撮像された一対の画像を、明暗部毎にステレオ処理し、それぞれ生成される距離データを合成する手法も提案されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、特開平９−２６６５４５号公報において、シャッタースピードは、周期的に変化するのみである。この監視装置では、不要な撮像画像が省かれるので、時系列的に得られる情報量の低下を招くという不都合がある。また、情報量の低下を検出間隔を狭めることで補おうとすると、演算量が増加するため、装置に高い処理能力が要求される。さらに、明暗両方の画像を足し合わせる手法は、時間的に遅延する画像同士をステレオ処理することができないので、三次元的な処理を行うのに必要となる距離データを得ることができないという問題がある。このような手法であっても時間的な一致を図ることは可能であるが、既存の装置と比較して、装置が複雑化するといった問題がある。また、距離データを合成して生成する方法においても、同様に、装置の複雑化を招くといった問題がある。
【０００５】
そこで、本発明の目的は、監視領域を監視する新規な監視装置を提供することである。
【０００６】
また、本発明の別な目的は、監視領域に明部と暗部とが存在する場合であっても、簡素な構成で監視領域を有効に認識可能な監視装置および監視方法を提案することである。
【０００７】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、撮像された画像を用いて、監視領域内の状況を監視する監視装置を提供する。この監視装置は、第１の撮像部と、第１の算出部と、第２の算出部と、指示部とを有する。ここで、第１の撮像部は、監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する。第１の算出部は、画像データによって規定される画像平面において、第１の対象エリアを設定し、第１の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第１の調整パラメータを算出する。第２の算出部は、画像データによって規定される画像平面において、第１の対象エリアとは異なる第２の対象エリアを設定し、第２の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第２の調整パラメータとして算出する。指示部は、第１の調整パラメータと第２の調整パラメータとを比較することによって、調整パラメータを決定し、調整パラメータを第１の撮像部に出力する。
【０００８】
ここで、上記第１の発明において、第１の算出部および第２の算出部は、算出された輝度分布において、最頻輝度の位置を特定することが好ましい。この場合、第１の算出部および第２の算出部は、予め規定された最頻輝度の位置ずれと調整パラメータとの対応関係に基づいて、最頻輝度の位置ずれから、その位置ずれを補正する調整パラメータを算出することが好ましい。
【０００９】
また、第１の発明において、指示部は、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値以下の場合、第１の調整パラメータと第２の調整パラメータとの平均値を、第１の撮像部に出力する調整パラメータとすることが好ましい。
【００１０】
また、第１の発明において、指示部は、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値よりも大きい場合、第１の調整パラメータと第２の調整パラメータとを所定のフレーム間隔で交互に切替えることが好ましい。この場合、指示部は、第１の調整パラメータまたは第２の調整パラメータのいずれか一方を、第１の撮像部に出力する調整パラメータとすることが好ましい。
【００１１】
また、第１の発明において、上述した構成に加えて、第２の撮像部と、ステレオ処理部と、対象物認識部とをさらに設けてもよい。第２の撮像部は、監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力し、かつ、第１の撮像部と協働することによってステレオカメラとして機能する。ステレオ処理部は、第１の撮像部から出力された画像データと、第２の撮像部から出力された画像データとに基づき、ステレオマッチングによって、距離データを算出する。対象物認識部は、距離データを用いて、監視領域内の対象物を認識する。
【００１２】
また、第１の発明において、第１の対象エリアは、画像平面において、地面が写し出されるエリアに設定されることが好ましい。また、第２の対象エリアは、画像平面において、第１の対象エリアの設定位置よりも上方を含み、地面上に存在する立体物が写し出されるエリアに設定されているが好ましい。
【００１３】
さらに、第１の発明において、調整パラメータは、シャッタースピード、カメラレンズの絞り、または増幅ゲインのいずれかであることが望ましい。
【００１４】
第２の発明は、撮像された画像を用いて、監視領域内の状況を監視する監視方法を提供することであり、以下に示す１から４のステップを有する。ここで、第１のステップは、監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する。第２のステップは、画像データによって規定される画像平面において、第１の対象エリアを設定し、第１の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第１の調整パラメータを算出する。第３のステップは、画像データによって規定される画像平面において、第１の対象エリアとは異なる第２の対象エリアを設定し、第２の対象エリアに関する輝度分布を算出するとともに、この輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第２の調整パラメータを算出する。第４のステップは、第１の調整パラメータと第２の調整パラメータとを比較することによって、調整パラメータを決定し、この調整パラメータをフィードバックすることにより、画像データの明るさを再調整する。
【００１５】
ここで、第２の発明において、第２のステップおよび第３のステップは、算出された輝度分布において、最頻輝度の位置を特定するステップと、予め規定された最頻輝度の位置ずれと調整パラメータとの対応関係に基づいて、最頻輝度の位置ずれから、調整パラメータを算出するステップとを含むことが好ましい。
【００１６】
また、第２の発明において、第４のステップは、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値以下の場合、第１の調整パラメータと第２の調整パラメータとの平均値を、調整パラメータとするステップを含むことが好ましい。
【００１７】
さらに、第２の発明において、第４のステップは、第１の調整パラメータと第２の調整パラメータとの差が所定のしきい値よりも大きい場合、第１の調整パラメータと第２の調整パラメータとを所定のフレーム間隔で交互に切替える。この場合、第４のステップは、第１の調整パラメータまたは第２の調整パラメータのいずれか一方を、調整パラメータとするステップを含むことが好ましい。
【００１８】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ式監視装置のブロック構成図である。本実施形態にかかるステレオ式監視装置は、自車両前方の走行状況を監視する車外監視装置である。この装置は、一対の撮像部１ａ，１ｂを有し、それぞれの撮像部１ａ，１ｂは、自車両前方の景色を撮像する。これらの撮像部１ａ，１ｂは、互いに協働することによってステレオカメラとして機能する。そして、それぞれの撮像部１ａ，１ｂは、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する。
【００１９】
撮像部１ａは、メインカメラ２と、その後段に接続されたＡ／Ｄコンバータ４とを有する。同様に、撮像部１ｂは、サブカメラ３と、その後段に接続されたＡ／Ｄコンバータ５とを有する。これらのカメラ２，３は、車両においてルームミラーの近傍に取り付けられており、それぞれのカメラ２，３には、例えば、ＣＣＤやＣＭＯＳセンサといったイメージセンサが内蔵されている。メインカメラ２は、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ３は、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２，３から出力された各アナログ画像は、Ａ／Ｄコンバータ４，５により、明るさに対応する所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。
【００２０】
撮像部１ａ，１ｂより出力された一対の画像データ（ステレオ画像データ）は、画像補正部６において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２，３の取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の各画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００２１】
このような画像処理を経て、メインカメラ２より基準画像データが得られ、サブカメラ３より比較画像データが得られる。これらの画像データは、個々に設定された有効画像領域内に存在する各画素の輝度値（0〜255）の集合である。画像平面におけるｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一画像の最小表示単位である一フレーム相当のステレオ画像データは、後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８に格納される。
【００２２】
ステレオ画像処理部７は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関して、距離データを算出する。ここで、「距離データ」とは、一フレーム相当の撮像画像より算出される視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロックを算出単位として算出されるため、視差ｄと画素ブロックとは１対１の関係になる。
【００２３】
図２は、基準画像に設定される画素ブロックの説明図である。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２，３に近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００２４】
ある画素ブロックＰＢijに関する視差ｄを算出する場合、この画素ブロックＰＢij（相関元）の輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２，３から対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部７は、相関元のｉ座標を基準に設定された所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００２５】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２６】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部７のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ、すなわち、画像上の位置（ｉ，ｊ）と対応付けられた視差ｄの集合は、距離データメモリ９に出力される。
【００２７】
マイクロコンピュータ１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、入出力インターフェース等で構成されているが、これを機能的に捉えた場合、算出部１１、指示部１２、対象物認識部１３および制御部１４を有する。
【００２８】
算出部１１は、画像データメモリ８に格納された基準画像データ（以下、単に、「画像データ」という）によって規定される画像平面において、所定の対象エリアを設定し、この所定の対象エリアに関する輝度分布を算出する。つまり、輝度の評価対象となるエリアは、画像全体ではなく、その一部に限定される。そして、算出部１１は、輝度分布の中央を基準とした最頻輝度（出現頻度の最も高い輝度値）の位置ずれに基づいて、調整パラメータを算出する。この調整パラメータの値は、この限定された対象エリア（評価対象となるエリア）の明るさを好適に設定する値、換言すれば、このエリアに関して、輝度分布の中央における輝度値が最頻輝度になるような値である。なお、調整パラメータは、画像の明るさを調整可能なパラメータであればどのようなものであってもよいが、本実施形態では、カメラ２，３のシャッタースピードを用いる。
【００２９】
算出部１１は、対象物が写し出される画像平面上の位置の傾向を考慮して、複数の対象エリアを画像平面上に設定する。本実施形態において、算出部１１は、第１の算出部１１ａと、第２の算出部１１ｂとを有する。第１の算出部１１ａは、画像平面において、地面（道路面）が写し出されるエリアを第１の対象エリアとして設定する。そして、この第１の対象エリアに関して算出された輝度分布に基づいて、第１の調整パラメータθ1が算出される。一方、第２の算出部１１ｂは、画像平面において、第１の対象エリアの設定位置よりも上方を含み、地面上に存在する立体物（先行車等）が写し出されるエリアを第２の対象エリアとして設定する。そして、この第２の対象エリアに関して算出された輝度分布に基づいて、第２の調整パラメータθ2が算出される。なお、以下の説明において、第１の算出部１１ａ、第１の対象エリアおよび第１の調整パラメータを、それぞれ、地面パラメータ算出部１１ａ、地面エリアおよび地面パラメータと呼ぶ。同様に、第２の算出部１１ｂ、第２の対象エリアおよび第２の調整パラメータを、それぞれ、立体物パラメータ算出部１１ｂ、立体物エリアおよび立体物パラメータと呼ぶ。算出部１１ａ，１１ｂによって算出された地面パラメータθ1および立体物パラメータθ2は、指示部１２へ出力される。
【００３０】
指示部１２は、これらの地面パラメータθ1と立体物パラメータθ2とを比較することによって、調整パラメータθcamを決定し、これを一対の撮像部１ａ，１ｂ側に指示する。本実施形態において、この指示は、それぞれの撮像部１ａ，１ｂに対して、調整パラメータθcamに相当する信号を出力することによって行われる。
【００３１】
また、指示部１２は、調整パラメータθcamの指示とともに、画像モードＭpicを、算出部１１および対象物認識部１３に出力する。画像モードＭpicは、処理対象とするフレームが、どのような調整パラメータθcamによって明るさが調整されたものであるかを示す。すなわち、算出部１１および対象物認識部１３は、この出力された画像モードＭpicにより、処理対象とするフレームがどの対象エリアに注目して撮像されたものであるかを把握している。
【００３２】
なお、指示部１２は、初期モード、すなわち、１番目のフレーム相当の画像に関する調整パラメータθcamを、地面エリアと立体物エリアとで共通で、所定の調整パラメータθsとして取り扱う。
【００３３】
対象物認識部１３は、画像データメモリ８に格納された画像データ、または、距離データメモリ９に格納された距離データに基づき、監視領域内の対象物を認識する。ここで、対象物とは、地面（道路および車線等）や立体物（走行車および障害物など）であり、具体的には、車線（白線）を含む道路面の三次元な形状が認識されるとともに、先行車および側壁（ガードレール等）を含む立体物も認識される。また、対象物認識部１３は、これら認識した地面および立体物の情報（例えば、実空間上での位置など）を、例えば、マイクロコンピュータ１０のＲＡＭ領域に格納する。
【００３４】
制御部１４は、対象物認識部１３による認識結果に基づいて、ドライバーへの警報が必要と判定した場合、モニタやスピーカ等の警報装置を動作させる。また、制御部１４は、必要に応じてアクチュエーター類を制御し、シフトダウン、ブレーキコントロールなどの車両制御を行ってもよい。
【００３５】
本実施形態では、調整パラメータθcamとして、カメラ２，３のシャッタースピードを用いる。このシャッタースピードを変更することによって、出力画像データの明るさが調整される。シャッタースピードを速くすれば（露光量減少）、明るい物体を撮像した場合であっても、出力される画像データによって規定される画像平面は、白潰れすることなく鮮明な像を表現する。一方、シャッタースピードを遅くすれば（露光量増大）、暗い物体を撮像した場合であっても、画像平面は、黒詰まりすることなく鮮明な像を表現する。
【００３６】
図４は、調整パラメータθcamの設定ルーチンのフローチャートである。本ルーチンは、所定の間隔（本実施形態では、0.1秒間隔）で呼び出され、マイクロコンピュータ１０によって実行される。
【００３７】
まず、ステップ１において、算出部１１は、画像データメモリ８より１フレーム相当の画像データを読み込む。
【００３８】
つぎに、ステップ２において、算出部１１は、対象エリア毎の調整パラメータを算出する。図５は、ステップ２における詳細な調整パラメータ算出に関する手順を示したフローチャート（調整パラメータ算出ルーチン）である。まず、ステップ２０において、地面パラメータ算出部１１ａは、画像平面上に、固定的または可変的に地面エリアを設定する。設定される地面エリアは、上述したように、画像平面において、地面が写し出される頻度が高いエリアであればよく、常時、地面と完全に一致するようなエリアである必要は必ずしもない。本実施形態において、地面パラメータ算出部１１ａは、画像の下側であって、地面、例えば、道路や白線が写し出される確率が高い領域（図３に示す台形領域）を、地面エリアとして設定する。
【００３９】
ステップ２１において、地面パラメータ算出部１１ａは、この設定された地面エリアに関する輝度分布（ヒストグラム）を算出する。この輝度分布は、例えば、0〜255の輝度階調を１６輝度階調毎の１６区分に分類し、地面エリアに相当する画素の輝度値に検索し、対応する区分をカウントすることにより、算出される。例えば、自車両がトンネルの出口付近を走行している場合、通常、画像平面の地面エリアに関する頻度分布は、図６に示すように、輝度の分布が暗側（左側）に偏った状態となっている（黒詰まりの状態）。
【００４０】
ステップ２２において、地面パラメータ算出部１１ａは、この算出された輝度分布に基づいて、輝度分布の中央Ｂcを基準とした最頻輝度（区分Ｂmax）の位置ずれを補正する調整パラメータを、地面パラメータθ1として算出する。具体的には、まず、算出された輝度分布において、最頻輝度（区分Ｂmax）の位置が特定され、つぎに、中央Ｂcに対する最頻輝度Ｂmaxの位置ずれが特定される。そして、予め規定された最頻輝度の位置ずれと調整パラメータとの対応関係に基づいて、最頻輝度の位置ずれ（図中の矢印）から、この位置ずれを補正する調整パラメータが、地面パラメータθ1として算出される。例えば、地面パラメータ算出部１１ａは、この対応関係を規定するテーブル、或いは、この対応関係を規定する計算式を保持しており、これを用いて、最頻輝度の位置ずれから調整パラメータを特定する。
【００４１】
図６に例示した輝度分布の場合、最頻輝度Ｂmaxの位置は、輝度分布の中央Ｂcを基準として左に５区分ずれた位置（これを定量的に捉えて”−５”と表現する）になる。そして、テーブルを用いる場合には、位置ずれ”−５”に対応するパラメータ値が検索され、地面パラメータθ1が特定される。また、計算式を用いる場合には、この計算式に位置ずれ”−５”を代入することで、地面パラメータθ1が算出される。トンネルの出口付近を走行している状況において、地面エリアは暗いので、地面エリアより算出された地面パラメータθ1は、シャッタースピードを遅くする、すなわち、露光量を増大させる方向に作用する。
【００４２】
同様に、ステップ２３〜２５において、立体物パラメータ算出部１１ｂは、画像平面上に、固定的または可変的に立体物エリアを設定する。そして、立体物エリアに関する輝度分布が算出されるとともに、この輝度分布における最頻輝度の位置ずれに基づき、立体物パラメータθ2が算出される。ここで、立体物エリアは、地面エリアと同様、画像平面において、立体物が写し出される頻度が高いエリアであればよく、常時、立体物と完全に一致するようなエリアである必要は必ずしもない。本実施形態において、立体物パラメータ算出部１１ｂは、画像の上側であって、立体物（先行車や障害物）が写し出される確率が高い領域（図３に示す矩形領域）を、立体物エリアとして特定している。また、地面エリアと立体物エリアとは、画像平面上で異なるエリアとして設定されるが、図３に示すように部分的に重なるような状態であってもよい。例えば、自車両がトンネルの出口付近を走行し、かつ先行車がトンネル外に存在する走行状態では、通常、立体物エリアに関する頻度分布は、図７に示すように、輝度の分布が明側（右側）に偏った分布となる（白潰れの状態）。
【００４３】
図７に例示した輝度分布の場合、最頻輝度Ｂmaxの位置は、輝度分布の中央Ｂcを基準として右に６区分ずれた位置（これを定量的に捉えて”＋６”と表現する）になる。立体物パラメータ算出部１１ｂは、地面パラメータ算出部１１ａと同様に、テーブルまたは計算式を用いて、位置ずれ”＋６”に対応する立体物パラメータθ2を算出する。トンネルの出口付近を走行している状況において、立体物エリアは明るいので、立体物エリアより算出された立体物パラメータθ2は、シャッタースピードを速くする、すなわち、露光量を減少させる方向に作用する。
【００４４】
つぎに、指示部１２は、地面パラメータθ1と立体物パラメータθ2とを比較することによって、調整パラメータθcamを決定する。決定された調整パラメータθcamは、撮像部１ａ，１ｂにフィードバックされ、画像データの明るさが再調整される。具体的には、ステップ２に続くステップ３において、地面パラメータθ1と立体物パラメータθ2との差の絶対値｜θ1−θ2｜が、所定のしきい値θth以下であるか否かが判定される。このステップで肯定判定された場合、すなわち、地面エリアと立体物エリアとの画像の明るさ（輝度分布）がほぼ同一であると判断された場合、指示部１２は、それぞれのエリアに写し出された対象物を同一画像より認識可能であると判断する。この場合、指示部１２は、調整パラメータθcamをθ3にセットするとともに、画像モードＭpicをＭ3にセットし、本ルーチンを抜ける（ステップ４）。ここで、θ3は、地面パラメータθ1と立体物パラメータθ2との平均値である。また、Ｍ3は、この調整パラメータθcam（θ3）により撮像される画像が、地面エリアと立体物エリアとに注目して撮像されたことを示す。
【００４５】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ3に調整される。これにより、カメラ２，３は、地面エリアおよび立体物エリアの両エリアの明るさを好適に撮像するシャッタースピードとなり、これにより出力される画像平面では両エリアにおいて認識可能な対象物が写し出される。また、指示部１２から指示を受けて、対象物認識部１３は、画像モードＭ3ベースで対象物の認識を行う。具体的には、対象物認識部１３は、この調整パラメータθ3に基づいて調整されたデータ（画像データおよび距離データを含む）を用いて、地面と立体物との両者を認識する。地面および立体物の認識は、画像データおよび距離データに基づき、周知の道路検出処理と立体物検出処理によって行われる。そして、特定された地面および立体物の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に随時格納される。
【００４６】
道路検出処理では、画像データまたは距離データに基づき、道路モデルのパラメータを実際の道路形状に対応するよう修正・変更して道路形状が特定される。この道路モデルは、実空間の座標系において、水平方向の直線式、および、垂直方向の直線式により特定される。この直線式は、道路上の自車線を、設定した距離によって複数個の区間に分け、区間毎に左右の白線等を三次元の直線式で近似して折れ線状に連結することにより、算出可能である。
【００４７】
一方、立体物検出処理において、距離データが格子状に所定の間隔で区分され、区分毎に立体物のデータが抽出されてヒストグラムが作成される。このヒストグラムからは、各区分を代表する立体物の存在位置と、その距離が求められる。つぎに、区分毎の距離を画像の左から右へ順次比較してゆき、前後方向および横方向の距離が接近しているものがグループとしてまとめられる。そして、各グループについてデータの並び方向をチェックし、この並び方向が大きく変化する部分でグループが分割されるとともに、グループ全体としての距離データの並び方向から個々のグループが立体物あるいは側壁に分類される。そして、立体物と分類されたグループについて、グループ内の距離データから平均距離および（左右）端部の位置等が、パラメータとして算出される。一方、側壁と分類されたグループについては、並び方向および（前後）端部の位置等がパラメータとして算出される。
【００４８】
そして、制御部１４は、認識された先行車との距離、および、道路状況に基づき、ドライバーに警報を与えたり、車両制御を行ったりする。このように、ステレオ式監視装置は、地面および立体物エリアにおいて、明暗が分かれないとき、すなわち、明るさに差がないときには、地面パラメータθ1と立体物パラメータθ2との平均値を調整パラメータθcamとして用いる。
【００４９】
これに対して、ステップ３で否定判定された場合、すなわち、地面エリアと立体物エリアとの明るさが異なると判断された場合（例えば、輝度分布が図６と図７に示すような状態）、指示部１２は、それぞれのエリアに写し出された対象物を同一画像より認識不可能であると判断する。この場合は、ステップ５に進み、現在の画像モードＭpicがＭ3であるか否かが判断される。このステップ５で肯定判定された場合、指示部１２は、地面エリアと立体物エリアとで、明るさの差が生じ始めたものと判断する（前フレームでは両エリアを共通のシャッタースピードで撮像可能であった）。この場合、指示部１２は、調整パラメータθcamとして、例えば、地面パラメータθ1をセットするとともに、画像モードＭpicをＭ1にセットし、本ルーチンを抜ける（ステップ６）。ここで、Ｍ1は、この調整パラメータθcamにより撮像される画像が、地面エリアのみに対応した調整パラメータで撮像された画像であることを示す。
【００５０】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ1に調整される。これにより、カメラ２，３は、地面エリアの明るさを好適に撮像するシャッタースピードとなり、これにより出力される画像平面では地面エリアにおいて認識可能な対象物が写し出される。また、指示部１２から指示を受けて、対象物認識部１３は、Ｍ1の画像モードベースで対象物の実空間上の位置を算出する。
【００５１】
具体的には、対象物認識部１３は、この調整パラメータθ1が適用された出力データの地面エリアに注目し、地面のみの認識を行う。また、必要であれば、対象物認識部１３は、ＲＡＭ領域に格納されている立体物の情報を読み込み、現在の走行状況（速度、舵角など）を考慮した上で、立体物の状態を推定してもよい。なぜならば、この調整パラメータθ1が適用された出力データでは、立体物エリアに写し出された対象物は認識不可能となる（見えない）からである。例えば、この推定手法としては、読み出された立体物の位置を（三次元的に）特定し、自車両の車速および舵角などを考慮して、0.1秒（所定の間隔）後の立体物の位置を算出するといった如くである。立体物が先行車であると認識された場合、その先行車の速度を加味すれば、さらに有効な認識を行うことができる。そして、この特定された地面（或いは、推定された立体物）の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に格納されて、更新される。
【００５２】
そして、制御部１４は、道路状況に基づき（さらには、推定された先行車の状態を加味することで）、ドライバーに警報を与えたり、車両制御を行ったりする。このように、ステレオ式監視装置は、地面および立体物エリアにおいて、明暗が分かれたときには、地面パラメータθ1または立体物パラメータθ2の一方を調整パラメータθcamとして用いる。
【００５３】
これに対して、ステップ５で否定判定された場合には、地面エリアと立体物エリアとで、前フレームに引き続き明るさが異なっていると判断される。この場合は、ステップ７に進み、画像モードがＭ1であるか否かが判断される。このステップで肯定判定された場合、指示部１２は、前フレームの画像モードがＭ1、すなわち、地面エリア（暗部）に好適な状態で撮像されたものであると判断する。この場合、指示部１２は、立体物エリアに注目して撮像を行うべく、処理対象とするフレームの調整パラメータθcamをθ2にセットするとともに、画像モードＭpicをＭ2にセットし、本ルーチンを抜ける（ステップ８）。換言すれば、地面パラメータθ1と立体物パラメータθ2との差が判定値θよりも大きい場合（さらには、これが連続して起こる場合）、指示部１２は、地面パラメータθ1と立体物パラメータθ2とを１フレーム間隔で交互に切り替える。ここで、Ｍ2は、この調整パラメータθcamにより撮像される画像が、立体物エリアに対応した調整パラメータで撮像された画像であることを示している。
【００５４】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ2に調整される。これにより、カメラ２，３は、立体物エリアの明るさを好適に撮するシャッタースピードとなり、これにより出力される画像平面では立体物エリアにおいて認識可能な対象物が写し出される。また、指示部１２から指示を受けて、対象物認識部１３は、Ｍ2の画像モードベースで対象物の実空間上の位置を算出する。
【００５５】
具体的には、対象物認識部１３は、この調整パラメータθ2が適用された出力データの立体物エリアに注目し、立体物のみの認識を行う。また、必要であれば、対象物認識部１３は、ＲＡＭ領域に格納されている地面の情報を読み込み、現在の走行情報を考慮した上で、地面の状態を推定してもよい。なぜならば、この調整パラメータθ2が適用された出力データでは、地面エリアに写し出された対象物は認識不可能となる（見えない）からである。例えば、この推定手法としては、読み出された地面の位置を特定し、車速および舵角を考慮して、0.1秒後の地面の位置を推定するといった如くである。特定された立体物（或いは、地面）の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に格納される。
【００５６】
そして、制御部１４は、認識された立体物の情報に基づき（さらには、推定された地面状態を加味することで）、ドライバーに警報を与えたり、車両制御を行ったりする。このように、ステレオ式監視装置は、地面エリアおよび立体物エリアにおいて、明暗が連続して分かれているときには、１フレーム間隔で地面パラメータθ1または立体物パラメータθ2の一方を調整パラメータθcamとしている。
【００５７】
これに対して、ステップ７で否定判定された場合、指示部１２は、前フレームの撮像モードがＭ2、すなわち、立体物エリア（明部）に好適な状態で撮像されたものであると判断する。この場合、指示部１２は、調整パラメータθcamをθ1にセットするとともに、画像モードＭpicを、Ｍ1にセットし、本ルーチンを抜ける（ステップ９）。
【００５８】
指示部１２からの指示を受けて、撮像部１ａ，１ｂを構成するカメラ２，３のシャッタースピードがθ1に調整される。また、指示部１２から指示を受けて、対象物認識部１３は、先に述べた手法と同様、Ｍ1の画像モードベースで対象物の実空間上の位置を算出する。そして、対象物認識部１３は、距離データから認識された地面と、推定された立体物との情報を考慮することで、これを距離データに相当させて走行状況の認識を行う。特定された地面（或いは、立体物）の位置などを含む情報は、マイクロコンピュータ１０のＲＡＭ領域に格納される。そして、これら認識された情報に基づき、制御部１４によって、ドライバーに警報が与えられたり、車両制御が行われる。
【００５９】
なお、上述した説明において、算出部１１が画像データを読み込んだ際、このときの画像モードがＭ1であるならば、立体物パラメータ算出部１１ｂは、この画像からのパラメータ算出を行わず、前フレームの処理で算出された立体物パラメータθ2を再度出力する（ステップ２３〜２５までの処理がスキップされる）。一方、地面パラメータ算出部１１ａは、上述したように、読み込んだ画像データから、地面パラメータθ1を算出する。なぜならば、画像モードがＭ1である場合、処理対象とするフレームは、地面エリアの明るさが好適に設定された画像であり、立体物エリアの明るさを無視して調整パラメータが調節されているからである。このため、このとき立体物エリアの輝度分布より算出される立体物パラメータθ1は、無意味であり、画像の明るさを調整するにいたらないからである。
【００６０】
同様に、画像データが画像モードＭ2と判断された場合、地面パラメータ算出部１１ａは、この画像からのパラメータ算出を行わず、前フレームの処理で算出された地面パラメータθ1をもう一度出力する。一方、立体物パラメータ算出部１１ｂは、この度出力された画像データから、立体物パラメータθ2を算出する。なお、画像データがＭ3である場合は、上述したステップ２の通りとする。
【００６１】
以上説明したように、本実施形態のステレオ式監視装置によれば、対象物認識部１３によって監視制御が行われるとともに、指示部１２によってこの監視制御に関する画像の出力モードの決定がリアルタイム処理されている。このステレオ式監視装置は、地面および立体物エリアにおいて、明るさに差がないときには、地面パラメータθ1と立体物パラメータθ2との平均値を調整パラメータθcamとして用いる。これにより、この調整パラメータθcamにより明るさが調整された画像データでは、それぞれのエリアに写し出された対象物が認識可能となる。一方、地面および立体物エリアにおいて、明暗が分かれているときには、１フレーム間隔で地面パラメータθ1または立体物パラメータθ2の一方を調整パラメータθcamとしている。これにより、この調整パラメータθcamにより明るさが調整された画像データでは、出力される毎に、それぞれのエリアに写し出される対象物が交互に認識可能となる。これにより、画像平面全部において、認識不能となるような状態を防止することができるので、ステレオ式監視装置の信頼性の向上を図ることができる。また、従来のステレオ式監視装置の既存の構成のまま実現可能であるため、装置の複雑化を防止することができる。
【００６２】
なお、本実施形態において、調整パラメータは、シャッタースピードに限定されず、カメラ２，３のレンズの絞り、または、カメラ２，３の出力信号の増幅のゲインのいずれかであってもよい。また、調整パラメータは、これらのパラメータを複数用いることもできる。
【００６３】
さらに、画像上の対象エリアは、立体物と地面との二つに分けて、説明をおこなったが、これに限定されるものではなく、対象エリアをさらに細かく分けることもできる。ただし、画像の認識において、これを交互に切替えながら行うため、処理速度と認識精度との両立を図るように設定することが好ましい。
【００６４】
なお、本実施形態では、地面パラメータθ1と立体物パラメータθ2との差が所定のしきい値θthよりも大きい場合、１フレーム間隔で、調整パラメータを切替えるものであるが、所定のフレーム間隔で切替えてもよい。例えば、指示部１２は、地面パラメータθ1と立体物パラメータθ2とを２フレーム間隔、あるいは、実用可能な範囲内のフレーム間隔で切替えるといった如くである。
【００６５】
【発明の効果】
このように、本発明によれば、画像平面上に設定されたエリアの輝度状態において、このエリアを切替えるように画像を取得する。これにより、同一画像上に輝度の飽和と不足を両立させず、対象物の明暗に拘わらず、有効な認識を行うことができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ式監視装置のブロック構成図
【図２】基準画像に設定される画素ブロックの説明図
【図３】基準画像に設定される対象エリアの説明図
【図４】調整パラメータθの設定ルーチンのフローチャート
【図５】パラメータ算出に関する手順を示したフローチャート
【図６】地面エリアの一例としての輝度分布図
【図７】立体物エリアの一例としての輝度分布図
【符号の説明】
１ａ 撮像部
１ｂ 撮像部
２ メインカメラ
３ サブカメラ
４ Ａ／Ｄコンバータ
５ Ａ／Ｄコンバータ
６ 画像補正部
７ ステレオ画像処理部
８ 画像データメモリ
９ 距離データメモリ
１０ マイクロコンピュータ
１１ 算出部
１１ａ 地面パラメータ算出部
１１ｂ 立体物パラメータ算出部
１２ 指示部
１３ 対象物認識部
１４ 制御部

Claims (11)

1. 撮像された画像を用いて、監視領域内の状況を監視する監視装置において、
   前記監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する第１の撮像部と、
   前記画像データによって規定される画像平面において、第１の対象エリアを設定し、当該第１の対象エリアに関する輝度分布を算出するとともに、前記輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第１の調整パラメータを算出する第１の算出部と、
   前記画像データによって規定される画像平面において、前記第１の対象エリアとは異なる第２の対象エリアを設定し、当該第２の対象エリアに関する輝度分布を算出するとともに、前記輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第２の調整パラメータを算出する第２の算出部と、
   前記第１の調整パラメータと前記第２の調整パラメータとを比較することによって、前記調整パラメータを決定し、当該調整パラメータを前記第１の撮像部に出力する指示部と、
   前記調整パラメータによって明るさが調整された前記画像データを用いて、前記監視領域内の対象物を認識する対象物認識部とを有し、
   前記指示部は、
   前記第１の調整パラメータと前記第２の調整パラメータとの差が所定のしきい値よりも大きい場合、前記第１の調整パラメータと前記第２の調整パラメータとを所定のフレーム間隔で交互に切替えることにより、前記第１の調整パラメータまたは前記第２の調整パラメータを前記調整パラメータとして適用するとともに、前記第１の対象エリアおよび前記第２の対象エリアのうち、前記適用される調整パラメータに対応した方の対象エリアに注目した対象物の認識を前記対象物認識部に指示することを特徴とする監視装置。
2. 前記対象物認識部は、前記第１の対象エリアおよび前記第２の対象エリアのうち、前記適用される調整パラメータに対応しない方の対象エリアについては、既に認識された立体物の情報と、現在の走行状況とに基づいて、対象物の状態を推定することを特徴とする請求項１に記載された監視装置。
3. 前記指示部は、前記第１の調整パラメータと前記第２の調整パラメータとの差が所定のしきい値以下の場合、前記第１の調整パラメータと前記第２の調整パラメータとの平均値を前記調整パラメータとして適用するとともに、前記第１の対象エリアおよび前記第２の対象エリアに注目した対象物の認識を前記対象物認識部に指示することを特徴とする請求項１または２に記載された監視装置。
4. 前記第１の算出部および前記第２の算出部は、前記輝度分布における前記最頻輝度の位置を特定するとともに、予め規定された前記最頻輝度の位置ずれと前記調整パラメータとの対応関係に基づいて、前記最頻輝度の位置ずれから、当該位置ずれを補正する前記調整パラメータを算出することを特徴とする請求項１から３のいずれかに記載された監視装置。
5. 前記監視領域を含む景色を撮像し、前記調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力し、かつ、前記第１の撮像部と協働することによってステレオカメラとして機能する第２の撮像部と、
   前記第１の撮像部から出力された画像データと、前記第２の撮像部から出力された画像データとに基づき、ステレオマッチングによって、距離データを算出するステレオ処理部とをさらに有し、
   前記対象物認識部は、前記距離データを用いて、前記監視領域内の対象物を認識することを特徴とする請求項１から４のいずれかに記載された監視装置。
6. 前記第１の対象エリアは、前記画像平面において、地面が写し出されるエリアに設定され、
   前記第２の対象エリアは、前記画像平面において、前記第１の対象エリアの設定位置よりも上方を含み、前記地面上に存在する立体物が写し出されるエリアに設定されていることを特徴とする請求項１から５のいずれかに記載された監視装置。
7. 前記調整パラメータは、シャッタースピード、カメラレンズの絞り、または増幅ゲインのいずれかであることを特徴とする請求項１から６のいずれかに記載された監視装置。
8. 撮像された画像を用いて、監視領域内の状況を監視する監視方法において、
   前記監視領域を含む景色を撮像し、調整パラメータによって明るさが調整された所定の輝度階調の画像データを出力する第１のステップと、
   前記画像データによって規定される画像平面において、第１の対象エリアを設定し、当該第１の対象エリアに関する輝度分布を算出するとともに、前記輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第１の調整パラメータを算出する第２のステップと、
   前記画像データによって規定される画像平面において、前記第１の対象エリアとは異なる第２の対象エリアを設定し、当該第２の対象エリアに関する輝度分布を算出するとともに、前記輝度分布の中央を基準とした最頻輝度の位置ずれに基づいて、第２の調整パラメータを算出する第３のステップと、
   前記第１の調整パラメータと前記第２の調整パラメータとを比較することによって、前記調整パラメータを決定し、当該調整パラメータをフィードバックすることにより、前記画像データの明るさを再調整するとともに、前記調整パラメータによって明るさが調整された前記画像データを用いて、前記監視領域内の対象物を認識する第４のステップとを有し、
   前記第４のステップは、
   前記第１の調整パラメータと前記第２の調整パラメータとの差が所定のしきい値よりも大きい場合、前記第１の調整パラメータと前記第２の調整パラメータとを所定のフレーム間隔で交互に切替えることにより、前記第１の調整パラメータまたは前記第２の調整パラメータを前記調整パラメータとして適用するとともに、前記第１の対象エリアおよび前記第２の対象エリアのうち、前記適用される調整パラメータに対応した方の対象エリアに注目した対象物の認識を行うステップを有することを特徴とする監視方法。
9. 前記第４のステップは、前記第１の対象エリアおよび前記第２の対象エリアのうち、前記適用される調整パラメータに対応しない方の対象エリアについては、既に認識された立体物の情報と、現在の走行状況とに基づいて、対象物の状態を推定するステップをさらに有することを特徴とする請求項８に記載された監視方法。
10. 前記第４のステップは、前記第１の調整パラメータと前記第２の調整パラメータとの差が所定のしきい値以下の場合、前記第１の調整パラメータと前記第２の調整パラメータとの平均値を前記調整パラメータとして適用するとともに、前記第１の対象エリアおよび前記第２の対象エリアに注目した対象物の認識を行うステップをさらに有することを特徴とする請求項８または９に記載された監視方法。
11. 前記第２のステップおよび前記第３のステップは、
    前記算出された輝度分布における最頻輝度の位置を特定するステップと、
    予め規定された前記最頻輝度の位置ずれと前記調整パラメータとの対応関係に基づいて、前記最頻輝度の位置ずれから、当該位置ずれを補正する前記調整パラメータを算出するステップと
    を含むことを特徴とする請求項８から１０のいずれかに記載された監視方法。

Images