JP5129094B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、自動車等の車両の周辺を撮像手段により撮像した画像に基づいて物体認識を行う車両周辺監視装置に関するものであり、特に撮像手段により撮像した画像データの明るさ調整に関するものである。

従来から、自車両の外部画像に基づいて障害物などの物体認識を行う車両周辺監視装置が知られている。この種の車両周辺監視装置にあっては、有彩色の道路等やヘッドライトの影響を受けるのを防止するために、自車両が走行する道路領域の色成分に応じて画像信号の色補正を行うものが提案されている（例えば、特許文献１参照）。
特開２００６−２０９２０９号公報

しかしながら、上述した従来の車両周辺監視装置にあっては、路面の明るさ（輝度）が車両の進行方向に対して一定でない場合に撮像した画像の明るさが適切に調整できない虞があるという課題がある。

この発明は、上記事情に鑑みてなされたものであり、撮像した画像の明るさ調整を適切に行うことで物体認識の精度を向上できる車両周辺監視装置を提供するものである。

上記の課題を解決するために、請求項１に記載した発明は、自車両に搭載される撮像手段（例えば、実施の形態におけるカメラ２）によって車両外部の画像を取得し車両周辺監視を行う車両周辺監視装置であって、前記画像に基づいて実空間上に所定領域を設定する領域設定手段（例えば、実施の形態における同領域切り出し手段４）と、該領域設定手段が設定した所定領域を所定時間毎に追跡・認識する同一領域認識手段（例えば、実施の形態における同領域切り出し手段４）と、該同一領域認識手段が認識した異なる時間に撮像された実空間上で同一の所定領域同士の色又は明るさを比較した比較結果に基づいて、撮像手段が撮像する画像の色又は明るさを変更する画像パラメータ変更手段（例えば、実施の形態における変化量算出手段５、係数算出手段６、および、明るさ補正手段７により構成される）とを備えることを特徴とする。

請求項２に記載した発明は、請求項１に記載の発明において、前記領域設定手段が、自車両が走行する路面上に所定領域を設定することを特徴とする。

請求項３に記載した発明は、請求項２に記載の発明において、前記領域設定手段が、前記同一領域認識手段により前記所定領域を所定時間毎に追跡・認識するに当たり、前記所定領域が前記所定時間経過した後も実空間上で同一の位置として追跡・認識可能となるように車速が高いほど車両から遠方に所定領域を設定することを特徴とする。

請求項４に記載した発明は、請求項１乃至３の何れか一項に記載の発明において、前記同一領域認識手段が、異なる時間に撮像された前記所定領域の色又は明るさを比較した結果、色又は明るさが所定以上変化している場合に前記所定領域の追跡・認識をキャンセルすることを特徴とする。

請求項５に記載した発明は、請求項１乃至４の何れか一項に記載の発明において、車両の挙動変化が所定以上である場合に前記所定領域の追跡・認識をキャンセルすることを特徴とする。

請求項１に記載した発明によれば、車両の進行方向に対して撮像された画像の明るさが一定でない場合であっても、異なる時間に撮像した画像のそれぞれ同一領域となる所定領域の色又は明るさは比較的一定しているため、これら所定領域内の色又は明るさを比較した結果に基づいて撮像手段により撮像された画像の色又は明るさを変更することで、適切に画像の明るさ調整を行い、物体認識の精度を向上することができる効果がある。

請求項２に記載した発明によれば、自車両が走行する路面上に所定領域を設定することで、路面の明るさを基準として画像の色又は明るさ調整を行うことができるため、路面上の物体認識に最適な色又は明るさに画像の色又は明るさを調整することができる効果がある。

請求項３に記載した発明によれば、車速が高い場合であっても車速が高いほど車両から遠方に所定領域を設定するため、複数の画像を撮像する時間を確保して同一の所定領域内における色又は明るさの比較をより確実に行うことができる効果がある。

請求項４に記載した発明によれば、基本的に同一領域となる所定領域の色又は明るさが急変することはないが、色又は明るさの急変が生じる場合、所定領域の追跡・認識が適正になされていないことが考えられることから、所定領域の追跡・認識をキャンセルすることで、撮像手段により撮像された画像の色又は明るさの変更を適正に行うことができる効果がある。

請求項５に記載した発明によれば、峠道を走行するなど車両の挙動変化が例えば、所定領域の追跡・認識に支障をきたす虞がある所定の変化以上になった場合に、所定領域の追跡・認識をキャンセルすることができるため、所定領域の同一性を確保して信頼性の向上を図ることができる。

次に、この発明の実施の形態における車両周辺監視装置について図面を参照しながら説明する。
図１は、この実施の形態の車両周辺監視装置のシステム構成を示すものであって、車両周辺監視装置１は、カメラ２、画像取得手段３、同領域切り出し手段４、変化量算出手段５、係数算出手段６、明るさ補正手段７、および、時系列処理手段８、をそれぞれ備えて構成される。

カメラ２は、可視光領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等よりなり、車体前部のグリル付近やバックミラー付近などに設置され、自車両の進行方向前方における少なくとも路面を含む所定領域の画像を極短い所定の時間間隔で撮像する。カメラ２により撮像された画像データ（以下、原画像データと呼ぶ）を同領域切り出し手段４を経由して画像取得手段３へ向けて出力する。

画像取得手段３は、カメラ２により所定間隔で撮像された連続する原画像データを一時的に記憶するメモリ等を備えており、同領域切り出し手段４による原画像データの読み込み要求に従って連続する原画像データを同領域切り出し手段４へ向けて順次出力する。

同領域切り出し手段４は、画像取得手段３より読み込んだ時刻ｔ−１および時刻ｔに撮像された連続する前後２フレームの原画像データに基づいて、基準となる明るさを検出するために原画像データの実空間上に所定の切り出し領域Ａを設定する。具体的には、道路上のセンターラインや路側線などレーンマークを検出してこれらレーンマークを構成する２本の線の中央付近を道路領域と判定したり、原画像データを平滑化して低コントラスト化した画像データと原画像データとの偏差により道路領域を判定して、この道路領域の所定の実空間上に切り出し領域Ａを設定する。なお、実空間上とは、画像上の２次元の座標ではなく、撮像された路面などの物体上の位置を３次元座標により定義するものである。

ここで、図３（ａ）は、時刻ｔ−１に撮像した原画像の一例を示すものである。上述した同領域切り出し手段４は、時刻ｔ−１で撮像した原画像から道路領域を判定し、この道路領域の中央付近に三角形状の切り出し領域Ａを設定する。
そして、同領域切り出し手段４は、実空間上に設定した所定の切り出し領域Ａを時間毎、より具体的には連続する２フレーム間で追跡・認識する。具体的には、図３（ｂ）に示す切り出し領域Ａと同一の切り出し領域Ａを、例えば、車速に基づく自車両の移動量等に基づいて、図４（ａ）に示す時刻ｔに撮像した原画像データの実空間上で図４（ｂ）に示すように同一の切り出し領域Ａとして追跡・認識する。なお、図４（ｂ）において、路面上に設定されている切り出し領域Ａは、自車両が前進することで、図３（ｂ）の切り出し領域Ａよりも自車両に近い位置に移動してその大きさも相対的に大きくなっている。

また、自車両の車速が高い場合に実空間上に設定された切り出し領域Ａの２フレーム間での移動量が大きくなるため、同領域切り出し手段４は、連続する２フレームの原画像データの内、時刻ｔ−１に撮像した原画像データに設定する所定の切り出し領域Ａの位置を、自車両の車速が高いほど自車両からより遠い道路領域上に設定する。これにより、時刻ｔに撮像されたフレームの原画像データにおいて、時刻ｔ−１のフレームで設定した所定の切り出し領域Ａを通り過ぎてしまうのを防止することができる。

変化量算出手段５は、カメラ２により時刻ｔ−１に撮像したフレームの所定の切り出し領域Ａ内の各画素の平均輝度値と、時刻ｔに撮像したフレームの所定の切り出し領域Ａ内の各画素の平均輝度値とを求めて、この求めた平均輝度値を係数算出手段６へ出力する。より具体的には、各時刻ｔ−１，ｔに撮像した各フレームの所定の切り出し領域Ａ内の全画素におけるＲ，Ｇ，Ｂの平均輝度値ｒ＿ｍｅａｎ，ｇ＿ｍｅａｎ，ｂ＿ｍｅａｎをそれぞれ求める。

係数算出手段６は、変化量算出手段５より入力された各平均輝度値に基づいて、これらの平均輝度値を正規化するためのパラメータ（係数）を算出する。具体的には、時刻ｔに撮像したフレームの平均輝度値が時刻ｔ−１の平均輝度値と同じになるようなパラメータｒ＿ｎｏｒｍ，ｇ＿ｎｏｒｍ，ｂ＿ｎｏｒｍを算出する。係数算出手段６はこの算出されたパラメータを明るさ補正手段７へ出力する。

明るさ補正手段７は、時刻ｔに撮像した原画像データの全画素のＲ，Ｇ，Ｂに対して上記パラメータｒ＿ｎｏｒｍ，ｇ＿ｎｏｒｍ，ｂ＿ｎｏｒｍを乗算することで、原画像データ全体の明るさ補正（調整）を行う。
時系列処理手段８は、補正した画像データを撮像時間に沿って並べる時系列処理を行う。この時系列処理手段８により時系列処理が行われた画像データに基づき、エッジ処理などの画像処理を行って障害物を検出する図示しない障害物検出手段により、時系列処理が行われた画像データに含まれる障害物が検出される。

この実施の形態における車両周辺監視装置１は上述した構成を備えており、次に、この車両周辺監視装置１の動作について図２のフローチャートを参照しながら説明する。
まず、ステップＳ０１においては、カメラ２により時刻ｔ−１に撮像した原画像データに基づいて対象領域すなわち道路領域の判定を行う。
次いでステップＳ０２においては、自車両の車速を判定する。

ステップＳ０３においては、時刻ｔ−１の自車両の車速に応じて切り出し領域Ａを設定（特定）する。この際、切り出し領域Ａを車速が高いほど自車両から遠い位置に設定する。
ステップＳ０４においては、時刻ｔ−１の切り出し領域Ａの平均輝度値ｒ＿ｍｅａｎ，ｇ＿ｍｅａｎ，ｂ＿ｍｅａｎ（以下、単にＬ_ｔ−１と称す）を算出する。

ステップＳ０５においては、時刻ｔの切り出し領域Ａの平均輝度値ｒ＿ｍｅａｎ，ｇ＿ｍｅａｎ，ｂ＿ｍｅａｎ（以下、単にＬ_ｔと称す）を算出する。
ここで、車両のヨーレイトセンサやカーナビゲーションの情報に基づいて、時刻ｔ−１および時刻ｔに撮像した各画像における同一の切り出し領域Ａの追跡・認識を行うようにうすることで、路面形状に対するロバスト性を向上することができる。

ステップＳ０６においては、平均輝度値Ｌ_ｔ−１と平均輝度値Ｌ_ｔとの差分の絶対値が所定の平均輝度値αよりも大きいか否かを判定する。ここで、所定の平均輝度値αとは、上述した平均輝度値Ｌ_ｔ−１と平均輝度値Ｌ_ｔとの差分が原画像データの輝度値を調整するのに適さないほど過大であることを判定するための閾値であり、予めメモリ等に記憶されている。

ステップＳ０６における判定結果が「ＹＥＳ」（｜Ｌ_ｔ−１−Ｌ_ｔ｜＞α）である場合は、平均輝度値Ｌ_ｔ−１から平均輝度値Ｌ_ｔへの輝度値変化が急変しており、切り出し領域Ａの追跡・認識が適正になされていない可能性があるので、原画像データに対する輝度値の調整を行わず、この一連の処理を一旦終了してリターンする。なお、図示は省略するが、地形の影響や峠道を走行しているなど車両の挙動変化が、切り出し領域Ａの追跡・認識に支障をきたす虞が生じる所定の変化以上となる場合においても、切り出し領域Ａの追跡・認識が適正に行われない可能性があるため、一連の処理を一旦終了してリターンする。これにより、切り出し領域Ａの同一性を確保して信頼性の向上を図ることができる。

ステップＳ０６における判定結果が「ＮＯ」（｜Ｌ_ｔ−１−Ｌ_ｔ｜≦α）である場合は、ステップＳ０７に進み、平均輝度値Ｌ_ｔ−１に対する平均輝度値Ｌ_ｔの変化量が所定の変化量以下となるパラメータを時刻ｔの原画像データに乗じて画像全体の輝度値を調整する。

したがって、上述の実施の形態によれば、異なる時刻ｔ−１、時刻ｔにそれぞれ連続して撮像した原画像データにおいてそれぞれ実空間上で同一領域となる切り出し領域Ａの平均輝度値Ｌ_ｔ−１と平均輝度値Ｌ_ｔとを比較し、これら平均輝度値Ｌ_ｔ−１と平均輝度値Ｌ_ｔとに基づいて時刻ｔに撮像された原画像データの全体の輝度値を変更することで、自車両の進行方向に対して撮像された画像の輝度値が一定でない場合であっても、比較的輝度値が安定する路面上の切り出し領域Ａの平均輝度値に基づいて原画像データの輝度値を調整することができるため、適切に原画像データの輝度値調整を行い、この輝度値調整を行った画像データに基づいた物体認識の精度を向上することができる。

また、自車両が走行する路面上に切り出し領域Ａを設定することで、路面の輝度値を基準として原画像データの輝度値調整を行うことができるため、路面上の物体認識に最適な輝度値に原画像データ全体の輝度値を調整することができる。

さらに、自車両の車速が高い場合であっても車速が高いほど車両から遠方に切り出し領域Ａを設定するため、カメラ２によって複数の画像を撮像する時間を確保して同一の切り出し領域Ａ内における平均輝度値の比較をより確実に行うことができる。

なお、上述した実施の形態では、切り出し領域Ａを三角形状にする一例について説明したが、路面上に設定できる形状であればよく、例えば、台形状や円形状など適宜の形状を用いればよい。

また、上述した実施の形態では、時刻ｔ−１および時刻ｔに撮像された２フレームの画像の平均輝度に基づき撮像画像の明るさの調整を行う場合について説明したが、この構成に限られず、例えば、連続する３フレーム以上の画像に基づき撮像画像の明るさ調整を行うようにしても良い。

また、各フレームの切り出し領域Ａの平均輝度をそれぞれ比較する場合について説明したが、例えば、連続する複数フレームにおける全ての切り出し領域Ａの平均輝度を求めて、この平均輝度を、これよりも前に撮像された連続する複数フレームにおける全ての切り出し領域Ａの平均輝度と比較して、この比較結果に基づき色又は明るさの調整を行うようにしてもよい。

さらに、上述した実施の形態では、異なる時刻に撮像された画像の切り出し領域Ａにおける明るさ（平均輝度）を比較する場合について説明したが、各切り出し領域Ａ内の色（色相）を比較し、この色の変化が所定以上の場合にカメラ２により撮像された画像の色を調整するようにしてもよい。

本発明の実施の形態における車両周辺監視装置の構成を示すブロック図である。 本発明の実施の形態における車両周辺監視装置の動作を示すフローチャートである。 本発明の実施の形態における時刻ｔ−１の撮像画像を示す図であり、（ａ）は原画像、（ｂ）は切り出し領域を設定した画像を示している。 本発明の実施の形態における時刻ｔにおける図３に相当する図である。

符号の説明

２ カメラ（撮像手段）
４ 同領域切り出し手段（領域特定手段、同一領域認識手段）
５ 変化量算出手段（画像パラメータ変更手段）
６ 係数算出手段（画像パラメータ変更手段）
７ 明るさ補正手段（画像パラメータ変更手段）

Claims (5)

1. 自車両に搭載される撮像手段によって車両外部の画像を取得し車両周辺監視を行う車両周辺監視装置であって、
   前記画像に基づいて実空間上に所定領域を設定する領域設定手段と、
   該領域設定手段が設定した所定領域を所定時間毎に追跡・認識する同一領域認識手段と、
   該同一領域認識手段が認識した異なる時間に撮像された実空間上で同一の所定領域同士の色又は明るさを比較した比較結果に基づいて、撮像手段が撮像する色又は画像の明るさを変更する画像パラメータ変更手段と
   を備えることを特徴とする車両周辺監視装置。
2. 前記領域設定手段は、自車両が走行する路面上に所定領域を設定することを特徴とする請求項１に記載の車両周辺監視装置。
3. 前記領域設定手段は、前記同一領域認識手段により前記所定領域を所定時間毎に追跡・認識するに当たり、前記所定領域が前記所定時間経過した後も実空間上で同一の位置として追跡・認識可能となるように車速が高いほど車両から遠方に所定領域を設定することを特徴とする請求項２に記載の車両周辺監視装置。
4. 前記同一領域認識手段は、異なる時間に撮像された前記所定領域の色又は明るさを比較した結果、色又は明るさが所定以上変化している場合に前記所定領域の追跡・認識をキャンセルすることを特徴とする請求項１乃至３の何れか一項に記載の車両周辺監視装置。
5. 車両の挙動変化が所定以上である場合に前記所定領域の追跡・認識をキャンセルすることを特徴とする請求項１乃至４の何れか一項に記載の車両周辺監視装置。

Images