以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
(車外環境認識システム100)
図1は、車外環境認識システム100の接続関係を示したブロック図である。車外環境認識システム100は、撮像装置110と、車外環境認識装置120と、車両制御装置(ECU:Engine Control Unit)130とを含んで構成される。
撮像装置110は、CCD(Charge-Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の撮像素子を含んで構成され、自車両1の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像(カラー画像やモノクロ画像)を生成することができる。また、撮像装置110は、自車両1の進行方向側において2つの撮像装置110それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置110は、自車両1の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば1/60秒のフレーム毎(60fps)に連続して生成する。ここでは、2つの撮像装置110によって異なる視点の輝度画像が生成されるので、立体物の距離も把握することが可能となる。ここで、撮像装置110によって認識する立体物は、車両(先行車両、対向車両)、歩行者、街灯、信号機、道路(進行路)、道路標識、ガードレール、建物といった独立して存在する物のみならず、その一部として特定できる物も含む。
車外環境認識装置120は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(複数の画素の集合体)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差(奥行き距離)、および、任意のブロックの画面内の位置を示す画面位置を導出し、各ブロックの3次元位置を導出する。そして、車外環境認識装置120は、車外環境に存在する立体物、例えば、同方向に走行する先行車両や、対向して走行する対向車両を特定する。また、車外環境認識装置120は、このように立体物を特定すると、立体物との衝突を回避したり(衝突回避制御)、先行車両との車間距離を安全な距離に保つように自車両1を制御する(クルーズコントロール)。
また、車外環境認識装置120では、照明スイッチ122を通じて運転手の要求(意思)を受け付け、車外環境に応じ、照明機構124を通じてヘッドランプ等の配光制御を行う。かかる配光制御として、例えば、ハイビームを照射すべきではない、先行車両や対向車両等の立体物が前方に存在する場合はハイビームをOFFにし、そうでない場合はONにするHBA(High Beam Assist)や、ハイビームを照射する領域を可変とし、ハイビームを照射すべきではない立体物が存在する場合、その領域のみハイビームを照射せず、その他の、街灯、道路標識、看板、反射板等の立体物が存在するであろう領域にはハイビームを照射するADB(Adaptive Driving Beam)が挙げられる。このような配光制御を実現すべく、例えば、照明スイッチ122として、ランプの点灯状態を、消灯、スモールランプ(ポジションランプ)、点灯(ロービーム)、オートライトのいずれかにポジションを切り換えるメインスイッチと、ハイビーム不可、ハイビーム可のいずれかにポジションを切り換えるディマースイッチを設けている。そして、照明機構124としては、HBAの場合、ロービームとハイビームを切り換える機構を有し、ADBの場合、ハイビームの領域を可変させる機構を有している。
また、車両制御装置130は、ステアリングホイール132、アクセルペダル134、ブレーキペダル136を通じて運転手の操作入力を受け付け、操舵機構142、駆動機構144、制動機構146に伝達することで自車両1を制御する。また、車両制御装置130は、車外環境認識装置120の指示に従い、操舵機構142、駆動機構144、制動機構146を制御する。
上述したように、車外環境認識システム100では、先行車両に対しクルーズコントロールしたり、先行車両や対向車両へハイビームを照射するのを回避したりするために、先行車両や対向車両を迅速かつ正確に特定することが要求される。当該車外環境認識システム100では、2つの撮像装置110による輝度画像を通じ、3次元位置の情報やカラー情報を取得することで、先行車両や対向車両を迅速かつ正確に特定し、ヘッドランプを適切に配光制御することを目的とする。
以下、このような目的を実現するための車外環境認識装置120の構成について詳述する。ここでは、本実施形態に特徴的な、ヘッドランプの配光制御について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
(車外環境認識装置120)
図2は、車外環境認識装置120の概略的な機能を示した機能ブロック図である。図2に示すように、車外環境認識装置120は、I/F部150と、データ保持部152と、中央制御部154とを含んで構成される。
I/F部150は、撮像装置110、および、車両制御装置130との双方向の情報交換を行うためのインターフェースである。データ保持部152は、RAM、フラッシュメモリ、HDD等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
中央制御部154は、中央処理装置(CPU)、プログラム等が格納されたROM、ワークエリアとしてのRAM等を含む半導体集積回路で構成され、システムバス156を通じて、I/F部150、データ保持部152等を制御する。また、本実施形態において、中央制御部154は、画像処理部160、3次元位置導出部162、要否判定部164、検出範囲設定部166、先行車両抽出部168、先行車両認識部170、対向車両抽出部172、視線誘導灯抽出部174、対向車両認識部176、街灯抽出部178、街灯認識部180、走行シーン判定部182、配光制御部184としても機能する。以下、本実施形態に特徴的なヘッドランプを配光制御する車外環境認識処理について、当該中央制御部154の各機能部の動作も踏まえて詳述する。
(車外環境認識処理)
図3は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、画像処理部160が、撮像装置110から取得した画像を処理し(S200)、3次元位置導出部162が、画像から3次元位置を導出し(S202)、要否判定部164が、ヘッドランプのハイビームが不要か否かを判定し(S204)、ハイビームが不要と判定されれば(S204におけるYES)、当該車外環境認識処理を終了する。
また、ハイビームが不要ではないと判定されれば(S204におけるNO)、検出範囲設定部166が、取得した画像において、テールランプ、ヘッドランプ、街灯それぞれの検出範囲を決定し(S206)、先行車両抽出部168が、先行車両検出範囲からテールランプを抽出し(S208)、先行車両認識部170が、先行車両を認識し(S210)、対向車両抽出部172が、対向車両検出範囲からヘッドランプを抽出し(S212)、対向車両認識部176が、対向車両を認識し(S214)、街灯抽出部178が、街灯検出範囲から街灯を抽出し(S216)、街灯認識部180が、街灯を認識し(S218)、走行シーン判定部182が、街灯の位置情報等からハイビームを照射可能な走行シーンであるか否か判定し(S220)、配光制御部184が、先行車両、対向車両、および、走行シーンに基づいてヘッドランプの配光制御を実行し(S222)、当該車外環境認識処理を終了する。以下、個々の処理を詳述する。
(画像処理S200)
画像処理部160は、2つの撮像装置110それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック(例えば水平4画素×垂直4画素の配列)に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。
このパターンマッチングとしては、2つの輝度画像間において、任意の画像位置を示すブロック単位で輝度(Y色差信号)を比較することが考えられる。例えば、輝度の差分をとるSAD(Sum of Absolute Difference)、差分を2乗して用いるSSD(Sum of Squared intensity Difference)や、各画素の輝度から平均値を引いた分散値の類似度をとるNCC(Normalized Cross Correlation)等の手法がある。画像処理部160は、このようなブロック単位の視差導出処理を検出領域(例えば水平600画素×垂直180画素)に映し出されている全てのブロックについて行う。ここでは、ブロックを水平4画素×垂直4画素としているが、ブロック内の画素数は任意に設定することができる。
ただし、画像処理部160では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差は、立体物単位ではなく、検出領域における検出分解能単位(例えばブロック単位)で独立して導出されることとなる。ここでは、このようにして導出された視差の情報(後述する奥行き距離zに相当)を輝度画像に対応付けた画像を距離画像という。
図4は、輝度画像212と距離画像214を説明するための説明図である。例えば、2つの撮像装置110を通じ、画像領域216について図4(a)のような輝度画像212が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置110それぞれが生成した2つの輝度画像212の一方のみを模式的に示している。本実施形態において、画像処理部160は、このような輝度画像212からブロック毎の視差を求め、図4(b)のような距離画像214を形成する。距離画像214における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。
(3次元位置導出処理S202)
続いて、3次元位置導出部162は、画像処理部160で生成された距離画像214に基づいて画像領域216内のブロック毎の視差の情報を、所謂ステレオ法を用いて、水平距離x、高さyおよび奥行き距離(相対距離)zを含む実空間における3次元位置に変換する。ここで、ステレオ法は、三角測量法を用いることで、立体部位(画素または複数の画素からなるブロック)の距離画像214における視差からその立体部位の撮像装置110に対する奥行き距離zを導出する方法である。このとき、3次元位置導出部162は、立体部位の奥行き距離zと、立体部位と同奥行き距離zにある道路表面上の点と立体部位との距離画像214上の検出距離とに基づいて、立体部位の道路表面からの高さyを導出する。そして、導出された3次元位置を改めて距離画像214に対応付ける。かかる奥行き距離zの導出処理や3次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。
(要否判定処理S204)
次に、要否判定部164は、車外が明るいか否(昼か夜)か、すなわち、ヘッドランプのハイビームが不要か否かを判定する。そして、要否判定部164が、ハイビームが不要(以下、かかる状態を単にハイビーム不要状態という)と判定すれば、以降のヘッドランプの配光制御S206〜S222を省略する。
ところで、撮像装置110では、露光量調整部(図示せず)が車外環境に基づいて露光量を調整している。ここで、露光量は、感度(本実施形態ではゲイン)と、絞りと、露光時間とに基づいて算出できる。例えば、露光量調整部は、生成された画像の一部の領域(例えば、路面領域)の輝度分布を用い、その領域の輝度が高ければゲインおよび露光時間を小さくし、その領域の輝度が低ければゲインおよび露光時間を大きくする。つまり、様々な立体物の認識に適した輝度となるように、ゲインおよび露光時間を調整している。
したがって、要否判定部164は、撮像装置110の露光量調整部が調整している露光量を参照することで、外部の明るさを把握することができる。例えば、所定の閾値と比較し、ゲインが小さく、露光時間が短いと(露光量が小さいと)車外が明るくハイビーム不要状態であると判断でき、逆に、ゲインが大きく、露光時間が長いと(露光量が大きいと)車外が暗くハイビームが利用可能である(以下、かかる状態を単にハイビーム許可状態という)と判断できる。
(検出範囲設定処理S206)
要否判定部164が、ハイビーム許可状態と判定すると(S204におけるNO)、検出範囲設定部166は、取得した画像において、先行車両(テールランプ)、対向車両(ヘッドランプ)、街灯それぞれを検出するための検出範囲を決定する。このように画像内で検出範囲を限定することで、処理時間の短縮を図るとともに、先行車両や対向車両が本来存在しない領域での誤検出を防止することができる。
図5は、検出範囲を説明するための説明図である。検出範囲設定部166は、検出する対象である先行車両、対向車両、街灯それぞれに対し、画像領域216のうちの図5に示す予め定められた位置に、破線の矩形で示す先行車両検出範囲220a、一点鎖線の矩形で示す対向車両検出範囲220b、二点鎖線の矩形で示す街灯検出範囲220cを設定する。図5を参照して理解できるように、先行車両検出範囲220aは、対向車両検出範囲220bに含まれ、両者と街灯検出範囲220cとは排他的になっている。
このような先行車両検出範囲220a、対向車両検出範囲220b、街灯検出範囲220cは、車外環境や進行路に応じてオフセット可能となっている。例えば、道路が湾曲していたり、勾配を有していると、その度合いに応じて先行車両検出範囲220a、対向車両検出範囲220b、街灯検出範囲220cをオフセットさせる。例えば、進行路が左カーブであれば、検出範囲設定部166は、先行車両検出範囲220a、対向車両検出範囲220b、街灯検出範囲220cそれぞれを、進行路に応じた分だけ左にオフセットする。こうして、先行車両、対向車両、街灯が存在する可能性が最も高い位置を検出範囲として設定することが可能となる。
(先行車両抽出処理S208)
続いて、先行車両抽出部168は、先行車両検出範囲220aから、輝度およびカラー情報ならびに3次元位置に応じてテールランプを抽出する。ただし、先行車両のテールランプは、後述する対向車両のヘッドランプや街灯と光量が異なる。そうすると、撮像装置110において、テールランプを取得可能な露光時間で撮像すると、ヘッドランプや街灯の輝度が飽和し、逆にヘッドランプや街灯を取得可能な露光時間で撮像すると、テールランプを検出できなくなってしまう。そこで、撮像装置110は、フレームを異にして、少なくとも長短2つの露光時間で画像を生成する。
図6は、露光時間の異なる輝度画像212を説明するための説明図である。例えば、図6(a)は、露光時間が長く、図6(b)は、露光時間が短い。したがって、図6(a)の輝度画像212を用いると、ヘッドランプや街灯の輝度が飽和するおそれはあるものの、テールランプを適切に抽出でき、図6(b)の輝度画像212を用いると、テールランプを抽出できないおそれはあるものの、ヘッドランプや街灯を適切に抽出できる。
そして、先行車両抽出部168は、先行車両検出範囲220aにおいて、カラー情報(RGBまたはYUV)が、赤色を示す所定の色範囲内にあり、3次元位置が所定の距離範囲(例えば1.5画素)内にある画素同士をグループ化する。ただし、先行車両抽出部168は、この条件を満たす画素を全て含む、水平線および垂直線からなる矩形状に画素同士をグループ化する。グループ化したテールランプ候補では、グループの上下左右座標、グループ内画素数、グループ内最大輝度値、最小輝度値、グループの平均奥行き距離(平均視差)といった基本特徴量を有する。
ここで、先行車両抽出部168は、グループの上下左右座標の差分(サイズ)が所定値(例えば2画素)以下、グループの上下左右座標の差分(サイズ)が所定値(奥行き距離によって決定)以上、グループ内画素数が所定値(例えば2)以下といった除外条件のいずれかを満たす場合、テールランプ候補として除外する。
ところで、テールランプや後述するヘッドランプ(以下、簡潔に説明するためテールランプを対象に述べる)は、画像中の特徴量(輝度やカラー情報)に基づいて抽出されるが、その特徴量が閾値付近で変動した場合、テールランプの抽出自体が不安定になる場合がある。例えば、実際に存在する先行車両に対し、そのテールランプを、任意のフレームではテールランプであると判定するが、他のフレームではテールランプではないと判定するといった状況を繰り返す。このようにテールランプが不安定に抽出されると、それに伴って自車両1のヘッドランプの配光制御がハイビームとロービームとを繰り返すハンチングが生じる。
また、進行路近傍に位置する反射板等、自発光しない立体物は、自車両1のヘッドランプの当たり方で、画像の特徴量が異なることとなり、テールランプ(先行車両)やヘッドランプ(対向車両)と誤認識し易くなる。例えば、自車両1がハイビームに設定されると、その反射によりテールランプ(先行車両)と誤認識され、先行車両にハイビームを照射しないように、ハイビームがロービームに切り換わる。しかし、ロービームに切り換わることでハイビームの反射が無くなり、テールランプとは認識されなくなると、再びハイビームになるといったようにハンチングが生じ得る。
このようなハンチングに対し、先行車両や対向車両の認識後の配光制御において対策処理を実行することもできるが、配光制御の元となる認識自体が不安定であると、配光制御自体を複雑にせざるを得ず、結果としてロバスト性を失うこととなる。
そこで、本実施形態では、テールランプ等の抽出時点で、認識処理にヒステリシス特性を組み込んだ処理を行う。具体的には、抽出する対象にハイビームが当たっているか否かに応じて、特徴量を比較する閾値を異ならせる。
例えば、ハイビームが当たっている領域では、ハイビームが当たっていない領域より閾値を高く(厳しく)して、テールランプ等の誤検出を防止する。もしくは、ハイビームが当たっていない領域では、ハイビームが当たっている領域より閾値を低く(緩く)して、テールランプ等を抽出し易くする。こうして、テールランプ等を適切に抽出し、ハンチングを防止することができる。
こうして、ハイビームとロービームのハンチングを防止するとともに、先行車両に対し、ハイビームを当ててしまう可能性を削減することが可能となる。
(先行車両認識処理S210)
続いて、先行車両認識部170は、先行車両抽出部168が抽出したテールランプ同士をグループ化し、先行車両検出範囲220a中の先行車両を認識する。
具体的に、テールランプ(グループ)間の画像上の距離が同一の自動車に含まれる距離範囲(先行車両抽出処理S208の所定の距離範囲より長い)にあるか、平均奥行き距離(平均視差)の差が同一の自動車に含まれる距離範囲にあるか、最大輝度値の比が所定範囲にあるかの条件を全て満たした場合に、テールランプ同士をグループ化して先行車両候補とする。
このようにグループ化した先行車両候補は、グループ化する前のテールランプの基本特徴量を受け継ぐ。例えば、先行車両候補の上下左右座標は、先行車両候補外方に相当するテールランプの上下左右座標を受け継ぎ、先行車両候補のうち最大輝度値、最小輝度値はテールランプのうち最大輝度値、最小輝度値のいずれも大きい方を受け継ぎ、先行車両候補の平均奥行き距離はテールランプの平均奥行き距離が短い方(平均視差の大きい方)を受け継ぐ。そして、先行車両候補に含まれるテールランプ数も計数する。
また、先行車両認識部170は、過去のフレームにおいて同等の3次元位置に先行車両の存在が確認できていたか否か判定し、確認できた存在回数を計数する。かかる存在回数は先行車両らしさの信頼度に影響する。そして、先行車両認識部170は、先行車両としての信頼性があることを示す条件を満たすか、および、先行車両としての信頼性がないことを示す条件を満たすか判断し、その結果に応じて先行車両候補を先行車両として特定、もしくは、先行車両候補から除外する。このような先行車両認識処理S210は、例えば、特願2014−232431号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。
(対向車両抽出処理S212)
続いて、対向車両抽出部172は、対向車両検出範囲220bから、輝度およびカラー情報ならびに3次元位置に応じてヘッドランプを抽出する。ただし、上述したように、対向車両のヘッドランプは、先行車両のテールランプと光量が異なるので、図6(b)に示した露光時間の短い輝度画像212を用いる。
次に、対向車両抽出部172は、対向車両検出範囲220b内において、輝度が所定の輝度閾値(例えば256段階の5〜10)以上であり、3次元位置が所定の距離範囲(例えば1.5画素)内にある画素同士をグループ化する。ただし、対向車両抽出部172は、この条件を満たす画素を全て含む、水平線および垂直線からなる矩形状に画素同士をグループ化する。グループ化したヘッドランプ候補では、グループの上下左右座標、グループ内画素数、グループ内最大輝度値、最小輝度値、グループの平均奥行き距離(平均視差)、YUVカラー平均値といった基本特徴量を有する。
ここで、対向車両抽出部172は、グループの上下左右座標の差分(サイズ)が所定値(例えば2画素)以下、グループの上下左右座標の差分(サイズ)が所定値(奥行き距離によって決定)以上、グループ内画素数が所定値(例えば2)以下といった除外条件のいずれかを満たす場合、ヘッドランプ候補として除外してもよい。ここで、輝度と比較する所定値は、前回フレームでの所定値を踏まえて調整される。このような対向車両抽出処理S212は、例えば、特願2014−232430号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。
ところで、進行路の路肩には、高輝度な視線誘導灯(スノーポール)が存在している場合がある。
図7は、視線誘導灯の設置状態を説明するための説明図である。視線誘導灯は、例えば、緑色等のLEDで構成され、図7に破線で示したように、進行路の路肩に設置されて、視界不良時の道路端や道路線形などを明示し、運転手の視線を誘導するものである。このような視線誘導灯を、誤ってヘッドランプとして抽出し、それが対向車両と誤認識されてしまうと、本来ハイビームを照射するのが望ましい視線誘導灯近傍にハイビームを照射しないといった制御が働いてしまう。
そこで、視線誘導灯抽出部174は、ヘッドランプ候補が視線誘導灯であるか否か判定し、視線誘導灯であると判定すると、最終的にヘッドランプ候補から除外する。視線誘導灯抽出部174は、例えば、ブロックの色の特徴(YUVカラー平均値)および輝度分布に基づいて視線誘導灯の候補(視線誘導灯候補)であるか否か認識する。
図8は、色の特徴を説明するための説明図である。視線誘導灯は、自発光しており、輝度のみではヘッドランプと区別するのは困難であった。しかし、視線誘導灯の緑色LEDと、ヘッドランプのハロゲンランプとは、以下のような色の特徴を有する。例えば、図8(a)のUV平面図において、緑色LEDは、破線で囲んだように、青色差Uおよび赤色差Vがいずれも負となる領域で表され、青色差Uの変化に対し、赤色差Vも大凡線系に変化する。これに対し、ハロゲンランプは、実線で囲んだように、少なくとも青色差Uが負となる領域で表され、青色差Uの変化に対し、赤色差Vが0からほとんど変化しない。
また、図8(b)のYV平面図において、緑色LEDは、破線で囲んだように、少なくとも赤色差Vが負となる領域で表され、輝度Yの変化に対し、赤色差Vも大凡線系に変化するが、ハロゲンランプは、実線で囲んだように、輝度Yの変化に対し、赤色差Vが緑色LEDほどは変化しない。ただし、緑色LEDおよびハロゲンランプのいずれにおいても青色差Uは輝度Yの影響を受けにくいので、YU平面図(図示せず)では、UV平面図、YV平面図ほど、緑色LEDとハロゲンランプとの差異が生じない。
そして、視線誘導灯抽出部174は、図8(a)、(b)において緑色LEDの領域を表す識別範囲を設け、ヘッドランプ候補の色の特徴が、その識別範囲に含まれていれば、緑色LEDと判定する。具体的に、図8(a)のUV平面図において、ヘッドランプ候補のUV平均値が識別範囲230に含まれる場合、そのヘッドランプ候補は視線誘導灯候補(緑色LED)であると判定する。また、図8(b)のYV平面図において、ヘッドランプ候補のYV平均値が識別範囲232に含まれていれば、そのヘッドランプ候補は視線誘導灯候補(緑色LED)であると判定する。
ただし、対向車両の奥行き距離が短い場合、ヘッドランプ中の比較的低輝度の領域にボンネットやバンパー等の色が含まれてしまい、実際はヘッドランプであるにも拘わらず、ヘッドランプ候補全体の赤色差Vの平均値が高くなり、視線誘導灯と誤認識される場合がある。そこで、ヘッドランプ候補の奥行き距離が短い場合、高輝度領域のみ抽出して視線誘導灯であるか否か判定する。
図9は、色の特徴を説明するための説明図である。ここでは、ヘッドランプ候補が所定の奥行き閾値(例えば50m)未満に存在する場合、ヘッドランプ候補の全画素のうち、輝度Yが所定の高輝度成分の範囲(例えば256段階の50以上、100未満)にある部分のみ抽出して、そのYV平均値によって視線誘導灯候補であるか否か判定する。
具体的に、図9のYV平面図において、ヘッドランプ候補のYVの平均値が識別線234より左下にあれば、すなわち、V<a×Y+b(a,bは一次直線を示す定数)であれば、そのヘッドランプ候補は視線誘導灯候補(緑色LED)であると判定する。ここで、高輝度成分に上限(例えば100)を採用しているのは、あまりに高輝度すぎると赤色差Vが飽和する場合があり、赤色差Vの情報を有効利用できなくなるからである。
続いて、視線誘導灯抽出部174は、色の特徴に基づいて視線誘導灯候補であると判定されたヘッドランプ候補に対し、さらに、輝度分布に基づいて視線誘導灯候補であるか否か識別する。
図10は、遠方の対向車両を説明するための説明図である。対向車両が遠方に位置している場合、図10に示すように対向車両に備わる左右2つのヘッドランプや路面の反射部分が結合して単一領域の光源と認識されることがある。このとき、ヘッドランプ近傍のバンパー部分や路面の反射部分が高輝度かつ色成分が強く出ることがあり、あたかも視線誘導灯のような色成分を示す場合がある。そこで、視線誘導灯抽出部174は、ヘッドランプ候補の輝度分布が左右2つの光源を示しているか、単一の光源を示しているか判定する。
図11は、視線誘導灯抽出部174の動作を示す説明図である。ここでは、図11(a)に矩形で示したヘッドランプ候補の各画素の輝度Yが図11(b)に示すように分布しているとする。視線誘導灯抽出部174は、まず、図11(b)に示すように、ヘッドランプ候補の水平方向における画素列毎の輝度Yの総和を求める。したがって、垂直方向の画素に相当する数の総和が導出される。
次に、視線誘導灯抽出部174は、垂直方向の画素数分の総和のうち最大値となる総和を特定し、その総和が最大となる水平方向の画素列について、図11(c)に示すように座標と輝度とをプロットする。そして、視線誘導灯抽出部174は、ノイズを排除すべく、プロットした点を平滑化して図11(c)のように、近似曲線を導出する。続いて、視線誘導灯抽出部174は、図11(d)のように、その近似曲線を一次微分し、正から負へのゼロクロス点の数、すなわち、近似曲線のピークの数を求める。ここで、図11(d)のように、ゼロクロス点が2以上あれば、そのヘッドランプ候補は、視線誘導灯候補ではないと判断できる。
また、他のヘッドランプ候補について、図11(e)のような近似曲線を一次微分した図11(f)では、正から負へのゼロクロス点が1つしかなく、そのヘッドランプ候補は、視線誘導灯候補であると判定できる。このとき、視線誘導灯抽出部174は、後の処理のため、視線誘導灯候補であると判定されたヘッドランプ候補の数を計数する。
続いて、視線誘導灯抽出部174は、視線誘導灯候補の数および配置に基づき、それらを視線誘導灯と特定するとともに、ヘッドランプ候補から除外する。
視線誘導灯は、進行路の路肩に、等しい高さで複数等間隔に連続して配置されていることが多い。そこで、視線誘導灯抽出部174は、まず、視線誘導灯候補であると判定されたヘッドランプ候補の数が所定値(例えば2)以上存在することをもって、その視線誘導灯候補を視線誘導灯と特定する。このように、数の制限を設けることで、ヘッドランプを視線誘導灯と誤認識するのを回避できる。
続いて、視線誘導灯抽出部174は、特定された視線誘導灯の配置に基づき、視線誘導灯候補とならなかったヘッドランプ候補の再判定を行う。
図12は、視線誘導灯の再判定を説明するための説明図である。具体的に、図12に示した水平距離xと奥行き距離zの平面上で、「×」で示した、視線誘導灯として特定されたヘッドランプ候補の最小二乗直線240を導出する。そして、視線誘導灯抽出部174は、当該最小二乗直線240からの距離が所定距離閾値(例えば、2画素)未満である、図12中「○」で示した、ヘッドランプ候補を、改めて視線誘導灯として特定する。こうして、ヘッドランプ候補の奥行き距離が近すぎてサチュレーションが生じ、色情報が正確に取得できない場合等、視線誘導灯候補の判定が適切に行われなかった光源についても適切に視線誘導灯と特定することが可能となる。
なお、ここでは、水平距離xと奥行き距離zの平面上でヘッドランプ候補の再判定を行う例を挙げて説明したが、かかる場合に限らず、高さyを含む3次元位置に関して、最小二乗直線を導出し、再判定を行うとしてもよい。また、最小二乗直線に限らず、複数次の近似曲線でもよく、また、複数の最小二乗直線に基づいて再判定してもよい。
視線誘導灯抽出部174は、このように視線誘導灯と特定されたヘッドランプ候補に、それが視線誘導灯である旨の情報を追加して、ヘッドランプ候補から除外する。また、視線誘導灯と特定されなかったヘッドランプ候補については、そのままヘッドランプ候補である旨の情報を維持する。
上記の構成により、ヘッドランプと視線誘導灯とを区別し、視線誘導灯をヘッドランプ候補から適切に除外することができる。しかし、かかる判定のみでは、遠方で色味(色の特徴)を取得できない視線誘導灯や、急カーブや先行車両の存在により視認できない視線誘導灯を一時的に喪失することがある。
例えば、視線誘導灯の色の特徴が弱すぎて、視線誘導灯と判定する閾値に至らない場合、本来視線誘導灯と認識すべきところ、ヘッドランプと誤認識することとなる。しかし、その閾値を徒に低く設定すると、今度は、ヘッドランプを視線誘導灯と誤認識する可能性が高くなってしまう。また、視線誘導灯は、本来、濃霧や強い吹雪状態で運転手の視線を誘導するものであるが、そのような状況下ではヘッドランプ候補自体の抽出が難しいことが多く、誤認識が生じる可能性が高くなる。
このように視線誘導灯を適切に抽出できないと、それに伴って、視線誘導灯であると判定されたヘッドランプ候補の数が所定値以上とならず、その視線誘導灯候補を視線誘導灯と特定できなくなってしまう。そうすると、視線誘導灯の抽出が不安定になり、ハイビームとロービームとのハンチングが生じ得る。
そこで、本実施形態においては、対向車両抽出処理S212より後段の処理である走行シーン判定処理S220において、視線誘導灯が存在するシーンであるか否かを判定し、視線誘導灯が存在するシーンであれば、その存在領域を特定する。
図13は、存在領域248を説明するための説明図である。前回のフレームで、視線誘導灯が存在するシーンであること、および、その視線誘導灯が存在する領域である存在領域248が特定されると、次のフレーム以降の対向車両抽出処理S212において、視線誘導灯が存在するシーンであるといった結果、および、特定された存在領域248を用いて、視線誘導灯を適切に抽出する。したがって、ここでは、前回以前のフレームで視線誘導灯が存在するシーンであると判定されたか否かが判定され、視線誘導灯が存在するシーンと判定されていれば、その存在領域248が特定されていることを前提に処理が遂行される。
上述したように、対向車両抽出処理S212において、対向車両抽出部172は、対向車両検出範囲220b内の輝度が所定の輝度閾値(例えば256段階の5〜10)以上である画素をグループ化し、ヘッドランプ候補としている。ここでは、輝度があまり高くなくともヘッドランプ候補として抽出されることとなる。
しかし、視線誘導灯が存在することが予め把握されており、さらに、その存在領域248が把握されている場合、存在領域248中に視線誘導灯が位置している可能性は高く、また、対向車両のヘッドランプが位置している可能性は低い。
本実施形態で視線誘導灯を特定しているのは、ヘッドランプ候補として誤認識された視線誘導灯をヘッドランプ候補から除外するためであり、予め視線誘導灯と把握できるのであれば、そもそもヘッドランプ候補としても抽出しなくてもよい。そこで、対向車両抽出部172は、視線誘導灯が存在するシーンであれば、特定された存在領域248における輝度閾値を、存在領域248以外の領域より高くする。したがって、存在領域248内の各画素は、存在領域248以外の領域の画素に比べ、ある程度輝度が高くないとヘッドランプ候補として抽出されない。
かかる構成により、存在領域248内の輝度の低い視線誘導灯の色の特徴が視線誘導灯と判定する閾値に至らない状況下であっても、そもそもヘッドランプ候補として抽出(誤認識)されなくなるので、視線誘導灯をヘッドランプ候補から適切に排除することができる。
また、視線誘導灯は、本来、濃霧や強い吹雪状態で運転手の視線を誘導するものであるが、そのような状況下では輝度が低くなり、ヘッドランプ候補自体の抽出が困難となる。そこで、対向車両抽出部172は、視線誘導灯が存在するシーンであれば、特定された存在領域248以外における輝度閾値を一時的に下げるとしてもよい。したがって、濃霧や強い吹雪により、存在領域248以外の領域内の各画素の輝度が低下した場合であっても、ヘッドランプ候補を適切に抽出することが可能となる。
また、上述したように、視線誘導灯が存在するシーンであることが予め把握されており、さらに、その存在領域248が把握されている場合、存在領域248中に視線誘導灯が位置している可能性は高くなる。そこで、視線誘導灯抽出部174は、視線誘導灯が存在するシーンであれば、図8(a)のUV平面図や、図8(b)のYV平面図を用いた視線誘導灯の抽出態様を変更する。
図14は、色の特徴を説明するための説明図であり、図14(a)は、UV平面図を示し、図14(b)は、YV平面図を示している。具体的に、視線誘導灯が存在するシーンであれば、視線誘導灯抽出部174は、図14(a)、図14(b)に示すように、特定された存在領域248内のブロックについて、識別範囲230、232を、その領域が例えば2倍以上となるように、一点鎖線から実線のように拡大する。
したがって、図14(a)のUV平面図において、存在領域248内のヘッドランプ候補のUV平均値が、拡大された識別範囲230に含まれる場合、そのヘッドランプ候補は視線誘導灯候補であると判定する。また、図14(b)のYV平面図において、存在領域248内のヘッドランプ候補のYV平均値が、拡大された識別範囲232に含まれていれば、そのヘッドランプ候補は視線誘導灯候補であると判定する。
こうして、存在領域248中において視線誘導灯としての色の特徴が強くでていない光源を適切に視線誘導灯として認識することが可能となり、視線誘導灯をヘッドランプ候補から適切に排除することができる。
(対向車両認識処理S214)
図3の説明に戻り、対向車両認識部176は、対向車両抽出部172が抽出したヘッドランプ同士をグループ化し、対向車両検出範囲220b中の対向車両を認識する。
具体的に、ヘッドランプ(グループ)間の画像上の距離が同一の自動車に含まれる距離範囲(対向車両抽出処理S212の所定の距離範囲より長い)にあるか、平均奥行き距離の差が同一の自動車に含まれる距離範囲にあるか、最大輝度値の比が所定範囲にあるかの条件を全て満たした場合に、ヘッドランプ同士をグループ化して対向車両候補とする。
このようにグループ化した対向車両候補は、グループ化する前のヘッドランプの基本特徴量を受け継ぐ。例えば、対向車両候補の上下左右座標は、対向車両候補外方に相当するヘッドランプの上下左右座標を受け継ぎ、対向車両候補のうち最大輝度値、最小輝度値はヘッドランプのうち最大輝度値、最小輝度値のいずれも大きい方を受け継ぎ、対向車両候補の平均視差(奥行き距離)はヘッドランプの平均奥行き距離が短い方(平均視差の大きい方)を受け継ぐ。そして、対向車両候補に含まれるヘッドランプ数も計数する。
また、対向車両認識部176は、過去のフレームにおいて同等の3次元位置に対向車両の存在が確認できていたか否か判定し、確認できた存在回数を計数する。かかる存在回数は対向車両らしさの信頼度に影響する。そして、対向車両認識部176は、対向車両としての信頼性があることを示す条件を満たすか、および、対向車両としての信頼性がないことを示す条件を満たすか判断し、その結果に応じて対向車両候補を対向車両として特定、もしくは、対向車両候補から除外する。このような対向車両認識処理S214は、例えば、特願2014−231301号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。
(街灯抽出処理S216)
続いて、街灯抽出部178は、対向車両抽出処理S212と同様の処理により、街灯検出範囲220cから、輝度およびカラー情報ならびに3次元位置に応じて街灯を抽出する。
(街灯認識処理S218)
街灯認識部180は、街灯抽出部178が抽出した街灯を認識する。ここで、街灯はハイビームを照射すべきでない立体物ではないが、後段の走行シーン判定処理S220において利用される。
(走行シーン判定処理S220)
走行シーン判定部182は、ハイビームを照射可能な走行シーンであるか否か判定する。例えば、走行シーン判定部182は、車速が所定値(例えば20km/h)以下である場合、ハイビームが不要なシーンであると判定する。また、走行シーン判定部182は、自車両1が左右折する場合、ハイビームが不要なシーンであると判定する。さらに、走行シーン判定部182は、街灯の数が所定数(例えば3)以上存在する場合、車外が十分明るいとしてハイビームが不要なシーンであると判定する。このような走行シーン判定処理S220は、例えば、特願2014−232408号、特願2014−232409号等、既存の様々な技術を採用可能なので、ここでは、その詳細な説明を省略する。
また、上述したように、本実施形態において、走行シーン判定部182は、上記のシーン判定に加えて、視線誘導灯が存在するシーンであるか否かを判定する。これは、上述の対向車両抽出処理S212において、視線誘導灯が存在するシーンであるか否かの判定に基づき視線誘導灯を適切に抽出するためである。ここで、走行シーン判定部182は、対向車両抽出部172が抽出した複数の視線誘導灯が長方形状に分布しているか否か判定し、長方形状に分布している状態の継続性に応じて視線誘導灯が存在するシーンであるか否か判定する。そして、視線誘導灯が存在するシーンであれば、その存在領域248を特定する。
図15は、走行シーン判定部182の動作を説明するための説明図である。図12に示した水平距離xと奥行き距離zの平面上で、対向車両抽出部172に抽出された「×」で示す視線誘導灯の最小二乗直線250を導出する。そして、走行シーン判定部182は、当該最小二乗直線250における重心252を求め、当該重心252を通り、最小二乗直線250と垂直となる垂直線254を導出する。
次に、走行シーン判定部182は、対向車両抽出部172に抽出された視線誘導灯それぞれについて、視線誘導灯から垂直線254までの距離d1と、視線誘導灯から最小二乗直線までの距離d2とを導出する。そして、走行シーン判定部182は、距離d1と距離d2それぞれの総和の比率(Σd1/Σd2)が所定の比率閾値(例えば1.8)以上であるか否か判定する。その結果、比率閾値以上であれば、複数の視線誘導灯が長方形状に分布していると判定し、比率閾値未満であれば、複数の視線誘導灯が長方形状に分布していないと判定する。
次に、走行シーン判定部182は、長方形状に分布している状態の継続性、例えば、視線誘導灯が長方形状に分布していると判定された回数に応じて視線誘導灯が存在するシーンであるか否か判定する。具体的に、走行シーン判定部182は、視線誘導灯が長方形状に分布していると判定されると、積算値に所定値(例えば1)を加算し、視線誘導灯が長方形状に分布していないと判定されると、積算値から所定値(例えば1)を減算する。かかる積算値は0〜100の値をとることができる。したがって、積算値が100に到達すると、加算は行われず、積算値が0となると、減算は行われない。
また、視線誘導灯が存在するシーンであるか否かの判定が頻繁に反転するのを回避すべく、積算値を比較する閾値にヒステリシス特性を設ける。
図16は、走行シーン判定部182の判定処理の一例を示した説明図である。例えば、走行シーン判定部182は、積算値が、所定の第1積算閾値(例えば20)以上となると視線誘導灯が存在するシーンであると判定し、積算値が、第1積算閾値より小さい第2積算閾値(例えば10)未満となると視線誘導灯が存在するシーンではないと判定する。
こうして、図16のように、積算値が第1積算閾値以上となり、走行シーン判定部182が、一旦視線誘導灯が存在するシーンであると判定すると、積算値が第2積算閾値未満となるまでは、視線誘導灯が存在するシーンではないと判定される(判定が反転する)ことがなくなる。また、積算値が第2積算閾値未満となり、走行シーン判定部182が、一旦視線誘導灯が存在するシーンではないと判定すると、積算値が第1積算閾値以上となるまでは、視線誘導灯が存在するシーンであると判定されることもなくなる。
かかる構成により、視線誘導灯が存在しているにも拘わらず、視線誘導灯が先行車両等と重なる等、一時的に、存在しないと判定された場合であっても、過去の履歴に基づき、安定的に視線誘導灯が存在するシーンであると判定することが可能となる。
このように、視線誘導灯が存在するシーンであると判定すると、走行シーン判定部182は、視線誘導灯が存在する存在領域248を特定する。
図17は、走行シーン判定部182の判定処理の一例を示した説明図である。具体的に、走行シーン判定部182は、複数の視線誘導灯が長方形状に分布しているか否かを判定するための、図15に示した最小二乗直線250から所定距離離隔した、破線で示す平行直線256a、256bを導出する。そして、両平行直線256a、256bに挟まれた領域を視線誘導灯の存在領域248とする。これを輝度画像212上に座標変換すると、図17(b)のようになる。かかる存在領域248は、図13の如く、次のフレーム以降、対向車両抽出処理S212で利用される。
なお、存在領域248における最小二乗直線250方向の右端は、対向車両抽出部172に抽出された視線誘導灯の右端より所定距離右側に延在した(マージンをとった)位置に設定し、存在領域248における最小二乗直線250方向の左端は、対向車両抽出部172に抽出された視線誘導灯の左端より所定距離左側に延在した(マージンをとった)位置に設定する。
ここで、視線誘導灯が存在するシーンではハイビームを照射するのが望ましい。したがって、走行シーン判定部182は、視線誘導灯が存在するシーンをハイビームが利用可能なシーンであると判定する。
(配光制御処理S222)
最後に、配光制御部184は、先行車両、対向車両、および、走行シーンに基づいて自車両1のヘッドランプの配光制御を実行する。
図18は、配光制御部184の動作を示した説明図である。図18に示すように、走行シーン判定部182が、ハイビームが不要なシーンであると判定すると、HBAであるかADBであるか、および、照射すべきではない立体物(先行車両、対向車両)の数に拘わらず、ハイビームの照射を行わない。また、走行シーン判定部182が、ハイビームの利用を許可するシーンであると判定すると、HBAの場合、照射すべきではない立体物が1以上あれば、ハイビームの照射を行わず、照射すべきではない立体物がなければ、ハイビームの照射を行う。また、ADBの場合、照射すべきではない立体物が1以上あれば、その立体物への照射を回避しつつ、一部の範囲にハイビームの照射を行い、照射すべきではない立体物がなければ、全範囲にハイビームの照射を行う。
図19は、ADBの配光制御を説明した説明図である。ここで、ADBにおいて、照射すべきではない立体物が1以上あれば、図19(a)のように、立体物全てにおける水平方向の最大幅Wを計算し、その位置より外側のみハイビームの照射を行う。ただし、ADBのハイビームを分割させて中央部分にも照射可能であれば、図19(b)のように、照射すべきではない先行車両と対向車両とのそれぞれ水平方向の最大幅W1、W2を計算し、中央および外側にハイビームの照射を行う。
なお、ADBの場合、対向車両が自車両1に非常に近くなると、対向車両検出範囲220b外となる場合がある。そのため、対向車両がある程度の奥行き距離(例えば50m)まで近づくと、すれ違いが予想される方向への照射は一定期間(例えば1sec)行わないこととする。
このようなADBでは、ハイビームの照射範囲を、カットライン角度を切り換えることで調整することができる。また、走行シーン判定部182が、視線誘導灯が存在するシーンであると判定した場合、カットライン角度の切換態様を変更する。
図20は、カットライン角度を説明するための上視面図である。図20に示すように、カットライン角度が定まれば、ハイビームの照射範囲も定まる。また、先行車両や対向車両を認識すると、配光制御部184は、カットライン角度を切り換えてハイビームの照射範囲を変更する。ここで、カットライン角度の急激な変化を抑制すべく、カットライン角度の切換には遅延を伴う低域通過フィルタ(LPF)が設けられている。
ところで、上述したように、視線誘導灯は、本来ハイビームを照射するのが望ましいが、視線誘導灯をヘッドランプと誤認識してしまうと、その領域へのハイビームの照射を回避する制御が行われる。したがって、光源が視線誘導灯であるにも拘わらず、視線誘導灯である認識が不安定になると、ハイビームとロービームとのハンチングが生じ得る。ここで、視線誘導灯が存在することが予め把握されている場合、存在領域248中に視線誘導灯が位置している可能性は高く、ヘッドランプ候補が抽出されても、それは視線誘導灯である可能性が高い。
そこで、配光制御部184は、走行シーン判定部182が視線誘導灯が存在するシーンであると判定すると、カットライン角度の切換に用いる低域通過フィルタの時定数をさらに大きくし、視線誘導灯が存在するシーンではないと判定された場合より、カットライン角度を遅延させて切り換える。こうすることで、視線誘導灯をヘッドランプ候補と誤認識した場合であっても、カットライン角度が煩雑に切り換わる事態を回避することが可能となる。
かかる車外環境認識装置120によって、ヘッドランプの配光制御を適切に実行することが可能となる。
また、コンピュータを車外環境認識装置120として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ROM、CD、DVD、BD等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上述した実施形態では、その都度、HBAやADBによる配光制御を説明しているが、全ての処理がいずれの配光制御にも適用できる。
また、上述した実施形態では、様々な閾値を設定しているが、かかる値は、適宜変更可能であり、経験値や実験値によって設定することもできる。
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。