JP6335065B2 - 車外環境認識装置 - Google Patents

Description

本発明は、先行車両の車両用のランプを特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。ここで、運転者（人）が遂行しているように、先行車両のブレーキランプの点灯有無（ブレーキの操作状態）等を認識し、先行車両の減速動作を推測するといった処理を組み込むことができれば、より円滑なクルーズコントロールが可能となる。

このような先行車両のブレーキランプの点灯有無を検出する技術として、自車両の前方の道路環境を撮像した画像を取得し、取得した画像における、発光源に相当する２つの領域の位置関係に基づいて、ブレーキランプが点灯しているか否かを判定する技術（例えば、特許文献２）が開示されている。

特許第３３４９０６０号公報 国際公開第２０１４／００２４１３号

ところで近年、ハロゲンランプやＨＩＤランプ（High Intensity Discharge Lamp）のような単一発光源からなるブレーキランプの他に、複数のＬＥＤランプを発光源として内蔵したブレーキランプが普及しつつある。

このような複数の発光源（以下、「発光源群」と称する）からなるブレーキランプの点灯有無を、上記特許文献２の技術を利用して検出しようとする場合、先行車両との距離が遠いと、画像上では複数の発光源を示す画素同士が繋がって、発光源群が１の発光源として認識されるため、左右それぞれに１の発光源が認識されることになる。そのため、左右の位置関係に基づいて、ブレーキランプの点灯の有無を検出できる。

しかし、先行車両との距離が近いと、発光源群を構成する個々の発光源それぞれが１の発光源として認識されたり、発光源群を構成する複数の発光源が複数のグループに分けられて認識されたりする場合がある。この場合、ブレーキランプを示す位置関係の発光源の対を検出できなくなってしまうことがある。そうすると、ブレーキランプが点灯している先行車両と接近しているにも拘わらず、ブレーキランプが消灯していると誤判定してしまうおそれがあった。

また、所定の発光源群で構成される、ハイマウントストップランプや、テールランプ、ウィンカー等のランプ類についても、ブレーキランプと同様に、誤判定されるおそれがある。

本発明は、このような課題に鑑み、所定の発光源群からなる車両用のランプを特定することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、画像を取得する画像取得部と、前記画像における車両領域を特定する車両特定部と、前記車両領域において、ランプが占有するランプ領域を特定し、該ランプ領域が所定の条件を満たす場合に所定のランプと特定するランプ特定部と、前記ランプ領域の画像上の位置を示す領域位置情報を生成する領域位置情報生成部と、現在画像における前記ランプ領域のうち、該現在画像より前に撮像された過去画像におけるランプ領域の前記領域位置情報に対応する１のランプ領域を基準領域と決定する基準領域決定部と、前記現在画像におけるランプ領域のうち、前記基準領域以外のランプ領域であって、前記過去画像の領域位置情報に基づいて設定される第１類似条件を満たすランプ領域を類似領域として抽出する類似領域抽出部と、前記基準領域に、前記類似領域を統合して、１の統合領域を生成する統合領域生成部と、前記統合領域が生成された場合、統合前の前記基準領域の領域位置情報および前記類似領域の領域位置情報を、該統合領域の領域位置情報に更新する情報更新部と、を備え、前記ランプ特定部は、前記統合領域が生成された場合、該統合領域を１のランプ領域と特定することを特徴とする。

また、前記車両特定部は、自車両に対する先行車両の挙動を予測し、前記第１類似条件は、予測された前記先行車両の挙動に応じて導出される、前記過去画像の領域位置情報が示す位置と所定の位置関係にある前記現在画像における位置に基づいて設定されるとしてもよい。

また、前記車両特定部は、自車両に対する先行車両の挙動を予測し、前記第１類似条件は、予測された前記先行車両の挙動に応じて導出される、前記過去画像の領域位置情報が示す位置に相当する前記現在画像における位置である領域予測位置に基づいて設定されるとしてもよい。

また、前記類似領域抽出部は、前記第１類似条件を満たし、かつ、該第１類似条件とは異なる第２類似条件を満たすランプ領域を類似領域として抽出し、前記第２類似条件は、相異なるタイミングで撮像された複数の画像におけるランプ領域の検出回数に基づいて設定されるとしてもよい。

また、前記画像取得部が取得する画像はカラー画像であり、前記類似領域抽出部は、前記第１類似条件を満たし、かつ、該第１類似条件とは異なる第３類似条件を満たすランプ領域を類似領域として抽出し、前記第３類似条件は、所定のカラー範囲内のカラー値である画素の数に基づいて設定されるとしてもよい。

本発明によれば、所定の発光源群からなる車両用のランプを特定することが可能となる。

環境認識システムの接続関係を示したブロック図である。 カラー画像と距離画像を説明するための説明図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 特定物テーブルを説明するための説明図である。 車外環境認識処理を示すフローチャートである。 車両特定部による車両特定処理を示すフローチャートである。 車両特定処理を説明するための説明図である。 車両特定処理を説明するための説明図である。 ランプ特定処理を示すフローチャートである。 第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。 所定の発光源群からなるブレーキランプが配された車両におけるブレーキランプの誤判定を説明するための図である。 統合処理を説明するための図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、撮像した画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

かかるＡＣＣや衝突防止機能では、例えば、自車両前方に位置する対象物の、自車両との相対距離を導出し、かかる相対距離に基づいて、自車両の前方に位置する対象物との衝突を回避したり、対象物が車両（先行車両）であった場合、その先行車両との相対距離を安全な距離に保つように制御する。また、先行車両のブレーキランプの点灯有無等を認識し、先行車両の減速動作を推測する処理を組み込むことで、より円滑なクルーズコントロールを実現することが可能となる。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー値で表されるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／２０秒のフレーム毎（２０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

さらに、本実施形態において、撮像装置１１０は、車外環境の明るさ（照度計の計測結果等）に応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し、第１画像を生成する。また、撮像装置１１０は、ブレーキランプ等、特定のランプが自発光しているか否かを判別可能な画像を生成する。その方法としては、ダイナミックレンジが広い撮像素子を用い、発光していない対象物が黒く潰れず、ランプが白とびしないように撮像してもよいし、第１露光態様とは露光態様（露光時間、絞り）が異なる第２露光態様で検出領域を撮像し、第２画像を生成してもよい。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短くして、または、絞りを強くして第２画像を生成する。本実施形態において、第１画像および第２画像はそれぞれカラー画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。

例えば、撮像装置１１０の周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次生成することができる。また、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して生成することもできる。さらに、１つのキャパシタの電荷のチャージ中に、時間を異ならせて２回読み出し、露光態様の異なる２つの画像を並行して生成したりすることでも上記の目的を達成できる。また、撮像装置１１０を、露光態様を異ならせて予め２セット準備しておき（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を生成したりすることも可能である。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を画像データに対応付けた画像を、上述したカラー画像と区別して距離画像という。

図２は、カラー画像１２６と距離画像１２８を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２（ａ）のようなカラー画像（画像データ）１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このようなカラー画像１２６からブロック毎の視差を求め、図２（ｂ）のような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。本実施形態では、このようなカラー画像１２６と距離画像１２８とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づくカラー画像１２６、第１画像に基づく距離画像１２８、第２画像に基づくカラー画像１２６、第２画像に基づく距離画像１２８が用いられる。

また、車外環境認識装置１２０は、カラー画像１２６に基づくカラー値、および、距離画像１２８に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、カラー値が等しく３次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１前方の検出領域における対象物がいずれの特定物（例えば、先行車両）に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、カラー値によってその先行車両のブレーキランプの位置や点灯有無を把握することができる。このような処理により、ブレーキランプの点灯による当該車両の減速を迅速に把握し、衝突回避制御やＡＣＣに利用することが可能となる。

なお、上記相対距離は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

車外環境認識装置１２０は、対象物を任意の特定物、例えば、先行車両を特定すると、その先行車両を追跡しつつ、先行車両との相対距離および先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。このとき、先行車両のブレーキランプを特定していれば、そのブレーキランプの点灯により先行車両の減速を早期に認識できる。ここで、先行車両と衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。例えば、車外環境認識装置１２０から先行車両と衝突の可能性が高い旨の情報が入力されると、車両制御装置１３０は、制動機構１４６を通じて運転者のブレーキ操作を支援する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、先行車両やブレーキランプの特定処理について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブルや、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データ（第１画像および第２画像に基づくカラー画像１２６、距離画像１２８）を一時的に保持する。ここで、特定物テーブルは、以下のように定義される。

図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、カラー値（ここではＲ、Ｇ、Ｂ）の範囲を示すカラー範囲２０２と、道路表面からの高さの範囲を示す高さ範囲２０４と、特定物の水平距離の幅範囲２０６と、特定物の垂直距離の幅範囲２０８と、同一特定物との水平距離の差分２１０と、同一特定物との垂直距離の差分２１２と、同一特定物との面積比２１４とが対応付けられている。ここで、特定物としては、「ブレーキランプ（赤）」、「ハイマウントストップランプ（赤）」、「テールランプ（赤）」、「ウィンカー（橙）」等、車両を特定する際に要する様々な物が想定されている。ただし、特定物は図４に記載された物に限定されないのは言うまでもない。特定物のうち、例えば、特定物「ブレーキランプ（赤）」には、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」、高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」が対応付けられている。

図３に戻って説明すると、中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像取得部１６０、位置情報導出部１６２、対象物特定部１６４、領域位置情報生成部１６６、領域予測位置導出部１６８、基準領域決定部１７０、類似領域抽出部１７２、統合領域生成部１７４、情報更新部１７６、位置対応付け部１７８、配置判定部１８０としても機能する。以下、各機能部の動作を説明するとともに、本実施形態に特徴的な車外環境認識処理について詳述する。

（車外環境認識処理）
図５は、車外環境認識処理を示すフローチャートである。車外環境認識装置１２０の画像取得部１６０は、撮像装置１１０から、車外環境の明るさに応じた第１露光態様で検出領域１２４を撮像した第１画像と、第１露光態様と露光態様が異なる第２露光態様で検出領域１２４を撮像した第２画像とを取得する（Ｓ３００）。

続いて、位置情報導出部１６２は、第１画像に基づく距離画像１２８における検出領域１２４内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、（道路表面からの）高さｙおよび相対距離ｚを含む三次元の位置情報に変換する（Ｓ３０２）。ここで、視差情報が、距離画像１２８における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

次に、対象物特定部１６４は、第１画像および第２画像に基づいて、画像内の対象物がいずれの特定物に対応するか特定する。本実施形態において、対象物特定部１６４は、特に、先行する車両（先行車両）と、ブレーキランプ（ランプ）とを特定する（車両特定処理Ｓ３０４、ランプ特定処理Ｓ３０６）。したがって、以下では、対象物特定部１６４のうち、先行車両を特定する車両特定処理Ｓ３０４を実行する機能部を車両特定部１６４ａとし、ブレーキランプを特定するランプ特定処理Ｓ３０６を実行する機能部をランプ特定部１６４ｂとして説明する。また、対象物特定部１６４（車両特定部１６４ａ、ランプ特定部１６４ｂ）は、特定物が特定された対象物を追跡（追尾）し、その対象物の自車両１に対する相対距離、相対速度、相対加速度、および、自車両１の走行状態を加味した先行車両の絶対速度、絶対加速度も検出する。

図６は、車両特定部１６４ａによる車両特定処理Ｓ３０４を示すフローチャートであり、図７および図８は、車両特定処理Ｓ３０４を説明するための説明図である。車両特定部１６４ａは、まず、第１画像に基づく距離画像１２８の検出領域１２４を、水平方向に対して複数の分割領域２１６に分割する（Ｓ３０４−１）。すると、分割領域２１６は図７（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域１２４を１６等分したもので説明する。

続いて、車両特定部１６４ａは、分割領域２１６毎に、位置情報に基づき、道路表面より上方に位置する全てのブロックを対象に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラム（図７（ｂ）中、横長の四角（バー）で示す、以下、「距離ヒストグラム」と称する）を生成する（Ｓ３０４−２）。すると、図７（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離（距離区分）を、横方向は、距離区分それぞれに相対距離が含まれるブロックの個数（度数）を示している。ただし、図７（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、車両特定部１６４ａは、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図７（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する（Ｓ３０４−３）。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。

次に、車両特定部１６４ａは、隣接する分割領域２１６同士を比較し、図８に示すように、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群２２２を生成する（Ｓ３０４−４）。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群２２２として纏める。かかるグループ化によって、車両特定部１６４ａは、道路表面より上方に位置する立体物を特定することができる。

続いて、車両特定部１６４ａは、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する（Ｓ３０４−５）。こうして、仮想的なブロック群である対象物２２４が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、車両特定部１６４ａは、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

次に、車両特定部１６４ａは、グループ化した対象物２２４が、予め定められた車両に相当する所定の条件を満たしていれば、その対象物２２４を特定物「車両」として決定する（Ｓ３０４−６）。例えば、車両特定部１６４ａは、グループ化された対象物２２４が道路上に位置する場合、その対象物２２４全体の大きさが、特定物「車両」の大きさに相当するか否かを判定し、特定物「車両」の大きさに相当すると判定されれば、その対象物２２４を特定物「車両」と特定する。ここで、車両特定部１６４ａは、特定物「車両」と特定された対象物２２４が画面上占有する領域の外接矩形に相当する領域を車両領域とする。なお、外接矩形は、長方形であり、外縁の横方向が画像の横方向に平行となり、外縁の縦方向が画像の縦方向に平行となる。

続いて、車両特定部１６４ａは、位置情報導出部１６２により導出された位置情報に基づいて、特定物「車両」と特定された対象物２２４の相対距離ｚおよび水平距離ｘを導出する（Ｓ３０４−７）。また、車両特定部１６４ａは、システムバス１５６、Ｉ／Ｆ部１５０を通じて、車両制御装置１３０から自車両１の速度と、ヨーレートとを取得する（Ｓ３０４−８）。そして、車両特定部１６４ａは、相対距離ｚ、水平距離ｘ、自車両１の速度、ヨーレートに基づいて、車両予測位置を導出する（Ｓ３０４−９）。車両予測位置は、次フレームにおける対象物２２４（車両）の相対位置と予測（推定）される位置である。

以上説明したように、車外環境認識装置１２０では、第１画像に基づく距離画像１２８から、１または複数の対象物２２４を、特定物、例えば、車両（先行車両）として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域１２４内の任意の対象物２２４が車両であると特定されると、特定した車両（先行車両）を追跡し、相対距離や相対加速度を導出して、先行車両との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。

続いて、ランプ特定部１６４ｂは、ランプ特定処理Ｓ３０６を実行する。図９は、ランプ特定処理Ｓ３０６を示すフローチャートである。ランプ特定部１６４ｂは、第２画像に基づくカラー画像１２６から、画素単位で３つの色相（Ｒ、Ｇ、Ｂ）のカラー値を取得する（Ｓ３０６−１）。このとき、検出領域１２４が例えば雨天や曇天であった場合、ランプ特定部１６４ｂは、本来のカラー値を取得できるようにホワイトバランスを調整してから取得してもよい。

ランプ特定部１６４ｂは、データ保持部１５２に保持された特定物テーブル２００と、第２画像に基づくカラー画像１２６の各画素のカラー値とによって所定のランプを仮に特定する（Ｓ３０６−２）。具体的に、ランプ特定部１６４ｂは、特定物テーブル２００に登録されている特定物から、第２露光態様に対応付けられた特定のランプ（ここでは「ブレーキランプ」）を選択し、取得した１の画素のカラー値が、選択した特定物のカラー範囲２０２に含まれるか否か判定する。そして、対象となるカラー範囲２０２に含まれれば、その画素を当該特定物「ブレーキランプ」と仮定する。

上記第２画像は、上述したように特定のランプ、例えば、特定物「ブレーキランプ」が自発光しているか否かを判別可能な第２露光態様で撮像した画像である。ここで、特定物「ブレーキランプ」のように自発光するものは、太陽や街灯の明るさに拘わらず、高いカラー値を取得することができる。特に、特定物「ブレーキランプ」の点灯時の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、特定物「ブレーキランプ」に相当する画素のみを容易に抽出することが可能である。

図１０は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図１０（ａ）は、第１露光態様による第１画像を示し、特に、図１０（ａ）の左図ではテールランプが点灯しており、図１０（ａ）の右図ではテールランプに加えブレーキランプが点灯している。図１０（ａ）を参照して理解できるように、車外環境の明るさに応じた第１露光態様では、ブレーキランプ非点灯かつテールランプ点灯時のテールランプ位置２３０のカラー値と、ブレーキランプ点灯かつテールランプ点灯時のブレーキランプ位置２３２とでカラー値の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全てのカラー値がサチレーションしてしまうことに起因する。

図１０（ｂ）は、第２露光態様による第２画像を示し、特に、図１０（ｂ）の左図ではテールランプが点灯しており、図１０（ｂ）の右図ではテールランプに加えブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときのカラー値のみを取得可能に設定されている。したがって、図１０（ｂ）を参照して理解できるように、テールランプが点灯していてもテールランプ位置２３０では、その明るさに準じるカラー値をほとんど取得できず、ブレーキランプ点灯時のブレーキランプ位置２３２では、明確に高いカラー値を取得できている。

かかる第２露光態様では、ブレーキランプのカラー値が撮像素子において、Ｒ成分がサチレーションするかしないかといった程度の露光時間に設定することが望ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプのカラー値が高くなる。すると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大値（例えばカラー値が２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないかといった程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分のカラー値への影響を抑制しつつ、Ｒ成分のみを最大値で抽出する。こうして、例えば、テールランプとのカラー値差を最大限確保することが可能となる。

具体的に、夜間の走行時に先行車両が存在する場合に、テールランプが点灯している程度、例えば、カラー範囲（Ｒ）「５０」、カラー範囲（Ｇ）「５０」、カラー範囲（Ｂ）「５０」程度では第２画像に表示されない。これに対して、ブレーキランプが点灯していると、図４の特定物テーブル２００に示すように、カラー範囲２０２が、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」となり、第２露光態様で撮像したとしても、その位置が把握できる程度に第２画像に表示される。こうしてランプ特定部１６４ｂは、第２画像を通じて、ブレーキランプ等、所定のランプのみを特定することが可能となる。また、ここでは、第２露光態様による露光時間を固定しているが、車外環境に応じて自発的にまたは搭乗者の操作に応じて調整されるとしてもよい。

また、ランプ特定部１６４ｂは、ランプの候補とされた画素同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲（例えば０．１ｍ）内にある場合、その複数の画素を１のランプ候補としてグループ化する（Ｓ３０６−３）。そして、ランプ特定部１６４ｂは、グループ化したランプ候補が画面上占有する領域の外接矩形に相当する領域（ランプ領域）を特定する。

このようにグループ化したランプ領域ＨＲのうち、大きさが類似しているランプ領域ＨＲを抽出し、抽出したランプ領域ＨＲの、左右の位置関係に基づいてブレーキランプであるか否か判定すると、実際には先行車両のブレーキランプが点灯しているにも拘らず、消灯していると誤判定してしまうおそれがある。具体的に説明すると、先行車両が、所定の発光源群からなるブレーキランプが配された車両である場合、ブレーキランプが点灯しているにも拘らず、消灯していると誤判定してしまう場合がある。

図１１は、所定の発光源群からなるブレーキランプが配された車両におけるブレーキランプの誤判定を説明するための図である。例えば、図１１（ａ）に示すように、車両後部の左右に、所定の発光源群からなる（複数のＬＥＤランプを発光源として内蔵した）ブレーキランプが配された車両が先行車両であるとする。この場合、自車両１との相対距離ｚが遠距離（例えば、３０ｍ以上）であると、図１１（ｂ）に示すように、第２画像上で複数の発光源を示す画素同士が繋がって、発光源群が１のランプ領域ＨＲとして検出される。また、自車両１との相対距離ｚが中距離（例えば、２０ｍから３０ｍ）であると、図１１（ｃ）に示すように、発光源群を構成する複数の発光源が、第２画像上で複数のグループ、例えば、２または３のグループに分けられて、グループごとにランプ領域ＨＲとして検出される場合がある。さらに、自車両１との相対距離ｚが近距離（例えば、１５ｍ未満）であると、グループ化するための所定範囲の設定によっては、図１１（ｄ）に示すように、第２画像上で、発光源群を構成する個々の発光源それぞれが、１のランプ領域ＨＲとして検出される場合がある。つまり、先行車両の接近に従って、ブレーキランプ由来のランプ領域ＨＲの数が増加することとなる。

図１１（ｂ）に示す遠距離の場合には、グループ化したランプ領域ＨＲを、左右の位置関係に基づいてブレーキランプであるか否か判定しても、ブレーキランプの点灯を検出できる。しかし、図１１（ｃ）に示す中距離の場合には、左右のランプ領域ＨＲの数が異なり、各ランプ領域ＨＲにおいて、対の条件を満たす相手のランプ領域ＨＲを検出できないおそれがある。例えば、図１１（ｃ）中、左の発光源群が３つのランプ領域ＨＲとして検出され、右の発光源群が１つのランプ領域ＨＲとして検出された場合、左のランプ領域ＨＲのいずれとも、右のランプ領域ＨＲの大きさが異なる。このため、対の条件を満たす相手のランプ領域ＨＲを検出できず、ブレーキランプが消灯していると誤判定してしまうおそれがある。

また、図１１（ｄ）に示す近距離の場合、１の発光源群を構成する個々の発光源それぞれが、１のランプ領域ＨＲとして検出されてしまうため、対の条件を満たす相手のランプ領域ＨＲが特定できずに、ブレーキランプが消灯していると誤判定してしまうおそれがある。

さらに、複数フレームに亘って、先行車両の車両領域における、ランプ領域ＨＲの面積の変化を導出し、かかる面積の変化に基づいて、ランプの点灯有無を判定する学習ロジックを用いる場合にも問題が生じる。例えば、ブレーキランプが点灯している先行車両に徐々に近づいている場合、フレーム（ｆｎ）において、１の発光源群が１のランプ領域ＨＲとして検出され、次のフレーム（ｆｎ＋１）において、１の発光源群が複数のランプ領域ＨＲとして検出されたとする。この検出結果を用いて学習ロジックを実行し、フレーム（ｆｎ）でブレーキランプが点灯していると学習した場合、フレーム（ｆｎ＋１）ではランプ領域ＨＲの面積が小さくなってしまい、先行車両と近づいているにも拘らず、ブレーキランプが消灯していると誤認識してしまうおそれがある。なお、上記学習ロジックは、特願２０１４−０７３３７４号等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

そこで、本実施形態では、予め定められた類似条件に基づいて、複数のランプ領域ＨＲを統合することで、所定の発光源群からなるブレーキランプの点灯有無の判定の精度を向上できる統合処理を実行する。以下、統合処理について説明する。

（統合処理）
図１２は、統合処理を説明するための図である。ただし、図１２は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。以下、今回の統合処理を実行する際に利用する画像（第２画像）を現在画像とし、現在画像より前に撮像された画像（第２画像）、すなわち、今回の統合処理より前に実行された統合処理で利用した画像を過去画像と称する。したがって、今回の統合処理の実行対象となる画像は、次回の統合処理においては過去画像となる。

統合処理において、まず、領域位置情報生成部１６６は、上記Ｓ３０６−３で特定されたランプ領域ＨＲの画像上の位置を示す領域位置情報を生成する（Ｓ３０６−４）。そして、領域位置情報生成部１６６は、過去画像におけるランプ領域ＨＲの領域位置情報がＲＡＭ（記憶部）に記憶されているか否かを判定する（Ｓ３０６−５）。詳しくは後述するが、領域位置情報は、画像取得部１６０によって取得された過去画像ごとに関連付けられて記憶される。したがって、記憶判定処理Ｓ３０６−５の結果、領域位置情報が記憶されていないと判定されるということは、これまでに車両領域内においてランプ領域ＨＲが特定されたことがないということを示す。つまり、当該記憶判定処理Ｓ３０６−５は、車両領域内においてランプ領域ＨＲが特定されたことがあるか否かを判定する処理である。

領域位置情報が記憶されていないと判定すると（Ｓ３０６−５におけるＮＯ）、領域位置情報生成部１６６は、Ｓ３０６−４で生成した領域位置情報を、画像取得部１６０によって取得された現在画像に関連付けてＲＡＭに記憶して（Ｓ３６０−６）、Ｓ３０６−１３に移る。例えば、図１２（ａ）、（ｂ）に示すように、前回の発光領域特定処理Ｓ３０６−３（過去画像、フレーム（ｆｎ−１））において、ランプ領域ＨＲが特定されなかったが、当該発光領域特定処理Ｓ３０６−３（現在画像、フレーム（ｆｎ））において初めてランプ領域ＨＲが特定された場合である。なお、ここで、領域位置情報生成部１６６は、初めて特定されたランプ領域ＨＲについて、検出回数ＤＮに１をセットする。

一方、領域位置情報生成部１６６が、領域位置情報が記憶されていると判定すると（Ｓ３０６−５におけるＹＥＳ）、領域予測位置導出部１６８は、領域予測位置ＲＥを導出する（Ｓ３０６−７）。ここで、領域予測位置ＲＥは、ＲＡＭに記憶されている領域位置情報（過去画像の領域位置情報）に対して、上記Ｓ３０４−９において車両特定部１６４ａが導出した車両予測位置を用いて補正することにより、当該フレーム（フレームｆｎ＋１）において、ランプ領域ＨＲが位置するであろうと予測される現在画像上の位置である（図１２（ｃ）参照）。換言すれば、領域予測位置ＲＥは、自車両１と先行車両の挙動に応じて導出される、過去画像の領域位置情報が示す位置に相当する現在画像における位置である。また、領域予測位置ＲＥは、前回のフレームｆｎにおいて一度検出されたランプ領域ＨＲに基づくものであるため、領域予測位置ＲＥの検出回数ＤＮは、前回のフレームｆｎでランプ領域ＨＲに関連付けられた検出回数ＤＮ（図１２（ｃ）ではＤＮ＝１）を引き継ぐこととなる。

基準領域決定部１７０は、Ｓ３０６−３で特定されたランプ領域ＨＲ（図１２（ｃ）〜（ｉ）において、ＨＲａ、ＨＲｂ、ＨＲｃで示す）のうち、領域予測位置ＲＥに対応する１のランプ領域ＨＲａを基準領域ＫＲと決定する（図１２（ｄ）参照）。また、基準領域決定部１７０は、基準領域ＫＲの検出回数ＤＮを領域予測位置ＲＥの検出回数ＤＮを１インクリメントした回数とする（Ｓ３０６−８）。具体的に説明すると、基準領域決定部１７０は、例えば、ランプ特定部１６４ｂが特定したランプ領域ＨＲのうち、領域予測位置ＲＥの重心（中心）に対して、重心の距離が最も近いランプ領域ＨＲａを基準領域ＫＲと決定する。

続いて、類似領域抽出部１７２は、領域予測位置ＲＥを拡大した拡大予測位置ＫＥを導出する。ここでは、領域予測位置ＲＥが示す領域を上下左右にそれぞれ５０％拡大した領域の位置を示す拡大予測位置ＫＥを導出する（Ｓ３０６−９、図１２（ｅ）参照）。

そして、類似領域抽出部１７２は、Ｓ３０６−３で特定されたランプ領域ＨＲのうち、基準領域ＫＲ以外のランプ領域ＨＲであって、予め定められた第１類似条件、第２類似条件、および、第３類似条件を満たすランプ領域ＨＲを類似領域ＲＲとして抽出する（Ｓ３０６−１０）。

第１類似条件は、領域予測位置ＲＥに基づいて設定される条件であり、ここでは、ランプ領域ＨＲが、拡大予測位置ＫＥ内に含まれることである。第２類似条件は、検出回数に基づいて設定され、例えば、検出回数が１回であることである。

また、第３類似条件は、所定の色相条件を満たすことである。色相条件は、所定のカラー範囲内のカラー値（ブレーキランプと異なる色相、例えば、Ｒ成分のカラー値>１５０、Ｇ成分のカラー値>Ｒ×２４／３２、Ｂ成分のカラー値>Ｒ×１４／３２）である画素の数（具体的には、黄色を示す画素の数）に基づいて設定される。具体的に説明すると、第３類似条件は、ランプ領域ＨＲ内の黄色の画素の数が、基準領域ＫＲ内の黄色の画素の数の１．１倍以下であることである。

ここでは、まず、類似領域抽出部１７２は、第１類似条件を満たすランプ領域ＨＲ、すなわち、ランプ領域ＨＲが、拡大予測位置ＫＥに含まれるランプ領域ＨＲを抽出するとともに、ランプ領域ＨＲごとの検出回数ＤＮを１インクリメントする（図１２（ｆ）参照）。そして、類似領域抽出部１７２は、拡大予測位置ＫＥに含まれるランプ領域ＨＲのうち、第２類似条件を満たすランプ領域ＨＲ、すなわち、検出回数ＤＮが１回のランプ領域ＨＲを抽出する。さらに、類似領域抽出部１７２は、第３類似条件を満たすランプ領域ＨＲ、すなわち、拡大予測位置ＫＥに含まれ、検出回数ＤＮが１回のランプ領域ＨＲのうち、ランプ領域ＨＲ内の黄色の画素の数が、基準領域ＫＲの黄色の画素の数の１．１倍以下のランプ領域ＨＲｂを類似領域ＲＲとして抽出する（図１２（ｇ））。

領域予測位置ＲＥは、あくまで、自車両１と先行車両との挙動に基づいて予測しているため、領域予測位置ＲＥと、今回のブレーキランプに相当するランプ領域ＨＲの位置とで誤差が生じる。そこで、類似領域抽出部１７２が、基準領域ＫＲと類似するランプ領域ＨＲである類似領域ＲＲを抽出するために、上記第１類似条件を採用することにより、領域予測位置ＲＥより広い範囲である拡大予測位置ＫＥを用いて類似領域ＲＲを抽出することができ、予測による誤差を吸収することが可能となる。

また、類似領域抽出部１７２が、第２類似条件として、検出回数が１回のランプ領域ＨＲを採用することにより、前回フレームまでに（過去画像で）検出されたランプ領域ＨＲであって、ブレーキランプと判定されていないランプ領域ＨＲを類似領域ＲＲから除外することができる。

また、ランプ領域ＨＲには、ブレーキランプに相当するランプ領域ＨＲのみならず、ブレーキランプと異なる色相のランプ（例えば、ウィンカー）に相当するランプ領域ＨＲも含まれる。そこで、類似領域抽出部１７２が、第３類似条件として、所定のカラー範囲内のカラー値（ブレーキランプと異なる色相）である画素の数が、ブレーキランプとして対応付けられる基準領域ＫＲ内の所定のカラー範囲内のカラー値である画素数の１．１倍以下のランプ領域ＨＲのみを類似領域ＲＲとすることで、ブレーキランプ以外のランプ領域ＨＲを類似領域ＲＲから除外することができる。

続いて、統合領域生成部１７４は、１または複数の類似領域ＲＲを、基準領域ＫＲに統合して、外接矩形に相当する１の統合領域ＴＲを生成し、Ｓ３０６−８において更新された基準領域ＫＲの検出回数ＤＮを、統合領域ＴＲの検出回数とする（Ｓ３０６−１１、図１２（ｉ）参照）。なお、統合領域生成部１７４によって統合されなかったランプ領域ＨＲｃは、図１２（ｂ）のランプ領域ＨＲに相当するため、次フレーム（ｆｎ＋２）において、領域予測位置ＲＥが導出され、以降、上記Ｓ３０６−４からＳ３０６−１１までの処理が実行されることとなる。

情報更新部１７６は、統合領域ＴＲを新たなランプ領域ＨＲとして領域位置情報を導出し、ＲＡＭに記憶されている統合前の各ランプ領域ＨＲの領域位置情報を削除し、新たなランプ領域ＨＲの領域位置情報を現在画像に関連付けて新たにＲＡＭに記憶（更新）する（Ｓ３０６−１２）。また、情報更新部１７６は、予め定められた所定時間、ランプ領域ＨＲが特定されなかったことをトリガとして、ＲＡＭに記憶されている領域位置情報を削除する。

また、ランプ特定部１６４ｂは、統合領域ＴＲが生成された場合には、統合領域ＴＲを新たなランプ領域ＨＲとし、１のランプ領域ＨＲの大きさが予め定められた閾値（例えば、水平および垂直の幅０．０５ｍ）以上の場合にのみ、１のランプ領域ＨＲに含まれるランプの候補をランプとして特定する（Ｓ３０６−１３）。なお、ランプ特定部１６４ｂは、大きさに加えて、そのランプ領域ＨＲに含まれるランプの候補の形も条件としてよい。例えば、ブレーキランプが車両後部の左右端部に鉛直方向に延伸する形状である場合、その大きさのみならず、ブレーキランプとみなせる形状であることを判定する。こうして、本来、所定のランプとしてみなすべきではないノイズに相当するランプを排除し、ブレーキランプ（ランプ）を抽出することができるので、特定物を高精度に特定することが可能となる。

このように、ランプ特定部１６４ｂによって、ブレーキランプを高精度に抽出することができる。しかし、第２露光態様による第２画像のみでは、夜間などに検出領域１２４全体のカラー値が低く（暗く）なってしまい、ブレーキランプ等のランプ以外は何も把握できなくなってしまう。そこで、当該「ブレーキランプ」と、上述した第１露光態様による第１画像によって特定した「車両」とを対応付ける。

位置対応付け部１７８は、車両特定部１６４ａが特定物「車両」としてグループ化した車両領域と、ランプ特定部１６４ｂが特定したランプ（ブレーキランプ）の位置とを対応付ける（Ｓ３０６−１４）。そして、車両特定部１６４ａによる特定物「車両」の追跡と、ランプ特定部１６４ｂによる特定物「ブレーキランプ」の追跡とを支援し、一方の位置情報で他方の位置情報を校正する。こうして、先行する車両の外縁と車両のブレーキランプとの位置関係を維持することができる。

配置判定部１８０は、同一の先行車両に存在すると仮定される１対のブレーキランプの組み合わせを特定し、図４に示した特定物テーブル２００に基づいて、位置対応付け部１７８によって対応付けられた車両領域とランプであるブレーキランプの位置との相対配置が適切な配置か否かを判定する（Ｓ３０６−１５）。配置判定部１８０は、例えば、ブレーキランプが、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、配置判定部１８０は、１対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。かかる条件を満たすことで、先行車両のブレーキランプが点灯していると特定されることとなる。このように、ブレーキランプと仮定されたランプが車両の適切な位置に対応している場合にのみブレーキランプとして正式に特定する構成により、リアフォグランプなど、同等の明るさで一灯だけで点灯しているランプを誤認識するのを防止することができる。

以上説明したように、本実施形態にかかる車外環境認識装置１２０によれば、所定の発光源群からなる車両用のランプを特定することが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態において、ランプ特定部１６４ｂは、撮像装置１１０が生成したカラー画像１２６に基づいてブレーキランプの点灯有無を判定しているが、モノクロ画像に基づいてブレーキランプの点灯有無を判定するとしてもよい。

また、上記実施形態において、ランプ特定部１６４ｂは、特定物「車両」と特定された対象物２２４の相対距離ｚおよび水平距離ｘを導出しているが、これに加えて、垂直距離を導出して、車両予測位置を導出してもよい。

また、上記実施形態において、基準領域決定部１７０は、現在画像の領域予測位置ＲＥに対応する１のランプ領域ＨＲａを基準領域ＫＲと決定しているため、基準領域ＫＲは、領域予測位置ＲＥを介して間接的に、過去画像の領域位置情報に対応付けられている。しかし、基準領域決定部１７０は、過去画像の領域位置情報に対応する１のランプ領域ＨＲａを基準領域ＫＲと決定し、過去画像の領域位置情報と基準領域ＫＲとが直接対応付けられてもよい。

また、上記実施形態において、第１類似条件は、ランプ領域ＨＲが拡大予測位置ＫＥ内に含まれることとした。しかし、第１類似条件は、領域予測位置ＲＥに基づいて設定される条件であればよい。例えば、ランプ領域ＨＲが領域予測位置ＲＥ内に含まれることであってもよい。いずれにせよ、第１類似条件は、予測された先行車両の挙動に応じて導出される、過去画像の領域位置情報が示す位置と所定の位置関係にある現在画像における位置に基づいて設定されればよい。

また、第１類似条件は、領域予測位置ＲＥに基づいて設定される条件に代えて、過去画像の領域位置情報に基づいて設定される条件であってもよい。例えば、ランプ領域ＨＲが、過去画像の領域位置情報が示す位置内に含まれることであってもよい。

また、上記実施形態において、類似領域抽出部１７２は、第１類似条件を満たし、さらに、第２類似条件および第３類似条件を満たしたランプ領域ＨＲを類似領域ＲＲとして抽出する構成を例に挙げて説明した。しかし、類似領域抽出部１７２は、第１類似条件を満たし、かつ、第２類似条件および第３類似条件のうちいずれか一方を満たすランプ領域ＨＲを類似領域ＲＲとして抽出するとしてもよい。また、類似領域抽出部１７２は、少なくとも、第１類似条件を満たすランプ領域ＨＲを類似領域ＲＲとして抽出すればよい。

また、上記実施形態において、車外環境認識装置１２０は、所定の発光源群からなる車両用のランプとして、ブレーキランプを例に挙げて説明した。しかし、車外環境認識装置１２０は、所定の発光源群からなる車両用のランプであれば、ウィンカー、リアフォグランプ等を特定することができる。

なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、先行車両の車両用のランプを特定する車外環境認識装置に利用することができる。

１２０ 車外環境認識装置
１６０ 画像取得部
１６４ａ 車両特定部
１６４ｂ ランプ特定部
１６６ 領域位置情報生成部
１７０ 基準領域決定部
１７２ 類似領域抽出部
１７４ 統合領域生成部
１７６ 情報更新部

Claims (5)

1. 画像を取得する画像取得部と、
   前記画像における車両領域を特定する車両特定部と、
   前記車両領域において、ランプが占有するランプ領域を特定し、該ランプ領域が所定の条件を満たす場合に所定のランプと特定するランプ特定部と、
   前記ランプ領域の画像上の位置を示す領域位置情報を生成する領域位置情報生成部と、
   現在画像における前記ランプ領域のうち、該現在画像より前に撮像された過去画像におけるランプ領域の前記領域位置情報に対応する１のランプ領域を基準領域と決定する基準領域決定部と、
   前記現在画像におけるランプ領域のうち、前記基準領域以外のランプ領域であって、前記過去画像の領域位置情報に基づいて設定される第１類似条件を満たすランプ領域を類似領域として抽出する類似領域抽出部と、
   前記基準領域に、前記類似領域を統合して、１の統合領域を生成する統合領域生成部と、
   前記統合領域が生成された場合、統合前の前記基準領域の領域位置情報および前記類似領域の領域位置情報を、該統合領域の領域位置情報に更新する情報更新部と、
   を備え、
   前記ランプ特定部は、前記統合領域が生成された場合、該統合領域を１のランプ領域と特定することを特徴とする車外環境認識装置。
2. 前記車両特定部は、自車両に対する先行車両の挙動を予測し、
   前記第１類似条件は、予測された前記先行車両の挙動に応じて導出される、前記過去画像の領域位置情報が示す位置と所定の位置関係にある前記現在画像における位置に基づいて設定されることを特徴とする請求項１に記載の車外環境認識装置。
3. 前記車両特定部は、自車両に対する先行車両の挙動を予測し、
   前記第１類似条件は、予測された前記先行車両の挙動に応じて導出される、前記過去画像の領域位置情報が示す位置に相当する前記現在画像における位置である領域予測位置に基づいて設定されることを特徴とする請求項１に記載の車外環境認識装置。
4. 前記類似領域抽出部は、前記第１類似条件を満たし、かつ、該第１類似条件とは異なる第２類似条件を満たすランプ領域を類似領域として抽出し、
   前記第２類似条件は、相異なるタイミングで撮像された複数の画像におけるランプ領域の検出回数に基づいて設定されることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 前記画像取得部が取得する画像はカラー画像であり、
   前記類似領域抽出部は、前記第１類似条件を満たし、かつ、該第１類似条件とは異なる第３類似条件を満たすランプ領域を類似領域として抽出し、
   前記第３類似条件は、所定のカラー範囲内のカラー値である画素の数に基づいて設定されることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。

Images