JP6523694B2 - 車外環境認識装置 - Google Patents

Description

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

また、自車両前方を撮像した画像を、水平方向に対して複数の分割領域に分割し、その分割領域毎に相対距離が最も短い立体物を先行車両として特定する技術も開示されている（例えば、特許文献２）。さらに、特定された立体物における左右のテールランプ、すなわちランプペアを検出し、ランプペアの水平方向外側の画像範囲を切り離し、ランプペアの水平方向内側の画像範囲を残すことで、先行車両と生垣等との誤グルーピングを防止する技術も知られている（例えば、特許文献３）。

特許第３３４９０６０号公報 特開２０１３−１７１４８９号公報 特開２０１２−１６８８３８号公報

上述した、ランプペアの水平方向外側の画像範囲を切り離す技術を用いることで、移動する先行車両と固定されている生垣とが切り離され、先行車両を的確に検出することが可能となる。しかし、かかる技術では、ランプペアの水平方向外側の画像範囲を一律に切り離しているので、例えば、テールランプが車幅の中央よりに存在し、車幅に対してランプペアの幅が狭いトラックのような先行車両が存在する場合、本来、先行車両におけるランプペアから水平方向の端部までの画像範囲を立体物（先行車両）の一部として取り扱うべきところ、ランプペアの水平方向内側の画像範囲と、ランプペアの水平方向外側の画像範囲とを分離してしまい、立体物の正確な外形を認識できなくなるおそれがあった。

本発明は、このような課題に鑑み、先行車両の候補となる立体物の外形を適切に特定することが可能な車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、撮像装置により撮像された画像から発光源を特定する発光源特定部と、画像中の立体物に含まれる発光源が、一対の発光源としてのランプペアであるか否か判定するランプペア判定部と、立体物におけるランプペアより水平方向外側のブロックを分離立体物として切り離すブロック切断部と、分離立体物が切り離された後の立体物と分離立体物との位置関係に関する条件が満たされると、立体物と分離立体物とをグループ化して立体物を再形成する再形成部と、再形成された立体物の端部とランプペアの端部との水平方向の位置関係に関する条件であるランプペア条件が満たされると、再形成された立体物を車両と特定する車両特定部と、して機能することを特徴とする。

ランプペア条件は、ランプペアの左端から立体物の左端までの水平距離、および、ランプペアの右端から立体物の右端までの水平距離がいずれも所定範囲内であること、ならびに、ランプペアの左端から立体物の左端までの水平距離と、ランプペアの右端から立体物の右端までの水平距離との比が所定範囲内であることの一方または双方であってもよい。

車両特定部は、さらに、立体物の水平距離が所定範囲内であれば、立体物を車両と特定してもよい。

本発明によれば、先行車両の候補となる立体物の外形を適切に特定することが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 カラー画像と距離画像を説明するための説明図である。 ヒストグラム生成部の処理を説明するための説明図である。 グループ化部の処理を説明するための説明図である。 発光源テーブルの処理を説明するための説明図である。 ブロック切断部の処理を説明するための説明図である。 再形成部が再形成する条件を説明するための説明図である。 車両特定部が立体物を車両と特定する条件を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて、先行車両等の特定物を特定し、特定された特定物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。

このような車外環境を認識する車外環境認識装置を搭載した車両においては、例えば、前方に位置する立体物（立体物として認識し得る画像部位）が車両（先行車両）等の特定物であるか否か判定する。そして、前方に位置する立体物が先行車両であれば、その先行車両を制御対象とし、衝突を回避したり、車間距離を制御する。本実施形態では、このような先行車両等の特定物を適切に特定することが可能な車外環境認識装置を提供する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、カラー画像を生成することができる。ここで、カラー画像を形成するカラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。ここでは、撮像装置１１０で撮像された画像をカラー画像と呼び、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する特定物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識対象となる特定物は、車両、人（歩行者）、信号機、ガードレールのように独立して存在する物のみならず、テールランプ、ウィンカー、信号機の各点灯部分等、独立して存在する物の一部も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する相対距離に相当）を画像データに対応付けて距離画像を生成する。カラー画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、カラー画像に基づくカラー値、および、距離画像に基づく自車両１との相対距離を用いて自車両１の前方の検出領域に表示された立体物がいずれの特定物に対応するかを特定する。

車外環境認識装置１２０は、立体物が特定物、例えば、先行車両として特定されると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。したがって、車外環境認識装置１２０は、先行車両の数やその外形を適切に把握しなければならない。ここで、先行車両との衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、車両前方に位置する先行車両の特定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、三次元位置情報生成部１６２、ヒストグラム生成部１６４、グループ化部１６６、発光源特定部１６８、ランプペア判定部１７０、ブロック切断部１７２、再形成部１７４、車両特定部１７６、車両制御部１７８としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、ヒストグラム生成処理、グループ化処理、ランプペア判定処理、立体物再形成処理、車両特定処理、車両制御処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像したカラー画像の画面横方向を示し、「垂直」は、撮像したカラー画像の画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されているすべてのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差情報は、立体物単位ではなく、検出領域におけるブロック単位で独立して導出されることとなる。このようにして導出された視差情報（後述する相対距離に相当）を画像データの各ブロックに対応付けた画像を距離画像という。

図３は、カラー画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のようなカラー画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このようなカラー画像２１０からブロック毎の視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

図２に戻って説明すると、三次元位置情報生成部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む三次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、ブロックの視差からそのブロックの撮像装置１１０に対する相対距離を導出する方法である。このとき、三次元位置情報生成部１６２は、ブロックの相対距離と、ブロックと同相対距離にある道路表面上の点からブロックまでの距離画像２１２上の距離とに基づいて、ブロックの道路表面からの高さを導出する。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。

（ヒストグラム生成処理）
続いて、ヒストグラム生成部１６４は、距離画像２１２を複数の分割領域に分割し、分割領域毎に、分割領域内の複数のブロックの相対距離を複数の階級（等距離で区分した相対距離の距離区分を短い順に並べたもの）に振り分けたヒストグラム（度数分布）を生成する。以下に、ヒストグラム生成部１６４の具体的な処理を説明する。

図４は、ヒストグラム生成部１６４の処理を説明するための説明図である。ヒストグラム生成部１６４は、まず、距離画像２１２を、水平方向に対して複数の分割領域２１６に分割する。そうすると、分割領域２１６は図４（ａ）のような垂直方向に延在する短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域２１４を１６等分したもので説明する。

続いて、ヒストグラム生成部１６４は、分割領域２１６毎に、三次元の位置情報に基づき、分割領域２１６内の、道路表面より上方に位置するとみなされるすべてのブロックを対象に、相対距離が複数の階級のいずれに含まれるか判定し、相対距離をそれぞれ対応する階級に振り分けて、ヒストグラム（図４（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図４（ｂ）のように、分割領域２１６毎のヒストグラムによる距離分布２１８が得られる。ここで、縦方向は、相対距離を等距離で区分した階級を、横方向は、階級に振り分けられたブロックの個数（度数）を示している。ただし、図４（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。

（グループ化処理）
次に、グループ化部１６６は、距離画像２１２において、三次元の位置情報が所定の距離範囲内にあるブロック同士をグループ化し、立体物を特定する。以下に、グループ化部１６６の具体的な処理を説明する。

図５は、グループ化部１６６の処理を説明するための説明図である。グループ化部１６６は、まず、分割領域２１６毎の距離分布２１８を参照し、同一の分割領域２１６内で一番大きい度数（図５中、黒で塗りつぶした四角で示す）を代表距離２２０とする。

続いて、グループ化部１６６は、隣接する分割領域２１６同士を比較し、代表距離２２０が近接する（例えば、１．０ｍ以内に位置する）分割領域２１６同士をグループ化して分割領域群２２２を生成する。このとき、３つ以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続するすべての分割領域２１６を分割領域群２２２として纏める。かかるグループ化によって、道路表面より上方に位置する立体物の横幅方向の大きさを特定することができる。

続いて、グループ化部１６６は、分割領域群２２２内における、相対距離ｚが代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が予め定められた範囲（例えば±０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群である立体物２２４が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、グループ化部１６６は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロックすべてがグループ化されることとなる。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、すべてが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。このようにしてグループ化された立体物２２４は、例えば、先行車両の候補となる。

（ランプペア判定処理）
発光源特定部１６８は、カラー画像２１０から画素単位で３つの色相（Ｒ、Ｇ、Ｂ）のカラー値を取得し、当該カラー値と発光源テーブル２３０とに基づいて発光源を特定する。このとき、検出領域２１４が例えば雨天や曇天であった場合、発光源特定部１６８は、本来のカラー値を取得できるようにホワイトバランスを調整するとしてもよい。

図６は、発光源テーブル２３０の処理を説明するための説明図である。発光源テーブル２３０では、複数の発光源に対して、カラー値（ここではＲ、Ｇ、Ｂ）の範囲を示すカラー範囲２３２と、道路表面からの高さの範囲を示す高さ範囲２３４と、発光源の水平距離の幅範囲２３６と、発光源の垂直距離の幅範囲２３８と、同一発光源との水平距離の差分２４０と、同一発光源との垂直距離の差分２４２と、同一発光源との面積比２４４とが対応付けられている。ここで、発光源としては、「ブレーキランプ（赤）」、「ハイマウントストップランプ（赤）」、「テールランプ（赤）」、「ウィンカー（橙）」等、車両を特定する際に要する複数の物が想定されている。ただし、発光源は図６に記載された物に限定されないのは言うまでもない。図６の発光源テーブル２３０を参照すると、例えば、「ブレーキランプ（赤）」には、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」、高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」が対応付けられている。

発光源特定部１６８は、発光源テーブル２３０に登録されている発光源から、特定の発光源（例えば「ブレーキランプ」）を選択し、発光源から取得した画素のカラー値が、選択した発光源のカラー範囲２３２に含まれるか否か判定する。そして、対象となるカラー範囲２３２に含まれれば、その画素を発光源（「ブレーキランプ」）の候補（発光源候補）とする。発光源特定部１６８は、このような処理をカラー画像２１０に含まれる画素の数だけ繰り返す。

また、発光源特定部１６８は、発光源候補とされた画素同士の水平距離ｘの差分、高さｙの差分および相対距離ｚの差分が所定範囲（例えば±０．１ｍ）内にある場合、その複数の画素を同一の発光源候補としてグループ化する。こうして、ブレーキランプを構成する画素が複数に跨がっていても、また、車両の左右のブレーキランプがそれぞれ複数のランプで構成されている場合であっても、それを左右に存在するブレーキランプの一方として個々に認識することが可能となる。

また、発光源特定部１６８は、この発光源候補の大きさが予め定められた閾値（例えば、水平および垂直の幅０．０５ｍ）以上の場合にのみ、発光源候補を発光源として特定する。なお、発光源特定部１６８は、大きさに加えて、その発光源候補の形も条件としてよい。例えば、ブレーキランプが車両後部の左右端部に鉛直方向に延伸する形状である場合、その大きさのみならず、ブレーキランプとみなせる形状であることを判定する。また、発光源特定部１６８は、ブレーキランプと同等の手順で、発光源候補の大きさや形状からハイマウントストップランプ、テールランプ、ウィンカーも順次特定する。こうして、本来、所定の発光源としてみなすべきではないノイズに相当する発光源を排除し、ブレーキランプ等、車両の特定に有効な発光源のみを抽出することができる。

ランプペア判定部１７０は、グループ化部１６６が特定した立体物２２４に含まれる、発光源特定部１６８が特定した少なくとも２つの発光源が、一対の発光源（ランプ）としてのランプペアであるか否か判定する。具体的に、ランプペア判定部１７０は、立体物２２４の画像範囲内に含まれる発光源を特定し、その発光源と立体物２２４とを対応付ける。そして、ランプペア判定部１７０は、発光源が含まれる立体物２２４を先行車両と仮定し、また、発光源を先行車両のブレーキランプと仮定し、先行車両とブレーキランプとの相対的な位置関係が適当であるか否か、また、ブレーキランプとして対をなしているか否か判定する。

まず、ランプペア判定部１７０は、例えば、ブレーキランプと仮定した発光源が、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、ランプペア判定部１７０は、発光源が２つ以上あり、選択された一対の発光源の組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。このように、ブレーキランプと仮定された発光源が、先行車両と仮定され立体物２２４の適切な位置に対応している場合にのみ、ランプペア判定部１７０は、その一対の発光源をランプペアとして正式に特定する。

（立体物再形成処理）
ランプペア判定部１７０により、発光源が立体物２２４に含まれるランプペアであると判定されると、立体物２２４の先行車両らしさが高まる。しかし、先行車両とその周囲の生垣等が隣接している場合、グループ化部１６６が、先行車両との差分が所定範囲（例えば±０．１ｍ）内にある生垣等を１つの立体物２２４としてグループ化するおそれがある。このとき、グループ化された立体物２２４のどの部分が先行車両で、どの部分が先行車両とは異なるのか認識するのは困難であるが、ランプペアが特定されている場合、少なくとも、そのランプペアの水平方向内側の画像範囲については、先行車両として確実に認識することが可能である。そこで、ブロック切断部１７２は、先行車両として確実に認識できる範囲を新たに立体物２２４として更新する。

図７は、ブロック切断部１７２の処理を説明するための説明図である。ランプペア判定部１７０により、発光源が、図７においてハッチングで示したように、立体物２２４に含まれるランプペア２５０であると判定されると、ブロック切断部１７２は、立体物２２４の画像範囲内における、図７において破線で示した、ランプペア２５０より水平方向外側の左右２つの画像範囲２５２をそれぞれ分離立体物として切り離す。

かかる構成により、先行車両とその周囲の生垣等との距離が短く、先行車両が周囲の生垣等と一体的に認識される場合であっても、図７において実線で示したように、ランプペア２５０より水平方向内側の画像範囲２５４を立体物２２４として適切に残すことができる。

ただし、上記のようにランプペア２５０の水平方向外側の画像範囲を一律に切り離すと、例えば、テールランプが車幅の中央よりに存在し、車幅に対してランプペア２５０の幅が狭い先行車両が存在する場合、本来、先行車両におけるランプペア２５０から水平方向の端部までの画像範囲２５２を立体物２２４の一部として取り扱うべきところ、ランプペア２５０の水平方向内側の画像範囲２５４と、ランプペア２５０の水平方向外側の画像範囲２５２とを分離してしまい、立体物２２４の正確な外形を認識できなくなるおそれがあった。そこで、本実施形態においては、先行車両の候補となる立体物２２４の外形を適切に特定する。

再形成部１７４は、分離立体物が切り離された後の立体物２２４と、立体物２２４の周囲に位置する分離立体物（例えば、ブロック切断部１７２によって切断された、ランプペア２５０より水平方向外側の画像範囲２５２に相当）との位置関係に関する条件が満たされると、立体物２２４と分離立体物とを再度グループ化して立体物２２４を再形成する。ここで、分離立体物との位置関係に関する条件としては、以下の４つの条件が挙げられる。ただし、ここでは、グループ化の対象として複数のブロックによる立体物を挙げているが、かかる場合に限らず、個々のブロックを対象としてもよい。

図８は、再形成部１７４が再形成する条件を説明するための説明図である。
（１）第１の条件は、図８（ａ）に示すように、立体物（ランプペア２５０の水平方向内側の画像範囲２５４）２２４と分離立体物（ランプペア２５０の水平方向外側の画像範囲２５２）との水平距離ｘが所定範囲（例えば±０．１ｍ）内にあること。
（２）第２の条件は、図８（ｂ）に示すように、立体物２２４と分離立体物との相対距離ｚが所定範囲（例えば±０．１ｍ）内にあること。
（３）第３の条件は、図８（ｃ）に示すように、立体物２２４と分離立体物との高さｙの比が所定範囲（例えば０．２〜１．２）内にあること。
（４）第４の条件は、図８（ｄ）に示すように、立体物２２４と分離立体物との水平断面上で成す角度（立体物２２４と分離立体物とを水平断面に投影してできたそれぞれの線分が成す角度）が所定範囲（例えば±２０°）内であること。このような４つの条件を全て満たす分離立体物（例えば、画像範囲２５２に相当）が存在した場合、再形成部１７４は、さらにその分離立体物をグループ化して立体物２２４を再形成する。

ここでは、ブロック切断部１７２によって、その三次元の位置情報の出現態様に拘わらず、一律に切り離した立体物を、上記の４つの条件を用い、立体物２２４として再形成している。かかる構成により、一体的な立体物２２４と認識すべき立体物同士を、より正確にグループ化することが可能となる。

（車両特定処理）
車両特定部１７６は、再形成部１７４が再形成した立体物２２４の端部とランプペア２５０の端部との水平方向の位置関係や、立体物２２４の水平方向の大きさに関する条件（ランプペア条件）が満たされると、その立体物２２４を車両と特定する。ここで、立体物２２４との位置関係に関する条件としては、以下の３つの条件が挙げられる。

図９は、車両特定部１７６が立体物２２４を車両と特定する条件を説明するための説明図である。
（１）第１の条件は、図９（ａ）に示すように、ランプペア２５０の左端から立体物２２４の左端までの水平距離ｘ、および、ランプペア２５０の右端から立体物２２４の右端までの水平距離ｘがいずれも所定範囲（例えば±０．３ｍ）内にあること。
（２）第２の条件は、図９（ｂ）に示すように、ランプペア２５０の左端から立体物２２４の左端までの水平距離ｘと、ランプペア２５０の右端から立体物２２４の右端までの水平距離ｘとの比が所定範囲（例えば０．８〜１．２）内にあること。
（３）第３の条件は、図９（ｃ）に示すように、立体物２２４の水平距離ｘが車両らしい水平距離ｘの所定範囲（例えば２．０ｍ〜２．５ｍ）内であること。

立体物２２４がこのような条件を全て満たす場合、車両特定部１７６は、かかる立体物２２４を車両と特定する。ここでは、車両の左右の均等性および現実的な形状を考慮して、上記の条件を設けている。また、条件を満たさなかった場合、再形成部１７４による再形成まで遡って、グループ化をキャンセルし、立体物２２４を、ランプペア２５０の水平方向内側の画像範囲２５４に限定する。こうして立体物２２４の外形を適切に特定することが可能となり、道路上に位置する先行車両を効率的かつ適切に抽出することができる。

（車両制御処理）
車両制御部１７８は、車両特定部１７６が先行車両を特定すると、その先行車両を追跡しつつ、先行車両の相対速度等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行い、その結果を車両制御装置１３０に出力する。こうして、衝突回避制御やクルーズコントロールが実行される。

以上、説明したように、本実施形態の車外環境認識装置１２０では、車両の周囲に位置する生垣等を確実に切り離しつつ、車両におけるランプペア２５０の配置に拘わらず、先行車両の候補となる立体物の外形を適切に特定することが可能となる。

なお、上述した実施形態においては、まず、ブロック切断部１７２が、立体物２２４におけるランプペア２５０より水平方向外側のブロックを分離立体物として切り離し、立体物２２４と分離立体物との位置関係に関する条件が満たされると、再形成部１７４が、立体物２２４と分離立体物とをグループ化して立体物２２４を再形成し、ランプペア条件が満たされると、車両特定部１７６が、その再形成された立体物２２４を車両として特定する例を挙げて説明した。しかし、処理が行われる順番はかかる場合に限定されず、例えば、立体物２２４に対し、ランプペア条件が満たされると、車両特定部１７６が、その立体物２２４を車両として特定し、ブロック切断部１７２が、ランプペア条件が満たされない立体物２２４に対してのみ、ランプペア２５０より水平方向外側のブロックを切り離して立体物２２４を更新するとしてもよい。こうして、ランプペア条件を満たさない立体物２２４のみに対し、ランプペア２５０の水平方向外側の画像範囲が切り離されることとなり、移動する先行車両と固定されている生垣とを適切かつ効率的に切り離すことが可能となる。

また、上記車外環境認識装置に加え、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明は、自車両外の環境を認識する車外環境認識装置にかかり、特に、自車両の制御対象となる領域を特定する車外環境認識装置に利用することができる。

１ 自車両
１２０ 車外環境認識装置
１６６ グループ化部
１６８ 発光源特定部
１７０ ランプペア判定部
１７２ ブロック切断部
１７４ 再形成部
１７６ 車両特定部

Claims (3)

1. コンピュータが、
   撮像装置により撮像された画像から発光源を特定する発光源特定部と、
   前記画像中の立体物に含まれる前記発光源が、一対の発光源としてのランプペアであるか否か判定するランプペア判定部と、
   前記立体物における前記ランプペアより水平方向外側のブロックを分離立体物として切り離すブロック切断部と、
   前記分離立体物が切り離された後の前記立体物と該分離立体物との位置関係に関する条件が満たされると、該立体物と該分離立体物とをグループ化して該立体物を再形成する再形成部と、
   再形成された前記立体物の端部と前記ランプペアの端部との水平方向の位置関係に関する条件であるランプペア条件が満たされると、該再形成された立体物を車両と特定する車両特定部と、
   して機能することを特徴とする車外環境認識装置。
2. 前記ランプペア条件は、前記ランプペアの左端から前記立体物の左端までの水平距離、および、該ランプペアの右端から該立体物の右端までの水平距離がいずれも所定範囲内であること、ならびに、該ランプペアの左端から該立体物の左端までの水平距離と、該ランプペアの右端から該立体物の右端までの水平距離との比が所定範囲内であることの一方または双方である請求項１に記載の車外環境認識装置。
3. 前記車両特定部は、さらに、前記立体物の水平距離が所定範囲内であれば、該立体物を車両と特定することを特徴とする請求項１または２に記載の車外環境認識装置。

Images