JP5386539B2 - 環境認識装置 - Google Patents

Description

本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置に関する。

従来、自車両の前方に位置する車両や信号機等の障害物といった対象物を検出し、検出した対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御する技術が知られている（例えば、特許文献１、２）。

また、このような技術では、対象物を一律に物として特定するのみならず、さらに高精度な制御を行うため、対象物が自車両と同速度で走行している先行車両であるのか、移動を伴わない固定された物であるのか等を判定する技術も存在する。ここで、対象物を、検出領域の撮像を通じて検出する場合、対象物が何であるかを特定する前に、撮像された画像から対象物自体を抽出（切り出し）しなければならない。

例えば、撮像された画像がカラー画像の場合、同一の輝度（色）を有する画素をグループ化し対象物として抽出する方法が考えられる。

特許第３３４９０６０号 特開平１０−２８３４６１号公報

しかし、単に、同じような色特性を有する複数の画素同士をグループ化するだけでは、発光標識や電子看板に表示された文字や絵が、信号機の点灯部分と色や大きさが近似している場合に、そのような文字や絵を信号機であると誤認識するおそれがあった。また、仮に信号機の点灯部分より大きな表示器であっても、その表示態様によっては、表示した文字や絵が連続しているとは限らず、それぞれ区別されてグループ化され、同一の物体に表示されているものと認識されないことがあった。そこで、本願発明者は、グループ化された対象物を条件に応じてさらに統合し、例えば、信号機と発光標識を区別する技術を見出した。

しかし、このような技術によって、意図せず小さな発光物が統合されてしまい、認識したい本来の特定物ではないものを、特定物として誤認識してしまう場合が生じ得る。例えばトンネル内に狭い間隔で設置された複数の照明は、撮像した画面上近傍に位置するので、上記の統合技術によって信号機と近い大きさとなってしまい、信号機と誤認識してしまうおそれがある。

本発明は、このような課題に鑑み、対象物の特定精度を向上し、誤認識を回避することが可能な、環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の環境認識装置は、輝度の範囲と特定光源とを対応付けて保持するデータ保持部と、検出領域内に存在する対象部位の輝度を取得する輝度取得部と、データ保持部に保持された対応付けに基づいて、対象部位の輝度から、対象部位に対応する特定光源を仮決定する特定物仮決定部と、同一の特定光源に対応すると仮決定された隣接する対象部位をグループ化して対象物とする対象部位グループ化部と、対象物からの水平距離の差分および高さの差分が第１所定範囲内にある、対象物と輝度に関して同一の特定光源に対応する対象部位を対象物としてグループ化する対象物グループ化部と、対象物内の特定領域における全ての対象部位に対する、輝度が所定の輝度範囲に含まれる対象部位の割合が所定閾値以上であれば、対象物が１つの光源からなるものと判定して対象物を特定光源の候補とするとともに、所定閾値未満であれば対象物が複数の光源からなるものと判定して対象物を特定光源の候補から除外する特定物決定部と、を備えることを特徴とする。また、本発明の他の環境認識装置は、画素毎に輝度を有する輝度画像を取得する画像入力部と、画像入力部で取得した輝度画像の輝度に基づき特定光源を認識する認識部と、認識部からの光源認識結果を出力する出力部と、を備え、認識部は、輝度に基づき特定の輝度を有する対象部位を抽出して互いに隣接する対象部位同士をグループ化して対象物とし、一の対象物と所定距離内にある他の対象物もしくは他の対象部位を統合し、統合した対象物の特定領域における対象部位に対する、輝度が所定の輝度範囲に含まれる対象部位の割合が所定閾値以上であれば、統合した対象物が１つの光源からなるものと判定して対象物を特定光源の候補とするとともに、所定閾値未満であれば対象物が複数の光源からなるものと判定して対象物を特定光源の候補から除外することを特徴とする。

特定領域は、対象物の画像上垂直方向の中央を通り水平方向に延伸する帯状領域であってもよい。

特定領域は、対象物の画像上水平方向の中央を通り垂直方向に延伸する帯状領域であってもよい。

特定光源の候補とした対象物の大きさが所定の条件を満たしている場合に対象物を特定光源として決定してもよい。また、特定光源は信号機の発光部分であってもよい。

上記課題を解決するために、本発明の環境認識方法は、検出領域内に存在する対象部位の輝度を取得し、データ保持部に保持された、輝度の範囲と特定物との対応付けに基づいて、対象部位の輝度から、対象部位に対応する特定物を仮決定し、同一の特定物に対応すると仮決定された隣接する対象部位をグループ化して対象物とし、対象物からの水平距離の差分および高さの差分が第１所定範囲内にある、対象物と輝度に関して同一の特定物に対応する対象部位を対象物とし、対象物内の特定領域における全ての対象部位に対する、輝度が所定の輝度範囲に含まれる対象部位の割合が所定閾値以上であれば、対象物を特定物として決定することを特徴とする。

本発明によれば、対象物の特定精度を向上することができるので、誤認識を回避することが可能となる。

環境認識システムの接続関係を示したブロック図である。 輝度画像と距離画像を説明するための説明図である。 環境認識装置の概略的な機能を示した機能ブロック図である。 特定物テーブルを説明するための説明図である。 位置情報取得部による三次元の位置情報への変換を説明するための説明図である。 特定物マップを説明するための説明図である。 対象部位グループ化部の処理を説明するための説明図である。 対象部位グループ化部の処理を説明するための説明図である。 対象物グループ化部の処理を説明するための説明図である。 対象物グループ化部の処理を説明するための他の説明図である。 特定物決定部の処理を説明するための説明図である。 環境認識方法の全体的な流れを示したフローチャートである。 特定物マップ生成処理の流れを示したフローチャートである。 対象部位グループ化処理の流れを示したフローチャートである。 代表距離導出処理の流れを示したフローチャートである。 対象物グループ化処理の流れを示したフローチャートである。 特定物決定処理の流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、車両１内に設けられた、複数（本実施形態では２つ）の撮像装置１１０と、画像処理装置１２０と、環境認識装置１３０と、車両制御装置１４０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、カラー画像、即ち、画素単位で３つの色相（赤、緑、青）の輝度を取得することができる。本実施形態においては、色と輝度とを同等に扱い、同一の文章に両文言が含まれる場合、互いを、色を構成する輝度、または、輝度を有する色と読み替えることができる。ここでは、撮像装置１１０で撮像されたカラーの画像を輝度画像と呼び、後述する距離画像と区別する。また、撮像装置１１０は、車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒毎（６０ｆｐｓ）に連続して生成する。ここで、対象物は、車両、信号機、道路、ガードレールといった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の部分として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機として各処理を遂行する。

画像処理装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、２つの画像データに基づいて、画像中の任意のブロック（所定数の画素を集めたもの）の視差、および、任意のブロックの画面中の位置を示す画面位置を含む視差情報を導出する。画像処理装置１２０は、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、水平は、撮像した画像の画面横方向を示し、実空間上の水平に相当する。また、垂直は、撮像した画像の画面縦方向を示し、実空間上の鉛直方向に相当する。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度値（Ｙ色差信号）を比較することが考えられる。例えば、輝度値の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度値から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する相対距離に相当）を画像データに対応付けた画像を距離画像という。

図２は、輝度画像１２４と距離画像１２６を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域１２２について図２（ａ）のような輝度画像（画像データ）１２４が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２４の一方のみを模式的に示している。本実施形態において、画像処理装置１２０は、このような輝度画像１２４からブロック毎の視差を求め、図２（ｂ）のような距離画像１２６を形成する。距離画像１２６における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

視差は、画像のエッジ部分（隣り合う画素間で明暗の差分が大きい部分）で特定され易いので、距離画像１２６において黒のドットが付されている、視差が導出されたブロックは、輝度画像１２４においてもエッジとなっていることが多い。したがって、図２（ａ）に示す輝度画像１２４と図２（ｂ）に示す距離画像１２６とは各対象物の輪郭について似たものとなる。

環境認識装置１３０は、画像処理装置１２０から輝度画像１２４と距離画像１２６とを取得し、輝度画像１２４に基づく輝度と、距離画像１２６に基づく自車両１との相対距離を用いて検出領域１２２における対象物がいずれの特定物に対応するかを特定する。このとき、環境認識装置１３０は、距離画像１２６における、検出領域１２２内のブロック毎の視差情報を、所謂ステレオ法を用いて、相対距離を含む三次元の位置情報に変換している。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。かかる環境認識装置１３０に関しては、後ほど詳述する。

車両制御装置１４０は、環境認識装置１３０で特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ制御を実行する。具体的に、車両制御装置１４０は、操舵の角度を検出する舵角センサ１４２や車両１の速度を検出する車速センサ１４４等を通じて現在の車両１の走行状態を取得し、アクチュエータ１４６を制御して先行車両との車間距離を安全な距離に保つ。ここで、アクチュエータ１４６は、ブレーキ、スロットルバルブ、舵角等を制御するために用いられる車両制御用のアクチュエータである。また、車両制御装置１４０は、対象物との衝突が想定される場合、運転者の前方に設置されたディスプレイ１４８にその旨警告表示（報知）を行うと共に、アクチュエータ１４６を制御して車両１を自動的に制動する。かかる車両制御装置１４０は、環境認識装置１３０と一体的に形成することもできる。

（環境認識装置１３０）
図３は、環境認識装置１３０の概略的な機能を示した機能ブロック図である。図３に示すように、環境認識装置１３０は、Ｉ／Ｆ部（画像入力部、出力部）１５０と、データ保持部１５２と、中央制御部（認識部）１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、画像処理装置１２０や車両制御装置１４０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、特定物テーブル（対応付け）や、以下に示す各機能部の処理に必要な様々な情報を保持し、また、画像処理装置１２０から受信した輝度画像１２４、距離画像１２６を一時的に保持する。ここで、特定物テーブルは、以下のように利用される。

図４は、特定物テーブル２００を説明するための説明図である。特定物テーブル２００では、複数の特定物に対して、輝度の範囲を示す輝度範囲２０２と、特定物の大きさの範囲を示す幅範囲２０４とが対応付けられている。ここで、特定物としては、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（赤）」、「道路標識（青）」、「道路標識（緑）」等、道路を走行する上で視認を要する様々な物が想定されている。特定物は図４に記載された物に限定されないのは言うまでもない。また、特定物テーブル２００では、特定物の特定に優先順位が定められており、当該環境認識処理はその優先順に従って、特定物テーブル２００における複数の特定物から順次選択された１の特定物毎に行われる。特定物のうち、例えば、特定物「信号機（赤）」には、輝度（赤）「１５０以上」、輝度（緑）「１００以下」、輝度（青）「５０以下」、幅範囲「０．２〜０．４ｍ」が対応付けられている。

本実施形態では、特定物テーブル２００に基づいて、輝度画像１２４内の任意の対象部位のうち、任意の特定物に関する輝度範囲２０２の条件を満たした対象部位が特定物の候補となる。例えば、対象部位の輝度が特定物「信号機（赤）」の輝度範囲２０２に含まれていれば、その対象部位を特定物「信号機（赤）」の候補とする。そして、対象部位をグループ化した対象物が、特定物らしい態様で抽出されれば、例えば、グループ化した対象物の大きさが「信号機（赤）」の幅範囲「０．２〜０．４ｍ」に含まれれば特定物として判定される。特定物として判定された対象部位は、特定物固有の識別番号によってラベリングされている。ここで、対象部位は、画素や画素を集めたブロックを想定しているが、本実施形態では、説明の便宜上、画素を用いることとする。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０やデータ保持部１５２を制御する。また、本実施形態において、中央制御部１５４は、輝度取得部１６０、位置情報取得部１６２、特定物仮決定部１６４、対象部位グループ化部１６６、代表距離導出部１６８、対象物グループ化部１７０、特定物決定部１７２、パターンマッチング部１７４としても機能する。

輝度取得部１６０は、後述する特定物仮決定部１６４の制御指令に従って、受信した輝度画像１２４から、対象部位（画素）単位で輝度（画素単位で３つの色相（赤、緑、青）の輝度）を取得する。このとき、検出領域が例えば雨天や曇天であった場合、輝度取得部１６０は、本来の輝度を取得できるようにホワイトバランスを調整してから取得してもよい。

位置情報取得部１６２は、後述する代表距離導出部１６８の制御指令に従い、距離画像１２６における検出領域１２２内のブロック毎の視差情報を、ステレオ法を用いて、水平距離ｘ、道路表面からの高さｙ、および、自車両１からの相対距離ｚを含む三次元の位置情報に変換する。ここで、視差情報が、距離画像１２６における各対象部位の視差を示すのに対し、三次元の位置情報は、実空間における各対象部位の相対距離の情報を示す。したがって、水平距離、高さ、相対距離といった文言を用いる場合、実空間上の距離を指し、検出距離といった文言を用いる場合、距離画像１２６上の距離を指す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。

図５は、位置情報取得部１６２による三次元の位置情報への変換を説明するための説明図である。位置情報取得部１６２は、まず、距離画像１２６を図５の如く画素単位の座標系として認識する。ここでは、図５中、左下隅を原点（０，０）とし、横方向をｉ座標軸、縦方向をｊ座標軸とする。したがって、視差ｄｐを有する画素は、画素位置ｉ、ｊと視差ｄｐによって（ｉ，ｊ，ｄｐ）のように表すことができる。

本実施形態における実空間上の三次元座標系を、車両１を中心とした相対座標系で考える。ここでは、車両１の進行方向右側方をＸ軸の正方向、車両１の上方をＹ軸の正方向、車両１の進行方向（前方）をＺ軸の正方向、２つの撮像装置１１０の中央を通る鉛直線と道路表面との交点を原点（０，０，０）とする。このとき、道路を平面と仮定すると、道路表面がＸ−Ｚ平面（ｙ＝０）と一致することとなる。位置情報取得部１６２は、以下の（数式１）〜（数式３）によって距離画像１２６上のブロック（ｉ，ｊ，ｄｐ）を、実空間上の三次元の点（ｘ，ｙ，ｚ）に座標変換する。
ｘ＝ＣＤ／２＋ｚ・ＰＷ・（ｉ−ＩＶ） …（数式１）
ｙ＝ＣＨ＋ｚ・ＰＷ・（ｊ−ＪＶ） …（数式２）
ｚ＝ＫＳ／ｄｐ …（数式３）
ここで、ＣＤは撮像装置１１０同士の間隔（基線長）であり、ＰＷは１画素当たりの視野角であり、ＣＨは撮像装置１１０の道路表面からの配置高さであり、ＩＶ、ＪＶは車両１の真正面における無限遠点の画像上の座標（画素）であり、ＫＳは距離係数（ＫＳ＝ＣＤ／ＰＷ）である。

特定物仮決定部１６４は、データ保持部１５２に保持された特定物テーブル２００に基づいて、対象物の輝度から、対象物に対応する特定物を仮決定する。

具体的に、特定物仮決定部１６４は、まず、輝度画像１２４における任意の対象部位の輝度を、輝度取得部１６０に取得させる。続いて、特定物仮決定部１６４は、特定物テーブル２００に登録されている特定物から任意の特定物を順次選択し、取得した１の対象部位の輝度が、順次選択した特定物の輝度範囲２０２に含まれるか否か判定する。そして、対象部位の輝度が対象となる輝度範囲２０２に含まれれば、その対象部位を、一旦、特定物であると仮決定し、その対象部位に当該特定物を示す識別番号を付して、特定物マップを作成する。

特定物仮決定部１６４は、このような対象部位それぞれの輝度と特定物テーブル２００に登録されている複数の特定物の輝度範囲２０２との一連の比較を、複数の対象部位毎に順次実行する。ここで、特定物の選択順は、上述したように特定物テーブル２００に示された優先順位に従っている。即ち、図４の特定物テーブル２００の例では、「信号機（赤）」、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」、「道路標識（赤）」、「道路標識（青）」、「道路標識（緑）」の順に比較処理が実行される。

また、上記優先順位に従って比較した結果、対象部位の輝度が優先順位の高い特定物の輝度範囲２０２に含まれていると判定された場合、それより優先順位が低い特定物に関する比較処理は最早行われない。したがって、１の対象部位に関して多くとも１の特定物を示す識別番号しか付されることはない。これは、複数の特定物が空間上で重なり合うことはないので、特定物仮決定部１６４によって一旦任意の特定物と判定された対象物は、最早、他の特定物であるか否かを判定する必要がないという理由に基づく。このように対象部位を排他的に取り扱うことによって、既に特定物が仮決定された対象部位の重複した特定処理を回避することができ、処理負荷を軽減することが可能となる。

図６は、特定物マップ２１０を説明するための説明図である。特定物マップ２１０は、輝度画像１２４に特定物の識別番号を重ねたものであり、特定物と仮決定された対象部位に相当する位置に、その特定物の識別番号が対応付けられる。

例えば、特定物マップ２１０中の部分マップ２１０ａでは、先行車両のテールランプに相当する複数の対象部位２１２の輝度が、特定物「信号機（赤）」、「信号機（黄）」、「信号機（青）」、特定物「テールランプ（赤）」といった順に輝度範囲２０２と比較される。その結果、特定物「テールランプ（赤）」の輝度範囲２０２に含まれているので、特定物「テールランプ（赤）」の識別番号「４」が対応付けられている。また、特定物マップ２１０中の部分マップ２１０ｂでは、信号機の右側点灯部分に相当する複数の対象部位２１４の輝度が特定物「信号機（赤）」の輝度範囲２０２に含まれているので、特定物「信号機（赤）」の識別番号「１」が対応付けられている。さらに、特定物マップ２１０中の部分マップ２１０ｃでは、先行車両の背面ランプ部に相当する複数の対象部位２１６の輝度が、特定物「信号機（赤）」、「信号機（黄）」、「信号機（青）」といった順に輝度範囲２０２と比較され、最終的に、特定物「テールランプ（赤）」の識別番号「４」および「ウィンカー（橙）」の識別番号「５」が対応付けられている。図６では、輝度画像１２４の複数の対象部位に識別番号が付された図を提示しているが、かかる表現は理解を容易にするための概念的なものであり、実際には対象部位にデータとして識別番号が登録されている。

対象部位グループ化部１６６は、仮決定された任意の対象部位を基点として、その対象部位に輝度画像１２４上で隣接する、同一の特定物に対応すると仮決定された（同一の識別番号が付された）対象部位をグループ化し、対象物とする。グループ化は、例えば、上記複数の対象部位のうち、水平距離ｘが最左（ｘｌ）の対象部位および最右（ｘｒ）の対象部位、ならびに、高さｙが最小（ｙｍｉｎ）の対象部位および最大（ｙｍａｘ）の対象部位を抽出して、ｘ＝ｘｌ、ｘ＝ｘｒ、ｙ＝ｙｍｉｎ、ｙ＝ｙｍａｘ、の４直線で囲まれる四角形で、その複数の対象部位を包含することで実行される。したがって、グループ化された対象物を構成する対象部位の数は、グループ化の元となった対象部位の数以上となる。

また、対象部位グループ化部１６６は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、その対象部位に隣接する、特定物が等しい対象部位をグループ化する。結果的に、同一の特定物として仮決定された対象部位同士が隣接していれば、それら全てがグループ化されることとなる。

図７および図８は、対象部位グループ化部１６６の処理を説明するための説明図である。ここでは、理解を容易にするために、識別番号の図示を省略する。対象部位グループ化部１６６は、図７（ａ）に示すような特定物マップ２１０に対して、例えば、特定物「信号機（赤）」に対応すると仮決定された隣接する対象部位同士をグループ化し、図７（ｂ）に示すように、対象物２１８とする。こうして特定物「信号機（赤）」が抽出される。

同様に、図７（ｃ）に示すような発光標識において、発光色「赤」の文字が表示されていると、対象部位グループ化部１６６は、図７（ｄ）に示すように、その文字毎に対象部位をグループ化して対象物２１８を導出する。ここで、発光標識のような発光を伴って情報を提示するものを、以下では、単に「表示器」という。また、図８（ａ）に示すようなトンネル内を走行中、図８（ａ）の白枠部分を拡大した図８（ｂ）のように、赤色の照明が発光していると、対象部位グループ化部１６６は、８（ｃ）に示すように、その発光部分毎に対象部位をグループ化して対象物２１８を導出する。

ここで、図７（ｄ）に着目する。図７（ｄ）に示したように、文字毎にグループ化された対象物２１８の大きさが特定物「信号機（赤）」と近似していると、最終的にこのような文字も特定物「信号機（赤）」と誤認識される可能性がある。

このとき、図７（ａ）における信号機と図７（ｃ）における表示器の違いを検討すると、信号機は同一の発光色の発光部分が近傍に無いのに対して、表示器では近傍に存在する可能性がある。そこで、発光部分（対象物）の近傍に同一の特定物と仮決定された対象部位（または対象物）が存在したら、両者をさらにグループ化して１つの対象物として纏めることとする。こうして、同一の発光色を同一面に表示する表示器等を１つの対象物として特定することが可能となる。以下に、このようなグループ化を実現するための代表距離導出部１６８と、対象物グループ化部１７０とを説明する。

代表距離導出部１６８は、対象部位グループ化部１６６によってグループ化された対象物における各対象部位の相対距離ｚの代表値である代表距離を導出する。代表距離は、グループ化された対象物から複数の対象部位を任意に指定し、その相対距離の平均値等としてもよいが、本実施形態では、出現頻度が高い相対距離を代表距離とする。具体的に、代表距離導出部１６８は、所定の距離範囲を複数に区分した区分距離範囲を設け、対象物における各対象部位の相対距離ｚがいずれの区分距離範囲に含まれるか判定し、相対距離ｚが含まれる区分距離範囲に１を積算する。こうして対象物における対象部位全ての相対距離ｚを積算すると対象物の距離分布を示すヒストグラムが生成される。そして、代表距離導出部１６８は、積算した距離分布（ヒストグラム）のピークに相当する相対距離を代表距離として導出する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。

ただし、代表距離は、かかる距離分布のピークのみならず、例えば、対象物内の対象部位の相対距離ｚの平均値、最大値または最小値をとるなど、様々な手順で導出することができる。代表距離はその対象物の概略的な１の相対距離を特定できれば足りる。

対象物グループ化部１７０は、基点となる対象物からの水平距離ｘの差分および高さｙの差分が第１所定範囲内にあり、相対距離ｚと代表距離との差分が第２所定範囲内にある対象部位が、基点となる対象物と輝度に関して同一の特定物に対応するか否か判定する。ここで、第１所定範囲や第２所定範囲は、例えば実空間で１．０ｍ等とすることができる。そして、対象物グループ化部１７０は、対象物と同一の特定物に対応する対象部位があると、その対象部位も対象物としてグループ化する。実空間では、水平距離ｘや高さｙが近似していたとしても、相対距離ｚが離れている場合、別体の対象物であることが想定される。したがって、ここでは、水平距離ｘ、高さｙおよび相対距離ｚのいずれかが離れている場合、その対象部位のグループは独立した対象物とみなすこととする。こうして、高精度なグループ化を図ることができる。

このとき、対象物グループ化部１７０は、第１所定範囲内および第２所定範囲内にある複数の対象部位同士が隣接し、かつ、その数が所定数（例えば５）以上である場合にのみ、その複数の対象部位を対象物としてグループ化する。例えば、第１所定範囲内および第２所定範囲内にある対象部位同士が隣接しており、その数がある程度多ければ、その対象部位の群を実際に存在する対象物の一部とみなすことができる。こうすることで、ノイズ的に生じた、対象物と同一の特定物に対応する対象部位を排除することができ、適切にグループ化を実行することができる。

また、対象物グループ化部１７０は、対象物としてグループ化した対象部位の相対距離ｚを代表距離とみなし、その対象部位を基点に、条件を満たした他の対象部位をさらに対象物としてグループ化する。

図９は、対象物グループ化部１７０の処理を説明するための説明図である。ここで、図９（ａ）および図９（ｂ）は、図７（ｄ）の特定物マップ２１０に対応した距離画像１２６であり、図９（ｃ）は、図７（ｄ）同様の特定物マップ２１０である。図９（ａ）に示すように、対象物グループ化部１７０は、まず、画面左下の対象物２１８ａを基点にし、対象物２１８ａの中心（または重心）位置から第１所定範囲２２０内および第２所定範囲内にある、対象物と同一の特定物に対応する対象部位をサーチする。ここでは、対象物２１８ｂが対象物２１８ａと同一の特定物に対応しており、かつ、隣接する対象部位が所定数以上存在するので、対象物２１８ｂは対象物２１８ａにグループ化される。

続いて、対象物グループ化部１７０は、対象物２１８ａにグループ化した対象部位（対象物２１８ｂ）の相対距離ｚを代表距離とみなし、その対象部位を基点に、条件を満たした他の対象部位をさらに対象物２１８ａとしてグループ化する。ここで、条件は、第１所定範囲内および第２所定範囲内にあり、かつ、対象物２１８ａと同一の特定物であることである。このように同一の特定物とみなせる対象部位を順次グループ化することで、距離が近似する対象物（対象部位）を、図９（ｂ）に示すように１つの対象物２１８ａに纏めることが可能となる。また、対象部位を順次グループ化することで、一度に広い範囲をグループ化する場合と異なり、連続性の高い対象物のみを適切にグループ化することができる。これを図９（ｃ）のように特定物マップ２１０に反映すると、対象物２１８ａは、輝度に関して特定物「信号機（赤）」と仮決定されるものの、その大きさが、０．４ｍ以上となるので（図４参照）、最終的に特定物「信号機（赤）」と判定されることはない。こうして、表示器を信号と誤判定することを回避することが可能となる。

ここで、対象物グループ化部１７０は、実空間上の水平距離ｘや高さｙを用いて判定しているが、輝度画像１２４上や距離画像１２６上の検出距離で判定する場合、グループ化のための第１所定範囲の閾値は、対象部位の相対距離ｚに応じて変更される。図２等に示したように、輝度画像１２４や距離画像１２６では、遠近の物体が平面上に表されているため、本来遠方に位置する物体は小さく（短く）表され、近傍に位置する物体は大きく（長く）表される。したがって、輝度画像１２４や距離画像１２６における第１所定範囲の閾値は、例えば、遠方に位置する対象部位については短く、近傍に位置する対象部位については長く設定されることとなる。こうして、遠方と近傍とで検出距離が異なる場合であっても安定したグループ化が望める。また、距離画像１２６上の検出距離で判定する場合、第１所定範囲を画素数で定義してもよく、例えば、水平方向や垂直方向に１画素の間隔を有する（隣接する）画素同士をグループ化するとしてもよい。

また、ここでは、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離ｘの差分、高さｙの差分および相対距離ｚの差分の二乗平均√（（水平距離ｘの差分）^２＋（高さｙの差分）^２＋（相対距離ｚの差分）^２）が第３所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、対象物と他の対象部位との実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。

しかし、対象物グループ化部１７０は、規則的に対象物のグループ化処理を遂行するため、このようなグループ化によって、意図せず小さな発光物が統合されてしまい、認識したい本来の特定物ではないものを、特定物として誤認識してしまう場合が生じ得る。

図１０は、対象物グループ化部１７０の処理を説明するための他の説明図である。例えば、上記のように、特定物「信号機（赤）」の抽出を試みている場合において、対象部位グループ化部１６６は、トンネル内に狭い間隔で設置された複数の照明を図１０（ａ）のように照明毎にグループ化して対象物２１８としている。したがって、この状態が維持されれば、その対象物の大きさが特定物「信号機（赤）」の幅範囲２０４に含まれないので、最終的に、特定物「信号機（赤）」と判定されないで済む。

しかし、対象物グループ化部１７０は、輝度画像１２４全体に対して一律にグループ化処理を遂行するので、特定の対象物のみを、そのグループ化対象から排除することはできない。したがって、対象物グループ化部１７０は、図１０（ａ）に示すように、複数の対象物２１８が画面上近い位置にあると、図１０（ｂ）の如く、その複数の対象物２１８をグループ化してしまう。そうすると、本来、単体であれば信号機の発光部分よりも小さいと認識されるはずのトンネル内照明が、複数統合される事により信号機と近い大きさとなってしまい、信号機と誤認識してしまうこととなる。

また、対象物グループ化部１７０に限らず、画面上で複数の光源の一部が重なって検出されると、それを１つの光源として認識し、やはり信号機と近い大きさとなって、信号機と誤認識してしまうこともある。例えば、遠距離にある複数の光源が画面上の数画素内に収容される場合に、その複数の光源が１つの対象物として認識される可能性がある。

ここで、図７（ｂ）における信号機の発光部分と図１０（ｂ）におけるグループ化された照明との違いを検討すると、信号機の発光部分は、１つの光源しか含まれないのに対して、グループ化された照明は複数の光源が含まれる。即ち、信号機は対象物内において全体的に輝度が高くなり、グループ化された照明は部分的には輝度が高くなるものの、その位置は偏り、全体的な輝度は信号機より低くなる。そこで、本実施形態では、対象物における各対象部位の輝度分布に基づいて、その対象物内の光源が１つであるか複数であるか判定し、対象物の特定精度を向上することを目的とする。以下に、このような判定を実現するための特定物決定部１７２を説明する。

特定物決定部１７２は、まず、グループ化された対象物２１８内の特定領域における各対象部位の輝度が、特定物に関する所定の輝度範囲に含まれるか否か判定する。そして、特定領域全ての対象部位に対する、輝度が、所定の輝度範囲に含まれる対象部位の割合を導出し、その割合が所定閾値以上であるか否か判定する。そして、所定の輝度範囲に含まれる割合が所定閾値以上であり、かつ、所定の条件を満たしていれば、その対象物を特定物として決定する。ここで、輝度範囲は、図４の特定物テーブル２００で示した輝度範囲２０２をそのまま利用してもよいが、特定物決定部１７２において個々に設定することもできる。また、輝度範囲は、露光時間やダイナミックレンジによって変更するとしてもよい。所定閾値は任意の数値を設定することができるが、ここでは６割程度とする。また、所定閾値は、カラー復元の手法やレンズ解像度によって異ならせてもよい。

上記特定領域は、対象物内の、対象物より小さい領域を、対象物との比や位置関係を用いて任意に設定することができる。本実施形態では、特定領域として、対象物の画像上垂直方向の中央を通り水平方向に延伸する帯状領域、および、対象物の画像上水平方向の中央を通り垂直方向に延伸する帯状領域のいずれか一方、または、両方を採用した場合を挙げて説明する。

図１１は、特定物決定部１７２の処理を説明するための説明図である。特に、図１１（ａ）は、特定領域を、対象物の画像上垂直方向の中央を通り水平方向に延伸する帯状領域２２２とした場合を示し、図１１（ｂ）は、特定領域を、対象物の画像上水平方向の中央を通り垂直方向に延伸する帯状領域２２４とした場合を示している。また、図１１（ｃ）は、特定領域を、図１１（ａ）および図１１（ｂ）の帯状領域２２２と帯状領域２２４を重ねた十字状領域２２６とした場合を示している。

図１１（ａ）に示した帯状領域２２２に含まれる対象部位の輝度に着目すると、特定物「信号機（赤）」の輝度範囲に含まれる輝度を有する対象部位はあるものの、その比率は帯状領域２２２全体の６割に満たない。また、輝度のピーク値が複数箇所に現れ、中央より側部に偏る傾向にある。

図１１（ｂ）に示した帯状領域２２４や図１１（ｃ）に示した十字状領域２２６も、帯状領域２２２同様、特定物「信号機（赤）」の輝度範囲に含まれる輝度を有する対象部位はあるものの、その比率は帯状領域２２２全体の６割に満たない。

上記図１１では、２つ（偶数）の光源がグループ化された例を挙げているので、対象物の中央部分にある対象部位の輝度は特定物「信号機（赤）」の輝度範囲に含まれる可能性が低い。一方、光源が３つ等奇数であったの場合、対象物の中央部分にある対象部位の輝度が、特定物「信号機（赤）」の輝度範囲に含まれる輝度を有する可能性が高まる。しかし、上記のような帯状領域２２２、２２４や十字状領域２２６内では輝度が高いところが疎となるので、やはり、その比率は帯状領域２２２、２２４や十字状領域２２６それぞれの６割に満たないこととなる。

したがって、特定物決定部１７２は、上記帯状領域２２２、２２４や十字状領域２２６のような特定領域における各対象部位の輝度を抽出すると共に、それぞれが特定物の輝度範囲に含まれているか否か判定する。そして、特定物の輝度範囲に含まれている割合が所定閾値以上であれば、その対象物２１８は１つの光源からなるとして、例えば、特定物「信号機（赤）」であると判定する。この場合、特定物の輝度範囲に含まれている割合が所定閾値未満となった対象物２１８は、特定物「信号機（赤）」と判定されないので、以後、他の特定物である可能性が検討される。

また、ここでは、帯状領域２２２、２２４を対象物２１８の一端部から他端部まで延伸する例を挙げて説明したが、その長さは一端部から他端部に限らず、任意に短くとることもできる。

続いて、特定物決定部１７２は、輝度が所定の輝度範囲に含まれる対象部位の割合が所定閾値以上であれば、所定の条件を満たしているか否か判定し、満たしていれば、その対象物を特定物として決定する。例えば、図４に示したように、特定物テーブル２００に幅範囲２０４が対応付けられている場合、特定物決定部１７２は、特定物テーブル２００に基づき、対象物の大きさ（対象物の水平距離ｘの幅および高さｙの幅のいずれも）が、対象物について仮決定された特定物の幅範囲２０４に含まれていれば、その対象物を対象となる特定物として決定することとする。また、対象物の水平距離ｘの幅および高さｙの幅それぞれについて幅範囲２０４を設定してもよい。ここでは、対象物が、特定物とみなすのに妥当な大きさであることを確認している。したがって、幅範囲２０４に含まれない場合、当該環境認識処理に不要な情報として除外することができる。例えば、図７や図９を用いた例では、図７（ｂ）の対象物２１８の大きさは、特定物「信号機（赤）」の幅範囲「０．２〜０．４ｍ」に含まれるため、適切に特定物「信号機（赤）」と特定される。一方、図９（ｃ）の対象物２１８ａの大きさは、特定物「信号機（赤）」の幅範囲「０．２〜０．４ｍ」に含まれないため、特定物「信号機（赤）」として特定されることはない。また、図１０（ｂ）に示した対象物２１８は、大きさを判定される以前に、上記帯状領域２２２、２２４や十字状領域２２６による判定で排除されるので、当然、特定物「信号機（赤）」として特定されることはない。

こうして、環境認識装置１３０では、輝度画像１２４から、１または複数の対象物を、特定物として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、特定物「信号機（赤）」を抽出することで、その対象物が、移動を伴わない固定された物であることが把握されると共に、その対象物が自車線に関する信号機であれば、自車両１は、停止または減速すべきであることを把握することができる。また、特定物「テールランプ（赤）」を抽出することで、そこに自車両１と共に走行している先行車両があり、かつ、その先行車両の背面が、特定物「テールランプ（赤）」の相対距離ｚにあることを把握することができる。

パターンマッチング部１７４は、特定物決定部１７２が決定した特定物が例えば「標識」であり、その中には制限速度が表記されていることが想定される場合、さらに、表記されている数値についてパターンマッチングを実行し、その数値を特定する。こうして、環境認識装置１３０は、自車線の制限速度等を認識することができる。

本実施形態においては、まず、特定物決定部１７２によって複数に制限された特定物を抽出し、その抽出された特定物とのパターンマッチングのみ行えばよい。したがって、従来のように、輝度画像１２４全面に対してパターンマッチングを行うのに比べ処理負荷が格段に少なくなる。

（環境認識方法）
以下、環境認識装置１３０の具体的な処理を図１２〜図１７のフローチャートに基づいて説明する。図１２は、画像処理装置１２０から距離画像（視差情報）１２６が送信された場合の割込処理に関する全体的な流れを示し、図１３〜図１７は、その中の個別のサブルーチンを示している。また、ここでは、対象部位として画素を挙げており、輝度画像１２４や距離画像１２６の左下隅を原点とし、画像水平方向に１〜６００画素、垂直方向に１〜２００画素の範囲で当該環境認識方法による処理を遂行する。また、ここでは、対象となる特定物の数を８つと仮定する。

図１２に示すように、距離画像１２６の受信を契機に当該環境認識方法による割込が発生すると、特定物「信号機（赤）」が抽出されたとする。次に、画像処理装置１２０から取得した輝度画像１２４が参照されて対象部位が特定物として仮決定され、特定物マップ２１０が生成される（Ｓ３０２）。

続いて、仮決定された特定物がグループ化され（Ｓ３０４）、そのグループ化された対象物の代表距離が導出され（Ｓ３０６）、対象物の周囲にある対象部位をさらにグループ化して（Ｓ３０８）、グループ化された対象物が特定物として決定される（Ｓ３１０）。決定された特定物からさらに情報を得る必要があれば、パターンマッチング部１７４によって、特定物のパターンマッチングが実行される（Ｓ３１２）。以下、上記の処理を具体的に説明する。

（特定物マップ生成処理Ｓ３０２）
図１３を参照すると、特定物仮決定部１６４は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ３５０）。続いて、特定物仮決定部１６４は、垂直変数ｊに「１」を加算（インクリメント）すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ３５２）。次に、特定物仮決定部１６４は、水平変数ｉに「１」を加算し、特定物変数ｍを初期化（「０」を代入）する（Ｓ３５４）。ここで、水平変数ｉや垂直変数ｊを設けているのは、６００×２００の画素全てに対して当該特定物マップ生成処理を実行するためであり、特定物変数ｍを設けているのは、画素毎に８つの特定物を順次比較するためである。

特定物仮決定部１６４は、輝度画像１２４から対象部位としての画素（ｉ，ｊ）の輝度を輝度取得部１６０に取得させ（Ｓ３５６）、特定物変数ｍに「１」を加算し（Ｓ３５８）、特定物（ｍ）の輝度範囲２０２を取得し（Ｓ３６０）、画素（ｉ，ｊ）の輝度が特定物（ｍ）の輝度範囲２０２に含まれるか否か判定する（Ｓ３６２）。

画素（ｉ，ｊ）の輝度が特定物（ｍ）の輝度範囲２０２に含まれていれば（Ｓ３６２におけるＹＥＳ）、特定物仮決定部１６４は、その画素に特定物（ｍ）を示す識別番号ｐを対応付けて、画素（ｉ，ｊ，ｐ）とする（Ｓ３６４）。こうして、輝度画像１２４中の各画素に識別番号が付された特定物マップ２１０が生成される。また、画素（ｉ，ｊ）の輝度が特定物（ｍ）の輝度範囲２０２に含まれていなければ（Ｓ３６２におけるＮＯ）、特定物変数ｍが特定物の最大数である８を超えたか否か判定する（Ｓ３６６）。ここで、特定物変数ｍが最大値を超えていなければ（Ｓ３６６におけるＮＯ）、ステップＳ３５８の特定物変数ｍのインクリメント処理からを繰り返す。また、特定物変数ｍが最大値を超えていれば（Ｓ３６６におけるＹＥＳ）、当該画素（ｉ，ｊ）に対応する特定物は存在しないとして、次のステップＳ３６８に処理が移される。

続いて、特定物仮決定部１６４は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ３６８）、水平変数ｉが最大値を超えていなければ（Ｓ３６８におけるＮＯ）、ステップＳ３５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ３６８におけるＹＥＳ）、特定物仮決定部１６４は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ３７０）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ３７０におけるＮＯ）、ステップＳ３５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ３７０におけるＹＥＳ）、当該特定物マップ生成処理を終了する。

（対象部位グループ化処理Ｓ３０４）
図１４を参照すると、対象部位グループ化部１６６は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４０２）。続いて、対象部位グループ化部１６６は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４０４）。次に、対象部位グループ化部１６６は、水平変数ｉに「１」を加算する（Ｓ４０６）。

対象部位グループ化部１６６は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｐ，ｄｐ）を取得する（Ｓ４０８）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ）に特定物の識別番号ｐが対応付けられているか否か判定する（Ｓ４１０）。ここで、識別番号ｐが対応付けられていれば（Ｓ４１０におけるＹＥＳ）、対象部位グループ化部１６６は、その画素（ｉ，ｊ，ｐ，ｄｐ）に隣接する、等しい識別番号ｐが対応付けられている他の画素が存在するか否か判定する（Ｓ４１２）。

識別番号ｐの等しい他の画素（ｉ，ｊ，ｐ，ｄｐ）が存在すれば（Ｓ４１２におけるＹＥＳ）、対象部位グループ化部１６６は、自己を含む隣接する全ての画素のいずれかにグループ番号ｇが付されているか否か判定する（Ｓ４１４）。いずれかにグループ番号ｇが付されていたら（Ｓ４１４におけるＹＥＳ）、対象部位グループ化部１６６は、隣接する全ての画素および同一のグループ番号ｇが付されている全ての画素に、その付されているグループ番号のうち最も小さいグループ番号ｇ、および、グループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を付与して、画素（ｉ，ｊ，ｐ，ｄｐ，ｇ）とする（Ｓ４１６）。また、いずれにもグループ番号ｇが付されていない場合（Ｓ４１４におけるＮＯ）、グループ番号としてまだ利用されていない番号のうち最も小さい値を、自己を含む隣接する全ての画素に新規に付与する（Ｓ４１８）。

このように、隣接する画素に識別番号が等しい対象部位が複数存在する場合、１のグループ番号ｇを付すことによってグループ化を行う。このとき、複数の対象部位のいずれにも未だグループ番号ｇが付されていない場合、新規のグループ番号ｇを付すこととし、いずれかに既にグループ番号ｇが付されている場合、それと同一のグループ番号ｇを付すこととなる。ただし、複数の対象部位に複数のグループ番号ｇが存在する場合、１つのグループとみなすべきなので、その対象部位全てのグループ番号ｇを１のグループ番号ｇに置換することとする。

このとき、隣接する全ての画素のみならず、同一のグループ番号ｇが付されている全ての画素のグループ番号ｇを一度に変更しているのは、グループ番号ｇの変更により、すでに統一化されたグループを分離しないためである。また、最も小さいグループ番号ｇまたはグループ番号としてまだ利用されていない番号のうち最も小さい値のいずれか小さい方を採用しているのは、グループの採番において可能な限り欠番を出さないようにするためである。こうすることで、グループ番号ｇの最大値が無用に大きくなることがなくなり、処理負荷を軽減することが可能となる。

識別番号ｐが対応付けられていない場合（Ｓ４１０におけるＮＯ）、または、識別番号の等しい他の画素が存在しない場合（Ｓ４１２におけるＮＯ）、次のステップＳ４２０に処理が移される。

続いて、対象部位グループ化部１６６は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４２０）、水平変数ｉが最大値を超えていなければ（Ｓ４２０におけるＮＯ）、ステップＳ４０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４２０におけるＹＥＳ）、対象部位グループ化部１６６は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４２２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４２２におけるＮＯ）、ステップＳ４０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４２２におけるＹＥＳ）、当該対象部位グループ化処理を終了する。

（代表距離導出処理Ｓ３０６）
図１５を参照すると、代表距離導出部１６８は、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ４５０）。続いて、代表距離導出部１６８は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ４５２）。次に、代表距離導出部１６８は、水平変数ｉに「１」を加算する（Ｓ４５４）。

代表距離導出部１６８は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｐ，ｄｐ，ｇ）を取得し、視差情報ｄｐを含む画素を実空間上の点（ｘ，ｙ，ｚ）に座標変換して、画素（ｉ，ｊ，ｐ，ｄｐ，ｇ，ｘ，ｙ，ｚ）とする（Ｓ４５６）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ，ｇ，ｘ，ｙ，ｚ）のグループ番号ｇが有効な値であるか否か、即ち、グループ番号ｇが既に付与されているか否か判定する（Ｓ４５８）。ここで、グループ番号ｇとして有効な値が付与されていれば（４５８におけるＹＥＳ）、代表距離導出部１６８は、その画素（ｉ，ｊ，ｐ，ｄｐ，ｇ，ｘ，ｙ，ｚ）を含む対象物の代表距離が既に導出されているか否か判定する（Ｓ４６０）。

その画素を含む対象物の代表距離がまだ導出されていなければ（Ｓ４６０におけるＮＯ）、代表距離導出部１６８は代表距離を導出し、対象物内の全ての対象部位に代表距離ｒｄを設定して、画素（ｉ，ｊ，ｐ，ｄｐ，ｇ，ｘ，ｙ，ｚ，ｒｄ）とする（Ｓ４６２）。ここで、代表距離は、対象物内の対象部位の距離分布のピークに相当する相対距離ｚである。グループ番号ｇが有効な値ではない（Ｓ４５８におけるＮＯ）、または、代表距離が既に導出済みであれば（Ｓ４６０におけるＹＥＳ）、次のステップＳ４６４に処理が移される。

続いて、代表距離導出部１６８は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ４６４）、水平変数ｉが最大値を超えていなければ（Ｓ４６４におけるＮＯ）、ステップＳ４５４の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ４６４におけるＹＥＳ）、代表距離導出部１６８は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ４６６）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ４６６におけるＮＯ）、ステップＳ４５２の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ４６６におけるＹＥＳ）、当該代表距離導出処理を終了する。

（対象物グループ化処理Ｓ３０８）
図１６を参照すると、対象物グループ化部１７０は、対象部位をグループ化するための第１所定範囲、第２所定範囲を参照し（Ｓ５００）、対象部位（画素）を特定するための垂直変数ｊを初期化（「０」を代入）する（Ｓ５０２）。続いて、対象物グループ化部１７０は、垂直変数ｊに「１」を加算すると共に水平変数ｉを初期化（「０」を代入）する（Ｓ５０４）。次に、対象物グループ化部１７０は、水平変数ｉに「１」を加算する（Ｓ５０６）。

対象物グループ化部１７０は、輝度画像１２４から対象部位としての画素（ｉ，ｊ，ｐ，ｄｐ，ｇ，ｘ，ｙ，ｚ，ｒｄ）を取得する（Ｓ５０８）。そして、その画素（ｉ，ｊ，ｐ，ｄｐ，ｇ，ｘ，ｙ，ｚ，ｒｄ）に特定物の識別番号ｐが対応付けられているか否か判定する（Ｓ５１０）。ここで、識別番号ｐが対応付けられていれば（Ｓ５１０におけるＹＥＳ）、対象物グループ化部１７０は、その画素の実空間上の座標（ｘ，ｙ，ｚ）から第１所定範囲内および第２所定範囲内に、等しい識別番号ｐが対応付けられている他の画素が存在するか否か判定する（Ｓ５１２）。

識別番号ｐの等しい他の画素（ｉ，ｊ，ｐ，ｄｐ，ｇ，ｘ，ｙ，ｚ，ｒｄ）が存在すれば（Ｓ５１２におけるＹＥＳ）、対象物グループ化部１７０は、他の画素を含む対象物内の対象部位の数が所定数以上あるか否か判定する（Ｓ５１４）。対象物内の対象部位の数が所定数以上あれば（Ｓ５１４におけるＹＥＳ）、対象物グループ化部１７０は、他の画素を含む対象物全てを当該対象物と共にグループ化し、他の画素を含む対象物のグループ番号を当該対象物のグループ番号に置換する（Ｓ５１６）。そして、対象物グループ化部１７０は、代表距離として、他の画素を含む対象物の代表距離を加え、ステップＳ５１２の条件判定処理からを繰り返す（Ｓ５１８）。こうして、基点となった対象物のみならず、グループ化された対象物についても、近傍の対象物がサーチされることとなる。

識別番号ｐが対応付けられていない場合（Ｓ５１０におけるＮＯ）、条件を満たす対象物が存在しない場合（Ｓ５１２におけるＮＯ）、または、対象部位の数が所定数未満であった場合（Ｓ５１４におけるＮＯ）、次のステップＳ５２０に処理が移される。

続いて、対象物グループ化部１７０は、水平変数ｉが水平画素の最大値である６００を超えたか否か判定し（Ｓ５２０）、水平変数ｉが最大値を超えていなければ（Ｓ５２０におけるＮＯ）、ステップＳ５０６の水平変数ｉのインクリメント処理からを繰り返す。また、水平変数ｉが最大値を超えていれば（Ｓ５２０におけるＹＥＳ）、対象物グループ化部１７０は、垂直変数ｊが垂直画素の最大値である２００を超えたか否か判定する（Ｓ５２２）。そして、垂直変数ｊが最大値を超えていなければ（Ｓ５２２におけるＮＯ）、ステップＳ５０４の垂直変数ｊのインクリメント処理からを繰り返す。また、垂直変数ｊが最大値を超えていれば（Ｓ５２２におけるＹＥＳ）、当該対象物グループ化処理を終了する。

（特定物決定処理Ｓ３１０）
図１７を参照すると、特定物決定部１７２は、グループを特定するためのグループ変数ｋを初期化（「０」を代入）する（Ｓ５５２）。続いて、特定物決定部１７２は、グループ変数ｋに「１」を加算する（Ｓ５５４）。

特定物決定部１７２は、輝度画像１２４からグループ番号ｇがグループ変数ｋである対象物が存在するか否か判定し（Ｓ５５６）、存在すれば（Ｓ５５６におけるＹＥＳ）、その対象物における帯状領域２２２を計算する（Ｓ５５８）。具体的に、特定物決定部１７２は、対象物の画面上垂直方向の上下端部座標（上端ｙｍａｘ、下端ｙｍｉｎ）と、水平方向の左右端部座標（左端ｘｌ、右端ｘｒ）を取得する。そして、帯状領域２２２の短手方向の中心を座標（ｘｌ，（ｙｍａｘ＋ｙｍｉｎ）／２）から座標（ｘｒ，（ｙｍａｘ＋ｙｍｉｎ）／２）とし、短手方向の幅を任意の画素数とする。続いて、特定物決定部１７２は、帯状領域２２２における各対象部位の輝度が特定物の輝度範囲に含まれるか否か判定し、輝度範囲に含まれる対象部位の全体に対する割合を計算し（Ｓ５６０）、その割合が所定閾値以上であるか否か判定する（Ｓ５６２）。

輝度が特定物の輝度範囲に含まれる対象部位の割合が所定閾値以上であれば（Ｓ５６２におけるＹＥＳ）、特定物決定部１７２は、そのグループ番号ｇが付された対象物の大きさを計算する（Ｓ５６４）。このとき対象物の大きさは、対象物の画面左端に位置する画素と画面右端に位置する画素間の水平距離（差分）である水平方向成分および対象物の画面上端に位置する画素と画面下端に位置する画素間の高さ（差分）である垂直方向成分によって特定される。そして、計算した大きさが、グループ番号ｇがグループ変数ｋである対象物に対応付けられた識別番号ｐで示される特定物の幅範囲２０４に含まれるか否か判定する（Ｓ５６６）。例えば、対象物の大きさの水平方向成分が特定物「信号機（赤）」の幅範囲２０４以内であり、かつ、対象物の大きさの垂直方向成分が特定物「信号機（赤）」の幅範囲２０４以内であれば、対象物は特定物「信号機（赤）」の幅範囲２０４に含まれると判定できる。

大きさが識別番号ｐで示される特定物の幅範囲２０４に含まれていれば（Ｓ５６６におけるＹＥＳ）、特定物決定部１７２は、その対象物を特定物として決定する（Ｓ５６８）。グループ番号ｇがグループ変数ｋである対象物が存在しない場合（Ｓ５５６におけるＮＯ）、対象部位の割合が所定閾値以上ではない場合（Ｓ５６２におけるＮＯ）、または、大きさが識別番号ｐで示される特定物の幅範囲２０４に含まれていない場合（Ｓ５６６におけるＮＯ）、次のステップＳ５７０に処理が移される。

続いて、特定物決定部１７２は、グループ変数ｋが、グループ化処理において設定されたグループ番号の最大値を超えたか否か判定する（Ｓ５７０）。そして、グループ変数ｋが最大値を超えていなければ（Ｓ５７０におけるＮＯ）、ステップＳ５５４のグループ変数ｋのインクリメント処理からを繰り返す。また、グループ変数ｋが最大値を超えていれば（Ｓ５７０におけるＹＥＳ）、当該特定物決定処理を終了する。こうして、グループ化された対象物が正式に特定物として決定される。

以上、説明したように、環境認識装置１３０によれば、対象物グループ化部１７０に意図せずグループ化されたり、複数の光源の一部が重なってしまった場合であっても、その対象物の輝度分布に基づいて、特定物であるか否か適切に判定することが可能となる。こうして、対象物の特定精度を向上し、誤認識を回避することが可能となる。

また、コンピュータを、環境認識装置１３０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上述した実施形態においては、対象物の三次元位置を複数の撮像装置１１０を用い画像データ間の視差に基づいて導出しているが、かかる場合に限られず、例えば、レーザレーダ測距装置等、既知の様々な距離測定装置を用いることができる。ここで、レーザレーダ測距装置は、検出領域１２２にレーザビームを投射し、このレーザビームが物体に当たって反射してくる光を受光し、この所要時間から物体までの距離を測定するものである。

また、上述した実施形態では、特定物「信号機（赤）」を挙げて説明しているが、本発明は、例えば、図４の特定物テーブル２００に示した特定物等、様々な特定物に適応できる。例えば、「信号機（黄）」、「信号機（青）」、「テールランプ（赤）」、「ウィンカー（橙）」等は、近くに同色の光源を伴わず、単体で発光するとみなせるので、「信号機（赤）」同様の判定を実行することが可能である。

また、上述した実施形態では、特定領域として、帯状領域２２２、２２４や十字状領域２２６を挙げて説明したが、例えば、対角線に相当する右上に傾斜する帯状領域および左上に傾斜する帯状領域を特定領域としてもよい。画面上では、複数の光源が並んで斜めに検出される可能性が高いことに鑑み、その２つの領域では輝度に統計上の差が生じる可能性が高い。そこで、特定物決定部１７２は、傾斜する２つの帯状領域の輝度の和または平均値を比較して、その差が所定閾値以内である場合に限り、対象物を特定物として決定するとしてもよい。

また、上述した実施形態においては、撮像装置１１０がカラー画像を取得することを前提としているが、かかる場合に限られず、モノクロ画像を取得することでも本実施形態を遂行することができる。この場合、特定物テーブル２００が単色の輝度で定義されることとなる。

また、上述した実施形態では、位置情報取得部１６２が、画像処理装置１２０から距離画像（視差情報）１２６を受けて三次元の位置情報を生成している例を挙げている。しかし、かかる場合に限られず、画像処理装置１２０において予め三次元の位置情報を生成し、位置情報取得部１６２は、その生成された三次元の位置情報を取得するとしてもよい。このようにして、機能分散を図り、環境認識装置１３０の処理負荷を軽減することが可能となる。

また、上述した実施形態においては、輝度取得部１６０、位置情報取得部１６２、特定物仮決定部１６４、対象部位グループ化部１６６、代表距離導出部１６８、対象物グループ化部１７０、特定物決定部１７２、パターンマッチング部１７４は中央制御部１５４によってソフトウェアで動作するように構成している。しかし、上記の機能部をハードウェアによって構成することも可能である。

また、特定物決定部１７２は、例えば対象物の大きさが特定物の幅範囲２０４に含まれることをもって特定物と決定しているが、かかる場合に限らず、さらに、他の様々な条件を満たしている場合に特定物として決定してもよい。例えば、対象物中における水平方向および鉛直方向の相対距離ｚの推移がほぼ等しい（連続する）場合や、ｚ座標に対する相対移動速度が等しい場合に特定物とする。このとき対象物中における水平方向および鉛直方向の相対距離ｚの推移は、ハフ変換あるいは最小二乗法による近似直線によって特定することができる。

なお、本明細書の環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、検出領域における対象物の輝度に基づいて、その対象物を認識する環境認識装置に利用することができる。

１ …車両
１２２ …検出領域
１２４ …輝度画像
１２６ …距離画像
１３０ …環境認識装置
１５２ …データ保持部
１６０ …輝度取得部
１６２ …位置情報取得部
１６４ …特定物仮決定部
１６６ …対象部位グループ化部
１６８ …代表距離導出部
１７０ …対象物グループ化部
１７２ …特定物決定部
２００ …特定物テーブル
２０２ …輝度範囲
２０４ …幅範囲
２１０ …特定物マップ

Claims (6)

1. 輝度の範囲と特定光源とを対応付けて保持するデータ保持部と、
   検出領域内に存在する対象部位の輝度を取得する輝度取得部と、
   前記データ保持部に保持された対応付けに基づいて、前記対象部位の輝度から、前記対象部位に対応する特定光源を仮決定する特定物仮決定部と、
   同一の特定光源に対応すると仮決定された隣接する対象部位をグループ化して対象物とする対象部位グループ化部と、
   前記対象物からの水平距離の差分および高さの差分が第１所定範囲内にある、該対象物と輝度に関して同一の特定光源に対応する対象部位を該対象物としてグループ化する対象物グループ化部と、
   前記対象物内の特定領域における全ての対象部位に対する、輝度が所定の輝度範囲に含まれる対象部位の割合が所定閾値以上であれば、該対象物が１つの光源からなるものと判定して該対象物を前記特定光源の候補とするとともに、所定閾値未満であれば該対象物が複数の光源からなるものと判定して該対象物を該特定光源の候補から除外する特定物決定部と、
   を備えることを特徴とする環境認識装置。
2. 画素毎に輝度を有する輝度画像を取得する画像入力部と、
   前記画像入力部で取得した前記輝度画像の輝度に基づき特定光源を認識する認識部と、
   前記認識部からの光源認識結果を出力する出力部と、
   を備え、
   前記認識部は、前記輝度に基づき特定の輝度を有する対象部位を抽出して互いに隣接する対象部位同士をグループ化して対象物とし、一の対象物と所定距離内にある他の対象物もしくは他の対象部位を統合し、統合した対象物の特定領域における対象部位に対する、輝度が所定の輝度範囲に含まれる対象部位の割合が所定閾値以上であれば、該統合した対象物が１つの光源からなるものと判定して前記対象物を特定光源の候補とするとともに、所定閾値未満であれば該対象物が複数の光源からなるものと判定して該対象物を該特定光源の候補から除外することを特徴とする環境認識装置。
3. 前記特定領域は、前記対象物の画像上垂直方向の中央を通り水平方向に延伸する帯状領域であることを特徴とする請求項１または２に記載の環境認識装置。
4. 前記特定領域は、前記対象物の画像上水平方向の中央を通り垂直方向に延伸する帯状領域であることを特徴とする請求項１から３のいずれか１項に記載の環境認識装置。
5. 前記特定光源の候補とした対象物の大きさが所定の条件を満たしている場合に前記対象物を前記特定光源として決定することを特徴とする請求項１から４の何れか１項に記載の環境認識装置。
6. 前記特定光源は信号機の発光部分であることを特徴とする請求項１から５のいずれか１項に記載の環境認識装置。