JP5886809B2 - 車外環境認識装置 - Google Patents

Description

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の特定物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。

このような自車両の前方監視技術により、先行車両のみならず、歩行者の飛び出しによる接触事故の回避や軽減にも効果が期待されている。かかる歩行者の場合、先行車両と異なり検出領域に様々な方向から突然出現する可能性があるので、車両前方に出現してから車両が歩行者に近づくまでの時間が短い場合が多く、運転者の瞬間的な脇見や、僅かな操作の遅れ等が接触事故の発生に大きく影響する。したがって、上述した衝突回避制御への期待が高まっている。

一方で、衝突回避制御の誤作動、例えば、歩行者であると誤認識して自車両に制動をかけてしまう等の事象が生じると、運転者に衝突回避制御への不信感を抱かせてしまうことになる。したがって、誤作動することなく、精度よくかつ迅速に接触事故を回避可能な衝突回避制御の実現が希求される。

例えば、撮像装置で得られた画像に含まれる対象物の輪郭を特徴ベクトルとし、予め準備された輪郭形状モデルとパターンマッチングすることで、歩行者の特定精度を高める技術が開示されている（例えば、特許文献２）。

特開２０１２−１９４８６４号公報 特開２００８−４５９７４号公報

上述したように衝突回避制御においては誤作動を回避しなければならない。したがって、対象物（歩行者）が撮像装置の検出領域内に入ってきても、その対象物の外観が歩行者の輪郭形状モデルと一致し、その対象物が歩行者であると特定されるまで長時間を要してしまう。

本発明は、このような課題に鑑み、歩行者を精度よくかつ迅速に検出することが可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、対象物の位置に関する位置情報に基づく位置ポイントを導出する位置ポイント導出部と、対象物の外観に関する外観情報に基づく外観ポイントを導出する外観ポイント導出部と、外観ポイントが所定値以上であり、かつ、位置ポイントと外観ポイントとを加算した歩行者ポイントが予め定められた閾値以上である場合、対象物を歩行者と特定する歩行者特定部と、を備えることを特徴とする。

位置ポイントは、対象物の、進行横位置、速度、累積移動量から選択された１または複数のパラメータに基づいて導出されてもよい。

外観ポイントは、対象物の、高さ、縦横比、位置関係、部分性、人工性、輪郭一致度、警戒度から選択された１または複数のパラメータに基づいて導出されてもよい。

画像の輝度に基づくエッジから対象物の輪郭を特定する輪郭特定部と、対象物の輪郭の内外における画素の色調を比較し、その結果に応じて対象物を歩行者と特定する色調判定部と、をさらに備えてもよい。

上記課題を解決するために、本発明の他の車外環境認識装置は、検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、画像の輝度に基づくエッジから対象物の輪郭を特定する輪郭特定部と、対象物の輪郭の内外における画素の色調を比較し、その結果に応じて対象物を歩行者と特定する色調判定部と、を備えることを特徴とする。

本発明によれば、歩行者を精度よくかつ迅速に検出することが可能となる。

環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 輝度画像と距離画像を説明するための説明図である。 位置情報とフレーム位置ポイントとの関係を説明するための説明図である。 外観情報とフレーム外観ポイントとの関係を説明するための説明図である。 歩行者ポイントの生成例を示した説明図である。 歩行者判定の全体的な処理の流れを示したフローチャートである。 他の実施形態を説明するための説明図である。 色調判定部の動作を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、画像内における色情報や位置情報に基づいて先行車両等の対象物を特定し、特定された対象物との衝突を回避したり、先行車両との車間距離を安全な距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。かかる衝突防止機能では、自車両前方の様々な障害物を特定し、それが静止している対象物であるか、それとも移動を伴った対象物であるかに応じて適切に回避制御を行っている。移動を伴う対象物としては、主として車両や歩行者が想定されるが、特に、歩行者は検出領域に様々な方向から突然出現する可能性があり、また、その絶対的な大きさも車両と比較して小さいので、特定が困難、または、特定に時間を要するという問題があった。

例えば、対象物の外観とパターンマッチングを行うことで対象物を歩行者と特定する技術を用いたとしても、歩行者であるとの誤認識による車両の誤作動を回避すべく、複数のフレームに亘って外観がマッチングしたことをもって歩行者と特定しなければならない。したがって、歩行者の特定には長時間が費やされることになる。そこで、本実施形態では、対象物の外観に関する外観情報のみならず、その位置に関する位置情報にも着目し、早期に歩行者らしさを判定することで、歩行者を精度よくかつ迅速に検出することを目的としている。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。

（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方に相当する環境を撮像し、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるカラー画像やモノクロ画像を生成することができる。ここでは、撮像装置１１０で撮像されたカラー画像を輝度画像として採用し、後述する距離画像と区別する。

また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する対象物を撮像した画像データを、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、認識する対象物は、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、テールランプやウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含む。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。

車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差を導き出し、導出された視差情報（後述する奥行距離に相当）を画像データに対応付けて距離画像を生成する。輝度画像および距離画像については後ほど詳述する。また、車外環境認識装置１２０は、輝度画像に基づく輝度、および、距離画像に基づく自車両１との奥行距離を用いて自車両１前方の検出領域における対象物がいずれの特定物に対応するかを特定する。

車外環境認識装置１２０は、特定物を特定すると、その特定物（例えば、先行車両）を追跡しつつ、特定物の相対速度等を導出し、特定物と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。

以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、対象物を歩行者と特定する手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データを一時的に保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、３次元位置導出部１６２、対象物特定部１６４、位置ポイント導出部１６６、外観ポイント導出部１６８、ポイント生成部１７０、歩行者特定部１７２、輪郭特定部１７４、色調判定部１７６としても機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、対象物特定処理、歩行者特定処理といった順に詳細な動作を説明する。

（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データを取得し、一方の画像データから任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の画像データから検索する、所謂パターンマッチングを用いて視差を導き出す。ここで、「水平」は画面横方向を示し、「垂直」は画面縦方向を示す。

このパターンマッチングとしては、２つの画像データ間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報（後述する奥行距離に相当）を画像データに対応付けた画像を距離画像という。

図３は、輝度画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のような輝度画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、撮像装置１１０それぞれが生成した２つの輝度画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このような輝度画像２１０からブロック毎の視差を求め、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

図２に戻って説明すると、３次元位置導出部１６２は、画像処理部１６０で生成された距離画像２１２に基づいて検出領域２１４内のブロック毎の視差情報を、所謂ステレオ法を用いて、水平距離、高さおよび奥行距離を含む実空間における３次元の位置情報に変換する。ここで、ステレオ法は、三角測量法を用いることで、対象部位の距離画像２１２における視差からその対象部位の撮像装置１１０に対する奥行距離を導出する方法である。このとき、３次元位置導出部１６２は、対象部位の奥行距離と、対象部位と同奥行距離にある道路表面上の点と対象部位との距離画像２１２上の検出距離とに基づいて、対象部位の道路表面からの高さを導出する。そして、導出された３次元位置情報を改めて距離画像２１２に対応付ける。かかる奥行距離の導出処理や３次元位置の特定処理は、様々な公知技術を適用できるので、ここでは、その説明を省略する。

（対象物特定処理）
対象物特定部１６４は、距離画像２１２に基づく３次元の位置情報を用いて検出領域２１４における対象部位（画素やブロック）同士をグループ化して対象物を特定する。具体的に、対象物特定部１６４は、任意の対象部位を基点として、その対象部位と、水平距離の差分、高さの差分、および、奥行距離の差分が予め定められた所定範囲内にある他の対象部位をグループ化し、その対象部位も一体的な対象物とする。ここで、所定範囲は実空間上の距離で表され、任意の値（例えば、１．０ｍ等）に設定することができる。また、対象物特定部１６４は、グループ化により新たに追加された対象部位に関しても、その対象部位を基点として、水平距離の差分、高さの差分、および、奥行距離の差分が所定範囲内にある他の対象部位をグループ化する。結果的に、距離が所定範囲内であれば、それら全ての対象部位が対象物としてグループ化されることとなる。

（歩行者特定処理）
続いて、対象物の位置や外観に基づいて、その対象物が歩行者であるか否か判定される。

位置ポイント導出部１６６は、対象物の位置に関する位置情報に基づいて位置ポイントを導出する。位置情報としては、例えば、対象物の、自車両１の進行路に垂直な方向の自車両１端部からの相対的な位置である進行横位置、速度、および、検出領域２１４に入ってからの移動量の累積を示す累積移動量がある。かかる速度および移動量は、対象物の移動方向を考慮しないスカラー量であってもよいし、移動方向を考慮して水平方向等、特定の方向の成分のみを対象としてもよい。そして、位置ポイント導出部１６６は、位置情報に応じたポイントを積算してフレーム単位のフレーム位置ポイントを導出する。

図４は、位置情報とフレーム位置ポイントとの関係を説明するための説明図である。図４（ａ）を参照すると、進行横位置が１ｍ未満の場合３ポイント、１ｍ以上３ｍ未満の場合２ポイント、３ｍ以上５ｍ未満の場合１ポイント、５ｍ以上の場合０ポイントとなる。図４（ｂ）を参照すると、速度が１ｍ／ｓ未満の場合０ポイント、１ｍ／ｓ以上３ｍ／ｓ未満の場合１ポイント、３ｍ／ｓ以上５ｍ／ｓ未満の場合２ポイント、５ｍ／ｓ以上の場合３ポイントとなる。図４（ｃ）を参照すると、累積移動量が０．５ｍ未満の場合０ポイント、０．５ｍ以上１．０ｍ未満の場合１ポイント、１．０ｍ以上１．５ｍ未満の場合２ポイント、１．５ｍ以上の場合３ポイントとなる。

続いて、位置ポイント導出部１６６は、図４（ｄ）に示すように、積算されたフレーム位置ポイント（０〜９ポイント）に対応付けられたポイントを求め、前回のフレームで導出された位置ポイントに加算して、新たな位置ポイントを導出する。したがって、位置ポイントは、フレーム単位で±１ポイントのみ変動することとなる。

また、位置ポイントには上下限値が設けられ、本実施形態においては、例えば、下限値が０ポイント、上限値が５ポイントに設定される。このように、上下限値を設けることで、歩行者を検出していない期間や歩行者を検出している期間が長時間に亘ったとしてもポイントの絶対値が大きくなることがなく、歩行者の検出の有無が切り替わった場合に、迅速かつ的確に、その有無を判定することが可能となる。また、上限値を５ポイントとすることで、歩行者と判定される閾値（本実施形態では２０ポイント）に位置ポイントのみで達成することを回避することができ、外観ポイントが有意な値（所定値以上）の場合にのみ歩行者を特定することが可能となる。かかる上下限値は、任意の値に設定できるのは言うまでもない。

外観ポイント導出部１６８は、対象物の外観に関する外観情報に基づいて外観ポイントを導出する。外観情報としては、例えば、対象物の、地面からの高さ、横に対する縦の割合である縦横比、検出領域２１４に対する位置関係、対象物が大きな物体の一部であるかを示す部分性、人工物らしさを示す人工性、輪郭の歩行者らしさを示す輪郭一致度、および、自動的なブレーキが必要な物体である可能性の高さ（正面にあるものほど、速度を持っているものほど、累積移動量が大きいほど高い）を示す警戒度がある。そして、外観ポイント導出部１６８は、外観情報に応じたポイントを積算してフレーム単位のフレーム外観ポイントを導出する。

図５は、外観情報とフレーム外観ポイントとの関係を説明するための説明図である。図５（ａ）を参照すると、高さが０．８ｍ未満の場合０ポイント、０．８ｍ以上１．２ｍ未満の場合８ポイント、１．２ｍ以上２．０ｍ未満の場合１０ポイント、２．０ｍ以上２．２ｍ未満の場合５ポイント、２．２ｍ以上の場合０ポイントとなる。図５（ｂ）を参照すると、縦横比が１００％未満の場合０ポイント、１００％以上１５０％未満の場合５ポイント、１５０％以上３００％未満の場合１０ポイント、３００％以上４００％未満の場合８ポイント、４００％以上の場合０ポイントとなる。図５（ｃ）を参照すると、位置関係が検出領域２１４から完全にはみ出している場合０ポイント、はみ出している可能性がある場合５ポイント、検出領域２１４に含まれる場合１０ポイントとなる。

また、図５（ｄ）を参照すると、部分性が確実に大きな物体の一部であると判断できる場合０ポイント、大きな物体の一部である可能性がある場合５ポイント、大きな物体の一部ではないと判断できる場合１０ポイントとなる。図５（ｅ）を参照すると、人工性が人工物であると判断できる場合０ポイント、人工物の可能性がある場合５ポイント、人工物ではないと判断できる場合１０ポイントとなる。また、図示は省略するが、輪郭一致度は、モデルパターンとのマッチングによる相関性に基づいて０〜５０ポイントの間で決定される。

続いて、外観ポイント導出部１６８は、積算されたポイントを合計したフレーム外観ポイント（０〜１００ポイント）に対して、図５（ｆ）に示すように警戒度に応じた係数を乗じる。そして、外観ポイント導出部１６８は、図５（ｇ）に示すように、フレーム外観ポイントに対応付けられたポイントを求め、前回のフレームで導出された外観ポイントに加算して、新たな外観ポイントを導出する。したがって、外観ポイントは、フレーム単位で−４〜＋８の幅で変動することとなる。このようなフレーム外観ポイントや外観ポイント、および、上述したフレーム位置ポイントや位置ポイントの判定に係る数値は任意に設定することができる。

ポイント生成部１７０は、位置ポイント導出部１６６が導出した位置ポイントと、外観ポイント導出部１６８が導出した外観ポイントとを加算して歩行者ポイントを生成する。

歩行者特定部１７２は、ポイント生成部１７０が生成した歩行者ポイントと予め定められた閾値（ここでは２０ポイント）とを比較し、歩行者ポイントが閾値以上である場合、対象物を歩行者と特定する。このように、外観ポイントのみならず、位置情報に基づいて生成される位置ポイントも導出して歩行者ポイントに加えることで、外観が歩行者と判定される前から、対象物の位置に関して歩行者らしさを判定することができる。したがって、自車両１前方に歩行者が存在する場合に、比較的早期に歩行者ポイントを閾値に達成させることができ、歩行者を精度よくかつ迅速に検出することが可能となる。

ただし、歩行者特定部１７２は、外観ポイントが有意な値（ここでは１ポイント以上）でなければ、仮に位置ポイントのみによる歩行者ポイントが閾値以上であったとしても対象物を歩行者と特定しない。位置ポイントは、あくまで外観ポイントの補助的な役を担い、外観ポイントが有意な値の場合のみ、位置ポイントも参照している。こうして、外観は歩行者と判定できないが、意図せず位置ポイントのみで対象物を歩行者であると誤認識してしまう事態を回避することができる。本実施形態では、位置ポイントに閾値未満の上限値を設けることで、位置情報が歩行者と判定されるポイントを示す時間の長短に拘わらず、位置ポイントのみで歩行者ポイントが閾値に達することを回避している。

図６は、歩行者ポイントの生成例を示した説明図であり、図６（ａ）に従来の処理を、図６（ｂ）に本実施形態の処理を示している。図６（ａ）、（ｂ）の時点１では、対象物の位置情報としては歩行者として判定できるものの、まだ、外観情報が歩行者として判定できない。したがって、対象物の外観のみによって歩行者か否か判定する従来の処理では、図６（ａ）の時点１での歩行者ポイントは０ポイントとなる。一方、本実施形態では、位置情報が歩行者として判定できれば、位置ポイントが積算されるので、図６（ｂ）の時点１においても歩行者ポイントが既に上限値の５ポイントとなっている場合もある。

そして、時点２では外観ポイントが８ポイントとなり、時点３で外観ポイントが１６ポイントとなる場合、従来の処理では、図６（ａ）の時点３に示すように、歩行者ポイントが１６ポイントであり、閾値（ここでは２０ポイント）に達していないので、最終的に外観ポイントのみで閾値に達する時点４において、自車両１の具体的な対応、例えば、車両の停止処理が為される。一方、本実施形態では、位置ポイントと外観ポイントとが加算された歩行者ポイントで判定するので、図６（ｂ）の時点２で歩行者ポイントは１３ポイントとなり、時点３では、歩行者ポイントが２１ポイントとなる。したがって、閾値に達した時点３において、自車両１の停止処理を遂行することができ、図６（ａ）と比較して、自車両１が車外環境に早期に対応できることが理解できる。

図７は、歩行者判定の全体的な処理の流れを示したフローチャートである。かかる歩行者判定処理は、検出領域２１４に含まれるようになった対象物毎にフレーム単位で実行される。

図７に示すように、まず、位置ポイント導出部１６６は、対象物の高さおよび幅が歩行者として判定できる範囲に含まれるか否か判定する（Ｓ２００）。その結果、判定できる範囲に含まれていれば（Ｓ２００におけるＹＥＳ）、位置ポイントを導出する（Ｓ２０２）。かかる位置ポイントの導出処理では、位置ポイント導出部１６６が、図４に示した、進行横位置、速度、累積移動量それぞれに対応したポイントを積算してフレーム位置ポイントを導出し、さらに、導出されたフレーム位置ポイントに対応付けられたポイントを求め、前回のフレームで導出された位置ポイントに加算し、新たな位置ポイントを導出している。

続いて、外観ポイント導出部１６８は、対象物の輪郭を把握できるか否か判定する（Ｓ２０４）。その結果、輪郭を把握できる場合（Ｓ２０４におけるＹＥＳ）、外観ポイントを導出する（Ｓ２０６）。かかる外観ポイントの導出処理では、外観ポイント導出部１６８が、図５を用いて説明した、高さ、縦横比、位置関係、部分性、人工性、輪郭一致度、警戒度それぞれに対応したポイントを積算してフレーム外観ポイントを導出し、さらに、導出されたフレーム外観ポイントに対応付けられたポイントを求め、前回のフレームで導出された外観ポイントに加算し、新たな外観ポイントを導出している。

続いて、ポイント生成部１７０は、位置ポイント導出部１６６が導出した位置ポイントと、外観ポイント導出部１６８が導出した外観ポイントとを加算して歩行者ポイントを生成する（Ｓ２０８）。そして、歩行者特定部１７２は、その歩行者ポイントが閾値以上であるか否か判定する（Ｓ２１０）。その結果、歩行者ポイントが閾値以上であれば（Ｓ２１０におけるＹＥＳ）、その対象物を歩行者と判定し（Ｓ２１２）、当該歩行者判定処理を終了する。また、歩行者ポイントが閾値未満であれば（Ｓ２１０におけるＮＯ）、その対象物が検出領域２１４から外れたか否か判定する（Ｓ２１４）。その結果、検出領域２１４から外れていれば（Ｓ２１４におけるＹＥＳ）、当該歩行者判定処理を終了する。

また、対象物の高さおよび幅が歩行者として判定できる範囲に含まれない（Ｓ２００におけるＮＯ）、対象物の輪郭を把握できない（Ｓ２０４におけるＮＯ）、または、対象物が検出領域２１４から外れていない（Ｓ２１４におけるＮＯ）場合、まだ、歩行者と判定する可能性があるとして、ステップＳ２００からの処理を繰り返す。

（他の実施形態）
上述した実施形態に代えて、また、加えて、他の実施形態により歩行者を判定することもできる。

図８は、他の実施形態を説明するための説明図である。歩行者は、様々な色調や模様の服装を様々な態様で着用している。また、歩行者によっては肌の色や髪の色等も異なる場合がある。したがって、図８（ａ）に示すように、歩行者とそれ以外の領域（背景）とは歩行者の輪郭を境に色調が異なることが多くなる。一方、図８（ｂ）に太線で示すように、車両等の一部を歩行者として誤認識する場合がある。しかし、車両は、比較的少ない色調で表されることが多く、また、一部が歩行者として認識されることがあるものの、その側方には図８（ｂ）の如く、同一の車両の他の部位が存在し、対象物とそれ以外の領域、特に水平方向の領域とは対象物の輪郭を境にして色調が等しくなることが多い。ここでは、このように歩行者とそれ以外の領域とでは色調が異なり易い特性に着目して、歩行者の判定精度を高める。

輪郭特定部１７４は、輝度画像２１０の輝度に基づくエッジから対象物の輪郭を特定する。色調判定部１７６は、対象物の輪郭の内外における色調（Ｒ、Ｇ、Ｂ）を比較し、その結果に応じて対象物を歩行者と特定する。ここでは、輝度情報を利用せず、例えば、明るい青と暗い青の差が出にくくなるように色調のみを比較対象とする。

図９は、色調判定部１７６の動作を説明するための説明図である。具体的に、まず、色調判定部１７６は、図９（ａ）に示すように、対象物２について、水平方向の中央（重心）を示す垂直方向に延伸する中心線３００を導出する。そして、色調判定部１７６は、中心線３００の各画素の水平方向、かつ、太線で示した輪郭３０２に含まれる画素で構成される左右２つの代表輪郭画素を特定する。したがって、代表輪郭画素は、中心線３００の画素の左右に、それぞれ中心線３００の画素と同数存在することとなる。

続いて、色調判定部１７６は、図９（ｂ）に両矢印で示したように、左右の代表輪郭画素から中心線３００までの水平方向の画素の色調を積算、除算して、色調の平均値を導出し、その平均値を左右の代表輪郭画素に関連付ける。次に、色調判定部１７６は、図９（ｃ）のように、代表輪郭画素から輪郭外に対して水平方向の画素の色調の平均値を導出する。このとき、色調の平均値の導出対象となる画素数は、図９（ｃ）に示すように、その代表輪郭画素から中心線３００までの画素数となる。こうして、等しい条件（画素数）で輪郭内外の色調の平均値を導出することができる。

次に、色調判定部１７６は、代表輪郭画素それぞれについて輪郭内外の色調の平均値を比較し、その差分が予め定められた閾値以上となる代表輪郭画素の数を積算する。ここで、色調の比較は、Ｒ、Ｇ、Ｂそれぞれの差分の合計値によって行われてもよい。そして、その積算値と代表輪郭画素の総数とを比較し、積算値が総数の所定比率（ここでは５０％）以上であれば、その対象物を歩行者として特定する。本実施形態では実験の結果、歩行者と判定するのに適している所定％を５０％としたが、かかる数値に限らず、車外環境や歩行者の態様に応じて任意に設定することができる。

ただし、当該他の実施形態による歩行者判定は、あくまで、上述した歩行者ポイントによる歩行者判定の補助的な役割を担い、歩行者ポイントによる歩行者の判定をより確実かつ迅速に行う場合に、確認的に利用されるのが効果的である。

以上、説明したように、本実施形態では、まだ、外観上歩行者と判定できない時点から、予め位置情報に基づいて対象物を歩行者判定することで、歩行者を精度よくかつ迅速に検出することができる。また、さらに、対象物の輪郭内外の色調によって歩行者らしさを判定することで、歩行者の判定精度をさらに高めることが可能となる。

また、コンピュータを、車外環境認識装置１２０として機能させるプログラムや当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の歩行者判定処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、検出領域に存在する対象物がいずれの特定物に対応するかを特定する車外環境認識装置に利用することができる。

１６２ ３次元位置導出部
１６４ 対象物特定部
１６６ 位置ポイント導出部
１６８ 外観ポイント導出部
１７２ 歩行者特定部
１７４ 輪郭特定部
１７６ 色調判定部

Claims (5)

1. 検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、
   前記対象物の位置に関する位置情報に基づく位置ポイントを導出する位置ポイント導出部と、
   前記対象物の外観に関する外観情報に基づく外観ポイントを導出する外観ポイント導出部と、
   前記外観ポイントが所定値以上であり、かつ、前記位置ポイントと前記外観ポイントとを加算した歩行者ポイントが予め定められた閾値以上である場合、前記対象物を歩行者と特定する歩行者特定部と、
   を備えることを特徴とする車外環境認識装置。
2. 前記位置ポイントは、前記対象物の、進行横位置、速度、累積移動量から選択された１または複数のパラメータに基づいて導出されることを特徴とする請求項１に記載の車外環境認識装置。
3. 前記外観ポイントは、前記対象物の、高さ、縦横比、位置関係、部分性、人工性、輪郭一致度、警戒度から選択された１または複数のパラメータに基づいて導出されることを特徴とする請求項１または２に記載の車外環境認識装置。
4. 前記画像の輝度に基づくエッジから前記対象物の輪郭を特定する輪郭特定部と、
   前記対象物の輪郭の内外における画素の色調を比較し、その結果に応じて該対象物を歩行者と特定する色調判定部と、
   をさらに備えることを特徴とする請求項１から３のいずれか１項に記載の車外環境認識装置。
5. 検出領域を撮像した画像における複数の対象部位の実空間における３次元位置を導出する３次元位置導出部と、
   前記３次元位置の差分が所定範囲内にある対象部位同士をグループ化して対象物を特定する対象物特定部と、
   前記画像の輝度に基づくエッジから前記対象物の輪郭を特定する輪郭特定部と、
   前記対象物の輪郭の内外における画素の色調を比較し、その結果に応じて該対象物を歩行者と特定する色調判定部と、
   を備えることを特徴とする車外環境認識装置。