JP5401344B2 - 車両用外界認識装置 - Google Patents

Description

本発明は、車載カメラ等の撮像素子で撮像された情報に基づいて歩行者を検知する車両用外界認識装置に関する。

交通事故による死傷者数を低減するため、事故を未然に防ぐ予防安全システムの開発が進められている。日本国内においては、歩行者が死亡する事故が交通事故死亡者数全体の約３０％を占めており、このような歩行者事故を減少させるために、自車前方の歩行者を検知する予防安全システムが有効である。

予防安全システムは、事故の発生する可能性が高い状況下で作動するシステムであり、例えば、自車前方の障害物と衝突する可能性が生じたときには警報によって運転者に注意を促し、衝突が避けられない状況になったときには自動ブレーキによって乗員の被害を軽減するプリクラッシュ・セーフティ・システム等が実用化されている。

自車前方の歩行者を検知する方法として、カメラで自車前方を撮像し、撮像された画像から、歩行者の形状パターンを用いて検出するパターンマッチ手法が用いられる。パターンマッチによる検出方法は様々なものが存在するが、歩行者以外の物体を歩行者と間違える誤検知と、歩行者を検知しない未検知はトレードオフの関係にある。

よって、画像上で様々な見え方をする歩行者を検出しようとすると誤検知が増加する。誤検知により歩行者が存在しない場所で警報や自動ブレーキが作動すると、ドライバにとってわずらわしいシステムとなり、信頼度が低下してしまう。

特に、自車にとって衝突の危険がない物体（非立体物）で自動ブレーキが作動すると、自車を危険な状態にしてしまい、システムの安全性を損ねてしまう。

よって、このような誤検知を低減するため、例えば、特許文献１には、複数の処理周期の間連続してパターンマッチを行い、パターンの周期性から歩行者を検出する方法が記載されている。

また、特許文献２には、人の頭をパターンマッチにより検出し、胴体を方式の異なるパターンマッチにより歩行者を検出する方法が記載されている。

特開２００９−４２９４１号公報 特開２００８−１８１４２３号公報

しかしながら、上記方法においては、時間とのトレードオフが考慮されていない。特に、歩行者検知においては、歩行者が自車前方に飛び出してから検知するまでの初期補足を早くすることが重要である。

特許文献１に記載の方式においては、画像を複数回撮影し、毎回パターンマッチを行うため検知開始が遅い。また、特許文献２に記載の方式においては、複数種類のパターンマッチの手法毎に専用の処理が必要となるため、大きな記憶容量が必要であり、また１回のパターンマッチの処理負荷が大きい。

一方、公道において、パターンマッチによる手法で歩行者と誤検知しやすい物体は、電柱，ガードレールや、路面ペイント等の人工物に対するものが多い。よって、これらに対する誤検知を低減することができれば、システムの安全性やドライバからの信頼を高めることができる。

本発明は、上記の点に鑑みてなされたものであり、その目的は、処理速度と誤検知低減の両立を図ることができる車両用外界認識装置を提供することである。

本発明は、自車前方を撮像した画像を取得する画像取得部と、その画像から歩行者を検出する処理領域を設定する処理領域設定部と、その画像から歩行者の有無を判定する歩行者候補領域を設定する歩行者候補設定部と、歩行者候補領域内から画素毎に０度方向，４５度方向，９０度方向，１３５度方向の濃淡変化量を算出して方向別濃淡変化量画像を生成し、前記歩行者候補領域内における前記方向別濃淡変化量画像から、縦方向の濃淡変化量の割合及び横方向の濃淡変化量の割合を算出し、算出された縦方向の濃淡変化量の割合が、予め定めた縦方向の閾値未満、且つ算出された横方向の濃淡変化量の割合が、予め定めた横方向の閾値未満の場合、歩行者であると判定し、縦方向の濃淡変化量の割合が、予め定めた縦方向の閾値以上の場合、又は横方向の濃淡変化量の割合が、予め定めた横方向の閾値以上の場合、人工物であると判定する歩行者判定部と、を有する構成とする。

本発明によれば、処理速度と誤検知低減の両立を図ることができる車両用外界認識装置を提供できる。

本発明に係る車両用外界認識装置の第１の実施形態を示すブロック図である。 本発明の画像とパラメータを表す模式図である。 本発明の処理領域設定部における処理の一例を示す模式図である。 本発明の歩行者候補設定部の処理の一例を示すフローチャートである。 本発明の歩行者候補設定部で用いるソーベルフィルタの重みを示す図である。 本発明の歩行者候補設定部における局所エッジ判定器を示す図である。 本発明の歩行者候補設定部における識別器を用いた歩行者の判定方法を示すブロック図である。 本発明の歩行者判定部の処理の一例を示すフローチャートである。 本発明の歩行者判定部で用いる方向別濃淡変化量算出フィルタの重みを示す図である。 本発明の歩行者判定部で用いる縦方向・横方向の濃淡変化量の割合の一例を示す図である。 本発明の第一の衝突判定部の動作方法の一例を示すフローチャートである。 本発明の第一の衝突判定部の危険度算出方法を示す図である。 本発明の第二の衝突判定部の動作方法の一例を示すフローチャートである。 本発明に係る車両用外界認識装置の他の実施形態を示すブロック図である。 本発明に係る車両用外界認識装置の第２の実施形態を示すブロック図である。 本発明に係る車両用外界認識装置の第３の実施形態を示すブロック図である。 本発明の第３の実施形態における第二の歩行者判定部の動作方法を示すフローチャートである。

以下、本発明の第一の実施形態について図面を用いて詳細に説明する。図１は、第一の実施の形態における車両用外界認識装置１０００のブロック図である。

車両用外界認識装置１０００は、自動車に搭載されるカメラ１０１０内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。

車両用外界認識装置１０００は、ＣＰＵやメモリ，Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車両用外界認識装置１０００は、図１に示すように、画像取得部１０１１と、処理領域設定部１０２１と、歩行者候補設定部１０３１と、歩行者判定部１０４１とを有し、さらに実施の形態によって、物体位置検出部１１１１と、第一の衝突判定部１２１１と、第二の衝突判定部１２２１とを有する。

画像取得部１０１１は、自車の前方を撮像可能な位置に取り付けられたカメラ１０１０から、自車前方を撮影したデータを取り込み、画像ＩＭＧＳＲＣ［ｘ］［ｙ］として記憶装置であるＲＡＭ上に書き込む。なお、画像ＩＭＧＳＲＣ［ｘ］［ｙ］は２次元配列であり、ｘ，ｙはそれぞれ画像の座標を示す。

処理領域設定部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内から歩行者を検出する領域（ＳＸ，ＳＹ，ＥＸ，ＥＹ）を設定する。処理の詳細については後述する。

歩行者候補設定部１０３１は、まず、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から濃淡勾配値を算出し、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。つぎに、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者を認識する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。また、マッチング判定領域のうち、歩行者と認識された領域は、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）として、また、歩行者候補物体情報（相対距離ＰＹＦ１［ｄ］，横位置ＰＸＦ１［ｄ］，横幅ＷＤＦ１［ｄ］）として、後段の処理で用いられる。ここで、ｄは複数の物体を設定した場合のＩＤ番号である。

歩行者判定部１０４１は、まず、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、０度方向、４５度方向，９０度方向，１３５度方向の４種類の濃淡変化量を算出し、方向別濃淡変化量画像（ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］）を生成する。つぎに、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）における、方向別濃淡変化量画像（ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］）から、縦方向の濃淡変化量の割合ＲＡＴＥ＿Ｖ、および、横方向の濃淡変化量の割合ＲＡＴＥ＿Ｈを算出し、これらがそれぞれ閾値ｃＴＨ＿ＲＡＴＥ＿Ｖ，ｃＴＨ＿ＲＡＴＥ＿Ｈより小さい場合に、歩行者であると判定する。歩行者と判定された歩行者候補領域は、歩行者物体情報（相対距離ＰＹＦ２［ｐ］，横位置ＰＸＦ２［ｐ］，横幅ＷＤＦ２［ｐ］）として格納される。判定の詳細は後述する。

物体位置検出部１１１１は、自車に搭載されたミリ波レーダやレーザレーダ等の自車周辺の物体を検出するレーダからの検出信号を取得して、自車前方に存在する物体の物体位置を検出する。例えば図３に示すように、レーダから自車周辺の歩行者３２等の物体の物体位置（相対距離ＰＹＲ［ｂ］，横位置ＰＸＲ［ｂ］，横幅ＷＤＲ［ｂ］）を取得する。ここで、ｂは複数の物体を検知している場合のＩＤ番号である。これらの物体の位置情報は、レーダの信号を車両用外界認識装置１０００に直接入力することによって取得してもよいし、レーダとＬＡＮ（Local Area Network）を用いた通信を行うことによって取得してもよい。物体位置検出部１１１１で検出した物体位置は、処理領域設定部１０２１にて用いられる。

第一の衝突判定部１２１１は、歩行者候補設定部１０３１で検知した歩行者候補物体情報（相対距離ＰＹＦ１［ｄ］，横位置ＰＸＦ１［ｄ］，横幅ＷＤＦ１［ｄ］）に応じて危険度を算出し、危険度に応じて警報・制動の要否の判断を行う。処理の詳細は後述する。

第二の衝突判定部１２２１は、歩行者判定部１０４１で検知した歩行者物体情報（相対距離ＰＹＦ２［ｐ］，横位置ＰＸＦ２［ｐ］，横幅ＷＤＦ２［ｐ］）に応じて危険度を算出し、危険度に応じて警報・制動の要否の判断を行う。処理の詳細は後述する。

図２は、以上の説明に用いた画像、および領域を、例を用いて図示したものである。図に示すとおり、処理領域設定部１０２１において、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内に処理領域ＳＸ，ＳＹ，ＥＸ，ＥＹが設定され、歩行者候補設定部１０３１において、画像ＩＭＧＳＲＣ［ｘ］［ｙ］からエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］が生成される。さらに、歩行者判定部１０４１において、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、方向別濃淡変化量画像（ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］）が生成される。また、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）はエッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の中に設定され、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）は、マッチング判定領域のうち、歩行者候補設定部１０３１において歩行者候補と認識された領域である。

つぎに、図３を用いて、処理領域設定部１０２１における処理の内容について説明する。図３は、処理領域設定部１０２１の処理の例を示す。

処理領域設定部１０２１は、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内で歩行者検知処理を行う領域を選定し、その座標の範囲、ｘ座標（横方向）の始点ＳＸおよび終点ＥＸ、ｙ座標上（縦方向）の始点ＳＹおよび終点ＥＹを求める。

処理領域設定部１０２１は、物体位置検出部１１１１を用いても、用いなくてもよい。まず、物体位置検出部１１１１を用いる場合について説明する。

図３（ａ）は、物体位置検出部１１１１を用いた場合における処理領域設定部１０２１の処理の例である。

物体位置検出部１１１１が検出した物体の相対距離ＰＹＲ［ｂ］，横位置ＰＸＲ［ｂ］および横幅ＷＤＲ［ｂ］から、検出した物体の画像上位置（ｘ座標（横方向）の始点ＳＸＢ，終点ＥＸＢ，ｙ座標（縦方向）の始点ＳＹＢ，終点ＥＹＢ）を算出する。なお、カメラ画像上の座標と実世界の位置関係を対応付けるカメラ幾何パラメータを、カメラキャリブレーション等の方法によってあらかじめ算出しておき、物体の高さを、例えば１８０［cm］などあらかじめ仮定しておくことにより、画像上での位置は一意に決まる。

また、カメラ１０１０の取り付けの誤差やレーダとの通信遅れ等の理由により、物体位置検出部１１１１で検出した物体の画像上での位置と、カメラ画像に写っている同じ物体の画像上での位置に違いが生じる場合がある。よって、画像上での物体位置（ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢ）に、補正を加えた物体位置（ＳＸ，ＥＸ，ＳＹ，ＥＹ）を算出する。補正は、領域を所定の量拡大したり、移動させたりする。例えば、ＳＸＢ，ＥＸＢ，ＳＹＢ，ＥＹＢを上下左右に所定の画素拡張したりなどである。こうして、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）を得ることができる。

なお、複数の領域に対して処理する場合、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）をそれぞれ生成し、以下の処理をそれぞれの処理領域に対して個別に実施する。

つぎに、処理領域設定部１０２１において、物体位置検出部１１１１を用いずに処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）を設定する処理について説明する。

物体位置検出部１１１１を用いない場合の領域設定の方法は、例えば、領域の大きさを変化させながら画像全体を探索するように複数の領域を設定する方法や、特定の位置、特定の大きさのみに限定して領域を設定する方法がある。特定の位置に限定する場合は、例えば自車速を用いて、自車がＴ秒後に進んでいる位置に限定する方法がある。

図３（ｂ）は、自車速を用いて，自車が２秒後に進んでいる位置を探索する場合の例である。処理領域の位置、および大きさは、自車が２秒後に進んでいる位置までの相対距離における路面高さ（０cm）、および想定する歩行者の高さ（本実施例では１８０cm）から、カメラ幾何パラメータを用いて画像ＩＭＧＳＲＣ［ｘ］［ｙ］上のｙ方向の範囲（ＳＹＰ，ＥＹＰ）を求める。なお、ｘ方向の範囲（ＳＸＰ，ＥＸＰ）は、制限しなくてもよいし、自車の予測進路等により制限してもよい。こうして、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）を得ることができる。

つぎに、歩行者候補設定部１０３１の処理の内容について説明する。図４は、歩行者候補設定部１０３１の処理のフローチャートである。

まず、ステップＳ４１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、エッジを抽出する。以下、微分フィルタとしてソーベルフィルタを適用する場合におけるエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出方法について説明する。

ソーベルフィルタは図５に示すように３×３の大きさで、ｘ方向の勾配を求めるｘ方向フィルタ５１とｙ方向の勾配を求めるｙ方向フィルタ５２の２種類が存在する。画像ＩＭＧＳＲＣ［ｘ］［ｙ］からｘ方向の勾配を求める場合、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置のｘ方向フィルタ５１の重みの積和演算を行う。積和演算の結果がその画素におけるｘ方向の勾配となる。ｙ方向の勾配の算出も同様である。画像ＩＭＧＳＲＣ［ｘ］［ｙ］のある位置（ｘ，ｙ）におけるｘ方向の勾配の算出結果をｄｘ，ｙ方向の勾配の算出結果をｄｙとすると、勾配強さ画像ＤＭＡＧ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］は以下の式（１）（２）により算出される。

（数１）
ＤＭＡＧ［ｘ］［ｙ］＝｜ｄｘ｜＋｜ｄｙ｜ （１）
（数２）
ＤＩＲＣ［ｘ］［ｙ］＝arctan（ｄｙ／ｄｘ） （２）
なお、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＤＭＡＧ［ｘ］［ｙ］およびＤＩＲＣ［ｘ］［ｙ］の座標（ｘ，ｙ）はＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ，ｙ）に対応する。

算出したＤＭＡＧ［ｘ］［ｙ］の値とエッジ閾値ＴＨＲ＿ＥＤＧＥを比較し、ＤＭＡＧ［ｘ］［ｙ］＞ＴＨＲ＿ＥＤＧＥであれば１、それ以外であれば０をエッジ画像ＥＤＧＥ［ｘ］［ｙ］に記憶する。

なお、エッジ画像ＥＤＧＥ［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＥＤＧＥ［ｘ］［ｙ］の座標（ｘ，ｙ）は画像ＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ，ｙ）に対応する。

なお、エッジ抽出前に、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施例では、処理領域設定部１０２１にて用いた距離情報とカメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小し、上記エッジを算出する。

また、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出は、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）の範囲内のみに限定し、範囲外は全てゼロとしてもよい。

つぎに、ステップＳ４２にて、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。ステップＳ４１にて述べたように、本実施例では、カメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小してエッジ画像を生成している。

よって、マッチング判定領域の大きさを１６ドット×１２ドットとし、エッジ画像ＥＤＧＥ［ｘ］［ｙ］が１６ドット×１２ドットより大きい場合は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に一定の間隔で敷き詰めるように複数設定する。

そして、ステップＳ４３にて、検出した物体数ｄ＝０に設定し、以下の処理をマッチング判定領域それぞれについて実行する。

まず、ステップＳ４４にて、あるマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）について、以下で詳述する識別器７１を用いて判定を行う。識別器７１が歩行者と判定した場合には、ステップ４５に移り、その画像上での位置を歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）として、また、歩行者候補物体情報（相対距離ＰＹＦ１［ｄ］，横位置ＰＸＦ１［ｄ］，横幅ＷＤＦ１［ｄ］）を算出し、ｄをインクリメントする。

なお、歩行者候補物体情報（相対距離ＰＹＦ１［ｄ］，横位置ＰＸＦ１［ｄ］，横幅ＷＤＦ１［ｄ］）は、画像上での検出位置と、カメラ幾何モデルを用いて算出する。もしくは、物体位置検出部１１１１を備える場合には、相対距離ＰＹＦ１［ｄ］は物体位置検出部１１１１より得られる相対距離ＰＹＲ［ｂ］の値を用いてもよい。

つぎに、識別器７１を用いて歩行者か否かを判定する方法について説明する。

画像処理によって歩行者を検知する方法として、歩行者パターンの代表となるテンプレートを複数用意しておき、差分累積演算あるいは正規化相関係演算を行って一致度を求めるテンプレートマッチングによる方法や、ニューラルネットワークなどの識別器を用いてパターン認識を行う方法が挙げられる。

いずれの方法をとるとしても、あらかじめ歩行者か否かを決定する指標となるソースのデータベースが必要となる。様々な歩行者のパターンをデータベースとして蓄えておき、そこから代表となるテンプレートを作成したり識別器を生成したりする。実環境では様々な服装，姿勢，体型の歩行者が存在し、さらにそれぞれ照明や天候などの条件が異なったりするため大量のデータベースを用意して、誤判定を少なくすることが必要となってくる。

このとき、前者のテンプレートマッチングによる方法の場合、判定漏れを防ぐようにするとテンプレートの数が膨大となるため現実的でない。そこで、本実施形態では後者の識別器を用いて判定する方法を採用する。識別器の大きさはソースのデータベースの大きさに依存しない。なお、識別器を生成するためのデータベースを教師データと呼ぶ。

本実施例で使用する識別器７１は、複数の局所エッジ判定器に基づいて歩行者か否かを判定する。

まず、局所エッジ判定器について、図６の例を用いて説明する。局所エッジ判定器６１はエッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、０か１かの２値を出力する判定器であり、局所エッジ頻度算出部６１１、および閾値処理部６１２から構成される。

局所エッジ頻度算出部６１１は、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）と同じ大きさのウィンドウ６１１１内に局所エッジ頻度算出領域６１１２を持ち、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とウィンドウ６１１１の位置関係から、エッジ画像ＥＤＧＥ［ｘ］［ｙ］および勾配方向画像ＤＩＲＣ［ｘ］［ｙ］内の局所エッジ頻度を算出する位置を設定し、局所エッジ頻度ＭＷＣを算出する。

局所エッジ頻度ＭＷＣは、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の角度値が角度条件６１１３を満たしており、かつ、対応する位置のエッジ画像ＥＤＧＥ［ｘ］［ｙ］が１である画素の総数である。

角度条件６１１３は、図５の例の場合、６７.５度から１１２.５度の間、もしくは、２６７.５度から２９２.５度の間であることであり、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の値が一定の範囲であるか否かを判定するものである。

閾値処理部６１２は、あらかじめ定められた閾値ＴＨＷＣ＃を持ち、局所エッジ頻度算出部６１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ＃以上であれば１、それ以外であれば０を出力する。なお、閾値処理部６１２は、局所エッジ頻度算出部６１１にて算出された局所エッジ頻度ＭＷＣが閾値ＴＨＷＣ＃以下であれば１、それ以外であれば０を出力してもよい。

つぎに、図７を用いて、識別器について説明する。

識別器７１は、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］、およびマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を入力とし、領域内が歩行者であれば１、歩行者でなければ０を出力する。識別器７１は４０個の局所エッジ頻度判定器７１０１〜７１４０，合計部７１２，閾値処理部７１３から構成される。

局所エッジ頻度判定器７１０１〜７１４０は、一つ一つの処理は前述した局所エッジ判定器６１と同様であるが、局所エッジ頻度算出領域６１１２，角度条件６１１３，閾値ＴＨＷＣ＃はそれぞれ異なっている。

合計部７１２は、局所エッジ頻度判定器７１０１〜７１４０からの出力に、対応する重みＷＷＣ１＃〜ＷＷＣ４０＃を乗じ、その合計を出力する。

閾値処理部７１３は、閾値ＴＨＳＣ＃を持ち、合計部７１２の出力が閾値ＴＨＳＣ＃より大きければ１を、それ以外であれば０を出力する。

識別器７１の各局所エッジ頻度判定器のパラメータである局所エッジ頻度算出領域６１１２，角度条件６１１３，閾値ＴＨＷＣ、また、重みＷＷＣ１＃〜ＷＷＣ４０＃，最終閾値ＴＨＳＣ＃は、識別器への入力画像が歩行者であった場合には１を、歩行者ではなかった場合には０を出力するように、教師データを用いて調整される。調整には、例えばＡｄａＢｏｏｓｔなどの機械学習の手段を用いてもよいし、手動で行ってもよい。

例えば、ＮＰＤ個の歩行者の教師データ、およびＮＢＧ個非歩行者の教師データから、ＡｄａＢｏｏｓｔを用いてパラメータを決定する手順は以下の通りとなる。なお、以下、局所エッジ頻度判定器をｃＷＣ［ｍ］と表す。ここで、ｍは局所エッジ頻度判定器のＩＤ番号である。

まず、局所エッジ頻度算出領域６１１２および角度条件６１１３が異なる局所エッジ頻度判定器ｃＷＣ［ｍ］を複数（例えば、１００万通り）用意し、それぞれにおいて、局所エッジ頻度ＭＷＣの値を全ての教師データから算出し、閾値ＴＨＷＣをそれぞれ決定する。閾値ＴＨＷＣは、歩行者の教師データと非歩行者の教師データを最も分類することができる値を選択する。

つぎに、歩行者の教師データひとつひとつにｗＰＤ［ｎＰＤ］＝１／２ＮＰＤの重みを与える。同様に、非歩行者の教師データひとつひとつにｗＢＧ［ｎＢＧ］＝１／２ＮＢＧの重みを与える。ここで、ｎＰＤは歩行者の教師データのＩＤ番号、ｎＢＧは非歩行者の教師データのＩＤ番号である。

そして、ｋ＝１として、以下、繰り返し処理を行う。

まず、歩行者・非歩行者全ての教師データの重みの合計が１となるように、重みを正規化する。つぎに、各局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出する。誤検知率ｃＥＲ［ｍ］は、局所エッジ頻度判定器ｃＷＣ［ｍ］において、歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が０となったもの、もしくは非歩行者の教師データを局所エッジ頻度判定器ｃＷＣ［ｍ］に入力した場合の出力が１となったもの、すなわち出力が間違っている教師データの重みの合計である。

全ての局所エッジ頻度判定器の誤検知率ｃＥＲ［ｍ］を算出後、誤検知率が最小となる局所エッジ頻度判定器のＩＤ ｍＭｉｎ を選択し、最終局所エッジ頻度判定器ＷＣ［ｋ］＝ｃＷＣ［ｍＭｉｎ］とする。

つぎに、各教師データの重みを更新する。更新は、歩行者の教師データのうち、最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が１となったもの、および、非歩行者の教師データのうち最終局所エッジ頻度判定器ＷＣ［ｋ］を適用した結果が０となったもの、すなわち出力が正しい教師データの重みに、係数ＢＴ［ｋ］＝ｃＥＲ［ｍＭｉｎ］／（１−ｃＥＲ［ｍＭｉｎ］）を乗じる。

ｋ＝ｋ＋１とし、ｋが予め設定した値（例えば、４０）になるまで繰り返す。繰り返し処理の終了後に得られる最終局所エッジ頻度判定器ＷＣがＡｄａＢｏｏｓｔにより自動調整された識別器７１となる。なお、重みＷＷＣ１〜ＷＷＣ４０は１／ＢＴ［ｋ］から算出され、閾値ＴＨＳＣは０.５とする。

以上説明したように、歩行者候補設定部１０３１は、まず歩行者の輪郭のエッジを抽出し、識別器７１を用いて歩行者を検出する。

なお、歩行者の検知に用いる識別器７１は、本実施例で取り上げた方法に限定されない。正規化相関を用いたテンプレートマッチング，ニューラルネットワーク識別器，サポートベクターマシン識別器，ベイズ識別器などを用いてもよい。

また、歩行者候補設定部では、エッジを抽出せずに、濃淡画像やカラー画像をそのまま用いて、識別器７１により判定してもよい。

なお、識別器７１は、様々な歩行者の画像データと、自車にとって衝突の危険がない領域の画像データを教師データとして、ＡｄａＢｏｏｓｔなどの機械学習の手段を用いて調整してもよい。特に、実施形態として物体位置検出部１１１１を備える場合には、様々な歩行者の画像データと、横断歩道，マンホールやキャッツアイ等、ミリ波レーダやレーザレーダが衝突の危険がないにも関わらず誤検知する領域の画像データを教師データとしてもよい。

また、本実施例では、ステップＳ４１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を、処理領域（ＳＸ，ＳＹ，ＥＸ，ＥＹ）内の物体が所定の大きさに移るように拡大・縮小しているが、画像を拡大・縮小せずに、識別器７１を拡大・縮小してもよい。

つぎに、歩行者判定部１０４１の処理内容について説明する。図８は、歩行者判定部１０４１の処理のフローチャートである。

まず、ステップ８１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］に所定方向の濃淡変化量を算出するフィルタを適用し所定方向の画像の濃淡変化量の大きさを求める。以下、図９に示すフィルタを例として、４方向の濃淡変化量を算出する場合について説明する。

図９に示す３×３のフィルタは、上から順番に、０［°］方向の濃淡変化量を求めるフィルタ９１，４５［°］方向の濃淡変化量を求めるフィルタ９２，９０［°］方向の濃淡変化量を求めるフィルタ９３，１３５［°］方向の濃淡変化量を求めるフィルタ９４、の４種類がある。例えば、０［°］方向の濃淡変化量を求めるフィルタ９１を画像ＩＭＧＳＲＣ［ｘ］［ｙ］に適用する場合、図５のソーベルフィルタの場合と同様に、画像ＩＭＧＳＲＣ［ｘ］［ｙ］の１画素ごとに、その画素と周囲８画素の計９画素の画素値と、対応する位置の０［°］方向の濃淡変化量を求めるフィルタ９１の重みの積和演算を行い、絶対値を算出する。その値が画素（ｘ，ｙ）における０［°］方向の濃淡変化量であり、ＧＲＡＤ０００［ｘ］［ｙ］に格納する。他の３つのフィルタも同様の演算により算出し、それぞれＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］に格納する。

なお、方向別濃淡変化量ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］は画像ＩＭＧＳＲＣ［ｘ］［ｙ］と同じ大きさの２次元配列であり、ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］の座標（ｘ，ｙ）はＩＭＧＳＲＣ［ｘ］［ｙ］の座標（ｘ，ｙ）に対応する。

なお、方向別濃淡変化量の算出前に、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施例では、画像の拡大・縮小はせずに、上記向別濃淡変化量を算出する。

また、方向別濃淡変化量ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］の算出は、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）の範囲内や、処理領域（ＳＸ，ＳＹ，ＥＸ，ＥＹ）の範囲内のみに限定し、範囲外は全てゼロとしてもよい。

つぎに、ステップＳ８２にて、歩行者数ｐ＝０に設定し、以下ステップＳ８３からＳ８９を、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）それぞれについて実行する。

まず、ステップＳ８３において、縦方向の濃淡変化量合計ＶＳＵＭ，横方向の濃淡変化量合計ＨＳＵＭ，最大値の濃淡変化量合計ＭＡＸＳＵＭに全てゼロを代入し、初期化する。

つぎに、ステップＳ８４からＳ８６について、現在の歩行者候補領域内の各画素（ｘ，ｙ）について処理を行う。

まず、ステップＳ８４にて、方向別濃淡変化量ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］の非最大値を抑制するため、直交する成分で差分を行う。非最大値抑制後の方向別濃淡変化量ＧＲＡＤ０００＿Ｓ，ＧＲＡＤ０４５＿Ｓ，ＧＲＡＤ０９０＿Ｓ，ＧＲＡＤ１３５＿Ｓは以下の式（３）〜（６）より算出する。

（数３）
ＧＲＡＤ０００＿Ｓ＝ＧＲＡＤ０００［ｘ］［ｙ］−ＧＲＡＤ０９０［ｘ］［ｙ］
（３）
（数４）
ＧＲＡＤ０４５＿Ｓ＝ＧＲＡＤ０４５［ｘ］［ｙ］−ＧＲＡＤ１３５［ｘ］［ｙ］
（４）
（数５）
ＧＲＡＤ０９０＿Ｓ＝ＧＲＡＤ０９０［ｘ］［ｙ］−ＧＲＡＤ０００［ｘ］［ｙ］
（５）
（数６）
ＧＲＡＤ１３５＿Ｓ＝ＧＲＡＤ１３５［ｘ］［ｙ］−ＧＲＡＤ０４５［ｘ］［ｙ］
（６）
ここで、値がマイナスとなったものにはゼロを代入する。

つぎに、ステップＳ８５にて、非最大値抑制後の方向別濃淡変化量ＧＲＡＤ０００＿Ｓ、ＧＲＡＤ０４５＿Ｓ，ＧＲＡＤ０９０＿Ｓ，ＧＲＡＤ１３５＿Ｓから最大値ＧＲＡＤＭＡＸ＿Ｓを求め、ＧＲＡＤ０００＿Ｓ，ＧＲＡＤ０４５＿Ｓ、ＧＲＡＤ０９０＿Ｓ，ＧＲＡＤ１３５＿Ｓにおいて、ＧＲＡＤＭＡＸ＿Ｓより小さい値をすべてゼロとする。

そして、ステップＳ８６にて、以下の式（７）（８）（９）により、縦方向の濃淡変化量合計ＶＳＵＭ，横方向の濃淡変化量合計ＨＳＵＭ，最大値の濃淡変化量合計ＭＡＸＳＵＭに該当する値を加算する。

（数７）
ＶＳＵＭ＝ＶＳＵＭ＋ＧＲＡＤ０００＿Ｓ （７）
（数８）
ＨＳＵＭ＝ＨＳＵＭ＋ＧＲＡＤ０９０＿Ｓ （８）
（数９）
ＭＡＸＳＵＭ＝ＭＡＸＳＵＭ＋ＧＲＡＤＭＡＸ＿Ｓ （９）
以上、現在の歩行者候補領域内のすべての画素についてステップＳ８４からＳ８６を実行後、ステップＳ８７にて、縦方向の濃淡変化量の割合ＶＲＡＴＥ，横方向の濃淡変化量の割合ＨＲＡＴＥを、以下の式（１０）（１１）により算出する。

（数１０）
ＶＲＡＴＥ＝ＶＳＵＭ／ＭＡＸＳＵＭ （１０）
（数１１）
ＨＲＡＴＥ＝ＨＳＵＭ／ＭＡＸＳＵＭ （１１）
そして、ステップＳ８８にて、算出した縦方向の濃淡変化量の割合ＶＲＡＴＥがあらかじめ設定された閾値ＴＨ＿ＶＲＡＴＥ＃未満であり、かつ、横方向の濃淡変化量の割合ＨＲＡＴＥがあらかじめ設定された閾値ＴＨ＿ＨＲＡＴＥ＃未満であるか否かという判定を行い、どちらも閾値未満である場合にはステップＳ８９へ移る。

ステップＳ８９では、歩行者候補領域を歩行者であると判断し、歩行者候補設定部にて算出した歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］），歩行者候補物体情報（相対距離ＰＹＦ１［ｄ］，横位置ＰＸＦ１［ｄ］，横幅ＷＤＦ１［ｄ］）を、歩行者領域（ＳＸＰ［ｐ］，ＳＹＰ［ｐ］，ＥＸＰ［ｐ］，ＥＹＰ［ｐ］），歩行者物体情報（相対距離ＰＹＦ２［ｐ］，横位置ＰＸＦ２［ｐ］，横幅ＷＤＦ２［ｐ］）へ代入し、ｐをインクリメントする。なお、ステップＳ８８にて人工物であると判断した場合には、処理をしない。

以上、ステップＳ８２からＳ８９を、歩行者候補設定部１０３１で検知した歩行者候補数ｄ＝０，１，・・・だけ繰り返し、歩行者判定部１０４１の処理を終了する。

なお、本実施例においては、縦方向の濃淡変化量の割合ＶＲＡＴＥ、および、横方向の濃淡変化量の割合ＨＲＡＴＥを歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）から算出したが、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）内の所定の領域に限定してもよい。

例えば、電柱の縦方向の濃淡変化は歩行者候補領域の中心より外側に見られるため、縦方向の濃淡変化量の合計ＶＳＵＭを、歩行者候補領域の左右外側の境界近くの領域に限定して算出する。

また、ガードレールの横方向の濃淡変化は歩行者候補領域の中心より下側に見られるため、横方向の濃淡変化量の合計ＨＳＵＭを、歩行者候補領域の下側の領域に限定して算出する。

また、図９に示す方向別濃淡変化量算出フィルタの重みは、図９に示す重み以外のフィルタを用いてもよい。

例えば、０［°］方向，９０［°］方向は図５に示すようなソーベルフィルタの重みを用い、４５［°］方向，１３５［°］方向はソーベルフィルタの重みを回転させた値を用いてもよい。

また、縦方向の濃淡変化量の割合ＶＲＡＴＥ，横方向の濃淡変化量の割合ＨＲＡＴＥの算出方法は、上記以外の方法を用いてもよい。非最大値抑制の処理をいれなくてもよいし、最大値以外をゼロにする処理を入れなくてもよい。

閾値ＴＨ＿ＶＲＡＴＥ＃，ＴＨ＿ＨＲＡＴＥ＃は、事前に歩行者候補設定部１０３１で検知する歩行者、および人工物から、縦方向の濃淡変化量の割合ＶＲＡＴＥ、および、横方向の濃淡変化量の割合ＨＲＡＴＥを算出することにより決定できる。

図１０に、縦方向の濃淡変化量の割合ＶＲＡＴＥ、および、横方向の濃淡変化量の割合ＨＲＡＴＥを、歩行者候補設定部１０３１で検出した複数種類の物体から算出した例を示す。

図に示すように、縦方向の濃淡変化量の割合ＶＲＡＴＥでは電柱の分布が歩行者の分布と離れており、横方向の濃淡変化量の割合ＨＲＡＴＥではガードレールや路面ペイント等の非立体物の分布が歩行者の分布と離れている。よって、これらの分布の間に閾値を設定することにより、縦方向の濃淡変化量の割合ＶＲＡＴＥにより電柱を歩行者とする誤判定を減らすことができ、横方向の濃淡変化量の割合ＨＲＡＴＥによりガードレールや路面ペイント等の非立体物を歩行者とする誤判定を減らすことができる。

なお、縦方向，横方向の濃淡変化量の割合の判定は、閾値処理以外の方法を用いてもよい。例えば、０［°］方向，４５［°］方向，９０［°］方向，１３５［°］方向それぞれの濃淡変化量の割合を算出し、４次元のベクトルとして、様々な電柱から算出した代表ベクトル（例えば、平均ベクトル）との距離に応じて電柱と判定する、同様にガードレールの代表ベクトルとの距離に応じてガードレールと判定する、等の方法を用いてもよい。

以上説明したように、パターンマッチにより歩行者候補を認識する歩行者候補設定部１０３１と、濃淡変化量の割合で歩行者か人工物かを判定する歩行者判定部１０４１を設けることにより、直線的な濃淡変化が多い電柱，ガードレール，路面ペイント等の人工物に対する誤検知を減少させることができる。

また、歩行者判定部１０４１は濃淡変化量の割合を用いているため処理負荷が小さく、短い処理周期で判定を行うことができるため、自車前方に飛び出してきた歩行者の初期補足が早い。

つぎに、第一の衝突判定部１２１１の処理について、図１１，図１２を用いて説明する。

第一の衝突判定部１２１１は、歩行者候補設定部１０３１にて検知した歩行者候補物体情報（ＰＹＦ１［ｄ］，ＰＸＦ１［ｄ］，ＷＤＦ１［ｄ］）に応じて、警報を発動させるための警報フラグ、あるいは衝突被害軽減のための自動ブレーキ制御を発動させるためのブレーキ制御フラグをセットする。

図１１は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。

最初に、ステップＳ１１１において、歩行者候補設定部１０３１にて検知した歩行者候補物体情報（ＰＹＦ１［ｄ］，ＰＸＦ１［ｄ］，ＷＤＦ１［ｄ］）を読み込む。

つぎに、ステップＳ１１２において、検知された各物体の衝突予測時間ＴＴＣＦ１［ｉ］を式（１２）を用いて演算する。ここで、相対速度ＶＹＦ１［ｄ］は、物体の相対距離ＰＹＦ１［ｄ］を擬似微分することによって求める。

（数１２）
ＴＴＣＦ１［ｄ］＝ＰＹＦ１［ｄ］÷ＶＹＦ１［ｄ］ （１２）
さらに、ステップＳ１１３において、各障害物に対する危険度ＤＲＥＣＩＦ１［ｄ］を演算する。

以下、検知された物体Ｘ［ｄ］に対する危険度ＤＲＥＣＩ［ｄ］の演算方法の例を、図１２を用いて説明する。

まず、予測進路の推定方法について説明する。図１２に示すように、自車位置を原点Ｏとすると、予測進路は原点Ｏを通る旋回半径Ｒの円弧で近似できる。ここで、旋回半径Ｒは、自車の操舵角α，速度Ｖｓｐ，スタビリティファクタＡ，ホイールベースＬおよびステアリングギア比Ｇｓを用いて式（１３）で表される。

（数１３）
Ｒ＝（１＋ＡＶ２）×（Ｌ・Ｇｓ／α） （１３）
スタビリティファクタとは、その正負が、車両のステア特性を支配するものであり、車両の定常円旋回の速度に依存する変化の大きさを示す指数となる重要な値である。式（１３）からわかるように、旋回半径Ｒは、スタビリティファクタＡを係数として、自車の速度Ｖｓｐの２乗に比例して変化する。また、旋回半径Ｒは車速Ｖｓｐおよびヨーレートγを用いて式（１４）で表すことができる。

（数１４）
Ｒ＝Ｖ／γ （１４）
つぎに、物体Ｘ［ｄ］から、旋回半径Ｒの円弧で近似した予測進路の中心へ垂線を引き、距離Ｌ［ｄ］を求める。

さらに、自車幅Ｈから距離Ｌ［ｄ］を引き、これが負値の場合には危険度ＤＲＥＣＩ［ｄ］＝０とし、正値の場合には以下の式（１５）によって危険度ＤＲＥＣＩ［ｄ］を演算する。

（数１５）
ＤＲＥＣＩ［ｄ］＝（Ｈ−Ｌ［ｂ］）／Ｈ （１５）
なお、ステップＳ１１１〜Ｓ１１３の処理は、検知した物体数に応じてループ処理を行う構成としている。

ステップＳ１１４において、ステップＳ１１３で演算した危険度ＤＲＥＣＩ［ｄ］に応じて式（１６）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣＦ１［ｄ］が最小となる物体ｄＭｉｎを選択する。

（数１６）
ＤＲＥＣＩ［ｄ］≧ｃＤＲＥＣＩＦ１＃ （１６）
ここで、所定値ｃＤＲＥＣＩＦ１＃は、自車に衝突するか否かを判定するための閾値である。

つぎに、ステップＳ１１５において、選択された物体の衝突予測時間ＴＴＣＦ１［ｄＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。式（１７）が成立している場合にはステップＳ１１６に進み、ブレーキ制御フラグをＯＮにセットして処理を終了する。また、式（１７）が非成立の場合にはステップＳ１１７に進む。

（数１７）
ＴＴＣＦ１［ｄＭｉｎ］≦ｃＴＴＣＢＲＫＦ１＃ （１７）
ステップＳ１１７において、選択された物体ｄＭｉｎの衝突予測時間ＴＴＣＦ１［ｄＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。

以下式（１８）が成立している場合にはステップＳ１１８に進み、警報フラグをＯＮにセットして処理を終了する。また、式（１８）が非成立の場合には、ブレーキ制御フラグ、警報フラグともにセットせずに処理を終了する。

（数１８）
ＴＴＣＦ１［ｄＭｉｎ］≦ｃＴＴＣＡＬＭＦ１＃ （１８）
つぎに、第二の衝突判定部１２２１の処理について、図１３を用いて説明する。

第二の衝突判定部１２２１は、歩行者判定部１０４１にて歩行者であると判定した歩行者物体情報（ＰＹＦ２［ｐ］，ＰＸＦ２［ｐ］，ＷＤＦ２［ｐ］）に応じて、警報を発動させるための警報フラグ、あるいは衝突被害軽減のための自動ブレーキ制御を発動させるためのブレーキ制御フラグをセットする。

図１３は、プリクラッシュ・セーフティ・システムの動作方法を示すフローチャートである。

最初に、ステップＳ１３１において、歩行者判定部１０４１にて歩行者であると判定した歩行者物体情報（ＰＹＦ２［ｐ］，ＰＸＦ２［ｐ］，ＷＤＦ２［ｐ］）を読み込む。

つぎに、ステップＳ１３２において、検知された各物体の衝突予測時間ＴＴＣＦ２［ｐ］を以下式（１９）を用いて演算する。ここで、相対速度ＶＹＦ２［ｐ］は、物体の相対距離ＰＹＦ２［ｐ］を擬似微分することによって求める。

（数１９）
ＴＴＣＦ２［ｐ］＝ＰＹＦ２［ｐ］÷ＶＹＦ２［ｐ］ （１９）
さらに、ステップＳ１３３において、各障害物に対する危険度ＤＲＥＣＩ［ｐ］を演算する。危険度ＤＲＥＣＩ［ｐ］の算出は、前述の第一の衝突判定部での説明と同様であるため、割愛する。

なお、ステップＳ１３１〜Ｓ１３３の処理は、検知した物体数に応じてループ処理を行う構成としている。

ステップＳ１３４において、ステップＳ１３３で演算した危険度ＤＲＥＣＩ［ｐ］に応じて以下式（２０）の条件が成立している物体を選択し、選択された物体の中で衝突予測時間ＴＴＣＦ２［ｐ］が最小となる物体ｐＭｉｎを選択する。

（数２０）
ＤＲＥＣＩ［ｐ］≧ｃＤＲＥＣＩＦ２＃ （２０）
ここで、所定値ｃＤＲＥＣＩＦ２＃は、自車に衝突するか否かを判定するための閾値である。

つぎに、ステップＳ１３５において、選択された物体の衝突予測時間ＴＴＣＦ２［ｐＭｉｎ］に応じて自動的にブレーキを制御する範囲であるか否かの判定を行う。以下式（２１）が成立している場合にはステップＳ１３６に進み、ブレーキ制御フラグをＯＮにセットして処理を終了する。また、式（２１）が非成立の場合にはステップＳ１３７に進む。

（数２１）
ＴＴＣＦ２［ｐＭｉｎ］≦ｃＴＴＣＢＲＫＦ２＃ （２１）
ステップＳ１３７において、選択された物体ｐＭｉｎの衝突予測時間ＴＴＣＦ２［ｐＭｉｎ］に応じて警報を出力する範囲であるか否かの判定を行う。以下式（２２）が成立している場合にはステップＳ１３８に進み、警報フラグをＯＮにセットして処理を終了する。

また、式（２２）が非成立の場合には、ブレーキ制御フラグ，警報フラグともにセットせずに処理を終了する。

（数２２）
ＴＴＣＦ２［ｐＭｉｎ］≦ｃＴＴＣＡＬＭＦ２＃ （２２）
以上説明したように、第一の衝突判定部１２１１、および、第二の衝突判定部１２２１を設け、ｃＴＴＣＢＲＫＦ１＃＜ｃＴＴＣＢＲＫＦ２＃、かつ、ｃＴＴＣＡＬＭＦ１＃＜ｃＴＴＣＡＬＭＦ２＃と設定することにより、歩行者候補設定部１０３１で検知した歩行者に類似した物体に対しては近傍のみで警報，ブレーキ制御を行い、歩行者判定部１０４１で歩行者と判定した物体に対しては遠方から警報，ブレーキ制御を行うことができる。

特に、前述したように、歩行者候補設定部１０３１の識別器７１が、歩行者の画像データと、自車にとって衝突の危険がない領域の画像データを用いて調整されている場合は、歩行者候補設定部１０３１で検知される物体は歩行者を含む立体物であるため、自車にとって衝突の危険がある。よって、歩行者判定部１０４１にて歩行者ではないと判定されていても、近傍のみで制御を行うことにより事故低減に寄与することができる。

よって、歩行者のダミー人形を準備し、車両用外界認識装置１０００を車両に搭載し、歩行者ダミー人形に向かって車両を前進させると、あるタイミングにて警報，制御が発動する。一方、ダミー人形の前に柵を設置して同様に前進すると、カメラ画像上にて縦方向の濃淡変化量が多くなっているため、最初のタイミングより遅いタイミングにて警報，制御が発動する。

また、本発明の車両用外界認識装置１０００においては、図１４に示すように、第一の衝突判定部１２１１、および、第二の衝突判定部１２２１が無く、衝突判定１２３１を有する実施形態も存在する。

衝突判定部１２３１は、歩行者判定部１０４１で検知した歩行者物体情報（相対距離ＰＹＦ２［ｐ］，横位置ＰＸＦ２［ｐ］，横幅ＷＤＦ２［ｐ］）に応じて危険度を算出し、危険度に応じて警報・制動の要否の判断を行う。なお、判定の処理内容は前述の車両用外界認識装置１０００の第二の衝突判定部１２２１と同様であるため、説明は割愛する。

図１４に示す車両用外界認識装置１０００の実施形態は、歩行者判定部にて、路面ペイントに対する誤検知を排除することを想定している。歩行者候補設定部１０３１にて排除できなかった路面ペイントに対する誤検知を、歩行者判定部１０４１において排除し、その結果を用いて衝突判定部１２３１で警報・自動ブレーキの制御を行う。

以上説明したように、歩行者判定部１０４１は、縦方向、および、横方向の濃淡変化量を用いて、電柱，ガードレール，路面ペイントといった人工物に対する誤検知を低減することができる。

路面ペイントは、自車にとって衝突の危険がないため、路面ペイントを歩行者と判定すると、自車にとって衝突の危険が無い場所で自動ブレーキ等が作動し、自車の安全性を損ねるといった問題がある。

また、電柱，ガードレールは、自車にとって衝突の危険があるものの、前後左右へ移動できる歩行者と異なり、静止物体である。よって、これら静止物に対して歩行者を回避するタイミングで警報を作動させると、ドライバにとって早めの警報となってしまい、ドライバにわずらわしさを感じさせてしまう。

本発明を用いることにより、上記のように安全性を損ねてしまったり、ドライバにわずらわしさを感じさせたりといった課題を解決することができる。

本発明によれば、パターンマッチにより、歩行者を含む候補を検知し、さらに検知した領域における所定方向の濃淡変化量の割合を用いて歩行者か否かを判定するため、後段の処理負荷が小さく、高速に歩行者を検知することができる。その結果、処理周期を高速化することができ、自車前方に飛び出した歩行者の初期補足が早くなる。

つぎに、本発明の車両用外界認識装置２０００の第二の実施形態について、以下図面を用いて説明する。

図１５は、車両用外界認識装置２０００の実施形態を表すブロック図である。なお、以下の説明では、上述の車両用外界認識装置１０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。

車両用外界認識装置２０００は、自動車に搭載されるカメラ内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。

車両用外界認識装置２０００は、ＣＰＵやメモリ，Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。車両用外界認識装置２０００は、図１５に示すように、画像取得部１０１１と、処理領域設定部１０２１と、歩行者候補設定部２０３１と、歩行者判定部２０４１と、歩行者確定部２０５１とを有し、さらに実施の形態によって、物体位置検出部１１１１を有する。

歩行者候補設定部２０３１は、処理領域設定部１０２１にて設定された処理領域（ＳＸ，ＳＹ，ＥＸ，ＥＹ）から、歩行者の有無を判定する歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）を設定する。処理の詳細については後述する。

歩行者判定部２０４１は、まず、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、０度方向，４５度方向，９０度方向，１３５度方向の４種類の濃淡変化量を算出し、方向別濃淡変化量画像（ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］）を生成する。

つぎに、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）における、方向別濃淡変化量画像（ＧＲＡＤ０００［ｘ］［ｙ］，ＧＲＡＤ０４５［ｘ］［ｙ］，ＧＲＡＤ０９０［ｘ］［ｙ］，ＧＲＡＤ１３５［ｘ］［ｙ］）から、縦方向の濃淡変化量の割合ＲＡＴＥ＿Ｖ、および、横方向の濃淡変化量の割合ＲＡＴＥ＿Ｈを算出し、これらがそれぞれ閾値ｃＴＨ＿ＲＡＴＥ＿Ｖ，ｃＴＨ＿ＲＡＴＥ＿Ｈより小さい場合に、歩行者であると判定する。歩行者と判定された歩行者候補領域は、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）とする。判定の詳細は後述する。

歩行者確定部２０５１は、まず、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から濃淡勾配値を算出し、２値のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、およびエッジの方向の情報を持つ、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を生成する。

つぎに、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）から、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定し、マッチング判定領域内のエッジ画像ＥＤＧＥ［ｘ］［ｙ］、および対応する位置の領域内の勾配方向画像ＤＩＲＣ［ｘ］［ｙ］を用いて、歩行者を認識する。ここで、ｇは複数の領域を設定した場合のＩＤ番号である。認識処理の詳細は後述する。

また、マッチング判定領域のうち、歩行者と認識された領域は、歩行者領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）として、また、歩行者物体情報（相対距離ＰＹＦ２［ｄ］，横位置ＰＸＦ２［ｄ］，横幅ＷＤＦ２［ｄ］）として格納する。ここで、ｄは複数の物体を設定した場合のＩＤ番号である。

つぎに、歩行者候補設定部２０３１の処理について説明する。

歩行者候補設定部２０３１は、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）から、歩行者判定部２０４１、および、歩行者確定部２０５１で処理する領域を設定する。

まず、処理領域設定部１０２１にて設定した、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）の距離とカメラ幾何パラメータを用いて、想定する歩行者の高さ（本実施例では１８０cm）、および、幅（本実施例では６０cm）の画像上での大きさを算出する。

つぎに、算出した画像上での歩行者の高さ、および、幅を、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）に、１画素ずつずらしながら設定し、それぞれの領域を歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）とする。

なお、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）は、数画素飛ばして設定してもよいし、例えば、領域内の画像ＩＭＧＳＲＣ［ｘ］［ｙ］の画素値の合計がゼロの場合には設定しないなど、前処理により制限してもよい。

つぎに、歩行者判定部２０４１について説明する。

歩行者判定部２０４１は、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）それぞれに対して、前述の車両用外界認識装置１０００における歩行者判定部１０４１と同様の判定を行い、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）が歩行者であると判定された場合には、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）へ代入し、後段の処理へ出力する。処理の詳細は、前述の車両用外界認識装置１０００における歩行者判定部１０４１と同様であるため、割愛する。

つぎに、歩行者確定部２０５１について説明する。

歩行者確定部２０５１は、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）それぞれに対して、前述の車両用外界認識装置１０００における歩行者候補設定部１０３１と同様の処理を行い、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）が歩行者であると認識された場合には、歩行者物体情報（相対距離ＰＹＦ２［ｐ］，横位置ＰＸＦ２［ｐ］，横幅ＷＤＦ２［ｐ］）を出力する。つまり、歩行者確定部２０５１は、歩行者判定部２０４１で歩行者と判定された歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）に対して、オフライン学習により生成される識別器を用いて歩行者の存在を確定する。

処理内容について、図４のフローチャートを用いて説明する。

まず、ステップＳ４１にて、画像ＩＭＧＳＲＣ［ｘ］［ｙ］から、エッジを抽出する。エッジ画像ＥＤＧＥ［ｘ］［ｙ］、および、勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出方法については、前述の車両用外界認識装置１０００における歩行者候補設定部１０３１と同様であるため、説明は割愛する。

なお、エッジ抽出前に、画像ＩＭＧＳＲＣ［ｘ］［ｙ］を切り出し、画像中の物体の大きさが所定の大きさになるように拡大・縮小してもよい。本実施例では、処理領域設定部１０２１にて用いた距離情報とカメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小し、上記エッジを算出する。

また、エッジ画像ＥＤＧＥ［ｘ］［ｙ］，勾配方向画像ＤＩＲＣ［ｘ］［ｙ］の算出は、処理領域（ＳＸ，ＥＸ，ＳＹ，ＥＹ）の範囲内、もしくは、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）のみに限定し、範囲外は全てゼロとしてもよい。

つぎに、ステップＳ４２にて、エッジ画像ＥＤＧＥ［ｘ］［ｙ］内に歩行者判定を行うマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）を設定する。

マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）は、ステップＳ４１にてエッジ抽出時に、あらかじめ画像を拡大・縮小している場合には、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）を、縮小画像中の座標へ変換し、その一つ一つの領域をマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とする。

本実施例では、カメラ幾何を用い、画像ＩＭＧＳＲＣ［ｘ］［ｙ］内の高さ１８０［cm］，幅６０［cm］の物体が全て１６ドット×１２ドットの大きさになるように画像を拡大・縮小してエッジ画像を生成している。

よって、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）の座標を画像の拡大・縮小と同じ比率にて拡大・縮小し、マッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とする。

ステップＳ４１にてエッジ抽出時に、あらかじめ画像を拡大・縮小していない場合には、歩行者判定領域（ＳＸＤ２［ｅ］，ＳＹＤ２［ｅ］，ＥＸＤ２［ｅ］，ＥＹＤ２［ｅ］）を、そのままマッチング判定領域（ＳＸＧ［ｇ］，ＳＹＧ［ｇ］，ＥＸＧ［ｇ］，ＥＹＧ［ｇ］）とする。

なお、ステップＳ４３以降の処理は、前述の車両用外界認識装置１０００における歩行者候補設定部１０３１と同様であるため、説明は割愛する。

さらに、本発明の車両用外界認識装置３０００の第三の実施形態について、以下図面を用いて説明する。

図１６は、車両用外界認識装置３０００の実施形態を表すブロック図である。

なお、以下の説明では、上述の車両用外界認識装置１０００、および、車両用外界認識装置２０００と異なる箇所のみ詳述し、同様の箇所には同一の番号を付し説明を省略する。

車両用外界認識装置３０００は、自動車に搭載されるカメラ内、もしくは統合コントローラ内等に組み込まれ、カメラ１０１０で撮影した画像内から予め設定された物体を検知するためのものであり、本実施の形態では、自車の前方を撮像した画像内から歩行者を検知するように構成されている。

車両用外界認識装置３０００は、ＣＰＵやメモリ，Ｉ／Ｏ等を有するコンピュータによって構成されており、所定の処理がプログラミングされて、あらかじめ定められた周期で繰り返し処理を実行する。

車両用外界認識装置３０００は、図１６に示すように、画像取得部１０１１と、処理領域設定部１０２１と、歩行者候補設定部１０３１と、第一の歩行者判定部３０４１と、第二の歩行者判定部３０５１と、衝突判定部１２３１とを有し、さらに実施の形態によって、物体位置検出部１１１１を有する。

第一の歩行者判定部３０４１は、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）それぞれに対して、前述の車両用外界認識装置１０００における歩行者判定部１０４１と同様の判定を行い、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）が歩行者であると判定された場合には、第一の歩行者判定領域（ＳＸＪ１［ｊ］，ＳＹＪ１［ｊ］，ＥＸＪ１［ｊ］，ＥＹＪ［ｊ］）へ代入し、後段の処理へ出力する。処理の詳細は、前述の車両用外界認識装置１０００における歩行者判定部１０４１と同様であるため、割愛する。

第二の歩行者判定部３０５１は、第一の歩行者判定領域（ＳＸＪ１［ｊ］，ＳＹＪ１［ｊ］，ＥＸＪ１［ｊ］，ＥＹＪ［ｊ］）それぞれに対して、領域の位置に対応する画像ＩＭＧＳＲＣ［ｘ］［ｙ］の画素が所定の輝度閾値以上の画素の画素数をカウントし、その合計が所定の面積閾値以下であった場合には、その領域を歩行者と判定する。歩行者と判定された領域は、歩行者物体情報（相対距離ＰＹＦ２［ｐ］，横位置ＰＸＦ２［ｐ］，横幅ＷＤＦ２［ｐ］）として格納し、後段の衝突判定部１２３１にて用いられる。

つまり、第一の歩行者判定部３０４１は、歩行者候補領域（ＳＸＤ［ｄ］，ＳＹＤ［ｄ］，ＥＸＤ［ｄ］，ＥＹＤ［ｄ］）内の所定方向の濃淡変化量の割合に応じて歩行者候補領域が歩行者であるか人工物であるかを判定し、第二の歩行者判定部３０５１は、第一の歩行者判定部３０４１で歩行者と判定された歩行者判定領域（ＳＸＪ１［ｊ］，ＳＹＪ１［ｊ］，ＥＸＪ１［ｊ］，ＥＹＪ［ｊ］）において所定の輝度値以上である画素数に基づいて歩行者判定領域が歩行者であるか人工物であるかを判定するものである。

第二の歩行者判定部３０５１の処理について説明する。図１７は、第二の歩行者判定部３０５１のフローチャートである。

まず、ステップＳ１７１にて、歩行者数ｐ＝０として、Ｓ１７２以下を、第一の歩行者判定領域（ＳＸＪ１［ｊ］，ＳＹＪ１［ｊ］，ＥＸＪ１［ｊ］，ＥＹＪ［ｊ］）の数だけ繰り返す。

まず、ステップＳ１７２にて、第一の歩行者判定領域（ＳＸＪ１［ｊ］，ＳＹＪ１［ｊ］，ＥＸＪ１［ｊ］，ＥＹＪ［ｊ］）内における、光源判定領域（ＳＸＬ［ｊ］，ＳＹＬ［ｊ］，ＥＸＬ［ｊ］，ＥＹＬ［ｊ］）を設定する。この領域は、カメラ幾何モデルを用いて、光源となるヘッドライト取り付け位置の規定から算出することができ、日本国内であれば、５０［cm］以上，１２０［cm］以下である。また、幅は、歩行者の幅の半分等に設定する。

つぎに、ステップＳ１７３にて、所定輝度以上の画素数ＢＲＣＮＴ＝０とし、光源判定領域（ＳＸＬ［ｊ］，ＳＹＬ［ｊ］，ＥＸＬ［ｊ］，ＥＹＬ［ｊ］）内の画像ＩＭＧＳＲＣ［ｘ］［ｙ］画素一つ一つにつき、ステップＳ１７４，Ｓ１７５を繰り返す。

まず、ステップＳ１７４にて、座標（ｘ，ｙ）の画像ＩＭＧＳＲＣ［ｘ］［ｙ］の輝度値が所定の輝度閾値ＴＨ＿ｃＬＩＧＨＴＢＲＩＧＨＴ＃以上であるかを判定する。閾値以上であると判定された場合には、ステップＳ１７５へ移り、所定輝度以上の画素数ＢＲＣＮＴを１つインクリメントする。また、閾値より小さいと判定された場合には、何もしない。

以上を光源判定領域（ＳＸＬ［ｊ］，ＳＹＬ［ｊ］，ＥＸＬ［ｊ］，ＥＹＬ［ｊ］）内の全ての画素について実施した後、ステップＳ１７６にて、所定輝度以上の画素数ＢＲＣＮＴが、所定の面積閾値ＴＨ＿ｃＬＩＧＨＴＡＲＥＡ＃以上であるかを判定し、歩行者であるか光源であるかを判定する。

閾値以上であると判定された場合には、ステップ１７７へ移り、歩行者領域（ＳＸＰ［ｐ］，ＳＹＰ［ｐ］，ＥＸＰ［ｐ］，ＥＹＰ［ｐ］）、歩行者物体情報（相対距離ＰＹＦ２［ｐ］，横位置ＰＸＦ２［ｐ］，横幅ＷＤＦ２［ｐ］）を算出して、ｐをインクリメントする。また、ステップＳ１７６にて光源であると判断した場合には、処理をしない。

以上を、第一の歩行者判定領域（ＳＸＪ１［ｊ］，ＳＹＪ１［ｊ］，ＥＸＪ１［ｊ］，ＥＹＪ［ｊ］）内の全ての物体に対して実行し、処理を終了する。

輝度閾値ＴＨ＿ｃＬＩＧＨＴＢＲＩＧＨＴ＃、および、面積閾値ＴＨ＿ｃＬＩＧＨＴＡＲＥＡ＃は、事前に歩行者候補設定部１０３１，第一の歩行者判定部３０４１で検知する歩行者、および、歩行者候補設定部１０３１，第一の歩行者判定部３０４１で誤検知するヘッドライトのデータを用いて決定する。

また、面積閾値ＴＨ＿ｃＬＩＧＨＴＡＲＥＡ＃は、光源の面積の条件から決定してもよい。

以上説明したように、第二の歩行者判定部３０５１を設けることによって、第一の歩行者判定部３０４１にて、電柱，ガードレール，路面ペイント等の人工物に対する誤検知を排除し、さらに、ヘッドライト等の光源に対する誤検知を排除することができる。本構成とすることにより、パターンマッチにより歩行者と誤判定してしまう、公道で遭遇する物体の多くをカバーすることができ、誤検知低減に寄与することができる。

なお、本実施の形態では可視カメラで撮像した可視画像に基づく歩行者検知システムに適用したが、可視画像以外にも、近赤外線カメラや遠赤外線カメラで撮影した赤外線画像に基づく歩行者検知システムにも適用可能である。

本発明は、上述の各実施の形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。

１０００ 車両用外界認識装置
１０１１ 画像取得部
１０２１ 処理画像生成部
１０３１ 歩行者候補設定部
１０４１ 歩行者判定部
１１１１ 物体位置検出部
１２１１ 第一の衝突判定部
１２２１ 第二の衝突判定部
１２３１ 衝突判定部
２０００ 車両用外界認識装置
２０３１ 歩行者候補設定部
２０４１ 歩行者判定部
２０５１ 歩行者確定部
３０００ 車両用外界認識装置
３０４１ 第一の歩行者判定部
３０５１ 第二の歩行者判定部

Claims (14)

1. 自車前方を撮像した画像を取得する画像取得部と、
   前記画像から歩行者を検出する処理領域を設定する処理領域設定部と、
   前記画像から歩行者の有無を判定する歩行者候補領域を設定する歩行者候補設定部と、
   前記歩行者候補領域内から画素毎に０度方向，４５度方向，９０度方向，１３５度方向の濃淡変化量を算出して方向別濃淡変化量画像を生成し、前記歩行者候補領域内における前記方向別濃淡変化量画像から、縦方向の濃淡変化量の割合及び横方向の濃淡変化量の割合を算出し、算出された前記縦方向の濃淡変化量の割合が、予め定めた縦方向の閾値未満、且つ算出された前記横方向の濃淡変化量の割合が、予め定めた横方向の閾値未満の場合、歩行者であると判定し、前記縦方向の濃淡変化量の割合が、予め定めた縦方向の閾値以上の場合、又は前記横方向の濃淡変化量の割合が、予め定めた横方向の閾値以上の場合、人工物であると判定する歩行者判定部と、
   を有する車両用外界認識装置。
2. 請求項１記載の車両用外界認識装置において、
   前記歩行者候補設定部は、前記処理領域内の前記画像からオフライン学習により生成される識別器を用いて前記歩行者に類似した歩行者候補領域を抽出する車両用外界認識装置。
3. 請求項１記載の車両用外界認識装置において、
   自車前方に存在する物体を検出した物体情報を取得する物体検出部を有し、
   前記処理領域設定部は、取得した前記物体情報に基づいて前記画像内の処理領域を設定する車両用外界認識装置。
4. 請求項１記載の車両用外界認識装置において、
   前記人工物とは、電柱、ガードレール、路面ペイントのいずれかを有する車両用外界認識装置。
5. 請求項１記載の車両用外界認識装置において、
   前記歩行者候補設定部は、
   前記画像からエッジを抽出してエッジ画像を生成し、
   前記エッジ画像から歩行者判定をするためのマッチング判定領域を設定し、
   前記マッチング判定領域が歩行者と判定された場合に歩行者候補領域として設定する車両用外界認識装置。
6. 請求項１記載の車両用外界認識装置において、
   前記歩行者候補設定部は、前記歩行者候補領域から歩行者候補物体情報を算出する車両用外界認識装置。
7. 請求項６記載の車両用外界認識装置において、
   前記歩行者候補物体情報に基づいて、検知された物体に自車両が衝突する危険があるか否かを判定し、判定した結果に基づいて警報信号又はブレーキ制御信号を生成する第一の衝突判定部を有する車両用外界認識装置。
8. 請求項７記載の車両用外界認識装置において、
   前記第一の衝突判定部は、
   前記歩行者候補物体情報を取得し、
   前記歩行者候補物体情報から検知された物体と自車両の相対距離及び相対速度に基づいて自車両が前記物体に衝突する衝突予測時間を算出し、
   前記歩行者候補物体情報から検知された物体と自車両との距離に基づいて衝突危険度を算出し、
   前記衝突予測時間及び前記衝突危険度に基づいて衝突の危険があるか否かを判定する車両用外界認識装置。
9. 請求項８記載の車両用外界認識装置において、
   前記第一の衝突判定部は、
   前記衝突危険度が最も高い物体を選択し、
   選択された物体に対して前記衝突予測時間が予め定めた閾値以下の場合、警報信号又はブレーキ制御信号を生成する車両用外界認識装置。
10. 請求項１記載の車両用外界認識装置において、
    前記歩行者判定部で判定された歩行者の歩行者情報に基づいて自車両が歩行者に衝突する危険があるか否かを判定し、判定した結果に基づいて警報信号又はブレーキ制御信号を生成する第二の衝突判定部を有する車両用外界認識装置。
11. 請求項１０記載の車両用外界認識装置において、
    前記第二の衝突判定部は、
    前記歩行者情報を取得し、
    前記歩行者情報から検知された物体と自車両の相対距離及び相対速度に基づいて自車両が前記歩行者に衝突する衝突予測時間を算出し、
    前記歩行者情報から検知された歩行者と自車両との距離に基づいて衝突危険度を算出し、
    前記衝突予測時間及び前記衝突危険度に基づいて衝突の危険があるか否かを判定する車両用外界認識装置。
12. 請求項１１記載の車両用外界認識装置において、
    前記第二の衝突判定部は、
    前記衝突危険度が最も高い歩行者を選択し、
    選択された歩行者に対して前記衝突予測時間が予め定めた閾値以下の場合、警報信号又はブレーキ制御信号を生成する車両用外界認識装置。
13. 請求項１記載の車両用外界認識装置において、
    前記歩行者判定部で歩行者と判定された領域に対して、オフライン学習により生成される識別器を用いて歩行者の存在を確定する歩行者確定部を有する車両用外界認識装置。
14. 請求項１記載の車両用外界認識装置において、
    前記歩行者判定部は、第一の歩行者判定部と、第二の歩行者判定部と、を有し、
    前記第一の歩行者判定部は、前記歩行者候補領域内から画素毎に０度方向，４５度方向，９０度方向，１３５度方向の濃淡変化量を算出して方向別濃淡変化量画像を生成し、前記歩行者候補領域内における前記方向別濃淡変化量画像から、縦方向の濃淡変化量の割合及び横方向の濃淡変化量の割合を算出し、算出された前記縦方向の濃淡変化量の割合が、予め定めた縦方向の閾値未満、且つ算出された前記横方向の濃淡変化量の割合が、予め定めた横方向の閾値未満の場合、歩行者であると判定し、前記縦方向の濃淡変化量の割合が、予め定めた縦方向の閾値以上の場合、又は前記横方向の濃淡変化量の割合が、予め定めた横方向の閾値以上の場合、人工物であると判定し、
    前記第二の歩行者判定部は、前記第一の歩行者判定部で歩行者と判定された歩行者判定領域において所定の輝度値以上である画素数に基づいて前記歩行者判定領域が歩行者であるか人工物であるかを判定する車両用外界認識装置。

Images