JP5785515B2 - 歩行者検出装置及び方法、並びに車両用衝突判定装置 - Google Patents

Description

本発明は、車両の前方に位置する歩行者を検出する装置及び方法、並びに検出された歩行者が自車両に衝突する危険性があるか否かの判定を行う装置に関するものである。

自車の前方にいる人物を検出し、当該人物と衝突する可能性が高い場合には、アラームを発して運転手に危険を告知し、あるいは、自動的にブレーキ動作を行って衝突を回避するようにしたセーフティシステムが広く知られている。

このようなセーフティシステムにおいて、例えば、車両に備えられたカメラで撮像して得られた画像データに対し、既知の人物の形状パターンとのパターンマッチングを行うことで、人物の有無を検出することができる。ここで、実際には人物が存在しないにもかかわらず、人物以外の物体を歩行者と検出してしまうと、不必要な場面でアラームが発せられ、あるいは急停車してしまうことになる。

かかる誤検出を防止するために、撮像で得られた画像を詳細に解析することが効果的であるが、処理に時間がかかってしまうという問題がある。この点、特許文献１に記載の外界認識装置では、自車前方を撮像した画像から候補領域を設定し、当該候補領域における濃淡変化量の割合に応じて人物か人工物かの判定を行うことにより、少ない処理負荷で人物の検出を行うようにしている。

特開２０１１−１５４５８０公報

しかしながら、例えば車両前方の人物が自車両を認識して停止している場合には、あえてアラームを発しあるいは急停車を行う必要はないところ、特許文献１に記載の識別方法では、人物が歩行しているか停止しているかの判定は行われていないため、より効率の良いシステムの構成が望まれていた。

本発明は、上記に鑑みなされたものであり、車両前方に存在する人物の状態を推定することにより、衝突判定の誤検出を低減することができる歩行者認識装置及び方法を提供することを目的とする。

本発明にかかる歩行者認識装置は、自車両の前方を撮像した画像に対応する画像データを取得する画像取得部と、前記画像に含まれる物体を検出し、当該物体を含む一定領域を処理領域として設定する処理領域設定部と、前記処理領域内の前記画像における各画素の輝度の勾配を示す輝度勾配画像を生成し、当該輝度勾配画像の複数方向の輝度勾配の割合に応じて前記処理領域内の画像に人物が含まれているか否かを判定する人物判定部と、人物であると判定された前記処理領域の輝度勾配画像を用いて、当該人物が歩行中であるか否かを判定する歩行状態判定部とを備えた構成を有する。

かかる構成により、車両前方に存在する人物を検出するとともに、当該人物が歩行中であるか否かを判定することができ、例えば車道の脇に人物が停止している場合に、衝突の危険性があると誤判定するおそれをなくすことができる。

本発明の歩行者認識装置において、前記歩行状態判定部は、歩行者の手及び／又は足の輝度勾配画像に対応する輝度勾配の割合情報を記憶する記憶部を備え、前記人物判定部で人物と判定された画像の手及び／又は足の部分の輝度勾配画像の輝度勾配の割合と、前記記憶部に記憶された輝度勾配の割合とを比較して、当該人物が歩行中であるか否かを判定することが好ましい。また、前記記憶部に記憶された輝度勾配の割合情報は、輝度勾配の主成分を示す勾配方向と、輝度勾配画像における前記主成分の割合を示す情報であることが好ましい。

本発明の歩行者認識装置において、前記歩行状態判定部は、歩行中であると判定された人物の足の先端部分の画像に基づいて前記歩行者の走行方向を判定することが好ましい。かかる構成により、歩行者が自車両に近づいているか、あるいは遠ざかっているかを検出することができ、衝突判定の精度の向上を図ることができる。

本発明の歩行者認識装置には、前記画像取得部で取得した画像データのサイズを縮小し、縮小画像として前記人物判定部に出力する画像縮小処理部と、前記人物判定部で人物と判定された前記処理領域の情報と、前記画像処理部で取得した画像データとに基づいて、前記処理領域内の輝度勾配画像を生成して前記歩行状態判定部に出力する勾配画像生成部とをさらに備えた構成を有する。かかる構成により、人物であるか否かの検出を少ない画素数の画像データを用いて短時間で行うとともに、歩行状態の検出は画素数の多い画像データを用いて精度良く行うことが可能となる。

本発明に係る衝突判定装置は、上記の歩行者認識装置と、前記歩行者の車両との相対位置及び前記歩行者の歩行状態に基づき、前記歩行者と自車両とが衝突する危険性があるか否かを判定する衝突判定部と、を備えた構成を有する。かかる構成により、人物の歩行状態に応じた衝突判定を行うことができ、衝突判定の精度の向上を図ることができる。

本発明に係る歩行者認識方法は、自車両の前方を撮像した画像に対応する画像データを取得する画像取得ステップと、前記画像に含まれる物体を検出し、当該物体を含む一定領域を処理領域として設定する処理領域設定ステップと、前記処理領域内の前記画像における各画素の輝度の勾配を示す輝度勾配画像を生成し、当該輝度勾配画像の複数方向の輝度勾配の割合に応じて前記処理領域内の画像に人物が含まれているか否かを判定する人物判定ステップと、人物であると判定された前記処理領域の輝度勾配画像を用いて、当該人物が歩行中であるか否かを判定する歩行状態判定ステップと、を備えた構成を有する。係る構成によっても、人物が歩行中であるか否かを判定することで、衝突の危険性があるか否かの判定を精度良く行うことができる。

本発明によれば、車両前方の歩行者の状態（歩行中か停止中か）を推定して衝突の危険性を判定するようにしたので、危険がない状況下でアラームが作動し、あるいは急停車することを抑制することができる。

本発明の実施形態に係る衝突判定装置の構成を示すブロック図 撮像で得られた画像の一例を示す説明図 図２の画像の歩行者部分の輝度勾配図 撮像で得られた画像の別の例を示す説明図 図４の画像の歩行者部分の輝度勾配図 本発明の別の実施形態に係る衝突判定装置の構成を示すブロック図 本発明のさらに別の実施形態に係る衝突判定装置の構成を示すブロック図

（第１の実施形態）
本発明の好適な実施形態について、図面を参照しつつ説明する。図１は、本発明の第１の実施形態に係る衝突判定装置の構成を示すブロック図である。衝突判定装置１０は、例えば車両に搭載され、車両内のＥＣＵ（Electrical Control Unit）に電気的に接続されており、画像取得部１２、処理領域設定部１４、人物判定部１６、歩行状態判定部１８及び衝突判定部２０を備える。衝突判定装置１０は、車両に備えられた撮像部２２及び車両情報取得部２４に接続されており、撮像部２２で得られた自車前方の画像データ、車両情報取得部２４で得られた走行速度、操舵角、走行方向等の各種データが、衝突判定装置１０に入力される。

撮像部２２は、例えば車両の前部に固定されたＣＣＤカメラやＣＭＯＳカメラであり、車両前方の画像を撮像するとともに、撮像により得られた画像データを画像取得部１２に出力する。画像取得部１２は、撮像部２２より入力された画像データを衝突判定装置１０内のメモリ（図示せず）に記憶する。なお、本実施形態の衝突判定装置においては、入力される画像データとして、白黒画像及びカラー画像に対応する画像データのいずれかを適用することができる。

車両情報取得部２４は、速度センサ、操舵角センサ、方向センサといった各種センサを備えており、車両の走行速度、操舵角、走行方向といった各種の車両情報を取得する。また、車両情報取得部２４はミリ波レーダを備えており、自車前方の歩行者等の物体の有無及び物体情報（当該物体との距離、当該物体の横方向及び縦方向の大きさ）を取得する。車両情報取得部２４において得られた情報は、処理領域設定部１４へ出力される。

処理領域設定部１４は、車両情報取得部２４により得られた物体情報及び画像取得部１２より入力された車両前方の画像データに基づき、当該画像データ内で物体が占めるエリアを抽出して処理領域（例えば、長方形の領域）として定め、当該長方形を構成する各頂点の座標情報を出力する。

例えば、図２に示すように、道路と道路付近の人物３１とから構成される画像３０に相当する画像データが、画像取得部１２から入力された場合、処理領域設定部１４は、当該人物３０を含む長方形の領域３２と、道路を含む長方形の領域３３〜３５を、それぞれ処理領域（図中、点線で示した領域）として設定し、設定された処理領域の頂点の座標情報を出力する。同様に、図４で示す画像５０に相当する画像データが出力された場合には、処理領域設定部１４は、人物５１を含む長方形の領域５２と、道路を含む長方形の領域５３〜５５を、処理領域（図中、点線で示した領域）として設定する。

処理領域設定部１４は、車両情報取得部２４より入力される車両の情報を用いて、車両の走行状態に応じて処理領域を設定しても良い。例えば、車両が停止中の場合には、距離センサからの被写体への距離情報に基づき、自車両から例えば数ｍ以内にある物体のみを処理領域として設定する。また、車両が右折する場合には、撮像で得られた画像の例えば右半分の領域内に位置する物体のみを処理領域として設定する。これにより、衝突の危険性がない領域における歩行者検出及び衝突判定処理を省略することができる。

人物判定部１６は、処理領域設定部１４で設定された処理領域内の物体が歩行者であるか否かを判定する。人物判定部１６は、処理領域に対応する画像データに基づき、当該処理領域内の画像のエッジ方向に対応する輝度勾配画像を生成し、この勾配画像におけるエッジ方向ごとのヒストグラムに基づいて、処理領域内の物体が歩行者であるか否かを判定する。

人物判定部１６は、例えば８方向（０度方向、４５度方向、９０度方向、１３５度方向、１８０度方向、２２５度方向、２７０度方向及び３１５度方向）の勾配量（輝度変化量）を求めるフィルタ（例えば３×３のフィルタ）を備えている。ここで、各方向における勾配量を算出するためのフィルタとしては、例えば特開２０１１−１５４５８０号公報に記載のフィルタ等の公知のフィルタを用いることができる。

人物判定部１６は、処理領域内の画像データを構成する画素ごとに、当該画素と周囲８画素の合計９画素分の画素値と、対応する位置の０度方向の勾配量を求めるフィルタとの積和演算を行い、当該画素における０度方向の勾配量を算出する。人物判定部１６は、さらに、当該画素及び周囲の画素データに対しても同様の積和演算を行い、他の方向における勾配量を算出する。

次に、人物判定部１６は、各画素において算出された各方向に対応する勾配量のうち、最大値をとる方向を当該画素における勾配方向と定める。これにより、図３Ａに示す処理領域内の画像４０（図５Ａの例では画像６０）から、当該画像４０、６０を構成する各画素の勾配情報（勾配方向及び勾配量）を示す勾配画像４２（図５Ｂの例では勾配画像６２）が生成される。

人物判定部１６は、処理領域内の物体が人物であると仮定して、生成された勾配画像を、頭、胴体、両手、両足の各パーツ４３〜４８（図３Ｃ）、６３〜６８（図５Ｃ）に分割し、分割された各パーツの勾配画像４３〜４８、６３〜６８と、人物を示す既知の勾配画像との間で、周知の手法によるパターンマッチングを行う。そして、人物判定部１６は、各パーツにおけるパターンマッチングのスコアの合計が所定値を超える場合に、当該処理領域内の物体が人物であると判定する。

歩行状態判定部１８は、人物判定部１６において人物と判定された物体に対して、その人物が停止中であるか歩行中であるかを判定する。歩行状態判定部１８は、処理領域内の勾配画像を、人体のパーツごと（例えば、頭、胴体、右手、左手、右足、左足）に分割する。そして、分割された足及び／又は手の勾配画像を構成する複数の勾配成分の割合と、歩行者の手及び／又は足を示す基準となる勾配画像の複数の勾配成分の割合とを比較して、当該人物が歩行中であるか否かを判定する。

歩行状態判定部１８は、歩行中の人物の手、足の勾配画像に対応する、各勾配方向の割合を示す勾配割合データを記憶する記憶部２６を備える。記憶部２６に記憶された勾配割合データは、予め、歩行中の人物を示す複数の画像に対する勾配画像を生成し、これら歩行者の勾配画像の各勾配成分の割合を求め、当該割合が大きな勾配成分（主成分）の勾配方向（例えば、３つの勾配成分）と、その主成分の割合の情報を抽出することで、生成することができる。

例えば、勾配画像として「足」、勾配成分として「４５度、３０％」「１３５度、２５％」「２２５度、２０％」という勾配割合データ、及び／または、勾配画像として「手」、勾配成分として「１３５度、２５％」「０度、１５％」「３１５度、１５％」といった勾配割合データが、記憶部２６に記憶される。

歩行状態判定部１８は、処理領域内の勾配画像のうち、手及び／又は足に対応する勾配画像の、各方向成分の勾配割合を算出し、得られた勾配割合と記憶部２６に記憶された同一方向の勾配割合との差の合計値を算出する。そして、当該合計値が所定値を下回る場合には、人物が歩行中であると判定する。

例えば、図３に示す例（図３Ｃ）では、両手の勾配画像４５，４６及び両足の勾配画像４７，４８には、斜め方向（４５度及び１３５度、２２５度方向の成分）の勾配割合が大きく、記憶部２６内の勾配割合データとの差が小さくなることから、歩行状態判定部１８は、当該画像４０内の人物が歩行中であると判定する。歩行状態判定部１８は、歩行中であると推定した人物の両足の勾配画像４７，４８において、垂直成分（９０度方向）の勾配量の合計値と水平成分（０度方向）の勾配量の合計値を比較し、後者が前者よりも大きい場合には、当該歩行者は画面の左右方向のいずれかに移動していると判定する。

さらに、歩行状態判定部１８は、画面の左右方向のいずれかに移動していると判定した場合において、両足の勾配画像４７，４８の先端部分が左側を向いている場合には画像内で左方向に移動していると判定し、先端部分が右側を向いている場合には当該歩行者は右方向に移動していると判定する。

一方、図５に示す例では、両手の勾配画像６５，６６及び両足の勾配画像６７，６８には、垂直方向の成分が多く、斜め方向の勾配割合が小さく、記憶部２６内の勾配割合データとの差が大きくなることから、歩行状態判定部１８は、当該人物が停止中であると判定する。このようにして、歩行状態判定部１８は、検出された人物が歩行中であるか否か、歩行中の場合はその進行方向を推定することができる。

衝突判定部２０は、人物判定部１６において人物であると判定され、さらに歩行状態判定部１８において歩行中であると判定された歩行者に関して、自車両との衝突の危険性があるか否かを判定し、衝突の危険性がある場合には、アラームを発生させ又は自動ブレーキ制御を行うための信号を出力する。

衝突判定部２０は、自車両の走行速度、走行方向、操舵角等の車両情報に基づき、自車両の走行予定経路を算出する。そして、自車両に対する歩行者の相対位置情報に基づき、自車両の走行予定経路と歩行者との最短距離を算出する。さらに、歩行状態判定部において検出された歩行者の走行状態に応じた補正係数を最短距離の値に乗じて、危険度を算出する。そして、危険度が所定の閾値を超える場合に、アラームを発生させ又は自動ブレーキ制御を行うための信号を出力する。

ここで、補正係数の定め方としては、例えば検出された歩行者が車両の走行経路に向かって歩行中である場合には、補正係数を１よりも高い値とし、歩行者が走行経路から離れて歩行する場合には、補正係数を１よりも小さい値とする。これにより、歩行者の歩行状態に即した衝突判定を行うことができる。

このように、撮像で得られた画像の勾配情報に基づいて歩行者の歩行状態を検出し、検出された歩行状態（進行方向）に応じて、自車両と衝突するか否かの判定を行うようにしたから、歩行者の状態に即した衝突判定を行うことができ、したがって誤検出が発生するおそれを低減することが可能となる。

（第２の実施形態）
図６は、本発明の第２の実施形態に係る衝突判定装置の構成を示したものである。図６に示す衝突判定装置７０では、図１に示す例と比較して、車両情報取得部からの情報が入力されない代わりに、画像取得部１２で得られた画像データを解析して車両前方の物体の位置及び自車両の速度等を検出する走行情報推定部７１が設けられている。なお、上記第１実施形態と同じ構成部材については、同一の符番を付して、その詳細な説明を省略する。

走行情報推定部７１は、画像取得部１２から連続して入力される複数の画像データに基づき、画像の動きを示す情報を、例えばオプティカルフローを算出することにより検出し、これにより自車両の速度、進行方向、物体の相対移動速度といった情報を算出する。

（第３の実施形態）
図７は、本発明の第３の実施形態にかかる衝突判定装置を示すブロック図である。この実施形態にかかる衝突判定装置８０では、第１の実施形態に係る衝突判定装置と比較して、処理領域設定部１４と人物判定部１６との間に画像縮小部８１が設けられ、さらに、画像取得部と歩行状態判定部１８との間に勾配画像生成部８２が設けられている点で相違している。

画像縮小部８１は、画像取得部１２から出力され、処理領域設定部１４で処理領域が設定された画像データが入力され、当該画像データを間引きすることで、画像データを構成する画素数を縮小する。そして、人物判定部１６は、当該縮小された画像データに対して、処理領域内の画像が歩行者であるか否かを判定する。

勾配画像生成部４４は、人物判定部１６において歩行者であると判定された処理領域の情報と、画像取得部１２から出力された原画像データ（間引きされていない画像データ）が入力され、当該処理領域における原画像データに対して４５度毎の勾配量を算出し、算出された勾配量より勾配画像を生成して、歩行状態判定部１８に出力する。歩行状態判定部１８では、原画像データに対応する勾配画像に基づき、第１の実施形態と同様にして、人物が歩行中であるか否かを推定する。

このように、本実施形態の衝突判定装置によれば、人物であるか否かの判定を間引きされた画像データに基づき行うことで、人物の判定に要する時間を短縮することができる。そして、歩行中であるか否かを、画素数の多い原画像データに基づき行うことで、歩行中か否かの判定を精度良く行うことができる。

上記実施形態では、勾配画像として、４５度刻みの（８方向の）勾配量の値を用いているが，本発明はこれに限られることはなく、例えば、１８方向（０度から３４０度までの２０度刻み）の勾配量に基づき、勾配画像を生成しても良い。

また、人物判定部において、周知のパターンマッチングの手法により人物か否かを判定しているが、本発明はこれに限られず、例えば、縦方向（９０度方向）及び横方向（０度方向）の勾配量を合計し、これら縦方向及び横方向の合計値が予め定められた閾値を超えない場合には、当該処理領域内の物体が歩行者であると判定するようにしても良い。これは、例えば建築物や路面ペイント等の歩行者以外の物体については、縦方向または横方向の濃淡変化が大きく、人物のように曲線部分を多く含む物体については、これら縦方向及び横方向の濃淡変化量が比較的小さいことによる。

上記実施形態では、歩行状態判定部１８の記憶部２６に備えられた所定の勾配割合データは予め定められた値としているが、本発明はこれに限られず、例えば歩行状態判定部において歩行者であると判定された画像の勾配画像が持つ勾配割合の情報を用いて、記憶部２６に記憶された勾配割合データを更新しても良い。

以上説明したように、本発明によれば、撮像で得られた画像から人物の有無を検出するとともに、当該人物が歩行中であるか否かを推定することにより、自車両との衝突の危険性があるか否かを精度良く判定することができるから、車両用の衝突判定装置として有用である。

１０、７０，８０ 衝突判定装置
１２ 画像取得部
１４ 処理領域設定部
１６ 人物判定部
１８ 歩行状態判定部
２０ 衝突判定部
２２ 撮像部
２４ 車両情報取得部
４０，６０ 処理領域内の画像
４２，６２ 勾配画像
７１ 走行情報推定部
８１ 画像縮小処理部
８２ 勾配画像生成部

Claims (6)

1. 自車両の前方を撮像した画像に対応する画像データを取得する画像取得部と、
   前記画像に含まれる物体を検出し、当該物体を含む一定領域を処理領域として設定する処理領域設定部と、
   前記処理領域内の前記画像における各画素の輝度の勾配を示す輝度勾配画像を生成し、当該輝度勾配画像の複数方向の輝度勾配の割合に応じて前記処理領域内の画像に人物が含まれているか否かを判定する人物判定部と、
   歩行者の手及び／又は足の輝度勾配画像に対応する輝度勾配の割合情報を記憶する記憶部を備え、前記人物判定部で人物と判定された画像の手及び／又は足の部分の輝度勾配画像の輝度勾配の割合と、前記記憶部に記憶された輝度勾配の割合とを比較して、当該人物が歩行中であるか否かを判定する歩行状態判定部と、を備えたことを特徴とする歩行者認識装置。
2. 前記記憶部に記憶された輝度勾配の割合情報は、輝度勾配の主成分を示す勾配方向と、輝度勾配画像における前記主成分の割合を示す情報であることを特徴とする、請求項１記載の歩行者認識装置。
3. 前記歩行状態判定部は、歩行中であると判定された人物の足の先端部分の画像に基づいて、前記歩行者の歩行方向を判定することを特徴とする、請求項１記載の歩行者認識装置。
4. 前記画像取得部で取得した画像データのサイズを縮小し、縮小画像として前記人物判定部に出力する画像縮小処理部と、
   前記人物判定部で人物と判定された前記処理領域の情報と、前記画像処理部で取得した画像データとに基づいて、前記処理領域内の輝度勾配画像を生成して前記歩行状態判定部に出力する勾配画像生成部と、を備えたことを特徴とする請求項１ないし３のいずれか記載の歩行者認識装置。
5. 請求項１ないし４のいずれか記載の歩行者認識装置と、
   前記歩行者の車両との相対位置及び前記歩行者の歩行状態に基づき、前記歩行者と自車両とが衝突する危険性があるか否かを判定する衝突判定部と、を備えたことを特徴とする車両用衝突判定装置。
6. 自車両の前方を撮像した画像に対応する画像データを取得する画像取得ステップと、
   前記画像に含まれる物体を検出し、当該物体を含む一定領域を処理領域として設定する処理領域設定ステップと、
   前記処理領域内の前記画像における各画素の輝度の勾配を示す輝度勾配画像を生成し、当該輝度勾配画像の複数方向の輝度勾配の割合に応じて前記処理領域内の画像に人物が含まれているか否かを判定する人物判定ステップと、
   歩行者の手及び／又は足の輝度勾配画像に対応する輝度勾配の割合情報が記憶部に記憶されており、前記人物判定ステップにて人物と判定された画像の手及び／又は足の部分の輝度勾配画像の輝度勾配の割合と、前記記憶部に記憶された輝度勾配の割合とを比較して、当該人物が歩行中であるか否かを判定する歩行状態判定ステップと、を備えたことを特徴とする歩行者認識方法。

Images