JP6252783B2

JP6252783B2 - 車両用歩行者検出装置

Info

Publication number: JP6252783B2
Application number: JP2014174906A
Authority: JP
Inventors: 章史露木; 岩本　太郎; 太郎岩本
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2014-08-29
Filing date: 2014-08-29
Publication date: 2017-12-27
Anticipated expiration: 2034-08-29
Also published as: JP2016051246A

Description

本発明は、車両用歩行者検出装置に係り、より詳細には、定常歩行、走り出し及び定常走行等の歩行者の移動状態を判定可能な車両用歩行者検出装置に関する。

近年、撮像手段の高機能化及び数値演算処理装置の高速化が進んだことにより、高度な画像処理機能が安価に提供可能となってきている。このため、撮像手段で取得した画像を処理することで得られる情報を活用して車両の運転支援を行う種々の運転支援装置の車両への搭載が進められている。そのような運転支援装置は、例えば、車両の進路上の歩行者を画像から検出し、歩行者と自車両とが衝突する可能性がある場合に緊急自動ブレーキ（Autonomous Emergency Braking：ＡＥＢ）を作動させることができる。

さらに、下記の特許文献１には、歩行者がこれから自車両の進路内を横断する可能性があるか否かを判定する歩行者認識装置が開示されている。この歩行者認識装置では、歩行者の身長と脚部開度とを検出し、その身長に対する脚部開度の比率が所定値以上か否かを判別することにより、移動中の歩行者に対する横断可能性を効果的に判定している。

また、下記の特許文献２には、歩行者の意思が反映された膝部位置移動速度及び肩部位置移動速度を検出することにより、歩行者の横断開始の判定を早期かつ精度良く行う技術が開示されている。

特開２００７−２６４７７８号公報特開２０１０−６６８１０号公報

しかしながら、歩行者の身体部位の挙動を検出するためには、複数の検出手段を組み合わせた大掛かりな計測手段が必要であり、コストの上昇を招くことが懸念される。また、歩行者の各身体部位を識別し、それらの挙動を計測するためには、複雑な計算処理が必要となり、計算処理に時間を要する。このため、判定の遅れや判定精度の低下が懸念される。

ところで、緊急自動ブレーキを作動させる前提となる、歩行者と自車両との衝突の可能性の判定は、歩行者の歩行速度から予測した歩行者の将来位置と、自車両の車速から予測した自車両の将来位置とを比較することによって行われる。

ここで、歩行者の歩行速度は、歩行者の位置を時系列で追跡することによって検出される。歩行速度は、例えば、所定の時間間隔で検出された歩行者の位置の差分を、その所定の時間間隔で除算することによって求められる。そして、この時間間隔を短くすれば、より正確な歩行速度が得られるとも考えられる。

しかし、歩行者は足の「踏み出し」と「着地」とを交互に繰り返す二足歩行を行っているため、歩行速度は周期的に大きく変動する。その結果、検出の時間間隔を極限まで短くして求めた歩行速度の瞬間値をそのまま使用したのでは、歩行者の将来位置の予測が却って不正確となってしまう。このため、歩行者の歩行速度は、ある程度の時間幅での平均歩行速度を算出することによって算出されることになる。

ところが、このような平均歩行速度は、実際の歩行速度の移動平均値となるため、歩行速度が変化した場合に遅れて変化する。例えば、車道を歩いて横断している歩行者が突然走り出した場合、平均歩行速度は時間的に遅れて上昇する。このように歩行者の移動状態（定常歩行、走り出し及び定常走行等）が変化した場合、平均歩行速度に基づく歩行者の将来位置の予測精度が低下してしまう。その結果、衝突の可能性の判定が遅れて、緊急自動ブレーキの作動が遅れることが懸念される。そこで、緊急自動ブレーキ等の車両の運転支援機能をより向上させるためには、歩行者の走り出し等の移動状態の変化を早期に精度良く検出することが望まれる。

そこで、本発明は、歩行者の移動状態の変化を早期に精度良く検出することができる車両用歩行者検出装置を提供することを目的としている。

上記の目的を達成するため、本発明の車両用歩行者検出装置は、自車両の前方を撮像して画像を生成する撮像手段と、上記画像から歩行者を検出する歩行者検出手段と、上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、上記前傾角度の振幅を検出する振幅検出手段と、上記前傾角度の振幅が一定の振幅で継続しているときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、上記移動状態判定手段は、移動中の上記歩行者の移動状態を定常状態と判定した場合において、上記前傾角度の振幅が所定値未満のときに、上記移動状態を定常歩行状態と更に判定し、上記前傾角度の振幅が所定値以上のときに、上記移動状態を定常走行状態と更に判定することを特徴としている。

歩行者が走り出すと前傾姿勢となることは一般によく見られる現象である。しかし、実際の歩行者を観察すると、背筋を伸ばして歩く歩行者もいれば、荷物を背負って前屈みになって歩く歩行者もいるため、歩行者の姿勢の前傾角度には大きな個人差がある。このため、歩行者の前傾角度だけで不特定の歩行者の移動状態を判定することは困難である。そこで、本出願に係る発明者は、種々の実験及び検討を行った結果、歩いている歩行者が走り出す場合のような移動状態が変化する場合に、歩行者の移動速度が変化するのに先行して、歩行者の上半身の前傾角度の「振幅」が変化すること見出した。本発明は、かかる知見に基づいてなされたものである。

実施形において詳しく説明するように、歩行者の移動状態が、歩いている状態（定常歩行状態）及び走っている状態（定常走行状態）といった定常状態の場合、歩行者の上半身の前傾角度は、いずれも実質的に一定の振幅で周期的に変動している。これに対し、停止している歩行者が歩き出したり、歩いている歩行者が走り出したりするといった過渡状態の場合には、前傾角度の振幅が、一定の振幅より一時的に増大する。ここで、注目すべき点は、例えば、移動状態が定常歩行状態から定常走行状態に遷移する際に、定常走行状態となるより前に、それも歩行者の移動速度の増大開始よりも早期に、この前傾角度の振幅が増大し始めることである。したがって、前傾角度の振幅に着目することによって、歩行者の移動状態の変化を、歩行者の移動速度だけを検出する場合よりも早期に検出することができる。例えば、歩いている歩行者が走り出すことを早期に検出することができる。

また、歩行者の上半身は、道路上に構造物や駐車車両といった遮蔽物が存在している場合であっても、比較的検出しやすい。このため、歩行者の上半身の前傾角度の振幅を精度良く検出することができる。その結果、歩行者の移動状態を精度良く検出することができる。

また、歩行者の上半身の前傾角度は、撮像された歩行者の身体シルエットから図形的（幾何学的）な処理で容易に取得することができる。このため、本発明によれば、上記の特許文献２において画像から歩行者の肩及び膝を特定してそれらの位置を取得する場合よりも、処理量の低減を図ることができる。その結果、誤差による精度の低下を抑制でき、そのうえ、計算時間の短縮を図ることができる。これにより、本発明の車両用歩行者検出装置によれば、歩行者の移動状態の変化を早期に精度良く判定することができる。
さらに、本出願に係る発明者は、種々の実験及び検討を重ねた結果、走っている歩行者の上半身の前傾角度の振幅が、歩いている歩行者の上半身の前傾角度の振幅よりも小さい傾向があることを見出した。かかる知見に基づき、歩行者が歩いているのか、走っているのかを容易に判定することができる。

上記の目的を達成するため、本発明の車両用歩行者検出装置は、自車両の前方を撮像して画像を生成する撮像手段と、上記画像から歩行者を検出する歩行者検出手段と、上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、上記前傾角度の振幅を検出する振幅検出手段と、上記前傾角度の振幅が一定の振幅で継続しているのときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、上記移動状態判定手段は、移動中の上記歩行者の移動状態を過渡状態と判定した場合において、増大した振幅における前傾角度の極大値が、上記定常状態時の一定の振幅における前傾角度の極大値よりも増大したときは、上記移動状態を加速状態と更に判定し、増大した振幅における前傾角度の極小値が、定常状態時の一定の振幅における前傾角度の極小値よりも減少したときには、上記移動状態を減速状態と更に判定することを特徴としている。

本出願に係る発明者は、種々の実験及び検討を重ねた結果、歩いている歩行者が走り出すような、加速する過渡状態では、単に前傾角度の振幅が増大するだけではなく、前傾角度も増大する傾向があり、一方、走っている歩行者が停止するときのような、減速する過渡状態では、前傾角度の振幅は増大するが、前傾角度は減少する傾向があることを見出した。かかる知見に基づき、過渡状態において歩行者が加速しているのか、減速しているのかを容易に判定することができる。

上記の目的を達成するため、本発明の車両用歩行者検出装置は、自車両の前方を撮像して画像を生成する撮像手段と、上記画像から歩行者を検出する歩行者検出手段と、上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、上記前傾角度の振幅を検出する振幅検出手段と、上記前傾角度の振幅が一定の振幅で継続しているのときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、上記移動状態判定手段は、過渡状態と判定した場合に、上記前傾角度の振幅の大きさが大きいほど、歩行者の加速度が大きいと推定することを特徴としている。

本出願に係る発明者は、種々の実験及び検討を重ねた結果、過渡状態における前傾角度の振幅と歩行者の加速度との間には強い相間があることを見出した。かかる知見に基づき、歩行者の前傾角度の振幅から、歩行者の加速度を推定することができる。特に、歩行者が車道に飛び出すときの加速度が推定できれば、歩行者の将来位置の予測精度の向上を図ることができる。

上記の目的を達成するため、本発明の車両用歩行者検出装置は、自車両の前方を撮像して画像を生成する撮像手段と、上記画像から歩行者を検出する歩行者検出手段と、上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、上記前傾角度の振幅を検出する振幅検出手段と、上記前傾角度の振幅が一定の振幅で継続しているのときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、上記移動状態判定手段は、停止中の上記歩行者の移動状態を過渡状態と判定した場合において、上記前傾角度の振幅が所定値未満のときは、上記移動状態を歩き出し状態と更に判定し、上記前傾角度の振幅が所定値以上のときは、上記移動状態を走り出し状態と更に判定することを特徴としている。

また、本発明において好ましくは、上記歩行者の移動速度を検出する移動速度検出手段を更に有し、上記移動状態判定手段は、上記歩行者の移動速度がゼロの場合に、上記歩行者を停止中と判定し、上記歩行者の移動速度がゼロでない場合に、上記歩行者を移動中と判定する。
このように、歩行者が停止中であるか移動中であるかを判定することにより、歩行者の移動状態をより適切に判定することができる。

また、本発明において好ましくは、上記移動速度検出手段は、上記画像中の上記歩行者の頭部をトラッキングすることによって、上記歩行者の移動速度を検出する。道路上に構造物や駐車車両といった遮蔽物がある場合であっても、歩行者の頭部は、これらの遮蔽物越しに見えることが多い。このため、歩行者の頭部の移動速度を検出すれば、遮蔽物が存在する状況下においても歩行者の移動速度の検出を図ることができる。

さらに、歩行者は、二足歩行時に、頭部を周期的に上下に運動させている。頭部の上下運動の周期は、自車両に対する歩行者の移動方向に関係なく検出することができる。即ち、歩行者が自車両と直交する方向へ移動する場合だけなく、自車両と同方向や逆方向に移動する場合にも検出することができる。そして、例えば、この頭部の上下運動の周期に歩幅を積算すれば、歩行者の移動方向に関係なく、歩行者の移動速度を容易に推定することができる。また、例えば、頭部の上下運動の周期に相当する時間幅（例えば、歩行時０．７秒）での平均速度を歩行者の移動速度として算出してもよい。

このように、本発明の車両用歩行者検出装置によれば、歩行者の移動状態の変化をより早く精度良く検出することができる。

本発明の実施形態による車両用歩行者検出装置の構成を説明するブロック図である。歩行時の頭部の周期的な上下運動を示すグラフである。歩行者の上半身の前傾角度の説明図である。歩行者の上半身の前傾角度の振幅を説明するグラフである。歩行者の移動状態と、歩行者の上半身の前傾角度の振幅との関係を示すグラフである。歩行者の上半身の前傾角度の振幅と加速度との関係を示すグラフである。本発明の実施形態による車両用歩行者検出装置の動作例を説明するフローチャートである。図７に続くフローチャートである。

以下、添付の図面を参照して、本発明の車両用歩行者検出装置の実施形態を説明する。
まず、図１のブロック図を参照して、本実施形態の車両用歩行者検出装置の構成について説明する。図１に示すように、車両用歩行者検出装置は、自車両の前方を撮像して画像を生成するカメラ１０と、その画像から歩行者を検出する歩行者検出部１２と、歩行者の移動速度を検出する移動速度検出部１４と、歩行者の上半身の鉛直線に対する前傾角度を検出する前傾角度検出部１６、前傾角度の振幅を検出する振幅検出部１８と、歩行者の移動状態を判定する移動状態判定部２０とを備えている。

なお、歩行者検出部１２、移動速度検出部１４、前傾角度検出部１６、振幅検出部１８及び移動状態判定部２０の処理機能は、例えば、ＥＣＵ（electric control unit：電子制御装置）等のコンピュータにおいて所定のプログラムを実行することにより実現される。

カメラ１０は、車室内からフロントガラス越しに車両前方に向けて取り付けられ、自車両の前方の走行路及びその周辺を撮像する。また、カメラ１０がステレオカメラである場合には、撮像された物標までの距離も画像上の視角差から取得することができる。カメラ１０がステレオカメラでない場合には、例えばミリ波レーダのような、物標までの距離を測定する手段を設けるとよい。

歩行者検出部１２は、カメラ１０により撮像された画像から、歩行者を検出する。画像中の歩行者は、自車両から所定距離内の物標から検出するとよい。また、複数の継続撮像フレームから歩行者を抽出するとよい。歩行者は、画像中、車両前方の車道の周囲の領域のみから検出するようにしてもよい。

移動速度検出部１４は、歩行者の頭部の位置を、撮像された歩行者の身体シルエットから図形的な（幾何学的な）処理で抽出する。そして、移動速度検出部１４は、複数の撮像フレーム中の歩行者の身体シルエットからそれぞれ抽出した、画像中の歩行者の頭部をトラッキングすることによって、歩行者の移動速度を検出する。

ここで、図２に、歩行者の頭部をトラッキングして得られた頭部の運動を示す。図２の横軸は時間を表し、縦軸は高さを表す。図２中の曲線Ｉは、頭部の高さの時間変化を示す。曲線Ｉから分かるように、歩行中の頭部は、周期的な上下運動をしている。この上下運動の周期に、歩幅を積算することによって、歩行者の移動速度を容易に推定することができる。

前傾角度検出部１６は、まず、歩行者の腰部の位置を、撮像された歩行者の身体シルエットから図形的（幾何学的）な処理で検出する。次いで、図３に示すように、歩行者の頭部Ｈの位置と腰部Ｗの位置とを繋ぐ線分ａが、鉛直線ｐと成す角度θを、歩行者の上半身の前傾角度として検出する。
なお、画像中で、歩行者の腰部が遮蔽物等によって隠されている場合には、頭部の位置から腰部の位置を推定してもよい。

振幅検出部１８は、前傾角度の時間変化から前傾角度の振幅を検出する。ここで、図４を参照して、前傾角度の振幅を説明する。図４の横軸は時間（秒）を表し、縦軸は前傾角度（ｄｅｇ）を表す。図４中の曲線Ｉは、前傾角度の時間変化を表す。そして、この曲線Ｉにおいて、隣接する山（極大値）と谷（極小値）、又は谷（極小値）と山（極大値）、の角度差Δθを振幅として検出する。
なお、振幅検出部１８は、複数の角度差の平均を算出してもよい。

そして、移動状態判定部２０は、前傾角度の振幅が一定の振幅で継続しているのときに、歩行者の移動状態が定常状態である判定し、前傾角度の振幅が一定の振幅から増大したときに、移動状態が過渡状態である判定する。

ここで、定常状態には、歩行者が停止している状態、歩いている状態（定常歩行状態）、及び、走っている状態（定常走行状態）が含まれる。また、過渡状態は、一つの定常状態から別の定常状態に遷移する際の過渡期のモードであり、例えば、歩いている歩行者が走り始める状態や、停止している歩行者が歩き始めたり、走り始めたりする加速状態を含み、さらに、歩いたり走ったりしている歩行者が停止したり、走っている歩行者が歩き始めたりする減速状態も含む。

ここで、図５を参照して、歩行者の移動状態と、歩行者の上半身の前傾角度の振幅との関係を説明する。図５の横軸は時間（ｓ）を表し、左側縦軸は歩行者の速度（ｍ／ｓ）を表し、右側縦軸は角度（ｄｅｇ）を表す。グラフ中の破線Ｉは、歩行者の移動速度を表し、実線IIは、歩行者の上半身の前傾角度の時間変化を示している。

図５は、歩行者の移動状態が、時刻ｔ１に、「停止状態」（区間Ａ）から、歩き出す「加速状態」（区間Ｂ）を経て、「定常歩行状態」（区間Ｃ）となり、さらに走り出して（区間Ｄ）、「定常走行状態」（区間Ｅ）なり、今度は止まろうとする「減速状態」（区間Ｆ）を経て、再び、「停止状態」（区間Ｇ）に至る場合を示している。ここで、「停止状態」（区間Ａ）と「定常歩行状態」（区間Ｃ）との間の「加速状態（歩き出し）」（区間Ｂ）は、「過渡状態」である。また、「定常歩行状態」（区間Ｃ）と「定常走行状態」（区間Ｅ）との間の「加速状態（走り出し）」（区間Ｄ）も、「過渡状態」である。さらに、「定常走行状態」（区間Ｅ）と「停止状態」（区間Ｇ）との間の「減速状態」（区間Ｆ）も「過渡状態」である。

まず、最初の停止状態（区間Ａ）では、破線Ｉで示すように、歩行者の移動速度は実施的にゼロである。このとき、実線IIで示すように、歩行者の前傾角度の振幅もほとんどゼロである。したがって、移動状態判定部２０は、区間Ａの移動状態を、「定常状態」と判定する。なお、移動速度検出部１４によって、移動速度がゼロであることが検出されるので、区間Ａの移動状態は「停止状態」と判定される。

次いで、区間Ｂでは、停止していた歩行者が歩き始める。このとき、注目すべきことに、区間Ｂで、破線Ｉで示す歩行者の移動速度が実質的な上昇を開始するのに先立って、実線IIで示す前傾角度の振幅が増大を開始する。移動状態判定部２０は、このように、区間Ｂにおける前傾角度の振幅が、区間Ａにおける一定の振幅（実質的にゼロ）から増大したときに、歩行者の移動状態を「過渡状態」と判定する。したがって、歩行者の前傾角度の振幅の増大を検出することによって、早期に歩行者の歩き出しを検出することができる。

さらに、歩行状態判定部２０は、歩行者の前傾角度の振幅に基づいて、過渡状態の歩行者が、歩き出したのか、走り出したのかをも区別することができる。ここで、図６に、「過渡状態」の歩行者の前傾角度の振幅と加速度との関係を示す。図６のグラフの横軸は歩行者の加速度を表し、縦軸は歩行者の上半身の前傾角度の振幅を表す。図６に示すように、加速度と前傾角度の振幅との間には強い相間（ｒ＝０．８）がある。したがって、加速度が所定の値未満のときに、「歩き出し」と判定し、一方、加速度が所定の値以上のときに、「走り出し」と判定するとよい。このように、歩行者の前傾角度の振幅から、歩行者の加速度を推定することができるので、特に、歩行者が車道に飛び出すときの加速度が推定できれば、歩行者の将来位置の予測精度の向上を図ることができる。

次いで、定常歩行状態（区間Ｃ）、即ち、歩行者が歩いている状態では、破線Ｉで示すように、二足歩行する歩行者の移動速度は一定の振幅で周期的に変化している。また、実線IIで示すように、歩行者の前傾角度も一定の振幅（Δθ１）で周期的に変化している。このように、区間Ｃにおける前傾角度の振幅は一定の振幅（Δθ１）で継続しているので、移動状態判定部２０は、区間Ｃの移動状態を「定常状態」と判定する。さらに、この振幅（Δθ１）が、所定の閾値（例えば、３°）未満（より好ましくは、１〜３°）であるので、移動状態判定部２０は、区間Ｃの移動状態を「定常歩行状態」と判定する。

次いで、区間Ｄでは、歩いていた歩行者が走り始める。このとき、注目すべきことに、区間Ｄでも、破線Ｉで示す歩行者の移動速度が実質的な上昇を開始するのに先立って、実線IIで示す前傾角度の振幅が増大を開始する。移動状態判定部２０は、このように、区間Ｄにおける前傾角度の振幅が、区間Ｃにおける一定の振幅（Δθ１）から増大したときに、歩行者の移動状態を「過渡状態」と判定する。

さらに、移動状態判定部２０は、歩行者の前傾角度に基づいて、過渡状態の歩行者が、加速状態なのか、減速状態なのかを区別することができる。図５のグラフの実線IIから明らかなように、区間Ｂ及びＤの加速している過渡状態では、歩行者の前傾角度が、それ以前よりも増大し、一方、区間Ｆの減速している過渡状態では、歩行者の前傾角度が、それ以前よりも減少している。したがって、移動中の歩行者の移動状態が過渡状態と判定された区間Ｄにおいて、増大した振幅における前傾角度の極大値（山）が、区間Ｃの定常状態時の一定の振幅（Δθ１）における前傾角度の極大値（Ｌｔ）よりも増大しているので、移動状態判定部２０は、歩行者の移動状態を「加速状態」と判定する。

次いで、定常走行状態（区間Ｅ）、即ち、歩行者が走っている状態では、破線Ｉで示すように、歩行者の移動速度は一定の振幅で周期的に変化している。また、実線IIで示すように、歩行者の前傾角度も一定の振幅（Δθ２）で周期的に変化している。このように、区間Ｅにおける前傾角度の振幅は一定の振幅（Δθ２）で継続しているので、移動状態判定部２０は、区間Ｅの移動状態を定常状態と判定する。さらに、この振幅（Δθ２）が、所定の閾値（例えば、３°）以上（より好ましくは、３〜６°）であるので、移動状態判定部２０は、区間Ｃの移動状態を「定常走行状態」と判定する。

次いで、区間Ｆでは、走っていた歩行者が止まり始める。このとき、注目すべきことに、区間Ｆでも、破線Ｉで示す歩行者の移動速度が実質的な下降を開始するのに先立って、実線IIで示す前傾角度の振幅が増大を開始する。移動状態判定部２０は、このように、区間Ｆにおける前傾角度の振幅が、区間Ｅにおける一定の振幅（Δθ２）から増大したときに、歩行者の移動状態を「過渡状態」と判定する。したがって、歩行者の前傾角度の振幅の増大を検出することによって、早期に歩行者の走り出しを検出することができる。

さらに、移動状態判定部２０は、歩行者の前傾角度に基づいて、過渡状態の歩行者が、「加速状態」なのか、「減速状態」なのかを区別することができる。ここでは、移動中の歩行者の移動状態が「過渡状態」と判定された区間Ｆにおいて、増大した振幅における前傾角度の極小値（谷）が、区間Ｄの定常状態時の一定の振幅（Δθ２）における前傾角度の極小値（Ｌｂ）よりも現象しているので、移動状態判定部２０は、歩行者の移動状態を「減速状態」と判定する。
なお、移動状態判定部２０は、増大した前傾角度の極小値が、負の値をとった場合に（即ち、歩行者が後傾した場合に）、「減速状態」と判定してもよい。

次いで、最後の停止状態（区間Ｇ）でも、最初の区間Ａと同様に、破線Ｉで示すように、歩行者の移動速度は実施的にゼロであり、実線IIで示すように、歩行者の前傾角度の振幅もほとんどゼロである。したがって、移動状態判定部２０は、区間Ｇの移動状態を、定常状態と判定する。なお、移動速度検出部１４によって、移動速度がゼロであることが検出されるので、区間Ｇの移動状態は停止状態と判定される。

このように、そして、移動状態判定部２０から、歩行者の歩き出しや走り出しといった、定常状態から過渡状態への移動状態の遷移の早期の精度良い判定結果が出力される。この出力された判定結果を利用すれば、歩行者の歩行速度から予測した歩行者の将来位置を早期に精度良く予測することができ、その結果、歩行者と自車両との衝突の可能性の早期の精度良い判定が可能となる。そして、緊急自動ブレーキの作動等の運転支援をより適切に行うことができる。

次に、図７及び図８のフローチャートを参照して、本実施形態の車両用歩行者検出装置の動作例を説明する。
なお、ここでは、カメラ１０によって撮像された画像から、歩行者検出部１２が歩行者像を検出し、移動速度検出部１４が歩行者の移動速度を検出し、前傾角度検出部１６が歩行者の上半身の鉛直線に対する前傾角度を検出し、さらに、振幅検出部１８が前傾角度の振幅を検出した後の移動状態判定部２０による処理を説明する。

まず、検出された歩行者の移動速度がゼロでない場合（Ｓ７０１で「Ｙｅｓ」の場合）、移動状態判定部２０は、歩行者が移動中であると判定する（Ｓ７０２）。

次いで、移動中の歩行者の前傾角度の振幅が一定の振幅で継続している場合（Ｓ７０３で「Ｙｅｓ」の場合）、移動状態判定部２０は、歩行者の移動状態を「定常状態」と判定する（Ｓ７０４）。

次いで、「定常状態」の歩行者の前傾角度の振幅が所定値（例えば、３°）未満の場合（Ｓ７０５で「Ｙｅｓ」の場合）、移動状態判定部２０は、移動状態を「定常歩行状態」と判定する（Ｓ７０６）。例えば、図５の区間Ｃにおいて、歩行者は歩いていると判定される。

一方、「定常状態」の歩行者の前傾角度の振幅が所定値（例えば、３°）以上の場合（Ｓ７０５で「Ｎｏ」の場合）、移動状態判定部２０は、移動状態を「定常走行状態」と判定する（Ｓ７０７）。例えば、図５の区間Ｅにおいて、歩行者は走っていると判定される。

また、移動中の歩行者の前傾角度の振幅が一定の振幅から増大した場合（Ｓ７０３で「Ｎｏ」の場合）、移動状態判定部２０は、歩行者の移動状態を「過渡状態」と判定する（Ｓ７０８）。

次いで、「過渡状態」の歩行者の前傾角度の振幅が増大しつつ、前傾角度も増大した場合（Ｓ７０９で「Ｙｅｓ」の場合）、即ち、増大した振幅における前傾角度の極大値が、定常状態時の一定の振幅における前傾角度の極大値よりも増大した場合に、移動状態判定部２０は、移動状態を「加速状態」と判定する（Ｓ７１０）。例えば、図５の区間Ｂにおいて、歩行者は歩き出したと判定され、区間Ｄにおいて、歩行者は走り出したと判定される。

一方、「過渡状態」の歩行者の前傾角度の振幅が増大しつつ、前傾角度が減少した場合（Ｓ７０９で「Ｎｏ」の場合）、増大した振幅における前傾角度の極小値が、定常状態時の一定の振幅における前傾角度の極小値よりも減少した場合に、移動状態判定部２０は、移動状態を「減速状態」と判定する（Ｓ７１１）。例えば、図５の区間Ｆにおいて、歩行者は減速していると判定される。

また、検出された歩行者の移動速度がゼロである場合（Ｓ７０１で「Ｎｏ」の場合）、移動状態判定部２０は、歩行者が停止中であると判定する（Ｓ８０１）。例えば、図５の区間Ａ及び区間Ｇにおいて、歩行者は停止していると判定される。

次いで、停止中の歩行者の前傾角度の振幅が一定の振幅で継続している場合（Ｓ８０２で「Ｙｅｓ」の場合）、移動状態判定部２０は、歩行者の移動状態を「定常状態」と判定する（Ｓ８０３）。

一方、停止中の歩行者の前傾角度の振幅が一定の振幅から増大した場合（Ｓ８０２で「Ｎｏ」の場合）、移動状態判定部２０は、歩行者の移動状態を「過渡状態」と判定する（Ｓ８０４）。なお、前傾角度の振幅が６°以上の場合に、「過渡状態」と判定することが望ましい。

次いで、歩行者の前傾角度の振幅が所定値（例えば、３°）未満の場合（Ｓ８０５で「Ｙｅｓ」の場合）、移動状態判定部２０は、移動状態を「歩き出し」と判定する（Ｓ８０６）。例えば、図５の区間Ｂにおいて、歩行者は歩き出すと判定される。

一方、歩行者の前傾角度の振幅が所定値（例えば、３°）以上の場合（Ｓ８０５）で「Ｎｏ」の場合）、移動状態判定部２０は、移動状態を「走り出し」と判定する（Ｓ８０７）。例えば、図５の区間Ｄにおいて、歩行者は走り出すと判定される。
このように、歩行者の前傾角度及びその振幅に基づいて、歩行者の移動状態を早期に精度良く判定することができる。

上述した各実施形態においては、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組み合わせを行うことができ、これに限定されるものではない。例えば、上述した実施形態では、歩行者の頭部の位置をトラッキングすることによって歩行者の移動速度を検出した例について説明したが、本発明では、歩行者の移動速度の検出手段はこれに限定されず、任意好適な手段を利用することができる。

１０カメラ
１２歩行者検出部
１４移動速度検出部
１６前傾角度検出部
１８振幅検出部
２０移動状態判定部

Claims

自車両の前方を撮像して画像を生成する撮像手段と、
上記画像から歩行者を検出する歩行者検出手段と、
上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、
上記前傾角度の振幅を検出する振幅検出手段と、
上記前傾角度の振幅が一定の振幅で継続しているのときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、
上記移動状態判定手段は、移動中の上記歩行者の移動状態を定常状態と判定した場合において、上記前傾角度の振幅が所定値未満のときに、上記移動状態を定常歩行状態と更に判定し、上記前傾角度の振幅が所定値以上のときに、上記移動状態を定常走行状態と更に判定することを特徴とする、車両用歩行者検出装置。
自車両の前方を撮像して画像を生成する撮像手段と、
上記画像から歩行者を検出する歩行者検出手段と、
上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、
上記前傾角度の振幅を検出する振幅検出手段と、
上記前傾角度の振幅が一定の振幅で継続しているのときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、
上記移動状態判定手段は、移動中の上記歩行者の移動状態を過渡状態と判定した場合において、増大した振幅における前傾角度の極大値が、上記定常状態時の一定の振幅における前傾角度の極大値よりも増大したときは、上記移動状態を加速状態と更に判定し、増大した振幅における前傾角度の極小値が、定常状態時の一定の振幅における前傾角度の極小値よりも減少したときには、上記移動状態を減速状態と更に判定することを特徴とする、車両用歩行者検出装置。
自車両の前方を撮像して画像を生成する撮像手段と、
上記画像から歩行者を検出する歩行者検出手段と、
上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、
上記前傾角度の振幅を検出する振幅検出手段と、
上記前傾角度の振幅が一定の振幅で継続しているのときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、
上記移動状態判定手段は、過渡状態と判定した場合に、上記前傾角度の振幅の大きさが大きいほど、歩行者の加速度が大きいと推定することを特徴とする、車両用歩行者検出装置。
自車両の前方を撮像して画像を生成する撮像手段と、
上記画像から歩行者を検出する歩行者検出手段と、
上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、
上記前傾角度の振幅を検出する振幅検出手段と、
上記前傾角度の振幅が一定の振幅で継続しているのときに、上記歩行者の移動状態を定常状態と判定し、上記前傾角度の振幅が上記一定の振幅から増大したときに、上記移動状態を過渡状態と判定する移動状態判定手段と、を有し、
上記移動状態判定手段は、停止中の上記歩行者の移動状態を過渡状態と判定した場合において、上記前傾角度の振幅が所定値未満のときは、上記移動状態を歩き出し状態と更に判定し、上記前傾角度の振幅が所定値以上のときは、上記移動状態を走り出し状態と更に判定することを特徴とする、車両用歩行者検出装置。
上記歩行者の移動速度を検出する移動速度検出手段を更に有し、
上記移動状態判定手段は、上記歩行者の移動速度がゼロの場合に、上記歩行者を停止中と判定し、上記歩行者の移動速度がゼロでない場合に、上記歩行者を移動中と判定する
ことを特徴とする、請求項１乃至４のいずれか一項に記載の車両用歩行者検出装置。
上記移動速度検出手段は、上記画像中の上記歩行者の頭部をトラッキングすることによって、上記歩行者の移動速度を検出する
ことを特徴とする、請求項５記載の車両用歩行者検出装置。