JP6120011B2

JP6120011B2 - 車両用歩行者検出装置

Info

Publication number: JP6120011B2
Application number: JP2014174907A
Authority: JP
Inventors: 章史露木
Original assignee: Mazda Motor Corp
Current assignee: Mazda Motor Corp
Priority date: 2014-08-29
Filing date: 2014-08-29
Publication date: 2017-04-26
Anticipated expiration: 2034-08-29
Also published as: JP2016051247A

Description

本発明は、車両用歩行者検出装置に係り、より詳細には、歩いている歩行者の走り出しを早期に判定可能な車両用歩行者検出装置に関する。

近年、撮像手段の高機能化及び数値演算処理装置の高速化が進んだことにより、高度な画像処理機能が安価に提供可能となってきている。このため、撮像手段で取得した画像を処理することで得られる情報を活用して車両の運転支援を行う種々の運転支援装置の車両への搭載が進められている。そのような運転支援装置は、例えば、車両の進路上の歩行者を画像から検出し、歩行者と自車両とが衝突する可能性がある場合に緊急自動ブレーキ（Autonomous Emergency Braking：ＡＥＢ）を作動させることができる。

さらに、下記の特許文献１には、歩行者がこれから自車両の進路内を横断する可能性があるか否かを判定する歩行者認識装置が開示されている。この歩行者認識装置では、歩行者の身長と脚部開度とを検出し、その身長に対する脚部開度の比率が所定値以上か否かを判別することにより、移動中の歩行者に対する横断可能性を効果的に判定している。

また、下記の特許文献２には、歩行者の意思が反映された膝部位置移動速度及び肩部位置移動速度を検出することにより、歩行者の横断開始の判定を早期かつ精度良く行う技術が開示されている。

特開２００７−２６４７７８号公報特開２０１０−６６８１０号公報

しかしながら、歩行者の身体部位の挙動を検出するためには、複数の検出手段を組み合わせた大掛かりな計測手段が必要であり、コストの上昇を招くことが懸念される。また、歩行者の各身体部位を識別し、それらの挙動を計測するためには、複雑な計算処理が必要となり、計算処理に時間を要する。このため、判定の遅れや判定精度の低下が懸念される。

ところで、歩いていた歩行者が突然走り出して車道に飛び出してきた場合、通常、車両の運転者は、歩行者が走っている状態になってからはじめて歩行者が走り出したことに気付くことなる。このため、車道に飛び出してきた歩行者と車両との衝突事故の発生を、運転支援によって防止するためには、緊急自動ブレーキを、車両の運転者が歩行者の飛び出しに気づく前に作動させることが望ましい。

そこで、本発明は、歩いている歩行者の走り出しを早期に検出することができる車両用歩行者検出装置を提供することを目的としている。

上記の目的を達成するため、本発明の車両用歩行者検出装置は、自車両の前方を撮像して画像を生成する撮像手段と、上記画像から歩行者を検出する歩行者検出手段と、上記歩行者の膝関節の屈曲角度を検出する屈曲角度検出手段と、上記屈曲角度の振幅を検出する屈曲振幅検出手段と、上記屈曲角度の振幅が、上記歩行者が歩いているときに一定の振幅で継続している振幅に対して、増大したときに、上記歩行者が走り出したと判定する判定手段とを有することを特徴としている。

本出願に係る発明者は、種々の実験及び検討を行った結果、歩いている歩行者が走り出すと、膝関節の屈曲角度の「振幅」が大きくなること見出した。本発明は、かかる知見に基づいてなされたものである。ここで、注目すべき点は、歩いていた歩行者が走り出した際に、定常走行状態となるより前に、それも歩行者の移動速度が変化するのに先行して、歩行者の膝関節の屈曲角度の振幅が増大し始めることである。したがって、屈曲角度の振幅に着目することによって、歩いていた歩行者が走り出したことを、車両の運転者が、歩行者が走り出したことに気付くよりも早く検出することができる。

また、本発明において好ましくは、上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、上記前傾角度の振幅を検出する前傾振幅検出手段とを更に有し、上記判定手段は、上記屈曲角度の振幅が、上記歩行者が歩いているときに一定の振幅で継続している振幅に対して増大し、かつ、上記前傾角度の振幅が、上記歩行者が歩いているときに一定の振幅で継続している振幅に対して増大したときに、上記歩行者が走り出したと判定する。

本出願に係る発明者は、さらに種々の実験及び検討を行った結果、歩いている歩行者が走り出す場合に、歩行者の移動速度が変化するのに先行して、歩行者の上半身の前傾角度の「振幅」も変化すること見出した。本発明は、かかる知見に基づいてなされたものである。ここで、注目すべき点は、歩いていた歩行者が走り出す際に、定常走行状態となるより前に、それも歩行者の移動速度の増大開始よりも早期に、この前傾角度の振幅が増大し始めることである。したがって、前傾角度の振幅に着目することによって、歩行者の移動状態の変化を、車両の運転者が、歩行者が走り出したことに気付く前に検出することができる。

そして、歩行者の膝関節の屈曲角度の振幅と、前傾角度の振幅の両方に基づいて、歩行者の走り出し判定することによって、歩いている歩行者の走り出しを早期に精度良く判定することができる。

また、本発明において好ましくは、上記判定手段は、上記前傾角度が増大した場合において、上記前傾角度が負の値となったときに、歩行者が減速していると判定する。

歩いている歩行者が走り出した場合だけでなく、歩いている歩行者が減速する場合にも、前傾角度が増大することがある。減速する場合には、通常、（歩行者の進行歩行への傾斜を正の値とする）前傾角度が負の値となる。このため、前傾角度が負の場合を排除することによって、歩行者の走り出しをより精度良く検出することができる。

また、本発明において好ましくは、上記判定手段は、上記屈曲角度が第１の所定値（例えば、１７０°）よりも大きい場合に、上記歩行者が停止状態であると判定する。
歩行者が、例えばしゃがみ込んでいる場合には、膝関節の屈曲角度は実質的に０°近くまで小さくなっている。そして、しゃがみ込んでいる歩行者は、通常、車道に飛び出す可能性が低い。したがって、屈曲角度が大きな歩行者を除外することによって、歩いている歩行者に限定することができる。

また、本発明において好ましくは、上記判定手段は、上記屈曲角度が、第１の所定値より小さい第２の所定値（例えば、６０°）よりも小さい場合に、上記歩行者が停止状態であると判定する。
歩行者が、例えば、立ち止まっている場合には、膝関節の屈曲角度は実質的に１８０°近くまで大きくなっている。そして、立ち止まっている歩行者は、通常、車道に飛び出す可能性が低い。したがって、屈曲角度を小さな歩行者を除外することによって、歩いている歩行者を限定することができる。

このように、本発明の車両用歩行者検出装置によれば、歩行者の膝関節の屈曲角度の振幅に基づいて、歩いている歩行者が走り出すことを早期に検出することができる。

本発明の実施形態による車両用歩行者検出装置の構成を説明するブロック図である。歩行者の上半身の前傾角度及び膝関節の屈曲角度の説明図である。歩行者の膝関節の屈曲角度の振幅を説明するグラフである。歩行者の上半身の前傾角度の振幅を説明するグラフである。歩行者の移動状態と、歩行者の上半身の前傾角度の振幅との関係を示すグラフである。本発明の実施形態による車両用歩行者検出装置の動作例を説明するフローチャートである。

以下、添付の図面を参照して、本発明の車両用歩行者検出装置の実施形態を説明する。
まず、図１のブロック図を参照して、本実施形態の車両用歩行者検出装置の構成について説明する。図１に示すように、車両用歩行者検出装置は、自車両の前方を撮像して画像を生成するカメラ１０と、その画像から歩行者を検出する歩行者検出部１２と、歩行者の膝関節の屈曲角度φを検出する屈曲角度検出部１４と、屈曲角度の振幅Δφを検出する屈曲振幅検出部１６と、歩行者の上半身の鉛直線に対する前傾角度θを検出する前傾角度検出部１８と、前傾角度の振幅Δθを検出する前傾振幅検出部２０と、屈曲角度の振幅Δφが、歩行者が歩いているときに一定の振幅で継続している振幅に対して増大し、かつ、前傾角度の振幅Δθが、歩行者が歩いているときに一定の振幅で継続している振幅に対して増大したときに、歩行者が走り出したと判定する判定部２２とを備えている。

なお、歩行者検出部１２、屈曲角度検出部１４、屈曲振幅検出部１６、前傾角度検出部１８、前傾振幅検出部２０及び判定部２２の処理機能は、例えば、ＥＣＵ（electric control unit：電子制御装置）等のコンピュータにおいて所定のプログラムを実行することにより実現される。

カメラ１０は、車室内からフロントガラス越しに車両前方に向けて取り付けられ、自車両の前方の走行路及びその周辺を撮像する。また、カメラ１０がステレオカメラである場合には、撮像された物標までの距離も画像上の視角差から取得することができる。カメラ１０がステレオカメラでない場合には、例えばミリ波レーダのような、物標までの距離を測定する手段を設けるとよい。

歩行者検出部１２は、カメラ１０により撮像された画像から、歩行者を検出する。画像中の歩行者は、自車両から所定距離内の物標から検出するとよい。また、複数の継続撮像フレームから歩行者を抽出するとよい。歩行者は、画像中、車両前方の車道の周囲の領域のみから検出するようにしてもよい。

屈曲角度検出部１４は、まず、歩行者の腰部Ｈの位置、膝Ｋの位置及び足首Ａの位置を撮像された歩行者の身体シルエットから図形的（幾何学的）な処理で検出する。次いで、図２に示すように、歩行者の腰Ｈと膝Ｋとを繋ぐ線分ｂが、歩行者の膝Ｋと足首Ａとを繋ぐ線分ｃと成す角度φを、歩行者の膝関節の屈曲角度として検出する。また、屈曲角度の検出方法をより簡便にするために、腰Ｈと足首あとの距離の逆数を使ってもよい。

屈曲振幅検出部１６は、屈曲角度φの時間変化から屈曲角度の振幅Δφを検出する。ここで、図３を参照して、屈曲角度の振幅を説明する。図３の横軸は時間を表し、縦軸は膝関節の屈曲角度（ｄｅｇ）を表す。図３中の曲線Ｉは、膝関節の屈曲角度の時間変化を表す。そして、図３から分かるように、歩行中の屈曲角度の振幅Δφ１が、７０°前後であるのに対して、走行中の屈曲角度の振幅Δφ２が、８０°〜９０°程度と、約１２０％程度増大している。
なお、屈曲振幅検出部１６は、歩行中の複数の屈曲角度差の平均を算出して、歩行中の屈曲角度の振幅Δφ１としてもよく、また、走行中の複数の屈曲角度差の平均を算出して、走行中の屈曲角度の振幅Δφ２としてもよい。

前傾角度検出部１８は、まず、歩行者の頭部Ｈの位置と腰部Ｗの位置を、撮像された歩行者の身体シルエットから図形的（幾何学的）な処理で検出する。次いで、図２に示すように、歩行者の頭部Ｈの位置と腰部Ｗの位置とを繋ぐ線分ａが、鉛直線ｐと成す角度θを、歩行者の上半身の前傾角度として検出する。
なお、画像中で、歩行者の腰部が遮蔽物等によって隠されている場合には、頭部の位置から腰部の位置を推定してもよい。

前傾振幅検出部２０は、前傾角度の時間変化から前傾角度の振幅を検出する。ここで、図４を参照して、前傾角度の振幅を説明する。図４の横軸は時間（秒）を表し、縦軸は前傾角度（ｄｅｇ）を表す。図４中の曲線Ｉは、前傾角度の時間変化を表す。そして、この曲線Ｉにおいて、隣接する山（極大値）と谷（極小値）、又は谷（極小値）と山（極大値）、の角度差Δθを振幅として検出する。
なお、前傾振幅検出部２０は、複数の角度差の平均を算出してもよい。

そして、判定部２２は、屈曲角度の振幅Δφが、歩行者が歩いているときに一定の振幅で継続している振幅に対して増大し、かつ、前傾角度の振幅Δθが、歩行者が歩いているときに一定の振幅で継続している振幅に対して増大したときに、歩行者が走り出したと判定する。このように、歩行者の膝関節の屈曲角度の振幅Δφと、前傾角度の振幅Δθの両方に基づいて、歩行者の走り出し判定することによって、車両の運転者が歩行者の飛び出しに気づく前に、歩いている歩行者の走り出しを早期に精度良く判定することができる。

さらに、図５を参照して、歩行者の移動状態と、歩行者の上半身の前傾角度の振幅との関係を説明する。図５の横軸は時間（ｓ）を表し、左側縦軸は歩行者の速度（ｍ／ｓ）を表し、右側縦軸は角度（ｄｅｇ）を表す。グラフ中の破線Ｉは、歩行者の移動速度を表し、実線IIは、歩行者の上半身の前傾角度の時間変化を示している。

図５は、歩行者の移動状態が、時刻ｔ１に、「停止状態」（区間Ａ）から、歩き出す「加速状態」（区間Ｂ）を経て、「定常歩行状態」（区間Ｃ）となり、さらに走り出して（区間Ｄ）、「定常走行状態」（区間Ｅ）なり、今度は止まろうとする「減速状態」（区間Ｆ）を経て、再び、「停止状態」（区間Ｇ）に至る場合を示している。ここで、「停止状態」（区間Ａ）と「定常歩行状態」（区間Ｃ）との間の「加速状態（歩き出し）」（区間Ｂ）は、「過渡状態」である。また、「定常歩行状態」（区間Ｃ）と「定常走行状態」（区間Ｅ）との間の「加速状態（走り出し）」（区間Ｄ）も、「過渡状態」である。さらに、「定常走行状態」（区間Ｅ）と「停止状態」（区間Ｇ）との間の「減速状態」（区間Ｆ）も「過渡状態」である。

まず、最初の停止状態（区間Ａ）では、破線Ｉで示すように、歩行者の移動速度は実施的にゼロである。このとき、実線IIで示すように、歩行者の前傾角度の振幅もほとんどゼロである。したがって、判定部２２は、区間Ａの移動状態を、「定常状態」と判定する。なお、移動速度検出部１４によって、移動速度がゼロであることが検出されるので、区間Ａの移動状態は「停止状態」と判定される。

次いで、区間Ｂでは、停止していた歩行者が歩き始める。このとき、注目すべきことに、区間Ｂで、破線Ｉで示す歩行者の移動速度が実質的な上昇を開始するのに先立って、実線IIで示す前傾角度の振幅が増大を開始する。判定部２２は、このように、区間Ｂにおける前傾角度の振幅が、区間Ａにおける一定の振幅（実質的にゼロ）から増大したときに、歩行者の移動状態を「過渡状態」と判定する。したがって、歩行者の前傾角度の振幅の増大を検出することによって、早期に歩行者の歩き出しを検出することができる。

次いで、定常歩行状態（区間Ｃ）、即ち、歩行者が歩いている状態では、破線Ｉで示すように、二足歩行する歩行者の移動速度は一定の振幅で周期的に変化している。また、実線IIで示すように、歩行者の前傾角度も一定の振幅（Δθ１）で周期的に変化している。このように、区間Ｃにおける前傾角度の振幅は一定の振幅（Δθ１）で継続しているので、判定部２２は、区間Ｃの移動状態を「定常状態」と判定する。さらに、この振幅（Δθ１）が、所定の閾値（例えば、３°）未満（より好ましくは、１〜３°）であるので、判定部２２は、区間Ｃの移動状態を「定常歩行状態」と判定する。

次いで、区間Ｄでは、歩いていた歩行者が走り始める。このとき、注目すべきことに、区間Ｄでも、破線Ｉで示す歩行者の移動速度が実質的な上昇を開始するのに先立って、実線IIで示す前傾角度の振幅が増大を開始する。判定部２２は、このように、区間Ｄにおける前傾角度の振幅が、区間Ｃにおける一定の振幅（Δθ１）から増大したときに、歩行者の移動状態を「過渡状態」と判定する。

さらに、判定部２２は、歩行者の前傾角度に基づいて、過渡状態の歩行者が、加速状態なのか、減速状態なのかを区別することができる。図５のグラフの実線IIから明らかなように、区間Ｂ及びＤの加速している過渡状態では、歩行者の前傾角度が、それ以前よりも増大し、一方、区間Ｆの減速している過渡状態では、歩行者の前傾角度が、それ以前よりも減少している。したがって、移動中の歩行者の移動状態が過渡状態と判定された区間Ｄにおいて、増大した振幅における前傾角度の極大値（山）が、区間Ｃの定常状態時の一定の振幅（Δθ１）における前傾角度の極大値（Ｌｔ）よりも増大しているので、判定部２２は、歩行者の移動状態を「加速状態」と判定する。

次いで、定常走行状態（区間Ｅ）、即ち、歩行者が走っている状態では、破線Ｉで示すように、歩行者の移動速度は一定の振幅で周期的に変化している。また、実線IIで示すように、歩行者の前傾角度も一定の振幅（Δθ２）で周期的に変化している。このように、区間Ｅにおける前傾角度の振幅は一定の振幅（Δθ２）で継続しているので、判定部２２は、区間Ｅの移動状態を定常状態と判定する。さらに、この振幅（Δθ２）が、所定の閾値（例えば、３°）以上（より好ましくは、３〜６°）であるので、判定部２２は、区間Ｃの移動状態を「定常走行状態」と判定する。

次いで、区間Ｆでは、走っていた歩行者が止まり始める。このとき、注目すべきことに、区間Ｆでも、破線Ｉで示す歩行者の移動速度が実質的な下降を開始するのに先立って、実線IIで示す前傾角度の振幅が増大を開始する。判定部２２は、このように、区間Ｆにおける前傾角度の振幅が、区間Ｅにおける一定の振幅（Δθ２）から増大したときに、歩行者の移動状態を「過渡状態」と判定する。したがって、歩行者の前傾角度の振幅の増大を検出することによって、早期に歩行者の走り出しを検出することができる。

さらに、判定部２２は、歩行者の前傾角度に基づいて、過渡状態の歩行者が、「加速状態」なのか、「減速状態」なのかを区別することができる。ここでは、移動中の歩行者の移動状態が「過渡状態」と判定された区間Ｆにおいて、増大した振幅における前傾角度の極小値（谷）が、区間Ｄの定常状態時の一定の振幅（Δθ２）における前傾角度の極小値（Ｌｂ）よりも現象しているので、判定部２２は、歩行者の移動状態を「減速状態」と判定する。
なお、判定部２２は、増大した前傾角度の極小値が、負の値をとった場合に（即ち、歩行者が後傾した場合に）、「減速状態」と判定してもよい。

次いで、最後の停止状態（区間Ｇ）でも、最初の区間Ａと同様に、破線Ｉで示すように、歩行者の移動速度は実施的にゼロであり、実線IIで示すように、歩行者の前傾角度の振幅もほとんどゼロである。したがって、判定部２２は、区間Ｇの移動状態を、定常状態と判定する。なお、移動速度検出部１４によって、移動速度がゼロであることが検出されるので、区間Ｇの移動状態は停止状態と判定される。

このように、そして、判定部２２から、歩行者の歩き出しや走り出しといった、定常状態から過渡状態への移動状態の遷移の早期の精度良い判定結果が出力される。この出力された判定結果を利用すれば、歩行者の歩行速度から予測した歩行者の将来位置を早期に精度良く予測することができ、その結果、歩行者と自車両との衝突の可能性の早期の精度良い判定が可能となる。そして、緊急自動ブレーキの作動等の運転支援をより適切に行うことができる。

次に、図６のフローチャートを参照して、本実施形態の車両用歩行者検出装置の動作例を説明する。
なお、ここでは、カメラ１０によって撮像された画像から、歩行者検出部１２が歩行者像を検出し、屈曲角度検出部１４が歩行者の膝関節の屈曲角度φを検出し、屈曲振幅検出手段１６が屈曲角度の振幅Δφを検出し、前傾角度検出部１８が歩行者の上半身の鉛直線に対する前傾角度θを検出し、さらに、前傾振幅検出部２０が前傾角度の振幅Δθを検出した後の判定部２２による処理を説明する。

また、例えば、不図示の移動速度検出手段によって検出された歩行者の移動速度がゼロでなく、かつ所定の速度（例えば、時速８ｋｍ）未満の場合に、歩行者が歩行中と判定してもよい。移動速度検出手段としては任意好適な手段を利用することができる。

先ず、歩行中（Ｓ６０１）の歩行者の上半身の前傾角度の振幅Δθが増大したか否かが判断される（Ｓ６０２）。そして、前傾角度の振幅Δθが増大した場合（Ｓ６０２で「Ｙｅｓ」の場合）、さらに、前傾角度が（歩行者の進行方向を正として）正の値か否かが判断される（Ｓ６０３）。

そして、前傾角度θが正の場合（Ｓ６０３で「Ｙｅｓ」の場合）、さらに、歩行者の膝関節の屈曲角度の振幅Δφが増大したか否かが判定される（Ｓ６０５）。そして、屈曲角度の振幅Δφが増大した場合に、判定部２２は、歩行者が走り出したと判定する（Ｓ６０５）。

なお、屈曲角度の振幅Δφの増大の判断にあたっては、例えば、歩行中の屈曲角度の振幅Δφ１に対して、振幅が所定角度以上増大したことをもって増大と判断してもよいし、歩行中の屈曲角度の振幅Δφ１に対して、所定の比率以上増大したことを以て増大と判断してもよい。

また、前傾角度θが負の場合（Ｓ６０３で「Ｎｏ」の場合）、歩行者が走り出したのではなく、歩行者が減速したと判定する（Ｓ６０６）。

このように、歩行者の膝関節の屈曲角度の振幅Δφと、前傾角度の振幅Δθの両方に基づいて、歩行者の走り出し判定することによって、車両の運転者が歩行者の飛び出しに気づく前に、歩いている歩行者の走り出しを早期に精度良く判定することができる。

上述した各実施形態においては、本発明を特定の条件で構成した例について説明したが、本発明は種々の変更及び組み合わせを行うことができ、これに限定されるものではない。例えば、上述した実施形態では、歩行者が歩いているときに一定の振幅で継続している振幅に対して増大し、かつ、前傾角度の振幅Δθが、歩行者が歩いているときに一定の振幅で継続している振幅に対して増大したときに、歩行者が走り出したと判定したが、本発明では、屈曲角度の振幅が、歩行者が歩いているときに一定の振幅で継続している振幅に対して増大し場合に、歩行者が走り出したと判定してもよい。

１０カメラ
１２歩行者検出部
１４屈曲角度検出部
１６屈曲振幅検出部
１８前傾角度検出部
２０前傾振幅検出部
２２判定部

Claims

自車両の前方を撮像して画像を生成する撮像手段と、
上記画像から歩行者を検出する歩行者検出手段と、
上記歩行者の膝関節の屈曲角度を検出する屈曲角度検出手段と、
上記屈曲角度の振幅を検出する屈曲振幅検出手段と、
上記屈曲角度の振幅が、上記歩行者が歩いているときに一定の振幅で継続している振幅に対して、増大したときに、上記歩行者が走り出したと判定する判定手段と
を有することを特徴とする、車両用歩行者検出装置。
上記歩行者の上半身の前傾角度を検出する前傾角度検出手段と、
上記前傾角度の振幅を検出する前傾振幅検出手段と
を更に有し、
上記判定手段は、上記屈曲角度の振幅が、上記歩行者が歩いているときに一定の振幅で継続している振幅に対して増大し、かつ、上記前傾角度の振幅が、上記歩行者が歩いているときに一定の振幅で継続している振幅に対して増大したときに、上記歩行者が走り出したと判定する
ことを特徴とする、請求項１記載の車両用歩行者検出装置。
上記判定手段は、上記前傾角度が増大した場合において、上記前傾角度が負の値となったときに、歩行者が減速していると判定する
ことを特徴とする、請求項２記載の車両用歩行者検出装置。
上記判定手段は、上記屈曲角度が第１の所定値よりも大きい場合に、上記歩行者が停止状態であると判定する
ことを特徴とする、請求項１〜３のいずれか一項に記載の車両用歩行者検出装置。
上記判定手段は、上記屈曲角度が、第１の所定値より小さい第２の所定値よりも小さい場合に、上記歩行者が停止状態であると判定する
ことを特徴とする、請求項４記載の車両用歩行者検出装置。