JP6436357B2 - 車両用の歩行者動作識別装置 - Google Patents

Description

本発明は、車両用の歩行者動作識別装置に係わり、特に、車両周辺に存在する歩行者の動作（動き）を識別する車両用の歩行者動作識別装置に関する。

近年、カメラ（撮像手段）の高機能化及び数値演算処理装置の高速化が進んだことで、画像認識技術を活用した高度な画像認識による機能を安価に提供可能となり、各種機能の搭載が進められている。車両の技術分野では、そのようなカメラや数値演算処理装置などの高度な機能を利用して、車両周辺に存在する歩行者を識別する技術が開発されている（例えば特許文献１及び２参照）。

具体的には、特許文献１には、車両周辺を撮像するカメラの撮像画像より歩行者が検出された場合に、撮像画像のデータを解析することで、同一の歩行者を含む複数の画像データ間の特徴量であって、歩行者の存在又は動きを検知するために用いる指標としての対象物追跡スコアと、歩行者を含む画像データの特徴量を示す情報であって、歩行者らしさを表す指標としての対象物検出スコアとを求め、これらのスコアに基づいて、歩行者の飛び出す可能性（つまり進路が急変する危険度）が高いか否かを判定する技術が開示されている。また、特許文献２には、予め記憶された移動方向別の複数の歩行者パターンの中から、カメラ画像より認識された歩行者の移動方向に対応する歩行者パターンを選択し、選択した歩行者パターンとカメラ画像中の歩行者の画像パターンとを照合して歩行者を認識する技術が開示されている。

特開２０１４−２０３１９６号公報 特開２００９−２３７８９７号公報

一般的に、車両に搭載されたカメラの撮像画像から歩行者の動作を識別しようとした場合、歩行動作は急な加減速や方向転換の頻度が高く、また、時系列で大きな見掛けの変化を伴うため、歩行者の動作を精度良く識別することが困難である。

ここで、車両に搭載されたカメラの撮像画像から歩行者の動作を識別して、例えば車両と歩行者との衝突判定や衝突回避のための自動ブレーキやドライバへの警報などを行う場合、歩行者による次の瞬間の動作を推定（将来予測）することが望ましい。換言すると、例えば走り出しや歩行停止や方向転換などの歩行者の動態変化を推定することが望ましい。このように歩行者の動態変化を推定するためには、カメラによる撮像画像の時間差分から特徴を抽出して分析し、歩行者の身体部位の位置変化（つまり姿勢の時間変化）を捉えることが有効と考えられる。

一方で、移動中の車両に搭載されたカメラから得られる歩行者を含む撮像画像においては、画像上での歩行者の寸法や位置などが、車両と歩行者との相対位置の変化に伴って変化し、また、路面の凸凹やドライバの操舵や加減速等によるブレの影響を受ける。そのため、撮像画像の時間差分に対応する画像データには、歩行者の動作識別においてシグナルとなる歩行者の姿勢変化のデータに加えて、歩行者の動作識別にとってノイズとなるデータが含まれてしまう。その結果、画像全体の動きに歩行者の姿勢変化が埋もれて（つまりＳＮ比が低い状態となる）、歩行者の動作の識別精度が低下してしまう。

上記のような問題に対して、特許文献１に開示された技術では、歩行者の動作の変化を検出するに当たって、撮像画像において歩行者を含む矩形領域を抽出する前処理を行い、歩行者の背景の領域（つまりノイズとなる部分）をできるだけ減らすことで対処しているものと考えられる。しかしながら、歩行者の見掛けの寸法や姿勢や移動などの種々の要因によって、撮像画像から抽出すべき歩行者を含む矩形領域の寸法及び形状が変化し、また、このような矩形領域の変化は１歩に要する時間の数分の一（例えば０．１秒以下）の時間刻みで生じる。したがって、そのような時間刻みで生じる変化に追従する応答性を備えつつ、撮像画像から抽出する矩形領域の寸法及び形状を高精度且つ安定して決定することが望ましいと言える。

本発明は、上述した従来技術の問題点を解決するためになされたものであり、撮像画像から歩行者を含む適切な歩行者領域を抽出して、この歩行者領域に基づき歩行者の動作を精度良く識別することができる車両用の歩行者動作識別装置を提供することを目的とする。

上記の目的を達成するために、本発明は、車両用の歩行者動作識別装置であって、車両に設けられた撮像手段により撮像された車両周囲の撮像画像を取得し、この撮像画像中に存在する歩行者を検出する歩行者検出手段と、撮像画像において歩行者検出手段により検出された歩行者の頭部位置を追跡する頭部位置追跡手段と、歩行者検出手段により検出された歩行者を含む、所定の形状を有する歩行者領域を撮像画像から抽出する歩行者領域抽出手段であって、この歩行者領域抽出手段は、頭部位置追跡手段により追跡された頭部位置に基づき、歩行者の頭部位置が内部の所定位置に固定された領域を歩行者領域として撮像画像から抽出する、歩行者領域抽出手段と、歩行者領域抽出手段により抽出された歩行者領域の画像の経時変化に基づき、歩行者の動作を識別する動作識別手段と、を有し、撮像手段により撮像された連続する撮像画像に対応する複数フレーム間において、歩行者領域が同一の寸法であり、頭部位置が歩行者領域内の同一位置に固定されることを特徴とする。

このように構成された本発明では、領域内における歩行者の頭部位置が所定位置に固定された所定の形状を有する領域を歩行者領域として撮像画像から抽出し、この歩行者領域の画像に基づいて歩行者の動作を識別する。したがって、本発明によれば、複数フレーム間において歩行者領域内で頭部位置が同一位置に固定されるため、歩行者の頭部の動きが歩行者領域において背景の動きとして現れるので、歩行者領域の背景の経時変化に基づき歩行者の動作を識別できるようになる。つまり、歩行者領域内の背景に対応する画像データをノイズとして扱わずに、歩行者領域内の歩行者に対応する画像データと共にシグナルとして利用して、歩行者の動作を識別できるようになる。その結果、ＳＮ比が向上して、歩行者の動作を精度良く識別することができる。また、本発明によれば、歩行者領域において頭部位置を固定することで、頭部を基準として撮像手段のブレによる影響を打ち消すことができ、歩行者の動作をより精度良く識別することができる。

本発明において、好ましくは、更に、車両と歩行者検出手段により検出された歩行者との距離の変化を算出する距離変化算出手段を備え、歩行者領域抽出手段は、頭部位置追跡手段により追跡された頭部位置及び距離変化算出手段により算出された距離の変化に基づき、領域内における歩行者の頭部位置が所定位置となり、且つ領域内に占める歩行者の比率が所定範囲内となるような、所定の形状を有すると共に所定の寸法を有する領域を、歩行者領域として撮像画像から抽出する。
このように構成された本発明によれば、領域内における歩行者の頭部位置が所定位置となり、且つ領域内に占める歩行者の比率が所定範囲内となるような所定の形状及び寸法を有する領域を、歩行者領域として用いるので、タイミングが異なる歩行者領域の画像についての単純な差分を求めることで歩行者の動作を容易に識別することができる。

本発明において、好ましくは、歩行者領域抽出手段は、距離変化算出手段により算出された距離の変化に応じた寸法を有すると共に所定の縦横比を有する、歩行者を含む矩形領域を用いて、この矩形領域内における歩行者の頭部位置を頭部位置追跡手段による追跡結果から求め、求めた頭部位置が所定位置になるような新たな矩形領域を抽出し、この矩形領域を所定の寸法にまで拡大又は縮小した領域を歩行者領域として用いるのがよい。

本発明において、好ましくは、動作識別手段は、歩行者領域抽出手段により抽出された歩行者領域内の歩行者に対応する画像の経時変化に加えて、歩行者領域内の歩行者の背景に対応する画像の経時変化に基づき、歩行者の動作を識別する。
このように構成された本発明によれば、歩行者領域内の歩行者に対応する画像データ及び歩行者領域内の背景に対応する画像データの両方を用いるので、歩行者領域内の歩行者に対応する画像データのみを用い、歩行者領域内の背景に対応する画像データがノイズとなる構成と比較して、ＳＮ比が向上して、歩行者の動作を精度良く識別することができる。

本発明において、好ましくは、車両のロールを検出するロール検出手段を更に備え、歩行者領域抽出手段は、ロール検出手段により検出されたロールに基づき撮像画像を補正した画像から歩行者領域を抽出する。
このように構成された本発明によれば、車両に発生するロールによる影響を抑制して、適切な歩行者領域を撮像画像から抽出することができ、歩行者の動作をより精度良く識別することが可能となる。

本発明において、好ましくは、ロール検出手段は、撮像画像に含まれる背景中の固定物上の１以上の点の画像における位置の変化、及び車両に設けられた加速度センサの出力のうちの少なくとも一方に基づき、車両のロールを検出するのがよい。

本発明において、好ましくは、動作識別手段は、一定の位置に固定された撮像手段により事前に撮像した、歩行者の複数の動作についての画像を用いて学習することで、歩行者領域の画像の経時変化に基づき歩行者の動作を識別する。
このように構成された本発明によれば、一定の位置に固定された撮像手段による撮像画像を用いて事前に学習しておくことで、車載カメラなどの撮像手段による撮像画像を用いて事前に学習しようとする構成と比較して、歩行者の種々の動作についての教師データ（学習データ）を作成するための時間及び手間を大幅に削減することができる。

本発明において、好ましくは、動作識別手段は、歩行者の動作として歩行者の動態変化を識別する。
このように構成された本発明によれば、例えば走り出しや歩行停止や方向転換などの歩行者の動作を適切に予測することができる。その結果、自動ブレーキやドライバへの警報などを早期に行うことができ、車両と歩行者との衝突を効果的に回避することが可能となる。

本発明の車両用の歩行者動作識別装置によれば、撮像画像から歩行者を含む適切な歩行者領域を抽出して、この歩行者領域に基づき歩行者の動作を精度良く識別することができる。

本発明の実施形態による車両用の歩行者動作識別装置を含むシステムを示すブロック図である。 走行する車両に設けられた撮像部により車両前方を歩行する歩行者を撮像する様子を示す模式図である。 図２に示すような撮像部の撮像により得られた撮像画像を示す図である。 一定の位置に固定された撮像部により撮像される歩行者の撮像画像についての説明図である。 図３に示した撮像画像のそれぞれから従来の方法により抽出した、歩行者を含む歩行者領域を示す図である。 本発明の実施形態において適用する歩行者領域についての説明図である。 本発明の実施形態において歩行者の頭部位置を固定した歩行者領域を用いる理由についての説明図である。 本発明の実施形態による車両用の歩行者動作識別装置が実行する全体処理を示すフローチャートである。 図８のステップＳ１６において実行される、本発明の実施形態による歩行者領域抽出処理を示すフローチャートである。 本発明の実施形態の変形例による車両のロールの検出方法についての説明図である。

以下、添付図面を参照して、本発明の実施形態による車両用の歩行者動作識別装置について説明する。

［装置構成］
まず、図１を参照して、本発明の実施形態による車両用の歩行者動作識別装置の構成について説明する。図１は、本発明の実施形態による車両用の歩行者動作識別装置を含むシステムを示すブロック図である。

図１に示すように、車両用の歩行者動作識別装置１は、撮像部２及び距離検出部４から信号が入力される。撮像部２は、車両に設けられ、車両周辺（典型的には車両前方）を撮像するカメラである。距離検出部４は、車両と車両周辺に存在する対象物との距離を検出する。特に、距離検出部４は、車両と車両周辺に存在する歩行者との距離を検出する。例えば、距離検出部４には、ステレオカメラや、ミリ波レーダや、超音波センサなどの、車両と対象物との距離を検出可能な種々の装置が適用される。

具体的には、車両用の歩行者動作識別装置１は、図１に示すように、歩行者検出部６と、距離変化算出部８と、頭部位置追跡部１０と、歩行者領域抽出部１２と、動作識別部１４と、を有する。例えば、車両用の歩行者動作識別装置１は、車両に搭載されたＥＣＵ（Electronic Control Unit）などのコンピュータにより実現される。なお、ここでは、車両用の歩行者動作識別装置１が有する各構成要素６、８、１０、１２、１４の処理内容の概要を簡単に説明する。

歩行者検出部６は、撮像部２により撮像された車両周辺の撮像画像を取得し、この撮像画像を解析することで、撮像画像中に存在する歩行者を検出する。距離変化算出部８は、距離検出部４及び歩行者検出部６による検出結果に基づき、車両と車両周辺に存在する歩行者との距離の変化（所定時間における相対距離の変化）を算出する。頭部位置追跡部１０は、歩行者検出部６により検出された歩行者の頭部位置を追跡する、換言すると撮像画像中における歩行者の頭部位置を算出する。

歩行者領域抽出部１２は、歩行者を含む歩行者領域を撮像画像から抽出する。特に、歩行者領域抽出部１２は、頭部位置追跡部１０により追跡された頭部位置及び距離変化算出部８により算出された距離の変化に基づき、領域内における歩行者の頭部位置が所定位置となり、且つ領域内に占める歩行者の比率が所定範囲内となるような所定の形状及び寸法を有する領域を、歩行者領域として撮像画像から抽出する。動作識別部１４は、歩行者領域抽出部１２により抽出された歩行者領域の画像の経時変化から歩行者の動き特徴量を算出して、学習（典型的には機械学習）により歩行者の動作を識別する。特に、動作識別部１４は、例えば走り出しや歩行停止や方向転換などの歩行者の動態変化を識別する。

上記のように識別された歩行者の動作に基づいて、車両側では、車両と歩行者とが衝突する可能性が判定される。１つの例では、識別によって歩行者の走りだしが予測されたときに、この直後に予測される歩行者の状態に基づき、歩行者との車両との衝突余裕時間（ＴＴＣ（Time to Collision））が求められ、この衝突余裕時間が所定時間以下である場合に、車両と歩行者とが衝突する可能性が高いと判定される。こうして車両と歩行者とが衝突する可能性が高いと判定された場合、車両と歩行者との衝突を回避すべく、自動ブレーキが行われたり、ドライバへの警報が行われたりする。

［歩行者領域］
次に、本発明の実施形態において適用する歩行者領域について具体的に説明する。

最初に、図２及び図３を参照して、走行する車両の撮像部２により撮像される歩行者の撮像画像について説明する。図２は、走行する車両（符号Ｖ１で示す）に設けられた撮像部２により車両前方を歩行する歩行者（符号Ｗで示す）を撮像する様子を示しており、図３は、図２に示すような撮像部２の撮像により得られた撮像画像Ｇ１１〜Ｇ１４を示している。一方で、図４は、一定の位置に固定された撮像部により撮像される歩行者の撮像画像についての説明図を示している。具体的には、図４（ａ）は、一定の位置に固定された撮像部２０（定置カメラ）により前方を歩行する歩行者（符号Ｗで示す）を撮像する様子を示しており、図４（ｂ）は、図４（ａ）に示すような撮像部２０の撮像により得られた撮像画像Ｇ２１〜Ｇ２４を示している。

図４（ｂ）に示すように、一定の位置に固定された撮像部２０により撮像された撮像画像Ｇ２１〜Ｇ２４においては、これらの画像に含まれる歩行者の寸法がほぼ一定で、歩行者の背景の画像も一定である。これに対して、図３に示すように、走行する車両に設けられた撮像部２により撮像された撮像画像Ｇ１１〜Ｇ１４においては、これらの画像に含まれる歩行者の寸法が変動すると共に、歩行者の背景の画像も変動している。具体的には、車両が歩行者に近付くことで、画像中の歩行者の寸法が徐々に大きくなっており、また、車両の移動に伴うオプティカルフローが画像のほぼ全体に生じている。更には、撮像画像Ｇ１１〜Ｇ１４においては、車両の走行路面の凸凹やドライバの操舵等に起因する撮像部２のブレ（振動など）の影響が現れる傾向にある。

次に、図５は、図３に示した撮像画像Ｇ１１〜Ｇ１４のそれぞれから従来の方法により抽出した、歩行者を含む歩行者領域Ｒ１１〜Ｒ１４を示している。従来の方法では、撮像画像Ｇ１１〜Ｇ１４から必要最小限の範囲で歩行者全体を含む領域（矩形領域）をそのまま歩行者領域Ｒ１１〜Ｒ１４として抽出するものである。撮像画像Ｇ１１〜Ｇ１４中の歩行者の寸法が変動するため、このような従来の方法では、抽出される歩行者領域Ｒ１１〜Ｒ１４のそれぞれで矩形領域の寸法が変動する。また、歩行者の姿勢などの変化に応じて、歩行者領域Ｒ１１〜Ｒ１４のそれぞれで矩形領域の形状（詳しくは矩形の縦横比）が変動する。加えて、図３において述べた撮像部２のブレの影響が、歩行者領域Ｒ１１〜Ｒ１４にも表れることとなる。

このように歩行者領域Ｒ１１〜Ｒ１４の寸法及び形状が変動すると、歩行者領域Ｒ１１〜Ｒ１４の画像の経時変化に基づいた歩行者の動作の識別精度が低下してしまう。また、歩行者領域Ｒ１１〜Ｒ１４には、歩行者だけでなく背景が依然として含まれており、当該背景の画像が変化するため（オプティカルフローに相当する）、歩行者の画像をシグナルとして考えた場合、そのような背景の画像の変化がノイズとなり、ＳＮ比が低い状態となることで歩行者の動作の識別精度が低下してしまう。更には、歩行者領域Ｒ１１〜Ｒ１４に含まれる、上記したような撮像部２のブレ（振動など）の影響によっても、歩行者の動作の識別精度が低下してしまう。

以上のことから、本実施形態では、歩行者の動作を精度良く識別できるような適切な歩行者領域を撮像画像から抽出するようにした。具体的には、本実施形態では、縦横比及び寸法が固定された矩形領域であって、領域内における歩行者の頭部位置が所定位置に固定され、且つ領域内に占める歩行者の比率がほぼ固定された領域を、歩行者領域として撮像画像から抽出することで、歩行者動作の識別精度の向上を図った。

図６は、本発明の実施形態において適用する歩行者領域を具体的に説明するための図を示している。図６において、符号Ｒ２１〜Ｒ２４及び符号Ｒ３１〜Ｒ３４は、図３に示したような撮像画像Ｇ１１〜Ｇ１４（つまり走行する車両に設けられた撮像部２による撮像画像）からそれぞれ抽出された歩行者領域を示している。

具体的には、図６の上に示す歩行者領域Ｒ２１〜Ｒ２４は、撮像画像Ｇ１１〜Ｇ１４のそれぞれから抽出した、歩行者全体を含む矩形領域である。詳しくは、歩行者領域Ｒ２１〜Ｒ２４は、それぞれで、矩形領域の縦横比が同一で、且つ、矩形領域内における歩行者の頭部位置が同一で（矩形の外形に対する頭部の相対的な位置がそれぞれで同一であることを意味する）、尚且つ、矩形領域内に占める歩行者の比率がほぼ同一となるように（矩形領域に対する相対的な歩行者の大きさがほぼ同一であることを意味する）、撮像画像Ｇ１１〜Ｇ１４から抽出された領域である。

他方で、図６の下に示す歩行者領域Ｒ３１〜Ｒ３４は、上記した歩行者領域Ｒ２１〜Ｒ２４を同一の寸法となるように縮小又は拡大した領域、換言すると所定の縦寸法及び横寸法になるように縮小又は拡大した領域である（以下ではこのように縮小又は拡大することを適宜「正規化」と呼ぶ）。本実施形態では、こうして得られた歩行者領域Ｒ３１〜Ｒ３４を用いて歩行者の動作を識別する。

次に、図７を参照して、本発明の実施形態において歩行者の頭部位置を固定した歩行者領域を用いる理由について説明する。図７において、車両に搭載された撮像部２の撮像画像から抽出された、２つの異なる歩行者領域Ｒ４１、Ｒ４２（異なるタイミングで得られた撮像画像から抽出されたもの）を示している。図７に示すように、歩行者領域Ｒ４１、Ｒ４２のそれぞれの歩行者の頭部位置ＨＰが同一位置になっている。

このように歩行者の頭部位置ＨＰが同一位置に固定されるように歩行者領域を抽出すると、歩行者の頭部の動きが、連続するフレーム間の歩行者領域において歩行者の背景の動きに反映されることとなる。特に、歩行者の頭部の上下動が歩行者領域において背景の上下動に反映されることとなる、換言すると背景の上下動が頭部の上下動に連動するものとなる。即ち、歩行者領域において現れない歩行者の頭部の上下動が、歩行者領域において背景の上下動として現れることとなる。具体的には、歩行者の頭部位置ＨＰが下がった場合には、歩行者領域に含まれる背景が上に動き、歩行者の頭部位置ＨＰが上がった場合には、歩行者領域に含まれる背景が下に動く。図７に示す例では、歩行者による足の踏み込み時に頭部位置ＨＰが下がることで、歩行者領域Ｒ４１に含まれる背景が大きく上に動いており（矢印Ａ１１参照）、歩行者の空中浮遊時に頭部位置ＨＰが上がることで、歩行者領域Ｒ４２に含まれる背景がわずかに下に動いている（矢印Ａ１２参照）。

このように、歩行者の頭部位置ＨＰが同一位置に固定された歩行者領域を抽出することにより、歩行者の頭部の動きが歩行者領域において背景の動きとして現れるので、歩行者領域の背景の経時変化に基づき歩行者の動作を識別できるようになる。つまり、歩行者領域内の背景に対応する画像データをノイズとして扱わずに、歩行者領域内の歩行者に対応する画像データと共にシグナルとして利用して、歩行者の動作を識別できるようになる（この場合ＳＮ比が比較的高い状態となる）。更に、頭部位置ＨＰが固定された歩行者領域においては、頭部を基準として撮像部２のブレによる影響が打ち消されることとなる。以上のことから、本実施形態では、歩行者の頭部位置を固定した歩行者領域を用いているのである。

また、歩行者の体の部位において頭部を追跡することとした理由は以下の通りである。撮像画像中の所定箇所を追跡する場合にはコーナー（角）を特徴として抽出することになるが、歩行者の体の所定の部位を追跡しようとした場合、歩行者の端部の部位を特徴として抽出することとなる。この場合、歩行者の足を追跡しようとすると、歩行中においては足の動きが大きいため、足の位置を固定した歩行者領域においてはフレーム間で大きなブレが生じる傾向にある。加えて、歩行中には２本の足が交差するが、このときに追跡している足が入れ替わってしまう場合がある。同様のことが、歩行者の手を追跡しようとした場合にも言える。また、歩行者の腰を追跡しようとすると、歩行中に腰の付近を手が動いているため、腰ではなく手を追跡してしまう場合がある。このようなことから、本実施形態では、追跡の精度を確保できるという観点から、歩行者の体の部位において頭部を追跡することとした。また、歩行者の頭部の動きは、歩行者の上下方向の動きを大きく反映したものとなっているため（例えば、歩行中に重心となる腰の部分の先（上方向）に頭部があるため、腰の傾きなども頭部の上下動に現れる）、この観点からも、本実施形態では、歩行者の体の部位において頭部を追跡することとした。つまり、本実施形態では、特徴の基点として頭部を用いる観点から、歩行者の頭部を追跡することとした。

［処理フロー］
次に、図８を参照して、本発明の実施形態による車両用の歩行者動作識別装置１が実行する処理について、より具体的に説明する。図８は、本発明の実施形態による車両用の歩行者動作識別装置１が実行する全体処理を示すフローチャートである。このフローは、車両用の歩行者動作識別装置１によって所定の周期で繰り返し実行される。

まず、ステップＳ１１では、車両用の歩行者動作識別装置１の歩行者検出部６が、カメラなどの撮像部２が撮像することで生成した車両周辺の撮像画像を取得する。次いで、ステップＳ１２では、歩行者検出部６は、ステップＳ１１において取得された撮像画像中に存在する歩行者を検出する。例えば、歩行者検出部６は、Ｖｉｏｌａ−Ｊｏｎｅｓ法を用いて、撮像画像中に存在する歩行者を検出する。このＶｉｏｌａ−Ｊｏｎｅｓ法は、大量の学習データを用いたＡｄａＢｏｏｓｔ（Adaptive Boosting）による識別器の学習を事前に行っておき、Ｈａａｒ−Ｌｉｋｅ特徴量を用いたＣａｓｃａｄｅ構造の識別による画像中の高速全探索を行う方法である。

次いで、ステップＳ１３では、歩行者検出部６は、ステップＳ１２の処理により撮像画像中に歩行者が検出されたか否かを判定する。その結果、歩行者が検出されと判定された場合（ステップＳ１３：Ｙｅｓ）、処理はステップＳ１４に進み、歩行者が検出されと判定されなかった場合（ステップＳ１３：Ｎｏ）、処理は終了する。

ステップＳ１４では、車両用の歩行者動作識別装置１の頭部位置追跡部１０が、歩行者検出部６による検出結果を用いて、撮像画像中の歩行者の頭部位置を追跡する。具体的には、頭部位置追跡部１０は、歩行者検出部６によって歩行者が検出された撮像画像中の大まかな歩行者の位置に基づき、公知の種々の方法を用いて特徴量追跡を行うことで、撮像画像中の歩行者の頭部位置を求める。

次いで、ステップＳ１５では、車両用の歩行者動作識別装置１の距離変化算出部８が、車両と歩行者検出部６によって検出された歩行者との距離の変化（所定時間における相対距離の変化）を算出する。１つの例では、距離変化算出部８は、距離検出部４によって現在検出された車両と歩行者との距離と距離検出部４によって所定時間前に検出された車両と歩行者との距離との差分（距離の変化）を求める。他の例では、距離変化算出部８は、車速センサによって検出された車速を時間積分して所定時間の間に車両が進んだ距離を求めて、この距離に基づき車両と歩行者との距離の変化を求める（この例では歩行者の速度をほぼ０と扱い所定時間の間に車両が進んだ距離から車両と歩行者との距離の変化を求めてもよい）。

次いで、ステップＳ１６では、車両用の歩行者動作識別装置１の歩行者領域抽出部１２が、ステップＳ１４において算出された頭部位置及びステップＳ１５において算出された距離の変化に基づき、歩行者を含む歩行者領域を撮像画像から抽出する。具体的には、歩行者領域抽出部１２は、領域内における歩行者の頭部位置が所定位置となり、且つ領域内に占める歩行者の比率が所定範囲内となるような所定の縦横比を有する矩形領域を、歩行者領域として撮像画像から抽出する。なお、歩行者領域抽出部１２が行う処理（歩行者領域抽出処理）の詳細は後述する。

次いで、ステップＳ１７では、車両用の歩行者動作識別装置１の動作識別部１４が、ステップＳ１６において抽出された歩行者領域の画像の経時変化から歩行者の動き特徴量を算出して、学習により歩行者の動作を識別する。具体的には、まず、動作識別部１４は、例えばＨＯＧ（Histograms of Oriented Gradients）やSHIFT（Scale-Invariant Feature Transform）などの方法を用いて、歩行者領域の画像の経時変化から歩行者の動き特徴量を算出し、この後、例えばＳＶＭ（Support Vector Machine）やニューラルネットワークなどの方法を用いて、算出された動き特徴量と事前に蓄積した特徴量のデータ（教師データ／学習データ）とを比較して動きの類似度合を算出することにより歩行者の動作を識別する。この場合、動作識別部１４は、歩行者領域内の歩行者に対応する画像の経時変化だけでなく、歩行者領域内の歩行者の背景に対応する画像の経時変化も用いて、歩行者の動作を識別する（つまり歩行者に対応する画像及び背景に対応する画像の両方について動き特徴量を算出して歩行者の動作を識別する）。特に、ステップＳ１７では、動作識別部１４は、例えば走り出しや歩行停止や方向転換などの歩行者の動態変化を識別する。

典型例な例では、ステップＳ１７では、動作識別部１４は、ＳＴＡＣＯＧ（Space-time Auto-Correlation of Gradient）を用いて歩行者の動作を識別する。この例では、図４に示したような定置カメラにより撮像した歩行者の複数の動作についての画像（動画）からＳＴＡＣＯＧにより動き特徴量を算出して、学習により識別器（学習結果）を事前に作成しておき、動作識別部１４は、ステップＳ１６において抽出された歩行者領域の画像（動画）からＳＴＡＣＯＧにより動き特徴量を算出して、事前に作成された識別器を用いて歩行者の動作を識別して分類する。
このように定置カメラの撮像画像を用いて事前に学習しておくことで、撮像部２などの車載カメラの撮像画像を用いて事前に学習しようとする場合と比較して、歩行者の種々の動作についての教師データ（学習データ）を作成するための時間及び手間を大幅に削減することができる。

次に、図９を参照して、車両用の歩行者動作識別装置１の歩行者領域抽出部１２が行う処理（歩行者領域抽出処理）の詳細について説明する。図９は、図８のステップＳ１６において実行される、本発明の実施形態による歩行者領域抽出処理を示すフローチャートである。

まず、ステップＳ２１では、歩行者領域抽出部１２は、基準として用いる歩行者領域（以下では適宜「基準歩行者領域」と呼ぶ。）について縦及び横のそれぞれの寸法を求める。基準歩行者領域は、最終的に用いる歩行者領域（つまり上記したステップＳ１７で用いる歩行者領域）の元となる、事前に設定された所定の縦横比を有する矩形領域である。この場合、歩行者領域抽出部１２は、歩行者検出部６によって歩行者が検出された撮像画像中の大まかな歩行者の位置に基づき、距離変化算出部８によって求められた車両と歩行者との距離に応じた基準歩行者領域の縦寸法及び横寸法を求める。具体的には、歩行者領域抽出部１２は、車両と歩行者との距離から想定される撮像画像中の歩行者の寸法に基づき（この場合、歩行者の実際の大きさ（一般的な身長など）も考慮される）、歩行者の全体が含まれるような矩形領域の寸法を基準歩行者領域の寸法として求める。より詳しくは、歩行者領域抽出部１２は、領域内に歩行者の全体が含まれ、且つ、領域内に占める歩行者の比率（領域全体の面積に対する歩行者の面積が占める割合）が事前に設定された所定範囲内となるような、所定の縦横比を有する矩形領域の縦寸法及び横寸法を求める。

次いで、ステップＳ２２では、歩行者領域抽出部１２は、ステップＳ２１において求められた寸法を有する基準歩行者領域内の歩行者の頭部位置を算出する。この場合、歩行者領域抽出部１２は、ステップＳ１４において追跡された歩行者の頭部位置に基づき、基準歩行者領域に対する相対的な頭部位置を算出する。

次いで、ステップＳ２３では、歩行者領域抽出部１２は、ステップＳ２２において求められた頭部位置が所定位置になるような歩行者領域（最終的に用いる歩行者領域（つまり上記したステップＳ１７で用いる歩行者領域）である）の位置を算出する。具体的には、歩行者領域抽出部１２は、上記した基準歩行者領域を移動させて頭部位置が領域内の所定位置になるようにしたときの矩形領域の位置を算出する。この所定位置は、矩形領域の外形に対して相対的に規定される位置であり、事前に設定される。例えば、所定位置は、矩形の１つの頂点の位置を基準として、矩形の縦寸法の所定比率（１未満）に対応する値だけ当該頂点から縦方向に離れ、且つ矩形の横寸法の所定比率（１未満）に対応する値だけ当該頂点から横方向に離れた点といった具合に規定される。

次いで、ステップＳ２４では、歩行者領域抽出部１２は、ステップＳ２３において求められた歩行者領域の位置に基づき、この歩行者領域を撮像画像から実際に抽出する（つまり切り出す）。

次いで、ステップＳ２５では、歩行者領域抽出部１２は、ステップＳ２４において抽出された歩行者領域を正規化する。具体的には、歩行者領域抽出部１２は、歩行者領域が事前に設定された所定の縦寸法及び横寸法（例えば縦横サイズが１００ピクセル×１００ピクセル）となるように縮小又は拡大する処理を行う。基本的には、歩行者領域抽出部１２は、ステップＳ２４において抽出された歩行者領域の縦横比を固定して縮小又は拡大する処理を行う。このようなステップＳ２５の後、上記したステップＳ１７に進み、抽出された歩行者領域に基づいて歩行者の動作を識別する処理が行われる。

［作用効果］
次に、本発明の実施形態による車両用の歩行者動作識別装置の作用効果について説明する。

本実施形態では、領域内における歩行者の頭部位置が所定位置となり、且つ領域内に占める歩行者の比率が所定範囲内となるような、所定の縦横比及び寸法を有する矩形領域を、歩行者領域として撮像画像から抽出し、この歩行者領域の画像の経時変化に基づいて歩行者の動作を識別する。

このような本実施形態によれば、複数フレーム間において歩行者領域内で頭部位置が同一位置に固定されるため、歩行者の頭部の動きが歩行者領域において背景の動きとして現れるので（特に上下動に関して）、歩行者領域の背景の経時変化に基づき歩行者の動作を識別できるようになる。つまり、歩行者領域内の背景に対応する画像データをノイズとして扱わずに、歩行者領域内の歩行者に対応する画像データと共にシグナルとして利用して、歩行者の動作を識別できるようになる。その結果、ＳＮ比が向上して、歩行者の動作を精度良く識別することができる。

また、本実施形態によれば、歩行者領域において頭部位置を固定することで、頭部を基準として撮像部２のブレによる影響を打ち消すことができ、歩行者の動作をより精度良く識別することができる。更に、本実施形態によれば、同一の形状及び寸法を有する歩行者領域を用いるので、タイミングが異なる歩行者領域の画像についての単純な差分を求めることで歩行者の動作を容易に識別することができる。

［変形例］
次に、上記した実施形態の変形例について説明する。

上記した実施形態では、車両に発生するロールの影響を考慮していなかったが、車両にロールが発生した場合には、撮像部２による撮像画像がこのロールの影響を受けてしまう。したがって、変形例では、車両に発生するロールの影響を考慮して処理を行ってもよい。具体的には、変形例では、車両に発生するロールに基づき撮像部２による撮像画像を補正し、つまり当該撮像画像をロールが発生していない状態の画像へと補正し（例えばロールに相当する角度だけ撮像画像を回転させる）、補正した画像から上記した歩行者領域を抽出してもよい。こうすることで、車両に発生するロールによる影響を抑制し、撮像画像から適切な歩行者領域を抽出することができ、歩行者の動作をより精度良く識別することが可能となる。

図１０は、本発明の実施形態の変形例による、車両に発生するロールの検出方法についての説明図である。図１０において、符号Ｇ３０は、車両に搭載された撮像部２の撮像画像の一例を示し、符号ＯＢは、この撮像画像Ｇ３０において歩行者の背景に存在する固定物を示し、符号Ｐ１、Ｐ２は、この固定物ＯＢ上の２点を示している（ここでは角に対応する点を例示している）。このような撮像画像Ｇ３０中の背景に存在する固定物ＯＢ上の２点Ｐ１、Ｐ２を用いて、車両に発生するロールを検出することができる。この場合、連続する複数フレームに対応する複数の撮像画像Ｇ３０中の固定物ＯＢ上の２点Ｐ１、Ｐ２の位置の変化から、車両に発生するロールを検出すればよい。例えば、２点Ｐ１、Ｐ２を結んだ線分の傾きの変化から、車両のロールに起因して撮像画像Ｇ３０が傾いている角度を求めて、この角度だけ撮像画像Ｇ３０を回転させることでロールが発生していない状態の画像へと補正すればよい。

なお、このように撮像画像Ｇ３０中の固定物ＯＢ上の２点Ｐ１、Ｐ２を用いて車両のロールを検出することに限定はされず、他の例では、固定物ＯＢ上の１点のみ又は３点以上を用いて車両のロールを検出してもよい。更に他の例では、撮像画像Ｇ３０中の固定物ＯＢ上の点を用いることに代えて、若しくは撮像画像Ｇ３０中の固定物ＯＢ上の点を用いることに加えて、車両に設けられた加速度センサ（換言するとＧセンサ）が検出した車両の傾きに基づいて、車両のロールを検出してもよい。

また、上記した実施形態では、（１）領域内における歩行者の頭部位置が所定位置となる、（２）領域内に占める歩行者の比率が所定範囲内となる、（３）所定の形状を有する、（４）所定の寸法を有する、という４つの条件を全て満たす領域を、歩行者領域として撮像画像から抽出していた。他の例では、（１）領域内における歩行者の頭部位置が所定位置となる、（３）所定の形状を有する、という２つの条件のみを満たす領域を歩行者領域として抽出してもよい。つまり、領域内に占める歩行者の比率が固定でない歩行者領域や、領域の寸法が固定でない歩行者領域（但し領域の形状は固定）を用いてもよい。更に、上記した実施形態では、矩形の歩行者領域を用いていたが、歩行者領域の形状として矩形を適用することに限定はされない。

また、上記した実施形態では、歩行者領域に基づき歩行者の動作を識別していたが、本発明の適用は歩行者の動作の識別に限定されない。本発明は、例えば二輪車（自転車や自動二輪車）の運転者の動きなど、人の動き全般の識別に適用可能である。

１ 車両用の歩行者動作識別装置
２ 撮像部
４ 距離検出部
６ 歩行者検出部
８ 距離変化算出部
１０ 頭部位置追跡部
１２ 歩行者領域抽出部
１４ 動作識別部

Claims (8)

1. 車両用の歩行者動作識別装置であって、
   車両に設けられた撮像手段により撮像された車両周囲の撮像画像を取得し、この撮像画像中に存在する歩行者を検出する歩行者検出手段と、
   上記撮像画像において上記歩行者検出手段により検出された歩行者の頭部位置を追跡する頭部位置追跡手段と、
   上記歩行者検出手段により検出された歩行者を含む、所定の形状を有する歩行者領域を上記撮像画像から抽出する歩行者領域抽出手段であって、この歩行者領域抽出手段は、上記頭部位置追跡手段により追跡された頭部位置に基づき、上記歩行者の頭部位置が内部の所定位置に固定された領域を上記歩行者領域として上記撮像画像から抽出する、上記歩行者領域抽出手段と、
   上記歩行者領域抽出手段により抽出された歩行者領域の画像の経時変化に基づき、上記歩行者の動作を識別する動作識別手段と、を有し、
   上記撮像手段により撮像された連続する撮像画像に対応する複数フレーム間において、上記歩行者領域が同一の寸法であり、上記頭部位置が上記歩行者領域内の同一位置に固定されることを特徴とする車両用の歩行者動作識別装置。
2. 更に、上記車両と上記歩行者検出手段により検出された歩行者との距離の変化を算出する距離変化算出手段を備え、
   上記歩行者領域抽出手段は、上記頭部位置追跡手段により追跡された頭部位置及び上記距離変化算出手段により算出された距離の変化に基づき、領域内における上記歩行者の頭部位置が上記所定位置となり、且つ領域内に占める上記歩行者の比率が所定範囲内となるような、上記所定の形状を有すると共に所定の寸法を有する領域を、上記歩行者領域として上記撮像画像から抽出する、請求項１に記載の車両用の歩行者動作識別装置。
3. 上記歩行者領域抽出手段は、上記距離変化算出手段により算出された距離の変化に応じた寸法を有すると共に所定の縦横比を有する、上記歩行者を含む矩形領域を用いて、この矩形領域内における上記歩行者の頭部位置を上記頭部位置追跡手段による追跡結果から求め、求めた頭部位置が上記所定位置になるような新たな矩形領域を抽出し、この矩形領域を上記所定の寸法にまで拡大又は縮小した領域を上記歩行者領域として用いる、請求項２に記載の車両用の歩行者動作識別装置。
4. 上記動作識別手段は、上記歩行者領域抽出手段により抽出された歩行者領域内の歩行者に対応する画像の経時変化に加えて、上記歩行者領域内の歩行者の背景に対応する画像の経時変化に基づき、上記歩行者の動作を識別する、請求項１乃至３のいずれか一項に記載の車両用の歩行者動作識別装置。
5. 上記車両のロールを検出するロール検出手段を更に備え、
   上記歩行者領域抽出手段は、上記ロール検出手段により検出されたロールに基づき上記撮像画像を補正した画像から上記歩行者領域を抽出する、請求項１乃至４のいずれか一項に記載の車両用の歩行者動作識別装置。
6. 上記ロール検出手段は、上記撮像画像に含まれる背景中の固定物上の１以上の点の画像における位置の変化、及び上記車両に設けられた加速度センサの出力のうちの少なくとも一方に基づき、上記車両のロールを検出する、請求項５に記載の車両用の歩行者動作識別装置。
7. 上記動作識別手段は、一定の位置に固定された撮像手段により事前に撮像した、歩行者の複数の動作についての画像を用いて学習することで、上記歩行者領域の画像の経時変化に基づき上記歩行者の動作を識別する、請求項１乃至６のいずれか一項に記載の車両用の歩行者動作識別装置。
8. 上記動作識別手段は、上記歩行者の動作として歩行者の動態変化を識別する、請求項１乃至７のいずれか一項に記載の車両用の歩行者動作識別装置。

Images