JP5737397B2 - 歩行者動作予測装置 - Google Patents

Description

本発明は歩行者動作予測装置に関する。

特許文献１には、外界センサから入力される画像データからエッジ画像を生成し、歩行者候補の左右の脚部の開度Ｗを検出すると共に、歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の身長Ｈを推定し、歩行者候補の身長Ｈおよび脚部の開度Ｗに基づき、身長Ｈに対する脚部Ｗの比率（Ｗ／Ｈ）が所定値α以上であるか否かを判定することにより、歩行者候補が自車両の進路を横断する可能性があるか否かを判定する歩行者認識装置が開示されている。

なお、その他の先行技術文献としては、特許文献２から４が挙げられる。特許文献２には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得した位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンとを比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。特許文献３には、歩行者を検出するための２次元形状データを記憶するデータベースを備え、検出された歩行者の撮像データに基づき第１立体モデルを推定し、この第１立体モデルに基づいて歩行者の将来動作を推定する車両の歩行者検出装置が開示されている。特許文献４には、画像のデータから歩行者の代表点（頭部、首部、股関節、膝関節、及び足首関節等）を特定し、特定された代表点同士を結ぶ直線及び地表面と平行な直線等に基づいて歩行者の各部位の角度情報を算出し、算出した角度情報に基づいて歩行者の移動状態を判定する歩行者認識支援装置が開示されている。

特開２００７−２６４７７８号公報 特開２０１０−１０２４３７号公報 特開２０１０−０７９６３９号公報 特開２０１０−１６５００３号公報

しかしながら、身長Ｈに対する脚部の開度Ｗの比率で歩行者行動を予測するため、歩行者が横断を開始して（具体的には、歩行者が飛び出しの一歩目を踏み出して）からしか横断の可能性を判定することができないという問題点があった。また、身長Ｈに対する脚部の開度Ｗの比率で歩行者行動を予測するため、小さい歩幅で飛び出す歩行者に対しては判定精度が悪くなるという問題点があった。

本発明は、上記の事情に鑑みてなされたものであって、実際に歩行者が飛び出しを開始する前に、飛び出しの可能性を精度良く予測することができる歩行者動作予測装置を提供することを目的とする。

本発明は、検出された歩行者形状を、飛び出す可能性を持つ予め用意された歩行者形状と照合した結果に基づいて、歩行者の飛び出しを予測すること、を特徴とする。なお、ある時点に検出された前記歩行者形状と当該ある時点後に検出された前記歩行者形状との組み合わせに基づいて、歩行者の飛び出しを予測するという構成としても良い。また、検出された前記歩行者形状を時系列で記録し、記録した時系列の前記歩行者形状の周期性を解析し、解析した当該周期性の変化に基づいて歩行者の飛び出しを予測するという構成としても良い。また、検出された前記歩行者形状を時系列で記録し、記録した時系列の前記歩行者形状に基づいて歩行者の速度が連続であるか否かを判定し、当該判定の結果に基づいて歩行者の飛び出しを予測するという構成としても良い。また、歩行者の、前傾姿勢、上体の向き、脚の前後方向への開き、および脚の左右方向への開きのうち少なくとも１つを前記歩行者形状として取得するという構成としても良い。

本発明は、検出された歩行者形状を、飛び出す可能性を持つ予め用意された歩行者形状と照合した結果に基づいて、歩行者の飛び出しを予測するので、実際に歩行者が飛び出しを開始する前に、飛び出しの可能性を精度良く予測することができるという効果を奏する。

図１は、第１実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。 図２は、第１実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。 図３は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図４は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図５は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図６は、起こり易い歩行者飛び出し姿勢の一例を示す図である。 図７は、第２実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。 図８は、第２実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。 図９は、第３実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。 図１０は、第３実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。 図１１は、歩行者形状の周期的変化の一例を示す図である。

以下に、本発明にかかる歩行者動作予測装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態により本発明が限定されるものではない。

〔第１実施形態〕
第１実施形態にかかる歩行者動作予測装置の構成および当該歩行者動作予測装置で実行される動作について、図１から図６を参照して詳細に説明する。

図１は、第１実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。歩行者動作予測装置１は、例えば汎用のパーソナルコンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。

歩行者動作予測装置１は、制御部１２および記憶部１４を備えている。制御部１２は、歩行者動作予測装置１を統括的に制御するためのものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはハードディスクなどである。

記憶部１４は、照合用データ記憶部１４ａを備えている。照合用データ記憶部１４ａには、変化する様々な交通環境において起こり易い歩行者の形状（例えば、前傾、上体の向き、脚の前後方向への開き、または脚の左右方向への開き等）を検出し易い学習済み識別器群または歩行者認識用テンプレート（画像）群が格納されている。

制御部１２は、検出部１２ａ、取得部１２ｂ、および予測部１２ｃを備えている。検出部１２ａは、カメラ２から入力された画像データから歩行者を検出する。取得部１２ｂは、検出部１２ａで検出された歩行者の形状を取得する。予測部１２ｃは、取得部１２ｂで取得された歩行者の形状に基づいて歩行者の動作（例えば歩行者の飛び出しなど）を予測する。

図２は、歩行者動作予測装置１で実行される動作の一例を示すフローチャートである。まず、検出部１２ａは、カメラ２から入力された画像データから歩行者を検出し、検出した歩行者が写し出されている部分を当該画像データから切り出す（ステップＳＡ１）。

つぎに、取得部１２ｂは、ステップＳＡ１で切り出された部分画像データに写し出されている歩行者の形状を、照合用データ記憶部１４ａに格納されている学習済み識別器群または歩行者認識用テンプレート群と照合することで、当該形状のクラス分けを行う（ステップＳＡ２）。例えば、取得部１２ｂは、部分画像データから特徴ベクトル（特徴量）を抽出し、抽出された特徴ベクトルを学習済み識別器で形成される識別面で識別することにより、部分画像データに写し出されている歩行者の形状のクラス（例えば、図３に示すような前傾姿勢のクラス、図４に示すような上体の向きのクラス、図５に示すような脚の前後方向への開きのクラス、図６に示すような脚の左右方向への開きのクラスなど）を決定する。特徴量としては、ＳＩＦＴやＨＯＧなどのようなエッジに基づくものや、色に基づくもの、頭や手など特徴的なものの位置を符号化したものなどが考えられる。また、例えば、取得部１２ｂは、部分画像データに写し出されている歩行者の形状と歩行者認識用テンプレートの歩行者の形状とを照合することで、部分画像データに写し出されている歩行者の形状のクラスを決定する。歩行者形状のクラスとしては、図３、４、５、６に示すもの以外にも、“通常歩行動作”と“それ以外”のクラスなどに分けることもできる。

つぎに、予測部１２ｃは、ステップＳＡ２で得られたクラス分けの結果に基づいて、歩行者の動作（例えば歩行者の飛び出す方向など）を予測する（ステップＳＡ３）。例えば、予測部１２ｃは、クラス分けの結果が前傾姿勢のクラスに関するものであった場合には、歩行者が前傾方向（図３の矢印方向）に飛び出すと予測する。また、例えば、予測部１２ｃは、クラス分けの結果が上体の向きのクラスに関するものであった場合には、歩行者がその上体の向いている方向（図４の矢印方向）に飛び出すと予測する。また、例えば、予測部１２ｃは、クラス分けの結果が脚の前後方向への開きのクラスに関するものであった場合には、歩行者が前方向（図５の矢印方向）に飛び出すと予測する。また、例えば、予測部１２ｃは、クラス分けの結果が脚の左右方向への開きのクラスに関するものであった場合には、歩行者が自身の左方向（図６の矢印方向）に飛び出すと予測する。歩行者形状のクラスとして、“通常歩行動作”と“それ以外”のクラスに分けた場合は、飛び出しが“ある”か“ない”かのみを予測する。

〔第２実施形態〕
第２実施形態にかかる歩行者動作予測装置の構成および当該歩行者動作予測装置で実行される動作について、図７および図８を参照して詳細に説明する。なお、第１実施形態で説明した内容と重複するものについては省略する場合がある。

図７は、第２実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。制御部１２は、第１実施形態で説明した検出部１２ａ、取得部１２ｂ、および予測部１２ｃに加え、さらに蓄積部１２ｄを備えている。記憶部１４は、第１実施形態で説明した照合用データ記憶部１４ａに加え、さらに形状データ記憶部１４ｂを備えている。

蓄積部１２ｄは、取得部１２ｂで取得された歩行者の形状を形状データ記憶部１４ｂに蓄積する。予測部１２ｃは、形状データ記憶部１４ｂに蓄積されている歩行者の形状の組み合わせに基づいて、歩行者の動作（例えば歩行者の飛び出しなど）を予測する。形状データ記憶部１４ｂは、歩行者の形状に関するデータを格納するためのものである。

図８は、第２実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。まず、検出部１２ａは、カメラ２から入力された画像データから歩行者を検出し、検出した歩行者が写し出されている部分を当該画像データから切り出す（ステップＳＢ１）。

つぎに、取得部１２ｂは、ステップＳＢ１で切り出された部分画像データに写し出されている歩行者の形状を、照合用データ記憶部１４ａに格納されている学習済み識別器群または歩行者認識用テンプレート群と照合することで、当該形状のクラス分けを行う（ステップＳＢ２）。

つぎに、蓄積部１２ｄは、ステップＳＢ２で得られたクラス分けの結果を、形状データ記憶部１４ｂに蓄積する（ステップＳＢ３）。

つぎに、予測部１２ｃは、形状データ記憶部１４ｂに蓄積されているクラス分けの結果の組み合わせに基づいて、歩行者の動作（例えば歩行者の飛び出す方向または歩行者の飛び出す速さなど）を予測する（ステップＳＢ４）。例えば、予測部１２ｃは、或る時点の部分画像データに写し出されている歩行者の形状についてのクラス分けの結果が上体の向きのクラスに関するものであり、且つ当該或る時点後の時点の部分画像データに写し出されている歩行者の形状についてのクラス分けの結果が前傾姿勢のクラスに関するものであった場合には、歩行者の姿勢が動き出そうとしている状態から動き出し始めた状態に変化したと見做して、歩行者が前傾方向に飛び出すと予測する。

〔第３実施形態〕
第３実施形態にかかる歩行者動作予測装置の構成および当該歩行者動作予測装置で実行される動作について、図９から図１１を参照して詳細に説明する。なお、第１実施形態または第２実施形態で説明した内容と重複するものについては省略する場合がある。

図９は、第３実施形態にかかる歩行者動作予測装置の構成の一例を示すブロック図である。制御部１２は、第１実施形態で説明した検出部１２ａ、取得部１２ｂ、および予測部１２ｃに加え、さらに記録部１２ｅおよび解析部１２ｆを備えている。記憶部１４は、第１実施形態で説明した照合用データ記憶部１４ａに加え、さらに形状データ記憶部１４ｂを備えている。

記録部１２ｅは、取得部１２ｂで取得された歩行者の形状を、形状データ記憶部１４ｂに時系列で記録する。解析部１２ｆは、形状データ記憶部１４ｂに記録されている時系列の歩行者の形状に基づいて、当該形状の周期性（例えば歩行者の形状の周期的変化など）を解析する。予測部１２ｃは、解析部１２ｆでの解析結果に基づいて、歩行者の動作（例えば歩行者の飛び出しなど）を予測する。形状データ記憶部１４ｂは、歩行者の形状に関するデータを時系列で格納するためのものである。

図１０は、第３実施形態にかかる歩行者動作予測装置で実行される動作の一例を示すフローチャートである。まず、検出部１２ａは、カメラ２から入力された画像データから歩行者を検出し、検出した歩行者が写し出されている部分を当該画像データから切り出す（ステップＳＣ１）。

つぎに、取得部１２ｂは、ステップＳＣ１で切り出された部分画像データに写し出されている歩行者の形状を、照合用データ記憶部１４ａに格納されている学習済み識別器群または歩行者認識用テンプレート群と照合することで、当該形状のクラス分けを行う（ステップＳＣ２）。または、歩行者の形状として、特徴量そのものを保持する。

つぎに、記録部１２ｅは、ステップＳＣ２で得られたクラス分けの結果、または特徴量そのものを、形状データ記憶部１４ｂに時系列で記録する（ステップＳＣ３）。

つぎに、解析部１２ｆは、形状データ記憶部１４ｂに記録されている時系列のクラス分けの結果、または特徴量そのものに基づいて、歩行者の形状の周期性を解析する（ステップＳＣ４）。例えば、解析部１２ｆは、時系列のクラス分けの結果から得られる、歩行者の脚幅に関する図１１に示す周期的変化から、周期性の破れを検出する。または、特徴量空間の中に、何らかの距離、またはそれに準ずるもの、例えば、Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ情報量など、を入れ、ｎフレーム前との類似度を計算し、その周期性の破れを検出する。

つぎに、予測部１２ｃは、ステップＳＣ４で得られた周期性の解析結果（周期性の変化）に基づいて、歩行者の動作（例えば歩行者の飛び出す方向または歩行者の飛び出す速さなど）を予測する（ステップＳＣ５）。例えば、予測部１２ｃは、ステップＳＣ４で周期性の破れが検出された場合には、当該破れがあった時点（図１１参照）で歩行者が飛び出すと予測する。また、例えば、予測部１２ｃは、図１１に示すように、周期性の破れがあった時点前後での歩行者の脚幅の変化量に基づいて、当該変化量に応じた速さで歩行者が飛び出すと予測する。なお、予測部１２ｃは、形状データ記憶部１４ｂに記録されている時系列の歩行者の形状（時系列のクラス分けの結果）に基づいて、歩行者の移動の速度（移動の方向と速さ）が連続であるか否かを判定し、当該判定結果に基づいて歩行者の飛び出し方向と飛び出しの速さを予測してもよい。

〔実施形態のまとめ〕
以上、上述した実施形態によれば、歩行者が道路に飛び出す前兆となる姿勢または動作変化を捉え、歩行者の飛び出しを予測する。具体的には、センサにより検出した歩行者形状を、飛び出す可能性を持つ歩行者の前兆行動に関する歩行者形状情報と照合し、照合した結果に基づいて歩行者の飛び出しを予測する。これにより、実際に歩行者が飛び出しを開始する前に、飛び出しの可能性を精度良く予測することができる。

また、上述した実施形態によれば、或る瞬間に検出された歩行者形状と、その後に検出された歩行者形状との組み合わせにより、歩行者の飛び出しを予測するので、飛び出しの可能性の予測精度を向上させることができる。また、上述した実施形態によれば、検出された歩行者形状の時系列情報を記録し、当該時系列情報に基づいて歩行者形状の周期性を解析し、当該解析で得られた歩行者形状の周期性の変化に基づいて歩行者の飛び出しを予測するので、飛び出しの可能性の予測精度を向上させることができる。また、上述した実施形態によれば、検出された歩行者形状の時系列情報を記録し、当該時系列情報に基づいて歩行者速度の連続性を解析し、当該解析で得られた歩行者速度の連続性の変化に基づいて歩行者の飛び出しを予測するので、飛び出しの可能性の予測精度を向上させることができる。また、上述した実施形態によれば、歩行者形状として、歩行者の前傾姿勢、上体の向き、脚の前後方向への開き、および脚の左右方向への開きのうち少なくとも１つを取得するので、飛び出しの可能性の予測精度を向上させることができる。

以上のように、本発明にかかる歩行者動作予測装置は、自動車製造産業において有用であり、特に、車両周辺の歩行者の飛び出し予測に適している。

１ 歩行者動作予測装置
１２ 制御部
１２ａ 検出部
１２ｂ 取得部
１２ｃ 予測部
１２ｄ 蓄積部
１２ｅ 記録部
１２ｆ 解析部
１４ 記憶部
１４ａ 照合用データ記憶部
１４ｂ 形状データ記憶部
２ カメラ

Claims (2)

1. 検出された歩行者の脚幅を時系列で記録し、記録した時系列の前記脚幅の周期性を解析し、解析した当該周期性の変化において、周期性の破れが検出された場合は当該破れがあった時点前後の前記脚幅の変化量に応じた速さで前記歩行者が飛び出すと予測すること、
   を特徴とする歩行者動作予測装置。
2. 請求項１に記載の歩行者動作予測装置において、
   検出された前記歩行者の歩行者形状を、飛び出す可能性を持つ予め用意された歩行者形状と照合した結果に基づいて、前記歩行者の飛び出しを予測すること、
   を特徴とする歩行者動作予測装置。

Images