JP5786947B2

JP5786947B2 - 歩行者行動予測装置および歩行者行動予測方法

Info

Publication number: JP5786947B2
Application number: JP2013534489A
Authority: JP
Inventors: 金道　敏樹; 敏樹金道; 小川　雅弘; 雅弘小川; 船山　竜士; 竜士船山
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2011-09-20
Filing date: 2011-09-20
Publication date: 2015-09-30
Anticipated expiration: 2031-09-20
Also published as: JPWO2013042205A1; EP2759998A1; WO2013042205A1; EP2759998A4; CN103907146A; US20140219505A1; US9904846B2; EP2759998B1

Description

本発明は、歩行者行動予測装置および歩行者行動予測方法に関する。

従来、車両周辺の歩行者の行動を予測する技術が開発されている。

例えば、特許文献１には、カメラで撮像された画像から特徴点を抽出し、抽出された特徴点の移動速度及び／又は移動方向を含む移動情報をそれぞれ算出し、算出された特徴点の移動情報に基づいて、撮像された画像の中から移動する対象立体物を含む対象領域を抽出し、抽出された対象領域に関する移動情報と対象領域の周囲に設定された比較領域に関する移動情報とを比較し、その移動情報の比較結果に基づいて抽出された対象領域に含まれる対象立体物が歩行者であるか否かを判定する歩行者検出装置が開示されている。

また、特許文献２には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンと比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。

特開２００９−２９４８４２号公報特開２０１０−１０２４３７号公報

しかしながら、従来技術（特許文献１〜２等）は、車両周辺の歩行者の行動を迅速かつ正確に予測できなかった。例えば、特許文献１に記載の歩行者検出装置は、歩行者の移動を捉え、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作（連続的な動作）を予測できるものの、急に方向転換して車道へ飛び出す動作（不連続的な動作）については予測できなかった。また、特許文献２に記載の歩行者飛び出し予測装置は、環境認識の十分な精度が確保できず、改善の余地があった。

本発明は、上記の事情に鑑みてなされたものであって、車両周辺の歩行者の行動を迅速かつ正確に予測できる歩行者行動予測装置および歩行者行動予測方法を提供することを目的とする。

本発明の歩行者行動予測装置は、撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出手段と、前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出手段と、前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定手段と、前記不連続動作推定手段により取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測手段と、を備えることを特徴とする。

前記動作変化検出手段は、前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することが好ましい。

前記不連続動作推定手段は、前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することが好ましい。

前記歩行者検出手段は、前記撮像画像上の前記歩行者の位置を取得し、前記歩行者行動予測装置は、前記歩行者検出手段により取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段、を更に備え、前記行動予測手段は、前記連続動作推定手段により生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することが好ましい。

前記不連続動作推定情報および前記連続動作推定情報は、前記歩行者の移動方向および移動速度のうち少なくとも１つを含むことが好ましい。

前記動作変化検出手段は、所定の特徴量を用いて、前記歩行者検出手段により抽出した前記部分画像から前記歩行者の前記形状情報を表す前記特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記歩行者の動作の変化を検出する変化検出手段と、を更に備えることが好ましい。

本発明の歩行者行動予測方法は、撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出ステップと、前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出ステップと、前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を記憶手段から取得する不連続動作推定ステップと、前記不連続動作推定ステップにて取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測ステップと、を含むことを特徴とする。

前記動作変化検出ステップにおいて、前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することが好ましい。

前記不連続動作推定ステップにおいて、前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することが好ましい。

前記歩行者検出ステップにおいて、前記撮像画像上の前記歩行者の位置を取得し、前記歩行者行動予測方法は、前記歩行者検出ステップにて取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定ステップ、を更に含み、前記連続動作推定ステップにて生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することが好ましい。

本発明は、車両周辺の歩行者の行動を迅速かつ正確に予測できるという効果を奏する。

図１は、本発明に係る歩行者行動予測装置の一例を示すブロック図である。図２は、実施形態１にかかる歩行者行動予測処理の一例を示すフロー図である。図３は、実施形態１にかかる動作変化検出処理の一例を示すフローチャートである。図４は、実施形態１にかかる動作変化検出用グラフの一例を示す図である。図５は、実施形態２にかかる歩行者行動予測処理の一例を示すフロー図である。

以下に、本発明にかかる歩行者行動予測装置および歩行者行動予測方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。

本発明にかかる歩行者行動予測装置の構成について図１を参照しながら説明する。図１は、本発明にかかる歩行者行動予測装置の構成の一例を示すブロック図である。

図１に示すように、歩行者行動予測装置１は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２および報知手段４と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が写し出されている画像データ（撮像画像）を生成する機器である。カメラ２は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等の撮像手段である。カメラ２は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。本実施形態において、歩行者行動予測装置１は、カメラ２と、ステレオカメラ、イメージングレーザレーダ等と併用してもよい。報知手段４は、画像情報を出力するディスプレイや音声情報を出力するスピーカ等である。本実施形態において、報知手段４は、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、運転者に危険を報知するために用いられる。

歩行者行動予測装置１は、制御部１２および記憶部１４を備えている。制御部１２は、歩行者行動予測装置１を統括的に制御するものであり、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、またはハードディスクなどである。

記憶部１４は、形状情報記憶部１４ａおよび不連続動作推定情報記憶部１４ｂを備えている。

形状情報記憶部１４ａは、カメラ２にて撮像された撮像画像から抽出された歩行者の形状情報を記憶する形状情報記憶手段である。形状情報は、歩行者の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、撮像画像の輝度自体を使用する第１特徴量、撮像画像のエッジを使用する第２特徴量、および、撮像画像の色を使用する第３特徴量のうち少なくとも１つを含む。第１特徴量は、例えば、輝度、輝度のＰＣＡ、Ｈｕｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含む。第２特徴量は、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含む。第３特徴量は、例えば、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含む。

不連続動作推定情報記憶部１４ｂは、歩行者の動作の変化があった時点の画像データと、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報と、を対応付けて記憶する不連続動作推定情報記憶手段である。

ここで、歩行者の動作の変化とは、交通環境における歩行者の危険な動作の変化を意味し、歩行者の動作変化開始時における形状の変化、すなわち、画像の特徴量の変化を含む。歩行者の動作の変化としては、これに限定されないが、例えば、歩行者の急な方向転換動作、歩行者の腕または脚の急な振り上げ動作などを含む。また、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。

本実施形態において、不連続動作推定情報記憶部１４ｂに記憶されるデータは、歩行者行動予測装置１により予め格納されている。具体的には、歩行者行動予測装置１は、歩行者の動作の変化が検出された時点の画像データと、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納する。例えば、歩行者が車道の左側の歩道に沿って移動している場合、歩行者行動予測装置１は、歩行者の急な右方向転換動作が検出された時点の画像データと、当該歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。つまり、不連続動作推定情報記憶部１４ｂは、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、予め不連続動作推定情報として記憶している。また、歩行者行動予測装置１は、歩行者の急な左方向転換動作が検出された時点の画像データと、当該歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。つまり、不連続動作推定情報記憶部１４ｂは、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、予め不連続動作推定情報として記憶している。このように、本実施形態において、不連続動作推定情報記憶部１４ｂは、歩行者行動予測装置１により事前に取得され蓄積されたデータを記憶する知識ベースのデータベースとして構成される。

なお、歩行者行動予測装置１は、オンライン学習により不連続動作推定情報記憶部１４ｂに記憶されるデータを更新してもよい。例えば、歩行者行動予測装置１は、歩行者の動作の変化が検出された時点から所定時間分の画像データを連続的に記憶し、当該画像データ群を解析して、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を予測することで、データを更新してもよい。

制御部１２は、歩行者検出部１２ａ、動作変化検出部１２ｂ、不連続動作推定部１２ｇ、連続動作推定部１２ｈ、および、行動予測部１２ｉを備えている。ここで、動作変化検出部１２ｂは、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、変化検出部１２ｆを更に備えている。

歩行者検出部１２ａは、撮像画像から歩行者を検出する歩行者検出手段である。歩行者検出部１２ａは、予め記憶部１４に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより歩行者を検出する。ここで、歩行者検出部１２ａは、撮像画像から歩行者を含む部分画像を抽出する。また、歩行者検出部１２ａは、撮像画像上の歩行者の位置を取得する。歩行者の位置は、自車両に対する３次元の相対座標または絶対座標であることが好ましい。

動作変化検出部１２ｂは、歩行者検出部１２ａにより抽出した部分画像から取得される歩行者の形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する動作変化検出手段である。ここで、動作変化検出部１２ｂは、歩行者検出部１２ａにより抽出した部分画像から取得される歩行者の形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される形状情報を正規化し、正規化した形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出してもよい。動作変化検出部１２ｂは、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、変化検出部１２ｆの処理により、歩行者の動作の変化を検出する。

形状情報取得部１２ｃは、歩行者検出部１２ａにより抽出した部分画像から歩行者の形状情報を取得する形状情報取得手段である。具体的には、形状情報取得部１２ｃは、所定の特徴量を用いて、歩行者検出部１２ａにより抽出した部分画像から歩行者の形状情報を表す特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量であり、上述の第１特徴量、第２特徴量、および、第３特徴量の少なくとも１つを含む。

正規化部１２ｄは、形状情報取得部１２ｃにより取得した形状情報を正規化する正規化手段である。具体的には、正規化部１２ｄは、形状情報取得部１２ｃにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。

形状情報蓄積部１２ｅは、正規化部１２ｄにより正規化した形状情報を蓄積する形状情報蓄積手段である。具体的には、形状情報蓄積部１２ｅは、正規化部１２ｄにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部１２ｅは、正規化した形状情報（すなわち、確率分布）を形状情報記憶部１４ａに格納する。なお、本実施形態において、形状情報蓄積部１２ｅは、形状情報取得部１２ｃにより取得した正規化前の特徴量分布を蓄積してもよい。

変化検出部１２ｆは、形状情報蓄積部１２ｅにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部１４ａに記憶された正規化済みの形状情報、を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する変化検出手段である。具体的には、変化検出部１２ｆは、所定の尺度を用いて、形状情報蓄積部１２ｅにより形状情報記憶部１４ａに蓄積した、所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、歩行者の動作の変化を検出する。所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Ｌｐｎｏｒｍ、例えば、Ｌ１ｎｏｒｍ（マンハッタン距離）、Ｌ２ｎｏｒｍ（ユークリッド距離）、Ｌｉｎｆｉｎｉｔｙｎｏｒｍ（一様ノルム）等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルｐ（ｔ）から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒｄｉｖｅｒｇｅｎｃｅ）（以下、ＫＬ情報量と呼ぶ）を含む。ここで、ＫＬ情報量とは、２つの確率分布Ｐ，Ｑ間の差異を計る尺度であり、情報理論分野において周知である。

なお、本実施形態において、変化検出部１２ｆは、形状情報蓄積部１２ｅにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部１４ａに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、計算された差が所定の閾値より大きい場合に、歩行者の動作の変化を検出してもよい。

不連続動作推定部１２ｇは、動作変化検出部１２ｂにより歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を不連続動作推定情報記憶部１４ｂから取得する不連続動作推定手段である。具体的には、不連続動作推定部１２ｇは、動作変化検出部１２ｂにより歩行者の動作の変化を検出した場合、歩行者の動作の変化が検出された時点の画像データに対応する、予め不連続動作推定情報記憶部１４ｂに記憶された画像データを、パターンマッチング等により検索する。そして、不連続動作推定部１２ｇは、当該検索された画像データに予め対応付けられた不連続動作推定情報を、不連続動作推定情報記憶部１４ｂから取得する。ここで、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。

また、不連続動作推定部１２ｇは、動作変化検出部１２ｂにより歩行者の動作の変化を検出した場合、撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて不連続動作推定情報を取得してもよい。具体的には、不連続動作推定部１２ｇは、時間的に連続する撮像画像から、歩行者を含む部分画像と歩行者の周囲の背景画像との相関に基づいて、撮影画像上の歩行者がどの方向へ移動しているかを示すベクトル（すなわち、オプティカルフロー）を算出する。そして、不連続動作推定部１２ｇは、算出したオプティカルフローを用いて、歩行者の移動方向および移動速度を示す不連続動作推定情報を取得する。

連続動作推定部１２ｈは、歩行者検出部１２ａにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段である。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。連続動作推定部１２ｈは、線形予測により、連続的な動作（例えば、歩行者が連続的に移動する動作、歩行者が動いている状態から停止する動作、および、歩行者が減速する動作等）を示す連続動作推定情報を生成する。

行動予測部１２ｉは、不連続動作推定部１２ｇにより取得した不連続動作推定情報を用いて歩行者の行動を予測する行動予測手段である。例えば、歩行者が車道の左側の歩道に沿って移動している場合、行動予測部１２ｉは、不連続動作推定部１２ｇにより取得した、歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。この場合、行動予測部１２ｉは、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、歩行者の行動として予測する。また、行動予測部１２ｉは、不連続動作推定部１２ｇにより取得した、歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。この場合、行動予測部１２ｉは、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、歩行者の行動として予測する。ここで、行動予測部１２ｉは、連続動作推定部１２ｈにより生成した連続動作推定情報に基づいて、歩行者の行動を予測してもよい。例えば、歩行者が歩道から車道に向かって一定速度で直線的に移動している場合、行動予測部１２ｉは、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作を歩行者の行動として予測する。また、行動予測部１２ｉは、連続動作推定情報または不連続動作推定情報に基づいて、例えば、利用者がいつどこにいるかを示す進路等を歩行者の行動として予測してもよい。

続いて、図２〜図５を参照して、上述した歩行者行動予測装置１において実行される歩行者行動予測処理について説明する。以下、本発明における歩行者行動予測装置１において実行される歩行者行動予測処理について、実施形態１および実施形態２の順に説明する。なお、以下の歩行者行動予測処理において、歩行者の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、確率分布Ｐ，Ｑ間の差異を計る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。

〔実施形態１〕
実施形態１にかかる歩行者行動予測処理について図２〜図４を参照して説明する。図２は、実施形態１にかかる歩行者行動予測処理の一例を示すフローチャートである。図３は、実施形態１にかかる動作変化検出処理の一例を示すフローチャートである。図４は、実施形態１にかかる動作変化検出用グラフの一例を示す図である。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。

図２に示すように、まず、歩行者行動予測装置１の制御部１２は、カメラ２から自車両周辺が写し出されている撮像画像を取得する（ステップＳＡ１）。

つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＡ１で取得した撮像画像から歩行者を検出する（ステップＳＡ２）。例えば、歩行者検出部１２ａは、予め記憶部１４に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。

つぎに、歩行者行動予測装置１の制御部１２は、ステップＳＡ２で歩行者を検出したか否かを判定する（ステップＳＡ３）。制御部１２は、ステップＳＡ３で歩行者を検出したと判定した場合（ステップＳＡ３：Ｙｅｓ）、次のステップＳＡ４およびステップＳＡ７の処理へ進む。つまり、制御部１２は、ステップＳＡ３で歩行者を検出したと判定した場合は、ステップＳＡ４〜ＳＡ６に示す処理とステップＳＡ７〜ＳＡ１１に示す処理を並行して実行する。一方、制御部１２は、ステップＳＡ３で歩行者を検出していないと判定した場合（ステップＳＡ３：Ｎｏ）、そのまま歩行者行動予測処理を終了する。

つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＡ３で歩行者を検出したと判定した場合（ステップＳＡ３：Ｙｅｓ）、撮像画像上の歩行者の位置を取得する（ステップＳＡ４）。ここで、歩行者検出部１２ａは、歩行者の位置として、自車両に対する３次元の相対座標または絶対座標を取得する。

つぎに、歩行者行動予測装置１の連続動作推定部１２ｈは、ステップＳＡ４で歩行者検出部１２ａにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する（ステップＳＡ５）。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。連続動作推定部１２ｈは、線形予測により、連続的な動作（例えば、歩行者が連続的に移動する動作、歩行者が動いている状態から停止する動作、および、歩行者が減速する動作等）を示す連続動作推定情報を生成する。

つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＡ５で連続動作推定部１２ｈにより生成した連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＡ６）。例えば、歩行者が歩道から車道に向かって一定速度で直線的に移動している場合、行動予測部１２ｉは、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作を歩行者の行動として予測する。その後、歩行者行動予測処理を終了する。

ここで、ステップＳＡ３に戻り、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＡ３で歩行者を検出したと判定した場合（ステップＳＡ３：Ｙｅｓ）、撮像画像から歩行者を含む部分画像を抽出する（ステップＳＡ７）。

つぎに、歩行者行動予測装置１の動作変化検出部１２ｂは、ステップＳＡ７で歩行者検出部１２ａにより抽出した部分画像から取得される歩行者の形状情報を正規化し、正規化した形状情報を蓄積し、蓄積した形状情報を用いて所定時間前の形状情報と現在の形状情報とを比較することで、歩行者の動作の変化を検出する（ステップＳＡ８）。ここで、歩行者の動作の変化とは、交通環境における歩行者の危険な動作の変化を意味し、歩行者の動作変化開始時における形状の変化、すなわち、画像の特徴量の変化を含む。歩行者の動作の変化としては、これに限定されないが、例えば、歩行者の急な方向転換動作、歩行者の腕または脚の急な振り上げ動作などを含む。

ここで、図３および図４を参照し、ステップＳＡ８で動作変化検出部１２ｂにより実行される動作変化検出処理の詳細について説明する。なお、動作変化検出部１２ｂは、以下に示すように、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、変化検出部１２ｆの処理により、歩行者の動作の変化を検出する。

図３に示すように、歩行者行動予測装置１の形状情報取得部１２ｃは、図２のステップＳＡ７で歩行者検出部１２ａにより抽出した部分画像から歩行者の形状情報を取得する（ステップＳＢ１）。具体的には、形状情報取得部１２ｃは、図２のステップＳＡ７で歩行者検出部１２ａにより抽出した部分画像から、歩行者の形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。ここで、ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物を含む撮像画像のどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。

つぎに、歩行者行動予測装置１の正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＢ１で取得した特徴量分布ｖ（ｔ）のＬ１ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＢ２）。

つぎに、歩行者行動予測装置１の形状情報蓄積部１２ｅは、ステップＳＢ２で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＢ３）。すなわち、形状情報蓄積部１２ｅは、ステップＳＢ２で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、歩行者行動予測装置１の変化検出部１２ｆは、下記の数式（２）に示すように、ステップＳＢ３で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＢ４）。制御部１２は、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。

つぎに、歩行者行動予測装置１の変化検出部１２ｆは、ステップＳＢ４で計算した差ｄ（ｔ，ｎ）が、図４に示すように、所定の閾値Ｔｈｒｅより大きいか否かを判定する（ステップＳＢ５）。図４の縦軸は、ＫＬ情報量を示し、横軸は、時間のフレームを示している。図４において、フレーム５４〜１７４までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１８０では歩行者が急に動きを変えた状態を表している。

歩行者行動予測装置１の変化検出部１２ｆは、ステップＳＢ５で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅより大きいと判定した場合（ステップＳＢ５：Ｙｅｓ）、歩行者の動作の変化があると判定する（ステップＳＢ６）。その後、動作変化検出処理を終了する。一方、変化検出部１２ｆは、ステップＳＢ５で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅ未満であると判定した場合（ステップＳＢ５：Ｎｏ）、歩行者の動作に変化がないと判定して、そのまま動作変化検出処理を終了する。つまり、歩行者行動予測装置１は、図３に示した動作変化検出処理を終了後、図２のステップＳＡ９の処理へ進む。

再び図２に戻り、実施形態１にかかる歩行者行動予測処理の説明を続ける。歩行者行動予測装置１の制御部１２は、ステップＳＡ８で歩行者の動作の変化を検出したか否かを判定する（ステップＳＡ９）。制御部１２は、ステップＳＡ９で歩行者の動作の変化を検出したと判定した場合（ステップＳＡ９：Ｙｅｓ）、次のステップＳＡ１０の処理へ進む。一方、制御部１２は、ステップＳＡ９で歩行者の動作の変化を検出していないと判定した場合（ステップＳＡ９：Ｎｏ）、歩行者行動予測処理を終了する。

つぎに、歩行者行動予測装置１の不連続動作推定部１２ｇは、ステップＳＡ８で歩行者の動作の変化を検出したと判定した場合（ステップＳＡ９：Ｙｅｓ）、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を不連続動作推定情報記憶部１４ｂから取得する（ステップＳＡ１０）。ここで、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。

具体的には、ステップＳＡ１０において、不連続動作推定部１２ｇは、ステップＳＡ９で歩行者の動作の変化を検出した場合、歩行者の動作の変化が検出された時点の画像データに対応する、予め不連続動作推定情報記憶部１４ｂに記憶された画像データを、パターンマッチング等により検索する。そして、不連続動作推定部１２ｇは、当該検索された画像データに予め対応付けられた不連続動作推定情報を、不連続動作推定情報記憶部１４ｂから取得する。

つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＡ１０で不連続動作推定部１２ｇにより取得した不連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＡ１１）。その後、歩行者行動予測処理を終了する。

例えば、歩行者が車道の左側の歩道に沿って移動している場合、行動予測部１２ｉは、ステップＳＡ１０で不連続動作推定部１２ｇにより取得した、歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。つまり、行動予測部１２ｉは、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、歩行者の行動として予測する。また、行動予測部１２ｉは、ステップＳＡ１０で不連続動作推定部１２ｇにより取得した、歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を用いて、歩行者の行動を予測する。つまり、行動予測部１２ｉは、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、歩行者の行動として予測する。また、行動予測部１２ｉは、連続動作推定情報または不連続動作推定情報に基づいて、例えば、利用者がいつどこにいるかを示す進路等を歩行者の行動として予測してもよい。その後、歩行者行動予測処理を終了する。

そして、歩行者行動予測装置１の制御部１２は、本歩行者行動予測処理を終了後、予測された歩行者の行動の予測結果に基づいて、車両の運転者に当該歩行者について注意喚起する画像情報および／または音声情報を、報知手段４を介して出力する。ここで、歩行者行動予測装置１の制御部１２は、予測された歩行者の行動の予測結果に基づいて、当該歩行者との衝突を回避するよう車両制御を実行してもよい。

以上、実施形態１によれば、従来技術よりも、車両周辺の歩行者の行動を迅速かつ正確に予測できる。例えば、特許文献１に記載の歩行者検出装置は、歩行者の移動を捉え、当該移動の延長として線形予測可能な歩行者の直線的な飛び出し動作（連続的な動作）を予測できるものの、急に方向転換して車道へ飛び出す動作（不連続的な動作）については予測できなかった。一方、実施形態１によれば、不連続的な動作についても予測できるので、従来技術より車両周辺の歩行者の行動を迅速かつ正確に予測できる。また、特許文献２に記載の歩行者飛び出し予測装置は、環境認識の十分な精度が確保できず、改善の余地があった。一方、実施形態１によれば、歩行者の動作に変化がない場合は線形予測により連続的な動作を予測し、歩行者の動作に変化がある場合は、撮影画像の形状変化から不連続的な動作を予測するので、種々の環境に応じた歩行者行動予測方法を適用することができ、その結果、従来技術よりも車両周辺の歩行者の行動を迅速かつ正確に予測できる。このように、実施形態１によれば、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。

更に、実施形態１にかかる歩行者行動予測装置１は、歩行者の動作の変化が検出された時点の画像データと、当該歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。これにより、実施形態１によれば、歩行者の動作の変化が検出された後の不連続的な動作が行われる方向についても考慮することができる。その結果、実施形態１によれば、歩行者の行動が危険な方向に向かって行われるものであるか、安全な方向に向かって行われるものであるかを区別して予測することができる。

例えば、実施形態１にかかる歩行者行動予測装置１は、歩行者の急な右方向転換動作が検出された時点の画像データと、当該歩行者の急な右方向転換動作があった後に歩行者が車道側へ進入する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。これにより、例えば、歩行者が車道の左側の歩道に沿って移動している場合、実施形態１によれば、不連続動作推定情報記憶部１４ｂに記憶された不連続動作推定情報に基づいて、歩行者が急に歩道から車道側へ飛び出すという危険な方向（この場合、右方向）への歩行者の動作を、歩行者の行動として予測することができる。

また、実施形態１にかかる歩行者行動予測装置１は、歩行者の急な左方向転換動作が検出された時点の画像データと、当該歩行者の急な左方向転換動作があった後に歩行者が建物側へ移動する動作を表す移動方向および移動速度を示すベクトルと、を対応付けて、不連続動作推定情報記憶部１４ｂに格納している。これにより、例えば、歩行者が車道の左側の歩道に沿って移動している場合、実施形態１によれば、不連続動作推定情報記憶部１４ｂに記憶された不連続動作推定情報に基づいて、歩行者が急に歩道から建物に入るという安全な方向（この場合、左方向）への歩行者の動作を、歩行者の行動として予測することができる。

このように、実施形態１によれば、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、より迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性をより一層低減することができる。

〔実施形態２〕
実施形態２にかかる歩行者行動予測処理について図５を参照して説明する。図５は、実施形態２にかかる歩行者行動予測処理の一例を示すフローチャートである。なお、本実施形態において、本歩行者行動予測処理は、運転者が車両を運転中に繰り返し実行されるものとする。

図５に示すように、まず、歩行者行動予測装置１の制御部１２は、カメラ２から自車両周辺が写し出されている撮像画像を取得する（ステップＳＣ１）。

つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＣ１で取得した撮像画像から歩行者を検出する（ステップＳＣ２）。

つぎに、歩行者行動予測装置１の制御部１２は、ステップＳＣ２で歩行者を検出したか否かを判定する（ステップＳＣ３）。制御部１２は、ステップＳＣ３で歩行者を検出したと判定した場合（ステップＳＣ３：Ｙｅｓ）、次のステップＳＣ４およびステップＳＣ７の処理へ進む。つまり、制御部１２は、ステップＳＣ３で歩行者を検出したと判定した場合は、ステップＳＣ４〜ＳＣ６に示す処理とステップＳＣ７〜ＳＣ１２に示す処理を並行して実行する。の処理へ進む。一方、制御部１２は、ステップＳＣ３で歩行者を検出していないと判定した場合（ステップＳＣ３：Ｎｏ）、そのまま歩行者行動予測処理を終了する。

つぎに、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＣ３で歩行者を検出したと判定した場合（ステップＳＣ３：Ｙｅｓ）、撮像画像上の歩行者の位置を取得する（ステップＳＣ４）。

つぎに、歩行者行動予測装置１の連続動作推定部１２ｈは、ステップＳＣ４で歩行者検出部１２ａにより取得した歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する（ステップＳＣ５）。ここで、連続的な動作としては、例えば、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。また、連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。

つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＣ５で連続動作推定部１２ｈにより生成した連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＣ６）。その後、歩行者行動予測処理を終了する。

ここで、ステップＳＣ３に戻り、歩行者行動予測装置１の歩行者検出部１２ａは、ステップＳＣ３で歩行者を検出したと判定した場合（ステップＳＣ３：Ｙｅｓ）、撮像画像から歩行者を含む部分画像を抽出する（ステップＳＣ７）。

つぎに、歩行者行動予測装置１の動作変化検出部１２ｂは、ステップＳＣ７で歩行者検出部１２ａにより抽出した部分画像に基づいて、歩行者の動作の変化を検出する（ステップＳＣ８）。なお、ステップＳＣ８で動作変化検出部１２ｂにより実行される動作変化検出処理の詳細については、上述の図３および図４と同様であるため説明を省略する。

つぎに、歩行者行動予測装置１の制御部１２は、ステップＳＣ８で歩行者の動作の変化を検出したか否かを判定する（ステップＳＣ９）。制御部１２は、ステップＳＣ９で歩行者の動作の変化を検出したと判定した場合（ステップＳＣ９：Ｙｅｓ）、次のステップＳＣ１０の処理へ進む。一方、制御部１２は、ステップＳＣ９で歩行者の動作の変化を検出していないと判定した場合（ステップＳＣ９：Ｎｏ）、歩行者行動予測処理を終了する。

つぎに、歩行者行動予測装置１の不連続動作推定部１２ｇは、ステップＳＣ８で歩行者の動作の変化を検出したと判定した場合（ステップＳＣ９：Ｙｅｓ）、撮像画像のオプティカルフローを算出する（ステップＳＣ１０）。具体的には、不連続動作推定部１２ｇは、時間的に連続する撮像画像から、歩行者を含む部分画像と歩行者の周囲の背景画像との相関に基づいて、撮影画像上の歩行者がどの方向へ移動しているかを示すベクトル（すなわち、オプティカルフロー）を算出する。

つぎに、歩行者行動予測装置１の不連続動作推定部１２ｇは、ステップＳＣ１０で算出したオプティカルフローを用いて、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す不連続動作推定情報を取得する（ステップＳＣ１１）。ここで、不連続的な動作としては、例えば、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。また、不連続動作推定情報は、歩行者の移動方向および移動速度のうち少なくとも１つを含む。

つぎに、歩行者行動予測装置１の行動予測部１２ｉは、ステップＳＣ１１で不連続動作推定部１２ｇにより取得した不連続動作推定情報を用いて歩行者の行動を予測する（ステップＳＣ１２）。その後、歩行者行動予測処理を終了する。

以上、実施形態２によれば、撮影画像から算出したオプティカルフローを用いて、歩行者の動作の変化があった後に歩行者がとった不連続的な動作を表す移動方向および移動速度を示すベクトル（すなわち、不連続動作推定情報）を取得することができる。これにより、実施形態２によれば、予め記憶手段に不連続動作推定情報を記憶していなくとも、上述の実施形態１と同様に、歩行者の動作の変化が検出された後の不連続的な動作の方向についても考慮することができる。その結果、実施形態２によれば、歩行者の行動が危険な方向に向かって行われるものであるか、安全な方向に向かって行われるものであるかを区別して予測することができる。このように、実施形態２によれば、上述の実施形態１と同様に、運転者が車両を運転中に車両周辺の歩行者の危険な動作が生じた場合、より迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性をより一層低減することができる。

１歩行者行動予測装置
１２制御部
１２ａ歩行者検出部
１２ｂ動作変化検出部
１２ｃ形状情報取得部
１２ｄ正規化部
１２ｅ形状情報蓄積部
１２ｆ変化検出部
１２ｇ不連続動作推定部
１２ｈ連続動作推定部
１２ｉ行動予測部
１４記憶部
１４ａ形状情報記憶部
１４ｂ不連続動作推定情報記憶部
２カメラ
４報知手段

Claims

撮像画像から歩行者を検出して当該歩行者を含む部分画像を抽出する歩行者検出手段と、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出手段と、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す情報として画像データに対応させて予め格納されている不連続動作推定情報を前記撮像画像を用いた検索により記憶手段から取得する不連続動作推定手段と、
前記不連続動作推定手段により取得した前記不連続動作推定情報を用いて前記歩行者の行動を予測する行動予測手段と、
を備えることを特徴とする歩行者行動予測装置。
前記動作変化検出手段は、
前記歩行者検出手段により抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項１に記載の歩行者行動予測装置。
前記不連続動作推定手段は、
前記動作変化検出手段により前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項１または２に記載の歩行者行動予測装置。
前記歩行者検出手段は、
前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測装置は、
前記歩行者検出手段により取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段、
を更に備え、
前記行動予測手段は、
前記連続動作推定手段により生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項１から３のいずれか一項に記載の歩行者行動予測装置。
前記不連続動作推定情報および前記連続動作推定情報は、
前記歩行者の移動方向および移動速度のうち少なくとも１つを含むことを特徴とする請求項１から４のいずれか一項に記載の歩行者行動予測装置。
前記動作変化検出手段は、
所定の特徴量を用いて、前記歩行者検出手段により抽出した前記部分画像から前記歩行者の前記特徴量分布を取得する形状情報取得手段と、
前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、
所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記歩行者の動作の変化を検出する変化検出手段と、
を更に備えることを特徴とする請求項１から５のいずれか一項に記載の歩行者行動予測装置。
予め記憶された歩行者の形状の概要を示すデータを用いて撮像画像から歩行者を検出する歩行者検出手段と、形状情報取得部、正規化部、形状情報蓄積部、および、変化検出部の処理により、歩行者の動作の変化を検出する動作変化検出手段と、記憶手段に予め記憶された画像データを検索する不連続動作推定手段と、前記不連続動作推定部により取得した不連続動作推定情報を用いて歩行者の行動を予測する行動予測手段と、を備える歩行者行動予測装置における歩行者行動予測方法であって、
前記撮像画像から歩行者を検出して当該歩行者を含む部分画像を前記歩行者検出手段が抽出する歩行者検出ステップと、
前記動作変化検出手段が前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出する動作変化検出ステップと、
前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記不連続動作推定手段が当該歩行者の動作の変化に続いて生じる当該歩行者の不連続的な動作を示す情報として画像データに対応させて予め格納されている不連続動作推定情報を前記撮像画像を用いた検索により前記記憶手段から取得する不連続動作推定ステップと、
前記不連続動作推定ステップにて取得した前記不連続動作推定情報を用いて前記歩行者の行動を前記行動予測手段が予測する行動予測ステップと、
を含むことを特徴とする歩行者行動予測方法。
前記動作変化検出ステップにおいて、
前記歩行者検出手段が前記歩行者検出ステップにて抽出した前記部分画像から取得される前記歩行者の前記形状情報を表す特徴量分布を取得し、取得した特徴量分布で表される前記形状情報を正規化し、正規化した前記形状情報を蓄積し、蓄積した前記形状情報を用いて所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記歩行者の動作の変化を検出することを特徴とする請求項７に記載の歩行者行動予測方法。
前記不連続動作推定ステップにおいて、
前記不連続動作推定手段が前記動作変化検出ステップにて前記歩行者の動作の変化を検出した場合、前記撮像画像のオプティカルフローを算出し、当該オプティカルフローを用いて前記不連続動作推定情報を取得することを特徴とする請求項７または８に記載の歩行者行動予測方法。
前記歩行者行動予測装置は、歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定手段をさらに備え、
前記歩行者検出ステップにおいて、
前記歩行者検出手段が前記撮像画像上の前記歩行者の位置を取得し、
前記歩行者行動予測方法は、
前記歩行者検出ステップにて取得した前記歩行者の位置の履歴に基づいて、当該歩行者の位置の移動に続いて生じる当該歩行者の連続的な動作を示す連続動作推定情報を生成する連続動作推定ステップ、
を更に含み、
前記行動予測ステップにおいて、
前記行動予測手段が前記連続動作推定ステップにて生成した前記連続動作推定情報に基づいて、前記歩行者の行動を予測することを特徴とする請求項７から９のいずれか一項に記載の歩行者行動予測方法。