JP5686119B2 - 対象物変化検出装置および対象物変化検出方法 - Google Patents

Description

本発明は、対象物変化検出装置および対象物変化検出方法に関する。

従来、車両周辺の対象物を検出する技術が開発されている。例えば、特許文献１には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンとを比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。

特開２０１０−１０２４３７号公報

しかしながら、従来技術においては、車両周辺の対象物の変化を迅速かつ正確に検出できないという問題点があった。例えば、特許文献１に記載の歩行者飛び出し予測装置では、歩行者の位置変化および速度変化のみを見ているため、位置および速度の変化が確認できるまで歩行者の飛び出しを予測できず、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があった。

本発明は、上記の事情に鑑みてなされたものであって、車両周辺の対象物の変化を迅速かつ正確に検出できる対象物変化検出装置および対象物変化検出方法を提供することを目的とする。

本発明の対象物変化検出装置は、画像から対象物を検出する対象物検出手段と、前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報に基づいて、所定時間内における前記形状情報の時間変化を示す前記対象物の形状変化情報を取得する形状変化情報取得手段と、前記形状変化情報取得手段により取得した前記形状変化情報の周波数および当該周波数の強度を解析する周波数解析手段と、前記周波数解析手段により解析した前記周波数の強度に基づいて、前記周波数解析手段により解析した前記周波数、または、記憶部に予め記憶された初期値を、前記対象物の変化検出に用いる周期パラメータとして選択する周期パラメータ選択手段と、前記形状変化情報取得手段により取得した前記形状変化情報、および、前記周期パラメータ選択手段により選択した前記周期パラメータを用いて、前記対象物の変化を検出する対象物変化検出手段と、を備えることを特徴とする。

上記記載の対象物変化検出装置において、前記対象物変化検出手段は、前記周期パラメータ選択手段により選択した前記周期パラメータに基づいて、前記形状変化情報取得手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段と、前記形状変化平均化手段により取得した平均化形状変化情報を用いて類似度を計算し、当該類似度が予め設定された前記対象物の変化検出に用いる変化検出用閾値より小さい場合に、前記対象物の変化を検出する変化検出部と、を更に備えることが好ましい。

上記記載の対象物変化検出装置において、前記周期パラメータ選択手段は、前記周波数解析手段により解析した前記周波数の強度が所定強度より大きい場合は、前記周波数解析手段により解析した前記周波数を前記周期パラメータとして選択し、前記周波数の強度が前記所定強度以下である場合は、前記記憶部に予め記憶された前記初期値を前記周期パラメータとして選択することが好ましい。

上記記載の対象物変化検出装置において、前記周波数解析手段は、高速フーリエ変換を用いて前記形状変化情報取得手段により取得した前記形状変化情報の周波数および当該周波数の強度を解析することが好ましい。

上記記載の対象物変化検出装置において、前記形状情報取得手段は、所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す前記特徴量分布を取得することが好ましい。

上記記載の対象物変化検出装置において、前記形状変化情報取得手段は、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算して、前記対象物の前記形状変化情報として取得する情報取得手段と、を更に備えることが好ましい。

本発明の対象物変化検出方法は、画像から対象物を検出する対象物検出ステップと、前記対象物検出ステップで検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得ステップと、前記形状情報取得ステップで取得した前記特徴量分布により表される前記形状情報に基づいて、所定時間内における前記形状情報の時間変化を示す前記対象物の形状変化情報を取得する形状変化情報取得ステップと、前記形状変化情報取得ステップで取得した前記形状変化情報の周波数および当該周波数の強度を解析する周波数解析ステップと、前記周波数解析ステップで解析した前記周波数の強度に基づいて、前記周波数解析ステップで解析した前記周波数、または、記憶部に予め記憶された初期値を、前記対象物の変化検出に用いる周期パラメータとして選択する周期パラメータ選択ステップと、前記形状変化情報取得ステップで取得した前記形状変化情報、および、前記周期パラメータ選択手段により選択した前記周期パラメータを用いて、前記対象物の変化を検出する対象物変化検出ステップと、を含むことを特徴とする。

本発明は、車両周辺の対象物の変化を迅速かつ正確に検出できるという効果を奏する。

図１は、本実施形態にかかる対象物変化検出装置の構成の一例を示すブロック図である。 図２は、本実施形態にかかる対象物変化検出装置の基本処理の一例を示すフローチャートである。 図３は、本実施形態にかかる形状変化情報取得処理の詳細の一例を示すフローチャートである。 図４Ａは、ｎ＝５に対するＫＬ情報量の一例を示すグラフである。 図４Ｂは、図４Ａのグラフに対して高速フーリエ変換を実施した結果を示すグラフである。 図５Ａは、ｎ＝５に対するＫＬ情報量の別の一例を示すグラフである。 図５Ｂは、図５Ａのグラフに対して高速フーリエ変換を実施した結果を示すグラフである。 図６は、本実施形態にかかる対象物変化検出処理の詳細の一例を示すフローチャートである。 図７は、本実施形態にかかる変化検出用グラフの一例を示す図である。

以下に、本実施形態にかかる対象物変化検出装置および対象物変化検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。

本実施形態にかかる対象物変化検出装置の構成について図１を参照しながら説明する。図１は、本実施形態にかかる対象物変化検出装置の構成の一例を示すブロック図である。

図１に示すように、対象物変化検出装置１は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が映し出されている画像データを生成する機器である。カメラ２は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等である。カメラ２は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。

対象物変化検出装置１は、制御部１２および記憶部１４を備えている。制御部１２は、対象物変化検出装置１を統括的に制御するものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはハードディスクなどである。

記憶部１４は、形状情報記憶部１４ａ、初期値周期パラメータ記憶部１４ｂ、形状変化情報記憶部１４ｃ、および、平均化形状変化情報記憶部１４ｄを備えている。

形状情報記憶部１４ａは、画像データから抽出された対象物の形状情報を記憶する形状情報記憶手段である。形状情報は、対象物の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、画像データの輝度自体を使用する第１特徴量、画像データのエッジを使用する第２特徴量、および、画像データの色を使用する第３特徴量のうち少なくとも１つを含む。第１特徴量は、例えば、輝度、輝度のＰＣＡ、Ｈｕ ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含む。第２特徴量は、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含む。第３特徴量は、例えば、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含む。

初期値周期パラメータ記憶部１４ｂは、後述する対象物変化検出部１２ｉにより対象物の変化検出に用いる周期パラメータの初期値を記憶する初期値周期パラメータ記憶手段である。本実施形態において、周期パラメータは、対象物の変化検出処理の際に使用される数式のパラメータである。周期パラメータの初期値は、例えば、予め複数の対象物から取得された形状変化情報に基づく波形が示す周波数の平均値である。なお、対象物の変化検出の詳細については、後述する。ここで、対象物とは、自車両周辺に存在する、歩行者、自転車、バイク、車両等の移動物体の少なくとも１つを含む。また、対象物は、車両のドア等の対象物の一部であってもよい。

形状変化情報記憶部１４ｃは、所定時間内における形状情報の時間変化を示す形状変化情報を記憶する形状変化情報記憶手段である。平均化形状変化情報記憶部１４ｄは、形状変化情報の平均を示す平均化形状変化情報を記憶する平均化形状変化情報記憶手段である。この他、記憶部１４は、対象物を含む画像データの画像領域の一部に対応する処理対象領域を記憶する処理対象領域記憶手段を有していてもよい。

制御部１２は、対象物検出部１２ａ、形状情報取得部１２ｂ、形状変化情報取得部１２ｃ、周波数解析部１２ｇ、周期パラメータ選択部１２ｈ、および、対象物変化検出部１２ｉを備えている。ここで、形状変化情報取得部１２ｃは、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、情報取得部１２ｆを更に備えている。また、対象物変化検出部１２ｉは、形状変化情報蓄積部１２ｊ、形状変化平均化部１２ｋ、および、変化検出部１２ｍを更に備えている。

対象物検出部１２ａは、画像から対象物を検出する対象物検出手段である。対象物検出部１２ａは、予め記憶部１４に記憶された対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。

形状情報取得部１２ｂは、対象物検出部１２ａにより検出した対象物の形状情報を表す特徴量分布を取得する形状情報取得手段である。具体的には、形状情報取得部１２ｂは、所定の特徴量を用いて、対象物検出部１２ａにより検出した対象物の特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量であり、上述の第１特徴量、第２特徴量、および、第３特徴量の少なくとも１つを含む。

形状変化情報取得部１２ｃは形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報に基づいて、所定時間内における形状情報の時間変化を示す対象物の形状変化情報を取得する形状変化情報取得手段である。

ここで、形状変化情報取得部１２ｃが実行する形状変化情報取得処理は、形状変化情報取得部１２ｃが備える正規化部１２ｄ、形状情報蓄積部１２ｅ、および、情報取得部１２ｆが実行する各処理を含む。本実施形態において、形状変化情報取得部１２ｃは、形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報を正規化して、当該特徴量分布に対応する確率分布を取得し、正規化した確率分布を蓄積し、蓄積した確率分布を用いて、所定時間前の確率分布と現在の確率分布との差を、対象物の形状変化情報として取得する。以下、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、情報取得部１２ｆについて説明する。

正規化部１２ｄは、形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報を正規化する正規化手段である。具体的には、正規化部１２ｄは、形状情報取得部１２ｂにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。

形状情報蓄積部１２ｅは、形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報を蓄積する形状情報蓄積手段である。ここで、形状情報蓄積部１２ｅは、正規化部１２ｄにより正規化した形状情報を蓄積する。具体的には、形状情報蓄積部１２ｅは、正規化部１２ｄにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部１２ｅは、正規化した形状情報（確率分布）を形状情報記憶部１４ａに格納する。なお、本実施形態において、形状情報蓄積部１２ｅは、形状情報取得部１２ｂにより取得した正規化前の特徴量分布を蓄積してもよい。

情報取得部１２ｆは、形状情報蓄積部１２ｅにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部１４ａに記憶された確率分布、に基づいて、所定の尺度を用いて、所定時間前の確率分布と現在の確率分布との差を計算して、対象物の形状変化情報として取得する形状変化情報取得手段である。ここで、所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Ｌｐ ｎｏｒｍ、例えば、Ｌ１ ｎｏｒｍ（マンハッタン距離）、Ｌ２ ｎｏｒｍ（ユークリッド距離）、Ｌ ｉｎｆｉｎｉｔｙ ｎｏｒｍ（一様ノルム）等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルｐ（ｔ）から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）（以下、ＫＬ情報量と呼ぶ）を含む。ここで、ＫＬ情報量とは、２つの確率分布Ｐ，Ｑ間の差異を計る尺度であり、情報理論分野において周知である。

なお、本実施形態において、形状変化情報取得部１２ｃは、形状情報蓄積部１２ｅにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部１４ａに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、対象物の形状変化情報として取得する。

周波数解析部１２ｇは、形状変化情報取得部１２ｃにより取得した形状変化情報の周波数および当該周波数の強度を解析する周波数解析手段である。本実施形態において、周波数解析部１２ｇは、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ（ＦＦＴ））を用いて形状変化情報取得部１２ｃにより取得した形状変化情報の周波数および当該周波数の強度を解析することが好ましい。本実施形態において、周波数解析法は、高速フーリエ変換に限定されず、対象物の形状変化情報の特徴を解析可能な当該技術分野において周知の分析手法を適宜使用することができる。

周期パラメータ選択部１２ｈは、周波数解析部１２ｇにより解析した周波数の強度に基づいて、周波数解析部１２ｇにより解析した周波数、または、初期値周期パラメータ記憶部１４ｂに予め記憶された初期値を、対象物の変化検出に用いる周期パラメータとして選択する周期パラメータ選択手段である。ここで、周期パラメータ選択部１２ｈは、周波数解析部１２ｇにより解析した周波数の強度が所定強度より大きい場合は、周波数解析部１２ｇにより解析した周波数を周期パラメータとして選択し、周波数の強度が所定強度以下である場合は、初期値周期パラメータ記憶部１４ｂに予め記憶された初期値を周期パラメータとして選択する。ここで、所定強度は、形状変化情報の周波数の強度の大小に基づいて対象物の動きが特徴的な変化であるか否かを判定可能な強度に設定される。つまり、周期パラメータ選択部１２ｈは、解析した周波数の強度が所定強度より大きい場合は、対象物が特徴的な動きをしていると判断して、解析した周波数を周期パラメータとして選択する。一方、周期パラメータ選択部１２ｈは、解析した周波数の強度が所定強度以下である場合は、対象物の動きが特徴的な変化ではなく、一般的な変化であると判断して、初期値周期パラメータ記憶部１４ｂに予め記憶された初期値を周期パラメータとして選択する。

対象物変化検出部１２ｉは、形状変化情報取得部１２ｃにより取得した形状変化情報、および、周期パラメータ選択部１２ｈにより選択した周期パラメータを用いて、対象物の変化を検出する対象物変化検出手段である。

ここで、対象物変化検出部１２ｉが実行する対象物変化検出処理は、形状変化情報蓄積部１２ｊ、形状変化平均化部１２ｋ、および、変化検出部１２ｍが実行する各処理を含む。以下、形状変化情報蓄積部１２ｊ、形状変化平均化部１２ｋ、および、変化検出部１２ｍについて説明する。

形状変化情報蓄積部１２ｊは、周期パラメータ選択部１２ｈにより選択した周期パラメータに基づいて、形状変化情報取得部１２ｃにより取得した形状変化情報を蓄積する形状変化情報蓄積手段である。すなわち、形状変化情報蓄積部１２ｊは、周期パラメータ選択部１２ｈにより選択した周期パラメータが示すフレーム分取得した形状変化情報を形状変化情報記憶部１４ｃに格納する。

形状変化平均化部１２ｋは、形状変化情報蓄積部１２ｊにより蓄積した複数の形状変化情報、すなわち、形状変化情報記憶部１４ｃに記憶された形状変化情報、を平均化して、平均化形状変化情報を取得する形状変化平均化手段である。また、形状変化平均化部１２ｋは、取得した平均化形状変化情報を平均化形状変化情報記憶部１４ｄに格納する。

変化検出部１２ｍは、形状変化平均化部１２ｋにより取得した平均化形状変化情報、または、平均化形状変化情報記憶部１４ｄに記憶された平均化形状変化情報を用いて類似度を計算し、当該類似度が予め設定された対象物の変化検出に用いる変化検出用閾値より小さい場合に、対象物の変化を検出する変化検出手段である。類似度は、これに限定されないが、コサイン類似度等を含む。

対象物の変化とは、交通環境における対象物の危険な変化を意味し、対象物の運動変化開始時における形状の変化を含む。対象物の変化としては、これに限定されないが、例えば、歩行者や自転車が急に動きを変えて道路に出てくるという変化、併走車車両やバイクが急に車線変更して自車線に割り込んでくるという変化、前方車両が急にＵターンを開始するという変化、前方車両が道路脇の店等に入るために急に右左折を開始するという変化、および、駐車車両のドアが急に開くという変化などを含む。

この他、制御部１２は、対象物検出部１２ａにより検出した対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段を有していてもよい。処理対象領域は、対象物変化検出部１２ｉによる対象物の変化検出処理に有効な所定領域である。例えば対象物が歩行者の場合、処理対象領域は、歩行者の全体のみまたは下半身のみを含む領域等を含む。処理対象領域抽出手段は、抽出した処理対象領域を記憶部１４に格納してもよい。この場合、形状情報取得部１２ｂは、処理対象領域抽出手段により抽出した処理対象領域、または、記憶部１４に記憶された処理対象領域から対象物の特徴量分布を取得してもよい。

続いて、図２〜図７を参照して、上述した対象物変化検出装置１において実行される処理について説明する。なお、以下の処理において、車両周辺に存在する対象物として、歩行者を一例に説明するが、これに限定されない。また、対象物の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、確率分布Ｐ，Ｑ間の差異を計る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。

本実施形態にかかる対象物変化検出装置１の基本処理について図２を参照しながら説明する。図２は、本実施形態にかかる対象物変化検出装置１の基本処理の一例を示すフローチャートである。

図２に示すように、制御部１２は、カメラ２から自車両周辺が映し出されている画像データを取得する（ステップＳ１０）。

対象物検出部１２ａは、ステップＳ１０で取得した画像データから対象物として歩行者を検出する（ステップＳ２０）。例えば、対象物検出部１２ａは、予め記憶部１４に記憶された歩行者等の対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。

形状情報取得部１２ｂは、ステップＳ２０で検出した対象物の形状情報を表す特徴量分布を取得する（ステップＳ３０）。具体的には、形状情報取得部１２ｂは、ステップＳ２０で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。ここで、ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物を含む画像データのどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。

形状変化情報取得部１２ｃは、ステップＳ３０で取得した特徴量分布により表される形状情報に基づいて、所定時間内における形状情報の時間変化を示す形状変化情報を取得する（ステップＳ４０）。

ここで、ステップＳ４０において形状変化情報取得部１２ｃの処理により実行される形状変化情報取得処理の詳細について、図３を参照しながら説明する。図３は、本実施形態にかかる形状変化情報取得処理の詳細の一例を示すフローチャートである。

図３に示すように、形状変化情報取得部１２ｃの正規化部１２ｄは、下記の数式（１）に示すように、図２のステップＳ３０で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳ４１）。

形状変化情報取得部１２ｃの形状情報蓄積部１２ｅは、ステップＳ４１で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳ４２）。すなわち、形状情報蓄積部１２ｅは、ステップＳ４１で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

形状変化情報取得部１２ｃの情報取得部１２ｆは、下記の数式（２）に示すように、ステップＳ４２で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態おいて、形状変化情報）の計算を行う（ステップＳ４３）。情報取得部１２ｆは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、情報取得部１２ｆは、ステップＳ４２で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。

再び図２に戻り、ステップＳ５０の処理から説明を続ける。周波数解析部１２ｇは、高速フーリエ変換を用いて、ステップＳ４０で取得した形状変化情報（すなわち、「ｄ（ｔ，ｎ）」）の周波数（すなわち、形状変化周期「ｌｔ」）および当該周波数の強度（すなわち、その形状変化周期の強度「Ｓ」）を解析する（ステップＳ５０）。つまり、周波数解析部１２ｇは、対象物が歩行者の場合、所定時間内における歩行者の形状情報の時間変化を示す形状変化情報（ｄ（ｔ））に対して、高速フーリエ変換を実施して歩行者の歩行周期を解析する。具体的には、周波数解析部１２ｇは、高速フーリエ変換により得られる歩行者ごとに異なる歩行周期を表す波形から、周波数「ｌｔ」および当該周波数の強度「Ｓ」を解析する。

ここで、図４Ａ〜図５Ｂを参照して、高速フーリエ変換により解析された個人ごとに異なる歩行周期を示す波形データの一例について説明する。図４Ａは、ｎ＝５に対するＫＬ情報量の一例を示すグラフである。図４Ｂは、図４Ａのグラフに対して高速フーリエ変換を実施した結果を示すグラフである。図５Ａは、ｎ＝５に対するＫＬ情報量の別の一例を示すグラフである。図５Ｂは、図５Ａのグラフに対して高速フーリエ変換を実施した結果を示すグラフである。図４Ａおよび図５Ａの縦軸は、ＫＬ情報量を示し、横軸は、時間のフレームを示している。図４Ｂおよび図５Ｂの縦軸は、周波数の強度を示し、横軸は、周波数を示している。なお、図４Ａ〜Ｂのグラフと図５Ａ〜Ｂのグラフとは、それぞれ異なる歩行者から得られたデータを示している。

図４Ａおよび図５ＡのＫＬ情報量は、異なる歩行者から得られたグラフであるため両者の波形パターンに差異が見られるものの、波形パターンの特徴の違いが明確ではない。そこで、本実施形態では、図４Ａに基づく図４Ｂに示すような高速フーリエ変換後の結果、および、図５Ａに基づく図５Ｂに示すような高速フーリエ変換後の結果を得ることで、両者の波形パターンの特徴を明確化した上で、歩行者ごとに異なる歩行周期を表す波形から周波数「ｌｔ」と当該周波数の強度「Ｓ」を解析している。例えば、図４Ｂの高速フーリエ変換後の結果から周波数解析部１２ｇの処理により得られる周波数「ｌｔ」は、約３．７５となり、周波数の強度「Ｓ」は、約０．０４となる。一方、図５Ｂの高速フーリエ変換後の結果から周波数解析部１２ｇの処理により得られる「ｌｔ」は、約２．８となり、周波数の強度「Ｓ」は、約０．０５となる。

再び図２に戻り、周期パラメータ選択部１２ｈは、ステップＳ５０で解析した周波数の強度「Ｓ」に基づいて、ステップＳ５０で解析した周波数「ｌｔ」、または、初期値周期パラメータ記憶部１４ｂに予め記憶された初期値「ｌ０」を、対象物の変化検出に用いる周期パラメータ「ｌ」として選択する（ステップＳ６０）。

本実施形態において、周期パラメータ選択部１２ｈは、ステップＳ５０で解析した周波数の強度「Ｓ」が所定強度「Ｓ＿ｔｈｒｅ」より大きい場合「Ｓ＿ｔｈｒｅ＜Ｓ」は、ステップＳ５０で解析した周波数「ｌｔ」を周期パラメータ「ｌ」として選択する。一方、周期パラメータ選択部１２ｈは、ステップＳ５０で解析した周波数の強度「Ｓ」が所定強度「Ｓ＿ｔｈｒｅ」以下である場合「Ｓ＿ｔｈｒｅ≧Ｓ」は、初期値周期パラメータ記憶部１４ｂに予め記憶された初期値「ｌ０」を周期パラメータ「ｌ」として選択する。このようにして、周期パラメータ選択部１２ｈは、解析した周波数の強度が所定強度より大きい場合は、歩行者が特徴的な動きをしていると判断して、解析した周波数を周期パラメータとして選択する。一方、周期パラメータ選択部１２ｈは、解析した周波数の強度が所定強度以下である場合は、歩行者の動きが特徴的な変化ではなく、一般的な変化であると判断して、初期値周期パラメータ記憶部１４ｂに予め記憶された初期値を周期パラメータとして選択する。

対象物変化検出部１２ｉは、ステップＳ４０で取得した形状変化情報「ｄ（ｔ，ｎ）」、および、ステップＳ６０で選択した周期パラメータ「ｌ＝ｌｔまたはｌ０」を用いて、対象物の変化を検出する（ステップＳ７０）。

ここで、ステップＳ７０において対象物変化検出部１２ｉの処理により実行される対象物変化検出処理の詳細について、図６および図７を参照しながら説明する。図６は、本実施形態にかかる対象物変化検出処理の詳細の一例を示すフローチャートである。図７は、本実施形態にかかる変化検出用グラフの一例を示す図である。

図６に示すように、対象物変化検出部１２ｉの形状変化情報蓄積部１２ｊは、図２のステップＳ６０の処理により選択した周期パラメータ「ｌ」に基づいて、図２のステップＳ４０の処理（すなわち、図３のステップＳ４１〜Ｓ４３の処理）により取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｃに蓄積する（ステップＳ７１）。具体的には、形状変化情報蓄積部１２ｊは、ステップＳ４０で計算した形状変化情報ｄ（ｔ，ｎ）を、ステップＳ６０で選択した周期パラメータ「ｌ」が示すｌフレーム分蓄積した、下記の数式（４）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。

対象物変化検出部１２ｉの形状変化平均化部１２ｋは、下記の数式（５）を用いて、ステップＳ７１で計算したベクトルｕ（ｔ，ｎ，ｌ）を更にＫ個分足し合わせて、時間平均を取ることによりノイズを低減する（ステップＳ７２）。このように、形状変化平均化部１２ｋは、ステップＳ７１で蓄積した複数の形状変化情報を平均化して、平均化形状変化情報としてベクトルｕ（ｔ，Ｋ，ｎ，ｌ）を取得する。

対象物変化検出部１２ｉの変化検出部１２ｍは、下記の数式（６）および数式（７）を用いて、類似度ｃｏｓθを計算する（ステップＳ７３）。

変化検出部１２ｍは、ステップＳ７３で計算した類似度ｃｏｓθが、図７に示すように、予め設定された変化検出用閾値「Ｔｈｒｅ」より小さいか否かを判定する（ステップＳ７４）。図７は、一例として図２のステップＳ６０で周期パラメータ「ｌ」として初期値「ｌ０」が選択された場合に算出される類似度の例を示している。図７の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図７では、４つのサンプル数分（Ｋ＝４）の時間平均を取った場合を表している。図７に示すように、４つともフレーム１８０付近で急激な変化を示しており、フレーム１８０付近で歩行者が急に動きを変えた状態を表している。

そして、変化検出部１２ｍは、ステップＳ７４で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」より小さいと判定した場合（ステップＳ７４：Ｙｅｓ）、対象物の変化があると判定する（ステップＳ７５）。その後、対象物変化検出処理を終了する。一方、変化検出部１２ｍは、ステップＳ７４で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」以上であると判定した場合（ステップＳ７４：Ｎｏ）、対象物に変化がないと判定して、そのまま対象物変化検出処理を終了する。そして、対象物の変化の有無の判定終了後、上述の図２のステップＳ１０の処理に移行して、次のフレームの画像取得に戻る。

以上、本実施形態によれば、従来技術よりも、車両周辺の対象物の変化を迅速かつ正確に検出できる。例えば、従来技術の特許文献１に記載の歩行者飛び出し予測装置では、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があったが、本実施形態によれば、対象物の形状に基づいて、交通環境における対象物の危険な変化（例えば、歩行者の飛び出し）を検出しているので、車両周辺の対象物の変化を迅速かつ正確に検出することができる。このように、本実施形態によれば、運転者が車両を運転中に車両周辺の対象物の危険な変化が生じた場合、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。

ここで、車両周辺の対象物の危険な変化は、連続変化と不連続変化に分類できる。例えば、対象物を歩行者とした場合、連続変化としては、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。一方、不連続変化としては、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。従来技術では、線形予測により、この連続変化（例えば、対象物が連続的に移動する動作、対象物が動いている状態から停止する動作、および、対象物が減速する動作等）については、検出可能であったが、不連続変化については迅速かつ正確に検出することができなかった。

一方、本実施形態の対象物変化検出装置１は、画像から対象物を検出し、所定の特徴量を用いて、検出した対象物の形状情報を表す特徴量分布Ｖ（ｔ）を取得し、取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布ｐ（ｔ）を取得し、取得した確率分布を蓄積する。そして、本実施形態の対象物変化検出装置１は、所定の尺度を用いて、蓄積した所定時間前の確率分布と現在の確率分布との差ｄ（ｔ，ｎ）を計算して、所定時間内における形状情報の時間変化を示す形状変化情報ｄ（ｔ）として取得する。そして、本実施形態の対象物変化検出装置１は、取得した形状変化情報の周波数「ｌｔ」および当該周波数の強度「Ｓ」を解析し、解析した周波数の強度「Ｓ」に基づいて、解析した周波数「ｌｔ」または予め記憶された初期値「ｌ０」を対象物の変化検出に用いる周期パラメータ「ｌ」として選択する。そして、本実施形態の対象物変化検出装置１は、取得した形状変化情報、および、選択した周期パラメータ「ｌ」を用いて、対象物の変化を検出する。具体的には、本実施形態の対象物変化検出装置１は、選択した周期パラメータ「ｌ」に基づいて取得した形状変化情報を蓄積し、蓄積した複数の形状変化情報を平均化して、平均化形状変化情報「ベクトルｕ（ｔ，Ｋ，ｎ，ｌ）」を取得し、取得した平均化形状変化情報を用いて類似度ｃｏｓθを計算し、当該類似度ｃｏｓθが設定した変化検出用閾値Ｔｈｒｅより小さい場合「ｃｏｓθ＜Ｔｈｒｅ」に、対象物の変化を検出する。

これにより、本実施形態の対象物変化検出装置１によれば、従来技術では十分に対応できなかった不連続変化（例えば、対象物が止まっている状態から動き始める動作、対象物が加速する動作、および、対象物が方向転換する動作等）についても、迅速かつ正確に検出することができる。例えば、実施形態によれば、不連続変化の一例として、歩行者や自転車が急に動きを変えて道路に出てくる、併走車車両やバイクが急に車線変更して自車線に割り込んでくる、前方車両が急にＵターンを開始する、前方車両が道路脇の店等に入るために急に右左折を開始する、および、駐車車両のドアが急に開くといった、車両周辺の対象物の危険な変化が生じた場合に、迅速かつ正確に運転者に危険を報知することができる。

ここで、対象物が例えば歩行者の場合、個人ごとに歩行の周期が異なるため、対象物の周期に近いほど良好な結果を算出する周期パラメータ「ｌ」を、予め設定された１つのパラメータで対応してしまうと、認識精度が低下する可能性がある。そこで、本実施形態の対象物変化検出装置１では、歩いている歩行者の周期を解析し、得られた周期でパラメータ「ｌ」を修正している。具体的には、対象物変化検出装置１は、解析した形状変化情報の周波数の強度が所定強度より大きい場合は、解析した周波数「ｌｔ」を周期パラメータ「ｌ」として選択する。一方、対象物変化検出装置１は、周波数の強度が所定強度以下である場合は、記憶部１４に予め記憶された初期値「ｌ０」を周期パラメータ「ｌ」として選択する。こうすることにより、本実施形態の対象物変化検出装置１では、歩行者ごとに合わせたパラメータ設定が可能となるため、歩行者の飛び出し検出精度をより一層向上させることができる。

１ 対象物変化検出装置
１２ 制御部
１２ａ 対象物検出部
１２ｂ 形状情報取得部
１２ｃ 形状変化情報取得部
１２ｄ 正規化部
１２ｅ 形状情報蓄積部
１２ｆ 情報取得部
１２ｇ 周波数解析部
１２ｈ 周期パラメータ選択部
１２ｉ 対象物変化検出部
１２ｊ 形状変化情報蓄積部
１２ｋ 形状変化平均化部
１２ｍ 変化検出部
１４ 記憶部
１４ａ 形状情報記憶部
１４ｂ 初期値周期パラメータ記憶部
１４ｃ 形状変化情報記憶部
１４ｄ 平均化形状変化情報記憶部
２ カメラ

Claims (7)

1. 画像から対象物を検出する対象物検出手段と、
   前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、
   前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報に基づいて、所定時間内における前記形状情報の時間変化を示す前記対象物の形状変化情報を取得する形状変化情報取得手段と、
   前記形状変化情報取得手段により取得した前記形状変化情報の周波数および当該周波数の強度を解析する周波数解析手段と、
   前記周波数解析手段により解析した前記周波数の強度に基づいて、前記周波数解析手段により解析した前記周波数、または、記憶部に予め記憶された初期値を、前記対象物の変化検出に用いる周期パラメータとして選択する周期パラメータ選択手段と、
   前記形状変化情報取得手段により取得した前記形状変化情報、および、前記周期パラメータ選択手段により選択した前記周期パラメータを用いて、前記対象物の変化を検出する対象物変化検出手段と、
   を備えることを特徴とする対象物変化検出装置。
2. 前記対象物変化検出手段は、
   前記周期パラメータ選択手段により選択した前記周期パラメータに基づいて、前記形状変化情報取得手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、
   前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段と、
   前記形状変化平均化手段により取得した平均化形状変化情報を用いて類似度を計算し、当該類似度が予め設定された前記対象物の変化検出に用いる変化検出用閾値より小さい場合に、前記対象物の変化を検出する変化検出部と、
   を更に備えることを特徴とする請求項１に記載の対象物変化検出装置。
3. 前記周期パラメータ選択手段は、
   前記周波数解析手段により解析した前記周波数の強度が所定強度より大きい場合は、前記周波数解析手段により解析した前記周波数を前記周期パラメータとして選択し、前記周波数の強度が前記所定強度以下である場合は、前記記憶部に予め記憶された前記初期値を前記周期パラメータとして選択することを特徴とする請求項１または２に記載の対象物変化検出装置。
4. 前記周波数解析手段は、
   高速フーリエ変換を用いて前記形状変化情報取得手段により取得した前記形状変化情報の周波数および当該周波数の強度を解析することを特徴とする請求項１から３のいずれか一項に記載の対象物変化検出装置。
5. 前記形状情報取得手段は、
   所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す前記特徴量分布を取得することを特徴とする請求項１から４のいずれか一項に記載の対象物変化検出装置。
6. 前記形状変化情報取得手段は、
   前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
   前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、
   所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算して、前記対象物の前記形状変化情報として取得する情報取得手段と、
   を更に備えることを特徴とする請求項１から５のいずれか一項に記載の対象物変化検出装置。
7. 画像から対象物を検出する対象物検出ステップと、
   前記対象物検出ステップで検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得ステップと、
   前記形状情報取得ステップで取得した前記特徴量分布により表される前記形状情報に基づいて、所定時間内における前記形状情報の時間変化を示す前記対象物の形状変化情報を取得する形状変化情報取得ステップと、
   前記形状変化情報取得ステップで取得した前記形状変化情報の周波数および当該周波数の強度を解析する周波数解析ステップと、
   前記周波数解析ステップで解析した前記周波数の強度に基づいて、前記周波数解析ステップで解析した前記周波数、または、記憶部に予め記憶された初期値を、前記対象物の変化検出に用いる周期パラメータとして選択する周期パラメータ選択ステップと、
   前記形状変化情報取得ステップで取得した前記形状変化情報、および、前記周期パラメータ選択手段により選択した前記周期パラメータを用いて、前記対象物の変化を検出する対象物変化検出ステップと、
   を含むことを特徴とする対象物変化検出方法。

Images