JP5811951B2

JP5811951B2 - 対象物変化検出装置

Info

Publication number: JP5811951B2
Application number: JP2012122337A
Authority: JP
Inventors: 小川　雅弘; 雅弘小川
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2012-05-29
Filing date: 2012-05-29
Publication date: 2015-11-11
Anticipated expiration: 2032-05-29
Also published as: JP2013246794A

Description

本発明は、対象物変化検出装置に関する。

従来、車両周辺の対象物を検出する技術が開発されている。例えば、特許文献１には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンとを比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。

特開２０１０−１０２４３７号公報

しかしながら、従来技術においては、車両周辺の対象物の変化を迅速かつ正確に検出できないという問題点があった。例えば、特許文献１に記載の歩行者飛び出し予測装置では、歩行者の位置変化および速度変化のみを見ているため、位置および速度の変化が確認できるまで歩行者の飛び出しを予測できず、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があった。

本発明は、上記の事情に鑑みてなされたものであって、車両周辺の対象物の変化を迅速かつ正確に検出できる対象物変化検出装置を提供することを目的とする。

本発明の対象物変化検出装置は、画像から対象物を検出する対象物検出手段と、前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報に基づいて、所定時間内における前記形状情報の時間変化を示す前記対象物の形状変化情報を取得する形状変化情報取得手段と、前記形状変化情報取得手段により取得した前記形状変化情報に基づいて、前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段と、前記形状変化情報取得手段により取得した前記形状変化情報、および、前記閾値設定手段により設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出手段と、を備え、前記変化検出用閾値は、検出感度レベル別に定められた固定値であることを特徴とする。

上記記載の対象物変化検出装置において、前記閾値設定手段は、前記形状変化情報取得手段により取得した前記形状変化情報の絶対値または過去所定時間分の分散値を計算し、前記絶対値または前記分散値が所定閾値より小さい場合は、前記変化検出用閾値を検出感度が下がる値に設定し、前記絶対値または前記分散値が前記所定閾値以上である場合は、前記変化検出用閾値を検出感度が上がる値に設定することが好ましい。

上記記載の対象物変化検出装置において、前記閾値設定手段は、前記絶対値または前記分散値に基づく関数を前記変化検出用閾値として設定することが好ましい。

上記記載の対象物変化検出装置において、前記形状情報取得手段は、所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す前記特徴量分布を取得することが好ましい。

上記記載の対象物変化検出装置において、前記形状変化情報取得手段は、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算して、前記対象物の前記形状変化情報として取得する情報取得手段と、を更に備えることが好ましい。

本発明は、車両周辺の対象物の変化を迅速かつ正確に検出できるという効果を奏する。

図１は、本実施形態にかかる対象物変化検出装置の構成の一例を示すブロック図である。図２は、本実施形態にかかる対象物変化検出装置の基本処理の一例を示すフローチャートである。図３は、本実施形態にかかる形状変化情報取得処理の詳細の一例を示すフローチャートである。図４は、本実施形態にかかる対象物変化検出処理の詳細の一例を示すフローチャートである。図５は、本実施形態にかかる変化検出用グラフの一例を示す図である。

以下に、本実施形態にかかる対象物変化検出装置および対象物変化検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。

本実施形態にかかる対象物変化検出装置の構成について図１を参照しながら説明する。図１は、本実施形態にかかる対象物変化検出装置の構成の一例を示すブロック図である。

図１に示すように、対象物変化検出装置１は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が映し出されている画像データを生成する機器である。カメラ２は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等である。カメラ２は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。

対象物変化検出装置１は、制御部１２および記憶部１４を備えている。制御部１２は、対象物変化検出装置１を統括的に制御するものであり、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、またはハードディスクなどである。

記憶部１４は、形状情報記憶部１４ａ、閾値記憶部１４ｂ、形状変化情報記憶部１４ｃ、および、平均化形状変化情報記憶部１４ｄを備えている。

形状情報記憶部１４ａは、画像データから抽出された対象物の形状情報を記憶する形状情報記憶手段である。形状情報は、対象物の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、画像データの輝度自体を使用する第１特徴量、画像データのエッジを使用する第２特徴量、および、画像データの色を使用する第３特徴量のうち少なくとも１つを含む。第１特徴量は、例えば、輝度、輝度のＰＣＡ、Ｈｕｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含む。第２特徴量は、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含む。第３特徴量は、例えば、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含む。

閾値記憶部１４ｂは、後述する閾値設定部１２ｇにより設定される対象物の変化検出に用いる変化検出用閾値を記憶する閾値記憶手段である。なお、対象物の変化検出の詳細については、後述する。ここで、対象物とは、自車両周辺に存在する、歩行者、自転車、バイク、車両等の移動物体の少なくとも１つを含む。また、対象物は、車両のドア等の対象物の一部であってもよい。本実施形態において、変化検出用閾値は、検出感度レベル別に定められた固定値である。例えば、閾値記憶部１４ｂは、対象物の変化を正確に検出できるよう検出感度が上がる値を有する高感度の変化検出用閾値、および、対象物の変化を過剰に検出し過ぎないよう検出感度が下がる値を有する低感度の変化検出用閾値を記憶する。一例として、後述する図５において、高感度の変化検出用閾値は「０．９２」であり、低感度の変化検出用閾値は「０．８８」である。

形状変化情報記憶部１４ｃは、所定時間内における形状情報の時間変化を示す形状変化情報を記憶する形状変化情報記憶手段である。平均化形状変化情報記憶部１４ｄは、形状変化情報の平均を示す平均化形状変化情報を記憶する平均化形状変化情報記憶手段である。この他、記憶部１４は、対象物を含む画像データの画像領域の一部に対応する処理対象領域を記憶する処理対象領域記憶手段を有していてもよい。

制御部１２は、対象物検出部１２ａ、形状情報取得部１２ｂ、形状変化情報取得部１２ｃ、閾値設定部１２ｇ、および、対象物変化検出部１２ｈを備えている。ここで、形状変化情報取得部１２ｃは、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、情報取得部１２ｆを更に備えている。また、対象物変化検出部１２ｈは、形状変化情報蓄積部１２ｉ、形状変化平均化部１２ｊ、および、変化検出部１２ｋを更に備えている。

対象物検出部１２ａは、画像から対象物を検出する対象物検出手段である。対象物検出部１２ａは、予め記憶部１４に記憶された対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。

形状情報取得部１２ｂは、対象物検出部１２ａにより検出した対象物の形状情報を表す特徴量分布を取得する形状情報取得手段である。具体的には、形状情報取得部１２ｂは、所定の特徴量を用いて、対象物検出部１２ａにより検出した対象物の特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量である。

形状変化情報取得部１２ｃは、形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報に基づいて、所定時間内における形状情報の時間変化を示す対象物の形状変化情報を取得する形状変化情報取得手段である。

ここで、形状変化情報取得部１２ｃが実行する形状変化情報取得処理は、形状変化情報取得部１２ｃが備える正規化部１２ｄ、形状情報蓄積部１２ｅ、および、情報取得部１２ｆが実行する各処理を含む。本実施形態において、形状変化情報取得部１２ｃは、形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報を正規化して、当該特徴量分布に対応する確率分布を取得し、正規化した確率分布を蓄積し、蓄積した確率分布を用いて、所定時間前の確率分布と現在の確率分布との差を、対象物の形状変化情報として取得する。以下、正規化部１２ｄ、形状情報蓄積部１２ｅ、および、情報取得部１２ｆについて説明する。

正規化部１２ｄは、形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報を正規化する正規化手段である。具体的には、正規化部１２ｄは、形状情報取得部１２ｂにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。

形状情報蓄積部１２ｅは、形状情報取得部１２ｂにより取得した特徴量分布により表される形状情報を蓄積する形状情報蓄積手段である。ここで、形状情報蓄積部１２ｅは、正規化部１２ｄにより正規化した形状情報を蓄積する。具体的には、形状情報蓄積部１２ｅは、正規化部１２ｄにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部１２ｅは、正規化した形状情報（確率分布）を形状情報記憶部１４ａに格納する。なお、本実施形態において、形状情報蓄積部１２ｅは、形状情報取得部１２ｂにより取得した正規化前の特徴量分布を蓄積してもよい。

情報取得部１２ｆは、形状情報蓄積部１２ｅにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部１４ａに記憶された確率分布、に基づいて、所定の尺度を用いて、所定時間前の確率分布と現在の確率分布との差を計算して、対象物の形状変化情報として取得する形状変化情報取得手段である。ここで、所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Ｌｐｎｏｒｍ、例えば、Ｌ１ｎｏｒｍ（マンハッタン距離）、Ｌ２ｎｏｒｍ（ユークリッド距離）、Ｌｉｎｆｉｎｉｔｙｎｏｒｍ（一様ノルム）等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルｐ（ｔ）から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒｄｉｖｅｒｇｅｎｃｅ）（以下、ＫＬ情報量と呼ぶ）を含む。ここで、ＫＬ情報量とは、２つの確率分布Ｐ，Ｑ間の差異を計る尺度であり、情報理論分野において周知である。

なお、本実施形態において、形状変化情報取得部１２ｃは、形状情報蓄積部１２ｅにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部１４ａに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、対象物の形状変化情報として取得する。

閾値設定部１２ｇは、形状変化情報取得部１２ｃにより取得した形状変化情報に基づいて、対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段である。

本実施形態において、閾値設定部１２ｇは、形状変化情報取得部１２ｃにより取得した形状変化情報の絶対値を計算し、当該絶対値が所定閾値より小さい場合は、当該変化検出用閾値を検出感度が下がる値に設定し、当該絶対値が所定閾値以上である場合は、当該変化検出用閾値を検出感度が上がる値に設定する。ここで、所定閾値は、形状変化情報の絶対値の大小に基づいて対象物がほぼ静止している状態にあるか否かを判定可能な値に設定される。つまり、閾値設定部１２ｇは、計算した絶対値の大きさが所定閾値より小さい場合は、対象物がほぼ静止している状態にあると判断して、検出感度を下げるように低感度の変化検出用閾値に設定する。一方、閾値設定部１２ｇは、計算した絶対値の大きさが所定閾値以上である場合、対象物が動いている状態にあると判断して、検出感度を上げるように高感度の変化検出用閾値に設定する。

あるいは、閾値設定部１２ｇは、形状変化情報取得部１２ｃにより取得した過去所定時間分の形状変化情報の分散値を計算し、当該分散値が所定閾値より小さい場合は、当該変化検出用閾値を検出感度が下がる値に設定し、当該分散値が所定閾値以上である場合は、当該変化検出用閾値を検出感度が上がる値に設定する。ここで、所定閾値は、形状変化情報の分散値が示すバラツキの大小に基づいて対象物がほぼ静止している状態にあるか否かを判定可能な値に設定される。つまり、閾値設定部１２ｇは、計算した分散値が示すバラツキの大きさが所定閾値より小さい場合は、対象物がほぼ静止している状態にあると判断して、検出感度を下げるように低感度の変化検出用閾値に設定する。一方、閾値設定部１２ｇは、計算した分散値のバラツキの大きさが所定閾値以上である場合、対象物が動いている状態にあると判断して、検出感度を上げるように高感度の変化検出用閾値に設定する。

ここで、閾値設定部１２ｇは、絶対値または分散値に基づく関数（例えば、コサイン関数）を変化検出用閾値として設定する。なお、閾値設定部１２ｇにより設定された変化検出用閾値は閾値記憶部１４ｂに記憶される。

対象物変化検出部１２ｈは、形状変化情報取得部１２ｃにより取得した形状変化情報、および、閾値設定部１２ｇにより設定した変化検出用閾値を用いて、対象物の変化を検出する対象物変化検出手段である。

ここで、対象物変化検出部１２ｈが実行する対象物変化検出処理は、形状変化情報蓄積部１２ｉ、形状変化平均化部１２ｊ、および、変化検出部１２ｋが実行する各処理を含む。以下、形状変化情報蓄積部１２ｉ、形状変化平均化部１２ｊ、および、変化検出部１２ｋについて説明する。

形状変化情報蓄積部１２ｉは、形状変化情報取得部１２ｃにより取得した形状変化情報を蓄積する形状変化情報蓄積手段である。すなわち、形状変化情報蓄積部１２ｉは、取得した形状変化情報を形状変化情報記憶部１４ｃに格納する。

形状変化平均化部１２ｊは、形状変化情報蓄積部１２ｉにより蓄積した複数の形状変化情報、すなわち、形状変化情報記憶部１４ｃに記憶された形状変化情報、を平均化して、平均化形状変化情報を取得する形状変化平均化手段である。また、形状変化平均化部１２ｊは、取得した平均化形状変化情報を平均化形状変化情報記憶部１４ｄに格納する。

変化検出部１２ｋは、形状変化平均化部１２ｊにより取得した平均化形状変化情報、または、平均化形状変化情報記憶部１４ｄに記憶された平均化形状変化情報を用いて類似度を計算し、当該類似度が閾値設定部１２ｇにより設定した変化検出用閾値より小さい場合に、対象物の変化を検出する変化検出手段である。類似度は、これに限定されないが、コサイン類似度等を含む。

対象物の変化とは、交通環境における対象物の危険な変化を意味し、対象物の運動変化開始時における形状の変化を含む。対象物の変化としては、これに限定されないが、例えば、歩行者や自転車が急に動きを変えて道路に出てくるという変化、併走車車両やバイクが急に車線変更して自車線に割り込んでくるという変化、前方車両が急にＵターンを開始するという変化、前方車両が道路脇の店等に入るために急に右左折を開始するという変化、および、駐車車両のドアが急に開くという変化などを含む。

この他、制御部１２は、対象物検出部１２ａにより検出した対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段を有していてもよい。処理対象領域は、対象物変化検出部１２ｈによる対象物の変化検出処理に有効な所定領域である。例えば対象物が歩行者の場合、処理対象領域は、歩行者の全体のみまたは下半身のみを含む領域等を含む。処理対象領域抽出手段は、抽出した処理対象領域を記憶部１４に格納してもよい。この場合、形状情報取得部１２ｂは、処理対象領域抽出手段により抽出した処理対象領域、または、記憶部１４に記憶された処理対象領域から対象物の特徴量分布を取得してもよい。

続いて、図２〜図５を参照して、上述した対象物変化検出装置１において実行される処理について説明する。なお、以下の処理において、車両周辺に存在する対象物として、歩行者を一例に説明するが、これに限定されない。また、対象物の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、確率分布Ｐ，Ｑ間の差異を計る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。

本実施形態にかかる対象物変化検出装置１の基本処理について図２を参照しながら説明する。図２は、本実施形態にかかる対象物変化検出装置１の基本処理の一例を示すフローチャートである。

図２に示すように、制御部１２は、カメラ２から自車両周辺が映し出されている画像データを取得する（ステップＳ１０）。

対象物検出部１２ａは、ステップＳ１０で取得した画像データから対象物として歩行者を検出する（ステップＳ２０）。例えば、対象物検出部１２ａは、予め記憶部１４に記憶された歩行者等の対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。

形状情報取得部１２ｂは、ステップＳ２０で検出した対象物の形状情報を表す特徴量分布を取得する（ステップＳ３０）。具体的には、形状情報取得部１２ｂは、ステップＳ２０で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。ここで、ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物を含む画像データのどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。

形状変化情報取得部１２ｃは、ステップＳ３０で取得した特徴量分布により表される形状情報に基づいて、所定時間内における形状情報の時間変化を示す形状変化情報を取得する（ステップＳ４０）。

ここで、ステップＳ４０において形状変化情報取得部１２ｃの処理により実行される形状変化情報取得処理の詳細について、図３を参照しながら説明する。図３は、本実施形態にかかる形状変化情報取得処理の詳細の一例を示すフローチャートである。

図３に示すように、形状変化情報取得部１２ｃの正規化部１２ｄは、下記の数式（１）に示すように、図２のステップＳ３０で取得した特徴量分布ｖ（ｔ）のＬ１ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳ４１）。

形状変化情報取得部１２ｃの形状情報蓄積部１２ｅは、ステップＳ４１で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳ４２）。すなわち、形状情報蓄積部１２ｅは、ステップＳ４１で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

形状変化情報取得部１２ｃの情報取得部１２ｆは、下記の数式（２）に示すように、ステップＳ４２で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態おいて、形状変化情報）の計算を行う（ステップＳ４３）。情報取得部１２ｆは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、情報取得部１２ｆは、ステップＳ４２で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。

再び図２に戻り、ステップＳ５０の処理から説明を続ける。閾値設定部１２ｇは、ステップＳ４０で取得した形状変化情報（すなわち、「ｄ（ｔ，ｎ）」）に基づいて、対象物の変化検出に用いる変化検出用閾値「Ｔｈｒｅ」を設定する（ステップＳ５０）。

本実施形態において、閾値設定部１２ｇは、以下に示す２通りの方法のいずれかで変化検出用閾値を設定する。

具体的には、ステップＳ５０において、閾値設定部１２ｇは、下記の数式（４）に示すように、ステップＳ４０で取得した形状変化情報の「ｄ（ｔ）」から絶対値「Ｓ（ｔ）」を計算する。そして、閾値設定部１２ｇは、当該絶対値が所定閾値「Ｓ＿ｔｈｒｅ」より小さい場合「Ｓ＿ｔｈｒｅ＞Ｓ（ｔ）」は、当該変化検出用閾値を検出感度が下がる値「Ｔｈ＿ｌｏｗ」に設定する。本実施形態において、低感度の変化検出用閾値は、例えば、後述する図５に示すように、「０．８８」である。このようにして、閾値設定部１２ｇは、ステップＳ４０で取得した、所定時間内における形状情報の時間変化を示す形状変化情報の絶対値を計算して、この絶対値が所定閾値よりも小さい場合は、対象物（特に歩行者）がほぼ静止している状態であると判断して、変化検出用閾値を検出感度が下がる値に設定する。一方、閾値設定部１２ｇは、当該絶対値が所定閾値以上である場合「Ｓ＿ｔｈｒｅ≦Ｓ（ｔ）」は、当該変化検出用閾値を検出感度が上がる値「Ｔｈ＿ｈｉｇｈ」に設定する。本実施形態において、高感度の変化検出用閾値は、例えば、後述する図５に示すように、「０．９２」である。

あるいは、ステップＳ５０において、閾値設定部１２ｇは、下記の数式（５）に示すように、ステップＳ４０で取得した形状変化情報の「ｄ（ｔ）」から過去ｍフレーム分の分散値「Ｓ（ｔ）」を計算する。そして、閾値設定部１２ｇは、当該分散値が所定閾値「Ｓ＿ｔｈｒｅ」より小さい場合「Ｓ＿ｔｈｒｅ＞Ｓ（ｔ）」は、当該変化検出用閾値を検出感度が下がる値「Ｔｈ＿ｌｏｗ」に設定する。本実施形態において、低感度の変化検出用閾値は、例えば、後述する図５に示すように、「０．８８」である。このようにして、閾値設定部１２ｇは、ステップＳ４０で取得した、所定時間内における形状情報の時間変化を示す形状変化情報の分散値を計算して、この分散値が所定閾値よりも小さい場合は、対象物（特に歩行者）がほぼ静止している状態であると判断して、変化検出用閾値を検出感度が下がる値に設定する。一方、閾値設定部１２ｇは、当該分散値が所定閾値以上である場合「Ｓ＿ｔｈｒｅ≦Ｓ（ｔ）」は、当該変化検出用閾値を検出感度が上がる値「Ｔｈ＿ｈｉｇｈ」に設定する。本実施形態において、高感度の変化検出用閾値は、例えば、後述する図５に示すように、「０．９２」である。

対象物変化検出部１２ｈは、ステップＳ４０で取得した形状変化情報「ｄ（ｔ，ｎ）」、および、ステップＳ５０で設定した変化検出用閾値「Ｔｈｒｅ」を用いて、対象物の変化を検出する（ステップＳ６０）。

ここで、ステップＳ６０において対象物変化検出部１２ｈの処理により実行される対象物変化検出処理の詳細について、図４および図５を参照しながら説明する。図４は、本実施形態にかかる対象物変化検出処理の詳細の一例を示すフローチャートである。図５は、本実施形態にかかる変化検出用グラフの一例を示す図である。

図４に示すように、対象物変化検出部１２ｈの形状変化情報蓄積部１２ｉは、図２のステップＳ４０の処理（すなわち、図３のステップＳ４１〜Ｓ４３の処理）により取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｃに蓄積する（ステップＳ６１）。具体的には、形状変化情報蓄積部１２ｉは、ステップＳ４０で計算した形状変化情報ｄ（ｔ，ｎ）をｌフレーム分蓄積した、下記の数式（６）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。

対象物変化検出部１２ｈの形状変化平均化部１２ｊは、下記の数式（７）を用いて、ステップＳ６１で計算したベクトルｕ（ｔ，ｎ，ｌ）を更にＫ個分足し合わせて、時間平均を取ることによりノイズを低減する（ステップＳ６２）。このように、形状変化平均化部１２ｊは、ステップＳ６１で蓄積した複数の形状変化情報を平均化して、平均化形状変化情報としてベクトルｕ（ｔ，Ｋ，ｎ，ｌ）を取得する。

対象物変化検出部１２ｈの変化検出部１２ｋは、下記の数式（８）および数式（９）を用いて、類似度ｃｏｓθを計算する（ステップＳ６３）。

変化検出部１２ｋは、ステップＳ６３で計算した類似度ｃｏｓθが、図５に示すように、上述の図２のステップＳ５０で閾値設定部１２ｇにより設定した変化検出用閾値「Ｔｈｒｅ」より小さいか否かを判定する（ステップＳ６４）。図５の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図５では、４つのサンプル数分（Ｋ＝４）の時間平均を取った場合を表している。図５に示すように、４つともフレーム１８０付近で急激な変化を示しており、フレーム１８０付近で歩行者が急に動きを変えた状態を表している。ここで、図５において、上述の図２のステップＳ５０で閾値設定部１２ｇにより計算した絶対値または分散値が所定閾値より小さい場合「Ｓ＿ｔｈｒｅ＞Ｓ（ｔ）」は、当該変化検出用閾値として検出感度が下がる値「Ｔｈ＿ｌｏｗ＝０．８８」が設定されているものとする。一方、図５において、上述の図２のステップＳ５０で閾値設定部１２ｇにより計算した絶対値または分散値が所定閾値以上である場合「Ｓ＿ｔｈｒｅ≦Ｓ（ｔ）」は、当該変化検出用閾値として検出感度が上がる値「Ｔｈ＿ｈｉｇｈ＝０．９２」が設定されているものとする。

そして、変化検出部１２ｋは、ステップＳ６４で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」より小さいと判定した場合（ステップＳ６４：Ｙｅｓ）、対象物の変化があると判定する（ステップＳ６５）。その後、対象物変化検出処理を終了する。一方、変化検出部１２ｋは、ステップＳ６４で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」以上であると判定した場合（ステップＳ６４：Ｎｏ）、対象物に変化がないと判定して、そのまま対象物変化検出処理を終了する。そして、対象物の変化の有無の判定終了後、上述の図２のステップＳ１０の処理に移行して、次のフレームの画像取得に戻る。

以上、本実施形態によれば、従来技術よりも、車両周辺の対象物の変化を迅速かつ正確に検出できる。例えば、従来技術の特許文献１に記載の歩行者飛び出し予測装置では、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があったが、本実施形態によれば、対象物の形状に基づいて、交通環境における対象物の危険な変化（例えば、歩行者の飛び出し）を検出しているので、車両周辺の対象物の変化を迅速かつ正確に検出することができる。このように、本実施形態によれば、運転者が車両を運転中に車両周辺の対象物の危険な変化が生じた場合、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。

ここで、車両周辺の対象物の危険な変化は、連続変化と不連続変化に分類できる。例えば、対象物を歩行者とした場合、連続変化としては、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。一方、不連続変化としては、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。従来技術では、線形予測により、この連続変化（例えば、対象物が連続的に移動する動作、対象物が動いている状態から停止する動作、および、対象物が減速する動作等）については、検出可能であったが、不連続変化については迅速かつ正確に検出することができなかった。

一方、本実施形態の対象物変化検出装置１は、画像から対象物を検出し、所定の特徴量を用いて、検出した対象物の形状情報を表す特徴量分布を取得し、取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、取得した確率分布を蓄積する。そして、本実施形態の対象物変化検出装置１は、所定の尺度を用いて、蓄積した所定時間前の確率分布と現在の確率分布との差を計算して、所定時間内における形状情報の時間変化を示す形状変化情報として取得する。そして、本実施形態の対象物変化検出装置１は、取得した形状変化情報に基づいて、対象物の変化検出に用いる変化検出用閾値を設定し、取得した形状変化情報、および、設定した変化検出用閾値を用いて、対象物の変化を検出する。具体的には、本実施形態の対象物変化検出装置１は、取得した形状変化情報を蓄積し、蓄積した複数の形状変化情報を平均化して、平均化形状変化情報を取得し、取得した平均化形状変化情報を用いて類似度を計算し、当該類似度が設定した変化検出用閾値より小さい場合に、対象物の変化を検出する。

これにより、本実施形態の対象物変化検出装置１によれば、従来技術では十分に対応できなかった不連続変化（例えば、対象物が止まっている状態から動き始める動作、対象物が加速する動作、および、対象物が方向転換する動作等）についても、高感度で検出することができる。例えば、実施形態によれば、不連続変化の一例として、歩行者や自転車が急に動きを変えて道路に出てくる、併走車車両やバイクが急に車線変更して自車線に割り込んでくる、前方車両が急にＵターンを開始する、前方車両が道路脇の店等に入るために急に右左折を開始する、および、駐車車両のドアが急に開くといった、車両周辺の対象物の危険な変化が生じた場合に、高感度で運転者に危険を報知することができる。

ここで、対象物の変化を常に高感度で検出すると、対象物（特に歩行者）がほぼ静止している場合には、歩行者の僅かな動きや、歩行者の追跡結果の僅かなズレに対しても、過剰に反応することがあり、歩行者の飛び出し判定の誤検出が増えてしまう可能性がある。この理由は、図４に示した時間平均を取ってノイズを低減する検出感度の高い対象物変化検出方法を採用する場合は、ほぼ静止した対象物の僅かな動きが、大きな変化として捉えられてしまう場合があるからである。

歩行者の飛び出し判定の誤検出が増えてしまう理由について具体的に説明する。時間平均を取る対象物変化検出方法では、最終段階でｎ次元空間中の定ベクトルと、見掛けの変化を平均化したベクトル（以下、動ベクトルと呼ぶ）のなす角度を見ている。すると、対象物が静止している場合では、動ベクトルのある次元が０付近から急に値を持つことになる。こうなると、角度は０度付近から急に９０度付近に動くことになる。このような仕組みで、ほぼ対象物が静止中であっても僅かな動きが大きな変化として捉えられてしまう場合があるからである。

そこで、本実施形態の対象物変化検出装置１は、取得した所定時間内における形状情報の時間変化を示す形状変化情報の大小に基づいて、対象物の変化検出に用いる変化検出用閾値を設定している。具体的には、対象物変化検出装置１は、取得した形状変化情報に基づく絶対値の大きさまたは分散値が示すバラツキの大きさが所定閾値より小さい場合は、対象物がほぼ静止している状態にあると判断して、検出感度を下げるように低感度の変化検出用閾値に設定する。一方、対象物変化検出装置１は、計算した絶対値の大きさまたは分散値が示すバラツキの大きさが所定閾値以上である場合、対象物が動いている状態にあると判断して、検出感度を上げるように高感度の変化検出用閾値に設定する。つまり、本実施形態の対象物変化検出装置１は、歩行者等の対象物の見掛けの変化が小さい場合には、対象物が静止していると判断し、対象物の非周期的変化を見つけるパラメータとなる変化検出用閾値を、静止対象物に対しては感度を下げる方向に変更する。こうすることにより、歩行者の飛び出し判定の誤検出を削減して、対象物の変化の認識精度をより一層向上させることができる。

１対象物変化検出装置
１２制御部
１２ａ対象物検出部
１２ｂ形状情報取得部
１２ｃ形状変化情報取得部
１２ｄ正規化部
１２ｅ形状情報蓄積部
１２ｆ情報取得部
１２ｇ閾値設定部
１２ｈ対象物変化検出部
１２ｉ形状変化情報蓄積部
１２ｊ形状変化平均化部
１２ｋ変化検出部
１４記憶部
１４ａ形状情報記憶部
１４ｂ閾値記憶部
１４ｃ形状変化情報記憶部
１４ｄ平均化形状変化情報記憶部
２カメラ

Claims

画像から対象物を検出する対象物検出手段と、
前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、
前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報に基づいて、所定時間内における前記形状情報の時間変化を示す前記対象物の形状変化情報を取得する形状変化情報取得手段と、
前記形状変化情報取得手段により取得した前記形状変化情報に基づいて、前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段と、
前記形状変化情報取得手段により取得した前記形状変化情報、および、前記閾値設定手段により設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出手段と、を備え、
前記変化検出用閾値は、検出感度レベル別に定められた固定値であること
を特徴とする対象物変化検出装置。
前記閾値設定手段は、
前記形状変化情報取得手段により取得した前記形状変化情報の絶対値または過去所定時間分の分散値を計算し、前記絶対値または前記分散値が所定閾値より小さい場合は、前記変化検出用閾値を検出感度が下がる値に設定し、前記絶対値または前記分散値が前記所定閾値以上である場合は、前記変化検出用閾値を検出感度が上がる値に設定することを特徴とする請求項１に記載の対象物変化検出装置。
前記閾値設定手段は、
前記絶対値または前記分散値に基づく関数を前記変化検出用閾値として設定することを特徴とする請求項２に記載の対象物変化検出装置。
前記形状情報取得手段は、
所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す前記特徴量分布を取得することを特徴とする請求項１から３のいずれか一項に記載の対象物変化検出装置。
前記形状変化情報取得手段は、
前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、
所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算して、前記対象物の前記形状変化情報として取得する情報取得手段と、
を更に備えることを特徴とする請求項１から４のいずれか一項に記載の対象物変化検出装置。