JPWO2013042206A1 - 対象物変化検出装置および対象物変化検出方法 - Google Patents

Abstract

本発明は、画像から対象物を検出し、検出した対象物の形状情報を表す特徴量分布を取得し、取得した特徴量分布により表される形状情報を蓄積し、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。ここで、本発明は、対象物を含む画像領域から抽出した処理対象領域から対象物の特徴量分布を取得する。また、本発明は、形状情報から取得し蓄積した形状変化情報を用いて、対象物の変化を検出する。また、本発明は、形状変化情報を平均化した平均化形状変化情報を用いて、対象物の変化を検出する。

Description

本発明は、対象物変化検出装置および対象物変化検出方法に関する。

従来、車両周辺の対象物を検出する技術が開発されている。

例えば、特許文献１には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンと比較すると共に、取得した周辺情報と、歩行者が車道に飛び出すときの予め求められた周辺情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。

また、特許文献２には、外界センサから入力される画像データからエッジ画像を生成し、歩行者候補の左右の脚部の開度Ｗを検出すると共に、歩行者候補の頭部を推定し、この頭部の位置に応じて歩行者候補の身長Ｈを推定し、歩行者候補の身長Ｈおよび脚部の開度Ｗに基づき、身長Ｈに対する脚部Ｗの比率（Ｗ／Ｈ）が所定値α以上であるか否かを判定することにより、歩行者候補が自車両の進路を横断する可能性があるか否かを判定する歩行者認識装置が開示されている。

また、特許文献３には、距離画像を所定間隔で区分した区分毎にヒストグラムを作成して立体物の存在位置とその距離を求め、区分毎の距離が接近しているものをグループとしてまとめ、各グループについてデータの並び方向が大きく変化する部分でグループを分割した後、各グループの相互の位置関係からグループを再結合して１個の立体物を物体と側壁との組み合わせとして認識し、立体物のコーナー点の位置を算出して立体物の位置、前後・左右方向への移動速度等のパラメータを算出することで、斜め前方の車両の位置および挙動を検出する車外監視装置が開示されている。

特開２０１０−１０２４３７号公報 特開２００７−２６４７７８号公報 特開平１０−２８３４６１号公報

しかしながら、従来技術（特許文献１〜３等）においては、車両周辺の対象物の変化を迅速かつ正確に検出できないという問題点があった。

例えば、特許文献１に記載の歩行者飛び出し予測装置では、歩行者の位置変化および速度変化のみを見ているため、位置および速度の変化が確認できるまで歩行者の飛び出しを予測できず、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があった。

また、特許文献２に記載の歩行者認識装置では、歩行者の姿勢（すなわち、対象物の形状）として、身長Ｈに対する開脚度Ｗのみを見ているため、歩行者が横断を開始した後でないと、自車両の進路を横断する可能性がある歩行者を予測できないという問題があった。また、当該歩行者認識装置では、全ての歩行者について身長Ｈに対する開脚度Ｗの閾値を１つしか設定できないため、小さな歩幅で飛び出してくる歩行者の行動を予測できないという問題もあった。

また、特許文献３に記載の車外監視装置では、車両の横に側壁が存在しなければならないため、車線幅の広い高速道路では適用できないという問題があった。また、当該車両監視装置では、入力として距離画像が必須であるため、センサの構成が複雑になるという問題もあった。

本発明は、上記の事情に鑑みてなされたものであって、車両周辺の対象物の変化を迅速かつ正確に検出できる対象物変化検出装置および対象物変化検出方法を提供することを目的とする。

本発明の対象物変化検出装置は、画像から対象物を検出する対象物検出手段と、前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積手段と、前記形状情報蓄積手段により蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出手段と、を備えることを特徴とする。

ここで、上記記載の対象物変化検出装置において、前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を正規化する正規化手段、を更に備え、前記形状情報蓄積手段は、前記正規化手段により正規化した前記形状情報を蓄積することが好ましい。

また、上記記載の対象物変化検出装置において、前記形状情報取得手段は、所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物の前記特徴量分布を取得し、前記正規化手段は、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、前記形状情報蓄積手段は、前記正規化手段により取得した前記確率分布を蓄積し、前記対象物変化検出手段は、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記対象物の変化を検出することが好ましい。

また、上記記載の対象物変化検出装置は、前記対象物検出手段により検出した前記対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段、を更に備え、前記形状情報取得手段は、前記処理対象領域抽出手段により抽出した前記処理対象領域から前記対象物の特徴量分布を取得することが好ましい。

また、上記記載の対象物変化検出装置は、前記形状情報蓄積手段により蓄積した前記確率分布を用いて、前記所定時間前の前記確率分布と現在の前記確率分布との差を、前記対象物の形状変化情報として取得する形状変化情報取得手段と、前記形状変化情報取得手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、を更に備え、前記対象物変化検出手段は、前記形状変化情報蓄積手段により蓄積した前記形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、前記対象物の変化を検出することが好ましい。

また、上記記載の対象物変化検出装置は、前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段、を更に備え、前記対象物変化検出手段は、前記形状変化平均化手段により取得した平均化形状変化情報を用いて前記類似度を計算し、当該類似度が前記所定の閾値より小さい場合に、前記対象物の変化を検出することが好ましい。

また、上記記載の対象物変化検出装置において、前記所定の特徴量は、確率分布として表せる特徴量であり、画像の輝度自体を使用する第１特徴量、画像のエッジを使用する第２特徴量、および、画像の色を使用する第３特徴量のうち少なくとも１つを含むことが好ましい。

また、上記記載の対象物変化検出装置において、前記第１特徴量は、輝度、輝度のＰＣＡ、Ｈｕ ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含み、第２特徴量は、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含み、第３特徴量は、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含むことが好ましい。

また、上記記載の対象物変化検出装置において、前記所定の尺度は、確率分布間の差異を距離または擬距離で計る尺度であることが好ましい。

また、上記記載の対象物変化検出装置において、前記距離は、マンハッタン距離、ユークリッド距離、一様ノルム、マハラノビス距離、ハミング距離のうち少なくとも１つを含み、前記擬距離は、カルバック・ライブラー情報量を含むことが好ましい。

また、上記記載の対象物変化検出装置において、前記類似度は、コサイン類似度を含むことが好ましい。

本発明の対象物変化検出方法は、画像から対象物を検出する対象物検出ステップと、前記対象物検出ステップにて検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得ステップと、前記形状情報取得ステップにて取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積ステップと、前記形状情報蓄積ステップにて蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出ステップと、を含むことを特徴とする。

本発明は、車両周辺の対象物の変化を迅速かつ正確に検出できるという効果を奏する。

図１は、本発明に係る対象物変化検出装置の構成の一例を示すブロック図である。 図２は、実施形態１にかかる対象物変化検出処理の一例を示すフローチャートである。 図３は、実施形態１にかかる変化検出用グラフの一例を示す図である。 図４は、実施形態２にかかる対象物変化検出処理の一例を示すフローチャートである。 図５は、実施形態２にかかる対象物画像領域と処理対象領域の一例を示す図である。 図６は、実施形態３にかかる対象物変化検出処理の一例を示すフローチャートである。 図７は、実施形態３にかかる変化検出用グラフの一例を示す図である。 図８は、実施形態４にかかる対象物変化検出処理の一例を示すフローチャートである。 図９は、実施形態４にかかる変化検出用グラフの一例を示す図である。

以下に、本発明にかかる対象物変化検出装置および対象物変化検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。

本発明にかかる対象物変化検出装置の構成について図１を参照しながら説明する。図１は、本発明にかかる対象物変化検出装置の構成の一例を示すブロック図である。

図１に示すように、対象物変化検出装置１は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。カメラ２は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等である。カメラ２は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。

対象物変化検出装置１は、制御部１２および記憶部１４を備えている。制御部１２は、対象物変化検出装置１を統括的に制御するものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはハードディスクなどである。

記憶部１４は、形状情報記憶部１４ａ、処理対象領域記憶部１４ｂ、形状変化情報記憶部１４ｃ、平均化形状変化情報記憶部１４ｄを備えている。

形状情報記憶部１４ａは、画像データから抽出された対象物の形状情報を記憶する形状情報記憶手段である。対象物は、自車両周辺に存在する、歩行者、自転車、バイク、車両等の移動物体の少なくとも１つを含む。また、対象物は、車両のドア等の対象物の一部であってもよい。形状情報は、対象物の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、画像データの輝度自体を使用する第１特徴量、画像データのエッジを使用する第２特徴量、および、画像データの色を使用する第３特徴量のうち少なくとも１つを含む。第１特徴量は、例えば、輝度、輝度のＰＣＡ、Ｈｕ ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含む。第２特徴量は、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含む。第３特徴量は、例えば、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含む。

処理対象領域記憶部１４ｂは、対象物を含む画像データの画像領域の一部に対応する処理対象領域を記憶する処理対象領域記憶手段である。形状変化情報記憶部１４ｃは、所定時間内における形状情報の時間変化を示す形状変化情報を記憶する形状変化情報記憶手段である。平均化形状変化情報記憶部１４ｄは、形状変化情報の平均を示す平均化形状変化情報を記憶する平均化形状変化情報記憶手段である。

制御部１２は、対象物検出部１２ａ、処理対象領域抽出部１２ｂ、形状情報取得部１２ｃ、正規化部１２ｄ、形状情報蓄積部１２ｅ、形状変化情報取得部１２ｆ、形状変化情報蓄積部１２ｇ、形状変化平均化部１２ｈ、および、対象物変化検出部１２ｉを備えている。

対象物検出部１２ａは、画像から対象物を検出する対象物検出手段である。対象物検出部１２ａは、予め記憶部１４に記憶された対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。

処理対象領域抽出部１２ｂは、対象物検出部１２ａにより検出した対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段である。処理対象領域は、後述する対象物変化検出部１２ｉによる対象物の変化検出処理に有効な所定領域である。例えば対象物が歩行者の場合、処理対象領域は、歩行者の全体のみまたは下半身のみを含む領域等を含む。処理対象領域抽出部１２ｂは、抽出した処理対象領域を処理対象領域記憶部１４ｂに格納してもよい。

形状情報取得部１２ｃは、対象物検出部１２ａにより検出した対象物の形状情報を表す特徴量分布を取得する形状情報取得手段である。具体的には、形状情報取得部１２ｃは、所定の特徴量を用いて、対象物検出部１２ａにより検出した対象物の特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量であり、上述の第１特徴量、第２特徴量、および、第３特徴量の少なくとも１つを含む。また、形状情報取得部１２ｃは、処理対象領域抽出部１２ｂにより抽出した処理対象領域、または、処理対象領域記憶部１４ｂに記憶された処理対象領域から対象物の特徴量分布を取得してもよい。

正規化部１２ｄは、形状情報取得部１２ｃにより取得した特徴量分布により表される形状情報を正規化する正規化手段である。具体的には、正規化部１２ｄは、形状情報取得部１２ｃにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。

形状情報蓄積部１２ｅは、形状情報取得部１２ｃにより取得した特徴量分布により表される形状情報を蓄積する形状情報蓄積手段である。ここで、形状情報蓄積部１２ｅは、正規化部１２ｄにより正規化した形状情報を蓄積する。具体的には、形状情報蓄積部１２ｅは、正規化部１２ｄにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部１２ｅは、正規化した形状情報（確率分布）を形状情報記憶部１４ａに格納する。なお、本実施形態において、形状情報蓄積部１２ｅは、形状情報取得部１２ｃにより取得した正規化前の特徴量分布を蓄積してもよい。

形状変化情報取得部１２ｆは、形状情報蓄積部１２ｅにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部１４ａに記憶された確率分布、を用いて、所定時間前の確率分布と現在の確率分布との差を、対象物の形状変化情報として取得する形状変化情報取得手段である。

形状変化情報蓄積部１２ｇは、形状変化情報取得部１２ｆにより取得した形状変化情報を蓄積する形状変化情報蓄積手段である。すなわち、形状変化情報蓄積部１２ｇは、取得した形状変化情報を形状変化情報記憶部１４ｃに格納する。

形状変化平均化部１２ｈは、形状変化情報蓄積部１２ｇにより蓄積した複数の形状変化情報、すなわち、形状変化情報記憶部１４ｃに記憶された形状変化情報、を平均化して、平均化形状変化情報を取得する形状変化平均化手段である。形状変化平均化部１２ｈは、取得した平均化形状変化情報を平均化形状変化情報記憶部１４ｄに格納してもよい。

対象物変化検出部１２ｉは、形状情報蓄積部１２ｅにより蓄積した形状情報、すなわち、形状情報記憶部１４ａに記憶された形状情報、を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する対象物変化検出手段である。対象物の変化とは、交通環境における対象物の危険な変化を意味し、対象物の運動変化開始時における形状の変化を含む。対象物の変化としては、これに限定されないが、例えば、歩行者や自転車が急に動きを変えて道路に出てくるという変化、併走車車両やバイクが急に車線変更して自車線に割り込んでくるという変化、前方車両が急にＵターンを開始するという変化、前方車両が道路脇の店等に入るために急に右左折を開始するという変化、および、駐車車両のドアが急に開くという変化などを含む。

具体的には、対象物変化検出部１２ｉは、所定の尺度を用いて、形状情報記憶部１４ａに記憶された所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、対象物の変化を検出する。所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Ｌｐ ｎｏｒｍ、例えば、Ｌ１ ｎｏｒｍ（マンハッタン距離）、Ｌ２ ｎｏｒｍ（ユークリッド距離）、Ｌ ｉｎｆｉｎｉｔｙ ｎｏｒｍ（一様ノルム）等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルｐ（ｔ）から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）（以下、ＫＬ情報量と呼ぶ）を含む。ここで、ＫＬ情報量とは、２つの確率分布Ｐ，Ｑ間の差異を計る尺度であり、情報理論分野において周知である。

なお、本実施形態において、対象物変化検出部１２ｉは、形状情報蓄積部１２ｅにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部１４ａに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、計算された差が所定の閾値より大きい場合に、対象物の変化を検出してもよい。

ここで、対象物変化検出部１２ｉは、形状変化情報蓄積部１２ｇにより蓄積した形状変化情報、すなわち、形状変化情報記憶部１４ｃに記憶された形状変化情報、を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出してもよい。類似度は、これに限定されないが、コサイン類似度等を含む。また、対象物変化検出部１２ｉは、形状変化平均化部１２ｈにより取得した平均化形状変化情報、または、平均化形状変化情報記憶部１４ｄに記憶された平均化形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出してもよい。

続いて、図２〜図９を参照して、上述した対象物変化検出装置１において実行される対象物変化検出処理について説明する。以下、本発明における対象物変化検出装置１において実行される対象物変化検出処理について、実施形態１〜４の順に説明する。なお、以下の対象物変化検出処理において、車両周辺に存在する対象物として、歩行者を一例に説明するが、これに限定されない。また、対象物の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、確率分布Ｐ，Ｑ間の差異を計る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。

〔実施形態１〕
実施形態１では、対象物検出部１２ａと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される対象物変化検出処理について、図２および図３を参照して説明する。図２は、実施形態１にかかる対象物変化検出処理の一例を示すフローチャートである。図３は、実施形態１にかかる変化検出用グラフの一例を示す図である。

図２に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＡ１）。

つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＡ１で取得した画像データから対象物として歩行者を検出する（ステップＳＡ２）。例えば、対象物検出部１２ａは、予め記憶部１４に記憶された歩行者等の対象物の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。

つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＡ２で検出した対象物の形状情報を表す特徴量分布を取得する（ステップＳＡ３）。具体的には、形状情報取得部１２ｃは、ステップＳＡ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。ここで、ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物を含む画像データのどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。

つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＡ３で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＡ４）。

つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＡ４で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＡ５）。すなわち、形状情報蓄積部１２ｅは、ステップＳＡ４で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、対象物変化検出装置１の制御部１２は、下記の数式（２）に示すように、ステップＳＡ５で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＡ６）。制御部１２は、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。

つぎに、対象物変化検出部１２ｉは、ステップＳＡ６で計算した差ｄ（ｔ，ｎ）が、図３に示すように、所定の閾値Ｔｈｒｅより大きいか否かを判定する（ステップＳＡ７）。図３の縦軸は、ＫＬ情報量を示し、横軸は、時間のフレームを示している。図３において、フレーム５４〜１７４までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１８０では歩行者が急に動きを変えた状態を表している。

対象物変化検出部１２ｉは、ステップＳＡ７で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅより大きいと判定した場合（ステップＳＡ７：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＡ８）。その後、対象物変化検出処理を終了する。なお、ステップＳＡ８の処理の後、ステップＳＡ１に戻り、対象物変化検出処理を繰り返し実行してもよい。

対象物変化検出部１２ｉは、ステップＳＡ７で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅ未満であると判定した場合（ステップＳＡ７：Ｎｏ）、ステップＳＡ１の処理に戻る。

このように、実施形態１において、対象物変化検出部１２ｉは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。

以上、実施形態１によれば、従来技術よりも、車両周辺の対象物の変化を迅速かつ正確に検出できる。例えば、従来技術の特許文献１に記載の歩行者飛び出し予測装置では、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があったが、実施形態１によれば、対象物の形状に基づいて、交通環境における対象物の危険な変化（例えば、歩行者の飛び出し）を検出しているので、車両周辺の対象物の変化を迅速かつ正確に検出することができる。また、従来技術の特許文献２に記載の歩行者認識装置では、歩行者が横断を開始した後でないと、自車両の進路を横断する可能性がある歩行者を予測できず、小さな歩幅で飛び出してくる歩行者の行動を予測できないという問題もあったが、実施形態１によれば、歩行者の歩幅の大小に関係なく、歩行者が横断を開始する前に対象物の変化を検出できるので、車両周辺の対象物の変化を迅速かつ正確に検出できる。また、従来技術の特許文献３に記載の車外監視装置では、車線幅の広い高速道路では適用できず、センサの構成が複雑になるという問題があったが、実施形態１によれば、側壁の有無に関係なく、簡易なカメラの構成で対象物変化検出を実現できる。このように、実施形態１によれば、運転者が車両を運転中に車両周辺の対象物の危険な変化が生じた場合、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。

ここで、車両周辺の対象物の危険な変化は、連続変化と不連続変化に分類できる。例えば、対象物を歩行者とした場合、連続変化としては、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。一方、不連続変化としては、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。従来技術では、線形予測により、この連続変化（例えば、対象物が連続的に移動する動作、対象物が動いている状態から停止する動作、および、対象物が減速する動作等）については、検出可能であったが、不連続変化については迅速かつ正確に検出することができなかった。

一方、実施形態１の対象物変化検出装置１は、画像から対象物を検出し、所定の特徴量を用いて、検出した対象物の形状情報を表す特徴量分布を取得し、取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、取得した確率分布を蓄積する。そして、実施形態１の対象物変化検出装置１は、所定の尺度を用いて、蓄積した所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、対象物の変化を検出する。これにより、実施形態１の対象物変化検出装置１によれば、従来技術では十分に対応できなかった不連続変化（例えば、対象物が止まっている状態から動き始める動作、対象物が加速する動作、および、対象物が方向転換する動作等）についても、迅速かつ正確に検出することができる。例えば、実施形態１によれば、不連続変化の一例として、歩行者や自転車が急に動きを変えて道路に出てくる、併走車車両やバイクが急に車線変更して自車線に割り込んでくる、前方車両が急にＵターンを開始する、前方車両が道路脇の店等に入るために急に右左折を開始する、および、駐車車両のドアが急に開くといった、車両周辺の対象物の危険な変化が生じた場合に、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。

〔実施形態２〕
実施形態２では、対象物検出部１２ａと、処理対象領域抽出部１２ｂと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される対象物変化検出処理について、図４および図５を参照して説明する。図４は、実施形態２にかかる対象物変化検出処理の一例を示すフローチャートである。図５は、実施形態２にかかる対象物画像領域と処理対象領域の一例を示す図である。

図４に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＢ１）。

つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＢ１で取得した画像データから対象物として歩行者を検出する（ステップＳＢ２）。

つぎに、対象物変化検出装置１の処理対象領域抽出部１２ｂは、ステップＳＢ２で検出した対象物を含む画像領域から処理対象領域を抽出する（ステップＳＢ３）。具体的には、図５に示すように、処理対象領域抽出部１２ｂは、対象物を含む画像領域内でパターンマッチング等を行うことにより、対象物の変化検出処理に有効な領域である処理対象領域（図５（ａ）および（ｂ）の太字で囲った領域）を抽出する。図５（ａ）では、対象物が歩行者の場合は下半身の形状の変化が重要となるため、処理対象領域を画像領域の下半分に設定している。図５（ｂ）では、対象物が歩行者の場合は歩道の線などの背景画像は変化検出処理に不要な領域となるため、歩行者の全体のみを含むよう処理対象領域を設定している。ここで、処理対象領域抽出部１２ｂは、抽出した処理対象領域を処理対処領域記憶部１４ｂに格納してもよい。

つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＢ３で抽出した処理対象領域から対象物の形状情報を取得する（ステップＳＢ４）。具体的には、形状情報取得部１２ｃは、ステップＳＢ３で抽出した処理対象領域から、対象物の形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。

つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＢ４で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＢ５）。

つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＢ５で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＢ６）。すなわち、形状情報蓄積部１２ｅは、ステップＳＢ５で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、対象物変化検出装置１の制御部１２は、下記の数式（２）に示すように、ステップＳＢ６で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＢ７）。制御部１２は、例えば、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。

つぎに、対象物変化検出部１２ｉは、ステップＳＢ７で計算した差ｄ（ｔ，ｎ）が、上述の図３に示すように、所定の閾値Ｔｈｒｅより大きいか否かを判定する（ステップＳＢ８）。

対象物変化検出部１２ｉは、ステップＳＢ８で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅより大きいと判定した場合（ステップＳＢ８：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＢ９）。その後、対象物変化検出処理を終了する。なお、ステップＳＢ９の処理の後、ステップＳＢ１に戻り、対象物変化検出処理を繰り返し実行してもよい。

対象物変化検出部１２ｉは、ステップＳＢ８で差ｄ（ｔ，ｎ）が閾値Ｔｈｒｅ未満であると判定した場合（ステップＳＢ８：Ｎｏ）、ステップＳＢ１の処理に戻る。

このように、実施形態２において、形状情報取得部１２ｃは、抽出した処理対象領域から対象物の形状情報を取得し、対象物変化検出部１２ｉは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。

以上、実施形態２によれば、対象物の形状の変化を検出する範囲を限定しているため、対象物変化検出処理の検出精度や計算速度を向上させることができる。これにより、実施形態２によれば、車両周辺の対象物の変化をより迅速かつ正確に検出できるので、交通事故の発生可能性をより低減することができる。

〔実施形態３〕
実施形態３では、対象物検出部１２ａと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、形状変化情報取得部１２ｆと、形状変化情報蓄積部１２ｇと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される対象物変化検出処理について、図６および図７を参照して説明する。図６は、実施形態３にかかる対象物変化検出処理の一例を示すフローチャートである。図７は、実施形態３にかかる変化検出用グラフの一例を示す図である。

図６に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＣ１）。

つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＣ１で取得した画像データから対象物として歩行者を検出する（ステップＳＣ２）。

つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＣ２で検出した対象物の形状情報を取得する（ステップＳＣ３）。具体的には、形状情報取得部１２ｃは、ステップＳＣ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。

つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＣ３で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＣ４）。

つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＣ４で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＣ５）。すなわち、形状情報蓄積部１２ｅは、ステップＳＣ４で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、対象物変化検出装置１の形状変化情報取得部１２ｆは、下記の数式（２）に示すように、ステップＳＣ５で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態３において、形状変化情報）の計算を行う（ステップＳＣ６）。形状変化情報取得部１２ｆは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、形状変化情報取得部１２ｆは、ステップＳＣ５で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。

つぎに、対象物変化検出装置１の形状変化情報蓄積部１２ｇは、ステップＳＣ６で取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｃに蓄積する（ステップＳＣ７）。具体的には、形状変化情報蓄積部１２ｇは、ステップＳＣ６で計算した形状変化情報ｄ（ｔ，ｎ）をｌフレーム分蓄積した、下記の数式（４）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。

つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、下記の数式（５）および数式（６）を用いて、類似度ｃｏｓθを計算する（ステップＳＣ８）。ここで、類似度ｃｏｓθは、ｎ次元空間での類似度を分析する際に当該技術分野において一般的に用いられるｎ次元ベクトルの類似度である。具体的には、類似度ｃｏｓθは、コサイン類似度と呼ばれ、ベクトルのなす角θの余弦ｃｏｓθのことを意味し、ベクトルの向きの近さを類似性の指標としたものである。ベクトルの向きが一致している場合は最大値の１となり、ベクトルの向きが直行する場合は０となり、ベクトルの向きが逆になる場合は最小値の−１となる。

つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、ステップＳＣ８で計算した類似度ｃｏｓθが、図７に示すように、所定の閾値Ｔｈｒｅより小さいか否かを判定する（ステップＳＣ９）。図７の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図７において、フレーム６６〜１６２までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１６８〜１８０では、歩行者が急に動きを変えた状態を表している。

対象物変化検出部１２ｉは、ステップＳＣ９で類似度ｃｏｓθが閾値Ｔｈｒｅより小さいと判定した場合（ステップＳＣ９：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＣ１０）。その後、対象物変化検出処理を終了する。なお、ステップＳＣ１０の処理の後、ステップＳＣ１に戻り、対象物変化検出処理を繰り返し実行してもよい。

対象物変化検出部１２ｉは、ステップＳＣ９で類似度ｃｏｓθが閾値Ｔｈｒｅ以上であると判定した場合（ステップＳＣ９：Ｎｏ）、ステップＳＣ１の処理に戻る。

このように、実施形態３において、形状変化情報取得部１２ｆは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報との差を対象物の形状変化情報として取得し、形状変化情報蓄積部１２ｇは、取得した形状変化情報を蓄積する。そして、対象物変化検出部１２ｉは、蓄積した形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。

以上、実施形態３によれば、対象物の形状情報の時間変化を形状変化情報として蓄積し、コサイン類似度を用いて類似性を分析しているため、対象物変化検出処理の検出精度をより一層向上させることができる。これにより、実施形態３によれば、車両周辺の対象物の変化をより一層迅速かつ正確に検出できるので、交通事故の発生可能性をより一層低減することができる。なお、実施形態３において、対象物の変化を検出する際に、類似度を閾値と比較する例について説明したが、これに限られない。実施形態３の対象物変化検出装置１は、類似度の有無のみで対象物の変化を検出してもよい。

〔実施形態４〕
実施形態４では、対象物検出部１２ａと、形状情報取得部１２ｃと、正規化部１２ｄと、形状情報蓄積部１２ｅと、形状変化情報取得部１２ｆと、形状変化情報蓄積部１２ｇと、形状変化平均化部１２ｈと、対象物変化検出部１２ｉとを備える対象物変化検出装置１において実行される、対象物変化検出処理について、図８および図９を参照して説明する。図８は、実施形態４にかかる対象物変化検出処理の一例を示すフローチャートである。図９は、実施形態４にかかる変化検出用グラフの一例を示す図である。

図８に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＤ１）。

つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＤ１で取得した画像データから対象物として歩行者を検出する（ステップＳＤ２）。

つぎに、対象物変化検出装置１の形状情報取得部１２ｃは、ステップＳＤ２で検出した対象物の形状情報を取得する（ステップＳＤ３）。具体的には、形状情報取得部１２ｃは、ステップＳＣ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。

つぎに、正規化部１２ｄは、下記の数式（１）を示すように、ステップＳＤ３で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＤ４）。

つぎに、対象物変化検出装置１の形状情報蓄積部１２ｅは、ステップＳＣ４で取得した形状情報を形状情報記憶部１４ａに蓄積する（ステップＳＣ５）。すなわち、形状情報蓄積部１２ｅは、ステップＳＣ４で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、対象物変化検出装置１の形状変化情報取得部１２ｆは、下記の数式（２）に示すように、ステップＳＣ５で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態４において、形状変化情報）の計算を行う（ステップＳＤ６）。形状変化情報取得部１２ｆは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、形状変化情報取得部１２ｆは、ステップＳＤ５で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。

つぎに、対象物変化検出装置１の形状変化情報蓄積部１２ｇは、ステップＳＤ６で取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｃに蓄積する（ステップＳＤ７）。具体的には、形状変化情報蓄積部１２ｇは、ステップＳＤ６で計算した形状変化情報ｄ（ｔ，ｎ）をｌフレーム分蓄積した、下記の数式（４）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。

つぎに、対象物変化検出装置１の形状変化平均化部１２ｈは、下記の数式（７）を用いて、ステップＳＤ７で計算したベクトルｕ（ｔ，ｎ，ｌ）を更にＫ個分足し合わせて、時間平均を取ることによりノイズを低減する（ステップＳＤ８）。このように、形状変化平均化部１２ｈは、ステップＳＤ７で蓄積した複数の形状変化情報を平均化して、平均化形状変化情報としてベクトルｕ（ｔ，Ｋ，ｎ，ｌ）を取得する。

つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、下記の数式（５）および数式（６）を用いて、類似度ｃｏｓθを計算する（ステップＳＤ９）。

つぎに、対象物変化検出装置１の対象物変化検出部１２ｉは、ステップＳＤ９で計算した類似度ｃｏｓθが、図９に示すように、所定の閾値Ｔｈｒｅより小さいか否かを判定する（ステップＳＤ１０）。図９の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図９では、４つのサンプル数分（Ｋ＝４）の時間平均を取った場合を表している。図９に示すように、４つともフレーム１８０付近で急激な変化を示しており、フレーム１８０付近で歩行者が急に動きを変えた状態を表している。

対象物変化検出部１２ｉは、ステップＳＤ１０で類似度ｃｏｓθが閾値Ｔｈｒｅより小さいと判定した場合（ステップＳＤ１０：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＤ１１）。その後、対象物変化検出処理を終了する。なお、ステップＳＤ１１の処理の後、ステップＳＤ１に戻り、対象物変化検出処理を繰り返し実行してもよい。

対象物変化検出部１２ｉは、ステップＳＤ１０で類似度ｃｏｓθが閾値Ｔｈｒｅ以上であると判定した場合（ステップＳＤ１０：Ｎｏ）、ステップＳＤ１の処理に戻る。

このように、実施形態４において、形状変化情報取得部１２ｆは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報との差を対象物の形状変化情報として取得し、形状変化情報蓄積部１２ｇは、取得した形状変化情報を蓄積する。更に、形状変化平均化部１２ｈは、蓄積した複数の形状変化情報を平均化して、平均化形状変化情報を取得する。そして、対象物変化検出部１２ｉは、取得した平均化形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、対象物の変化を検出する。その後、対象物変化検出部１２ｉは、対象物の変化の有無の判定終了後、次のフレームｊの画像取得に戻る。

以上、実施形態４によれば、対象物の形状情報の時間変化を形状変化情報として蓄積し、平均化したコサイン類似度を用いて類似性を分析しているため、実施形態３よりも対象物変化検出処理の検出精度をより一層向上させることができる。これにより、実施形態４によれば、車両周辺の対象物の変化をより一層迅速かつ正確に検出できるので、交通事故の発生可能性をより一層低減することができる。

その他、本発明に係る対象物変化検出装置１は、上述の実施形態１〜４を適宜組み合わせて実行してもよい。また、本発明に係る対象物変化検出装置１は、対象物を含む画像の背景の複雑度に応じて実施形態１〜４を使い分けてもよい。例えば、車両が街中を走行中の場合、対象物である歩行者や他車両を含む背景に種々の物体が含まれるため複雑になることが考えられる。この場合、本発明に係る対象物変化検出装置１は、背景画像のノイズを低減するために実施形態４を実行してもよい。また、例えば、高速道路を走行中の場合、対象物である他車両やバイクを含む背景が比較的単純になることが考えられる。この場合、本発明に係る対象物変化検出装置１は、計算負荷の少ない実施形態１を実行してもよい。また、本発明に係る対象物変化検出装置１は、実施形態１〜４に示した不連続変化を検出する処理と並行して、従来の線形予測を行うことで連続変化を検出する処理を実行してもよい。

１ 対象物変化検出装置
１２ 制御部
１２ａ 対象物検出部
１２ｂ 処理対象領域抽出部
１２ｃ 形状情報取得部
１２ｄ 正規化部
１２ｅ 形状情報蓄積部
１２ｆ 形状変化情報取得部
１２ｇ 形状変化情報蓄積部
１２ｈ 形状変化平均化部
１２ｉ 対象物変化検出部
１４ 記憶部
１４ａ 形状情報記憶部
１４ｂ 処理対象領域記憶部
１４ｃ 形状変化情報記憶部
１４ｄ 平均化形状変化情報記憶部
２ カメラ

本発明の対象物変化検出装置は、カメラから自車両周辺が写し出されている画像データを取得し、取得した当該画像データから対象物を検出する対象物検出手段と、所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、前記正規化手段により取得した前記確率分布を蓄積する形状情報蓄積手段と、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記対象物の変化を検出する対象物変化検出手段と、を備えることを特徴とする。

本発明の対象物変化検出方法は、カメラから自車両周辺が写し出されている画像データを取得し、取得した当該画像データから対象物を検出する対象物検出ステップと、所定の特徴量を用いて、前記対象物検出ステップにて検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得ステップと、前記形状情報取得ステップにて取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化ステップと、前記正規化ステップにて取得した前記確率分布を蓄積する形状情報蓄積ステップと、所定の尺度を用いて、前記形状情報蓄積ステップにて蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記対象物の変化を検出する対象物変化検出ステップと、を含むことを特徴とする。

Claims (12)

1. 画像から対象物を検出する対象物検出手段と、
   前記対象物検出手段により検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、
   前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積手段と、
   前記形状情報蓄積手段により蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出手段と、
   を備えることを特徴とする対象物変化検出装置。
2. 前記形状情報取得手段により取得した前記特徴量分布により表される前記形状情報を正規化する正規化手段、
   を更に備え、
   前記形状情報蓄積手段は、
   前記正規化手段により正規化した前記形状情報を蓄積することを特徴とする請求項１に記載の対象物変化検出装置。
3. 前記形状情報取得手段は、
   所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物の前記特徴量分布を取得し、
   前記正規化手段は、
   前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、
   前記形状情報蓄積手段は、
   前記正規化手段により取得した前記確率分布を蓄積し、
   前記対象物変化検出手段は、
   所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が所定の閾値より大きい場合に、前記対象物の変化を検出することを特徴とする請求項２に記載の対象物変化検出装置。
4. 前記対象物検出手段により検出した前記対象物を含む画像領域から処理対象領域を抽出する処理対象領域抽出手段、
   を更に備え、
   前記形状情報取得手段は、
   前記処理対象領域抽出手段により抽出した前記処理対象領域から前記対象物の前記特徴量分布を取得することを特徴とする請求項１に記載の対象物変化検出装置。
5. 前記形状情報蓄積手段により蓄積した前記確率分布を用いて、前記所定時間前の前記確率分布と現在の前記確率分布との差を、前記対象物の形状変化情報として取得する形状変化情報取得手段と、
   前記形状変化取得情報手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、
   を更に備え、
   前記対象物変化検出手段は、
   前記形状変化情報蓄積手段により蓄積した前記形状変化情報を用いて類似度を計算し、当該類似度が所定の閾値より小さい場合に、前記対象物の変化を検出することを特徴とする請求項３または４に記載の対象物変化検出装置。
6. 前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段、
   を更に備え、
   前記対象物変化検出手段は、
   前記形状変化平均化手段により取得した平均化形状変化情報を用いて前記類似度を計算し、当該類似度が前記所定の閾値より小さい場合に、前記対象物の変化を検出することを特徴とする請求項５に記載の対象物変化検出装置。
7. 前記所定の特徴量は、確率分布として表せる特徴量であり、
   画像の輝度自体を使用する第１特徴量、画像のエッジを使用する第２特徴量、および、画像の色を使用する第３特徴量のうち少なくとも１つを含むことを特徴とする請求項３に記載の対象物変化検出装置。
8. 前記第１特徴量は、
   輝度、輝度のＰＣＡ、Ｈｕ ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含み、
   第２特徴量は、
   ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含み、
   第３特徴量は、
   ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含むことを特徴とする請求項７に記載の対象物変化検出装置。
9. 前記所定の尺度は、確率分布間の差異を距離または擬距離で計る尺度であることを特徴とする請求項３に記載の対象物変化検出装置。
10. 前記距離は、
    マンハッタン距離、ユークリッド距離、一様ノルム、マハラノビス距離、ハミング距離のうち少なくとも１つを含み、
    前記擬距離は、
    カルバック・ライブラー情報量を含むことを特徴とする請求項９に記載の対象物変化検出装置。
11. 前記類似度は、コサイン類似度を含むことを特徴とする請求項６に記載の対象物変化検出装置。
12. 画像から対象物を検出する対象物検出ステップと、
    前記対象物検出ステップにて検出した前記対象物の形状情報を表す特徴量分布を取得する形状情報取得ステップと、
    前記形状情報取得ステップにて取得した前記特徴量分布により表される前記形状情報を蓄積する形状情報蓄積ステップと、
    前記形状情報蓄積ステップにて蓄積した前記形状情報を用いて、所定時間前の前記形状情報と現在の前記形状情報とを比較することで、前記対象物の変化を検出する対象物変化検出ステップと、
    を含むことを特徴とする対象物変化検出方法。

Images