JP5692024B2 - 対象物変化検出装置および対象物変化検出方法 - Google Patents

Description

本発明は、対象物変化検出装置および対象物変化検出方法に関する。

従来、車両周辺の対象物を検出する技術が開発されている。例えば、特許文献１には、自車両の前方に存在する歩行者の位置及び移動速度の時系列変化と周辺情報とを取得し、取得された位置及び移動速度の時系列変化と、歩行者が車道に飛び出すときの位置及び移動速度の時系列変化のパターンと比較すると共に、取得した周辺環境情報と、歩行者が車道に飛び出すときの予め求められた周辺環境情報とを比較することにより、自車両が走行している車道に歩行者が飛び出すか否かを予測する歩行者飛び出し予測装置が開示されている。

特開２０１０−１０２４３７号公報

しかしながら、従来技術においては、車両周辺の対象物の変化を迅速かつ正確に検出できないという問題点があった。例えば、特許文献１に記載の歩行者飛び出し予測装置では、歩行者の位置変化および速度変化のみを見ているため、位置および速度の変化が確認できるまで歩行者の飛び出しを予測できず、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があった。

本発明は、上記の事情に鑑みてなされたものであって、車両周辺の対象物の変化を迅速かつ正確に検出できる対象物変化検出装置および対象物変化検出方法を提供することを目的とする。

本発明の対象物変化検出装置は、画像から対象物の属性を検出する対象物検出手段と、前記対象物検出手段により検出した前記対象物の属性内の当該対象物の種類を示す種類情報を取得する種類情報取得手段と、前記種類情報取得手段により取得した前記種類情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段と、前記対象物検出手段により検出した前記対象物を含む前記画像から、前記閾値設定手段により設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出手段と、を備えることを特徴とする。

ここで、上記記載の対象物変化検出装置は、前記対象物検出手段により検出した前記対象物の属性の内の当該対象物の状態を示す状態情報を取得する状態情報取得手段、を更に備え、前記閾値設定手段は、前記種類情報取得手段により取得した前記種類情報および前記状態情報取得手段により取得した前記状態情報に基づいて前記変化検出用閾値を設定することが好ましい。

また、本発明の対象物変化検出装置は、画像から対象物の属性を検出する対象物検出手段と、前記対象物検出手段により検出した前記対象物の属性内の当該対象物の状態を示す状態情報を取得する状態情報取得手段と、前記状態情報取得手段により取得した前記状態情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段と、前記対象物検出手段により検出した前記対象物を含む前記画像から、前記閾値設定手段により設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出手段と、を備えることを特徴とする。

ここで、上記記載の対象物変化検出装置において、前記対象物変化検出手段は、所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が前記閾値設定手段により設定した前記変化検出用閾値よりも大きい場合に、前記対象物の変化を検出する変化検出手段と、を更に備えることが好ましい。

また、上記記載の対象物変化検出装置において、前記対象物変化検出手段は、前記対象物検出手段により検出した前記対象物を含む前記画像から処理対象領域を抽出する処理対象領域抽出手段、を更に備え、前記形状情報取得手段は、前記処理対象領域抽出手段により抽出した前記処理対象領域から前記対象物の前記特徴量分布を取得することが好ましい。

また、上記記載の対象物変化検出装置において、前記対象物変化検出手段は、前記形状情報蓄積手段により蓄積した前記確率分布を用いて、前記所定時間前の前記確率分布と現在の前記確率分布との差を、前記対象物の形状変化情報として取得する形状変化情報取得手段と、前記形状変化取得情報手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、を更に備え、前記変化検出手段は、前記形状変化情報蓄積手段により蓄積した前記形状変化情報を用いて類似度を計算し、当該類似度が前記閾値設定手段により設定した前記変化検出用閾値より小さい場合に、前記対象物の変化を検出することが好ましい。

また、上記記載の対象物変化検出装置において、前記対象物変化検出手段は、前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段、を更に備え、前記変化検出手段は、前記形状変化平均化手段により取得した平均化形状変化情報を用いて前記類似度を計算し、当該類似度が前記閾値設定手段により設定した前記変化検出用閾値より小さい場合に、前記対象物の変化を検出することが好ましい。

本発明の対象物変化検出方法は、画像から対象物の属性を検出する対象物検出ステップと、前記対象物検出ステップにて検出した前記対象物の属性内の当該対象物の種類を示す種類情報を取得する種類情報取得ステップと、前記種類情報取得ステップにて取得した前記種類情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定ステップと、前記対象物検出ステップにて検出した前記対象物を含む前記画像から、前記閾値設定ステップにて設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出ステップと、を含むことを特徴とする。

また、本発明の対象物変化検出方法は、画像から対象物の属性を検出する対象物検出ステップと、前記対象物検出ステップにて検出した前記対象物の属性内の当該対象物の状態を示す状態情報を取得する状態情報取得ステップと、前記状態情報取得ステップにて取得した前記状態情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定ステップと、前記対象物検出ステップにて検出した前記対象物を含む前記画像から、前記閾値設定ステップにて設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出ステップと、を含むことを特徴とする。

本発明は、車両周辺の対象物の変化を迅速かつ正確に検出できるという効果を奏する。

図１は、本発明に係る対象物変化検出装置の構成の一例を示すブロック図である。 図２は、実施形態１にかかる対象物変化検出装置の基本処理の一例を示すフローチャートである。 図３は、実施形態１にかかる対象物変化検出処理の詳細の一例を示すフローチャートである。 図４は、実施形態１にかかる変化検出用グラフの一例を示す図である。 図５は、実施形態１にかかる対象物変化検出処理の別の一例を示すフローチャートである。 図６は、実施形態１にかかる対象物を含む部分画像と処理対象領域の一例を示す図である。 図７は、実施形態１にかかる対象物変化検出処理の別の一例を示すフローチャートである。 図８は、実施形態１にかかる変化検出用グラフの別の一例を示す図である。 図９は、実施形態１にかかる対象物変化検出処理の別の一例を示すフローチャートである。 図１０は、実施形態１にかかる変化検出用グラフの別の一例を示す図である。 図１１は、実施形態２にかかる対象物変化検出装置の基本処理の一例を示すフローチャートである。

以下に、本発明にかかる対象物変化検出装置および対象物変化検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。

本発明にかかる対象物変化検出装置の構成について図１を参照しながら説明する。図１は、本発明にかかる対象物変化検出装置の構成の一例を示すブロック図である。

図１に示すように、対象物変化検出装置１は、例えば車両に搭載された自動車制御用コンピュータなどを用いて構成されたものであり、車両に搭載されているカメラ２と通信可能に接続されている。カメラ２は、自車両周辺を撮影し、自車両周辺が写し出されている画像データを生成する機器である。カメラ２は、例えば可視光領域または赤外線領域にて撮像可能なＣＣＤカメラまたはＣＭＯＳカメラ等である。カメラ２は、車両の前方、側方、後方等の車両周辺を撮像可能な任意の位置に設置される。

対象物変化検出装置１は、制御部１２および記憶部１４を備えている。制御部１２は、対象物変化検出装置１を統括的に制御するものであり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。記憶部１４は、データを記憶するためのものであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、またはハードディスクなどである。

記憶部１４は、種類別閾値記憶部１４ａ、状態別閾値記憶部１４ｂ、形状情報記憶部１４ｃ、処理対象領域記憶部１４ｄ、形状変化情報記憶部１４ｅ、平均化形状変化情報記憶部１４ｆを備えている。

種類別閾値記憶部１４ａは、対象物の属性ごとに作成された、対象物の種類別に対象物の変化検出に用いる所定の閾値を対応付けて記憶する種類別閾値記憶手段である。なお、対象物の変化検出の詳細については、後述する。ここで、対象物の属性とは、自車両周辺に存在し自車両の外乱となり得る、歩行者、自転車、バイク、車両等の移動物体の少なくとも１つを含む。また、対象物は、車両のドア等の対象物の一部であってもよい。例えば、対象物の属性が歩行者の場合、属性内の対象物の種類（すなわち、同一属性に属する対象物の種類）は、歩行者の年齢により区別される。一例として、対象物の種類を歩行者の年齢で区別する場合、対象物の種類は、例えば、子供、高齢者、成人等を含む。ここで、成人に比べ子供および高齢者は車道に飛び出す可能性が高いと考えられ、また高齢者に比べ子供は車道に急に飛び出す可能性が高いと考えられる。この場合、種類別閾値記憶部１４ａは、子供、高齢者、成人の順で閾値の値が変化するよう、子供には第１閾値、高齢者には第２閾値、成人には第３閾値といったように、対象物の種類別に対象物の変化検出に用いる所定の閾値を対応付けて記憶する。

つまり、種類別閾値記憶部１４ａは、対象物の種類が「子供」の場合、対象物（この場合、歩行者）の変化を最も早く検出できるよう大きめ（または小さめ）の値である子供用の第１閾値と対応付けて記憶する。また、種類別閾値記憶部１４ａは、対象物の種類が「高齢者」の場合、子供の次に対象物の変化を早く検出できるよう子供用の第１閾値より大きい（または小さい）値であり、かつ、成人用の第３閾値よりも小さい（または大きい）値である高齢者用の第２閾値と対応付けて記憶する。また、種類別閾値記憶部１４ａは、対象物の種類が「成人」の場合、高齢者の次に対象物の変化を検出できるよう高齢者用の第２閾値よりも大きい（または小さい）値である成人用の第３閾値と対応付けて記憶する。例えば、後述する図４において、子供用の第１閾値は「０．２５」であり、高齢者用の第２閾値は「０．２７５」であり、成人用の第３閾値は「０．３」である。また、後述する図８および図１０において、子供用の第１閾値は「０．９２」であり、高齢者用の第２閾値は「０．９１」であり、成人用の第３閾値は「０．９」である。

なお、本実施形態において、対象物の種類として歩行者の年齢により区別される子供、高齢者、成人を例に説明するが、これに限定されない。例えば、対象物の属性が車両の場合、対象物の種類は、車両タイプにより区別される。一例として、対象物の種類を車両タイプで区別する場合、対象物の種類は、例えば、タクシー、普通乗用車、トラック等を含む。ここで、トラックに比べタクシーおよび普通乗用車は車線変更する可能性が高いと考えられ、また普通乗用車に比べタクシーは急に車線変更する可能性が高いと考えられる。この場合、種類別閾値記憶部１４ａは、タクシー、普通乗用車、トラックの順で閾値の値が変化するよう、タクシーには第１閾値、普通情報者には第２閾値、トラックには第３閾値といったように、対象物の種類別に対象物の変化検出に用いる所定の閾値を対応付けて記憶してもよい。

状態別閾値記憶部１４ｂは、対象物の属性ごとに作成された、対象物の状態別に対象物の変化検出に用いる所定の閾値を対応付けて記憶した状態別閾値記憶手段である。なお、対象物の変化検出の詳細については後述する。例えば、対象物の属性が歩行者の場合、属性内の対象物の状態（すなわち、同一属性に属する対象物の状態）は、歩行者の向きにより区別される。一例として、対象物の種類を歩行者の向きで区別する場合、対象物の状態は、例えば、自車両に対して歩行者が横向きの状態、後ろ向きの状態、前向きの状態等を含む。横向きの状態とは、歩行者が車道を向いている状態であり、後ろ向きの状態とは、歩行者が自車両の進行方向と同じ方向を向いている状態であり、前向きの状態とは、歩行者が自車両に対面する方向に向いている状態である。ここで、後ろ向きおよび前向きに比べ横向きの状態は、車道に飛び出す可能性が高いと考えられ、また前向きに比べ後ろ向きの状態は、車道に飛び出す可能性が高いと考えられる。この場合、状態別閾値記憶部１４ｂは、横向き、後ろ向き、前向きの順で閾値の値が変化するよう、横向きの状態には第１閾値、後ろ向きの状態には第２閾値、前向きの状態には第３閾値といったように、対象物の状態別に対象物の変化検出に用いる所定の閾値を対応付けて記憶する。

つまり、状態別閾値記憶部１４ｂは、対象物の状態が「横向き」の場合、対象物（この場合、歩行者）の変化を最も早く検出できるよう大きめ（または小さめ）の値である横向き用の第１閾値と対応付けて記憶する。また、状態別閾値記憶部１４ｂは、対象物の状態が「後ろ向き」の場合、横向きの次に対象物の変化を早く検出できるよう横向き用の第１閾値より大きい（または小さい）値であり、かつ、前向き用の第３閾値よりも小さい（または大きい）値である後ろ向き用の第２閾値と対応付けて記憶する。また、状態別閾値記憶部１４ｂは、対象物の状態が「前向き」の場合、後ろ向きの次に対象物の変化を検出できるよう後ろ向き用の第２閾値よりも大きい（または小さい）値である前向き用の第３閾値と対応付けて記憶する。例えば、後述する図４において、横向き用の第１閾値は「０．２５」であり、後ろ向き用の第２閾値は「０．２７５」であり、前向き用の第３閾値は「０．３」である。また、後述する図８および図１０において、横向き用の第１閾値は「０．９２」であり、後ろ向き用の第２閾値は「０．９１」であり、前向き用の第３閾値は「０．９」である。

形状情報記憶部１４ｃは、画像データから抽出された対象物の形状情報を記憶する形状情報記憶手段である。形状情報は、対象物の形状の特徴量を示すデータである。なお、特徴量は、これに限定されないが、画像データの輝度自体を使用する第１特徴量、画像データのエッジを使用する第２特徴量、および、画像データの色を使用する第３特徴量のうち少なくとも１つを含む。第１特徴量は、例えば、輝度、輝度のＰＣＡ、Ｈｕ ｍｏｍｅｎｔ、ＬＢＰ、Ｈａａｒｌｉｋｅ ｆｅａｔｕｒｅ、および、ｐｏｓｅｌｅｔのうち少なくとも１つを含む。第２特徴量は、例えば、ＳＩＦＴ、ＰＣＡ、ＳＵＲＦ、ＧＬＯＨ、ｓｈａｐｅ ｃｏｎｔｅｘｔ、ＨＯＧ、ＣｏＨＯＧ、ＦＩＮＤ、および、ｅｄｇｅｌｅｔのうち少なくとも１つを含む。第３特徴量は、例えば、ＲＧＢ、および、Ｌａｂのうち少なくとも１つを含む。

処理対象領域記憶部１４ｄは、対象物を含む画像データの画像領域の一部に対応する処理対象領域を記憶する処理対象領域記憶手段である。形状変化情報記憶部１４ｅは、所定時間内における形状情報の時間変化を示す形状変化情報を記憶する形状変化情報記憶手段である。平均化形状変化情報記憶部１４ｆは、形状変化情報の平均を示す平均化形状変化情報を記憶する平均化形状変化情報記憶手段である。

制御部１２は、対象物検出部１２ａ、種類情報取得部１２ｂ、状態情報取得部１２ｃ、閾値設定部１２ｄ、および、対象物変化検出部１２ｅを備えている。ここで、対象物変化検出部１２ｅは、処理対象領域抽出部１２ｆ、形状情報取得部１２ｇ、正規化部１２ｈ、形状情報蓄積部１２ｉ、形状変化情報取得部１２ｊ、形状変化情報蓄積部１２ｋ、形状変化平均化部１２ｍ、および、変化検出部１２ｎを更に備えている。

対象物検出部１２ａは、画像から対象物の属性を検出する対象物検出手段である。対象物検出部１２ａは、予め記憶部１４に記憶された対象物の属性を特定可能な形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物を検出する。例えば、対象物検出部１２ａは、予め記憶部１４に記憶された、歩行者の形状、自転車の形状、バイクの形状、車両の形状等の対象物の属性を特定可能な形状の概要を示すデータを用いて、パターンマッチング等を行うことにより、対象物の属性が、歩行者、自転車、バイク、車両等であるかを検出する。

種類情報取得部１２ｂは、対象物検出部１２ａにより検出した対象物の属性内の当該対象物の種類を示す種類情報を取得する種類情報取得手段である。種類情報取得部１２ｂは、対象物検出部１２ａにより検出した対象物の属性において、予め対象物の属性ごとに記憶部１４に記憶された対象物の種類を特定可能な形状の概要を示すデータを用いて、パターンマッチング等を行うことにより種類情報を取得する。一例として、対象物検出部１２ａにより検出した対象物の属性が歩行者である場合、種類情報取得部１２ｂは、歩行者について予め記憶部１４に記憶された歩行者の年齢を特定可能な形状データを用いてパターンマッチングし、特定された歩行者の年齢に対応する対象物の種類として、子供、高齢者、成人のいずれかを示す種類情報を取得する。

状態情報取得部１２ｃは、対象物検出部１２ａにより検出した対象物の属性内の当該対象物の状態を示す状態情報を取得する状態情報取得手段である。状態情報取得部１２ｃは、対象物検出部１２ａにより検出した対象物の属性において、予め対象物の属性ごとに記憶部１４に記憶された対象物の状態を特定可能な形状の概要を示すデータを用いて、パターンマッチング等を行うことにより状態情報を取得する。一例として、対象物検出部１２ａにより検出した対象物の属性が歩行者である場合、状態情報取得部１２ｃは、歩行者について予め記憶部１４に記憶された歩行者の向きを特定可能な形状データを用いてパターンマッチングし、特定された歩行者の向きに対応する対象物の状態として、横向き、後ろ向き、前向きのいずれかを示す状態情報を取得する。

閾値設定部１２ｄは、種類情報取得部１２ｂにより取得した種類情報に基づいて対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段である。本実施形態において、閾値設定部１２ｄは、種類情報取得部１２ｂにより取得した種類情報に対応する閾値を、予め対象物の種類別に対象物の変化検出に用いる所定の閾値を対応付けて記憶した種類別閾値記憶部１４ａから検索し、検索した閾値を変化検出用閾値として設定する。一例として、対象物検出部１２ａにより検出した対象物の属性が歩行者であり、種類情報取得部１２ｂにより子供を示す種類情報を取得した場合、閾値設定部１２ｄは、子供用の第１閾値を種類別閾値記憶部１４ａから検索して変化検出用閾値として設定する。また、種類情報取得部１２ｂにより高齢者を示す種類情報を取得した場合、閾値設定部１２ｄは、高齢者用の第２閾値を種類別閾値記憶部１４ａから検索して変化検出用閾値として設定する。また、種類情報取得部１２ｂにより成人を示す種類情報を取得した場合、閾値設定部１２ｄは、成人用の第３閾値を種類別閾値記憶部１４ａから検索して変化検出用閾値として設定する。このように、閾値設定部１２ｄは、種類情報取得部１２ｂにより取得した種類情報が示す対象物の種類（例えば、子供、高齢者、成人等）に応じて、変化検出用閾値を変更する。なお、閾値設定部１２ｄは、種類情報取得部１２ｂにより取得した種類情報が示す対象物の種類に応じて決定される所定の補正量を用いて、予め固定された閾値の値を調整することで、対象物の種類に適合するように変化検出用閾値を変更してもよい。

また、閾値設定部１２ｄは、状態情報取得部１２ｃにより取得した状態情報に基づいて対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段である。本実施形態において、閾値設定部１２ｄは、状態情報取得部１２ｃにより取得した状態情報に対応する閾値を、予め対象物の状態別に対象物の変化検出に用いる所定の閾値を対応付けて記憶した状態別閾値記憶部１４ｂから検索し、検索した閾値を変化検出用閾値として設定する。一例として、対象物検出部１２ａにより検出した対象物の属性が歩行者であり、状態情報取得部１２ｃにより横向きの状態を示す状態情報を取得した場合、閾値設定部１２ｄは、横向き用の第１閾値を状態別閾値記憶部１４ｂから検索して変化検出用閾値として設定する。また、状態情報取得部１２ｃにより後ろ向きの状態を示す状態情報を取得した場合、閾値設定部１２ｄは、後ろ向き用の第２閾値を状態別閾値記憶部１４ｂから検索して変化検出用閾値として設定する。また、状態情報取得部１２ｃにより前向きの状態を示す状態情報を取得した場合、閾値設定部１２ｄは、前向き用の第３閾値を状態別閾値記憶部１４ｂから検索して変化検出用閾値として設定する。このように、閾値設定部１２ｄは、状態情報取得部１２ｃにより取得した状態情報が示す対象物の状態（例えば、横向き、後ろ向き、前向き等の状態）に応じて、変化検出用閾値を変更する。なお、閾値設定部１２ｄは、状態情報取得部１２ｃにより取得した状態情報が示す対象物の状態に応じて決定される所定の補正量を用いて、予め固定された閾値の値を調整することで、対象物の状態に適合するように変化検出用閾値を変更してもよい。

対象物変化検出部１２ｅは、対象物検出部１２ａにより検出した対象物を含む画像から、閾値設定部１２ｄにより設定した変化検出用閾値を用いて、対象物の変化を検出する対象物変化検出手段である。ここで、対象物変化検出部１２ｅが実行する対象物変化検出処理は、対象物変化検出部１２ｅが備える処理対象領域抽出部１２ｆ、形状情報取得部１２ｇ、正規化部１２ｈ、形状情報蓄積部１２ｉ、形状変化情報取得部１２ｊ、形状変化情報蓄積部１２ｋ、形状変化平均化部１２ｍ、および、変化検出部１２ｎが実行する各処理を含む。以下、処理対象領域抽出部１２ｆ〜変化検出部１２ｎについて説明する。

処理対象領域抽出部１２ｆは、対象物検出部１２ａにより検出した対象物を含む画像から処理対象領域を抽出する処理対象領域抽出手段である。処理対象領域は、後述する変化検出部１２ｎによる対象物の変化検出処理に有効な所定領域である。例えば対象物が歩行者の場合、処理対象領域は、歩行者の全体のみまたは下半身のみを含む領域等を含む。処理対象領域抽出部１２ｆは、抽出した処理対象領域を処理対象領域記憶部１４ｄに格納してもよい。

形状情報取得部１２ｇは、対象物検出部１２ａにより検出した対象物の形状情報を表す特徴量分布を取得する形状情報取得手段である。具体的には、形状情報取得部１２ｇは、所定の特徴量を用いて、対象物検出部１２ａにより検出した対象物の特徴量分布を取得する。ここで、所定の特徴量は、確率分布として表せる特徴量であり、上述の第１特徴量、第２特徴量、および、第３特徴量の少なくとも１つを含む。また、形状情報取得部１２ｇは、処理対象領域抽出部１２ｆにより抽出した処理対象領域、または、処理対象領域記憶部１４ｄに記憶された処理対象領域から対象物の特徴量分布を取得してもよい。

正規化部１２ｈは、形状情報取得部１２ｇにより取得した特徴量分布により表される形状情報を正規化する正規化手段である。具体的には、正規化部１２ｈは、形状情報取得部１２ｇにより取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する。

形状情報蓄積部１２ｉは、形状情報取得部１２ｇにより取得した特徴量分布により表される形状情報を蓄積する形状情報蓄積手段である。ここで、形状情報蓄積部１２ｉは、正規化部１２ｈにより正規化した形状情報を蓄積する。具体的には、形状情報蓄積部１２ｉは、正規化部１２ｈにより取得した確率分布を蓄積する。すなわち、形状情報蓄積部１２ｉは、正規化した形状情報（確率分布）を形状情報記憶部１４ｃに格納する。なお、本実施形態において、形状情報蓄積部１２ｉは、形状情報取得部１２ｇにより取得した正規化前の特徴量分布を蓄積してもよい。

形状変化情報取得部１２ｊは、形状情報蓄積部１２ｉにより蓄積した正規化済みの形状情報、すなわち、形状情報記憶部１４ｃに記憶された確率分布、を用いて、所定時間前の確率分布と現在の確率分布との差を、対象物の形状変化情報として取得する形状変化情報取得手段である。

形状変化情報蓄積部１２ｋは、形状変化情報取得部１２ｊにより取得した形状変化情報を蓄積する形状変化情報蓄積手段である。すなわち、形状変化情報蓄積部１２ｋは、取得した形状変化情報を形状変化情報記憶部１４ｅに格納する。

形状変化平均化部１２ｍは、形状変化情報蓄積部１２ｋにより蓄積した複数の形状変化情報、すなわち、形状変化情報記憶部１４ｅに記憶された形状変化情報、を平均化して、平均化形状変化情報を取得する形状変化平均化手段である。形状変化平均化部１２ｍは、取得した平均化形状変化情報を平均化形状変化情報記憶部１４ｆに格納してもよい。

変化検出部１２ｎは、形状情報蓄積部１２ｉにより蓄積した形状情報、すなわち、形状情報記憶部１４ｃに記憶された形状情報、を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する対象物変化検出手段である。対象物の変化とは、交通環境における対象物の危険な変化を意味し、対象物の運動変化開始時における形状の変化を含む。対象物の変化としては、これに限定されないが、例えば、歩行者や自転車が急に動きを変えて道路に出てくるという変化、併走車車両やバイクが急に車線変更して自車線に割り込んでくるという変化、前方車両が急にＵターンを開始するという変化、前方車両が道路脇の店等に入るために急に右左折を開始するという変化、および、駐車車両のドアが急に開くという変化などを含む。

具体的には、変化検出部１２ｎは、所定の尺度を用いて、形状情報記憶部１４ｃに記憶された所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が閾値設定部１２ｄにより設定した変化検出用閾値より大きい場合に、対象物の変化を検出する。所定の尺度とは、確率分布間の差異を距離または擬距離で計る尺度である。距離は、これに限定されないが、Ｌｐ ｎｏｒｍ、例えば、Ｌ１ ｎｏｒｍ（マンハッタン距離）、Ｌ２ ｎｏｒｍ（ユークリッド距離）、Ｌ ｉｎｆｉｎｉｔｙ ｎｏｒｍ（一様ノルム）等を含む。また、距離は、マハラノビス距離を含んでいてもよい。このマハラノビス距離を用いる場合、過去の複数のベクトルｐ（ｔ）から分布を作成しておくことが好ましい。また、距離は、ハミング距離を含んでいてもよい。このハミング距離を用いる場合、ある程度数値を離散化しておくことが好ましい。また、擬距離は、これに限定されないが、カルバック・ライブラー情報量（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）（以下、ＫＬ情報量と呼ぶ）を含む。ここで、ＫＬ情報量とは、２つの確率分布Ｐ，Ｑ間の差異を計る尺度であり、情報理論分野において周知である。

なお、本実施形態において、変化検出部１２ｎは、形状情報蓄積部１２ｉにより正規化前の特徴量分布を蓄積した場合、形状情報記憶部１４ｃに記憶された所定時間前の特徴量分布および現在の特徴量分布をそれぞれ正規化して、当該所定時間前の特徴量分布および当該現在の特徴量分布に対応する確率分布をそれぞれ取得し、所定の尺度を用いて、取得した所定時間前の確率分布と現在の確率分布との差を計算して、計算された差が閾値設定部１２ｄにより設定した変化検出用閾値より大きい場合に、対象物の変化を検出してもよい。

ここで、変化検出部１２ｎは、形状変化情報蓄積部１２ｋにより蓄積した形状変化情報、すなわち、形状変化情報記憶部１４ｅに記憶された形状変化情報、を用いて類似度を計算し、当該類似度が閾値設定部１２ｄにより設定した変化検出用閾値より小さい場合に、対象物の変化を検出してもよい。類似度は、これに限定されないが、コサイン類似度等を含む。また、変化検出部１２ｎは、形状変化平均化部１２ｍにより取得した平均化形状変化情報、または、平均化形状変化情報記憶部１４ｆに記憶された平均化形状変化情報を用いて類似度を計算し、当該類似度が閾値設定部１２ｄにより設定した変化検出用閾値より小さい場合に、対象物の変化を検出してもよい。

続いて、図２〜図１１を参照して、上述した対象物変化検出装置１において実行される処理について説明する。なお、以下の処理において、対象物の属性として、歩行者を一例に説明するが、これに限定されない。また、対象物の種類として、歩行者の年齢により区別される子供、高齢者、成人を一例に説明するが、これに限定されない。また、対象物の状態として、歩行者の向きにより区別される横向き、後ろ向き、前向きを一例に説明するがこれに限定されない。

〔実施形態１〕
実施形態１では、対象物検出部１２ａと、種類情報取得部１２ｂと、閾値設定部１２ｄと、対象物変化検出部１２ｅと、種類別閾値記憶部１４ａとを備える対象物変化検出装置１において実行される処理について、図２〜図４を参照して説明する。図２は、実施形態１にかかる対象物変化検出装置１の基本処理の一例を示すフローチャートである。

図２に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＡ１）。

つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＡ１で取得した画像データから対象物の属性として歩行者を検出する（ステップＳＡ２）。例えば、対象物検出部１２ａは、予め記憶部１４に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物の属性として歩行者を検出する。

つぎに、対象物変化検出装置１の種類情報取得部１２ｂは、ステップＳＡ２で対象物検出部１２ａにより検出した歩行者の種類を示す種類情報を取得する（ステップＳＡ３）。具体的には、種類情報取得部１２ｂは、歩行者について予め記憶部１４に記憶された歩行者の年齢を特定可能な形状データを用いてパターンマッチングし、特定された歩行者の年齢に対応する対象物の種類として、子供、高齢者、成人のいずれかを示す種類情報を取得する。

つぎに、対象物変化検出装置１の閾値設定部１２ｄは、ステップＳＡ３で種類情報取得部１２ｂにより取得した種類情報（例えば、子供、高齢者、成人のいずれかを示す情報）に対応する閾値（例えば、第１閾値、第２閾値、第３閾値）を、種類別閾値記憶部１４ａから検索し、検索した閾値を、次のステップＳＡ５の対象物変化検出処理に用いる変化検出用閾値として設定する（ステップＳＡ４）。

つぎに、対象物変化検出装置１の対象物変化検出部１２ｅは、ステップＳＡ１で対象物検出部１２ａにより検出した対象物を含む画像から、ステップＳＡ４で閾値設定部１２ｄにより設定した変化検出用閾値を用いて、対象物の変化を検出する（ステップＳＡ５）。

ここで、図３〜図４を参照して、ステップＳＡ５で対象物変化検出部１２ｅにより実行される対象物変化検出処理の詳細について説明する。実施形態１では、形状情報取得部１２ｇと、正規化部１２ｈと、形状情報蓄積部１２ｉと、変化検出部１２ｎとを備える対象物変化検出部１２ｅにより実行される対象物変化検出処理について説明する。図３は、実施形態１にかかる対象物変化検出処理の一例を示すフローチャートである。図４は、実施形態１にかかる変化検出用グラフの一例を示す図である。なお、以下の対象物変化検出処理において、対象物の形状を示す特徴量として、ＳＩＦＴ特徴量を一例に説明するが、これに限定されない。また、確率分布Ｐ，Ｑ間の差異を計る尺度として、ＫＬ情報量を一例に説明するが、これに限定されない。

まず、形状情報取得部１２ｇは、上述の図２のステップＳＡ４で閾値設定部１２ｄにより変化検出用閾値を設定した後、上述の図２のステップＳＡ２で検出した対象物の形状情報を表す特徴量分布を取得する（ステップＳＢ１）。具体的には、形状情報取得部１２ｇは、上述の図２のステップＳＡ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。ここで、ＳＩＦＴ特徴量は、形状を表す特徴量として画像認識分野等において周知である。また、ＳＩＦＴ特徴量は、対象物を含む画像データのどの部分にどの向きのエッジが分布しているかをヒストグラムで表せるため、確率分布として表せる。

つぎに、正規化部１２ｈは、下記の数式（１）を示すように、ステップＳＢ１で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＢ２）。

つぎに、形状情報蓄積部１２ｉは、ステップＳＢ２で取得した形状情報を形状情報記憶部１４ｃに蓄積する（ステップＳＢ３）。すなわち、形状情報蓄積部１２ｉは、ステップＳＢ２で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、変化検出部１２ｎは、下記の数式（２）に示すように、ステップＳＢ３で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＢ４）。制御部１２は、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。

つぎに、変化検出部１２ｎは、ステップＳＢ４で計算した差ｄ（ｔ，ｎ）が、図４に示すように、上述の図２のステップＳＡ４で閾値設定部１２ｄにより設定した変化検出用閾値「Ｔｈｒｅ」より大きいか否かを判定する（ステップＳＢ５）。図４の縦軸は、ＫＬ情報量を示し、横軸は、時間のフレームを示している。図４において、フレーム５４〜１７４までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１８０付近で歩行者が急に動きを変えた状態を表している。ここで、図４において、予め変化検出用閾値「Ｔｈｅｒ」として、３つの異なる第１閾値「Ｔｈｅｒ１」、第２閾値「Ｔｈｅｒ２」、第３閾値「Ｔｈｅｒ３」のうちいずれかが設定されているものとする。図４に示すように、子供用の第１閾値は「０．２５」であり、高齢者用の第２閾値は「０．２７５」であり、成人用の第３閾値は「０．３」である。

ここで、変化検出部１２ｎは、ステップＳＢ５で差ｄ（ｔ，ｎ）が、変化検出用閾値「Ｔｈｒｅ」より大きいと判定した場合（ステップＳＢ５：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＢ６）。その後、対象物変化検出処理を終了する。一方、変化検出部１２ｎは、ステップＳＢ５で差ｄ（ｔ，ｎ）が変化検出用閾値「Ｔｈｒｅ」未満であると判定した場合（ステップＳＢ５：Ｎｏ）、対象物に変化がないと判定して、そのまま対象物変化検出処理を終了する。

このように、変化検出部１２ｎは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。その後、変化検出部１２ｎは、対象物の変化の有無の判定終了後、上述の図２のステップＳＡ１の処理に移行して、次のフレームの画像取得に戻る。

以上、実施形態１によれば、従来技術よりも、車両周辺の対象物の変化を迅速かつ正確に検出できる。例えば、従来技術の特許文献１に記載の歩行者飛び出し予測装置では、歩行者の姿勢（すなわち、対象物の形状）から予測する場合よりも、歩行者の飛び出し予測が遅くなるという問題があったが、実施形態１によれば、対象物の形状に基づいて、交通環境における対象物の危険な変化（例えば、歩行者の飛び出し）を検出しているので、車両周辺の対象物の変化を迅速かつ正確に検出することができる。

更に、実施形態１によれば、対象物の変化検出に用いる変化検出用閾値を対象物の種類（例えば、対象物が歩行者の場合、子供、高齢者、成人）ごとに適した閾値を設定することができるので、対象物の種類を考慮した上で対象物変化の検出精度をより一層向上させることができる。一例として、上記ステップＳＢ５において、子供用の第１閾値「Ｔｈｅｒ１」が設定されていた場合、変化検出部１２ｎは、ステップＳＢ４で計算した差ｄ（ｔ，ｎ）が「０．２５」より大きいか否かを判定する。これにより、図４に示すように、歩行者が、車道に急に飛び出す可能性が高い子供の場合は、第２閾値「Ｔｈｅｒ２」に対応する高齢者、または、第３閾値「Ｔｈｅｒ３」に対応する成人の場合よりも早い段階で、対象物の変化を検出することができる。よって、実施形態１によれば、運転者が車両を運転中に車両周辺の対象物の危険な変化が生じた場合、対象物の種類を考慮した上で迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。

ここで、車両周辺の対象物の危険な変化は、連続変化と不連続変化に分類できる。例えば、対象物を歩行者とした場合、連続変化としては、歩行者が歩道から車道に向かって一定速度で直線的に進入する動作等が挙げられる。一方、不連続変化としては、歩行者が歩道に沿って移動している状態から急に進行方向を変えて車道側へ進入する動作、歩行者が歩道に沿って低速度で移動している状態から急に高速度で移動する動作、および、歩行者が止まっている状態から急に動き出す動作等が挙げられる。従来技術では、線形予測により、この連続変化（例えば、対象物が連続的に移動する動作、対象物が動いている状態から停止する動作、および、対象物が減速する動作等）については、検出可能であったが、不連続変化については迅速かつ正確に検出することができなかった。

一方、実施形態１の対象物変化検出装置１は、画像から対象物を検出し、所定の特徴量を用いて、検出した対象物の形状情報を表す特徴量分布を取得し、取得した特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得し、取得した確率分布を蓄積する。そして、実施形態１の対象物変化検出装置１は、所定の尺度を用いて、蓄積した所定時間前の確率分布と現在の確率分布との差を計算し、計算された差が変化検出用閾値より大きい場合に、対象物の変化を検出する。これにより、実施形態１の対象物変化検出装置１によれば、従来技術では十分に対応できなかった不連続変化（例えば、対象物が止まっている状態から動き始める動作、対象物が加速する動作、および、対象物が方向転換する動作等）についても、迅速かつ正確に検出することができる。例えば、実施形態１によれば、不連続変化の一例として、歩行者や自転車が急に動きを変えて道路に出てくる、併走車車両やバイクが急に車線変更して自車線に割り込んでくる、前方車両が急にＵターンを開始する、前方車両が道路脇の店等に入るために急に右左折を開始する、および、駐車車両のドアが急に開くといった、車両周辺の対象物の危険な変化が生じた場合に、迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。

なお、上述の図２のステップＳＡ５で対象物変化検出部１２ｅが実行する対象物変化検出処理の方法は、上述の図３および図４に示した方法に限定されない。実施形態１において、対象物変化検出部１２ｅは、以下の変形例１〜３に示す方法で対象物変化検出処理を実行してもよい。

［実施形態１の変形例１］
実施形態１の変形例１では、処理対象領域抽出部１２ｆと、形状情報取得部１２ｇと、正規化部１２ｈと、形状情報蓄積部１２ｉと、変化検出部１２ｎとを備える対象物変化検出部１２ｅにより実行される対象物変化検出処理について、図５および図６を参照して説明する。図５は、実施形態１にかかる対象物変化検出処理の別の一例を示すフローチャートである。図６は、実施形態１にかかる対象物を含む部分画像と処理対象領域の一例を示す図である。

図５に示すように、まず、処理対象領域抽出部１２ｆは、上述の図２のステップＳＡ４で閾値設定部１２ｄにより変化検出用閾値を設定した後、上述の図２のステップＳＡ２で検出した対象物を含む画像から処理対象領域を抽出する（ステップＳＣ１）。具体的には、図６に示すように、処理対象領域抽出部１２ｆは、対象物を含む部分画像内でパターンマッチング等を行うことにより、対象物の変化検出処理に有効な領域である処理対象領域（図６（ａ）および（ｂ）の太字で囲った領域）を抽出する。図６（ａ）では、対象物が歩行者の場合は下半身の形状の変化が重要となるため、処理対象領域を部分画像の下半分に設定している。図６（ｂ）では、対象物が歩行者の場合は歩道の線などの背景画像は変化検出処理に不要な領域となるため、歩行者の全体のみを含むよう処理対象領域を設定している。ここで、処理対象領域抽出部１２ｆは、抽出した処理対象領域を処理対処領域記憶部１４ｄに格納してもよい。

つぎに、形状情報取得部１２ｇは、ステップＳＣ１で抽出した処理対象領域から対象物の形状情報を取得する（ステップＳＣ２）。具体的には、形状情報取得部１２ｇは、ステップＳＣ１で抽出した処理対象領域から、対象物の形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。

つぎに、正規化部１２ｈは、下記の数式（１）を示すように、ステップＳＣ２で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＣ３）。

つぎに、形状情報蓄積部１２ｉは、ステップＳＣ３で取得した形状情報を形状情報記憶部１４ｃに蓄積する（ステップＳＣ４）。すなわち、形状情報蓄積部１２ｉは、ステップＳＣ３で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、変化検出部１２ｎは、下記の数式（２）に示すように、ステップＳＣ４で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）の計算を行う（ステップＳＣ５）。制御部１２は、例えば、下記の数式（３）に示すように、ＫＬ情報量を用いて、差ｄ（ｔ，ｎ）の計算を行う。

つぎに、変化検出部１２ｎは、ステップＳＣ５で計算した差ｄ（ｔ，ｎ）が、上述の図４に示すように、上述の図２のステップＳＡ４で閾値設定部１２ｄにより設定した変化検出用閾値「Ｔｈｒｅ」より大きいか否かを判定する（ステップＳＣ６）。

ここで、変化検出部１２ｎは、ステップＳＣ６で差ｄ（ｔ，ｎ）が変化検出用閾値「Ｔｈｒｅ」より大きいと判定した場合（ステップＳＣ６：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＣ７）。その後、対象物変化検出処理を終了する。一方、変化検出部１２ｎは、ステップＳＣ６で差ｄ（ｔ，ｎ）が変化検出用閾値「Ｔｈｒｅ」未満であると判定した場合（ステップＳＣ６：Ｎｏ）、対象物に変化がないと判定して、そのまま対象物変化検出処理を終了する。

このように、実施形態１の変形例１において、形状情報取得部１２ｇは、抽出した処理対象領域から対象物の形状情報を取得し、変化検出部１２ｎは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報とを比較することで、対象物の変化を検出する。その後、変化検出部１２ｎは、対象物の変化の有無の判定終了後、上述の図２のステップＳＡ１の処理に移行して、次のフレームの画像取得に戻る。

以上、実施形態１の変形例１によれば、対象物の形状の変化を検出する範囲を限定しているため、対象物変化検出処理の検出精度や計算速度を向上させることができる。これにより、実施形態１の変形例１によれば、車両周辺の対象物の変化をより迅速かつ正確に検出できるので、交通事故の発生可能性をより低減することができる。

〔実施形態１の変形例２〕
実施形態１の変形例２では、形状情報取得部１２ｇと、正規化部１２ｈと、形状情報蓄積部１２ｉと、形状変化情報取得部１２ｊと、形状変化情報蓄積部１２ｋと、変化検出部１２ｎとを備える対象物変化検出部１２ｅにより実行される対象物変化検出処理について、図７および図８を参照して説明する。図７は、実施形態１にかかる対象物変化検出処理の別の一例を示すフローチャートである。図８は、実施形態１にかかる変化検出用グラフの別の一例を示す図である。

図８に示すように、まず、形状情報取得部１２ｇは、上述の図２のステップＳＡ４で閾値設定部１２ｄにより変化検出用閾値を設定した後、上述の図２のステップＳＡ２で検出した対象物の形状情報を取得する（ステップＳＤ１）。具体的には、形状情報取得部１２ｇは、上述の図２のステップＳＡ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。

つぎに、正規化部１２ｈは、下記の数式（１）を示すように、ステップＳＤ１で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＤ２）。

つぎに、形状情報蓄積部１２ｉは、ステップＳＤ２で取得した形状情報を形状情報記憶部１４ｃに蓄積する（ステップＳＤ３）。すなわち、形状情報蓄積部１２ｉは、ステップＳＤ２で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、形状変化情報取得部１２ｊは、下記の数式（２）に示すように、ステップＳＤ３で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態１の変形例２において、形状変化情報）の計算を行う（ステップＳＤ４）。形状変化情報取得部１２ｊは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、形状変化情報取得部１２ｊは、ステップＳＤ３で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。

つぎに、形状変化情報蓄積部１２ｋは、ステップＳＤ４で取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｅに蓄積する（ステップＳＤ５）。具体的には、形状変化情報蓄積部１２ｋは、ステップＳＤ４で計算した形状変化情報ｄ（ｔ，ｎ）をｌフレーム分蓄積した、下記の数式（４）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。

つぎに、変化検出部１２ｎは、下記の数式（５）および数式（６）を用いて、類似度ｃｏｓθを計算する（ステップＳＤ６）。ここで、類似度ｃｏｓθは、ｎ次元空間での類似度を分析する際に当該技術分野において一般的に用いられるｎ次元ベクトルの類似度である。具体的には、類似度ｃｏｓθは、コサイン類似度と呼ばれ、ベクトルのなす角θの余弦ｃｏｓθのことを意味し、ベクトルの向きの近さを類似性の指標としたものである。ベクトルの向きが一致している場合は最大値の１となり、ベクトルの向きが直行する場合は０となり、ベクトルの向きが逆になる場合は最小値の−１となる。

つぎに、変化検出部１２ｎは、ステップＳＤ６で計算した類似度ｃｏｓθが、図８に示すように、上述の図２のステップＳＡ４で閾値設定部１２ｄにより設定した変化検出用閾値「Ｔｈｒｅ」より小さいか否かを判定する（ステップＳＤ７）。図８の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図８において、フレーム６６〜１６２までは、対象物の歩行者が歩道に沿って移動している状態を表しており、フレーム１６８〜１８０付近では、歩行者が急に動きを変えた状態を表している。ここで、図８において、予め変化検出用閾値「Ｔｈｅｒ」として、３つの異なる第１閾値「Ｔｈｅｒ１」、第２閾値「Ｔｈｅｒ２」、第３閾値「Ｔｈｅｒ３」のうちいずれかが設定されているものとする。図８に示すように、子供用の第１閾値は「０．９２」であり、高齢者用の第２閾値は「０．９１」であり、成人用の第３閾値は「０．９」である。

ここで、変化検出部１２ｎは、ステップＳＤ７で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」より小さいと判定した場合（ステップＳＤ７：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＤ８）。その後、対象物変化検出処理を終了する。一方、変化検出部１２ｎは、ステップＳＤ７で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」以上であると判定した場合（ステップＳＤ７：Ｎｏ）、対象物に変化がないと判定して、そのまま対象物変化検出処理を終了する。

このように、実施形態１の変形例２において、形状変化情報取得部１２ｊは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報との差を対象物の形状変化情報として取得し、形状変化情報蓄積部１２ｋは、取得した形状変化情報を蓄積する。そして、変化検出部１２ｎは、蓄積した形状変化情報を用いて類似度を計算し、当該類似度が閾値設定部１２ｄにより設定した変化検出用閾値より小さい場合に、対象物の変化を検出する。その後、変化検出部１２ｎは、対象物の変化の有無の判定終了後、上述の図２のステップＳＡ１の処理に移行して、次のフレームの画像取得に戻る。

以上、実施形態１の変形例２によれば、対象物の形状情報の時間変化を形状変化情報として蓄積し、コサイン類似度を用いて類似性を分析しているため、対象物変化検出処理の検出精度をより一層向上させることができる。これにより、実施形態１の変形例２によれば、車両周辺の対象物の変化をより一層迅速かつ正確に検出できるので、交通事故の発生可能性をより一層低減することができる。なお、実施形態１の変形例２において、対象物の変化を検出する際に、類似度を閾値と比較する例について説明したが、これに限られない。実施形態１の変形例２において、対象物変化検出装置１は、類似度の有無のみで対象物の変化を検出してもよい。

更に、実施形態１の変形例２によれば、対象物の変化検出に用いる変化検出用閾値を対象物の種類（例えば、対象物が歩行者の場合、子供、高齢者、成人）ごとに適した閾値を設定することができるので、対象物の種類を考慮した上で対象物変化の検出精度をより一層向上させることができる。一例として、上記ステップＳＤ７において、子供用の第１閾値「Ｔｈｅｒ１」が設定されていた場合、変化検出部１２ｎは、ステップＳＤ６で計算した類似度ｃｏｓθが「０．９２」より小さいか否かを判定する。これにより、図８に示すように、歩行者が、車道に急に飛び出す可能性が高い子供の場合は、第２閾値「Ｔｈｅｒ２」に対応する高齢者、または、第３閾値「Ｔｈｅｒ３」に対応する成人の場合よりも早い段階で、対象物の変化を検出することができる。

［実施形態１の変形例３］
実施形態１の変形例３では、形状情報取得部１２ｇと、正規化部１２ｈと、形状情報蓄積部１２ｉと、形状変化情報取得部１２ｊと、形状変化情報蓄積部１２ｋと、形状変化平均化部１２ｍと、変化検出部１２ｎとを備える対象物変化検出部１２ｅにより実行される対象物変化検出処理について、図９および図１０を参照して説明する。図９は、実施形態１にかかる対象物変化検出処理の別の一例を示すフローチャートである。図１０は、実施形態１にかかる変化検出用グラフの別の一例を示す図である。

図９に示すように、まず、形状情報取得部１２ｇは、上述の図２のステップＳＡ４で閾値設定部１２ｄにより変化検出用閾値を設定した後、上述の図２のステップＳＡ２で検出した対象物の形状情報を取得する（ステップＳＥ１）。具体的には、形状情報取得部１２ｇは、上述の図２のステップＳＡ２で検出した対象物から、形状情報を表す特徴量分布ｖ（ｔ）として、ＳＩＦＴ特徴量の計算を行う。

つぎに、正規化部１２ｈは、下記の数式（１）を示すように、ステップＳＥ１で取得した特徴量分布ｖ（ｔ）のＬ１ ｎｏｒｍを１に正規化して、特徴量（確率分布）ｐ（ｔ）を取得する（ステップＳＥ２）。

つぎに、形状情報蓄積部１２ｉは、ステップＳＥ２で取得した形状情報を形状情報記憶部１４ｃに蓄積する（ステップＳＥ３）。すなわち、形状情報蓄積部１２ｉは、ステップＳＥ２で正規化した特徴量（確率分布）ｐ（ｔ）の蓄積を行う。

つぎに、形状変化情報取得部１２ｊは、下記の数式（２）に示すように、ステップＳＥ３で蓄積した特徴量（確率分布）ｐ（ｔ）から、ｎフレーム前の特徴量と現在の特徴量との間の差ｄ（ｔ，ｎ）（すなわち、本実施形態１の変形例３において、形状変化情報）の計算を行う（ステップＳＥ４）。形状変化情報取得部１２ｊは、下記の数式（３）に示すように、ＫＬ情報量を用いて、形状変化情報として差ｄ（ｔ，ｎ）の計算を行う。このように、形状変化情報取得部１２ｊは、ステップＳＥ３で蓄積した形状情報を用いて、対象物の形状変化情報を取得する。

つぎに、形状変化情報蓄積部１２ｋは、ステップＳＥ４で取得した形状変化情報ｄ（ｔ，ｎ）を形状変化情報記憶部１４ｅに蓄積する（ステップＳＥ５）。具体的には、形状変化情報蓄積部１２ｋは、ステップＳＥ４で計算した形状変化情報ｄ（ｔ，ｎ）をｌフレーム分蓄積した、下記の数式（４）に示すベクトルｕ（ｔ，ｎ，ｌ）を計算する。

つぎに、形状変化平均化部１２ｍは、下記の数式（７）を用いて、ステップＳＥ５で計算したベクトルｕ（ｔ，ｎ，ｌ）を更にＫ個分足し合わせて、時間平均を取ることによりノイズを低減する（ステップＳＥ６）。このように、形状変化平均化部１２ｍは、ステップＳＥ５で蓄積した複数の形状変化情報を平均化して、平均化形状変化情報としてベクトルｕ（ｔ，Ｋ，ｎ，ｌ）を取得する。

つぎに、変化検出部１２ｎは、下記の数式（５）および数式（６）を用いて、類似度ｃｏｓθを計算する（ステップＳＥ７）。

つぎに、変化検出部１２ｎは、ステップＳＥ７で計算した類似度ｃｏｓθが、図１０に示すように、上述の図２のステップＳＡ４で閾値設定部１２ｄにより設定した変化検出用閾値「Ｔｈｒｅ」より小さいか否かを判定する（ステップＳＥ８）。図１０の縦軸は、ｃｏｓθを示し、横軸は、時間のフレームを示している。図１０では、４つのサンプル数分（Ｋ＝４）の時間平均を取った場合を表している。図１０に示すように、４つともフレーム１８０付近で急激な変化を示しており、フレーム１８０付近で歩行者が急に動きを変えた状態を表している。ここで、図１０において、予め変化検出用閾値「Ｔｈｅｒ」として、３つの異なる第１閾値「Ｔｈｅｒ１」、第２閾値「Ｔｈｅｒ２」、第３閾値「Ｔｈｅｒ３」のうちいずれかが設定されているものとする。図１０に示すように、子供用の第１閾値は「０．９２」であり、高齢者用の第２閾値は「０．９１」であり、成人用の第３閾値は「０．９」である。

ここで、変化検出部１２ｎは、ステップＳＥ８で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」より小さいと判定した場合（ステップＳＥ８：Ｙｅｓ）、対象物の変化があると判定する（ステップＳＥ９）。その後、対象物変化検出処理を終了する。一方、変化検出部１２ｎは、ステップＳＥ８で類似度ｃｏｓθが変化検出用閾値「Ｔｈｒｅ」以上であると判定した場合（ステップＳＥ８：Ｎｏ）、対象物に変化がないと判定して、そのまま対象物変化検出処理を終了する。

このように、実施形態１の変形例３において、形状変化情報取得部１２ｊは、蓄積した形状情報を用いて、所定時間前の形状情報と現在の形状情報との差を対象物の形状変化情報として取得し、形状変化情報蓄積部１２ｋは、取得した形状変化情報を蓄積する。更に、形状変化平均化部１２ｍは、蓄積した複数の形状変化情報を平均化して、平均化形状変化情報を取得する。そして、変化検出部１２ｎは、取得した平均化形状変化情報を用いて類似度を計算し、当該類似度が閾値設定部１２ｄにより設定した変化検出用閾値より小さい場合に、対象物の変化を検出する。その後、変化検出部１２ｎは、対象物の変化の有無の判定終了後、述の図２のステップＳＡ１の処理に移行して、次のフレームの画像取得に戻る。

以上、実施形態１の変形例３によれば、対象物の形状情報の時間変化を形状変化情報として蓄積し、平均化したコサイン類似度を用いて類似性を分析しているため、実施形態１の変形例２よりも対象物変化検出処理の検出精度をより一層向上させることができる。これにより、実施形態１の変形例３によれば、車両周辺の対象物の変化をより一層迅速かつ正確に検出できるので、交通事故の発生可能性をより一層低減することができる。

［実施形態２］
実施形態２では、対象物検出部１２ａと、状態情報取得部１２ｃと、閾値設定部１２ｄと、対象物変化検出部１２ｅと、状態別閾値記憶部１４ｂとを備える対象物変化検出装置１において実行される処理について、図１１を参照して説明する。図１１は、実施形態２にかかる対象物変化検出装置１の基本処理の一例を示すフローチャートである。なお、実施形態２では、対象物変化検出装置１が、取得した状態情報に対応する状態別閾値記憶部１４ｂに記憶された閾値を変化検出用閾値として使用する点において実施形態１と異なる。

図１１に示すように、まず、対象物変化検出装置１の制御部１２は、カメラ２から自車両周辺が写し出されている画像データを取得する（ステップＳＦ１）。

つぎに、対象物変化検出装置１の対象物検出部１２ａは、ステップＳＦ１で取得した画像データから対象物の属性として歩行者を検出する（ステップＳＦ２）。例えば、対象物検出部１２ａは、予め記憶部１４に記憶された歩行者の形状の概要を示すデータを用いて、パターンマッチング等を行うことにより対象物の属性として歩行者を検出する。

つぎに、対象物変化検出装置１の状態情報取得部１２ｃは、ステップＳＦ２で対象物検出部１２ａにより検出した歩行者の状態を示す状態情報を取得する（ステップＳＦ３）。具体的には、状態情報取得部１２ｃは、歩行者について予め記憶部１４に記憶された歩行者の向きを特定可能な形状データを用いてパターンマッチングし、特定された歩行者の向きに対応する対象物の状態として、横向き、後ろ向き、前向きのいずれかを示す状態情報を取得する。

つぎに、対象物変化検出装置１の閾値設定部１２ｄは、ステップＳＦ３で状態情報取得部１２ｃにより取得した状態情報（例えば、横向き、後ろ向き、前向きの状態のいずれかを示す情報）に対応する閾値（例えば、第１閾値、第２閾値、第３閾値）を、状態別閾値記憶部１４ｂから検索し、検索した閾値を、次のステップＳＦ５の対象物変化検出処理に用いる変化検出用閾値として設定する（ステップＳＦ４）。

つぎに、対象物変化検出装置１の対象物変化検出部１２ｅは、ステップＳＦ１で対象物検出部１２ａにより検出した対象物を含む画像から、ステップＳＦ４で閾値設定部１２ｄにより設定した変化検出用閾値を用いて、対象物の変化を検出する（ステップＳＦ５）。

なお、ステップＳＦ５で対象物変化検出部１２ｅにより実行される対象物変化検出処理の詳細については、状態別閾値記憶部１４ｂに記憶された閾値を変化検出用閾値として使用する点を除き、上述の実施形態１、変形例１〜３と同様であるため、説明を省略する。

以上、実施形態２によれば、対象物の変化検出に用いる変化検出用閾値を対象物の状態（例えば、対象物が歩行者の場合、横向き、後ろ向き、縦向き）ごとに適した閾値を設定することができるので、対象物の状態を考慮した上で対象物変化の検出精度をより一層向上させることができる。一例として、上記ステップＳＢ５において、横向き用の第１閾値「Ｔｈｅｒ１」が設定されていた場合、変化検出部１２ｎは、ステップＳＢ４で計算した差ｄ（ｔ，ｎ）が「０．２５」より大きいか否かを判定する。これにより、図４に示すように、歩行者が、車道に急に飛び出す可能性が高い横向きの状態の場合は、第２閾値「Ｔｈｅｒ２」に対応する後ろ向きの状態、または、第３閾値「Ｔｈｅｒ３」に対応する前向きの状態の場合よりも早い段階で、対象物の変化を検出することができる。よって、実施形態２によれば、運転者が車両を運転中に車両周辺の対象物の危険な変化が生じた場合、対象物の状態を考慮した上で迅速かつ正確に運転者に危険を報知することができるので、交通事故の発生可能性を低減することができる。その他、実施形態２によれば、上述の実施形態１と同様の効果を奏する。

［他の実施形態］
その他、本発明に係る対象物変化検出装置１は、上述の実施形態１、変形例１〜３、および、実施形態２を適宜組み合わせて実行してもよい。例えば、閾値設定部１２ｄは、種類情報取得部１２ｂにより取得した種類情報および状態情報取得部１２ｃにより取得した状態情報の両方に基づいて変化検出用閾値を設定してもよい。一例として、種類情報が対象物の種類として、子供、高齢者、成人の３パターンを示し、状態情報が対象物の状態として、横向き、後ろ向き、前向きの３パターンを示す場合、閾値設定部１２ｄは、種類情報および状態情報に基づいて３×３の９パターンから、対象物の種類および状態（例えば、子供が横向きである状態）に適合する変化検出用閾値を設定してもよい。

また、例えば、本発明に係る対象物変化検出装置１は、対象物を含む画像の背景の複雑度に応じて対象物変化検出処理の方法を使い分けてもよい。例えば、車両が街中を走行中の場合、対象物である歩行者や他車両を含む背景に種々の物体が含まれるため複雑になることが考えられる。この場合、本発明に係る対象物変化検出装置１は、背景画像のノイズを低減するために実施形態１の変形例３に記載の対象物変化検出処理（図９及び図１０参照）を実行してもよい。また、例えば、高速道路を走行中の場合、対象物である他車両やバイクを含む背景が比較的単純になることが考えられる。この場合、本発明に係る対象物変化検出装置１は、計算負荷の少ない実施形態１に記載の対象物変化検出処理（図３および図４参照）実行してもよい。また、本発明に係る対象物変化検出装置１は、上述の実施形態１、変形例１〜３、および、実施形態２に示した不連続変化を検出する処理と並行して、従来の線形予測を行うことで連続変化を検出する処理を実行してもよい。

１ 対象物変化検出装置
１２ 制御部
１２ａ 対象物検出部
１２ｂ 種類情報取得部
１２ｃ 状態情報取得部
１２ｄ 閾値設定部
１２ｅ 対象物変化検出部
１２ｆ 処理対象領域抽出部
１２ｇ 形状情報取得部
１２ｈ 正規化部
１２ｉ 形状情報蓄積部
１２ｊ 形状変化情報取得部
１２ｋ 形状変化情報蓄積部
１２ｍ 形状変化平均化部
１２ｎ 変化検出部
１４ 記憶部
１４ａ 種類別閾値記憶部
１４ｂ 状態別閾値記憶部
１４ｃ 形状情報記憶部
１４ｄ 処理対象領域記憶部
１４ｅ 形状変化情報記憶部
１４ｆ 平均化形状変化情報記憶部
２ カメラ

Claims (9)

1. 画像から対象物の属性を検出する対象物検出手段と、
   前記対象物検出手段により検出した前記対象物の属性内の当該対象物の種類を示す種類情報を取得する種類情報取得手段と、
   前記種類情報取得手段により取得した前記種類情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段と、
   前記対象物検出手段により検出した前記対象物を含む前記画像から、前記閾値設定手段により設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出手段と、
   を備えることを特徴とする対象物変化検出装置。
2. 前記対象物検出手段により検出した前記対象物の属性内の当該対象物の状態を示す状態情報を取得する状態情報取得手段、
   を更に備え、
   前記閾値設定手段は、前記種類情報取得手段により取得した前記種類情報および前記状態情報取得手段により取得した前記状態情報に基づいて前記変化検出用閾値を設定することを特徴とする請求項１に記載の対象物変化検出装置。
3. 画像から対象物の属性を検出する対象物検出手段と、
   前記対象物検出手段により検出した前記対象物の属性内の当該対象物の状態を示す状態情報を取得する状態情報取得手段と、
   前記状態情報取得手段により取得した前記状態情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定手段と、
   前記対象物検出手段により検出した前記対象物を含む前記画像から、前記閾値設定手段により設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出手段と、
   を備えることを特徴とする、対象物変化検出装置。
4. 前記対象物変化検出手段は、
   所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、
   前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
   前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、
   所定の尺度を用いて、前記形状情報蓄積手段により蓄積した所定時間前の前記確率分布と現在の前記確率分布との差を計算し、計算された差が前記閾値設定手段により設定した前記変化検出用閾値よりも大きい場合に、前記対象物の変化を検出する変化検出手段と、
   を更に備えることを特徴とする請求項１から３のいずれか１項に記載の対象物変化検出装置。
5. 前記対象物変化検出手段は、
   前記対象物検出手段により検出した前記対象物を含む前記画像から処理対象領域を抽出する処理対象領域抽出手段、
   を更に備え、
   前記形状情報取得手段は、
   前記処理対象領域抽出手段により抽出した前記処理対象領域から前記対象物の前記特徴量分布を取得することを特徴とする請求項４に記載の対象物変化検出装置。
6. 前記対象物変化検出手段は、
   所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、
   前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
   前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、
   前記形状情報蓄積手段により蓄積した前記確率分布を用いて、前記所定時間前の前記確率分布と現在の前記確率分布との差を、前記対象物の形状変化情報として取得する形状変化情報取得手段と、
   前記形状変化取得情報手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、
   を備え、
   前記変化検出手段は、
   前記形状変化情報蓄積手段により蓄積した前記形状変化情報を用いて蓄積した形状変化情報と対象物の定常状態の形状変化情報との類似度を計算し、当該類似度が前記閾値設定手段により設定した変化検出用閾値より小さい場合に、前記対象物の変化を検出することを特徴とする請求項１から３のいずれか１項に記載の対象物変化検出装置。
7. 前記対象物変化検出手段は、
   所定の特徴量を用いて、前記対象物検出手段により検出した前記対象物を含む前記画像から前記対象物の形状情報を表す特徴量分布を取得する形状情報取得手段と、
   前記形状情報取得手段により取得した前記特徴量分布を正規化して、当該特徴量分布に対応する確率分布を取得する正規化手段と、
   前記正規化手段により正規化した前記確率分布を蓄積する形状情報蓄積手段と、
   前記形状情報蓄積手段により蓄積した前記確率分布を用いて、前記所定時間前の前記確率分布と現在の前記確率分布との差を、前記対象物の形状変化情報として取得する形状変化情報取得手段と、
   前記形状変化取得情報手段により取得した前記形状変化情報を蓄積する形状変化情報蓄積手段と、
   前記形状変化情報蓄積手段により蓄積した複数の前記形状変化情報を平均化して、平均化形状変化情報を取得する形状変化平均化手段、
   を備え、
   前記変化検出手段は、
   前記形状変化平均化手段により取得した平均化形状変化情報を用いて取得した平均化形状変化情報と対象物の定常状態の平均化形状変化情報との類似度を計算し、当該類似度が前記閾値設定手段により設定した変化検出用閾値より小さい場合に、前記対象物の変化を検出することを特徴とする請求項１から３のいずれか１項に記載の対象物変化検出装置。
8. 画像から対象物の属性を検出する対象物検出ステップと、
   前記対象物検出ステップにて検出した前記対象物の属性内の当該対象物の種類を示す種類情報を取得する種類情報取得ステップと、
   前記種類情報取得ステップにて取得した前記種類情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定ステップと、
   前記対象物検出ステップにて検出した前記対象物を含む前記画像から、前記閾値設定ステップにて設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出ステップと、
   を含むことを特徴とする対象物変化検出方法。
9. 画像から対象物の属性を検出する対象物検出ステップと、
   前記対象物検出ステップにて検出した前記対象物の属性内の当該対象物の状態を示す状態情報を取得する状態情報取得ステップと、
   前記状態情報取得ステップにて取得した前記状態情報に基づいて前記対象物の変化検出に用いる変化検出用閾値を設定する閾値設定ステップと、
   前記対象物検出ステップにて検出した前記対象物を含む前記画像から、前記閾値設定ステップにて設定した前記変化検出用閾値を用いて、前記対象物の変化を検出する対象物変化検出ステップと、
   を含むことを特徴とする対象物変化検出方法。

Images