JP6958020B2 - 画像解析プログラム、画像解析装置、及び画像解析方法 - Google Patents

Description

開示の技術は、画像解析プログラム、画像解析装置、及び画像解析方法に関する。

映像に映る人物の対応付けを推定する情報処理装置が知られている。この情報処理装置は、第１の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る１以上の人物と、第１の時刻よりも遅い第２の時刻に複数のビデオカメラでそれぞれ撮影された映像に映る１以上の人物とがそれぞれ対応付けられる可能性を示す尺度を定める。そして、情報処理装置は、第１の時刻又は第２の時刻の一方の時刻に映る少なくとも１名の人物と、他方の時刻に係る全ての人物とに係る全ての尺度を考慮して、第１の時刻に映る人物と第２の時刻に映る人物との対応関係を推定する。

また、複数の場所に設置されている撮像装置によって撮像される画像に基づいて被写体の移動軌跡を導出するために伝送されるデータ量を削減する情報処理装置が知られている。複数の情報処理装置は、その情報処理装置に対応する第１の撮像装置によって撮像された第１の被写体について複数種類の特徴量を抽出し、複数種類の特徴量のそれぞれについて被写体の異同を判別するための適性を判定して一部の特徴量を選択する。そして、情報処理装置は、選択された一部の特徴量を識別する情報を他の情報処理装置に送信し、他の情報処理装置に対応する第２の撮像装置によって撮像された第２の被写体について抽出される、送信された情報が示す特徴量を受信する。そして、情報処理装置は、抽出する処理において抽出された特徴量と、受信された特徴量とに基づいて、第１及び第２の被写体の異同を判定する。

国際公開第２０１４／０５０４３２号 特開２０１７‐６３２６６号公報

画像解析を用いて異なる画像に映った対象物同士を対応付ける際、画像内の対象物領域から適切な特徴量が得られないことにより、対象物同士の対応付けをすることができない場合がある。

開示の技術は、一つの側面として、対象物領域から適切な特徴量が得られない場合であっても、対象物同士の対応付けを行なうことを目的とする。

開示の技術は、一つの態様として、複数の画像の各々から検出された対象物領域の状態に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する。そして、前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々のうちの対応する前記対象物領域を特定する。

一つの側面として、対象物領域から適切な特徴量が得られない場合であっても、対象物同士の対応付けを行なうことができる、という効果を有する。

実施形態に係る画像解析装置の概略構成を示す機能ブロック図である。 本実施形態の処理の概要を説明するための説明図である。 人物領域の特定を説明するための説明図である。 検出結果記憶部に格納されるテーブルの一例を示す図である。 人物領域の追跡処理を説明するための説明図である。 追跡結果記憶部に格納されるテーブルの一例を示す図である。 検出結果と追跡結果との統合処理を説明するための説明図である。 座標系を説明するための説明図である。 人物領域の重なりを説明するための説明図である。 向き重なり結果記憶部に格納されるテーブルの一例を示す図である。 対応付け候補の決定処理を説明するための説明図である。 対応付けの順番の設定を説明するための説明図である。 実施形態に係る画像解析装置として機能するコンピュータの概略構成を示すブロック図である。 本実施形態における画像解析処理の一例を示すフローチャートである。 本実施形態における人物検出処理の一例を示すフローチャートである。 本実施形態における人物追跡処理の一例を示すフローチャートである。 本実施形態における統合処理の一例を示すフローチャートである。 本実施形態における人物方向決定処理の一例を示すフローチャートである。 本実施形態における重なり判定処理の一例を示すフローチャートである。 本実施形態における対応付け候補決定処理の一例を示すフローチャートである。 本実施形態における特徴分布生成処理の一例を示すフローチャートである。 第１の実施形態における特徴選択処理の一例を示すフローチャートである。 本実施形態における処理順番決定処理の一例を示すフローチャートである。 本実施形態における対応付け処理の一例を示すフローチャートである。 第２の実施形態における特徴選択を説明するための説明図である。 第２の実施形態における特徴選択処理の一例を示すフローチャートである。 第３の実施形態における処理順番の決定を説明するための説明図である。

以下、図面を参照して、開示の技術に関する実施形態の一例を詳細に説明する。本実施形態では、対象物が人物である場合を例に説明する。

＜第１の実施形態＞

図１に示すように、第１の実施形態に係る画像解析装置１０は、カメラＡと、制御部１４と、表示装置４８とを備えている。

カメラＡは、例えば監視カメラとして所定の箇所に設置され、所定の箇所における動画像を逐次撮像する。本実施形態では、カメラＡが周辺領域を俯瞰するように設置されている場合を例に説明する。

制御部１４は、人物検出部１６と、検出結果記憶部１８と、人物追跡部２０と、追跡結果記憶部２２と、統合部２４と、統合結果記憶部２６と、人物方向決定部２８と、重なり判定部３２と、向き重なり結果記憶部３０とを備えている。また、制御部１４は、他カメラ検出結果取得部３４と、他カメラ検出結果記憶部３６と、対応付け候補決定部３８と、特徴分布生成部４０と、特徴選択部４２と、処理順番決定部４４と、対応付け部４６とを備えている。特徴分布生成部４０及び特徴選択部４２は、開示の技術の決定部の一例であり、対応付け部４６は開示の技術の特定部の一例である。

図２に、本実施形態の画像解析装置１０の処理を説明するための説明図を示す。画像解析装置１０は、カメラＡによって撮像されたフレーム画像に含まれる人物領域の各々と、カメラＡとは異なる他カメラＢによって撮像されたフレーム画像に含まれる人物領域の各々とを対応付ける。

異なるカメラによって撮像された動画像中の人物領域を対応付ける際、各人物領域から適切な特徴量が抽出されないことにより、人物領域同士を対応付けられない場合がある。

そこで、本実施形態の画像解析装置１０は、人物領域を対応付ける際に、複数の画像の各々から検出された人物領域の状態に応じて、人物領域の対応付けに使用する特徴量の種類を決定する。そして、本実施形態の画像解析装置１０は、人物領域の各々から抽出され、かつ人物領域の対応付けに使用すると決定された種類の特徴量の一致度に応じて、複数の画像の各々のうちの対応する人物領域を特定する。

具体的には、画像解析装置１０は、カメラＡによって撮像された動画像の各フレーム画像の人物領域が示す人物の向きと、他のカメラＢによって撮像された動画像の各フレーム画像の人物領域が示す人物の向きとに応じて特徴量の種類を選択する。本実施形態では、人物領域の上半身領域の色、人物領域の下半身領域の色、人物領域の頭部領域の色、及び人物領域の靴領域の色を特徴量として用いる場合を例に説明する。

例えば、図２に示されるように、他のカメラＢによって撮像されたフレーム画像の人物領域の人物ＪＢ１の向きと、カメラＡによって撮像されたフレーム画像の人物領域の各人物ＪＡ１，ＪＡ２，ＪＡ３，ＪＡ４，ＪＡ５の向きとに応じて、特徴量の種類を選択する。図２に示される例では、画像解析装置１０は、人物ＪＢ１の向きと人物ＪＡ２の向きとが異なるため、人物ＪＡ２の頭部領域の特徴量及び上半身領域の特徴量については抽出せずに、下半身領域及び靴領域の特徴量を抽出する。画像解析装置１０は、１つのフレーム画像から検出された複数の人物領域の各々から抽出された特徴量の各々を、特徴量の種類毎に特徴空間へ投影して、種類毎に特徴量の分布を生成する。例えば、画像解析装置１０は、図２に示すように、人物領域の上半身領域の色の特徴量の分布Ｆ１、人物領域の下半身領域の色の特徴量の分布Ｆ２、人物領域の頭部領域の色の特徴量の分布Ｆ３、及び人物領域の靴領域の色の特徴量の分布Ｆ４を生成する。各種類の特徴量の分布における１点は、１つの人物領域から抽出された該当の種類の特徴量に対応する。

また、本実施形態では、人物領域を対応付ける際に、カメラＡによって撮像された動画像の各フレーム画像の人物領域の重なりに応じて、特徴量の種類を選択する。

例えば、図２に示される例では、画像解析装置１０は、人物ＪＡ３の人物領域の下半身領域に重なりが存在するため、下半身領域の特徴量については抽出せずに、上半身領域、頭髪領域、及び靴領域の特徴量を抽出する。また、画像解析装置１０は、人物ＪＡ４の人物領域の頭部領域に重なりが存在するため、頭部領域の特徴量については抽出せずに、上半身領域、下半身領域、及び靴領域の特徴量を抽出する。

カメラＡによって撮像された動画像を解析する画像解析装置１０によって生成された特徴量の分布は、他のカメラＢによって撮像された動画像を解析する画像解析装置（図示省略）へ送信され、人物領域の対応付けに用いられる。

以下、本実施形態の画像解析装置１０の構成について具体的に説明する。

人物検出部１６は、カメラＡによって撮像された動画像の各フレーム画像から人物領域を検出する。例えば、人物検出部１６は、特許文献（特開２０１３‐１１７８６５号公報）に記載の手法を用いて、動画像の各フレーム画像から人物領域を検出する。

図３に、人物検出部１６における人物領域の検出例を説明するための説明図を示す。図３に示されるように、人物検出部１６は、時刻ｔ−１のフレーム画像Ｉｔ−１と時刻ｔのフレーム画像Ｉｔとが入力された場合、時刻ｔ−１のフレーム画像Ｉｔ−１と時刻ｔのフレーム画像Ｉｔとの間の背景差分Ｄｉｆを求める。

次に、人物検出部１６は、背景差分Ｄｉｆに基づいて人物領域候補Ｃａを特定する。次に、人物検出部１６は、人物領域候補Ｃａを、正解の人物領域から予め学習された識別器へ入力し、人物領域候補Ｃａが人物領域であるか否かを表す判定結果を得る。そして、人物検出部１６は、人物領域であると判定された人物検出結果Ｒｅを得る。

そして、人物検出部１６は、人物領域と判定された領域の検出枠に対して人物領域ＩＤを付与する。そして、人物検出部１６は、人物領域ＩＤ、人物領域の検出枠内の画像情報、人物領域の検出枠の左上のｘ座標、人物領域の検出枠の左上のｙ座標、人物領域の検出枠の幅、及び人物領域の検出枠の高さを、人物検出結果とする。そして、人物検出部１６は、人物検出結果を検出結果記憶部１８へ格納する。

検出結果記憶部１８には、人物検出部１６によって検出された人物検出結果が格納される。人物検出結果は、例えば、図４に示されるように、テーブルの形式で格納される。図４に示すテーブルには、人物領域が検出されたフレーム画像の画像ＩＤ及びそのフレーム画像の撮像時刻に対応付けて、人物検出部１６で検出された人物検出結果が格納される。

人物追跡部２０は、各フレーム画像における人物領域の位置に応じて、同一人物の人物領域を追跡する。

図５に、同一人物の追跡処理を説明するための説明図を示す。図５に示されるように、人物追跡部２０は、時刻ｔ−１のフレーム画像Ｉｔ−１から検出された人物領域を、追跡に用いるテンプレートとして設定する。図５では、テンプレートＴ１とテンプレートＴ２とを設定した例を示している。

そして、人物追跡部２０は、時刻ｔのフレーム画像Ｉｔから、テンプレートＴ１と類似した人物領域を、テンプレートマッチングにより特定する。また、人物追跡部２０は、時刻ｔのフレーム画像Ｉｔから、テンプレートＴ２と類似した人物領域を、テンプレートマッチングにより特定する。テンプレートマッチングを行う際には、例えば、以下の式（１）に示される正規化相互相関関数Ｒ（ｘ，ｙ）を類似度として用いることができる。この場合、人物追跡部２０は、時刻ｔのフレーム画像の領域のうち、正規化相互相関関数Ｒ（ｘ，ｙ）が閾値より大きい領域を人物領域として特定する。そして、時刻ｔのフレーム画像の人物領域と同一であると判定された、時刻ｔのフレーム画像の人物領域に対して、時刻ｔのフレーム画像の人物領域の人物領域ＩＤと同一の人物領域ＩＤを付与する。

（１）

なお、上記式（１）における、Ｔ（ｘ’，ｙ’）はテンプレート内の画素（ｘ’，ｙ’）の画素値を表し、ｈはテンプレートの高さを表し、ｗはテンプレートの幅を表し、Ｉは時刻ｔのフレーム画像を表す。（ｘ，ｙ）はフレーム画像の画素のｘｙ座標上の位置を表す。

これにより、時刻ｔ−１のフレーム画像と時刻ｔのフレーム画像とから同一の人物領域が特定される。そして、人物追跡部２０は、追跡結果を追跡結果記憶部２２へ格納する。

追跡結果記憶部２２には、人物追跡部２０によって得られた追跡結果が格納される。追跡結果は、例えば、図６に示されるように、テーブルの形式で格納される。図６に示すテーブルには、人物領域ＩＤ、人物領域の検出枠内の画像情報、人物領域の検出枠の左上のｘ座標、人物領域の検出枠の左上のｙ座標、人物領域の検出枠の幅、及び人物領域の検出枠の高さが対応付けられて格納される。図６のテーブルに示される網掛け部分のように、異なる時刻において同一の人物であると判定された人物領域については、同一の人物領域ＩＤが付与される。

統合部２４は、検出結果記憶部１８に格納された検出結果と、追跡結果記憶部２２に格納された追跡結果とを統合する。人物領域の検出結果及び人物領域の追跡結果の何れか一方による検出処理では、人物領域の検出漏れが発生する場合がある。そのため、本実施形態では、人物検出部１６による人物領域の検出処理と、人物追跡部２０による追跡処理とを組み合わせることにより、人物領域を精度良く特定する。

具体的には、統合部２４は、各フレーム画像について、検出結果記憶部１８に格納された検出結果のうちの人物領域の検出枠と、追跡結果記憶部２２に格納された追跡結果のうちの人物領域の検出枠との間の重複する領域に応じて、検出結果と追跡結果とを統合する。

図７に、検出結果と追跡結果との統合を説明するための説明図を示す。図７に示されるように、時刻ｔのフレーム画像Ｉｔ内において、検出結果の検出枠ＫＲと追跡結果の検出枠ＴＲとの間の重複率が閾値より大きい場合には、それらの領域は同一人物であるとして、検出結果と追跡結果とを統合する。本実施形態では、重複率が閾値より大きい場合には、追跡結果に格納されている情報を優先する。

一方、図７に示されるように、検出結果の検出枠ＫＲと追跡結果の検出枠ＴＲとの間の重複がない場合（図７の例では、追跡結果が存在しない場合）には、新たに出現した人物に対応する人物領域であるとして、その人物が検出された検出枠に対応する人物領域とする。そして、統合部２４は、統合結果を統合結果記憶部２６に格納する。

統合結果記憶部２６には、統合部２４の統合処理によって得られた統合結果が格納される。統合結果としては、例えば、上記図４又は上記図６に示されるようなテーブルの形式の情報が格納される。

人物方向決定部２８は、統合結果記憶部２６に格納された、各フレーム画像間で対応付けられた同一人物の人物領域の各々に基づいて、各人物領域の移動方向を推定する。そして、人物方向決定部２８は、同一人物の人物領域の各々の移動方向に基づいて、各人物領域の向きを特定する。なお、本実施形態では、画像における座標系は図８に示されるように設定される。また、本実施形態では、人物は、カメラの撮像範囲の奥行き方向の手前側又は奥側に向かって移動する場合を例に説明する。したがって、画像上での人物の移動方向はｙ軸方向に対応する。

具体的には、人物方向決定部２８は、統合結果記憶部２６に格納された統合結果から各時刻のフレーム画像の各人物領域を読み出す。そして、人物方向決定部２８は、人物領域ＩＤが同一である人物領域の各々について、時刻ｔ−１のフレーム画像の人物領域のｙ座標値をｐ（ｔ−１）とし、時刻ｔにおける人物領域のｙ座標値をｐ（ｔ）とする。また、人物方向決定部２８は、以下の式（２）〜式（４）に応じて、人物領域に映る人物の移動方向を判定する。そして、人物方向決定部２８は、人物領域に映る人物の移動方向に応じて、人物の向きを判定する。

ｐ（ｔ）−ｐ（ｔ−１）＜０ （２）：人物は後ろ向き
ｐ（ｔ）−ｐ（ｔ−１）＞０ （３）：人物は前向き
ｐ（ｔ）−ｐ（ｔ−１）＝０ （４）：時刻ｔ−１のフレーム画像で判定された向きと同じ向き

人物方向決定部２８は、上記式（２）が満たされる場合、人物領域はフレーム画像上で上方向へ移動しており、人物領域に映る人物は奥側に向かって移動していることを表しているため、人物領域に映る人物は後ろ向きであると判定する。

また、人物方向決定部２８は、上記式（３）が満たされる場合、人物領域はフレーム画像上で下方向へ移動しており、人物領域に映る人物は手前に向かって移動していることを表しているため、人物領域に映る人物は前向きであると判定する。

また、人物方向決定部２８は、上記式（４）が満たされる場合、人物領域は、前時刻ｔ−１からｙ座標の変化がないため、ここでは、前時刻ｔ−１の方向と同じ向きであると判定する。そして、人物方向決定部２８は、各人物領域について決定された人物領域の向きを、向き重なり結果記憶部３０へ格納する。

重なり判定部３２は、統合結果記憶部２６に格納された統合結果に基づいて、各人物領域に対し、人物領域同士の重なりが存在するか否かを判定する。図９に、人物領域同士の重なりを説明するための説明図を示す。

図９に示されるように、人物領域ＪＡの検出枠ＫＡのｘ座標の最小値をｘ１_ｓ、ｘ座標の最大値をｘ１_ｅ、人物領域ＪＡの検出枠ＫＡのｙ座標の最小値をｙ１_ｓ、最大値をｙ１_ｅとする。また、人物領域ＪＢの検出枠ＫＢのｘ座標の最小値をｘ２_ｓ、ｘ座標の最大値をｘ２_ｅ、人物領域ＪＢの検出枠ＫＢのｙ座標の最小値をｙ２_ｓ、最大値をｙ２_ｅとする。この場合、重なり判定部３２は、以下の式（５）〜（１２）に応じて、人物領域同士で重なりが生じているか否かを判定する。

ｘ１_ｓ＜ｘ２_ｓ＜ｘ１_ｅ （５）
ｘ１_ｓ＜ｘ２_ｅ＜ｘ１_ｅ （６）
ｙ１_ｓ＜ｙ２_ｓ＜ｙ１_ｅ （７）
ｙ１_ｓ＜ｙ２_ｅ＜ｙ１_ｅ （８）

ｘ２_ｓ＜ｘ１_ｓ＜ｘ２_ｅ （９）
ｘ２_ｓ＜ｘ１_ｅ＜ｘ２_ｅ （１０）
ｙ２_ｓ＜ｙ１_ｓ＜ｙ２_ｅ （１１）
ｙ２_ｓ＜ｙ１_ｅ＜ｙ２_ｅ （１２）

重なり判定部３２は、上記式（５）及び上記式（６）の少なくとも一方を満たし、かつ上記式（７）及び上記式（８）の少なくとも一方を満たす場合には、人物領域ＪＡと人物領域ＪＢとの間で重なりが生じていると判定する。また、重なり判定部３２は、上記式（９）及び上記式（１０）の少なくとも一方を満たし、かつ上記式（１１）及び上記式（１２）の少なくとも一方を満たす場合には、人物領域ＪＡと人物領域ＪＢとの間で重なりが生じていると判定する。そして、重なり判定部３２は、重なりの判定結果を、向き重なり結果記憶部３０へ格納する。

向き重なり結果記憶部３０には、人物方向決定部２８によって得られた各人物領域の向きの情報と、重なり判定部３２によって得られた各人物領域の重なりの情報が格納される。なお、人物領域のうちの重なりが生じている領域の４隅座標が、重なりの情報として格納される。向き重なり結果記憶部３０には、例えば、図１０に示されるようなテーブルの形式の情報が格納される。図１０に示されるように、向き重なり結果記憶部３０のテーブルには、統合結果記憶部２６に格納されたテーブルに、人物領域の向きの情報と人物領域の重なりの情報とが追加される。

他カメラ検出結果取得部３４は、カメラＡとは異なるカメラを表す他カメラＢによって撮像された動画像の各フレーム画像の人物領域の情報を取得する。他カメラ検出結果取得部３４によって取得される情報は、向き重なり結果記憶部３０に格納された情報と同様の情報である。また、他カメラ検出結果取得部３４によって取得される情報は、他カメラＢの動画像を解析する画像解析装置（図示省略）によって得られた情報である。

他カメラ検出結果記憶部３６には、他カメラ検出結果取得部３４によって取得され、向き重なり結果記憶部３０に格納されたテーブルと同様の形式の情報が格納される。なお、以下では、カメラＡによって撮像された動画像の各フレーム画像に含まれる人物領域を人物領域Ｘ、他カメラＢによって撮像された動画像の各フレーム画像に含まれる人物領域を対応付け候補Ｙとする。

対応付け候補決定部３８は、向き重なり結果記憶部３０に格納された、新たに出現した人物に対応する人物領域Ｘを逐次読み出す。次に、対応付け候補決定部３８は、読み出した人物領域Ｘの各々について、人物領域Ｘを含むフレーム画像の撮像時刻から、過去の所定の時間範囲内に存在する他カメラ検出結果記憶部３６の人物領域を、人物領域Ｘの対応付け候補Ｙとして設定する。

図１１に、対応付け候補決定部３８の処理を説明するための説明図を示す。図１１に示されるように、例えば、人物ＪＡ１がカメラＡによって新たに撮像された場合を例に考える。この場合、人物ＪＡ１がカメラＡによって撮像された時刻ｔから所定の時間範囲ｒａｎｇｅ内に、カメラＢによって撮像された人物領域ＪＢ１，ＪＢ２，ＪＢ３，及びＪＢ４が人物ＪＡ１の同一人物候補であるとして、対応付け候補Ｙとして設定される。なお、１つの人物領域ＩＤは、１つの人物領域Ｘ１に対応する。

特徴分布生成部４０は、人物領域の状態である、人物領域の向き及び人物領域内の重なりに応じて、人物領域の対応付けに使用する特徴量の種類を決定する。具体的には、特徴分布生成部４０は、人物領域の重なりの領域とは異なる領域から抽出される特徴量を、対象物領域の対応付けに使用する特徴量として決定する。また、特徴分布生成部４０は、一方の人物領域と他方の人物領域との向きが同一でない場合には、人物領域の頭部および上半身とは異なる領域から抽出される特徴量を、人物領域の対応付けに使用する特徴量として決定する。本実施形態では、特徴分布生成部４０は、人物領域の上半身領域の色、人物領域の下半身領域の色、人物領域の靴領域の色、及び人物領域の頭髪領域の色を、特徴量として抽出する。

そのため、特徴分布生成部４０は、人物領域Ｘと対応付け候補Ｙとのペアの各々について、向き重なり結果記憶部３０に格納された人物領域Ｘの向きと対応付け候補Ｙとの向き、及び人物領域Ｘの重なりに基づき、対応付けに使用する特徴量の種類を決定する。

具体的には、特徴分布生成部４０は、以下の表に従って、各人物領域から特徴量を抽出する。なお、所定時間範囲内の複数時刻のフレーム画像の各々に同じ人物領域ＩＤの人物領域が存在する場合、最新の時刻のフレーム画像の人物領域Ｘから特徴量を抽出する。

特徴分布生成部４０は、人物領域Ｘの向きと対応付け候補Ｙとの向きとが一致し、かつ人物領域Ｘ及び対応付け候補Ｙ内に重なりが存在しない場合には、人物領域Ｘ及び対応付け候補Ｙから、全ての種類の特徴量を抽出する。

また、特徴分布生成部４０は、人物領域Ｘの向きと対応付け候補Ｙの向きとが異なり、かつ人物領域Ｘ及び対応付け候補Ｙ内に重なりが存在しない場合には、人物領域Ｘ及び対応付け候補Ｙから、下半身領域の特徴量及び靴領域の特徴量を抽出する。

また、特徴分布生成部４０は、人物領域Ｘの向きと対応付け候補Ｙの向きとが一致し、かつ人物領域Ｘ及び対応付け候補Ｙの少なくとも一方内に重なりが存在する場合には、人物領域Ｘ及び対応付け候補Ｙから、重なりが存在しない領域の特徴量を抽出する。

また、特徴分布生成部４０は、人物領域Ｘの向きと対応付け候補Ｙの向きとが一致せず、かつ人物領域Ｘ及び対応付け候補Ｙの少なくとも一方内に重なりが存在する場合、予め設定された領域の特徴量を抽出する。具体的には、特徴分布生成部４０は、下半身領域の特徴量及び靴領域の特徴量の少なくとも一方の特徴量でありかつ重なりが存在しない領域の特徴量を抽出する。

また、特徴分布生成部４０は、各対応付け候補Ｙから抽出された各種類の特徴量の分布を生成する。特徴分布生成部４０は、１つの対応付け候補Ｙから抽出された１つの種類の特徴量が１つの点となるように、各種類の特徴量の分布を生成する。そして、特徴分布生成部４０は、各種類の特徴量の分布の分散を計算する。

特徴選択部４２は、人物領域の状態である、複数の人物領域の各々から抽出される特徴量の分布の状態に応じて、人物領域の対応付けに使用する特徴量の種類を更に決定する。具体的には、特徴選択部４２は、複数の人物領域の各々について、複数の人物領域の各々から抽出される特徴量の分散に応じて、人物領域の対応付けに使用する特徴量の種類を決定する。

より詳細には、特徴選択部４２は、特徴分布生成部４０によって計算された特徴量の分布の分散が閾値よりも大きい種類の特徴量を、対応付けに使用する特徴量として選択する。特徴量の分布の分散が大きいほど、特徴量の分布内において、各人物領域の特徴量がばらばらに配置されているため、人物領域の対応付けに適していると考えられる。そのため、特徴選択部４２は、特徴量の分布の分散が閾値よりも大きい種類の特徴量を、対応付けに使用する特徴量として選択する。

処理順番決定部４４は、人物領域同士の照合の順番を決定する。具体的には、処理順番決定部４４は、人物領域から抽出される複数の特徴量の分散に応じて、複数の人物領域の対応付けの順番を設定する。例えば、処理順番決定部４４は、対応付け候補Ｙ毎に、複数時刻分の各フレーム画像から抽出された各種類の特徴量の分布を生成し、人物領域の対応付けに使用することが決定された種類の特徴量のばらつきが少ない対応付け候補Ｙから順に照合を行う。ここで、ばらつきが少ないとは、各フレーム画像の人物領域から抽出される特徴量の分散が小さいことをいう。処理順番決定部４４によって決定された順番に応じて、人物領域Ｘと対応付け候補Ｙとのペアの各々についての照合が行われる。

図１２に、処理順番決定部４４の処理を説明するための図を示す。図１２に示されるように、人物Ａ１と人物Ｂ１とを照合し、人物Ａ１と人物Ｂ２とを照合する場合を例に説明する。図１２に示される例では、各フレーム画像から検出された人物Ｂ１の対応付け候補から抽出される特徴量の分布は、上半身領域の特徴量の分布ＦＰ１、下半身領域の特徴量の分布ＦＰ２、靴領域の特徴量の分布ＦＰ３、及び頭髪領域の特徴量の分布ＦＰ４である。各特徴量の分布において、１つの点は１つのフレーム画像の対応付け候補から抽出された１つの種類の特徴量を表す。

特徴選択部４２による特徴量の種類の選択の結果、上半身領域の特徴量を用いて照合が行われると決定された場合、処理順番決定部４４は、人物Ｂ１の上半身領域の特徴量の分布Ｆ１の分散と、人物Ｂ２の上半身領域の特徴量の分布Ｆ１の分散とを比較する。そして、処理順番決定部４４は、上半身の特徴量の分布の分散が小さい方の人物Ｂ２と、人物Ａ１との照合が先に行われるように順番を設定する。各時刻のフレーム画像の対応付け候補Ｙから抽出された特徴量の分布の分散が小さいほど、安定して特徴量が抽出されていると考えることができる。そのため、処理順番決定部４４は、各時刻のフレーム画像の対応付け候補Ｙから抽出された特徴量の分布の分散が小さい対応付け候補Ｙほど先に処理が行われるように設定する。図１２に示される例では、照合の順番は、人物Ａ１と人物Ｂ２との照合が行われた後に、人物Ａ１と人物Ｂ１との照合が行われる。

対応付け部４６は、処理順番決定部４４によって決定された照合の順番に従って、特徴選択部４２によって選択された種類の特徴量に基づいて、人物領域Ｘと対応付け候補Ｙとの間の対応付けを行う。

具体的には、対応付け部４６は、以下の式（１３）に従って、人物１の色の特徴量（Ｒ１，Ｇ１，Ｂ１）と人物２の色の特徴量（Ｒ２，Ｇ２，Ｂ２）との間の相関値を求める。また、対応付け部４６は、以下の式（１４）に従って、人物１の色の特徴量（Ｒ１，Ｇ１，Ｂ１）と人物２の色の特徴量（Ｒ２，Ｇ２，Ｂ２）との間の距離を求める。そして、対応付け部４６は、例えば、人物領域間の相関値が閾値より大きく、かつ人物領域間の距離が閾値より小さい場合に、人物１と人物２とを対応付ける。

（１３）

（１４）

表示装置４８は、制御部１４によって出力された、人物領域同士の対応付け結果を表示する。

画像解析装置１０の制御部１４は、例えば、図１３に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、表示装置４８及び入力装置等（図示省略）が接続される入出力interface（Ｉ／Ｆ）５４、並びに記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークinterface（Ｉ／Ｆ）５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を画像解析装置１０として機能させるための画像解析プログラム６０が記憶されている。画像解析プログラム６０は、人物検出プロセス６３と、人物追跡プロセス６４と、統合プロセス６５と、人物方向決定プロセス６６と、重なり判定プロセス６７と、他カメラ検出結果取得プロセス６８と、対応付け候補決定プロセス６９と、特徴分布生成プロセス７０とを有する。また、画像解析プログラム６０は、特徴選択プロセス７１と、処理順番決定プロセス７２と、対応付けプロセス７３とを有する。また、記憶部５３は、検出結果記憶部１８と、追跡結果記憶部２２と、統合結果記憶部２６と、向き重なり結果記憶部３０と、他カメラ検出結果記憶部３６とを構成する情報が記憶される情報記憶領域７４を有する。

ＣＰＵ５１は、画像解析プログラム６０を記憶部５３から読み出してメモリ５２に展開し、画像解析プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、人物検出プロセス６３を実行することで、図１に示す人物検出部１６として動作する。また、ＣＰＵ５１は、人物追跡プロセス６４を実行することで、図１に示す人物追跡部２０として動作する。また、ＣＰＵ５１は、統合プロセス６５を実行することで、図１に示す統合部２４として動作する。また、ＣＰＵ５１は、人物方向決定プロセス６６を実行することで、図１に示す人物方向決定部２８として動作する。また、ＣＰＵ５１は、重なり判定プロセス６７を実行することで、図１に示す重なり判定部３２として動作する。また、ＣＰＵ５１は、他カメラ検出結果取得プロセス６８を実行することで、図１に示す他カメラ検出結果取得部３４として動作する。また、ＣＰＵ５１は、対応付け候補決定プロセス６９を実行することで、図１に示す対応付け候補決定部３８として動作する。また、ＣＰＵ５１は、特徴分布生成プロセス７０を実行することで、図１に示す特徴分布生成部４０として動作する。また、ＣＰＵ５１は、特徴選択プロセス７１を実行することで、図１に示す特徴選択部４２として動作する。また、ＣＰＵ５１は、処理順番決定プロセス７２を実行することで、図１に示す処理順番決定部４４として動作する。また、ＣＰＵ５１は、対応付けプロセス７３を実行することで、図１に示す対応付け部４６として動作する。また、ＣＰＵ５１は、情報記憶領域７４から情報を読み出して、検出結果記憶部１８をメモリ５２に展開する。また、ＣＰＵ５１は、情報記憶領域７４から情報を読み出して、追跡結果記憶部２２をメモリ５２に展開する。また、ＣＰＵ５１は、情報記憶領域７４から情報を読み出して、統合結果記憶部２６をメモリ５２に展開する。また、ＣＰＵ５１は、情報記憶領域７４から情報を読み出して、向き重なり結果記憶部３０をメモリ５２に展開する。また、ＣＰＵ５１は、情報記憶領域７４から情報を読み出して、他カメラ検出結果記憶部３６をメモリ５２に展開する。これにより、画像解析プログラム６０を実行したコンピュータ５０が、画像解析装置１０として機能することになる。ソフトウェアである画像解析プログラム６０を実行するＣＰＵ５１はハードウェアである。

なお、画像解析プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

次に、本実施形態に係る画像解析装置１０の作用について説明する。

まず、画像解析装置１０のカメラＡによって動画像が撮像され、他の画像解析装置（図示省略）から他カメラＢによって撮像された動画像についての他カメラ検出結果が取得され始めると、画像解析装置１０において、図１４に示す処理が実行される。以下、各処理について詳述する。

ステップＳ１００において、人物検出部１６は、カメラＡによって撮像された動画像を取得する。

次に、ステップＳ１０２において、人物検出部１６は、上記ステップＳ１００で取得された動画像の各フレーム画像から人物領域を検出する。ステップＳ１０２は、図１５に示す処理によって実現される。

図１５に示すステップＳ２００において、人物検出部１６は、各時刻のフレーム画像に対し、時刻ｔ−１のフレーム画像と時刻ｔのフレーム画像との間の背景差分を求める。

ステップＳ２０２において、人物検出部１６は、上記ステップＳ２００で得られた背景差分に基づいて人物領域候補を特定する。次に、人物検出部１６は、人物領域候補を、予め学習された識別器へ入力し、人物領域候補が人物領域であるか否かを表す判定結果を得る。

ステップＳ２０４において、人物検出部１６は、上記ステップＳ２０２で人物領域であると判定された検出結果を、検出結果記憶部１８へ格納する。

次に、図１４のステップＳ１０４において、人物追跡部２０は、各フレーム画像における人物領域に応じて、同一人物の人物領域を追跡する。ステップＳ１０４は、図１６に示す処理によって実現される。図１６の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ３００において、人物追跡部２０は、時刻ｔ−１のフレーム画像内の人物領域の検出結果を検出結果記憶部１８から読み込む。

ステップＳ３０１において、人物追跡部２０は、上記ステップＳ３００で読み込まれた時刻ｔ−１のフレーム画像内の各人物領域から、１つの人物領域を設定する。

ステップＳ３０２において、人物追跡部２０は、上記ステップＳ３０１で設定された人物領域の画像情報をテンプレートとして設定し、時刻ｔのフレーム画像に対してテンプレートマッチングを行い、時刻ｔのフレーム画像の各位置について類似度を算出する。

ステップＳ３０４において、人物追跡部２０は、上記ステップＳ３０２で算出された類似度が最も高い位置を算出する。

ステップＳ３０６において、人物追跡部２０は、上記ステップＳ３０４で算出された類似度が最も高い位置に基づいて、時刻ｔ−１のフレーム画像内の人物領域の各々と、時刻ｔのフレーム画像内の人物領域の各々との間における同一の人物領域を特定する。そして、人物追跡部２０は、同一であると判定された人物領域に対して、同一の人物領域ＩＤを付与して、追跡結果記憶部２２に格納する。

ステップＳ３０７において、人物追跡部２０は、上記ステップＳ３００で読み込まれた時刻ｔ−１のフレーム画像内の全ての人物領域について、上記ステップＳ３０１〜ステップＳ３０６の処理を実行したか否かを判定する。上記ステップＳ３００で読み込まれた時刻ｔ−１のフレーム画像内の全ての人物領域について、上記ステップＳ３０１〜ステップＳ３０６の処理を実行した場合には、ステップＳ３０８へ進む。一方、上記ステップＳ３０１〜ステップＳ３０６の処理を実行していない人物領域が存在する場合には、ステップＳ３０１へ戻る。

ステップＳ３０８において、人物追跡部２０は、検出結果記憶部１８に格納された全ての時刻のフレーム画像について、上記ステップＳ３００〜ステップＳ３０７の処理を実行したか否かを判定する。全ての時刻のフレーム画像について、上記ステップＳ３００〜ステップＳ３０７の処理を実行した場合には、処理を終了する。上記ステップＳ３００〜ステップＳ３０７の処理を実行していない時刻のフレーム画像が存在する場合には、ステップＳ３００へ戻る。

次に、図１４のステップＳ１０６において、統合部２４は、上記ステップＳ１０２で検出結果記憶部１８に格納された検出結果と、上記ステップＳ１０４で追跡結果記憶部２２に格納された追跡結果とを統合する。ステップＳ１０６は、図１７に示す処理によって実現される。図１７の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ３１０において、統合部２４は、検出結果記憶部１８に格納された時刻ｔの検出結果を読み込む。

ステップＳ３１２において、統合部２４は、追跡結果記憶部２２に格納された時刻ｔの追跡結果を読み込む。

ステップＳ３１４において、統合部２４は、上記ステップＳ３１０で読み込まれた時刻ｔのフレーム画像内の各人物領域から、１つの人物領域を設定する。

ステップＳ３１６において、統合部２４は、上記ステップＳ３１４で設定された人物領域と、上記ステップＳ３１２で読み込まれた時刻ｔのフレーム画像内の人物領域との間の重複率を算出する。

ステップＳ３１８において、統合部２４は、上記ステップＳ３１６で算出された重複率が閾値以上であるか否かを判定する。上記ステップＳ３１６で算出された重複率が閾値以上である場合には、ステップＳ３２０へ進む。一方、上記ステップＳ３１６で算出された重複率が閾値未満である場合には、ステップＳ３２１へ進む。

ステップＳ３２０において、統合部２４は、上記ステップＳ３１４で設定された人物領域についての、検出結果と追跡結果とを統合して、統合結果記憶部２６に格納する。

ステップＳ３２１において、統合部２４は、上記ステップＳ３１４で設定された人物領域を、新たに出現した人物であるとして、統合結果記憶部２６に格納する。

ステップＳ３２２において、統合部２４は、上記ステップＳ３１０で読み込まれた時刻ｔのフレーム画像内の全ての人物領域について、上記ステップＳ３１４〜ステップＳ３２１の処理を実行したか否かを判定する。上記ステップＳ３１０で読み込まれた時刻ｔのフレーム画像内の全ての人物領域について、上記ステップＳ３１４〜ステップＳ３２１の処理を実行した場合には、ステップＳ３２４へ進む。一方、上記ステップＳ３１４〜ステップＳ３２１の処理を実行していない人物領域が存在する場合には、ステップＳ３１４へ戻る。

ステップＳ３２４において、統合部２４は、検出結果記憶部１８に格納された全ての時刻のフレーム画像について、上記ステップＳ３１０〜ステップＳ３２２の処理を実行したか否かを判定する。全ての時刻のフレーム画像について、上記ステップＳ３１０〜ステップＳ３２２の処理を実行した場合には、処理を終了する。上記ステップＳ３１０〜ステップＳ３２２の処理を実行していない時刻のフレーム画像が存在する場合には、ステップＳ３１０へ戻る。

次に、図１４のステップＳ１０８において、人物方向決定部２８は、上記ステップＳ１０６で統合結果記憶部２６に格納された、各フレーム画像間で対応付けられた同一人物の人物領域の各々に基づいて、各人物領域の移動方向を推定する。そして、人物方向決定部２８は、同一人物の人物領域の各々の移動方向に基づいて、各人物領域が示す人物の向きを特定する。ステップＳ１０８は、図１８に示す処理によって実現される。図１８の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ３２６において、人物方向決定部２８は、統合結果記憶部２６に格納された統合結果から時刻ｔ−１の統合結果と時刻ｔの統合結果とを読み出す。

ステップＳ３２８において、人物方向決定部２８は、上記ステップＳ３２６で読み出された時刻ｔ−１のフレーム画像内の各人物領域から、１つの人物領域を設定する。また、人物方向決定部２８は、時刻ｔ−１のフレーム画像内で設定された人物領域の人物領域ＩＤと同一の人物領域ＩＤの人物領域を、上記ステップＳ３２６で読み出された時刻ｔのフレーム画像内の各人物領域から設定する。

ステップＳ３３０において、人物方向決定部２８は、上記ステップＳ３２８で設定された時刻ｔ−１の人物領域のｙ座標ｐ（ｔ−１）と、時刻ｔの人物領域のｙ座標ｐ（ｔ）とに基づいて、人物領域の画像上での移動方向に応じて、人物領域に映る人物の向きを算出する。そして、人物方向決定部２８は、上記ステップＳ３２８で設定された人物領域に対して算出された向きを、向き重なり結果記憶部３０へ格納する。

ステップＳ３３２において、人物方向決定部２８は、上記ステップＳ３２６で読み込まれた時刻ｔ−１のフレーム画像内の全ての人物領域について、上記ステップＳ３２８〜ステップＳ３３０の処理を実行したか否かを判定する。上記ステップＳ３２６で読み込まれた時刻ｔ−１のフレーム画像内の全ての人物領域について、上記ステップＳ３２８〜ステップＳ３３０の処理を実行した場合には、ステップＳ３３４へ進む。一方、上記ステップＳ３２８〜ステップＳ３３０の処理を実行していない人物領域が存在する場合には、ステップＳ３２８へ戻る。

ステップＳ３３４において、人物方向決定部２８は、統合結果記憶部２６に格納された全ての時刻のフレーム画像について、上記ステップＳ３２６〜ステップＳ３３２の処理を実行したか否かを判定する。全ての時刻のフレーム画像について、上記ステップＳ３２６〜ステップＳ３３２の処理を実行した場合には、処理を終了する。上記ステップＳ３２６〜ステップＳ３３２の処理を実行していない時刻のフレーム画像が存在する場合には、ステップＳ３２６へ戻る。

次に、図１４のステップＳ１１０において、重なり判定部３２は、上記ステップＳ１０６で統合結果記憶部２６に格納された統合結果に基づいて、人物領域同士の重なりが存在するか否かを判定する。ステップＳ１１０は、図１９に示す処理によって実現される。図１９の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ４００において、重なり判定部３２は、統合結果記憶部２６に格納された統合結果から時刻ｔの統合結果を読み出す。

ステップＳ４０１において、重なり判定部３２は、上記ステップＳ４００で読み込まれた時刻ｔの統合結果のフレーム画像内の各人物領域から、１つの人物領域を設定する。

ステップＳ４０２において、重なり判定部３２は、上記ステップＳ４０１で設定された人物領域とは異なる人物領域の位置情報を読み出す。

ステップＳ４０４において、重なり判定部３２は、上記ステップＳ４０１で設定された人物領域の位置情報と、上記ステップＳ４０２で読み出された人物領域の位置情報との間で、重なりが存在するか否かを判定する。重なりが存在する場合には、ステップＳ４０６へ進む。一方、重なりが存在しない場合には、ステップＳ４０８へ進む。

ステップＳ４０６において、重なり判定部３２は、上記ステップＳ４０１で設定された人物領域の位置情報と、上記ステップＳ４０２で読み込まれた人物領域の位置情報との間で、ｙ座標の値が小さい方の人物領域に重なりが存在すると判定する。そして、重なり判定部３２は、重なりが存在することを示す情報を、向き重なり結果記憶部３０へ格納する。

ステップＳ４０８において、重なり判定部３２は、上記ステップＳ４０１で設定された人物領域とは異なる全ての人物領域について、上記ステップＳ４０２〜ステップＳ４０６の処理を実行したか否かを判定する。上記ステップＳ４０１で設定された人物領域とは異なる全ての人物領域について、上記ステップＳ４０２〜ステップＳ４０６の処理を実行した場合には、ステップＳ４１０へ進む。一方、上記ステップＳ４０２〜ステップＳ４０６の処理を実行していない人物領域が存在する場合には、ステップＳ４０２へ戻る。

ステップＳ４１２において、重なり判定部３２は、上記ステップＳ４００で読み込まれた時刻ｔのフレーム画像内の全ての人物領域について、上記ステップＳ４０１〜ステップＳ４０８の処理を実行したか否かを判定する。上記ステップＳ４００で読み込まれた時刻ｔのフレーム画像内の全ての人物領域について、上記ステップＳ４０１〜ステップＳ４０８の処理を実行した場合には、ステップＳ４１２へ進む。一方、上記ステップＳ４０１〜ステップＳ４０８の処理を実行していない人物領域が存在する場合には、ステップＳ４０１へ戻る。

ステップＳ４１２において、重なり判定部３２は、統合結果記憶部２６に格納された全ての時刻のフレーム画像について、上記ステップＳ４００〜ステップＳ４１０の処理を実行したか否かを判定する。全ての時刻のフレーム画像について、上記ステップＳ４００〜ステップＳ４１０の処理を実行した場合には、処理を終了する。上記ステップＳ４００〜ステップＳ４１０の処理を実行していない時刻のフレーム画像が存在する場合には、ステップＳ４００へ戻る。

次に図１４に示すステップＳ１１２において、対応付け候補決定部３８は、向き重なり結果記憶部３０に格納された、新たに出現した人物に対応する人物領域Ｘの各々を逐次読み出す。そして、対応付け候補決定部３８は、人物領域Ｘとの対応付け候補Ｙを、他カメラ検出結果記憶部３６に格納された人物領域の各々から設定する。ステップＳ１１２は、図２０に示す処理によって実現される。

ステップＳ５００において、対応付け候補決定部３８は、向き重なり結果記憶部３０から人物領域Ｘを読み込む。なお、対応付け候補決定部３８は、現時刻から過去の所定の時間区間内に、人物領域ＩＤが１つしか存在しない人物領域を、新たな人物に対応する人物領域Ｘとして読み込む。

ステップＳ５０２において、対応付け候補決定部３８は、上記ステップＳ５００で読み込まれた人物領域Ｘを含むフレーム画像が撮像された時刻から、過去の所定時間区間内の人物領域を他カメラ検出結果記憶部３６から読み出す。そして、対応付け候補決定部３８は、他カメラ検出結果記憶部３６から読み出された所定時間区間内の人物領域の各々を、対応付け候補Ｙとして設定する。

次に図１４に示すステップＳ１１４において、特徴分布生成部４０は、上記ステップＳ１１２で設定された対応付け候補Ｙと人物領域Ｘとのペアの各々について、人物領域の向き及び人物領域内の重なりに応じて、対応付けに使用する特徴量の種類を決定する。ステップＳ１１４は、図２１に示す処理によって実現される。図２１の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ６００において、特徴分布生成部４０は、上記ステップＳ１１２で得られた対応付け候補Ｙの各々から、１つの対応付け候補を設定する。

ステップＳ６０２において、特徴分布生成部４０は、向き重なり結果記憶部３０及び他カメラ検出結果記憶部３６に格納されている情報に基づいて、人物領域Ｘ及び上記ステップＳ６００で設定された対応付け候補Ｙに重なりが存在するか否かを判定する。人物領域Ｘ及び対応付け候補Ｙに重なりが存在しない場合には、ステップＳ６０４へ進む。一方、人物領域Ｘ及び対応付け候補Ｙの少なくとも一方に重なりが存在する場合には、ステップＳ６０８へ進む。

ステップＳ６０４において、特徴分布生成部４０は、向き重なり結果記憶部３０及び他カメラ検出結果記憶部３６に格納されている情報に基づいて、上記ステップＳ６００で設定された対応付け候補Ｙの向きと人物領域Ｘの向きとが同じであるか否かを判定する。上記ステップＳ６００で設定された対応付け候補Ｙの向きと人物領域Ｘの向きとが同じである場合には、ステップＳ６０６へ進む。一方、上記ステップＳ６００で設定された対応付け候補Ｙの向きと、人物領域Ｘの向きとが異なる場合には、ステップＳ６０８へ進む。

ステップＳ６０６において、特徴分布生成部４０は、上記ステップＳ６００で設定された対応付け候補Ｙ及び人物領域Ｘから、全ての種類の特徴量を抽出する。

ステップＳ６０８において、特徴分布生成部４０は、人物領域Ｘの向きと対応付け候補Ｙの向き及び人物領域Ｘの重なりと対応付け候補Ｙの重なりに応じて、対応付けに用いる特徴量の種類を決定し、決定された種類の特徴量を抽出する。具体的には、特徴分布生成部４０は、人物領域Ｘの向きと対応付け候補Ｙの向きとが異なり、かつ人物領域Ｘ及び対応付け候補Ｙの何れにも重なりが存在しない場合には、下半身領域の特徴量及び靴領域の特徴量を抽出する。また、特徴分布生成部４０は、人物領域Ｘの向きと対応付け候補Ｙの向きとが一致し、かつ人物領域Ｘ及び対応付け候補Ｙの何れか一方に重なりが存在する場合には、重なりが存在しない領域の特徴量を抽出する。また、人物領域Ｘの向きと対応付け候補Ｙの向きとが一致せず、かつ人物領域Ｘ及び対応付け候補Ｙの何れか一方に重なりが存在する場合、下半身領域の特徴量及び靴領域の特徴量の少なくとも一方の特徴量でありかつ重なりが存在しない領域の特徴量が抽出される。

ステップＳ６１０において、特徴分布生成部４０は、全ての対応付け候補について、上記ステップＳ６００〜ステップＳ６０８の処理を実行したか否かを判定する。全ての対応付け候補について、上記ステップＳ６００〜ステップＳ６０８の処理を実行した場合には、ステップＳ６１２へ進む。一方、上記ステップＳ６００〜ステップＳ６０８の処理を実行していない対応付け候補が存在する場合には、ステップＳ６００へ戻る。

ステップＳ６１２において、特徴分布生成部４０は、上記ステップＳ６０６又は上記ステップＳ６０８で抽出された対応付け候補Ｙの各々の特徴量の分布を生成する。そして、特徴分布生成部４０は、複数の対応付け候補Ｙから抽出された各特徴量の分布の分散を算出する。

次に、図１４に示すステップＳ１１６において、特徴選択部４２は、上記ステップＳ１１４で抽出された特徴量の中から、人物領域同士の対応付けに使用する特徴量の種類を更に選択する。ステップＳ１１６は、図２２に示す処理によって実現される。図２２の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ７００において、特徴選択部４２は、上記ステップＳ１１２で得られた対応付け候補から、１つの対応付け候補を設定する。

ステップＳ７０２において、特徴選択部４２は、ステップＳ７００で対応付け候補から抽出された特徴量のうち、特徴量の分布の分散が最も大きい特徴量を、ステップＳ７００で設定された対応付け候補と人物領域Ｘとの対応付けに使用する特徴量として選択する。

ステップＳ７０４において、特徴選択部４２は、全ての対応付け候補について、上記ステップＳ７００〜ステップＳ７０２の処理を実行したか否かを判定する。全ての対応付け候補について、上記ステップＳ７００〜ステップＳ７０２の処理を実行した場合には、処理を終了する。一方、上記ステップＳ７００〜ステップＳ７０２の処理を実行していない対応付け候補が存在する場合には、ステップＳ７００へ戻る。

次に、図１４に示すステップＳ１１８において、処理順番決定部４４は、人物領域Ｘと対応付け候補Ｙとの照合の順番を決定する。ステップＳ１１８は、図２３に示す処理によって実現される。図２３の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ８００において、処理順番決定部４４は、上記ステップＳ１１６において対応付け候補毎に選択された特徴量を読み込む。

ステップＳ８０１において、処理順番決定部４４は、１つの対応付け候補を設定する。

ステップＳ８０２において、処理順番決定部４４は、上記ステップＳ８００で読み込まれた対応付け候補毎の特徴量であって、かつ各時刻のフレーム画像の対応付け候補から得られる特徴量を取得する。そして、処理順番決定部４４は、各時刻のフレーム画像の対応付け候補から得られる特徴量に基づいて、上記ステップＳ８０１で設定された対応付け候補の特徴量の分布の分散を算出する。

ステップＳ８０４において、処理順番決定部４４は、全ての対応付け候補について、上記ステップＳ８０１〜ステップＳ８０２の処理を実行したか否かを判定する。全ての対応付け候補について、上記ステップＳ８０１〜ステップＳ８０２の処理を実行した場合には、ステップＳ８０６へ進む。一方、上記ステップＳ８０１〜ステップＳ８０２の処理を実行していない対応付け候補が存在する場合には、ステップＳ８０１へ戻る。

ステップＳ８０６において、処理順番決定部４４は、上記ステップＳ８０２で算出された対応付け候補毎の特徴量の分布の分散に基づいて、照合の順番を決定する。処理順番決定部４４は、分散の小さい対応付け候補については、分散の大きい対応付け候補よりも照合の順番が先になるように設定する。

次に、図１４に示すステップＳ１２０において、対応付け部４６は、上記ステップＳ１１８で決定された照合の順番に従って、上記ステップＳ１１６で選択された種類の特徴量を用いて人物同士の対応付けを行う。ステップＳ１２０は、図２４の処理によって実現される。図２４の処理は、各フレーム画像から検出された人物領域毎に実行される。

ステップＳ９００において、対応付け部４６は、人物領域Ｘの特徴量を取得する。

ステップＳ９０２において、対応付け部４６は、上記ステップＳ１１８で決定された照合の順番に従って、１つの対応付け候補Ｙを設定する。

ステップＳ９０４において、対応付け部４６は、上記ステップＳ９０２で設定された対応付け候補Ｙの特徴量であって、上記ステップＳ１１６で対応付け候補Ｙに対して選択された特徴量を取得する。

ステップＳ９０６において、対応付け部４６は、上記ステップＳ９００で取得した人物領域Ｘの特徴量と、上記ステップＳ９０４で取得した対応付け候補Ｙの特徴量とを照合して、照合の一致度を算出する。

ステップＳ９０８において、対応付け部４６は、上記ステップＳ９０６で算出された対応付け候補の一致度が閾値以上であるか否かを判定する。上記ステップＳ９０６で算出された対応付け候補の一致度が閾値以上である場合には、ステップＳ９１２へ進む。一方、上記ステップＳ９０６で算出された対応付け候補の一致度が閾値未満である場合には、ステップＳ９１０へ進む。

ステップＳ９１０において、対応付け部４６は、全ての対応付け候補について、上記ステップＳ９０２〜ステップＳ９０８の処理を実行したか否かを判定する。全ての対応付け候補について、上記ステップＳ９０２〜ステップＳ９０８の処理を実行した場合には、処理を終了する。一方、上記ステップＳ９０２〜ステップＳ９０８の処理を実行していない対応付け候補が存在する場合には、ステップＳ９０２へ戻る。

ステップＳ９１２において、対応付け部４６は、他カメラ検出結果の人物領域と、上記ステップＳ９０２で設定された対応付け候補とを、同一人物として対応付ける。

ステップＳ１２２において、対応付け部４６は、対応付け結果を結果として出力する。例えば、対応付け部４６は、同一人物として対応付けられた人物領域ＩＤを対応付け結果として出力する。

ステップＳ１２４において、制御部１４は処理を続行するか否かを判定する。処理を続行する場合には、ステップＳ１００へ戻り、処理を続行しない場合には処理を終了する。

以上説明したように、第１の実施形態に係る画像解析装置は、複数の画像の各々から検出された人物領域の状態に応じて、人物領域の対応付けに使用する特徴量の種類を決定する。そして、決定された種類の特徴量の一致度に応じて、複数の画像の各々のうちの対応する人物領域を特定する。これにより、人物領域同士の対応付けを精度良く行なうことができる。また、複数のカメラによって撮像された画像の各々から、人物領域の特徴量の一部が得られない場合であっても、同一の人物を特定することができる。

また、人物領域から正しく特徴が得られるかを事前に判定した上で、対応付けに用いる特徴を選択することで、対応付け候補が持つ特有の特徴量を用いることができるため、人物同士の正確な照合が可能となり、対応付け精度を向上させることができる。

＜第２の実施形態＞

次に、第２の実施形態について説明する。第２実施形態では、対応付け候補が含まれる過去のフレーム画像から、他カメラ検出結果の人物領域の向きと同一の向きの対応付け候補から得られる特徴量、及び重なりが存在しない対応付け候補から得られる特徴量を照合に用いる点が第１の実施形態と異なる。なお、第２の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。

第２の実施形態の特徴選択部４２は、複数の人物領域の各々について、各時刻に撮像された複数のフレーム画像の各々から検出された人物領域の状態に応じて、人物領域の対応付けに使用する特徴量の種類を決定する。具体的には、第２の実施形態の特徴選択部４２は、過去のフレーム画像に含まれる対応付け候補から、他カメラ検出結果の人物領域の向きと同一の向きの対応付け候補から得られる特徴量、及び重なりが存在しない対応付け候補から得られる特徴量を設定する。

図２５に、第２の実施形態の特徴量の選択を説明するための図を示す。第２の実施形態では、対応付け候補Ｙ１，Ｙ２の過去のフレーム画像ＦＹ１，ＦＹ２から、人物領域Ｘ１と向きが異なる対応付け候補から抽出された特徴量を用いず、人物領域Ｘ１と向きが同一である対応付け候補の特徴量が用いられる。また、特徴選択部４２は、対応付け候補Ｙ１，Ｙ２の過去のフレーム画像から得られた対応付け候補の各々のうち、重なりが存在する対応付け候補については特徴量を抽出せずに、重なりが存在しない対応付け候補から特徴量を抽出する。なお、過去のフレーム画像ＦＹ１，ＦＹ２は、対応付け候補を設定する際に用いられる所定の時間範囲ｒａｎｇｅ内のフレーム画像である。

これにより、対応付け候補の向きと他カメラ検出結果の人物領域の向きとが同一であり、かつ対応付け候補に重なりが存在しない特徴量が照合に用いられるため、精度良く対応付けを行うことができる。

次に、第２の実施形態に係る画像解析装置１０の特徴選択部４２の作用について説明する。図１４に示すステップＳ１１６において、特徴選択部４２は、ステップＳ１１４で抽出された特徴量の中から、人物領域同士の対応付けに使用する特徴量の種類を更に選択する。第２の実施形態のステップＳ１１６は、図２６に示す処理によって実現される。

ステップＳ７００において、特徴選択部４２は、ステップＳ１１２で得られた対応付け候補から、１つの対応付け候補を設定する。

ステップＳ７５２において、特徴選択部４２は、上記ステップＳ７００で設定された対応付け候補が、過去のフレーム画像に存在するか否かを判定する。対応付け候補が、過去のフレーム画像に存在する場合には、ステップＳ７５４へ進む。一方、対応付け候補が、過去のフレーム画像に存在しない場合には、ステップＳ７５６へ進む。

ステップＳ７５４において、特徴選択部４２は、上記ステップＳ７００で設定された対応付け候補が含まれる過去のフレーム画像から、他カメラ検出結果の人物領域と向きが同一であって、かつ重なりが存在しない対応付け候補を探索する。

ステップＳ７５６において、特徴選択部４２は、上記ステップＳ７５４で探索された対応付け候補から抽出された特徴量の各々のうち、ステップ６１２で算出された特徴量の分布の分散が最も大きい特徴量を、人物同士の対応付けに使用する特徴量として選択する。

ステップＳ７０４において、特徴選択部４２は、全ての対応付け候補について、上記ステップＳ７００〜ステップＳ７５６の処理を実行したか否かを判定する。全ての対応付け候補について、上記ステップＳ７００〜ステップＳ７５６の処理を実行した場合には、処理を終了する。一方、上記ステップＳ７００〜ステップＳ７５６の処理を実行していない対応付け候補が存在する場合には、ステップＳ７００へ戻る。

以上説明したように、第２の実施形態に係る画像解析装置は、対応付け候補が含まれる過去のフレーム画像から、新たな人物領域の向きと同一の向きの対応付け候補から得られる特徴量、及び重なりが存在しない対応付け候補から得られる特徴量を照合に用いる。これにより、人物領域を精度良く対応付けることができる。

＜第３の実施形態＞

次に、第３の実施形態について説明する。第３実施形態では、対応付け候補の各々から抽出される特徴量の分布において、平均からのずれが大きい特徴量を持つ対応付け候補から照合を行う点が第１又は第２の実施形態と異なる。なお、第３の実施形態の構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。

第３の実施形態の処理順番決定部４４は、複数の人物領域の各々について、複数の人物領域の各々から抽出される特徴量の分布の平均と、人物領域から抽出される特徴量との間のずれに応じて、人物領域の各々の対応付けの順番を設定する。具体的には、処理順番決定部４４は、対応付け候補の各々から抽出される特徴量の分布において、平均からのずれが大きい特徴量を持つ対応付け候補から照合を行うように、照合の順番を設定する。

図２７に、第３の実施形態の処理順番の設定を説明するための図を示す。図２７に示される例では、各対応付け候補から抽出される特徴量の分布が示されている。特徴量の分布における１点が１つの対応付け候補から抽出された特徴量を表す。第３の実施形態に係る画像解析装置１０の処理順番決定部４４は、対応付け候補から抽出される特徴量の分布の平均からのずれに応じて、対応付け候補の照合の順番を設定する。図２７に示される例では、人物領域Ｙ２の特徴量の方が、人物領域Ｙ１の特徴量よりも平均からずれているため、処理順番決定部４４は、人物領域Ｙ２の照合が人物領域Ｙ１の照合よりも先に行われるように、照合の順番を設定する。平均からのずれが大きい特徴量を持つ対応付け候補は、他の対応付け候補と比較して特有の特徴を持っていることを表すため、高精度の照合を行うことができる可能性が高まるため、優先的に照合を行われる。

以上説明したように、第３の実施形態に係る画像解析装置は、複数の対応付け候補から得られる特徴量の分布の平均に基づいて、照合の順番を設定する。これにより、人物領域同士の特徴量の照合の処理量を軽減できる可能性が高まる。

なお、上記では、画像解析プログラム６０が記憶部５３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。

次に、実施形態の変形例を説明する。

本実施形態では、対象物が人物である場合を例に説明したがこれに限定されるものではない。例えば、対象物としては、車両などの移動体や動物等であってもよい。

また、上記実施形態では、他カメラ検出結果として、他のカメラＢから撮像された人物領域が送信される場合を例に説明したがこれに限定されるものではない。例えば、他カメラ検出結果として、対応付けに使用する選択特徴情報（例えば、上記特許文献２）が併せて送付されてもよい。この場合には、選択特徴情報を考慮して、カメラＡによって撮像された人物領域と、他カメラ検出結果の人物領域とを対応付けることができる。

また、本実施形態の画像解析装置１０は、特徴選択部４２によって選択された人物領域毎の特徴量を、他の画像解析装置へ送信してもよい。この場合には、他の画像解析装置において、人物領域の向き及び重なりを考慮した対応付けが可能となる。また、同様に、画像解析装置１０は、他の画像解析装置によって得られた人物領域の向き及び重なりに関する情報を取得し、人物領域の向き及び重なりを考慮した対応付けを行うこともできる。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
複数の画像の各々から検出された対象物領域の状態に応じて、前記複数の画像間における前記対象物領域の対応付けに使用する特徴量の種類を決定し、
前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々において対応する前記対象物領域を特定する、
処理をコンピュータに実行させる画像解析プログラム。

（付記２）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
前記対象物領域の状態である、前記対象物領域が示す対象物の向き及び前記対象物領域が示す前記対象物と該対象物とは異なる物体との間の重なりの少なくとも一方に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
付記１に記載の画像解析プログラム。

（付記３）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
異なる前記画像の各々から検出された前記対象物領域のペアの各々について、
前記対象物領域の少なくとも一方において前記重なりが含まれる場合には、前記重なりの領域とは異なる領域から抽出される前記特徴量を、前記対象物領域の対応付けに使用する特徴量として決定する、
付記２に記載の画像解析プログラム。

（付記４）
前記対象物領域としての人物領域の対応付けに使用する特徴量の種類を決定する際に、
複数の前記人物領域のペアの各々について、
一方の前記人物領域と他方の前記人物領域との向きが対応していない場合には、前記人物領域の上半身とは異なる領域から抽出される前記特徴量を、前記対象物領域の対応付けに使用する特徴量として決定する、
付記２又は付記３に記載の画像解析プログラム。

（付記５）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
複数の前記対象物領域の各々について、前記対象物領域の状態である、複数の前記対象物領域の各々から抽出される特徴量の分布の状態に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
付記１〜付記４の何れか１項に記載の画像解析プログラム。

（付記６）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
複数の前記対象物領域の各々について、各時刻に撮像された前記複数の画像の各々から検出された前記対象物領域の状態である、前記対象物領域が示す対象物の向き及び前記対象物領域が示す前記対象物と該対象物とは異なる物体との間の重なりの少なくとも一方に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
付記１〜付記５の何れか１項に記載の画像解析プログラム。

（付記７）
複数の画像の各々のうちの対応する前記対象物領域を特定する際に、
前記対象物領域の対応付けに使用する種類の特徴量の分散が小さい対象物領域から順に、他の画像から検出された対象物領域の特徴量との一致度を判定する、
付記１〜付記６の何れか１項に記載の画像解析プログラム。

（付記８）
複数の画像の各々のうちの対応する前記対象物領域を特定する際に、
複数の前記対象物領域の各々から抽出される特徴量の分布の平均と、前記対象物領域から抽出される特徴量との間のずれが大きい対象物領域から順に、他の画像から検出された対象物領域の特徴量との一致度を判定する、
付記１〜付記６の何れか１項に記載の画像解析プログラム。

（付記９）
複数の画像の各々から検出された対象物領域の状態に応じて、前記複数の画像間における前記対象物領域の対応付けに使用する特徴量の種類を決定し、
前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々において対応する前記対象物領域を特定する、
処理をコンピュータに実行させる画像解析方法。

（付記１０）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
前記対象物領域の状態である、前記対象物領域が示す対象物の向き及び前記対象物領域が示す前記対象物と該対象物とは異なる物体との間の重なりの少なくとも一方に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
付記９に記載の画像解析方法。

（付記１１）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
異なる前記画像の各々から検出された前記対象物領域のペアの各々について、
前記対象物領域の少なくとも一方において前記重なりが含まれる場合には、前記重なりの領域とは異なる領域から抽出される前記特徴量を、前記対象物領域の対応付けに使用する特徴量として決定する、
付記１０に記載の画像解析方法。

（付記１２）
前記対象物領域としての人物領域の対応付けに使用する特徴量の種類を決定する際に、
複数の前記人物領域のペアの各々について、
一方の前記人物領域と他方の前記人物領域との向きが対応していない場合には、前記人物領域の上半身とは異なる領域から抽出される前記特徴量を、前記対象物領域の対応付けに使用する特徴量として決定する、
付記１０又は付記１１に記載の画像解析方法。

（付記１３）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
複数の前記対象物領域の各々について、前記対象物領域の状態である、複数の前記対象物領域の各々から抽出される特徴量の分布の状態に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
付記９〜付記１２の何れか１項に記載の画像解析方法。

（付記１４）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
複数の前記対象物領域の各々について、各時刻に撮像された前記複数の画像の各々から検出された前記対象物領域の状態である、前記対象物領域が示す対象物の向き及び前記対象物領域が示す前記対象物と該対象物とは異なる物体との間の重なりの少なくとも一方に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
付記９〜付記１３の何れか１項に記載の画像解析方法。

（付記１５）
複数の画像の各々のうちの対応する前記対象物領域を特定する際に、
前記対象物領域の対応付けに使用する種類の特徴量の分散が小さい対象物領域から順に、他の画像から検出された対象物領域の特徴量との一致度を判定する、
付記９〜付記１４の何れか１項に記載の画像解析方法。

（付記１６）
複数の画像の各々のうちの対応する前記対象物領域を特定する際に、
複数の前記対象物領域の各々から抽出される特徴量の分布の平均と、前記対象物領域から抽出される特徴量との間のずれが大きい対象物領域から順に、他の画像から検出された対象物領域の特徴量との一致度を判定する、
付記９〜付記１４の何れか１項に記載の画像解析方法。

（付記１７）
複数の画像の各々から検出された対象物領域の状態に応じて、前記複数の画像間における前記対象物領域の対応付けに使用する特徴量の種類を決定する決定部と、
前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々において対応する前記対象物領域を特定する特定部と、
を備える画像解析装置。

（付記１８）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
前記対象物領域の状態である、前記対象物領域が示す対象物の向き及び前記対象物領域が示す前記対象物と該対象物とは異なる物体との間の重なりの少なくとも一方に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
付記１７に記載の画像解析装置。

（付記１９）
前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
異なる前記画像の各々から検出された前記対象物領域のペアの各々について、
前記対象物領域の少なくとも一方において前記重なりが含まれる場合には、前記重なりの領域とは異なる領域から抽出される前記特徴量を、前記対象物領域の対応付けに使用する特徴量として決定する、
付記１８に記載の画像解析装置。

（付記２０）
複数の画像の各々から検出された対象物領域の状態に応じて、前記複数の画像間における前記対象物領域の対応付けに使用する特徴量の種類を決定し、
前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々において対応する前記対象物領域を特定する、
処理をコンピュータに実行させる画像解析プログラムを記憶した記憶媒体。

１０ 画像解析装置
１４ 制御部
１６ 人物検出部
１８ 検出結果記憶部
２０ 人物追跡部
２２ 追跡結果記憶部
２４ 統合部
２６ 統合結果記憶部
２８ 人物方向決定部
３０ 結果記憶部
３２ 重なり判定部
３４ 他カメラ検出結果取得部
３６ 他カメラ検出結果記憶部
３８ 候補決定部
４０ 特徴分布生成部
４２ 特徴選択部
４４ 処理順番決定部
４６ 対応付け部
４８ 表示装置
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記録媒体

Claims (9)

1. 複数の画像の各々から検出された対象物領域の状態に応じて、前記複数の画像間における前記対象物領域の対応付けに使用する特徴量の種類を決定し、
   前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々において対応する前記対象物領域を特定する、
   処理をコンピュータに実行させる画像解析プログラムであって、
   前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
   複数の前記対象物領域の各々について、前記対象物領域の状態である、複数の前記対象物領域の各々から抽出される特徴量の分布の状態に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
   画像解析プログラム。
2. 前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
   前記対象物領域の状態である、前記対象物領域が示す対象物の向き及び前記対象物領域が示す前記対象物と該対象物とは異なる物体との間の重なりの少なくとも一方に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
   請求項１に記載の画像解析プログラム。
3. 前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
   異なる前記画像の各々から検出された前記対象物領域のペアの各々について、
   前記対象物領域の少なくとも一方において前記重なりが含まれる場合には、前記重なりの領域とは異なる領域から抽出される前記特徴量を、前記対象物領域の対応付けに使用する特徴量として決定する、
   請求項２に記載の画像解析プログラム。
4. 前記対象物領域としての人物領域の対応付けに使用する特徴量の種類を決定する際に、
   複数の前記人物領域のペアの各々について、
   一方の前記人物領域と他方の前記人物領域との向きが対応していない場合には、前記人物領域の上半身とは異なる領域から抽出される前記特徴量を、前記対象物領域の対応付けに使用する特徴量として決定する、
   請求項２又は請求項３に記載の画像解析プログラム。
5. 前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
   複数の前記対象物領域の各々について、各時刻に撮像された前記複数の画像の各々から検出された前記対象物領域の状態である、前記対象物領域が示す対象物の向き及び前記対象物領域が示す前記対象物と該対象物とは異なる物体との間の重なりの少なくとも一方に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
   請求項１〜請求項４の何れか１項に記載の画像解析プログラム。
6. 複数の画像の各々のうちの対応する前記対象物領域を特定する際に、
   前記対象物領域の対応付けに使用する種類の特徴量の分散が小さい対象物領域から順に、他の画像から検出された対象物領域の特徴量との一致度を判定する、
   請求項１〜請求項５の何れか１項に記載の画像解析プログラム。
7. 複数の画像の各々のうちの対応する前記対象物領域を特定する際に、
   複数の前記対象物領域の各々から抽出される特徴量の分布の平均と、前記対象物領域から抽出される特徴量との間のずれが大きい対象物領域から順に、他の画像から検出された対象物領域の特徴量との一致度を判定する、
   請求項１〜請求項５の何れか１項に記載の画像解析プログラム。
8. 複数の画像の各々から検出された対象物領域の状態に応じて、前記複数の画像間における前記対象物領域の対応付けに使用する特徴量の種類を決定し、
   前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々において対応する前記対象物領域を特定する、
   処理をコンピュータに実行させる画像解析方法であって、
   前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、
   複数の前記対象物領域の各々について、前記対象物領域の状態である、複数の前記対象物領域の各々から抽出される特徴量の分布の状態に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
   画像解析方法。
9. 複数の画像の各々から検出された対象物領域の状態に応じて、前記複数の画像間における前記対象物領域の対応付けに使用する特徴量の種類を決定する決定部と、
   前記対象物領域の各々から抽出された前記種類の前記特徴量の一致度に応じて、複数の画像の各々において対応する前記対象物領域を特定する特定部と、
   を備え、
   前記決定部は、前記対象物領域の対応付けに使用する特徴量の種類を決定する際に、複数の前記対象物領域の各々について、前記対象物領域の状態である、複数の前記対象物領域の各々から抽出される特徴量の分布の状態に応じて、前記対象物領域の対応付けに使用する特徴量の種類を決定する、
   画像解析装置。

Images