JPWO2018128138A1 - 画像処理装置、映像監視システム、画像処理方法およびプログラム - Google Patents

Abstract

処理負荷を低減しながら、追跡の分断によって生じるデータ量の増加を抑制できる技術を提供する。画像処理装置は、入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出部と、検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、被写体出現データの出現妥当性と被写体消失データの消失妥当性とを算出する算出部と、算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、検出された被写体出現データと被写体消失データとの組合せを取得する取得部と、を備える。

Description

本開示は、画像処理装置、映像監視システム、画像処理方法等に関する。

近年、情報処理技術の発達に伴い、映像データや画像データの解析を行う解析エンジンの開発が行われている。例えば、映像データや画像データから人物の顔を検出する顔検出エンジン、顔の特徴データを抽出する顔特徴抽出エンジン、顔の特徴データを照合し人物を特定する顔照合エンジンが開発されている。

そして、複数の解析エンジンを組合せて、映像データから様々な解析結果を得ることができる解析システムが開発されている。例えば、カメラから入力した映像データに対して、顔検出エンジン、顔特徴抽出エンジン、顔照合エンジンを用いて直列に処理することで、映像データ中の人物の顔のＩＤ（ＩＤｅｎｔｉｆｉｅｒ）を識別し表示する、といった解析処理を行う解析システムが開発されている。

このような解析システムの構成として、カメラなどの映像入力装置の近くに配置した処理装置で一次処理を行い、中間の解析結果データをクラウド上などの遠隔の処理装置に転送し、遠隔の処理装置で続く処理を行った上で結果を表示するなど、分散型の構成がしばしば用いられる。例えば、カメラの近くに配置した処理装置で人物の顔を検出し、クラウド上の処理装置で顔の特徴データの抽出、照合を行い、特定した人物の情報を表示する、といった解析システムの構成が考えられている。

このような構成においては、処理装置間のネットワークの負荷を低減するため、中間の解析結果データの転送量が、一定の水準以下であることが望まれる。そのため、中間の解析結果データから、重複あるいは類似するデータを削除し、撮影条件などが良いと判定されたデータのみを抽出した上で、解析に有効なデータを転送する処理（以降、有効データ抽出処理と呼ぶ）が行われている。

有効データ抽出処理の方法として、映像データ中の人物などの被写体を追跡することで、フレーム間で同一の被写体を識別し、同一の被写体の中から撮影条件などのよいものを抽出する方法が考えられる。このような被写体の追跡を行う技術の一例が、特許文献１および特許文献２に記載されている。

特許文献１は、映像データ中の被写体を追跡する方法の一例を開示する。特許文献１に記載の技術では、物体を含む取得された画像を用いて物体についての学習を行う第１の識別器によって、物体識別対象の各画像における物体の領域を識別して物体を追跡し、識別された物体の領域に隠蔽の発生を判定する。ここで、隠蔽とは、認識対象とする被写体が、他の被写体や障害物等により隠された状態をいう。そして、隠蔽が発生したと判定された場合、物体の領域における隠蔽されていない領域を用いて物体についての学習を行う第２の識別器によって物体識別対象の各画像における当該物体に係る部分を識別して物体を追跡する。

また、特許文献２は、映像データ中の被写体を追跡する方法の一例を開示する。特許文献２に記載の方法では、画像中の物体を検出し、検出した物体をテンプレート画像として登録する。そして、現在の入力画像と、夫々異なる時刻の過去の入力画像に基づいて登録された同一物体に対する複数のテンプレート画像とのマッチング処理を行い、入力画像のうち、一致度が最も高い位置、あるいは、一致度が所定の値以上となる位置を現在の物体位置とする。特許文献２に記載の方法では、更に、当該位置の画像を新たなテンプレート画像とすることにより、被写体を追跡する。

特開２０１６−１２６６２４号公報 特許第３７６８０７３号公報

上述の特許文献１に記載の追跡方法では、被写体の一部領域が隠蔽されていないことが必要である。しかし、現実の映像データにおいては被写体が全て隠蔽される場合もしばしば発生し、そのような場合においては、追跡を継続できない。そのため、特許文献１に記載の追跡方法を用いて有効データ抽出処理を行う場合、同一の被写体が複数の異なる被写体であると認識されることから、抽出する被写体のデータが増加してしまう。

一方、上述の特許文献２に記載の追跡方法では、被写体が一時的に隠蔽された場合でも、追跡を継続することができるが、複数の照合処理を実行することになる。つまり、隠蔽により、追跡が途切れた物体に対して、追跡が途切れる前と途切れた後で、全ての組合せをマッチングすることになる。したがって、特許文献２に記載の技術では、処理負荷が大きくなる。そのため、カメラからの映像データを即座に処理し解析結果を表示するといった、リアルタイム処理が困難である。従って、特許文献２に記載の追跡方法を用いて有効データ抽出処理を行う場合、処理負荷が大きくなってしまう。

すなわち、上述した特許文献１および２に記載の技術では、処理負荷を低減しながら、隠蔽などによる追跡の分断によって生じるデータ量の増加を抑制することが難しい。

本開示は上記課題に鑑みてなされたものであり、その目的は、処理負荷を低減しながら、追跡の分断によって生じるデータ量の増加を抑制できる技術を提供することにある。

本開示の一態様に係る画像処理装置は、入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出手段と、前記検出手段により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出手段と、前記算出手段により算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得する取得手段と、を備える。

また、本開示の一態様に係る映像監視システムは、複数の被写体を撮影した映像データから前記被写体を検出する被写体検出手段と、前記検出された被写体を追跡し、該被写体の位置を含む追跡結果を被写体データとして出力する被写体追跡手段と、前記被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出手段と、前記検出手段により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出手段と、前記算出手段により算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得する取得手段と、前記取得手段が取得した組合せに含まれる被写体同士を照合する照合手段と、前記照合手段による照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する被写体選択手段と、を備える。

また、本開示の一態様に係る画像処理方法は、入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出し、前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出し、前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、前記検出された被写体出現データと被写体消失データとの組合せを取得する。

なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本発明の範疇に含まれる。

本開示によれば、処理負荷を低減しながら、追跡の分断によって生じるデータ量の増加を抑制できる。

第１の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。 第１の実施の形態に係る画像処理装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る映像監視システムの構成の一例を示すブロック図である。 被写体検出結果の一例を示す図である。 被写体追跡結果の一例を示す図である。 第２の実施の形態における被写体再追跡部の構成の一例を示すブロック図である。 被写体検出データの一例を示す図である。 出現位置分布の一例を示す図である。 消失位置分布の一例を示す図である。 妥当性算出結果の一例を示す図である。 組合せ結果の一例を示す図である。 負荷条件情報の一例を示す図である。 被写体再追跡結果の一例を示す図である。 第２の実施の形態に係る映像監視システムの処理の流れの一例を示すフローチャートである。 第２の実施の形態における被写体再追跡処理の流れの一例を示すフローチャートである。 検出処理の流れの一例を示すフローチャートである。 算出処理の流れの一例を示すフローチャートである。 取得処理の流れの一例を示すフローチャートである。 被写体データ選択処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る映像監視システムの具体的な適用例の構成の一例を示す図である。 被写体再追跡プログラムの構成を示すブロック図である。 映像監視システムの構成の他の一例を示す図である。 被写体検出結果の一例を示す図である。 被写体検出データの一例を示す図である。 第３の実施の形態における出現位置分布の一例を示す図である。 第３の実施の形態における消失位置分布の一例を示す図である。 妥当性算出結果の一例を示す図である。 本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。

＜第１の実施の形態＞
本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る画像処理装置１０の機能構成の一例を示す機能ブロック図である。図１に示す通り、本実施の形態に係る画像処理装置１０は、検出部１１と、算出部１２と、取得部１３とを備える。

検出部１１は、画像処理装置１０に入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する。画像処理装置１０に入力される被写体データは、例えば、撮像装置等によって撮像された複数のフレームを含む映像データから特定された、各フレームにおける被写体ごとの位置を表す情報を含む。あるフレーム（第１フレームと呼ぶ）に２つの被写体が含まれる場合、被写体データは、２つの被写体の夫々の、第１フレームにおける位置を表す情報を含む。第１フレームの次のフレームである第２フレームに、第１フレームに含まれる２つの被写体と同じ被写体が含まれる場合、被写体データは、第１フレームの被写体と同じ被写体であることを示す情報と、この被写体の第２フレームにおける位置を示す情報とを含む。

映像データを取得する撮像装置の画角内にある被写体が入ると、映像データにこの被写体が含まれる（出現する）。検出部１１は、この映像データから特定された被写体の位置を含む被写体データから、この被写体が時間軸上において最初に含まれる（出現する）フレームにおける位置を表す情報を含む被写体出現データを検出する。また、映像データを取得する撮像装置の画角内に居るある被写体が、画角外に移動すると、映像データにこの被写体が含まれなくなる（被写体が映像データから消失する）。検出部１１は、この映像データから特定された被写体の位置を含む被写体データから、この被写体が消失する直前のフレームにおける該被写体の位置を表す情報を含む被写体消失データを検出する。つまり、検出部１１は、この被写体が時間軸上において最後に含まれるフレームにおける位置を表す情報を含む被写体消失データを検出する。

算出部１２は、検出部１１によって検出された被写体出現データおよび被写体消失データと、予め学習された被写体の出現位置分布および消失位置分布とに基づき、被写体出現データの出現妥当性と被写体消失データの消失妥当性とを算出する。出現位置分布は、出現した被写体の人数の総数を、フレーム上の位置毎に算出したデータであり、過去の被写体データを用いた学習によって得られたデータである。同様に、消失位置分布は、消失した被写体が消失する直前に存在した位置における人数の総数を、フレーム上の位置毎に算出したデータであり、過去の被写体データを用いた学習によって得られたデータである。算出部１２は、このような被写体の出現位置分布および消失位置分布と、被写体出現データおよび被写体消失データとに基づいて、被写体出現データの出現妥当性および被写体消失データの消失妥当性を算出する。

出現妥当性は、被写体が映像中に初めて出現したときのフレーム上の位置が、過去の分布から離れている度合いを表す。出現妥当性および消失妥当性は、例えば、０から１までの数値で表現される。出現妥当性の値が１に近い場合、被写体出現データに含まれる位置において関連する被写体が出現した被写体である妥当性が低いことを示す。出現妥当性の値が１に近い場合、出現する被写体と検出された被写体が、出現する被写体ではなく、隠蔽などにより追跡が分断された被写体である可能性が高いことを示す。

消失妥当性は、被写体が映像から消失する直前のフレーム上の位置が、過去の分布から離れている度合いを表す。消失妥当性の値が１に近い場合、関連する位置において関連する被写体が最後に含まれた妥当性、つまり、被写体消失データに含まれる位置を最後に、被写体が消失した妥当性が低いことを示す。消失妥当性の値が１に近い場合、消失する被写体と検出された被写体が、消失する被写体ではなく追跡が分断された被写体である可能性が高いことを示す。算出部１２は、算出した出現妥当性および消失妥当性を夫々関連する被写体出現データおよび被写体消失データと共に、取得部１３に出力する。

取得部１３は、算出部１２より算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、検出部１１により検出された被写体出現データと被写体消失データとの組合せを取得する。所定の条件とは、例えば、組合せの個数が所定の閾値以下の組合せである。これにより、取得部１３は、被写体出現データと被写体消失データとの夫々に含まれる被写体が、同じ被写体である可能性があるデータを、追跡対象として照合を行うデータとして、取得することができる。 図２は、本実施の形態に係る画像処理装置１０の処理の流れの一例を示すフローチャートである。図２に示す通り、検出部１１が被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する（ステップＳ２１）。

そして、算出部１２が検出部１１により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、被写体出現データの出現妥当性と被写体消失データの消失妥当性とを算出する（ステップＳ２２）。

その後、取得部１３が、算出部１２より算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす検出部１１により検出された被写体出現データと被写体消失データとの組合せを取得する（ステップＳ２３）。

以上のように、本実施の形態に係る画像処理装置１０は、学習によって得られた被写体の過去の出現位置分布および消失位置分布と、検出部１１が検出した被写体出現データおよび被写体消失データとを用いて、被写体出現データの出現妥当性および被写体消失データの消失妥当性を算出する。被写体出現データの出現妥当性は、被写体出現データに含まれる被写体が出現する被写体であることの妥当性を示すものであり、被写体消失データに含まれる被写体が消失する被写体であることの妥当性を示すものである。取得部１３はこれらの出現妥当性および消失妥当性に基づいて、所定の条件を満たす被写体出現データと被写体消失データとの組合せを取得する。

これにより、画像処理装置１０は、追跡の分断が生じたことにより、消失する被写体および出現する被写体と判定された被写体同士を、再び同一の被写体である可能性が高い被写体として扱うことができる。これにより、画像処理装置１０は、追跡の分断によって生じるデータ量の増加を抑制することができる。

また、画像処理装置１０は、被写体出現データと被写体消失データとの組合せのうち、所定の条件を満たす組合せを取得する。所定の条件は、例えば、組合せの数が、所定の閾値以下であることである。これにより、画像処理装置１０は、追跡を行う際に、取得された組合せの被写体消失データに含まれる被写体と、該組合せの被写体出現データに含まれる被写体との間で行う照合処理を、所定の閾値以下に制御することができる。これにより、画像処理装置１０は、照合処理にかかる負荷を制限することができる。

したがって、本実施の形態に係る画像処理装置１０によれば、映像データのうち、例えば、映像の解析に有効なデータを抽出する処理の処理負荷を低減しながら、追跡の分断によって生じる有効なデータのデータ量の増加を抑制することができる。

＜第２の実施の形態＞
次に、上述した第１の実施の形態を基本とする、本開示の第２の実施の形態について、図面を参照して説明する。図３は、本実施の形態に係る映像監視システム１００の構成の一例を示すブロック図である。映像監視システム１００は、図３に示す通り、映像配信装置１０１と、有効データ抽出装置２０１と、表示装置３０１とを含む。

映像配信装置１０１は、映像データを有効データ抽出装置２０１に配信する。映像配信装置１０１は、被写体を撮影する、例えば、ビデオカメラや監視カメラ、ネットワークカメラ、インテリジェントカメラ等の撮影装置（撮影部）で実現される。映像配信装置１０１は、撮影した映像データを、有効データ抽出装置２０１に配信する。なお、映像配信装置１０１は、映像データと共に、映像データの撮影時の条件（明るさなど）を表す情報や、カメラの向きや設定などを示すカメラパラメータを有効データ抽出装置２０１に供給してもよい。

有効データ抽出装置２０１は、映像配信装置１０１から受信した映像データに対する解析処理および有効データ抽出処理を行う。また、表示装置３０１は、有効データ抽出装置２０１における解析結果を表示部に表示する。表示装置３０１は、例えば、液晶ディスプレイ等によって実現される。

有効データ抽出装置２０１は、解析部２１０と、有効データ抽出部２２０とを備える。解析部２１０は、映像配信装置１０１からの映像データを用いて解析処理を行う。解析部２１０は、図３に示す通り、被写体検出部２１１と、被写体追跡部２１２とを備える。また、有効データ抽出部２２０は、解析部２１０から出力された解析結果を用いて有効データ抽出処理を行う。有効データ抽出部２２０は、被写体再追跡部２１３と、被写体選択部２１４とを備える。

被写体検出部２１１は、映像データに含まれる被写体を検出する。被写体検出部２１１は、映像配信装置１０１から配信された映像データを受信する。被写体検出部２１１は、受信した映像データをフレームに分割し、フレーム毎に、１つまたは複数の被写体を検出する。被写体検出部２１１は、フレームに被写体が含まれる場合、検出した被写体の該フレーム上における領域を被写体領域として該フレームから抽出する。本実施の形態では、被写体検出部２１１は、被写体領域の中心座標を、被写体領域を表す情報とするが、中心座標ではなく、例えば、被写体領域の左上の座標であってもよいし、その他の位置を表す座標であってもよい。なお、被写体領域は、フレームにおける被写体の位置を表しているため、被写体の位置とも呼ぶ。

被写体検出部２１１は、検出した被写体の夫々に対し、該被写体を一意に識別する被写体番号を付与する。そして、被写体検出部２１１は、被写体番号および被写体領域を表す情報を含む被写体検出結果を出力する。

被写体検出部２１１が出力する被写体検出結果の一例を図４に示す。図４は、被写体検出結果４０の一例を示す図である。図４に示す通り、被写体検出結果４０は、フレーム番号４１と、フレーム時刻４２と、被写体番号４３と、被写体領域４４と、被写体品質スコア４５とを含む。なお、被写体検出結果４０は、図４に示す情報以外の情報を含んでもよい。

フレーム番号４１は、被写体が検出されたフレームを識別する識別子である。フレーム時刻４２は、フレームが撮影された時刻を示す。被写体番号４３は、上述した通り、被写体を識別する番号である。被写体領域４４は、検出された被写体のフレーム上における領域を表すものであり、上述した通り、図４では中心座標で表現される。

被写体品質スコア４５は、フレームにおける被写体の画質などの品質を表す。被写体検出部２１１は、映像配信装置１０１から受け取った映像データの撮影時の条件を表す情報や、カメラパラメータに基づいて、被写体毎に被写体品質スコア４５を算出する。被写体品質スコア４５は、例えば、撮影時の条件を表現する値であってもよいし、撮影時の条件から算出された値であってもよい。撮影時の条件とは、例えば、撮影時の明るさ、被写体との距離、時刻等、品質に関連する条件であればどのような条件であってもよい。また、被写体品質スコア４５の算出方法は特に限定されず、どのような方法を採用してもよい。

図４に示す通り、フレーム番号が「１０１」のフレームは、被写体番号が「１０１−１」の被写体と「１０１−２」の被写体とが含まれる。被写体番号が「１０１−１」の被写体のフレーム上の領域は、中心座標が（４５０、４０）の被写体領域である。被写体番号が「１０１−２」の被写体のフレーム上の被写体領域は、中心座標が（５２０、４０）の領域である。これらの被写体の被写体品質スコアは、共に「０．５」である。

このように、被写体検出部２１１は、映像データの各フレームから被写体を検出し、検出した被写体に関連する、映像データから抽出した情報を、被写体検出結果４０として出力する。

被写体追跡部２１２は、各フレームに含まれる被写体同士が、同一の被写体か否かを判定することにより、被写体を追跡する。被写体追跡部２１２は、被写体検出部２１１から被写体検出結果４０を受信する。被写体追跡部２１２は、被写体検出結果４０に含まれる被写体領域４４等を参照し、フレームに含まれる被写体が、フレーム間で同一であるか否かを判定する。被写体追跡部２１２は、例えば、図４に示す被写体検出結果４０に含まれるフレーム番号が「１０１」のフレームに含まれる被写体番号が「１０１−１」の被写体が、フレーム番号が「１０２」のフレームに含まれる被写体番号が「１０２−１」の被写体と同一か否かを判定する。ここで、フレーム間において被写体が同一か否かを判定する方法は、どのような方法を採用してもよい。例えば、中心座標の差が所定の閾値より小さいか否かを判定することにより、フレーム間において被写体が同一か否かを判定してもよい。被写体追跡部２１２は、フレーム間において同一の被写体であると判定した被写体に対して同じ被写体であることを示す識別子（追跡番号と呼ぶ）を割り当てる。そして、被写体追跡部２１２は、割り当てた追跡番号を、被写体検出結果４０の各レコードに関連付ける。被写体検出結果４０の各レコードには、被写体番号４３が含まれる。被写体追跡部２１２は、追跡番号を関連付けた被写体検出結果４０を、被写体追跡結果５０として出力する。

被写体追跡部２１２が出力する被写体追跡結果５０の一例を図５に示す。図５は、被写体追跡結果５０の一例を示す図である。図５に示す通り、被写体追跡結果５０は、フレーム番号４１と、フレーム時刻４２と、被写体番号４３と、被写体領域４４と、被写体品質スコア４５と、追跡番号５６とを含む。なお、被写体追跡結果５０は、図５に示す情報以外の情報を含んでもよい。

被写体追跡部２１２によって、被写体番号が「１０１−１」の被写体と、被写体番号が「１０２−１」の被写体とが同一の被写体であると判定されると、被写体番号が「１０１−１」のレコードと被写体番号が「１０２−１」のレコードとに同じ追跡番号が関連付けられる。図５に示す通り、追跡番号「１」が、被写体番号が「１０１−１」のレコードと被写体番号が「１０２−１」のレコードとに関連付けられる。これにより、フレーム番号が「１０１」のフレームに含まれる被写体が、フレーム番号が「１０２」のフレームにも含まれることがわかるため、該被写体を追跡することができる。

被写体追跡部２１２は、被写体追跡結果５０を被写体再追跡部２１３に出力する。なお、本実施の形態では、被写体追跡結果５０の各レコードを被写体データとも呼ぶ。被写体データは、被写体追跡結果５０の各レコードそのものであってもよい。被写体データは、複数の被写体の夫々の位置を含めばよく、被写体追跡結果５０の各レコードのうち被写体領域４４と追跡番号５６とを含んでいればよい。本実施の形態では、被写体データが被写体追跡結果５０に含まれる各レコードであるとして説明を行う。

被写体再追跡部２１３は、上述した第１の実施の形態に係る画像処理装置１０の一例である。言い換えれば、有効データ抽出装置２０１は、上述した画像処理装置１０を被写体再追跡部２１３として含む。被写体再追跡部２１３は、被写体追跡部２１２からの被写体追跡結果を受信し、追跡が分断された可能性の度合いを算出する。そして、被写体再追跡部２１３は、追跡が分断された可能性が高い被写体同士を照合し、同一の被写体であるか否かを再び判定する。そして、被写体再追跡部２１３は、照合を行った結果である被写体再追跡結果を出力する。

図６は、本実施の形態における被写体再追跡部２１３の構成の一例を示すブロック図である。図６に示す通り、被写体再追跡部２１３は、検出部２１３１と、算出部２１３２と、取得部２１３３と、記憶部２１３４と、照合部２１３８とを含む。なお、記憶部２１３４は、被写体再追跡部２１３の外部に含まれてもよい。

検出部２１３１は、上述した検出部１１の一例である。検出部２１３１は、被写体再追跡部２１３に入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する。

映像データを取得する映像配信装置１０１の画角内にある被写体が入ると、映像データにこの被写体が含まれる（出現する）。検出部２１３１は、被写体追跡結果５０を参照して、被写体追跡結果５０に含まれるレコード（被写体データ）の夫々に対し、フレームに含まれる被写体が、新たに映像データに出現する被写体か否かを判定する。検出部２１３１は、例えば、過去に処理したフレームの追跡番号５６を記憶しておき、被写体追跡結果５０の判定対象のレコードに含まれる追跡番号５６が過去の追跡番号５６の何れかと一致するか否かを確認する。判定対象のレコードに含まれる追跡番号５６が過去の追跡番号５６と一致しない場合、検出部２１３１は、この判定対象のレコードに関連する被写体が、映像データに新たに出現する被写体であると判定する。一方、判定対象のレコードに含まれる追跡番号５６が過去の追跡番号５６と一致する場合、検出部２１３１は、この判定対象のレコードに関連する被写体が、映像データに新たに出現する被写体ではないと判定する。

検出部２１３１は、このようにして、複数の被写体データから被写体が時間軸上において最初に含まれる（出現する）フレームにおける位置を表す情報を含む被写体出現データを検出する。例えば、検出部２１３１は、被写体追跡結果５０の各レコードのうち、被写体出現データと検出したデータを表すフラグ（出現フラグ）を付してもよい。これにより、値が「１」の出現フラグが付与されたレコードは、被写体出現データであること、つまり、このレコードに関連する被写体が出現する被写体であることを示す。一方、値が「０」の出現フラグが付与された、または、出現フラグが付与されていないレコードは、被写体出現データではないこと、つまり、このレコードに関連する被写体が新たに出現する被写体ではないことを示す。以降、新たに映像データに出現する被写体を、単に「出現する被写体」と呼ぶ。

また、映像データを取得する映像配信装置１０１の画角内に居る、ある被写体が、画角外に移動すると、映像データにこの被写体が含まれなくなる（被写体が映像データから消失する）。検出部２１３１は、被写体追跡結果５０を参照して、被写体追跡結果５０に含まれるレコードの夫々に対し、判定対象のレコードに含まれる追跡番号５６が、該レコードに関連するフレームより時間軸上において後のフレームに関連するレコードに含まれる追跡番号５６の何れかと一致するか否かを確認する。判定対象のレコードに含まれる追跡番号５６が該レコードに関連するフレームより時間軸上において後のフレームに関連するレコードに含まれる追跡番号５６の何れかと一致する場合、検出部２１３１は、この判定対象のレコードに関連する被写体は消失していないと判定する。一方、判定対象のレコードに含まれる追跡番号５６が該レコードに関連するフレームより時間軸上において後のフレームに関連するレコードに含まれる追跡番号５６の何れとも一致しない場合、検出部２１３１は、この判定対象のレコードに関連する被写体は消失すると判定する。

検出部２１３１は、このようにして、複数の被写体データから、被写体が時間軸上において最後に含まれる（以降のフレームにおいて被写体が消失する）フレームにおける位置を表す情報を含む被写体消失データを検出する。例えば、検出部２１３１は、被写体追跡結果５０の各レコードのうち、被写体消失データと検出したデータを表すフラグ（消失フラグ）を付してもよい。これにより、値が「１」の消失フラグが付与されたレコードは、被写体消失データであること、つまり、このレコードに関連する被写体が以降のフレームにおいて消失する被写体であることを示す。一方、値が「０」の消失フラグが付与された、または、消失フラグが付与されていないレコードは、被写体消失データではないこと、つまり、このレコードに関連する被写体が消失する被写体ではないことを示す。以降、あるレコードに関連する被写体が該レコード以降のフレームにおいて消失する場合、このあるフレームに含まれる被写体を「消失する被写体」と呼ぶ。

検出部２１３１は、検出した被写体出現データおよび被写体消失データを含む被写体検出データ７０を出力する。図７は、被写体検出データ７０の一例を示す図である。被写体検出データ７０は、被写体追跡結果５０の各レコードに対し、関連する被写体が出現する被写体か否かを表す出現フラグ７１と、関連する被写体が以降のフレームにおいて消失する被写体か否かを表す消失フラグ７２とが関連付けられている。

図７に示す通り、例えば、被写体番号が「１０１−１」の被写体は、出現フラグが「１」であるため、出現する被写体である。また、被写体番号が「１０２−１」の被写体は、被写体番号が「１０１−１」の被写体と同じ追跡番号を有しているため、被写体番号が「１０１−１」の被写体と同じ被写体である。そして、この被写体番号が「１０２−１」の被写体は、消失フラグが「１」であるため、フレーム番号が「１０２」より時間的に後のフレームにおいて消失する被写体である。

検出部２１３１は、このような被写体検出データ７０を算出部２１３２に出力する。なお、出現フラグ７１および消失フラグ７２は、「０」および「１」以外で表現してもよい。出現フラグ７１は、関連する被写体が出現する被写体であるか否かを表すものであればよい。また、消失フラグ７２は、関連する被写体が消失する被写体か否かを表すものであればよい。

なお、図７に示す被写体検出データ７０の各レコードは、出現フラグ７１および消失フラグ７２の何れか一方のみが「１」となっているが、両方が「０」であってもよいし、両方が「１」であってもよい。出現フラグ７１および消失フラグ７２の両方が「０」の被写体は、該被写体を含むフレームより時間的に前のフレームと、後のフレームとの両方に含まれる被写体である。また、出現フラグ７１および消失フラグ７２の両方が「１」の被写体は、出現する被写体であり、且つ、消失する被写体であることを表す。

算出部２１３２は、上述した算出部１２の一例である。算出部２１３２は、検出部２１３１によって検出された被写体出現データおよび被写体消失データと、予め学習された被写体の出現位置分布２１３５および消失位置分布２１３６とに基づき、被写体出現データの出現妥当性と被写体消失データの消失妥当性とを算出する。

予め学習された被写体の出現位置分布２１３５および消失位置分布２１３６は、図６に示す通り、記憶部２１３４に格納されている。なお、出現位置分布２１３５および消失位置分布２１３６は夫々異なる記憶部２１３４に格納されてもよい。

ここで、出現位置分布２１３５および消失位置分布２１３６について夫々図８および図９を参照して説明する。出現位置分布２１３５は、被写体が映像データに新たに出現するフレームにおける、被写体の位置の分布を表す。出現位置分布２１３５は、出現する被写体の人数の総数を、フレーム上の位置毎に算出したデータであり、過去の被写体データを用いた学習によって得られたデータである。図８に示す通り、出現位置分布２１３５は、領域番号８１と、ｘ座標範囲８２と、ｙ座標範囲８３と、出現回数８４と、総出現回数８５とを含む。なお、図８は、出現位置分布２１３５の一例であり、出現位置分布２１３５が図８に示す情報以外の情報を含んでもよい。

図８の例では、１フレームの画像が６４０×４８０ピクセルであるとする。この画像の左上の点を原点、横方向をｘ軸、縦方向をｙ軸とする。出現位置分布２１３５は、８０×８０ピクセルのメッシュでこの画像の領域を分割した場合における、領域毎の出現回数および総出現回数を、過去の被写体データを用いた学習を行うことによって、記録したものである。

領域番号８１は、分割された領域を識別するものである。図８の例では、領域番号８１は、分割された領域の左上から右方向に、１から順に割り振られた番号であるとするが、領域番号８１は、分割された領域の夫々を識別できるものであればよい。ｘ座標範囲８２およびｙ座標範囲８３は、夫々、領域番号８１で識別される領域のｘ座標の範囲およびｙ座標の範囲を示す。出現回数８４は、被写体が関連する領域において出現した回数である。総出現回数８５は、出現回数８４の合計数である。図８に示す通り、本実施の形態では、領域番号が「６」の領域で被写体が出現した回数が４０回であり、領域番号が「７」の領域で被写体が出現した回数が５０回であることを示している。また、領域番号が「２１」の領域で被写体が出現した回数が４回であり、領域番号が「２２」の領域で被写体が出現した回数が６回であることを示している。また、そのほかの領域では、被写体が出現していないとする。したがって、総出現回数８５は、各出現回数８４の合計である「１００」となる。

出現位置分布２１３５は、所定枚数のフレームを用いて、学習を行った結果であってもよいし、総出現回数８５が所定の閾値を超えるまで学習を行った結果であってもよい。

消失位置分布２１３６は、被写体が映像データから消失する前の該被写体が最後に含まれるフレームにおける、被写体の位置の分布を表す。消失位置分布２１３６は、消失する被写体の人数の総数を、フレーム上の位置毎に算出したデータであり、過去の被写体データを用いた学習によって得られたデータである。図９に示す通り、出現位置分布２１３５は、領域番号９１と、ｘ座標範囲９２と、ｙ座標範囲９３と、消失回数９４と、総消失回数９５とを含む。なお、図９は、消失位置分布２１３６の一例であり、消失位置分布２１３６が図９に示す情報以外の情報を含んでもよい。

図９では、図８と同様に、６４０×４８０ピクセルである画像の左上の点を原点、横方向をｘ軸、縦方向をｙ軸とし、８０×８０ピクセルのメッシュでこの画像の領域を分割した場合の消失位置分布２１３６を示す。消失位置分布２１３６は、この場合における、領域毎の消失回数および総消失回数を、過去の被写体データを用いた学習を行うことによって、記録したものである。

領域番号９１、ｘ座標範囲９２、ｙ座標範囲９３は、夫々、領域番号８１、ｘ座標範囲８２、ｙ座標範囲８３と同様である。消失回数９４は、被写体が関連するフレームの次のフレームで消失する場合における、該関連するフレームに領域を被写体が関連する領域において最後に含まれる回数である。総消失回数９５は、消失回数９４の合計数である。図９の消失位置分布２１３６は、領域番号が「２２」の領域に含まれた後に被写体が消失した回数が５回であり、領域番号が「２５」の領域に含まれた後に被写体が消失した回数が５０回であり、領域番号が「４６」の領域に含まれた後に被写体が消失した回数が４５回であることを示している。また、そのほかの領域では、被写体が消失していないとする。したがって、総消失回数９５は、各消失回数９４の合計である「１００」となる。

消失位置分布２１３６は、所定枚数のフレームを用いて、学習を行った結果であってもよいし、総消失回数９５が所定の閾値を超えるまで学習を行った結果であってもよい。

本実施の形態では、出現位置分布２１３５および消失位置分布２１３６は、算出部２１３２によって出現妥当性および消失妥当性が算出された後に更新されるとする。

算出部２１３２は、図８に示すような出現位置分布２１３５および図９に示すような消失位置分布２１３６と、被写体検出データ７０とに基づいて、被写体出現データの出現妥当性および被写体消失データの消失妥当性を算出する。

出現妥当性は、被写体が映像中に初めて出現したときのフレーム上の位置が、過去の分布から離れている度合いを数値化したものである。出現妥当性は、例えば、０から１までの値である。出現妥当性の値が１に近い場合、被写体出現データに含まれる位置において関連する被写体が、映像データに初めて含まれる（出現する）妥当性が低いことを示す。つまり、出現妥当性の値が１に近い場合、出現フラグが付与された被写体が、関連するフレームにおいて、出現する被写体ではなく、過去に既に含まれた被写体である可能性が高いことを示す。出現妥当性の値が１に近い場合、出現フラグが付与された被写体が、追跡が分断された被写体である可能性が高いことを示す。

ここで、出現妥当性の算出方法の一例について、図７および図８を参照して説明する。図７に示す被写体番号が「１０１−１」の被写体は、追跡番号が「１」であり、出現フラグが「１」である。上述した通り、出現フラグが「１」を示す被写体は出現する被写体である。算出部２１３２は、出現位置分布２１３５を参照し、被写体が出現する位置に対する出現回数８４を取得する。被写体番号が「１０１−１」の被写体の被写体領域４４は、中心座標が（４５０、４０）である領域である。この中心座標が含まれる領域番号８１は、ｘ座標範囲８２が「４００≦ｘ＜４８０」であり、ｙ座標範囲８３が「０≦ｙ＜８０」である、領域番号が「６」の領域である。領域番号が「６」の領域の出現回数８４は、図８に示す通り「４０」であるため、算出部２１３２は、出現位置分布２１３５から出現回数「４０」を取得する。また、算出部２１３２は、出現位置分布２１３５から総出現回数８５を取得する。図８に示す通り、総出現回数８５は、「１００」であるため、算出部２１３２は、出現位置分布２１３５から総出現回数「１００」を取得する。

そして、算出部２１３２は、以下の式（１）を用いて出現妥当性を算出する。

出現妥当性＝１−（出現回数／総出現回数）・・・（１）
取得した出現回数「４０」と総出現回数「１００」を上記式（１）に当てはめると、以下のようになる。
出現妥当性＝１−（４０／１００）＝０．６
これにより、被写体番号が「１０１−１」の被写体の出現妥当性「０．６」が算出される。

同様にして、算出部２１３２は、出現フラグ７１が「１」のレコードに対し、出現妥当性を算出する。出現フラグ７１が「０」のレコードに対しては、算出部２１３２は、出現妥当性を算出しない、または、「０」の値として算出する。

なお、出現妥当性の算出方法はこれに限定されず、過去の出現回数８４が少ない場合に出現妥当性が高くなるようなその他の式あるいは表を用いてもよい。

消失妥当性は、被写体が映像から消失する直前のフレーム上の位置が、過去の分布から離れている度合いを数値化したものである。消失妥当性は、例えば、０から１までの値である。消失妥当性の値が１に近い場合、被写体消失データに含まれる位置において関連する被写体が、映像データに最後に含まれる（このフレームを最後に消失する）妥当性が低いことを示す。つまり、消失妥当性の値が１に近い場合、消失フラグが付与された被写体が、関連するフレームにおいて、消失する被写体ではなく、関連するフレーム以降のフレームにも含まれる被写体である可能性が高いことを示す。消失妥当性の値が１に近い場合、消失フラグが付与された被写体が、追跡が分断された被写体である可能性が高いことを示す。

ここで、消失妥当性の算出方法の一例について、図７および図９を参照して説明する。図７に示す被写体番号が「１０２−１」の被写体は、追跡番号が「１」であり、消失フラグが「１」である。上述した通り、消失フラグが「１」を示す被写体は消失する被写体である。算出部２１３２は、消失位置分布２１３６を参照し、被写体が消失する位置に対する消失回数９４を取得する。被写体番号が「１０２−１」の被写体の被写体領域４４は、中心座標が（４５０、２００）である領域である。この中心座標が含まれる領域番号９１は、ｘ座標範囲９２が「４００≦ｘ＜４８０」であり、ｙ座標範囲９３が「１６０≦ｙ＜２４０」である、領域番号が「２２」の領域である。領域番号が「２２」の領域の消失回数９４は、図９に示す通り「５」であるため、算出部２１３２は、消失位置分布２１３６から消失回数「５」を取得する。また、算出部２１３２は、消失位置分布２１３６から総消失回数９５を取得する。図９に示す通り、総消失回数９５は、「１００」であるため、算出部２１３２は、消失位置分布２１３６から総消失回数「１００」を取得する。

そして、算出部２１３２は、以下の式（２）を用いて出現妥当性を算出する。

消失妥当性＝１−（消失回数／総消失回数）・・・（２）
取得した消失回数「５」と総消失回数「１００」を上記式（２）に当てはめると、以下のようになる。
消失妥当性＝１−（５／１００）＝０．９５
これにより、被写体番号が「１０２−１」の被写体の消失妥当性「０．９５」が算出される。

同様にして、算出部２１３２は、消失フラグ７２が「１」のレコードに対し、消失妥当性を算出する。消失フラグ７２が「０」のレコードに対しては、算出部２１３２は、消失妥当性を算出しない、または、「０」の値として算出する。

なお、消失妥当性の算出方法はこれに限定されず、過去の消失回数９４が少ない場合に消失妥当性が高くなるようなその他の式あるいは表を用いてもよい。

算出部２１３２は、被写体検出データ７０の各レコードに対し、算出した出現妥当性および消失妥当性を各レコードに関連付け、妥当性算出結果７３として出力する。

図１０に妥当性算出結果７３の一例を示す。図１０に示す通り、妥当性算出結果７３は、被写体検出データ７０の各列に加え、出現妥当性７４と消失妥当性７５とを含む。出現妥当性７４の欄における「なし」は、算出部２１３２が出現妥当性を算出していない、つまり、出現妥当性の算出対象ではないことを示す。同様に、消失妥当性７５の欄における「なし」は、算出部２１３２が消失妥当性を算出していない、つまり、消失妥当性の算出対象ではないことを示す。

この出現妥当性７４および消失妥当性７５は、追跡が分断された被写体の可能性の度合いを表すため、出現妥当性７４および消失妥当性７５をまとめて追跡分断スコアとも呼ぶ。

算出部２１３２は、更に、出現位置分布２１３５を更新する。算出部２１３２は、出現フラグ７１が「１」の被写体の被写体領域４４に対応する、出現位置分布２１３５の領域の出現回数８４と総出現回数８５とを１つ増やす。例えば、被写体番号が「１０１−１」の被写体の場合、算出部２１３２、領域番号が「６」の領域の出現回数８４を１つ増やし、総出現回数８５を１つ増やす。

また、算出部２１３２は、消失位置分布２１３６を更新する。算出部２１３２は、消失フラグ７２が「１」の被写体の被写体領域４４に対応する、消失位置分布２１３６の領域の消失回数９４と総消失回数９５とを１つ増やす。例えば、被写体番号が「１０２−１」の被写体の場合、算出部２１３２、領域番号が「２２」の領域の消失回数９４を１つ増やし、総消失回数９５を１つ増やす。

算出部２１３２が出現位置分布２１３５および消失位置分布２１３６を更新することにより、算出部２１３２は、その後に処理を行うフレームに含まれる被写体の出現妥当性７４および消失妥当性７５をより精度よく算出することができる。

取得部２１３３は、取得部１３の一例である。取得部２１３３は、算出部２１３２より算出された出現妥当性７４および消失妥当性７５に基づき、所定の条件を満たす、検出部２１３１により検出された被写体出現データと被写体消失データとの、閾値以下の組合せを取得する。取得部２１３３は、取得結果を照合部２１３８に出力する。

具体的には、取得部２１３３は、算出部２１３２から妥当性算出結果７３を受け取る。取得部２１３３は、妥当性算出結果７３に含まれる、出現フラグ７１が「１」の被写体出現データと、消失フラグ７２が「１」の被写体消失データとの組合せを列挙する。

この組合せについて、組合せ結果１１１の例を参照しながら説明する。図１１は、組合せ結果１１１の一例を示す図である。組合せ結果１１１は、図１１に示す通り、組合せ番号１１２と、消失被写体番号１１３と、出現被写体番号１１４と、時刻整合性１１５と、同一性スコア１１６と、照合対象情報１１７とを含む。

消失被写体番号１１３は、消失フラグ７２が「１」の被写体番号４３である。また、出現被写体番号１１４は、出現フラグ７１が「１」の被写体番号４３である。図１０に示す通り、出現フラグ７１が「１」の被写体は、被写体番号４３が「１０１−１」、「１０１−２」、「１０３−１」、「１０３−２」、「１０４−３」の５つである。また、消失フラグ７２が「１」の被写体は、被写体番号４３が「１０２−１」、「１０２−２」、「１０４−１」、「１０４−２」の４つである。そのため、消失した被写体の被写体消失データと出現した被写体の被写体出現データとの組合せは４×５＝２０通りとなり、それを列挙すると、図１１に示す２０個の組合せが得られる。このように、取得部２１３３は、消失被写体番号１１３と出現被写体番号１１４との組合せを列挙し、各組を識別する組合せ番号１１２を付与する。これにより、組合せ結果１１１の組合せ番号１１２、消失被写体番号１１３および出現被写体番号１１４が得られる。

取得部２１３３は、被写体の組合せの各々について、消失する時刻および出現する時刻に整合性があるか否かを判定する。ここで、隠蔽によって同一の被写体の追跡が分断され、異なる二つの被写体として認識された場合を考えると、これら二つの被写体は同じフレームに同時には存在せず、一方の被写体が消失した後、他方の被写体が出現する。すなわち、出現する時刻が消失した時刻より後である場合のみ、二つの被写体が同一である可能性がある。取得部２１３３は、列挙した組合せに対し、出現する時刻が消失する時刻より後である場合に、時刻に整合性があると判定する。

図１０および図１１を参照すると、組合せ番号１１２が「１」の組合せは、消失被写体番号１１３が「１０２−１」であり、出現被写体番号１１４が「１０１−１」である。消失被写体番号１１３が「１０２−１」の被写体に関連するフレーム時刻４２は「１０時１５分２１秒」である。一方、出現被写体番号１１４が「１０１−１」である被写体に関連するフレーム時刻４２は、「１０時１５分２０秒」である。即ち、出現した時刻が消失した時刻より先であるため、二つの被写体が同一である可能性はなく、時刻に整合性がない。このようにして、取得部２１３３は、各組合せに対して、時刻の整合性の判定を行う。

そして、取得部２１３３は、整合性の判定結果を図１１の時刻整合性１１５として、組合せ番号１１２に関連付ける。時刻整合性１１５の欄のうち「整合しない」は、被写体が出現する時刻が消失した時刻より後ではないことを表し、「整合する」は、被写体が出現する時刻が消失した時刻よりも後であることを表している。つまり、図１１に示す時刻整合性１１５は、消失した時刻と出現した時刻とに矛盾が無いことを表す。

更に、取得部２１３３は、時刻に整合性がある組合せの夫々に対して、被写体同士が同一である可能性の度合いを表す同一性スコアを算出する。取得部２１３３は、時刻整合性１１５が「整合する」である組合せの夫々に対して、同一性スコアを算出する。取得部２１３３は、以下の式（３）を用いて、同一性スコアを算出する。

同一性スコア＝消失する被写体の消失妥当性×出現する被写体の出現妥当性・・・（３）
図１１を参照すると、時刻整合性１１５が「整合する」である組合せは、例えば、組合せ番号１１２が「３」の組合せである。組合せ番号１１２が「３」の組合せは、消失被写体番号１１３が「１０２−１」であり、出現被写体番号１１４が「１０３−１」である。消失被写体番号１１３が「１０２−１」の被写体に関連する消失妥当性７５は、図１０を参照すると、「０．９５」である。出現被写体番号１１４が「１０３−１」である被写体に関連する出現妥当性７４は、「０．９４」である。このとき、同一性スコアは、式（３）を用いて、以下のように算出される。

同一性スコア＝０．９５×０．９４＝０．８９３
取得部２１３３は、時刻整合性１１５が「整合する」である他の組合せに対しても、同様に、同一性スコアを算出する。そして、取得部２１３３は、各組合せに対し、算出した同一性スコアを関連付ける。図１１の同一性スコア１１６は、このようにして算出された同一性スコア１１６が格納される。図１１に示す通り、時刻整合性１１５が「整合する」である組合せは６つであるため、取得部２１３３は、この６つの組合せの夫々に対して、同一性スコア１１６を算出する。

なお、同一性スコア１１６が算出されていない、つまり、時刻整合性１１５が「整合しない」である組合せに対しては、同一性スコア１１６として「なし」が関連付けられているが、「なし」ではなく同一性スコア１１６が算出されていないことを表す情報であればよい。

このように、同一性スコア１１６は、出現妥当性７４と消失妥当性７５とを用いて算出される値であり、その値が高いほど、消失する被写体と出現する被写体とが同一である可能性が高いことを示す。

なお、同一性スコア１１６の算出には、上記の式（３）に限らず、消失する被写体の消失妥当性７５と、出現する被写体の出現妥当性７４が高い場合に同一性スコア１１６が高くなるような、その他の式あるいは表を用いてもよい。

そして、取得部２１３３は、算出した同一性スコア１１６に基づいて、妥当性算出結果７３に含まれる組合せのうち、所定の条件を満たす組合せを照合対象として取得する。取得部２１３３は、記憶部２１３４に格納された負荷条件情報２１３７を参照し、負荷条件情報２１３７が表す条件を満たす組合せを取得する。所定の条件とは、例えば、照合処理の回数が所定の回数以下となること、同一性スコアが所定の値以上になること等である。ここで、照合処理とは、組合せに含まれる被写体消失データの被写体と被写体出現データの被写体との間で行われる処理である。一つの組合せの中で行われる照合の処理を１回とカウントする。よって、例えば、照合処理が４回とは、４つの組合せの夫々で照合処理が行われることを示す。

図１２に負荷条件情報２１３７の一例を示す。本実施の形態では、所定の条件は、照合処理の回数であるとする。負荷条件情報２１３７には、所定の条件として、最大照合回数の値である「４」が格納されている。なお、この最大照合回数は、所定の時間幅における回数であってもよい。この場合、所定の時間幅は、予め定められてもよいし、映像データの種類によって変化するものであってもよい。

なお、負荷条件情報２１３７は、出現位置分布２１３５および消失位置分布２１３６とは別の記憶部に格納されてもよい。また、負荷条件情報２１３７は、有効データ抽出装置２０１のある時点における負荷に応じて適宜変更されるものであってもよい。

取得部２１３３は、負荷条件情報２１３７を参照し、最大照合回数が４回となるように、妥当性算出結果７３に含まれる組合せを取得する。このとき、取得部２１３３は、同一性スコア１１６を参照して、組合せを取得する。まず、取得部２１３３は、同一性スコア１１６が「なし」ではない組合せを照合対象の候補として取得する。つまり、取得部２１３３は、同一性スコア１１６が「なし」の組合せは照合対象の候補としない。同一性スコア１１６が「なし」の組合せは、上述した通り、時刻の整合性が無い組合せである。したがって、取得部２１３３は、時刻の整合性が無い組合せを照合対象の候補から外す。これにより、取得部２１３３は、図１１に示す２０個の組合せのうち、６個の組合せを照合対象の候補とすることができる。

図１１の照合対象情報１１７は、各組合せが照合対象か否かを表す情報である。取得部２１３３は、同一性スコア１１６が「なし」の組合せに対し、照合対象情報１１７として、照合対象でないことを示す「対象でない」を関連付ける。

図１１を参照すると、同一性スコア１１６が「なし」ではない組合せは６つあるため、取得部２１３３は、この６つの照合対象の候補から４つを、照合対象として取得する。

ここで、比較のために、取得部２１３３が照合対象の数を制限することなく、照合をする被写体の組合せを全て選択する場合を考える。図１１を参照すると、消失した時刻と出現した時刻が整合する被写体の組合せは、組合せ番号１１２が「３」、「４」、「５」、「８」、「９」、「１０」の組合せである。したがって、これらの夫々に対して照合処理を行うと、照合回数は６となる。この場合照合対象の数を制限する場合と比較すると、照合にかかる負荷は６／４＝１．５倍となる。

すなわち、取得部２１３３のように、負荷条件情報２１３７で表される条件を満たすように、照合する被写体同士の組合せの数を制限することで、被写体の追跡を用いて有効データを抽出する処理にかかる処理負荷を低減することができる。

なお、取得部２１３３は、同一性スコア１１６が高いものから順に取得することが好ましい。取得部２１３３は、組合せ結果１１１に含まれる組合せのうち、同一性スコア１１６の高い順に、順位付けをし、順位順に、負荷条件情報２１３７が表す条件を満たす組合せに関連する被写体消失データと被写体出現データとを照合対象として取得する。

図１１の例では、同一性スコア１１６の高い順に各組合せを並べ替えると、その順序は、組合せ番号１１２が「４」、「９」、「３」、「８」、「５」、「１０」となる。なお、同一性スコア１１６が同じ場合は、組合せ番号１１２が小さい方が先になるように並び替えたが、組合せ番号１１２が大きい方が先になるように並び替えてもよい。負荷条件情報２１３７には、最大照合回数が４回であることが示されているため、取得部２１３３は、同一性スコア１１６の高い順から４つの組合せを選択する。つまり、取得部２１３３は、組合せ番号１１２が「４」、「９」、「３」、「８」の組合せを選択する。

このように、取得部２１３３は、同一性スコア１１６が高い、つまり、被写体消失データに含まれる被写体と、被写体出現データに含まれる被写体とが同一の被写体である可能性が高い組合せから順に、取得することが好ましい。

例えば、取得部２１３３が同一性スコア１１６の高い順からではなく、単に、組合せ番号１１２の小さい順に４つの組合せを取得した場合、取得部２１３３は、組合せ番号１１２が「３」、「４」、「５」、「８」の組合せを取得することになる。この場合、組合せの数が同じであるため、移行の照合処理にかかる負荷は同じである。しかし、この場合、被写体消失データに含まれる被写体と、被写体出現データに含まれる被写体とが同一の被写体である可能性が高い組合せである組合せ番号１１２が「９」の組合せが選択されない。よって、これらの被写体データを用いて再追跡処理を行ったとしても、追跡処理が失敗する可能性が高くなる。

しかしながら、取得部２１３３が、同一性スコア１１６が高い組合せから順に、組合せを取得することにより、被写体の再追跡が成功する可能性を高めることができる。したがって、有効データ抽出装置２０１が出力するデータ量をより削減することができる。

取得部２１３３は、選択した組み合わせに対し、照合対象情報１１７として、照合対象であることを示す「対象」を関連付ける。また、照合対象の候補のうち、照合対象として選択しなかった組合せに対し、照合対象情報１１７として、照合対象でないことを示す「対象でない」を関連付ける。

よって、取得部２１３３は、図１１に示すような組合せ結果１１１を得ることができる。取得部２１３３は、組合せ結果１１１のうち、照合対象情報１１７が「対象」である組合せの被写体消失データおよび被写体出現データを、照合部２１３８に取得結果として供給する。

照合部２１３８は、取得部２１３３から供給された被写体消失データに含まれる被写体と、被写体出現データに含まれる被写体とを照合する。これにより、照合部２１３８は、被写体同士が同一であるか否かを判定する。照合部２１３８が行う照合の方法は、特に限定されず、任意の方法を採用して照合すればよい。照合部２１３８は、同一である被写体同士の再追跡番号が同一となるように、被写体再追跡結果１３１を生成し出力する。

図１３は、被写体再追跡結果１３１の一例を示す図である。被写体再追跡結果１３１は、被写体追跡結果５０に更に再追跡番号１３２を含む。照合の結果、組合せ番号１１２が「４」の組合せに含まれる、消失被写体番号１１３が「１０２−１」の被写体と、出現被写体番号１１４が「１０３−２」の被写体とが、同一の被写体であると判定されたとする。また、組合せ番号１１２が「９」の組合せに含まれる、消失被写体番号１１３が「１０２−２」の被写体と、出現被写体番号１１４が「１０３−２」の被写体とが、同一の被写体であると判定されたとする。

照合部２１３８は、被写体追跡結果５０の被写体番号４３が「１０２−１」の追跡番号５６である「１」を、被写体番号４３が「１０３−１」の再追跡番号１３２として関連付ける。また、被写体番号４３が「１０３−１」の追跡番号５６と同じ追跡番号５６を有する被写体番号４３が「１０４−１」の再追跡番号１３２にも「１」が関連付けられる。同様に、照合部２１３８は、被写体追跡結果５０の被写体番号４３が「１０２−２」の追跡番号５６である「２」を、被写体番号４３が「１０３−２」と「１０４−２」の再追跡番号１３２として関連付ける。

このように、照合部２１３８は、図１３に示す被写体再追跡結果１３１を生成し、被写体選択部２１４に出力する。

図３に戻り、被写体選択部２１４について説明する。有効データ抽出装置２０１の被写体選択部２１４は、被写体再追跡部２１３から被写体再追跡結果１３１を受信し、所定の時間幅において検出された被写体の中から、再追跡番号１３２毎に被写体品質スコア４５が所定の閾値より高い被写体、または、被写体品質スコア４５が高いものから順に所定の数の被写体を選択する。そして、被写体選択部２１４は、選択した被写体の被写体データを被写体選択結果として出力する。被写体選択結果の構成要素は、上述した被写体再追跡結果１３１の構成要素と同様である。

例えば、図１３に示す、再追跡番号が「１」の被写体の被写体データは、被写体番号４３が「１０１−１」、「１０２−１」、「１０３−１」および「１０４−１」のレコードである。被写体選択部２１４が選択する映像データが、被写体品質スコア４５から順に所定の数（例えば、３つ）である場合、被写体選択部２１４は、被写体品質スコア４５が高い、被写体番号４３が「１０２−１」、「１０３−１」および「１０４−１」のレコードを被写体選択結果として出力する。

これにより、被写体選択部２１４は、映像データのうち、解析に有効なデータを出力することができる。更に、被写体選択部２１４が、被写体品質スコア４５に基づいて、被写体データを選択することにより、解析に、より適したデータを出力することができる。

なお、図１３では、被写体データが、被写体出現データまたは被写体消失データの何れかであるが、上述した通り、被写体データは出現フラグ７１および消失フラグ７２の両方が「０」であるレコードであってもよい。この場合であっても、被写体選択部２１４は、被写体品質スコア４５に基づいて、被写体品質スコア４５が高いレコードを出力することができる。

次に、図１４から図１９を参照して、本実施の形態に係る映像監視システム１００の処理の流れについて説明する。

図１４は、本実施の形態に係る映像監視システム１００の動作の流れの一例を示すフローチャートである。図１４に示す通り、映像配信装置１０１が映像データを撮影する（ステップＳ１４１）。撮影された映像データは、有効データ抽出装置２０１に出力される。

被写体検出部２１１は、映像配信装置１０１から出力された映像データに含まれる被写体を検出する。具体的には、被写体検出部２１１は映像配信装置１０１から映像データを受信し、受信した映像データをフレームに分割し、フレーム毎に１つまたは複数の被写体を検出する。（ステップＳ１４２）。被写体検出部２１１は、被写体の検出結果である、例えば図４に示すような被写体検出結果４０を被写体追跡部２１２に出力する。

次に、被写体追跡部２１２は、各フレームに含まれる被写体同士が、同一の被写体か否かを判定することにより、被写体を追跡する。具体的には、被写体追跡部２１２は、被写体検出結果４０の被写体領域４４などを参照し、フレーム間において被写体が同一であるかを判定する。そして、被写体追跡部２１２は、判定結果に基づいて被写体検出結果４０に関連付けた追跡番号を含む被写体追跡結果５０を被写体再追跡部２１３に出力する（ステップＳ１４３）。

次に、被写体再追跡部２１３は、被写体再追跡処理を行う（ステップＳ１４４）。具体的には、被写体再追跡部２１３は、被写体追跡部２１２からの被写体追跡結果を受信し、追跡が分断された可能性の度合いを算出する。そして、被写体再追跡部２１３は、追跡が分断された可能性が高い被写体同士を照合し、同一の被写体であるか否かを再び判定する。この被写体再追跡処理については、図面を変えて更に詳細に説明する。被写体再追跡部２１３は、被写体再追跡結果１３１を、被写体選択部２１４に出力する。

次に、被写体選択部２１４は、被写体再追跡結果１３１に基づいて、被写体品質スコアが高い被写体の被写体データを優先して選択する被写体データ選択処理を行う（ステップＳ１４５）。被写体選択部２１４は、被写体選択結果を表示装置３０１に出力する。

表示装置３０１は、被写体選択部２１４が選択した被写体の情報を画面などに表示する。ここで、表示装置３０１は、被写体の特徴抽出および照合を行い、特定した被写体の識別子を表示するなど、被写体選択部２１４によって選択された被写体データを解析した結果を表示してもよい。また、表示装置３０１は、解析された被写体データに対し、二次解析を行った上でその結果を表示してもよい（ステップＳ１４６）。表示装置３０１が表示する情報は特に限定されず、被写体データから得られるどのような情報を表示してもよい。

次に、上述したＳ１４４の被写体再追跡処理の流れについて、図１５を参照して説明する。図１５は、被写体再追跡処理の流れの一例を示すフローチャートである。

図１５に示す通り、検出部２１３１が被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出処理を行う（ステップＳ１５１）。検出部２１３１は、検出した被写体出現データと被写体消失データとを含む被写体検出データ７０を算出部２１３２に出力する。

そして、算出部２１３２が検出部２１３１により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布２１３５および消失位置分布２１３６とに基づき、被写体出現データの出現妥当性と被写体消失データの消失妥当性とを算出する算出処理を行う（ステップＳ１５２）。算出部２１３２は、算出した被写体出現データの出現妥当性と被写体消失データの消失妥当性とを含む妥当性算出結果７３を取得部２１３３に出力する。

その後、取得部２１３３が、ステップＳ１５２で算出部２１３２より算出された出現妥当性および消失妥当性に基づき、ステップＳ１５１で検出部２１３１により検出された被写体出現データと被写体消失データとの、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得する取得処理を行う（ステップＳ１５３）。取得部２１３３は、取得された被写体出現データと被写体消失データとの組合せである取得結果を、照合部２１３８に出力する。

そして、照合部２１３８が、被写体出現データの被写体と、被写体消失データの被写体との照合を行う（ステップＳ１５４）。これにより、被写体再追跡部２１３は、照合によって得られた結果を、被写体再追跡結果１３１として、被写体選択部２１４に出力する。

図１６は、図１５に示したステップＳ１５１の検出処理の流れの一例を示すフローチャートである。図１６に示す通り、検出部２１３１は、被写体追跡部２１２から被写体追跡結果５０を受信し、バッファリングする（ステップＳ１６１）。そして、検出部２１３１は、所定の時間幅における被写体追跡結果５０をバッファから取り出す（ステップＳ１６２）。この所定の時間幅は、特に限定されず、映像データの種類や場所によって適宜変更可能である。

検出部２１３１は、取り出した被写体追跡結果５０に含まれる各レコードについて、被写体が映像データに新たに出現する被写体か否かを判定する（出現判定を行う）（ステップＳ１６３）。また、検出部２１３１は、ステップＳ１６２にて取り出した被写体追跡結果５０の各レコードについて、被写体が映像データから消失したか否かを判定する（消失判定を行う）（ステップＳ１６４）。

検出部２１３１は、出現判定の結果である出現フラグ７１および消失判定の結果である消失フラグ７２を、被写体追跡結果５０の各レコードに関連付け、被写体検出データ７０として出力する（ステップＳ１６５）。

以上により、検出部２１３１の検出処理を終了する。なお、ステップＳ１６３とステップＳ１６４とは同時に行われてもよいし、逆順で行われてもよい。

図１７は、図１５に示したステップＳ１５２の算出処理の流れの一例を示すフローチャートである。図１７に示す通り、算出部２１３２は、例えば、図７に示す被写体検出データ７０に含まれる各レコードに対し、出現フラグ７１が「１」であるか否かを判定する（ステップＳ１７１）。出現フラグ７１が「１」ではない（「０」である）場合（ステップＳ１７１にてＮＯ）、処理はステップＳ１７４に進む。

出現フラグ７１が「１」の場合（ステップＳ１７１にてＹＥＳ）、算出部２１３２は、出現妥当性７４を算出する（ステップＳ１７２）。そして、算出部２１３２は、出現位置分布２１３５を更新する（ステップＳ１７３）。

次に、算出部２１３２は、例えば、図７に示す被写体検出データ７０に含まれる各レコードに対し、消失フラグ７２が「１」であるか否かを判定する（ステップＳ１７４）。消失フラグ７２が「１」ではない（「０」である）場合（ステップＳ１７４にてＮＯ）、処理を終了する。

消失フラグ７２が「１」の場合（ステップＳ１７４にてＹＥＳ）、算出部２１３２は、消失妥当性７５を算出する（ステップＳ１７５）。そして、算出部２１３２は、消失位置分布２１３６を更新する（ステップＳ１７６）。なお、ステップＳ１７４からステップＳ１７６の処理は、ステップＳ１７１より前に行われてもよいし、ステップＳ１７１からステップＳ１７３の何れかと同時に行われてもよい。

これにより、算出部２１３２は、出現妥当性７４および消失妥当性７５を含む妥当性算出結果７３を出力する。

図１８は、図１５に示したステップＳ１５３の取得処理の流れの一例を示すフローチャートである。図１８に示す通り、取得部２１３３は、算出部２１３２から妥当性算出結果７３を受信し、バッファリングする（ステップＳ１８１）。そして、取得部２１３３は、所定の時間幅における妥当性算出結果７３をバッファから取り出す（ステップＳ１８２）。この所定の時間幅は、特に限定されず、映像データの種類や場所によって適宜変更可能である。

次に、取得部２１３３は妥当性算出結果７３の中から、消失する被写体と出現する被写体の組合せを列挙する（ステップＳ１８３）。取得部２１３３は、被写体の組合せの各々について、消失する時刻および出現する時刻に整合性があるか否かを判定する（時刻整合性判定を行う）（ステップＳ１８４）。

そして、時刻に整合性がある組合せの夫々に対して、取得部２１３３は、被写体同士が同一である可能性の度合いを表す同一性スコア１１６を算出する（ステップＳ１８５）。取得部２１３３は、算出された同一性スコア１１６に基づいて、組合せに対し順位付けを行う（ステップＳ１８６）。そして、取得部２１３３は、負荷条件情報２１３７を参照し、組合せのうち順位が高いものから順に負荷条件情報２１３７に設定された数を満たすまで選択する（ステップＳ１８７）。

これにより、取得部２１３３は、選択した組み合わせの被写体消失データおよび被写体出現データを取得結果として出力する。そして、照合部２１３８は、出力された取得結果に基づいて、照合処理を行うことができる。

図１９は、図１４に示したステップＳ１４５の被写体データ選択処理の動作の一例を示すフローチャートである。被写体選択部２１４は、被写体再追跡部２１３からの被写体再追跡結果１３１を受信し、バッファリングする（ステップＳ１９１）。次に、被写体選択部２１４は、所定の時間幅における被写体再追跡結果１３１をバッファから取り出す（ステップＳ１９２）。

被写体選択部２１４は、再追跡番号１３２が同一の被写体毎に、被写体品質スコア４５の高い順に順位づけする（ステップＳ１９３）。そして、被写体選択部２１４は、再追跡番号１３２が同一の被写体毎に、被写体品質スコア４５が所定の閾値より高い、または、所定の順位以上の被写体の被写体データを出力する（ステップＳ１９４）。

以上のように、本実施の形態では、検出部２１３１が被写体データから被写体出現データおよび被写体消失データを検出する。そして、算出部２１３２が学習によって得られた被写体の過去の出現位置分布および消失位置分布と、被写体出現データおよび被写体消失データを用いて、被写体出現データの出現妥当性および被写体消失データの消失妥当性を算出する。被写体出現データの出現妥当性は、被写体出現データに含まれる被写体が出現する被写体であることの妥当性を示すものであり、被写体消失データに含まれる被写体が消失する被写体であることの妥当性を示すものである。取得部２１３３はこれらの出現妥当性および消失妥当性に基づいて、所定の条件を満たす被写体出現データと被写体消失データとの組合せを取得する。

これにより、被写体再追跡部２１３を含む映像監視システム１００は、追跡の分断が生じたことにより、消失する被写体および出現する被写体と判定された被写体同士を、再び同一の被写体である可能性が高い被写体として扱うことができる。これにより、映像監視システム１００は、追跡の分断によって生じるデータ量の増加を抑制することができる。

また、映像監視システム１００は、被写体出現データと被写体消失データとの組合せのうち、所定の条件を満たす組合せを取得する。所定の条件は、例えば、組合せの数が、所定の閾値以下であることである。これにより、映像監視システム１００は、追跡を行う際に、取得された組合せの被写体消失データに含まれる被写体と、該組合せの被写体出現データに含まれる被写体との間で行う照合処理を、所定の閾値以下に制御することができる。これにより、映像監視システム１００は、照合部２１３８による照合処理にかかる負荷を制限することができる。

したがって、本実施の形態に係る映像監視システム１００によれば、映像データのうち、例えば、映像の解析に有効なデータを抽出する処理の処理負荷を低減しながら、追跡の分断によって生じる有効なデータのデータ量の増加を抑制することができる。

また、上述した被写体選択部２１４は、被写体再追跡部２１３に含まれてもよい。

また、取得部２１３３は、図１１に示した各組合せのうち、消失妥当性７５が高い被写体消失データに含まれる被写体領域４４で示される位置から所定の範囲内の位置を被写体領域４４として含む被写体出現データを照合対象の候補としてもよい。つまり、取得部２１３３は、消失妥当性７５が高い被写体であっても、被写体出現データに含まれる位置が離れている場合、この消失妥当性７５が高い被写体の被写体消失データと該被写体出現データとは、夫々異なる被写体である可能性が高い。したがって、取得部２１３３はこのような異なる被写体である可能性が高い組合せを照合対象の候補から除外する。これにより、取得部２１３３は、照合により適したデータのみを取得することができる。

（具体例）
本実施の形態に係る映像監視システム１００の具体的な適用例について、図２０に示す。図２０は、映像監視システム１００の具体的な適用例の構成の一例を示す図である。

図２０に示す通り、映像監視システム１００は、カメラ１１０１と、有効データ抽出サーバ１２０１と、表示サーバ１３０１とを含む。カメラ１１０１は、ネットワークを介して有効データ抽出サーバ１２０１に接続している。カメラ１１０１は、上述した映像配信装置１０１の一例である。

有効データ抽出サーバ１２０１は、有効データ抽出装置２０１の一例である。有効データ抽出サーバ１２０１は、プログラム制御によって動作するコンピュータである。有効データ抽出サーバ１２０１は、ネットワークを介して接続されたカメラ１１０１から映像データを受信する。有効データ抽出サーバ１２０１は、図２０に示す通り、解析サービスを提供する解析サービスプログラム１２１０と、有効データ抽出サービスを提供する有効データ抽出サービスプログラム１２２０とを含む。解析サービスプログラム１２１０は、解析部２１０の一例である。有効データ抽出サービスプログラム１２２０は、有効データ抽出部２２０の一例である。解析サービスプログラム１２１０および有効データ抽出サービスプログラム１２２０は、夫々、コンピュータ上で動作するプログラム群のまとまりである。

顔検出プログラム１２１１は、被写体検出部２１１の一例である。顔検出プログラム１２１１は、コンピュータ上で動作し、映像データから人物の顔の領域を検出するプログラムである。顔追跡プログラム１２１２は、被写体追跡部２１２の一例である。顔追跡プログラム１２１２は、コンピュータ上で動作し、人物の顔の領域を追跡するプログラムである。

被写体再追跡プログラム１２１３は、被写体再追跡部２１３の一例である。被写体再追跡プログラム１２１３は、コンピュータ上で動作し、被写体の再追跡を行うプログラムである。被写体選択プログラム１２１４は、被写体選択部２１４の一例である。被写体選択プログラム１２１４は、コンピュータ上で動作し、被写体データの選択を行うプログラムである。

表示サーバ１３０１は、表示装置３０１の一例である。表示サーバ１３０１は、プログラム制御によって動作するコンピュータである。

図２１は、被写体再追跡プログラム１２１３の構成を示すブロック図である。被写体再追跡プログラム１２１３は、図２１に示す通り、検出モジュール２１０１と、算出モジュール２１０２と、取得モジュール２１０３と、記憶モジュール２１０４と、照合モジュール２１０８と、を含む。

検出モジュール２１０１、算出モジュール２１０２、取得モジュール２１０３および照合モジュール２１０８は、夫々、検出部２１３１、算出部２１３２、取得部２１３３および照合部２１３８の一例である。検出モジュール２１０１、算出モジュール２１０２、取得モジュール２１０３、記憶モジュール２１０４および照合モジュール２１０８は、夫々、被写体再追跡プログラム１２１３の中で動作するソフトウェアの部品である。また、記憶モジュール２１０４は、記憶部２１３４の一例である。記憶モジュール２１０４は、コンピュータのメモリ上に配置された出現位置分布テーブル２１０５、消失位置分布テーブル２１０６および負荷条件情報テーブル２１０７を含む。出現位置分布テーブル２１０５、消失位置分布テーブル２１０６および負荷条件情報テーブル２１０７は夫々、出現位置分布２１３５、消失位置分布２１３６および負荷条件情報２１３７の一例である。出現位置分布テーブル２１０５、消失位置分布テーブル２１０６および負荷条件情報テーブル２１０７は夫々、例えば、データベース管理システムによって管理される。

なお、本具体例では、被写体検出部２１１が、被写体の顔の領域を検出することにより被写体を検出する顔検出プログラム１２１１であることを例に挙げた。また、被写体追跡部２１２が、被写体の顔を追跡することにより被写体を追跡する顔追跡プログラム１２１２であることを例に挙げた。しかしながら、これらは一例であり、被写体の検出および追跡において、顔以外の部分を用いてもよい。被写体の検出および追跡は、どのような方法を採用してもよい。

なお、本具体例では、有効データ抽出装置２０１が１つの有効データ抽出サーバ１２０１で実現されることを例に説明を行ったが、有効データ抽出装置２０１の解析部２１０および有効データ抽出部２２０は別々の装置で実現されてもよい。更に、解析部２１０の被写体検出部２１１および被写体追跡部２１２が別々の装置で実現されてもよいし、有効データ抽出部２２０の被写体再追跡部２１３および被写体選択部２１４が別々の装置で実現されてもよい。

なお、本具体例では、映像配信装置１０１、有効データ抽出装置２０１および表示装置３０１が夫々異なるサーバで実現されることを例に説明を行ったが、適宜組合せてもよい。例えば、映像配信装置１０１と有効データ抽出装置２０１とが一体となった構成であってもよい。図２２に映像配信装置１０１と有効データ抽出装置２０１とが一体となった場合の映像監視システム２００の構成の一例を示す。

映像監視システム２００は、図２２に示す通り、撮像装置２２１と表示装置３０１とを含む。撮像装置２２１は、例えば、インテリジェントカメラやネットワークカメラと呼ばれる撮像装置である。撮像装置２２１は、映像配信装置１０１と、有効データ抽出装置２０１の機能を有する。映像配信装置１０１および有効データ抽出装置２０１の機能については、第２の実施の形態において説明した機能と同様である。

撮像装置２２１の映像配信装置１０１は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサを用いて、撮像処理を行い、複数のフレームを含む映像データを生成する撮影部である。そして、映像配信装置１０１は、生成した映像データを有効データ抽出装置２０１に供給する。これにより、有効データ抽出装置２０１は、映像データから有効データを抽出することができる。このように、映像配信装置１０１と有効データ抽出装置２０１とは一体となって実装されてもよい。これにより、撮影した映像データを、該映像データに対する処理を撮影した撮像装置２２１自身で行うことができる。このような構成であっても、映像監視システム２００は、上述した映像監視システム１００と同様の効果を得ることができる。

＜第３の実施の形態＞
次に、本開示の第３の実施の形態について説明する。本実施の形態における映像監視システム１００の構成は、第２の実施の形態に係る映像監視システム１００と同様の構成である。第２の実施の形態では被写体領域４４として、中心座標を用いたが、被写体領域４４として用いる情報はこれに限定されない。被写体領域４４として用いる情報は、中心座標に加え、被写体のフレーム上の大きさおよび向きを含んでいてもよい。

本実施の形態では、被写体領域４４が、中心座標、被写体の大きさおよび向きを含む構成について説明する。

図２３は、本実施の形態における被写体検出結果２３０の一例を示す図である。被写体検出結果２３０は、被写体検出結果４０の被写体領域４４として、中心座標、被写体の幅、高さ、向きが含まれる構成である。被写体検出結果２３０は、図２３に示す通り、フレーム番号２３１と、フレーム時刻２３２と、被写体番号２３３と、被写体領域２３４と、被写体品質スコア２３５とを含む。被写体領域２３４は、中心座標２３４１と、幅２３４２と、高さ２３４３と、向き２３４４とを含む。被写体の向き２３４４は、被写体が映像を撮影する映像配信装置に正対している場合を基準としたときの、被写体の、水平方向の回転の度合いを表す。例えば、被写体を人物の顔とした場合、人物の顔がカメラに正対している場合を０度とし、人物の顔の垂直方向を軸にしたときの、人物の顔の左回りの回転角を、被写体の向きとする。人物の顔の左半分を捉える角度が−９０度、人物の顔の右半分を捉える角度が９０度となる。なお、向き２３４４は、被写体が映像を撮影する映像配信装置に正対している場合を基準としたときの、被写体の、垂直方向の回転の度合い、撮影装置の光軸に対する回転方向の回転の度合い、あるいはそれらの回転の度合いの組合せであってもよい。

図２４は、被写体検出データ２４０の一例を示す図である。検出部２１３１は、上述した第２の実施の形態と同様に、被写体検出結果２３０に対して被写体追跡部２１２が付与した追跡番号２４１を含むデータに、出現フラグ２４２と、消失フラグ２４３とを関連付けて被写体検出データ２４０として出力する。

図２５は、本実施の形態における出現位置分布２１３５の一例を示す図である。本実施の形態における出現位置分布２１３５は、領域番号２５１と、大きさ２５２と、向き２５３と、ｘ座標範囲２５４と、ｙ座標範囲２５５と、出現回数２５６と、総出現回数２５７とを含む。本実施の形態における出現位置分布２１３５は、図８の出現位置分布２１３５に、大きさ２５２と、向き２５３とが含まれる構成である。

図２６は、本実施の形態における消失位置分布２１３６の一例を示す図である。本実施の形態における消失位置分布２１３６も出現位置分布２１３５と同様に、図９の消失位置分布２１３６に、大きさ２６２と、向き２６３とが含まれる構成である。

図２５および図２６の例では、第２の実施の形態と同様に、１フレームの画像が６４０×４８０ピクセルであるとする。この画像の左上の点を原点、横方向をｘ軸、縦方向をｙ軸とする。そして、出現位置分布２１３５は、８０×８０ピクセルのメッシュで画像上の位置を４８の領域に分割し、被写体の画像上の大きさ（面積）を４つの領域に分割し、さらに向きを３つの領域に分割し、それらを組合せた計５７６の領域毎の出現回数２５６および総出現回数２５７を、記録したものである。同様に、消失位置分布２１３６は、上記５７６の領域毎の消失回数２６６および総消失回数２６７を記録したものである。

算出部２１３２は、図２４に示す出現フラグ２４２が「１」の被写体の出現妥当性を算出する。算出部２１３２は、図２５に示す出現位置分布２１３５を参照し、被写体が出現する位置に対する、過去の出現回数２５６を取得する。また、総出現回数２５７を取得する。そして、算出部２１３２は、式（１）を参照し、出現妥当性を算出する。図２４を参照すると、被写体番号が「２０１−１」の被写体の中心座標２３４１は「（４０、４０）」であり、幅２３４２は「３０」であり、高さ２３４３は「６０」であり、向き２３４４は「−１０」である。図２５を参照すると、被写体番号が「２０１−１」の被写体は領域番号２５１が「５」の領域に含まれ、その過去の出現回数２５６は「４０」である。また、総出現回数２５７は「１００」である。このとき、出現妥当性は以下のように算出される。

出現妥当性＝１−（４０／１００）＝０．６
また、算出部２１３２は、図２４に示す消失フラグ２４３が「１」の被写体の消失妥当性を算出する。算出部２１３２は、図２６に示す消失位置分布２１３６を参照し、被写体が消失する位置に対する、過去の消失回数２６６を取得する。また、総消失回数２６７を取得する。そして、算出部２１３２は、式（２）を参照し、消失妥当性を算出する。図２４を参照すると、被写体番号が「２０２−１」の被写体の中心座標２３４１は「（５７０、４１０）」であり、幅２３４２は「１００」であり、高さ２３４３は「１５０」であり、向き２３４４は「４０」である。図２６を参照すると、被写体番号が「２０２−１」の被写体は領域番号２６１が「５７５」の領域に含まれ、その過去の消失回数２６６は「７０」である。また、総消失回数２６７は「１００」である。このとき、消失妥当性は以下のように算出される。

消失妥当性＝１−（７０／１００）＝０．３
このようにして、算出部２１３２は、出現妥当性および消失妥当性を算出する。そのほかの被写体に対しても、算出部２１３２が出現妥当性および消失妥当性を算出した結果である、妥当性算出結果２７０を図２７に示す。算出部２１３２は、図２７に示すような妥当性算出結果２７０を出力する。そして、取得部２１３３は、この妥当性算出結果２７０を用いて、被写体出現データと被写体消失データとの組合せを取得する。

ここで、比較のために、算出部２１３２が、被写体のフレーム上の大きさを用いずに、出現妥当性を算出する場合を考える。図２４を参照すると、被写体番号２３３が「２０１−１」の被写体の中心座標２３４１は「（４０、４０）」であり、向き２３４４は、「−１０」である。被写体のフレーム上の大きさを用いない場合、図２５を参照すると、被写体番号２３３が「２０１−１」の被写体は、領域番号２５１が「５」、「６」、「７」、「８」の領域に含まれる。この領域の出現回数２５６は、４０＋６０＝１００である。また、総出現回数２５７は「１００」である。このとき、出現妥当性は以下のように算出される。

出現妥当性＝１−（１００／１００）＝０．０
同様にして、被写体番号２３３が「２０１−２」の被写体の出現妥当性も、０．０と算出される。

被写体のフレーム上の大きさを用いる場合、被写体番号２３３が「２０１−１」の被写体および被写体番号２３３が「２０２−１」の出現妥当性は、夫々、「０．６」および「０．４」であるのに対し、被写体のフレーム上の大きさを用いない場合、双方ともに「０．０」となる。すなわち、出現妥当性および消失妥当性の算出に被写体のフレーム上の大きさを用いることで、フレーム上の同じ位置に出現あるいは消失した場合でも、算出部２１３２は、出現妥当性および消失妥当性を区別して算出することができる。これは、人物が画面の奥から手前に移動する映像シーンにおいて、隠蔽により突然、人物が手前に出現した場合を識別する場合などに特に有効である。

同様に、被写体のフレーム上の向きを用いることで、フレーム上の同じ位置に同じ大きさで出現あるいは消失した場合でも、算出部２１３２は出現妥当性または消失妥当性を区別して算出することが可能である。これは、人物が正面を向いて出現し横向きで消失する映像シーンにおいて、隠蔽により突然、正面を向いて退場した場合を識別する場合などに特に有効である。

（ハードウェア構成について）
本発明の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図２８に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図２８は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＡＭ９０３に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。

また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。

本開示によれば、カメラの映像から被写体を解析し表示する解析システムや、解析システムをコンピュータ上で実現するためのプログラムといった用途に適用できる。

上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出手段と、
前記検出手段により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出手段と、
前記算出手段により算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得する取得手段と、
を備える画像処理装置。

（付記２）
前記取得手段は、前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
付記１に記載の画像処理装置。

（付記３）
前記出現位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものであり、
前記出現する被写体の位置が前記出現する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる出現する被写体が、追跡が分断された被写体と判定されるように前記出現妥当性を算出する、
付記１または２に記載の画像処理装置。

（付記４）
前記出現位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものである、
付記３に記載の画像処理装置。

（付記５）
前記出現位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データに出現するときの位置、大きさおよび向きの少なくとも１つを含み、
前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記出現妥当性を算出する、
付記４に記載の画像処理装置。

（付記６）
前記消失位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものであり、
前記消失する被写体の位置が前記消失する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる消失する被写体が、追跡が分断された被写体と判定されるように前記消失妥当性を算出する、
付記１から５の何れか１つに記載の画像処理装置。

（付記７）
前記消失位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものである、
付記６に記載の画像処理装置。

（付記８）
前記消失位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データから消失するときの位置、大きさおよび向きの少なくとも１つを含み、
前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記消失妥当性を算出する、
付記７に記載の画像処理装置。

（付記９）
前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体が撮影された時刻が、前記被写体出現データに含まれる、前記出現する被写体が撮影された時刻よりも前である、前記被写体出現データと前記被写体消失データとの組合せを取得する、
付記１から８の何れか１つに記載の画像処理装置。

（付記１０）
前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体の位置と、前記被写体出現データに含まれる、前記出現する被写体の位置とが所定の範囲内である、前記被写体消失データと前記被写体出現データとの組合せを取得する、
付記１から９の何れか１つに記載の画像処理装置。

（付記１１）
前記取得手段が取得した組合せに含まれる被写体同士を照合する照合手段を更に備える、
付記１から１０の何れか１つに記載の画像処理装置。

（付記１２）
前記照合手段による照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する被写体選択手段を更に備える、
付記１１に記載の画像処理装置。

（付記１３）
複数の被写体を撮影した映像データから前記被写体を検出する被写体検出手段と、
前記検出された被写体を追跡し、該被写体の位置を含む追跡結果を被写体データとして出力する被写体追跡手段と、
前記被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出手段と、
前記検出手段により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出手段と、
前記算出手段により算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得する取得手段と、
前記取得手段が取得した組合せに含まれる被写体同士を照合する照合手段と、
前記照合手段による照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する被写体選択手段と、
を備える映像監視システム。

（付記１４）
前記取得手段は、前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
付記１３に記載の映像監視システム。

（付記１５）
前記出現位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものであり、
前記出現する被写体の位置が前記出現する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる出現する被写体が、追跡が分断された被写体と判定されるように前記出現妥当性を算出する、
付記１３または１４に記載の映像監視システム。

（付記１６）
前記出現位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものである、
付記１５に記載の映像監視システム。

（付記１７）
前記出現位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データに出現するときの位置、大きさおよび向きの少なくとも１つを含み、
前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記出現妥当性を算出する、
付記１６に記載の映像監視システム。

（付記１８）
前記消失位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものであり、
前記消失する被写体の位置が前記消失する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる消失する被写体が、追跡が分断された被写体と判定されるように前記消失妥当性を算出する、
付記１３から１７の何れか１つに記載の映像監視システム。

（付記１９）
前記消失位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものである、
付記１８に記載の映像監視システム。

（付記２０）
前記消失位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データから消失するときの位置、大きさおよび向きの少なくとも１つを含み、
前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記消失妥当性を算出する、
付記１９に記載の映像監視システム。

（付記２１）
前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体が撮影された時刻が、前記被写体出現データに含まれる、前記出現する被写体が撮影された時刻よりも前である、前記被写体出現データと前記被写体消失データとの組合せを取得する、
付記１３から２０の何れか１つに記載の映像監視システム。

（付記２２）
前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体の位置と、前記被写体出現データに含まれる、前記出現する被写体の位置とが所定の範囲内である、前記被写体消失データと前記被写体出現データとの組合せを取得する、
付記１３から２１の何れか１つに記載の映像監視システム。

（付記２３）
前記被写体を撮影する撮影手段を更に備える、
付記１３から２２の何れか１つに記載の映像監視システム。

（付記２４）
前記映像監視システムは、インテリジェントカメラである、
付記２３に記載の映像監視システム。

（付記２５）
入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出し、
前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出し、
前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、前記検出された被写体出現データと被写体消失データとの組合せを取得する、
画像処理方法。

（付記２６）
前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
付記２５に記載の画像処理装置。

（付記２７）
複数の被写体を撮影した映像データから前記被写体を検出し、
前記検出された被写体を追跡し、該被写体の位置を含む追跡結果を被写体データとして出力し、
前記被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出し、
前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出し、
前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得し、
前記取得された組合せに含まれる被写体同士を照合し、
照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する、映像監視方法。

（付記２８）
前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
付記２７に記載の映像監視方法。

（付記２９）
入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出処理と、
前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出処理と、
前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、前記検出された被写体出現データと被写体消失データとの組合せを取得する取得処理と、
をコンピュータに実行させるプログラム。

（付記３０）
前記取得処理は、前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
付記２９に記載のプログラム。

この出願は、２０１７年１月５日に出願された日本出願特願２０１７−０００６５３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 画像処理装置
１１ 検出部
１２ 算出部
１３ 取得部
１００ 映像監視システム
１０１ 映像配信装置
２０１ 有効データ抽出装置
２１０ 解析部
２１１ 被写体検出部
２１２ 被写体追跡部
２１３ 被写体再追跡部
２１３１ 検出部
２１３２ 算出部
２１３３ 取得部
２１３４ 記憶部
２１３５ 出現位置分布
２１３６ 消失位置分布
２１３７ 負荷条件情報
２１３８ 照合部
２１４ 被写体選択部
２２０ 有効データ抽出部
３０１ 表示装置
４０ 被写体検出結果
５０ 被写体追跡結果
７０ 被写体検出データ
７３ 妥当性算出結果
１１１ 組合せ結果
１３１ 被写体再追跡結果
２００ 映像監視システム
２２１ 撮像装置
２３０ 被写体検出結果
２４０ 被写体検出データ
２７０ 妥当性算出結果

以上のように、本実施の形態に係る画像処理装置１０は、学習によって得られた被写体の過去の出現位置分布および消失位置分布と、検出部１１が検出した被写体出現データおよび被写体消失データとを用いて、被写体出現データの出現妥当性および被写体消失データの消失妥当性を算出する。被写体出現データの出現妥当性は、被写体出現データに含まれる被写体が出現する被写体であることの妥当性を示すものであり、被写体消失データの消失妥当性は、被写体消失データに含まれる被写体が消失する被写体であることの妥当性を示すものである。取得部１３はこれらの出現妥当性および消失妥当性に基づいて、所定の条件を満たす被写体出現データと被写体消失データとの組合せを取得する。

以上のように、本実施の形態では、検出部２１３１が被写体データから被写体出現データおよび被写体消失データを検出する。そして、算出部２１３２が学習によって得られた被写体の過去の出現位置分布および消失位置分布と、被写体出現データおよび被写体消失データを用いて、被写体出現データの出現妥当性および被写体消失データの消失妥当性を算出する。被写体出現データの出現妥当性は、被写体出現データに含まれる被写体が出現する被写体であることの妥当性を示すものであり、被写体消失データの消失妥当性は、被写体消失データに含まれる被写体が消失する被写体であることの妥当性を示すものである。取得部２１３３はこれらの出現妥当性および消失妥当性に基づいて、所定の条件を満たす被写体出現データと被写体消失データとの組合せを取得する。

消失位置分布２１３６は、被写体が映像データから消失する前の該被写体が最後に含まれるフレームにおける、被写体の位置の分布を表す。消失位置分布２１３６は、消失する被写体の人数の総数を、フレーム上の位置毎に算出したデータであり、過去の被写体データを用いた学習によって得られたデータである。図９に示す通り、消失位置分布２１３６は、領域番号９１と、ｘ座標範囲９２と、ｙ座標範囲９３と、消失回数９４と、総消失回数９５とを含む。なお、図９は、消失位置分布２１３６の一例であり、消失位置分布２１３６が図９に示す情報以外の情報を含んでもよい。

そして、算出部２１３２は、以下の式（２）を用いて消失妥当性を算出する。

例えば、図１３に示す、再追跡番号が「１」の被写体の被写体データは、被写体番号４３が「１０１−１」、「１０２−１」、「１０３−１」および「１０４−１」のレコードである。被写体選択部２１４が選択する映像データが、被写体品質スコア４５から順に所定の数（例えば、３つ）である場合、被写体選択部２１４は、被写体品質スコア４５が高い、被写体番号４３が「１０２−１」、「１０３−１」および「１０４−１」のレコードを被写体選択結果として出力する。

その後、取得部２１３３が、ステップＳ１５２で算出部２１３２より算出された出現妥当性および消失妥当性に基づき、ステップＳ１５１で検出部２１３１により検出された被写体出現データと被写体消失データとの、所定の条件を満たす組合せを取得する取得処理を行う（ステップＳ１５３）。取得部２１３３は、取得された被写体出現データと被写体消失データとの組合せである取得結果を、照合部２１３８に出力する。

（付記６）
前記消失位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものであり、
前記消失する被写体の位置が前記消失する頻度がより低い領域の場合、前記算出手段は、前記被写体消失データに含まれる消失する被写体が、追跡が分断された被写体と判定されるように前記消失妥当性を算出する、
付記１から５の何れか１つに記載の画像処理装置。

（付記１８）
前記消失位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものであり、
前記消失する被写体の位置が前記消失する頻度がより低い領域の場合、前記算出手段は、前記被写体消失データに含まれる消失する被写体が、追跡が分断された被写体と判定されるように前記消失妥当性を算出する、
付記１３から１７の何れか１つに記載の映像監視システム。

（付記２６）
前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
付記２５に記載の画像処理方法。

（付記２７）
複数の被写体を撮影した映像データから前記被写体を検出し、
前記検出された被写体を追跡し、該被写体の位置を含む追跡結果を被写体データとして出力し、
前記被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出し、
前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出し、
前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、検出された被写体出現データと被写体消失データとの組合せを取得し、
前記取得された組合せに含まれる被写体同士を照合し、
照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する、映像監視方法。

Claims (30)

1. 入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出手段と、
   前記検出手段により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出手段と、
   前記算出手段により算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得する取得手段と、
   を備える画像処理装置。
2. 前記取得手段は、前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
   請求項１に記載の画像処理装置。
3. 前記出現位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものであり、
   前記出現する被写体の位置が前記出現する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる出現する被写体が、追跡が分断された被写体と判定されるように前記出現妥当性を算出する、
   請求項１または２に記載の画像処理装置。
4. 前記出現位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものである、
   請求項３に記載の画像処理装置。
5. 前記出現位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データに出現するときの位置、大きさおよび向きの少なくとも１つを含み、
   前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記出現妥当性を算出する、
   請求項４に記載の画像処理装置。
6. 前記消失位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものであり、
   前記消失する被写体の位置が前記消失する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる消失する被写体が、追跡が分断された被写体と判定されるように前記消失妥当性を算出する、
   請求項１から５の何れか１つに記載の画像処理装置。
7. 前記消失位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものである、
   請求項６に記載の画像処理装置。
8. 前記消失位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データから消失するときの位置、大きさおよび向きの少なくとも１つを含み、
   前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記消失妥当性を算出する、
   請求項７に記載の画像処理装置。
9. 前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体が撮影された時刻が、前記被写体出現データに含まれる、前記出現する被写体が撮影された時刻よりも前である、前記被写体出現データと前記被写体消失データとの組合せを取得する、
   請求項１から８の何れか１つに記載の画像処理装置。
10. 前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体の位置と、前記被写体出現データに含まれる、前記出現する被写体の位置とが所定の範囲内である、前記被写体消失データと前記被写体出現データとの組合せを取得する、
    請求項１から９の何れか１つに記載の画像処理装置。
11. 前記取得手段が取得した組合せに含まれる被写体同士を照合する照合手段を更に備える、
    請求項１から１０の何れか１つに記載の画像処理装置。
12. 前記照合手段による照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する被写体選択手段を更に備える、
    請求項１１に記載の画像処理装置。
13. 複数の被写体を撮影した映像データから前記被写体を検出する被写体検出手段と、
    前記検出された被写体を追跡し、該被写体の位置を含む追跡結果を被写体データとして出力する被写体追跡手段と、
    前記被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出手段と、
    前記検出手段により検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出手段と、
    前記算出手段により算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得する取得手段と、
    前記取得手段が取得した組合せに含まれる被写体同士を照合する照合手段と、
    前記照合手段による照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する被写体選択手段と、
    を備える映像監視システム。
14. 前記取得手段は、前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
    請求項１３に記載の映像監視システム。
15. 前記出現位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものであり、
    前記出現する被写体の位置が前記出現する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる出現する被写体が、追跡が分断された被写体と判定されるように前記出現妥当性を算出する、
    請求項１３または１４に記載の映像監視システム。
16. 前記出現位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が最初に前記被写体データに出現する頻度を記録したものである、
    請求項１５に記載の映像監視システム。
17. 前記出現位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データに出現するときの位置、大きさおよび向きの少なくとも１つを含み、
    前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記出現妥当性を算出する、
    請求項１６に記載の映像監視システム。
18. 前記消失位置分布は、画面を縦方向および横方向に分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものであり、
    前記消失する被写体の位置が前記消失する頻度がより低い領域の場合、前記算出手段は、前記被写体出現データに含まれる消失する被写体が、追跡が分断された被写体と判定されるように前記消失妥当性を算出する、
    請求項１３から１７の何れか１つに記載の映像監視システム。
19. 前記消失位置分布は、前記領域をさらに前記被写体のフレーム上の大きさおよび前記被写体のフレーム上の向きに応じて分割して生成した領域の各々に対し、前記被写体が前記被写体データから消失する頻度を記録したものである、
    請求項１８に記載の映像監視システム。
20. 前記消失位置分布は、被写体が、前記被写体データに関連するフレームを含む映像データから消失するときの位置、大きさおよび向きの少なくとも１つを含み、
    前記算出手段は、前記位置、前記大きさおよび前記向きの少なくとも１つに基づいて、前記消失妥当性を算出する、
    請求項１９に記載の映像監視システム。
21. 前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体が撮影された時刻が、前記被写体出現データに含まれる、前記出現する被写体が撮影された時刻よりも前である、前記被写体出現データと前記被写体消失データとの組合せを取得する、
    請求項１３から２０の何れか１つに記載の映像監視システム。
22. 前記取得手段は、前記被写体消失データに含まれる、前記消失する被写体の位置と、前記被写体出現データに含まれる、前記出現する被写体の位置とが所定の範囲内である、前記被写体消失データと前記被写体出現データとの組合せを取得する、
    請求項１３から２１の何れか１つに記載の映像監視システム。
23. 前記被写体を撮影する撮影手段を更に備える、
    請求項１３から２２の何れか１つに記載の映像監視システム。
24. 前記映像監視システムは、インテリジェントカメラである、
    請求項２３に記載の映像監視システム。
25. 入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出し、
    前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出し、
    前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、前記検出された被写体出現データと被写体消失データとの組合せを取得する、
    画像処理方法。
26. 前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
    請求項２５に記載の画像処理装置。
27. 複数の被写体を撮影した映像データから前記被写体を検出し、
    前記検出された被写体を追跡し、該被写体の位置を含む追跡結果を被写体データとして出力し、
    前記被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出し、
    前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出し、
    前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす前記検出手段により検出された被写体出現データと被写体消失データとの組合せを取得し、
    前記取得された組合せに含まれる被写体同士を照合し、
    照合の結果に基づいて、前記被写体データから、前記被写体の撮影条件によって算出された被写体の品質を表す被写体品質スコアを用いて、他の所定の条件を満たす被写体データを選択する、映像監視方法。
28. 前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
    請求項２７に記載の映像監視方法。
29. 入力される複数の被写体の位置を含む被写体データから、出現する被写体を含む被写体出現データと、消失する被写体を含む被写体消失データとを検出する検出処理と、
    前記検出された被写体出現データおよび被写体消失データと予め学習された被写体の出現位置分布および消失位置分布とに基づき、前記被写体出現データの出現妥当性と前記被写体消失データの消失妥当性とを算出する算出処理と、
    前記算出された出現妥当性および消失妥当性に基づき、所定の条件を満たす、前記検出された被写体出現データと被写体消失データとの組合せを取得する取得処理と、
    をコンピュータに実行させるプログラムを格納した記録媒体。
30. 前記取得処理は、前記被写体出現データと前記被写体消失データとの組合せの数が所定の閾値以下の組合せを取得する、
    請求項２９に記載のプログラムを格納した記録媒体。

Images