JP7056673B2 - 処理装置、処理方法及びプログラム - Google Patents

Description

本発明は、処理装置、処理方法及びプログラムに関する。

特許文献１には、画像から人物を検出するとともに、検出した人物の中から画像への出現頻度が所定レベルより高い人物を抽出する技術が開示されている。

非特許文献１乃至５には、画像を解析し、所定の挙動を示す人物を抽出する技術が開示されている。

国際公開第２０１７／０７７９０２号 国際公開第２０１４／１０９１２７号 特開２０１５－４９５７４号公報

Ke, S. R., Thuc, H. L. U., Lee, Y. J., Hwang, J. N., Yoo, J. H., & Choi, K. H. (2013). A review on video-based human activity recognition. Computers, 2(2), 88-131. Tomas, R. M., Tapia, S. A., Caballero, A. F., Ratte, S., Eras, A. G., & Gonzalez, P. L. (2015, June). Identification of loitering human behaviour in video surveillance environments. In International Work-Conference on the Interplay Between Natural and Artificial Computation (pp. 516-525). Springer, Cham. Bouma, H., Baan, J., Landsmeer, S., Kruszynski, C., van Antwerpen, G., & Dijk, J. (2013). Real-time tracking and fast retrieval of persons in multiple surveillance cameras of a shopping mall. Bellingham, WA: SPIE. Nam, Y. (2015). Loitering detection using an associating pedestrian tracker in crowded scenes. Multimedia Tools and Applications, 74(9), 2939-2961. Xiong, G., Wu, X., Chen, Y. L., & Ou, Y. (2011, June). Abnormal crowd behavior detection based on the energy model. In Information and Automation (ICIA), 2011 IEEE International Conference on (pp. 495-500). IEEE.

特許文献１に記載の技術を用い、所定の場所で撮影した画像への出現頻度が所定レベルより高い人物を抽出することで、その場所を犯罪の下見等でうろついている人物を抽出することができる。しかし、出現頻度のみに基づく抽出の場合、うろついている人物のみならず、例えば単なる待ち合わせ等でその場所に比較的長い時間滞在している人物をも抽出してしまう。非特許文献１乃至５は当該課題を解決する手段を提示するものでない。

本発明は、ある場所をうろついている人物を高精度に抽出する技術を提供することを課題とする。

本発明によれば、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段と、
前記画像を解析し、前記人物毎に、前記対象エリア内での出現位置のばらつきの程度を算出する算出手段と、
前記算出手段による算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段と、
を有する処理装置が提供される。

また、本発明によれば、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段と、
前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出手段と、
前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段と、
を有する処理装置が提供される。

また、本発明によれば、
コンピュータが、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出工程と、
前記画像を解析し、前記人物毎に、前記対象エリア内での出現位置のばらつきの程度を算出する算出工程と、
前記算出工程での算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出工程と、
を実行する処理方法が提供される。

また、本発明によれば、
コンピュータを、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段、
前記画像を解析し、前記人物毎に、前記対象エリア内での出現位置のばらつきの程度を算出する算出手段、
前記算出手段による算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段、
として機能させるプログラムが提供される。

また、本発明によれば、
コンピュータが、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出工程と、
前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出工程と、
前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出工程と、
を実行する処理方法が提供される。

また、本発明によれば、
コンピュータを、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段、
前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出手段、
前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段、
として機能させるプログラムが提供される。

本発明によれば、ある場所をうろついている人物を高精度に抽出する技術が実現される。

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例を示す図である。 対象エリアに設置されたカメラの一例を模式的に示す図である。 人物検出処理で用いるインデックス情報の一例を模式的に示す図である。 算出部による処理の一例を説明するための図である。 処理装置により出力された情報の一例を示す図である。 処理装置の処理の流れの一例を示すフローチャートである。

最初に、特許請求の範囲で表される第１乃至第５の値と、明細書中に名称との対応関係を示す。
第１の値：「各人物の対象エリアにおける存続時間と対象エリア内での出現位置の偏りの程度（Ｅ_{ｔｏｔａｌ}）を統合した値」
第２の値：「検出された各人物が各カメラに撮影された頻度を示す値」
第３の値：「各人物が各カメラで生成された画像の各小エリアに存在する頻度を示す値」
第４の値：「第１の値と各人物が画像にフレームインする頻度を統合した値」
第５の値：「第４の値を補正した値」

次に、本実施形態の処理装置の概要を説明する。本実施形態の処理装置は、対象エリアに設置されたカメラ（例：監視カメラ）で生成された画像を解析し、画像内の人物を検出する。次いで、処理装置は、検出した人物の挙動を、「対象エリアにおける存続時間」、「対象エリア内での出現位置の偏りの程度（分散の程度）」、「画像にフレームインする頻度」等に基づき評価する。そして、処理装置は、評価結果が所定の条件を満たす人物を、「対象エリアをうろついている人物」として抽出する。

このような本実施形態の処理装置によれば、対象エリアをうろついている人物を高精度に抽出することができる。

次に、本実施形態の処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例について説明する。処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

図１は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図１に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサー等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

次に、処理装置の機能構成を説明する。図２の機能ブロック図に示すように、処理装置１０は、人物検出部１１と、算出部１２と、対象人物抽出部１３とを有する。以下、各機能部を詳細に説明する。

人物検出部１１は、対象エリアを撮影するカメラで生成された画像を解析し、画像内の人物を検出する。

対象エリアは、例えば、公園、駅構内、駅前、建物内等であるが、これらに限定されない。対象エリアには、対象エリアの少なくとも一部を撮影する１台又は複数台のカメラ（監視カメラ）が設置される。カメラは連続的に動画像を撮影する。図３に一例を示す。図示する例の場合、１つの対象エリアに４台のカメラ１００が設置されている。点線で各カメラ１００の撮影エリアが示されている。

人物検出部１１は、カメラ１００で生成された各フレームの画像を解析し、各フレームの画像から人物を検出する。人物を検出する手段は特段制限されず、あらゆる技術を採用できる。

そして、人物検出部１１は、各フレームの画像から検出した人物を、外観（例：顔、服装等）が同一又は類似するものどうしでグループ化する。これにより、複数のフレームの画像に跨って存在する同一人物をひとまとめにする。複数のカメラ１００で対象エリアを撮影している場合、複数のカメラ１００で生成された複数のフレームの画像から検出された人物を同様の手段でグループ化することで、複数のカメラ１００で生成された複数のフレームの画像に跨って存在する同一人物をひとまとめにする。

当該グループ化処理の一例としては、次のようなものが考えられる。例えば、人物検出部１１は、複数のフレームの画像各々から人物を検出する。そして、あるフレーム（処理中フレーム）の画像から検出された人物と、それ以前のフレーム（処理済フレーム）の画像から検出された人物との外観が所定レベル以上類似するか判断し、所定レベル以上類似するもの同士をグループ化する。処理済フレームの画像から検出されたすべての人物各々の外観の特徴と、処理中フレームの画像から検出されたすべての人物各々の外観の特徴とのすべてのペアを比較することで、上記判断を行ってもよい。しかし、このような処理の場合、蓄積された人物のデータが増えるほど、比較するペアの数が膨大となり、コンピュータの処理負担が大きくなる。そこで、例えば、次のような方法を採用してもよい。

すなわち、検出された人物を図４のようにインデックス化し、当該インデックスを用いて外観が所定レベル以上類似する人物どうしでグループ化してもよい。当該インデックスの詳細及び生成方法は、特許文献２及び３に開示されているが、以下、簡単に説明する。

図４に示す検出ＩＤ：「Ｆ○○○－○○○○」は、各フレームの画像から検出された人物各々に付される識別情報である。Ｆ○○○がフレーム識別情報であり、ハイフン以下が各フレームの画像から検出された人物各々の識別情報である。同一人物が異なるフレームの画像から検出された場合、各々に異なる検出ＩＤが付されることとなる。

第３層には、それまでに処理されたフレーム（処理済フレーム）から得られた全ての検出ＩＤ各々に対応したノードが配置される。そして、第３層に配置された複数のノードは、類似度（外観の特徴量の類似度）が第１のレベル以上のもの同士でまとめてグループ化される。第３層では、同一人物と判断される複数の検出ＩＤどうしでグループ化されている。このような第３層の各グループに対応して、人物識別情報（人物ＩＤ（identifier））が付される。

第２層には、第３層の複数のグループ各々から選択された１つのノード（代表）が配置される。第２層の各ノードは、第３層に位置する選択元のグループ（自身が所属するグループ）に紐付けられる。そして、第２層に配置された複数のノードは、類似度が第２のレベル以上のもの同士でまとめてグループ化される。なお、第２のレベルは、上記第１のレベルよりも低い。すなわち、第１のレベルを基準にした場合にはグループ化されないノード同士が、第２のレベルを基準にした場合にはグループ化され得る。

第１層には、第２層の複数のグループ各々から選択された１つのノード（代表）が配置される。第１層の各ノードは、第２層に位置する選択元のグループ（自身が所属するグループ）に紐付けられる。

当該インデックスは、次のようにして更新される。新たなフレーム（処理中フレーム）から新たな検出ＩＤが得られた場合、まず、第１層に位置する複数の検出ＩＤを比較対象とする。すなわち、新たな検出ＩＤと、第１層に位置する複数の検出ＩＤ各々とでペアを作成する。そして、ペア毎に類似度（外観の特徴量の類似度）を算出し、算出した類似度が第１の閾値以上（所定レベル以上類似）であるか判定する。

第１層に、類似度が第１の閾値以上である検出ＩＤが存在しない場合、新たな検出ＩＤに対応する人物は、それ以前に検出された人物と同一人物でないと判断する。そして、新たな検出ＩＤを第１層乃至第３層に追加し、それらを互いに紐付ける。第２層及び第３層においては、追加された新たな検出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな検出ＩＤに対応する人物の人物ＩＤとして特定する。

一方、第１層に、類似度が第１の閾値以上である検出ＩＤが存在する場合、比較対象を第２層に移す。具体的には、「類似度が第１の閾値以上であると判定された第１層の検出ＩＤ」に紐付けられた第２層のグループを、比較対象とする。

そして、新たな検出ＩＤと、第２層の処理対象のグループに含まれる複数の検出ＩＤ各々とでペアを作成する。次いで、ペア毎に類似度を算出し、算出した類似度が第２の閾値以上であるか判定する。なお、第２の閾値は、第１の閾値よりも高い。

第２層の処理対象のグループに、類似度が第２の閾値以上である検出ＩＤが存在しない場合、新たな検出ＩＤに対応する人物は、それ以前に検出された人物と同一人物でないと判断する。そして、新たな検出ＩＤを第２層及び第３層に追加し、互いに紐付ける。第２層においては、新たな検出ＩＤは処理対象のグループに追加される。第３層においては、追加された新たな検出ＩＤにより新たなグループが生成される。また、第３層の新たなグループに対応して新たな人物ＩＤが発行される。そして、その人物ＩＤを、新たな検出ＩＤに対応する人物の人物ＩＤとして特定する。

一方、第２層の処理対象のグループに、類似度が第２の閾値以上である検出ＩＤが存在する場合、新たな検出ＩＤに対応する人物は、それ以前に検出された人物と同一人物であると判断する。そして、新たな検出ＩＤを、「類似度が第２の閾値以上であると判定された第２層の検出ＩＤ」に紐付けられた第３層のグループに属させる。また、第３層のそのグループに対応する人物ＩＤを、新たな検出ＩＤに対応する人物の人物ＩＤとして特定する。

例えば、以上のようにして、新たなフレームの画像から検出された検出ＩＤ（人物）を図４のインデックスに追加し、各々に人物ＩＤを対応付けることができる。

図２に戻り、算出部１２は、カメラ１００で生成された画像を解析し、人物検出部１１により検出された人物毎に（以下、単に「人物毎に」という場合がある）、「対象エリアにおける存続時間」、「対象エリア内での出現位置の偏りの程度」、「対象エリアにおける存続時間と対象エリア内での出現位置の偏りの程度を統合した値（第１の値）」、「画像にフレームインする頻度」、「第１の値と画像にフレームインする頻度を統合した値（第４の値）」、「第４の値を補正した値」の中の少なくとも一部を算出する。以下で説明する対象人物抽出部１３は、これらの算出結果に基づき、人物検出部１１により検出された人物の中から、対象エリアをうろついていると推定される人物を抽出する。以下、各値を詳細に説明する。

「対象エリアにおける存続時間」
対象エリアをうろついている人物は、対象エリアにおける存続時間が大きくなる傾向にある。当該存続時間を用いることで、対象エリアをうろついている人物を高精度に抽出することができる。以下、当該存続時間の算出方法の一例を説明するが、ここでの例示に限定されない。

－存続時間の算出例１－
算出部１２は、カメラ１００に撮影されたトータル時間を、各人物の対象エリアにおける存続時間として算出してもよい。対象エリアに複数のカメラ１００が設置されている場合、算出部１２は、複数のカメラ１００各々で撮影された時間を足し合わせたトータル時間を、各人物の対象エリアにおける存続時間として算出してもよい。

－存続時間の算出例２－
その他、対象エリアに出入口が存在し、当該出入口を撮影するカメラ１００が存在する場合、算出部１２は、当該カメラ１００の画像を解析し、各人物が「対象エリア内に移動すること」及び「対象エリア外に移動すること」を検出してもよい。そして、各人物が対象エリア内に移動してから対象エリア外に移動するまでの時間を、各人物の対象エリアにおける存続時間として算出してもよい。

「対象エリア内での出現位置の偏りの程度」
対象エリアをうろついている人物は、対象エリア内での出現位置が適度にばらつく（出現位置の偏りが小さい）傾向にある。すなわち、ある位置の出現頻度が他の位置の出現頻度に比べて著しく大きくなる（出現位置がある位置に偏る）可能性は低い。なお、出現位置がある位置に偏る傾向は、例えば「待ち合わせ」等、「うろつき」と異なる動作の主体に見られる。対象エリア内での出現位置の偏りの程度（以下、単に「偏りの程度」という場合がある）を用いることで、対象エリアをうろついている人物を高精度に抽出することができる。以下、偏りの程度を算出する方法の一例を説明するが、ここでの例示に限定されない。

－偏りの程度の算出例１－
算出部１２は、検出された人物毎かつカメラ１００毎に、検出された各人物が各カメラ１００に撮影された頻度を示す値（第２の値）を算出する。また、算出部１２は、各カメラ１００で生成された画像を複数の小エリアに分割し、検出された人物毎、カメラ１００毎かつ小エリア毎に、各人物が各カメラ１００で生成された画像の各小エリアに存在する頻度を示す値（第３の値）を算出する。

そして、算出部１２は、検出された人物毎に、第２の値と第３の値とに基づき、対象エリア内での出現位置の偏りの程度（Ｅ_{ｔｏｔａｌ}）を算出する。

対象エリアをうろついている人物は、複数のカメラ１００にまんべんなく撮影される傾向にある。このため、対象エリアをうろついている人物に対応してカメラ１００毎に算出された複数の第２の値のばらつきは小さくなる。一方、例えば待ち合わせ等で対象エリアに存在する人物は、待ち合わせをしている箇所を撮影するカメラ１００に撮影される頻度が、他のカメラ１００に撮影される頻度よりも高くなる。このため、待ち合わせしている人物に対応してカメラ１００毎に算出された複数の第２の値のばらつきは大きくなる。

また、対象エリアをうろついている人物は、各カメラ１００で生成された画像内で比較的高頻度に動き回る傾向にある。このため、対象エリアをうろついている人物に対応して小エリア毎に算出された複数の第３の値のばらつきは小さくなる。一方、例えば待ち合わせ等で対象エリアに存在する人物は、カメラ１００で生成された画像内であまり動き回らず、所定の箇所に居続ける傾向になる。このため、待ち合わせしている人物に対応して小エリア毎に算出された複数の第３の値のばらつきは大きくなる。

このような第２の値と第３の値とに基づき算出される対象エリア内での出現位置の偏りの程度（Ｅ_{ｔｏｔａｌ}）によれば、各人物の対象エリア内での出現位置の偏りを高精度に表わすことができる。

以下、このようなＥ_{ｔｏｔａｌ}を算出する具体例を説明するが、あくまで一例でありこれに限定されない。

複数のカメラ１００各々で撮影された頻度は、例えば、複数のカメラ１００各々で撮影されたトータル時間（又はトータルフレーム数）とすることができる。算出部１２は、例えば下記式（１）に基づき、人物毎かつカメラ１００毎にＰ_ｊ（第２の値）を算出する。ｊはカメラＩＤである。Ｐ_ｊは、各人物がｊで特定されるカメラ１００に撮影されたトータル時間を、各人物の対象エリアにおける存続時間で正規化した値である。

また、算出部１２は、図５に示すように、各カメラ１００で生成された各画像Ｆを所定のルールに基づき複数の小エリアＡに分割する。図示する例の場合、合計４９個の小エリアＡ（縦７×横７）に分割されている。そして、各人物の所定箇所Ｐ（例：鼻等）が存在する小エリアＡを、各人物が存在する小エリアＡとして特定する。算出部１２は、複数のフレームの画像に対して同様の処理を行うことで、各人物が存在する小エリアＡをフレーム毎に特定する。この特定結果を集計することで、各人物が各カメラ１００で生成された画像内の複数の小エリアＡ各々に存在する頻度（トータル時間、トータルフレーム数等）を算出する。

そして、算出部１２は、例えば下記式（２）に基づき、カメラ１００毎にｈｅ_ｊ（第３の値）を算出する。ｊはカメラＩＤである。ｉは小エリアＩＤである。ｍは小エリアの数である。

ｂ_ｉは、下記式（３－１）で定義される。下記式（３－１）で定義されるｂ_ｉは、各人物がｉで特定される小エリアに存在する回数（トータルフレーム数）を、各人物がｊで特定されるカメラ１００で生成された画像（フレーム画像）に存在する回数（トータルフレーム数）で正規化した値である。なお、ｂ_ｉは、下記式（３－２）で定義されてもよい。下記式（３－２）で定義されるｂ_ｉは、各人物がｉで特定される小エリアに存在するトータル時間を、各人物がｊで特定されるカメラ１００で生成された画像に存在するトータル時間（ｊで特定されるカメラ１００で撮影されたトータル時間）で正規化した値である。下記式（３－１）で定義されるｂ_ｉ及び下記式（３－２）で定義されるｂ_ｉは同義である。

そして、算出部１２は、人物毎かつカメラ１００毎に、例えば下記式（４）に基づき、Ｅ_ｊを算出する。ｊはカメラＩＤである。

そして、算出部１２は、人物毎に、例えば下記式（５）に基づき、対象エリア内での出現位置の偏りの程度を示すＥ_{ｔｏｔａｌ}を算出する。ｊはカメラＩＤである。ｎはカメラ１００の数である。算出部１２は、人物検出部１１により検出された人物毎に、偏りの程度を示すＥ_{ｔｏｔａｌ}を算出する。

当該例の場合、Ｅ_{ｔｏｔａｌ}は、第２の値のばらつきが小さい（偏りが大きい）程大きく、かつ、第３の値のばらつきが小さい（偏りが大きい）程大きくなる。

－偏りの程度の算出例２－
算出部１２は、上記第２の値に基づき、偏りの程度を示すＥ_{ｔｏｔａｌ}を算出する。例えば、ばらつきの程度の算出例１と同様にして、上記式（１）に基づき人物毎かつカメラ１００毎にＰ_ｊ（第２の値）を算出してもよい。そして、上記式（４）を「Ｅ_ｊ＝Ｐ_ｊ」に変更し、上記式（５）に基づき、人物毎にＥ_{ｔｏｔａｌ}を算出してもよい。

当該例の場合、Ｅ_{ｔｏｔａｌ}は、第２の値のばらつきが小さい（偏りが大きい）程大きくなる。

－偏りの程度の算出例３－
算出部１２は、上記第３の値に基づき、偏りの程度を示すＥ_{ｔｏｔａｌ}を算出する。例えば、ばらつきの程度の算出例１と同様にして、上記式（２）に基づき人物毎かつカメラ１００毎にｈｅ_ｊ（第３の値）を算出してもよい。そして、上記式（４）を「Ｅ_ｊ＝ｈｅ_ｊ」に変更し、上記式（５）に基づき人物毎にＥ_{ｔｏｔａｌ}を算出してもよい。

当該例の場合、Ｅ_{ｔｏｔａｌ}は、第３の値のばらつきが小さい（偏りが大きい）程大きくなる。

「対象エリアにおける存続時間と対象エリア内での出現位置の偏りの程度（Ｅ_{ｔｏｔａｌ}）を統合した値（第１の値）」

対象エリアをうろついている人物は、当該存続時間が大きくなる傾向にある。しかしながら、例えば待ち合わせをしている人物も、当該存続時間が大きくなる場合がある。このため、存続時間の大小のみでは、うろついている人物を高精度に抽出できない。

また、対象エリアをうろついている人物は、対象エリア内での出現位置の偏りが比較的小さくなる傾向にある。しかしながら、単に対象エリアを通過した人物も、当該偏りが小さくなる場合がある。このため、当該偏りの大小のみでは、うろついている人物を高精度に抽出できない。

「存続時間」及び「偏りの程度」という２つの指標を用いることで、対象エリアをうろついている人物を高精度に抽出することができる。うろついている人物、待ち合わせをしている人物、単に通過した人物各々の当該指標の傾向は、以下のようにまとめられる。

うろついている人物：対象エリアにおける存続時間の傾向「大」、対象エリア内での出現位置の偏りの傾向「小」。
待ち合わせをしている人物：対象エリアにおける存続時間の傾向「大」、対象エリア内での出現位置の偏りの傾向「大」。
単に通過した人物：対象エリアにおける存続時間の傾向「小」、対象エリア内での出現位置の偏りの傾向「小」。

算出部１２は、例えば、下記式（６）に基づき、人物毎にＤＳ（第１の値）を算出してもよい。「対象エリアにおける存続期間」及びＥ_{ｔｏｔａｌ}の算出方法は上記説明の通りである。

上記式の場合、ＤＳは、対象エリアにおける存続期間が大きい程大きい値となる。また、ＤＳは、対象エリア内での出現位置の偏りが小さい程大きい値となる。

うろついている人物、待ち合わせをしている人物、単に通過した人物各々の「対象エリアにおける存続時間」、Ｅ_{ｔｏｔａｌ}及びＤＳの傾向は、以下のようにまとめられる。

うろついている人物：対象エリアにおける存続時間の傾向「大」、Ｅ_{ｔｏｔａｌ}の傾向「大」。
待ち合わせをしている人物：対象エリアにおける存続時間の傾向「大」、Ｅ_{ｔｏｔａｌ}の傾向「小」。
単に通過した人物：対象エリアにおける存続時間の傾向「小」、Ｅ_{ｔｏｔａｌ}の傾向「大」。

すなわち、うろついている人物は、待ち合わせをしている人物や単に通過した人物に比べて、ＤＳが大きくなる傾向である。

「画像にフレームインする頻度」
対象エリアをうろついている人物は、画像へのフレームイン及びフレームアウトを繰り返す。結果、対象エリアをうろついている人物は、画像にフレームインする頻度が大きくなる傾向にある。当該頻度を用いることで、対象エリアをうろついている人物を高精度に抽出することができる。

算出部１２は、人物毎かつカメラ１００毎に、各カメラ１００で生成された画像にフレームインする頻度を算出する。フレームインを検出する方法は特段制限されない。そして、算出部１２は、例えば、人物毎に、下記式（７）に基づき画像にフレームインする頻度を示すＲＡＳを算出してもよい。ｊはカメラＩＤである。ｎはカメラの数である。

ＣＳ_ｊは、下記式（８）で定義される。ｊはカメラＩＤである。ｃａは各カメラで生成された画像にフレームインした回数である。

当該例の場合、ＲＡＳは、画像にフレームインする頻度が大きくなる程大きい値となる。そして、うろついている人物は、ＲＡＳが大きくなる傾向である。

「第１の値と画像にフレームインする頻度を統合した値（第４の値）」
「第１の値」及び「画像にフレームインする頻度」という２つの指標を用いることで、対象エリアをうろついている人物をさらに高精度に抽出することができる。

算出部１２は、例えば、下記式（９）に基づき、人物毎にＬＳ（第４の値）を算出してもよい。ＲＡＳ及びＤＳの算出方法は上記説明の通りである。

当該例の場合、ＬＳ（第４の値）は、ＤＳ（第１の値）が大きい程大きくなる。すなわち、ＬＳ（第４の値）は、対象エリアにおける存続期間が大きい程大きい値となる。また、ＬＳ（第４の値）は、対象エリア内での出現位置の偏りが小さい程大きい値となる。また、ＬＳ（第４の値）は、ＲＡＳ（画像にフレームインする頻度）が大きい程大きくなる。すなわち、うろついている人物は、ＬＳが大きくなる傾向である。

「第４の値を補正した値（第５の値）」
算出部１２は、例えば下記式（１０）に基づき、人物毎にＷＬＳ（第５の値）を算出してもよい。「対象エリア出現回数」は、各人物が対象エリアに出現した回数である。例えば、ある人物が対象エリアに出現した後、対象エリアから去り、その後再び対象エリアに出現した場合、出現回数は２回となる。

出現回数の検出方法は特段制限されない。例えば、対象エリアに設置された複数のカメラ１００のいずれかで撮影された後、対象エリアに設置された複数のカメラ１００のいずれにも撮影されない非撮影時間が基準値を超えた場合、その人物は一度対象エリアから去ったと判断してもよい。そして、その後に再びいずれかのカメラ１００で撮影されると、出現回数を１インクリメントしてもよい。

当該例の場合、ＷＬＳ（第５の値）は、ＬＳ（第４の値）が大きい程大きくなる。すなわち、ＷＬＳ（第５の値）は、対象エリアにおける存続期間が大きい程大きい値となる。また、ＷＬＳ（第５の値）は、対象エリア内での出現位置の偏りが小さい程大きい値となる。また、ＷＬＳ（第５の値）は、ＲＡＳ（画像にフレームインする頻度）が大きい程大きくなる。すなわち、うろついている人物は、ＷＬＳが大きくなる傾向である。

図２に戻り、対象人物抽出部１３は、算出部１２による算出結果が所定の条件を満たす人物である対象人物を抽出する。

対象人物抽出部１３は、例えば、第１の値が所定条件を満たす人物を対象人物として抽出してもよい。上述した具体例の場合、ＤＳ（第１の値）は、対象エリアにおける存続期間が大きい程大きい値となる。また、ＤＳ（第１の値）は、対象エリア内での出現位置の偏りが小さい程大きい値となる。そして、うろついている人物は、ＤＳが大きくなる傾向である。

このような例の場合、対象人物抽出部１３は、ＤＳ（第１の値）が基準値以上の人物を、対象人物として抽出する。

その他、対象人物抽出部１３は、第４の値が所定条件を満たす人物を対象人物として抽出してもよい。上述した具体例の場合、ＬＳ（第４の値）は、ＤＳ（第１の値）が大きい程大きくなる。すなわち、ＬＳ（第４の値）は、対象エリアにおける存続期間が大きい程大きい値となる。また、ＬＳ（第４の値）は、対象エリア内での出現位置の偏りが小さい程大きい値となる。また、ＬＳ（第４の値）は、ＲＡＳ（画像にフレームインする頻度）が大きい程大きくなる。そして、うろついている人物は、ＬＳ（第４の値）が大きくなる傾向である。

このような例の場合、対象人物抽出部１３は、ＬＳ（第４の値）が基準値以上の人物を、対象人物として抽出する。

その他、対象人物抽出部１３は、第５の値が所定条件を満たす人物を対象人物として抽出してもよい。上述した具体例の場合、ＷＬＳ（第５の値）は、ＬＳ（第４の値）が大きい程大きくなる。すなわち、ＷＬＳ（第５の値）は、対象エリアにおける存続期間が大きい程大きい値となる。また、ＷＬＳ（第５の値）は、対象エリア内での出現位置の偏りが小さい程大きい値となる。また、ＷＬＳ（第５の値）は、ＲＡＳ（画像にフレームインする頻度）が大きい程大きくなる。そして、うろついている人物は、ＷＬＳ（第５の値）が大きくなる傾向である。

このような例の場合、対象人物抽出部１３は、ＷＬＳ（第５の値）が基準値以上の人物を、対象人物として抽出する。

その他、対象人物抽出部１３は、画像にフレームインする頻度が所定の条件を満たす人物を対象人物として抽出してもよい。上述した具体例の場合、対象人物抽出部１３は、ＲＡＳ（画像にフレームインする頻度）が基準値以上の人物を対象人物として抽出してもよい。その他、対象人物抽出部１３は、基準時間以内に画像にフレームインする回数が基準値以上の人物を対象人物として抽出してもよい。

なお、基準値及び基準時間は設計的事項である。

処理装置１０は、人物検出部１１、算出部１２及び対象人物抽出部１３による処理結果を出力してもよい。出力は、ディスプレイ、メーラ、投影装置、プリンター等のあらゆる出力装置を介して実現される。

図６に、処理装置１０により出力された情報の一例を示す。図示する例では、対象人物抽出部１３により抽出された対象人物をスコアに基づきランク付けし、ランク順に一覧表示している。

図中の「Ｒａｎｋ」は、スコアに基づくランクである。例えば、スコアの大きい順にランク付けされる。「Ｆａｃｅ」は、各対象人物の顔画像である。「Ｓｃｏｒｅ」は、算出部１２により算出され、対象人物抽出部１３による抽出処理に利用された算出結果である。Ｓｃｏｒｅは、例えば、ＤＳ（第１の値）、ＬＳ（第４の値）、ＷＬＳ（第５の値）、ＲＡＳ（画像にフレームインする頻度）等である。

「Ｇｒａｐｈ」は、各対象人物が各カメラ１００に撮影された状況を示すグラフである。図中の「ＣａｍｅｒａＩＤ」よりも右側の領域においては、グラフで、各対象人物が複数のカメラ（図の場合、カメラＩＤ１乃至４）各々に撮影された時間帯を示している。図中のアイコンＢで撮影された時間帯の任意の位置を指定すると、図示するように、指定された時点から撮影画像を再生する（画像Ｃ）。その他、指定された時点の静止画像を表示してもよい。図中の「ＣａｍｅｒａＩＤ」よりも左側の領域においては、棒グラフで、各対象人物が複数のカメラ（図の場合、カメラＩＤ１乃至４）各々に撮影されたトータル時間を示している。

次に、図７のフローチャートを用いて、本実施形態の処理装置１０の処理の流れの一例を説明する。

人物検出工程Ｓ１０では、人物検出部１１は、対象エリアを撮影するカメラ１００で生成された画像から人物を検出する。

算出工程Ｓ２０では、算出部１２は、画像を解析し、人物毎に所定の値を算出する。例えば、算出部１２は、「対象エリアにおける存続時間」、「対象エリア内での出現位置の偏りの程度」、「対象エリアにおける存続時間と対象エリア内での出現位置の偏りの程度を統合した値（第１の値）」、「画像にフレームインする頻度」、「第１の値と画像にフレームインする頻度を統合した値（第４の値）」、「第４の値を補正した値」の中の少なくとも一部を算出する。

抽出工程Ｓ３０では、対象人物抽出部１３は、算出部１２による算出結果が所定の条件を満たす人物である対象人物を抽出する。

以上、説明した本実施形態の処理装置１０によれば、対象エリアをうろついている人物を高精度に抽出することができる。本実施形態の処理装置１０によれば、対象エリアで待ち合わせをしている人物や対象エリアを単に通過する人物等を抽出する不都合を軽減して、対象エリアをうろついている人物を抽出することができる。

以下、参考形態の例を付記する。
１． 対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段と、
前記画像を解析し、前記人物毎に、前記対象エリアにおける存続時間、及び、前記対象エリア内での出現位置の偏りの程度を算出する算出手段と、
前記算出手段による算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段と、
を有する処理装置。
２． １に記載の処理装置において、
前記算出手段は、前記存続時間及び前記偏りの程度に基づき、前記対象エリアでの挙動を示す第１の値を算出する処理装置。
３． １又は２に記載の処理装置において、
前記算出手段は、複数の前記カメラ各々で撮影された頻度を示す第２の値に基づき、前記偏りの程度を算出する処理装置。
４． １から３のいずれかに記載の処理装置において、
前記算出手段は、前記カメラで生成された前記画像内の複数の小エリア各々に存在する頻度を示す第３の値に基づき、前記偏りの程度を算出する処理装置。
５． ４に記載の処理装置において、
前記算出手段は、複数の前記カメラ各々で撮影された頻度を示す第２の値及び前記第３の値の両方に基づき、前記偏りの程度を算出する処理装置。
６． １から５のいずれかに記載の処理装置において、
前記算出手段は、前記人物毎に、前記画像にフレームインする頻度を算出する処理装置。
７． ６に記載の処理装置において、
前記算出手段は、前記人物毎に、前記存続時間及び前記偏りの程度に基づき算出される前記対象エリアでの挙動を示す第１の値、及び、前記画像にフレームインする頻度の両方に基づき、前記対象エリアでの挙動を示す第４の値を算出する処理装置。
８． ７に記載の処理装置において、
前記算出手段は、前記人物毎に、前記第４の値を、前記対象エリアに出現した回数で補正した第５の値を算出する処理装置。
９． １から５のいずれかに記載の処理装置において、
前記対象人物抽出手段は、前記存続時間及び前記偏りの程度に基づき算出される前記対象エリアでの挙動を示す第１の値が所定条件を満たす人物を前記対象人物として抽出する処理装置。
１０． ７に記載の処理装置において、
前記対象人物抽出手段は、前記第４の値が所定条件を満たす人物を前記対象人物として抽出する処理装置。
１１． ８に記載の処理装置において、
前記対象人物抽出手段は、前記第５の値が所定条件を満たす人物を前記対象人物として抽出する処理装置。
１２． 対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段と、
前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出手段と、
前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段と、
を有する処理装置。
１３． コンピュータが、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出工程と、
前記画像を解析し、前記人物毎に、前記対象エリアにおける存続時間、及び、前記対象エリア内での出現位置の偏りの程度を算出する算出工程と、
前記算出工程での算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出工程と、
を実行する処理方法。
１４． コンピュータを、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段、
前記画像を解析し、前記人物毎に、前記対象エリアにおける存続時間、及び、前記対象エリア内での出現位置の偏りの程度を算出する算出手段、
前記算出手段による算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段、
として機能させるプログラム。
１５． コンピュータが、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出工程と、
前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出工程と、
前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出工程と、
を実行する処理方法。
１６． コンピュータを、
対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段、
前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出手段、
前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段、
として機能させるプログラム。

この出願は、２０１８年１月２９日に出願された日本出願特願２０１８－０１２２９６号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (16)

1. 対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段と、
   前記画像を解析し、前記人物毎に、前記対象エリア内での出現位置のばらつきの程度を算出する算出手段と、
   前記算出手段による算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段と、
   を有する処理装置。
2. 請求項１に記載の処理装置において、
   前記算出手段は、前記ばらつきの程度に基づき、前記対象エリアでの挙動を示す第１の値を算出する処理装置。
3. 請求項１又は２に記載の処理装置において、
   前記算出手段は、複数の前記カメラ各々で撮影された頻度を示す第２の値に基づき、前記ばらつきの程度を算出する処理装置。
4. 請求項１から３のいずれか１項に記載の処理装置において、
   前記算出手段は、前記カメラで生成された前記画像内の複数の小エリア各々に存在する頻度を示す第３の値に基づき、前記ばらつきの程度を算出する処理装置。
5. 請求項４に記載の処理装置において、
   前記算出手段は、複数の前記カメラ各々で撮影された頻度を示す第２の値及び前記第３の値の両方に基づき、前記ばらつきの程度を算出する処理装置。
6. 請求項１から５のいずれか１項に記載の処理装置において、
   前記算出手段は、前記人物毎に、前記画像にフレームインする頻度を算出する処理装置。
7. 請求項６に記載の処理装置において、
   前記算出手段は、前記人物毎に、前記ばらつきの程度に基づき算出される前記対象エリアでの挙動を示す第１の値、及び、前記画像にフレームインする頻度の両方に基づき、前記対象エリアでの挙動を示す第４の値を算出する処理装置。
8. 請求項７に記載の処理装置において、
   前記算出手段は、前記人物毎に、前記第４の値を、前記対象エリアに出現した回数で補正した第５の値を算出する処理装置。
9. 請求項１から５のいずれか１項に記載の処理装置において、
   前記対象人物抽出手段は、前記ばらつきの程度に基づき算出される前記対象エリアでの挙動を示す第１の値が所定条件を満たす人物を前記対象人物として抽出する処理装置。
10. 請求項７に記載の処理装置において、
    前記対象人物抽出手段は、前記第４の値が所定条件を満たす人物を前記対象人物として抽出する処理装置。
11. 請求項８に記載の処理装置において、
    前記対象人物抽出手段は、前記第５の値が所定条件を満たす人物を前記対象人物として抽出する処理装置。
12. 対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段と、
    前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出手段と、
    前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段と、
    を有する処理装置。
13. コンピュータが、
    対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出工程と、
    前記画像を解析し、前記人物毎に、前記対象エリア内での出現位置のばらつきの程度を算出する算出工程と、
    前記算出工程での算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出工程と、
    を実行する処理方法。
14. コンピュータを、
    対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段、
    前記画像を解析し、前記人物毎に、前記対象エリア内での出現位置のばらつきの程度を算出する算出手段、
    前記算出手段による算出結果が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段、
    として機能させるプログラム。
15. コンピュータが、
    対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出工程と、
    前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出工程と、
    前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出工程と、
    を実行する処理方法。
16. コンピュータを、
    対象エリアを撮影するカメラで生成された画像から人物を検出する人物検出手段、
    前記画像を解析し、前記人物毎に、前記画像にフレームインする頻度を算出する算出手段、
    前記画像にフレームインする頻度が所定の条件を満たす人物である対象人物を抽出する対象人物抽出手段、
    として機能させるプログラム。

Images