JP6776719B2 - 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法 - Google Patents

移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法 Download PDF

Info

Publication number
JP6776719B2
JP6776719B2 JP2016160197A JP2016160197A JP6776719B2 JP 6776719 B2 JP6776719 B2 JP 6776719B2 JP 2016160197 A JP2016160197 A JP 2016160197A JP 2016160197 A JP2016160197 A JP 2016160197A JP 6776719 B2 JP6776719 B2 JP 6776719B2
Authority
JP
Japan
Prior art keywords
image
captured
region
color
image region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016160197A
Other languages
English (en)
Other versions
JP2018028784A (ja
Inventor
健太郎 辻
健太郎 辻
瀬川　英吾
英吾 瀬川
明燮 鄭
明燮 鄭
松田　裕司
裕司 松田
信浩 宮▲崎▼
信浩 宮▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016160197A priority Critical patent/JP6776719B2/ja
Priority to US15/647,988 priority patent/US20180053314A1/en
Priority to CN201710638496.9A priority patent/CN107767397A/zh
Publication of JP2018028784A publication Critical patent/JP2018028784A/ja
Application granted granted Critical
Publication of JP6776719B2 publication Critical patent/JP6776719B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法に関する。
従来、監視カメラで撮像された映像を用いて人物を追跡する技術が知られている。
例えば、映像に含まれる人物の属する領域である人物領域を検出し、人物領域の情報を記述した人物領域情報を生成する人物追跡装置が提案されている。この人物追跡装置は、追跡対象者に同伴する同伴者の中から、特異的な特徴量を有する人物である特徴人物を選出し、特徴人物の追跡結果である特徴人物追跡結果を算出する。そして、人物追跡装置は、特徴人物追跡結果と、追跡対象者と特徴人物との相対位置を表す追跡対象者相対位置情報とから、追跡対象者の追跡結果を算出する。
国際公開第２０１２／１３１８１６号
対象物が混雑している状況を撮像する場合、複数の対象物を含む画像が撮像装置によって撮像される。例えば、対象物の一例として人物を追跡する場合、混雑による画像上での人物同士の重なりにより各人物の一部が隠れてしまい、各人物から得られる特徴量が少なくなるため、各人物の特徴量が類似し易くなる。そのため、追跡対象の人物を特定することが困難になり、追跡対象の人物を追跡することができない。
本発明は、複数の撮像装置によって撮像された画像間での対象物の追跡を行う場合であって、複数の対象物が画像に含まれている場合に、画像から対象物を追跡することを目的とする。
本発明は、一つの態様として、第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析する。そして、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出する。そして、前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出する。
一つの側面として、複数の対象物が画像に含まれている場合に、画像から対象物を追跡することができる、という効果を有する。
撮像画像による人物の追跡方法の一例を説明するための説明図である。 撮像画像から抽出される特徴情報の一例を示す図である。 混雑した環境における撮像画像の一例を示す図である。 混雑した環境における人物の誤対応の一例を示す図である。 実施形態に係る移動体群追跡システムの概略構成を示す機能ブロック図である。 本実施形態に係る移動体群追跡システムの処理の概要を説明するための説明図である。 色特徴の抽出方法の一例を示す図である。 色特徴情報記憶部に記憶されるデータの一例を示す図である。 複数フレームの撮像画像における各小領域のフローの求め方の一例を示す図である。 複数フレームの撮像画像における各小領域のフローに基づく特徴抽出範囲の求め方の一例を示す図である。 読み込むフレーム数を少なくした場合の特徴抽出範囲の設定を説明するための説明図である。 異なる撮像装置ＩＤの撮像画像間の色特徴の類似評価を説明するための説明図である。 対応付け色特徴の大きさが異なる場合の、対応付け色特徴のペアに関する類似度の算出方法の一例を示す図である。 対応付け色特徴の領域の一部から算出された類似度を併せて利用する場合の一例を示す図である。 人の群衆に含まれる人の人数及び人の群衆の移動時間をまとめた表の一例を示す図である。 実施形態に係る移動体群追跡装置として機能するコンピュータの概略構成を示すブロック図である。 実施形態における移動体群追跡処理の一例を示すフローチャートである。
＜撮像画像に基づく対象物の追跡＞
撮像画像に基づいて対象物の一例である人物を追跡し、人物の移動傾向を取得する場合について考える。この場合、複数の撮像装置によって撮像された撮像画像から人物を検出し、各撮像画像から検出された人物同士を対応付け、対応付け結果に応じて各人物の移動経路を生成することが考えられる。
例えば、図１に示すように、複数の撮像装置として、撮像装置１Ａ、撮像装置１Ｂ、及び撮像装置１Ｃがある場合を例に考える。図１に示す例では、撮像装置１Ａによって撮像された撮像画像に人物１Ｙが映っており、撮像装置１Ｂによって撮像された撮像画像に人物１Ｘが映っており、撮像装置１Ｃによって撮像された撮像画像に人物１Ｚが映っている。
撮像画像が取得されると、図２に示す表２Ａのように、各撮像画像から人物を表す領域が検出され、人物の服の色、人物の性別、及び人物の体型等が特徴情報として抽出される。なお、性別、体型等の特徴情報は、これらの情報を識別するために予め生成された識別モデル等を用いて抽出することができる。また、検出された人物に対しては、撮像画像が撮像された時刻に応じて出現時刻が付与される。そして、抽出された各特徴情報が比較され、特徴情報が類似する場合には、同一人物であると判定される。上記図１に示す例では、撮像装置１Ａによって撮像された撮像画像の人物１Ｙと、撮像装置１Ｂによって撮像された撮像画像の人物１Ｘとが同一人物であると判定され、撮像装置１Ｂの位置から撮像装置１Ａの位置への移動経路が、人物の移動傾向として取得される。
なお、追跡対象の人物から抽出できる特徴情報が少ない場合には、追跡対象人物の周囲の人物の中から特徴的な人物を検出し、特徴的な人物からの相対位置に応じて追跡対象人物の対応付けを行うことにより、撮像装置間で同一人物を対応付けることが考えられる。
ここで、非常に混雑した環境下で、追跡対象人物の周囲に存在する特徴的な人物を用いて人物の対応付けを行う場合について考える。図３に示すように、混雑した環境では人物の特徴同士が類似しやすい。例えば、図３に示す撮像画像３Ａでは、人物３ａと人物３ｂとではズボンの色が異なるにも関わらず、混雑した状況下ではズボンの部分が隠れてしまう。
従って、非常に混雑した環境下では、図４に示すように、撮像装置Ａによって撮像された撮像画像４Ａにおいて、追跡対象人物４ａの周囲に存在する特徴的な人物４Ｘの特徴が隠れてしまう。そのため、撮像装置Ｂによって撮像された撮像画像４Ｂにおいては、人物４Ｙを特徴的な人物とする誤対応が発生してしまい、相対位置から推定される追跡対象人物も誤った人物４ｂとして対応付けられてしまう。
しかし、非常に混雑した環境下では、追い抜きが困難なため、移動による人物の位置関係の変化は少ないと考えられる。そのため、人の群衆に含まれる人の人数、人の群衆の移動経路、及び人の群衆の移動時間等から、人の移動傾向を取得する場合、各人物を個別に追跡する必要性は低い。
そこで、本実施形態の移動体群追跡システムでは、各撮像装置によって撮像された撮像画像間で各人物の特徴を比較するのではなく、撮像画像上で近接した複数の人物の色情報をまとめて比較し、対応付けに利用する。これにより、対応付けに利用される特徴が増加し、人の群衆として対応付けが行われるため、個人の対応付けができない場合であっても、人の移動傾向の取得が可能となる。
以下、図面を参照して、本発明に関する実施形態の一例を詳細に説明する。
＜実施形態＞
図５に示すように、実施形態に係る移動体群追跡システム１００は、複数の撮像装置１０と移動体群追跡装置２０とを含む。
撮像装置１０は、移動体群の一例としての人の群衆を含む撮像画像を撮像する。なお、複数の撮像装置１０の各々にはＩＤが付与されている。また、撮像装置１０によって撮像された撮像画像には、撮像装置ＩＤ及びフレームを表す撮像時刻が付与される。
移動体群追跡装置２０は、複数の撮像装置１０によって撮像された撮像画像をそれぞれ解析して、人の群衆の移動軌跡及び人の群衆に含まれる人の人数を特定する。移動体群追跡装置２０は、図５に示すように、色特徴情報抽出部２２と、色特徴情報記憶部２４と、特徴抽出範囲選択部２６と、色特徴生成部２８と、色特徴照合部３０と、追跡結果生成部３２と、表示部３４とを備えている。特徴抽出範囲選択部２６は、本発明の抽出部の一例であり、色特徴照合部３０及び追跡結果生成部３２は、本発明の検出部の一例である。
本実施形態に係る移動体群追跡装置２０では、図６に示すように、撮像装置Ａによって撮像された撮像画像６Ａから略同一方向に移動する人の群衆を示す領域６ａを抽出する。領域６ａは、撮像画像６Ａの複数フレームに渡って略同一方向に移動し、かつ色の配置に変化が少ない領域である。また、移動体群追跡装置２０は、別の撮像装置Ｂによって撮像された撮像画像６Ｂからも、略同一方向に移動する人の群衆を示す領域６ｂを抽出する。
移動体群追跡装置２０は、領域６ａと領域６ｂとを比較して類似度が高い領域を、同一の人の群衆として判定する。そして、同一と判定された各撮像画像の撮像時刻と、各撮像装置の位置関係から、人の群衆の移動傾向が抽出される。
このように、本実施形態に係る移動体群追跡装置２０は、撮像画像上で略同一方向に移動する領域の範囲内の色情報を撮像装置間で比較することで、対応付けに利用する特徴を増やす。これにより、混雑した環境においても複数の撮像装置間での人の群衆の対応付けを実現する。
色特徴情報抽出部２２は、複数の撮像装置１０によって撮像された撮像画像を取得する。そして、色特徴情報抽出部２２は、取得した撮像画像を、撮像装置ＩＤ及びフレームを表す撮像時刻と対応付ける。また、色特徴情報抽出部２２は、各撮像装置ＩＤの各フレームの撮像画像から色特徴を抽出し、色特徴情報記憶部２４に格納する。
図７に、色特徴の抽出方法の一例を示す。図７には、撮像装置Ａによって撮像された特定フレームの撮像画像７Ａと、撮像装置Ｂによって撮像された特定フレームの撮像画像７Ｂとが示されている。色特徴情報抽出部２２は、撮像画像７Ａから色特徴７ａを抽出し、撮像画像７Ｂから色特徴７ｂを抽出する。
具体的には、色特徴情報抽出部２２は、各フレームに対応する撮像画像の全体を、所定の大きさのブロック（例えば３×３ピクセル）に分割する。次に、色特徴情報抽出部２２は、上記図７に示すように、各ブロック内の各ピクセルのＲＧＢ毎の色成分の平均を算出し色情報とする。そして、色特徴情報抽出部２２は、各ブロックに対応する色情報を、その色情報を算出したフレームに対応付けられた撮像装置ＩＤ及び撮像時刻と対応付けて、色特徴情報記憶部２４に格納する。このように、画像情報をそのまま利用するのではなく、所定の大きさのブロック単位で処理することで、人の微小な位置ずれや色の変化などに対してロバストに処理することが可能となる。
色特徴情報記憶部２４には、色特徴情報抽出部２２によって抽出された色特徴が、撮像装置ＩＤ及びフレームを表す撮像時刻と対応付けられて、色特徴情報テーブルに記憶される。図８に、色特徴情報記憶部２４に記憶される色特徴情報テーブルの一例を示す。図８に示す色特徴情報テーブル８Ａには、色特徴情報としてのサイズ幅Ｗとサイズ高さＨと色特徴とが、撮像装置ＩＤ及びフレームを表す撮像時刻に対応付けられて記憶される。色特徴としては、各ブロック内の色情報（Ｒ，Ｇ，Ｂ）がブロックの左上から順に書き込まれたものが記憶される。
特徴抽出範囲選択部２６は、各撮像装置ＩＤの各々について、撮像装置ＩＤが同一である各フレームの撮像画像の各々に対し、色特徴情報テーブルの色特徴に基づいて、特徴抽出範囲を抽出する。特徴抽出範囲は、配色パターンの一例である色特徴が所定の類似範囲を満たす領域であり、かつ複数フレームに渡って対応する方向に移動する領域である。
具体的には、まず、特徴抽出範囲選択部２６は、予め設定した時間内のフレーム数を設定し、撮像装置ＩＤが同一である各フレームの撮像画像の色特徴を色特徴情報記憶部２４から読み込む。そして、特徴抽出範囲選択部２６は、各フレームの撮像画像の色特徴を比較することにより特徴抽出範囲を抽出する。なお、異なる撮像装置間で画像の解像度が異なる場合等には、色特徴情報記憶部２４の色特徴情報テーブルの色特徴のサイズ幅Ｗ及びサイズ高さＨを解像度に応じて設定し、撮像画像の色特徴を読み込む。
本実施形態では、撮像装置ＩＤが同一である各フレームの撮像画像から、色特徴情報が同様の配置で存在する領域で、かつ一定の方向に移動している領域を特徴抽出範囲として抽出する。例えば、特徴抽出範囲選択部２６は、特定フレームの撮像画像において各小領域のフローを求め、フローが略同じ方向を示している各小領域の範囲をまとめる。そして、特徴抽出範囲選択部２６は、フローが略同じ方向を示している範囲内の色特徴と類似する色特徴を示す範囲が、別のフレームの撮像画像にも存在するか否かを調査する。
図９に、各小領域のフローの求め方の一例を示す。また、図１０に、各小領域のフローに基づく特徴抽出範囲の求め方の一例を示す。
例えば、特徴抽出範囲選択部２６は、図９に示すように、フローを求めたいフレーム１の撮像画像９Ｘに対し所定の小領域９ｘを設定する（例えば、３×３のブロック）。次に、特徴抽出範囲選択部２６は、次のフレームであるフレーム２の撮像画像９Ｙに対しても３×３のブロックである小領域９ｙを走査するように順に設定する。具体的には、特徴抽出範囲選択部２６は、フレーム２の撮像画像９Ｙに対する小領域９ｙの位置を変化させ、フレーム１の小領域９ｘとフレーム２の各小領域９ｙとの間で、小領域間の色の種類及び色の配置の類似度を表す色特徴に関する類似度を算出する。
色特徴に関する類似度は、例えば以下の方法によって算出される。例えば、フレーム１の小領域のブロックの色情報を（Ｒ１，Ｂ１，Ｇ１）、フレーム２の小領域のブロックの色情報を（Ｒ２，Ｂ２，Ｇ２）とすると、以下の式（１）又は式（２）に従って、小領域内の対応するブロック間の色の類似度を計算することができる。式（１）は、色情報（Ｒ１，Ｂ１，Ｇ１）と色情報（Ｒ２，Ｂ２，Ｇ２）との相関値を計算するための計算式であり、式（２）は、色情報（Ｒ１，Ｂ１，Ｇ１）と色情報（Ｒ２，Ｂ２，Ｇ２）との距離を計算するための計算式である。色特徴に関する類似度は、以下の式（１）又は式（２）に従って小領域間の各ブロックについて計算されたブロック間の色の類似度が、小領域の範囲の全体で平均された値として算出される。
各フレームの撮像画像に含まれる各小領域に対して、色特徴に関する類似度を算出することで、各小領域が次のフレームでどの位置に動いたのかを表すフローを抽出することができる。各フローは、移動元の小領域の位置から移動先の小領域の位置へのベクトルとして表現される。
そして、特徴抽出範囲選択部２６は、図９に示すように、色特徴に関する類似度が算出されたフレーム２の各小領域９ｙのうち類似度の値が最も高い小領域９ｚを、フレーム１の小領域９ｘに対応する領域として設定する。小領域９ａから、類似度の値が最も高い小領域９ｃへのベクトルが、フレーム１の小領域９ｘに対応するフローとなる。特徴抽出範囲選択部２６は、各フレームの撮像画像内の全ての小領域に対してフローを算出する。このように、各小領域のフローは、フレーム間で類似する色特徴が存在する位置を求めることで算出することができる。
次に、特徴抽出範囲選択部２６は、各小領域のフローの各々であるフロー群から、類似しているフローをまとめる。フローをまとめる処理は、各フレームにおいて行われる。
例えば、特徴抽出範囲選択部２６は、各フレームの撮像画像について、対象のフローを１つ選択し、所定のラベルを付与する。そして、特徴抽出範囲選択部２６は、対象のフローと、対象のフローの周囲にあるフローとの間で、フローの類似度を求める。フローの類似度としては、例えば、フローを表すベクトル間の相関値や、フローを表すベクトル間の距離の値などを用いることができる。対象のフローの周囲にあるフローは、予め設定された範囲が設定される。
そして、特徴抽出範囲選択部２６は、フローの類似度が所定の閾値より高い場合に、対象のフローの周囲にあるフローに対し、対象のフローと同じラベルを付与する。一方、特徴抽出範囲選択部２６は、フローの類似度が所定の閾値以下の場合には、ラベルを付与しない。
特徴抽出範囲選択部２６は、各フレームの撮像画像について、注目する対象のフローを変えてラベルの付与の処理を繰り返し行い、全てのフローにラベル付与の判定を行った後、同じラベルが付与されたフローに対応する小領域同士をまとめる。例えば、特徴抽出範囲選択部２６は、図１０に示すように、フレーム１の撮像画像１０Ｘ内で同じラベルが付与されたフローに対応する小領域同士をまとめ、まとめ領域１０ｘとして生成する。
そして、特徴抽出範囲選択部２６は、各フレームの撮像画像について、当該撮像画像において同じラベルが付与されたフローに対応する小領域同士をまとめたまとめ領域と類似するまとめ領域が、別のフレームの撮像画像に存在するか確認する。そして、特徴抽出範囲選択部２６は、複数フレームに渡って類似するまとめ領域を、特徴抽出範囲として抽出する。
具体的には、特徴抽出範囲選択部２６は、各フレームの撮像画像について、当該撮像画像のまとめ領域と、別のフレームの撮像画像のまとめ領域との間の色特徴に関する類似度を算出する。まとめ領域における色特徴に関する類似度の算出方法として、例えば、特徴抽出範囲選択部２６は、まず、異なるフレームの撮像画像のまとめ領域同士を重ねて、重ねた範囲における色特徴に関する類似度を求める。そして、特徴抽出範囲選択部２６は、色特徴に関する類似度が最も高い値をとる位置における重なった領域を、共通の領域である特徴抽出範囲として抽出する。
例えば、特徴抽出範囲選択部２６は、図１０に示すように、フレーム１の撮像画像１０Ａの領域１０ａとフレーム２の撮像画像１０Ｂの領域１０ｂとの位置をずらしながら、領域１０ａの色特徴と領域１０ｂの色特徴との間について、色特徴に関する類似度を求める。そして、特徴抽出範囲選択部２６は、色特徴に関する類似度が最も高い値をとる位置における重なった領域を、共通の領域として抽出する。
なお、１つのフレームの撮像画像内には、まとめ領域が複数存在する場合がある。その場合には、特徴抽出範囲選択部２６は、異なる撮像画像のまとめ領域のペアの各々について、色特徴に関する類似度を算出する。そして、色特徴に関する類似度が最も高い値をとるペアにおける重なった領域を、共通の領域として抽出する。
特徴抽出範囲選択部２６は、まとめ領域の対応付けを、全てのフレームに対して行うことで、全てのフレームに共通する領域を抽出し、共通する領域を特徴抽出範囲として抽出する。このようにして抽出された特徴抽出範囲は、ある特定方向に移動している人の群衆として考えることができる。
色特徴生成部２８は、特徴抽出範囲選択部２６によって選択された特徴抽出範囲に対応する色特徴を、色特徴情報記憶部２４の色特徴情報テーブルから読み込み、その色特徴が異なる撮像装置ＩＤの撮像画像間の対応付けに適しているか否かを判定する。
そして、色特徴生成部２８は、特徴抽出範囲選択部２６によって選択された特徴抽出範囲に対応する色特徴が対応付けに適していないと判定した場合には、特徴抽出範囲を広げるように、特徴抽出範囲選択部２６に対して信号を出力する。一方、色特徴生成部２８は、特徴抽出範囲選択部２６によって選択された特徴抽出範囲に対応する色特徴が対応付けに適していると判定した場合には、選択された特徴抽出範囲に対応する色特徴を、対応付け色特徴として色特徴照合部３０へ出力する。対応付け色特徴は、後述する色特徴照合部３０において、異なる撮像装置ＩＤの撮像画像間の対応付けに用いられる。
特徴抽出範囲に対応する色特徴が、異なる撮像装置ＩＤの撮像画像間の対応付けに適しているか否かの判定方法の一例としては、特徴抽出範囲に含まれる色特徴の分散を用いる方法が考えられる。例えば、特徴抽出範囲に含まれる色特徴の分散の値が一定値以下である場合、抽出された特徴抽出範囲に含まれる特徴が少なく、対応付けに適していないと考えられる。そのため、色特徴生成部２８は、特徴抽出範囲選択部２６によって選択された特徴抽出範囲に含まれる色特徴の分散の値が一定値以下である場合に、特徴抽出範囲が異なる撮像装置ＩＤの撮像画像間の対応付けに適していないと判定する。
また、特徴抽出範囲に対応する色特徴が、異なる撮像装置ＩＤの撮像画像間の対応付けに適しているか否かの判定方法の他の例としては、所定の時間内において各フレームに共通する領域として抽出された、複数の特徴抽出範囲内の色特徴同士を比較する方法がある。この方法では、特定の特徴抽出範囲内の色特徴が、別の特徴抽出範囲内の色特徴と類似しているか否かを判定する。特定の特徴抽出範囲内の色特徴が別の特徴抽出範囲内の色特徴と類似している場合、特定の特徴抽出範囲内の色特徴は様々な撮像画像に存在していることがわかる。そのため、当該特定の特徴抽出範囲内の色特徴を利用した対応付けは、誤った対応付けを引き起こす可能性が高いと考えられる。そのため、色特徴生成部２８は、選択された特徴抽出範囲の組み合わせの各々について、組み合わせにおける特徴抽出範囲に含まれる色特徴に関する類似度が一定値以上である場合に、特徴抽出範囲が対応付けに適していないと判定する。
そして、特徴抽出範囲選択部２６によって選択された特徴抽出範囲が対応付けに適していないと判定された場合、色特徴生成部２８は、より大きい特徴抽出範囲を設定するように特徴抽出範囲選択部２６へ信号を出力する。
特徴抽出範囲選択部２６は、色特徴生成部２８から出力された信号を取得すると、前回の処理において設定した特徴抽出範囲より大きい特徴抽出範囲の設定を行う。
例えば、より大きい特徴抽出範囲を設定する処理の一例として、特徴抽出範囲選択部２６は、色特徴情報記憶部２４の色特徴情報テーブルから読み込むフレーム数を少なくする。図１１に、読み込むフレーム数を少なくした場合の特徴抽出範囲の設定を説明するための図を示す。
図１１の左側に示すように、フレーム１の撮像画像１１Ｘの特徴抽出範囲１１ｘ、フレーム２の撮像画像１１Ｙの特徴抽出範囲１１ｙ、及びフレーム３の撮像画像１１Ｚの特徴抽出範囲１１ｚが設定されている場合を例に考える。色特徴生成部２８によって特徴抽出範囲が異なる撮像装置ＩＤの撮像画像間の対応付けに適していないと判定された場合、図１１の右側に示すように、読み込むフレームをフレーム１の撮像画像１１Ｘ及びフレーム２の撮像画像１１Ｙに設定する。読み込むフレーム数を少なくするほど、フレーム間で画像の外に移動する人が少なくなるため、全てのフレームに共通して存在する人が多くなり、結果として特徴抽出範囲は、より広い範囲を選択することが可能となる。そのため、図１１に示すように、例えば３つのフレーム数を２つのフレーム数に少なくすることで、より大きい特徴抽出範囲である１１ｕ及び１１ｗが設定される。このように、本実施形態では、撮像画像に写る複数の人物のうち、一人の特徴量を抽出するのではなく、複数の人物の特徴量をまとめて抽出するため、有効な特徴量が得られるまで、特徴抽出範囲の再設定が可能となる。
色特徴照合部３０は、色特徴生成部２８によって得られた対応付け色特徴を、異なる撮像装置ＩＤの撮像画像間で比較し、異なる撮像装置ＩＤの撮像画像間の色特徴の類似評価に応じて、異なる撮像画像の画像領域に共通する人の群衆が含まれることを検出する。
図１２に、異なる撮像装置ＩＤの撮像画像間の色特徴の類似評価を説明するための図を示す。例えば、図１２に示すように、撮像装置Ａによって撮像された撮像画像の対応付け色特徴１２Ａと、撮像装置Ｂによって撮像された撮像画像の対応付け色特徴１２Ｂとの間の色特徴の類似評価について考える。色特徴照合部３０は、対応付け色特徴１２Ａ及び対応付け色特徴１２Ｂのうち、ブロック１２ａとブロック１２ｂとの間の色の類似度を算出する。色特徴照合部３０は、対応付け色特徴１２Ａ及び対応付け色特徴１２Ｂのうちの対応する位置に存在する全てのブロックのペアの各々について、ブロック間の色の類似度を算出する。このとき、色特徴照合部３０は、例えば、上記式（１）又は上記式（２）に示すように各ブロックの色の相関値や、ＲＧＢ空間上での２つの色の距離などを色の類似度として算出する。
そして、色特徴照合部３０は、対応付け色特徴内の各位置に対して算出された色の類似度を対応付け色特徴の範囲の全体で平均し、得られた平均を、対応付け色特徴１２Ａと対応付け色特徴１２Ｂとの間の対応付け色特徴の類似度とする。そして、色特徴照合部３０は、対応付け色特徴の類似度が所定の閾値以上である場合には、対応付け色特徴１２Ａと対応付け色特徴１２Ｂとの対応付け色特徴のペアは同一であると判定する。
なお、色特徴照合部３０は、特定の対応付け色特徴との間の対応付け色特徴の類似度が、所定の閾値以上である他の対応付け色特徴が複数存在する場合には、対応付け色特徴の類似度の値が最も大きい他の対応付け色特徴を選択する。そして、色特徴照合部３０は、特定の対応付け色特徴と選択された他の対応付け色特徴とのペアは同一であると判定する。
ただし、本実施形態の手法では、各対応付け色特徴の大きさが、各撮像装置ＩＤの撮像画像間で異なる場合がある。その場合には、色特徴照合部３０は、異なる撮像装置ＩＤの撮像画像から得られた対応付け色特徴のペアのうち、大きさが小さい方の対応付け色特徴を、大きさが大きい方の対応付け色特徴内で移動させながら、対応付け色特徴の類似度を求める。そして、色特徴照合部３０は、求めた対応付け色特徴の類似度のうち最大の値を、当該ペア間における対応付け色特徴の類似度とする。例えば、図１３に示すように、対応付け色特徴１３Ａの大きさが対応付け色特徴１３Ｂよりも小さい場合、対応付け色特徴１３Ａを対応付け色特徴１３Ｂ内で移動させながら対応付け色特徴の類似度を求める。
また、本実施形態では複数の人物をまとめて比較しているが、一方の撮像装置によって撮像された撮像画像では存在していた人物が、もう一方の撮像装置によって撮像された撮像画像では見切れてしまい存在しない場合がある。また、撮像画像からのフローの抽出誤りなどにより特徴抽出範囲が撮像装置間で異なる範囲となる場合も考えられる。
そこで、例えば、図１４に示すように、異なる撮像装置ＩＤから得られた、対応付け色特徴１４Ａと対応付け色特徴１４Ｂとのペアについて、対応付け色特徴の領域の一部から算出された類似度を併せて利用してもよい。
ただし、対応付け色特徴の領域の一部から算出された類似度を利用する場合、より大きな範囲に対応する対応付け色特徴での比較結果の方が、小さい範囲に対応する対応付け色特徴での比較結果よりも信頼性が高い。そのため、対応付け色特徴の一部の領域が大きいほど、対応付け色特徴の類似度が大きくなるように重み付けを行う。
例えば、図１４に示す例において、１４Ｘにおける類似度が８０であり１４Ｙにおける類似度が６０である場合、類似度については、１４Ｘの類似度の方が１４Ｙの類似度よりも大きい。しかし、重なり領域の大きさは、１４Ｙの重なり領域の方が１４Ｘの重なり領域よりも大きいため、１４Ｙの方が１４Ｘよりも信頼性が高い。そのため、重なり領域の大きさに応じて、重なり領域の大きさが大きいほど対応付け色特徴の類似度が大きくなるような重み付けを行う。
従って、色特徴照合部３０は、図１２に示すように対応付け色特徴同士を完全に重ならせて算出した対応付け色特徴の類似度と、図１４に示すように対応付け色特徴同士を一部重ならせて算出した対応付け色特徴の類似度とを、重なり領域に応じて重み付けを行う。そして、色特徴照合部３０は、重み付けによって算出された対応付け色特徴の類似度を、対応付け色特徴の類似度とする。
追跡結果生成部３２は、色特徴照合部３０によって、異なる撮像装置ＩＤの撮像画像間で共通する人の群衆が含まれる画像領域が検出された場合に、画像領域の大きさを重みとして、人の群衆に含まれる移動人数を算出する。人の群衆が含まれる画像領域は、異なる撮像装置ＩＤの各フレームの撮像画像間で検出される。そのため、例えば、撮像装置Ａにより時刻ｔに撮像された撮像画像と、撮像装置Ｂにより時刻ｔ＋１０に撮像された撮像画像との間で同一の人の群衆が含まれる画像領域が検出された場合、１０秒間で撮像装置Ａから撮像装置Ｂまで人の群衆が移動したことがわかる。
追跡結果生成部３２は、人の群衆が含まれることを検出した場合に、人の群衆が含まれることを検出した画像領域の検出結果に応じて、人の群衆の移動軌跡を特定する。具体的には、追跡結果生成部３２は、対応付け色特徴が対応付けられた撮像画像の撮像装置ＩＤのペアに基づき、撮像装置ＩＤのペアに対応する撮像装置のペアの位置情報から、人の群衆の移動軌跡を特定する。
また、追跡結果生成部３２は、異なる撮像装置ＩＤ間における画像領域の抽出結果に応じて、異なる撮像装置間における人の群衆の移動時間を算出する。異なる撮像装置間における人の群衆の移動時間は、対応付け色特徴が対応付けられた撮像画像のペアの撮像時刻の差分に応じて求められる。
例えば、追跡結果生成部３２は、図１５に示すように、人の群衆の移動元と人の群衆の移動先との撮像装置ＩＤのペア毎に、人の群衆の移動量及び人の群衆の移動時間をまとめた表を作成する。図１５に示す表には、移動元の撮像装置ＩＤと移動先の撮像装置ＩＤとのペアの各々について、移動時間毎の人の群衆の移動量が示されている。
図１５に示す表の作成方法としては、まず、追跡結果生成部３２は、移動元の撮像装置ＩＤと移動先の撮像装置ＩＤとのペアの各々について、対応付け色特徴が同一であると判定された撮像画像のペアの撮像時刻の差分に応じて移動時間を算出する。そして、追跡結果生成部３２は、移動時間毎の人の群衆の移動量を算出する。
人の群衆の移動量を算出する場合、対応付け色特徴の領域の大きさが大きいときには、より多くの人物が撮像装置間を移動したことがわかるため、追跡結果生成部３２は、対応付け色特徴の領域の大きさを重みとして利用して、人の群衆に含まれる移動人数を求める。
具体的には、追跡結果生成部３２は、対応付け色特徴が対応付けられた撮像装置ＩＤのペア毎に、例えば、撮像画像内の対応付け色特徴のピクセル数に応じて１ピクセルを１人と換算して人の群衆に含まれる移動人数を算出する。これにより、対応付け色特徴の領域の大きさを重みとして、人の群衆に含まれる移動人数を求めることができる。
そして、追跡結果生成部３２は、図１５に示す表の移動時間に対応する箇所に、移動時間毎に算出された人の群衆に含まれる移動人数を格納する。なお、特定の時間帯毎の人の群衆に含まれる移動人数を求める際には、図１５に示す表を時間帯毎に作成する。
例えば、図１５に示す例では、移動元撮像装置ＩＤ「00001」から移動先撮像装置ＩＤ「00002」への人の群衆に含まれる移動人数として、対応付け色特徴のペア毎に検出結果が累積されて格納される。図１５に示す例では、移動時間０〜９秒までに１０人、移動時間１０〜１９秒までに２０人、移動時間２０〜２９秒までに８０人が移動したことがわかる。
このように、人の群衆についての移動人数及び移動軌跡が時間帯毎に求められることにより、人の群衆に含まれる人物の移動人数及び移動軌跡が推定され、結果として人物の追跡を行うことができる。
表示部３４は、追跡結果生成部３２によって得られた人の群衆の移動人数及び移動軌跡を、結果として表示する。
移動体群追跡装置２０は、例えば、図１６に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、表示装置及び入力装置等の入出力装置５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークinterface（Ｉ／Ｆ）５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
記憶部５３は、Hard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を移動体群追跡装置２０として機能させるための移動体群追跡プログラム６０が記憶されている。移動体群追跡プログラム６０は、色特徴情報抽出プロセス６２と、特徴抽出範囲選択プロセス６３と、色特徴生成プロセス６４と、色特徴照合プロセス６５と、追跡結果生成プロセス６６と、表示プロセス６７を有する。また、記憶部５３は、色特徴情報記憶部２４を構成する情報が記憶される色特徴情報記憶領域６９を有する。
ＣＰＵ５１は、移動体群追跡プログラム６０を記憶部５３から読み出してメモリ５２に展開し、移動体群追跡プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、色特徴情報抽出プロセス６２を実行することで、図６に示す色特徴情報抽出部２２として動作する。また、ＣＰＵ５１は、特徴抽出範囲選択プロセス６３を実行することで、図６に示す特徴抽出範囲選択部２６として動作する。また、ＣＰＵ５１は、色特徴生成プロセス６４を実行することで、図６に示す色特徴生成部２８として動作する。また、ＣＰＵ５１は、色特徴照合プロセス６５を実行することで、図６に示す色特徴照合部３０として動作する。また、ＣＰＵ５１は、追跡結果生成プロセス６６を実行することで、図６に示す追跡結果生成部３２として動作する。また、ＣＰＵ５１は、色特徴情報記憶領域６９から情報を読み出して、色特徴情報記憶部２４をメモリ５２に展開する。これにより、移動体群追跡プログラム６０を実行したコンピュータ５０が、移動体群追跡装置２０として機能することになる。
なお、移動体群追跡プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
次に、実施形態に係る移動体群追跡システム１００の作用について説明する。例えば、移動体群追跡システム１００において、移動体群追跡装置２０が、複数の撮像装置１０によって撮像された撮像画像の各々を取得しているときに、移動体群追跡装置２０において、図１７に示す移動体群追跡処理が実行される。以下、各処理について詳述する。
図１７に示す移動体群追跡処理のステップＳ１００で、色特徴情報抽出部２２は、複数の撮像装置１０によって撮像された各フレームの撮像画像から色特徴を抽出する。
次に、ステップＳ１０２において、色特徴情報抽出部２２は、上記ステップＳ１００で抽出された各撮像装置ＩＤの各フレームの撮像画像の色特徴を、色特徴情報記憶部２４の色特徴情報テーブルに格納する。
ステップＳ１０３において、特徴抽出範囲選択部２６は、特徴抽出範囲を抽出する対象である複数のフレームを設定する。
ステップＳ１０４において、特徴抽出範囲選択部２６は、各撮像装置ＩＤの各々について、上記ステップＳ１０３又は前回のステップＳ１０８で設定された複数のフレームの撮像画像の色特徴を色特徴情報テーブルから読み出す。そして、特徴抽出範囲選択部２６は、色特徴情報テーブルから読み出した色特徴に基づき、複数フレームに渡って色特徴が所定の類似範囲を満たす領域であり、かつ複数フレームに渡って対応する方向に移動する領域である特徴抽出範囲を抽出する。具体的には、特徴抽出範囲選択部２６は、各フレームの撮像画像について、当該撮像画像のまとめ領域と、別のフレームの撮像画像のまとめ領域との間の色特徴に関する類似度を算出する。そして、特徴抽出範囲選択部２６は、色特徴に関する類似度が最も高い値をとる位置における重なった領域を、共通の領域である特徴抽出範囲として抽出する。
ステップＳ１０６において、色特徴生成部２８は、特徴抽出範囲選択部２６によって選択された特徴抽出範囲が異なる撮像装置ＩＤの撮像画像間の対応付けに適しているか否かを判定する。具体的には、色特徴生成部２８は、上記ステップＳ１０４で抽出した特徴抽出範囲に含まれる色特徴の分散を算出する。そして、色特徴生成部２８は、分散の値が一定値以下である場合には特徴抽出範囲が対応付けに適していないと判定し、ステップＳ１０８へ移行する。一方、色特徴生成部２８は、分散の値が一定値より大きい場合には、特徴抽出範囲が対応付けに適していると判定し、上記ステップＳ１０４で抽出された特徴抽出範囲に対応する色特徴を対応付け色特徴として出力し、ステップＳ１１０へ進む。
ステップＳ１０８において、特徴抽出範囲選択部２６は、上記ステップＳ１０３又は前回のステップＳ１０８において設定したフレーム数よりも少ないフレーム数を設定する。
ステップＳ１１０において、色特徴照合部３０は、上記ステップＳ１０６で出力された対応付け色特徴を、異なる撮像装置ＩＤの撮像画像間で比較する。色特徴照合部３０は、異なる撮像装置ＩＤの撮像画像間の色特徴の類似評価を行い、異なる撮像装置ＩＤの撮像画像間における、上記ステップＳ１０６で出力された対応付け色特徴のペアの各々について、対応付け色特徴の類似度を算出する。そして、色特徴照合部３０は、異なる撮像装置ＩＤの撮像画像間の各々について、対応付け色特徴の類似度が所定の閾値以上である場合には、異なる撮像装置ＩＤの撮像画像間での対応付け色特徴のペアは同一であると判定する。そして、色特徴照合部３０は、同一であると判定された対応付け色特徴の領域に、共通する人の群衆が含まれることを検出する。なお、色特徴照合部３０は、特定の対応付け色特徴との間の対応付け色特徴の類似度が、所定の閾値以上である他の対応付け色特徴が複数存在する場合には、対応付け色特徴の類似度の値が最も大きい他の対応付け色特徴を選択する。そして、色特徴照合部３０は、特定の対応付け色特徴と選択された他の対応付け色特徴とのペアは同一であると判定する。
ステップＳ１１２において、追跡結果生成部３２は、上記ステップＳ１１０で人の群衆が含まれると検出された撮像装置ＩＤの撮像画像間のペア毎に、領域の大きさを人の群衆に含まれる移動人数に対する重みとして、人の群衆に含まれる移動人数を算出する。また、追跡結果生成部３２は、上記ステップＳ１１０で人の群衆が含まれると検出された撮像装置ＩＤの撮像画像間のペア毎に、人の群衆が含まれると検出された領域の検出結果に応じて、人の群衆の移動軌跡を特定する。
ステップＳ１１４において、表示部３４は、上記ステップＳ１１２で得られた人の群衆の移動人数及び移動軌跡を結果として表示する。
以上説明したように、実施形態に係る移動体群追跡装置は、複数の撮像装置で撮像された撮像画像をそれぞれ解析して、色特徴が所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する領域を抽出する。そして、複数の撮像装置によって撮像された画像の領域の類似評価に応じて、異なる撮像装置によって撮像された撮像装置間の画像領域に共通する人の群衆が含まれることを検出する。これにより、複数の撮像装置によって撮像された画像間での対象物の追跡を行う場合であって、複数の対象物が画像に含まれている場合に、画像から人物の追跡を行うことができる。
また、特徴抽出範囲に対応する色特徴が、異なる撮像装置ＩＤの撮像画像間の対応付けに適さない場合に特徴抽出範囲を広げることにより、人の群衆の追跡を精度よく行うことができる。
また、人の群衆が画像領域に含まれることを検出した場合に、画像領域の大きさを人の群衆に含まれる移動人数に対する重みとして人の群衆の移動人数を算出することにより、移動経路における人の群衆に含まれる人物の人数を推定することができる。また、画像領域の抽出結果に応じて、人の群衆の移動軌跡を特定することができる。
また、実施形態に係る移動体群追跡装置は、集団である人の群衆として画像間の対応付けを行うため、個人の対応付けができない場合であっても、人の移動時間の取得が可能となる。特に、混雑した環境など人物同士が重なり合って撮像され、各人物の領域の分割が困難な場合であっても、領域の分割を行わずに画像間を対応付けられるため、撮像装置間の人の移動時間を取得することができる。
また、撮像画像内に特徴的な人物が存在しない場合であっても、画像内の複数人の人物の特徴を利用するため、移動時間の推定を精度よく行うことができる。
また、撮像装置によって撮像された撮像画像から人の移動傾向（例えば、移動軌跡と移動時間等の統計量）を把握し、混雑緩和のような安全確保やマーケティングなど様々な用途に活用することができる。
また、複数の撮像装置によって撮像された撮像画像を連携させることにより、広範囲の人の移動傾向が得られ、より多くの情報から効果的な施策が可能となる。例えば、店舗間の関連性や、ショッピングモール全域での人の流れの均一化などの施策が可能となる。
なお、上記では、移動体群追跡プログラム６０が記憶部５３に予め記憶（インストール）されている態様を説明したが、これに限定されない。本発明に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
次に、実施形態の変形例を説明する。
本実施形態では、移動体群が人の群衆である場合を例に説明したが、これに限定されるものではなく、他の移動体群を対象としてもよい。例えば、移動体群が車両群であってもよい。
また、本実施形態では、配色パターンの一例としての色特徴を用いて画像領域を抽出する場合を例に説明したが、これに限定されるのもではない。例えば、他の特徴から得られるパターンの一例として、エッジ特徴のパターンを用いて画像領域を抽出するようにしてもよい。
また、本実施形態では、特徴抽出範囲が異なる撮像装置ＩＤの撮像画像間の対応付けに適していない場合に、色特徴情報テーブルから読み込むフレーム数を少なくして、より大きい特徴抽出範囲を設定する場合を例に説明したが、これに限定されるものではない。例えば、特徴抽出範囲が異なる撮像装置ＩＤの撮像画像間の対応付けに適していない場合には、特徴抽出範囲を所定ピクセル数拡大して、より大きい特徴抽出範囲を設定してもよい。
また、本実施形態では、選択された特徴抽出範囲が異なる撮像装置ＩＤの撮像画像間の対応付けに適しているか否かを判定する際に、特徴抽出範囲に含まれる色特徴の分散を用いる場合を例に説明したが、これに限定されるものではない。例えば、上述したように、複数の特徴抽出範囲内の色特徴同士を比較して、異なる撮像装置ＩＤの撮像画像間の対応付けに適しているか否かを判定してもよい。
また、色特徴照合部３０は、対応付け色特徴内の各位置に対応する色の類似度の中で、色の類似度が最も高いブロック同士を同一として判定し、当該ブロックを同一人物とみなして追跡を行ってもよい。
以上の実施形態に関し、更に以下の付記を開示する。
（付記１）
第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析して、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出し、
前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出する、
処理をコンピュータに実行させることを特徴とする移動体群検出プログラム。
（付記２）
前記画像領域を抽出する際に、人の群衆を含む、前記第１の撮像画像及び前記第２の撮像画像のそれぞれから、前記第１の画像領域及び前記第２の画像領域を抽出し、
前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する人の群衆が含まれることを検出する、
付記１に記載の移動体群検出プログラム。
（付記３）
前記画像領域を抽出する際に、抽出された前記第１の画像領域及び前記第２の画像領域が、前記第１の画像領域と前記第２の画像領域との対応付けに適さない場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記１又は付記２に記載の移動体群検出プログラム。
（付記４）
前記移動体群が含まれることを検出した場合に、前記画像領域の大きさを前記移動体群の移動量に対する重みとして、前記移動体群の移動量を算出する
付記１〜付記３の何れか１項に記載の移動体群検出プログラム。
（付記５）
前記移動体群が含まれることを検出した場合に、前記移動体群が含まれることを検出した前記第１の画像領域と前記第２の画像領域との抽出結果に応じて、前記移動体群の移動軌跡を特定する
付記１〜付記４の何れか１項に記載の移動体群検出プログラム。
（付記６）
前記画像領域を抽出する際に、前記画像領域に含まれる配色パターンの色の分散が一定値以下である場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記１〜付記５の何れか１項に記載の移動体群検出プログラム。
（付記７）
前記画像領域を抽出する際に、抽出された前記第１の画像領域又は前記第２の画像領域に含まれる配色パターンが、他の撮像装置で撮像された撮像画像の画像領域に所定個以上含まれる場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記１〜付記５の何れか１項に記載の移動体群検出プログラム。
（付記８）
第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析して、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出する抽出部と、
前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出する検出部と、
を含む移動体群検出装置。
（付記９）
前記画像領域を抽出する際に、人の群衆を含む、前記第１の撮像画像及び前記第２の撮像画像のそれぞれから、前記第１の画像領域及び前記第２の画像領域を抽出し、
前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する人の群衆が含まれることを検出する、
付記８に記載の移動体群検出装置。
（付記１０）
前記画像領域を抽出する際に、抽出された前記第１の画像領域及び前記第２の画像領域が、前記第１の画像領域と前記第２の画像領域との対応付けに適さない場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記８又は付記９に記載の移動体群検出装置。
（付記１１）
前記移動体群が含まれることを検出した場合に、前記画像領域の大きさを前記移動体群の移動量に対する重みとして、前記移動体群の移動量を算出する
付記８〜付記１０の何れか１項に記載の移動体群検出装置。
（付記１２）
前記移動体群が含まれることを検出した場合に、前記移動体群が含まれることを検出した前記第１の画像領域と前記第２の画像領域との抽出結果に応じて、前記移動体群の移動軌跡を特定する
付記８〜付記１１の何れか１項に記載の移動体群検出装置。
（付記１３）
前記画像領域を抽出する際に、前記画像領域に含まれる配色パターンの色の分散が一定値以下である場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記８〜付記１２の何れか１項に記載の移動体群検出装置。
（付記１４）
前記画像領域を抽出する際に、抽出された前記第１の画像領域又は前記第２の画像領域に含まれる配色パターンが、他の撮像装置で撮像された撮像画像の画像領域に所定個以上含まれる場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記８〜付記１２の何れか１項に記載の移動体群検出装置。
（付記１５）
抽出部が、第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析して、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出し、
検出部が、前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出する、
処理をコンピュータに実行させる移動体群検出方法。
（付記１６）
前記画像領域を抽出する際に、人の群衆を含む、前記第１の撮像画像及び前記第２の撮像画像のそれぞれから、前記第１の画像領域及び前記第２の画像領域を抽出し、
前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する人の群衆が含まれることを検出する、
付記１１に記載の移動体群検出方法。
（付記１７）
前記移動体群が含まれることを検出した場合に、前記画像領域の大きさを前記移動体群の移動量に対する重みとして、前記移動体群の移動量を算出する
付記１１〜付記１３の何れか１項に記載の移動体群検出方法。
（付記１８）
前記移動体群が含まれることを検出した場合に、前記移動体群が含まれることを検出した前記第１の画像領域と前記第２の画像領域との抽出結果に応じて、前記移動体群の移動軌跡を特定する
付記１１〜付記１４の何れか１項に記載の移動体群検出方法。
（付記１９）
前記移動体群が含まれることを検出した場合に、前記移動体群が含まれることを検出した前記第１の画像領域と前記第２の画像領域との抽出結果に応じて、前記移動体群の移動軌跡を特定する
付記１〜付記４の何れか１項に記載の移動体群検出方法。
（付記２０）
前記画像領域を抽出する際に、前記画像領域に含まれる配色パターンの色の分散が一定値以下である場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記１５〜付記１９の何れか１項に記載の移動体群検出装置。
（付記２１）
前記画像領域を抽出する際に、抽出された前記第１の画像領域又は前記第２の画像領域に含まれる配色パターンが、他の撮像装置で撮像された撮像画像の画像領域に所定個以上含まれる場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
付記１５〜付記１９の何れか１項に記載の移動体群検出装置。
（付記２２）
第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析して、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出し、
前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出する、
処理をコンピュータに実行させることを特徴とする移動体群検出プログラムを記憶した記憶媒体。
１０ 撮像装置
２０ 移動体群追跡装置
２２ 色特徴情報抽出部
２４ 色特徴情報記憶部
２６ 特徴抽出範囲選択部
２８ 色特徴生成部
３０ 色特徴照合部
３２ 追跡結果生成部
３４ 表示部
８Ａ 色特徴情報テーブル
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記録媒体
６０ 移動体群追跡プログラム
１００ 移動体群追跡システム

Claims (7)

  1. 第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析して、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出し、
    前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出し、
    前記画像領域を抽出する際に、前記画像領域に含まれる配色パターンの色の分散が一定値以下である場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する、
    処理をコンピュータに実行させることを特徴とする移動体群検出プログラム。
  2. 前記画像領域を抽出する際に、人の群衆を含む、前記第１の撮像画像及び前記第２の撮像画像のそれぞれから、前記第１の画像領域及び前記第２の画像領域を抽出し、
    前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する人の群衆が含まれることを検出する、
    請求項１に記載の移動体群検出プログラム。
  3. 前記画像領域を抽出する際に、抽出された前記第１の画像領域及び前記第２の画像領域が、前記第１の画像領域と前記第２の画像領域との対応付けに適さない場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する
    請求項１又は請求項２に記載の移動体群検出プログラム。
  4. 前記移動体群が含まれることを検出した場合に、前記画像領域の大きさを前記移動体群に含まれる移動体の数に対する重みとして、前記移動体群に含まれる移動体の数を算出する
    請求項１〜請求項３の何れか１項に記載の移動体群検出プログラム。
  5. 前記移動体群が含まれることを検出した場合に、前記移動体群が含まれることを検出した前記第１の画像領域と前記第２の画像領域との抽出結果に応じて、前記移動体群の移動軌跡を特定する
    請求項１〜請求項４の何れか１項に記載の移動体群検出プログラム。
  6. 第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析して、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出する抽出部と、
    前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出する検出部と、を含み、
    前記抽出部は、前記画像領域を抽出する際に、前記画像領域に含まれる配色パターンの色の分散が一定値以下である場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する、
    移動体群検出装置。
  7. 抽出部が、第１の撮像装置で撮像された第１の撮像画像と、第２の撮像装置で撮像された第２の撮像画像とをそれぞれ解析して、配色パターンが所定の類似範囲を満たす画像領域であって複数フレームに渡って対応する方向に移動する第１の画像領域、第２の画像領域を前記第１の撮像画像、前記第２の撮像画像のそれぞれから抽出し、
    検出部が、前記第１の画像領域内の画像と前記第２の画像領域内の画像との類似評価に応じて、前記第１の画像領域と前記第２の画像領域とに共通する移動体群が含まれることを検出し、
    前記抽出部が、前記画像領域を抽出する際に、前記画像領域に含まれる配色パターンの色の分散が一定値以下である場合に、前記画像領域の範囲を広げて、前記第１の画像領域と前記第２の画像領域を抽出する、
    処理をコンピュータに実行させる移動体群検出方法。
JP2016160197A 2016-08-17 2016-08-17 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法 Active JP6776719B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016160197A JP6776719B2 (ja) 2016-08-17 2016-08-17 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
US15/647,988 US20180053314A1 (en) 2016-08-17 2017-07-12 Moving object group detection device and moving object group detection method
CN201710638496.9A CN107767397A (zh) 2016-08-17 2017-07-31 移动对象组检测装置和移动对象组检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016160197A JP6776719B2 (ja) 2016-08-17 2016-08-17 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法

Publications (2)

Publication Number Publication Date
JP2018028784A JP2018028784A (ja) 2018-02-22
JP6776719B2 true JP6776719B2 (ja) 2020-10-28

Family

ID=61191748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016160197A Active JP6776719B2 (ja) 2016-08-17 2016-08-17 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法

Country Status (3)

Country Link
US (1) US20180053314A1 (ja)
JP (1) JP6776719B2 (ja)
CN (1) CN107767397A (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6849430B2 (ja) * 2016-12-27 2021-03-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20210109497A1 (en) * 2018-01-29 2021-04-15 indus.ai Inc. Identifying and monitoring productivity, health, and safety risks in industrial sites
US10896331B2 (en) * 2018-01-29 2021-01-19 indus.ai Inc. Monitoring activities in industrial sites
DE112018007834T5 (de) * 2018-07-18 2021-04-08 Nec Corporation Steuervorrichtung, datenanalysesystem, steuerverfahren und computerprogramm
EP3912132A4 (en) * 2019-02-28 2022-12-07 Stats Llc SYSTEM AND METHOD FOR GENERATION OF PLAYER TRACKING DATA FROM BROADCAST VIDEO
CN111565300B (zh) * 2020-05-22 2020-12-22 深圳市百川安防科技有限公司 基于对象的视频文件处理方法、设备及系统
AU2021409557A1 (en) * 2020-12-21 2023-08-10 Procore Technologies, Inc. Identifying and monitoring productivity, health, and safety risks in industrial sites

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3647071B2 (ja) * 1994-12-28 2005-05-11 キヤノン株式会社 画像処理装置およびその方法
JP2005250692A (ja) * 2004-03-02 2005-09-15 Softopia Japan Foundation 物体の同定方法、移動体同定方法、物体同定プログラム、移動体同定プログラム、物体同定プログラム記録媒体、移動体同定プログラム記録媒体
JP4772494B2 (ja) * 2005-12-26 2011-09-14 富士重工業株式会社 データ処理装置
JP4456572B2 (ja) * 2006-03-06 2010-04-28 大日本印刷株式会社 易開封袋
CN101325690A (zh) * 2007-06-12 2008-12-17 上海正电科技发展有限公司 监控视频流中人流分析与人群聚集过程的检测方法及系统
CN101141633B (zh) * 2007-08-28 2011-01-05 湖南大学 一种复杂场景中的运动目标检测与跟踪方法
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
US8243987B2 (en) * 2008-06-06 2012-08-14 International Business Machines Corporation Object tracking using color histogram and object size
US8848979B2 (en) * 2009-03-31 2014-09-30 Nec Corporation Tracked object determination device, tracked object determination method and tracked object determination program
CN101661624A (zh) * 2009-09-24 2010-03-03 北京中星微电子有限公司 运动跟踪方法及装置
CN102687171B (zh) * 2009-10-16 2015-07-08 日本电气株式会社 人物检索装置及人物检索方法
CN102136147B (zh) * 2011-03-22 2012-08-22 深圳英飞拓科技股份有限公司 一种目标检测与跟踪方法、系统及视频监控设备
RU2546327C1 (ru) * 2011-03-28 2015-04-10 Нек Корпорейшн Устройство для отслеживания человека, способ отслеживания человека и невременный машиночитаемый носитель, хранящий программу для отслеживания человека
CN102156863B (zh) * 2011-05-16 2012-11-14 天津大学 跨摄像头的多运动目标跟踪方法
US8903132B2 (en) * 2011-09-12 2014-12-02 2343127 Ontario Inc. Efficient system and method for body part detection and tracking
CN103020633A (zh) * 2011-09-23 2013-04-03 无锡中星微电子有限公司 一种图像压缩域上的肤色检测方法
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9852511B2 (en) * 2013-01-22 2017-12-26 Qualcomm Incoporated Systems and methods for tracking and detecting a target object
JP5933482B2 (ja) * 2013-05-01 2016-06-08 三菱電機株式会社 監視用画像処理装置
JP6308011B2 (ja) * 2014-05-16 2018-04-11 富士通株式会社 同一対象検出装置、同一対象検出方法、及び同一対象検出プログラム
CN103997624B (zh) * 2014-05-21 2017-04-05 江苏大学 重叠域双摄像头目标跟踪系统及方法
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
JP2016143335A (ja) * 2015-02-04 2016-08-08 富士通株式会社 グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム

Also Published As

Publication number Publication date
CN107767397A (zh) 2018-03-06
JP2018028784A (ja) 2018-02-22
US20180053314A1 (en) 2018-02-22

Similar Documents

Publication Publication Date Title
JP6776719B2 (ja) 移動体群検出プログラム、移動体群検出装置、及び移動体群検出方法
US20210191524A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US10893207B2 (en) Object tracking apparatus, object tracking method, and non-transitory computer-readable storage medium for storing program
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
US7729512B2 (en) Stereo image processing to detect moving objects
US10212324B2 (en) Position detection device, position detection method, and storage medium
US8724845B2 (en) Content determination program and content determination device
US9275276B2 (en) Posture estimation device and posture estimation method
JP4061377B2 (ja) ３次元データからの特徴抽出装置
US10621734B2 (en) Method and system of tracking an object based on multiple histograms
JP6500500B2 (ja) 画像判定装置、画像判定方法、及びプログラム
JP2008046903A (ja) 対象個数検出装置および対象個数検出方法
JP4816240B2 (ja) データ処理装置、データ処理方法、認識装置及び認識方法
JP2014093023A (ja) 物体検出装置、物体検出方法及びプログラム
WO2017154655A1 (ja) 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラムを記憶する記憶媒体
Bouachir et al. Structure-aware keypoint tracking for partial occlusion handling
JP2018205870A (ja) オブジェクト追跡方法および装置
JP6627365B2 (ja) 情報処理方法、情報処理装置、及びプログラム
JP2016143335A (ja) グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
JP2010199865A (ja) 異常検知システム、異常検知方法及び異常検知プログラム
JP7383435B2 (ja) 画像処理装置、画像処理方法、及びプログラム
WO2020217368A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2007156897A (ja) 速度計測装置、方法及びプログラム
JP6787075B2 (ja) 画像処理システム、画像処理装置および画像処理方法
JP6308011B2 (ja) 同一対象検出装置、同一対象検出方法、及び同一対象検出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200831

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6776719

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150