JP6516702B2

JP6516702B2 - 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法

Info

Publication number: JP6516702B2
Application number: JP2016102921A
Authority: JP
Inventors: 智広大山; 方己島村
Original assignee: Rhythm Watch Co Ltd
Current assignee: Rhythm Watch Co Ltd
Priority date: 2016-05-24
Filing date: 2016-05-24
Publication date: 2019-05-22
Anticipated expiration: 2036-05-24
Also published as: JP2017211731A

Description

本発明は、人数集計システム、人数集計方法、及び人数集計結果の閲覧方法に関する。

従来から、カメラで撮影した画像データに基づいて、来場者や来客者が商品等の展示対象物に注目したか否かの判定をし、注目の度合いを計測する技術が提案されている。例えば、特許文献１の注目情報計測装置は、抽出手段、追跡手段、滞在時間計測手段、判定手段を備える。抽出手段は、撮像された画像から計測範囲内の人間を抽出する。追跡手段は、その人間を異なる時間に撮像された画像を用いて追跡する。滞在時間計測手段は、追跡された個々の人間の計測範囲内の滞在時間を求める。判定手段は、求めた滞在時間に基づいて追跡した人間が注目したのか否かを判定する。このような注目情報計測装置では、カメラ映像を取得することによって、指定された映像領域における、人の向き及び滞在時間によって、注目度の高い人物の人数をカウントすることができる。

特開平１０−４８００８号公報

カメラ映像は、基本的に二次元の映像情報として得られるが、実際、この映像情報は、三次元空間を撮影して得たものであり、奥行方向に左右する被写体、つまりカメラから遠い距離で左右する被写体も二次元化されて描画される。そのため、カメラ映像から人物の人数を集計する場合、フレーム上のある領域を集計対象として指定すると、カメラから遠い人間であっても、カウントしてしまうことがある。よって、商品等に注目している来場者の正確な人数を集計することが難しい。

また、特許文献１に記載の注目情報計測装置では、一つ又は複数のカメラを陳列棚等の注目対象を含む領域の上方に配置して、下方を撮像した画像を解析することにより人物の判定を行っている。この注目情報計測装置では、一つのカメラを用いた場合では奥行方向の人物画像の区別が困難であるため、設置場所が限られてしまう。また、二つのカメラを用いた場合では、奥行き方向の人物の区別が可能であるが、このような複数のカメラを用いた人数集計システムでは導入コストが増加してしまう。さらに、この注目情報計測装置は、人物の移動軌跡を記憶させて判定対象から除外する方法では装置に高い処理能力が要求され、その移動軌跡の始点と終点により滞在判定を行う方法では精度が低下するという課題がある。

本発明は、以上の点に鑑み、簡易な構成で人物の集計が可能な人数集計システム、人数集計方法、及び人数集計結果の閲覧方法を提供することを目的とする。

本発明の人数集計システムは、撮像部と、人抽出部及びカウント判定部を有する人数集計装置と、を備え、前記人抽出部は、前記撮像部より受信する映像のフレームから所定の向きの人物が存在するかを判定し、前記人物が前記フレーム中の指定領域内に位置するかを判定し、前記人物の中心座標と大きさを含む位置情報を判定して、集計対象候補の人物を複数の前記フレーム毎に抽出し、前記カウント判定部は、複数の前記フレームのうち、前記集計対象候補の人物の抽出がされなかった前記フレームが有る場合、前の前記フレームで抽出された前記集計対象候補の人物と、後の前記フレームで抽出された前記集計対象候補の人物の前記位置情報の変化量が、予め定められた第一閾値未満である場合に、前記集計対象候補の人物の抽出がされなかった前記フレームに、前記前の前記フレーム又は前記後の前記フレームにおける前記集計対象候補の人物の前記位置情報を付加して補正し、前記集計対象候補の人物を含む連続する前記フレームの数が予め定めた第二閾値より多い場合に、前記集計対象候補の人物を滞在していると判定して集計する。

本発明の人数集計方法は、人数集計システムにおける人数集計方法であって、前記人数集計システムは、撮像手段と、前記撮像手段より受信する映像のフレームから所定の向きの人物が存在するかを判定し、前記人物が前記フレーム中の指定領域内に位置するかを判定し、前記人物の中心座標と大きさを含む位置情報を判定して、集計対象候補の人物を複数の前記フレーム毎に抽出する人抽出手段と、複数の前記フレームのうち、前記集計対象候補の人物の抽出がされなかった前記フレームが有る場合、前の前記フレームで抽出された前記集計対象候補の人物と、後の前記フレームで抽出された前記集計対象候補の人物の前記位置情報の変化量が、予め定められた第一閾値未満である場合に、前記集計対象候補の人物の抽出がされなかった前記フレームに、前記前の前記フレーム又は前記後の前記フレームにおける前記集計対象候補の人物の前記位置情報を付加して補正して、前記集計対象候補の人物を含む連続する前記フレームの数が予め定めた第二閾値より多い場合に、前記集計対象候補の人物を滞在していると判定して集計する、カウント判定手段と、を備える。

本発明の人数集計結果の閲覧方法は、人数集計システムにおける人数集計結果の閲覧方法であって、前記人数集計システムは、撮像手段と、前記撮像手段より受信する映像のフレームから所定の向きの人物が存在するかを判定し、前記人物が前記フレーム中の指定領域内に位置するかを判定し、前記人物の中心座標と大きさを含む位置情報を判定して、集計対象候補の人物を複数の前記フレーム毎に抽出する人抽出手段と、複数の前記フレームのうち、前記集計対象候補の人物の抽出がされなかった前記フレームが有る場合、前の前記フレームで抽出された前記集計対象候補の人物と、後の前記フレームで抽出された前記集計対象候補の人物の前記位置情報の変化量が、予め定められた第一閾値未満である場合に、前記集計対象候補の人物の抽出がされなかった前記フレームに、前記前の前記フレーム又は前記後の前記フレームにおける前記集計対象候補の人物の前記位置情報を付加して補正し、前記集計対象候補の人物を含む連続する前記フレームの数が予め定めた第二閾値より多い場合に、前記集計対象候補の人物を滞在していると判定して集計して、集計された前記集計対象候補の人物の現在人数及び増加人数をカウント結果として出力するカウント判定手段と、前記カウント結果、又は、前記カウント結果に基づく分析結果を表示させる表示手段と、を備える。

本発明によると、簡易な構成で人物の集計が可能な人数集計システム、人数集計方法、及び人数集計結果の閲覧方法を提供することができる。

本発明の実施形態１に係る人数集計システムの適用例を示す図である。本発明の実施形態１に係る人数集計システムの構成を示す図である。本発明の実施形態１に係るカメラが撮影した映像の模式図である。本発明の実施形態１に係る人数集計システムのフレーム毎の人物の判定例を示す図である。本発明の実施形態１に係る表示部の表示画面を示す図である。本発明の実施形態２に係る人数集計装置の構成を示す図である。本発明の実施形態３に係る人数集計装置の構成を示す図である。本発明の実施形態４に係る人数集計装置の構成を示す図である。本発明の実施形態４に係る日単位の分析結果を表示する表示画面を示す図である。本発明の実施形態４に係る曜日単位の分析結果を表示する表示画面を示す図である。本発明の実施形態４に係る混雑度の分析結果を表示する表示画面を示す図である。

（実施形態１）
以下、本発明の実施形態１について図を用いて説明する。図１は、人数集計システム１００の適用例を示す図である。人数集計システム１００は、複数のカメラ（撮像手段）２１〜２３及び表示部（表示手段）２４が接続された人数集計装置２００を備える。人数集計システム１００は、例えば、本図に示すように展示会場３０の展示ブース３１に設置される。人数集計システム１００は、カメラ２１〜２３により展示会場３０を撮影し、展示ブース３１への来場者と通行人等の非来場者とを分類することができる。また、人数集計システム１００は、展示ブース３１への来場者の数を集計する。なお、人数集計システム１００は、展示会場３０以外にも、他の屋内施設や屋外施設における不特定の人物が出入りする区域、通路等に設置することができる。人数集計システム１００は、集計対象である人物を撮像し、映像を分析することにより来場者に関する統計情報を集計する。

図２は、人数集計システム１００の構成を示す図である。人数集計装置２００は、カメラ映像集積部２１０、人抽出部（人抽出手段）２２０、カウント判定部（カウント判定手段）２３０、時計部（計時手段）２４０、画像合成部（画像合成手段）２５０、記録制御部（記憶手段）２６０を備える。

本実施形態の人数集計システム１００は、人抽出部２２０が、カメラ（撮像部）２１〜２３より受信する映像のフレームから所定の向きの人物が存在するかを判定し、その人物がフレーム中の指定領域内に位置するかを判定し、人物の大きさを判定して、集計対象候補の人物を複数のフレーム毎に抽出する。また、カウント判定部２３０は、複数のフレームのうち、集計対象候補の人物の抽出がされなかったフレームを、前後のフレームで抽出された集計対象候補の人物の位置情報に基づき補正し、滞在時間の長い集計対象候補の人物を集計する。以下、各機能部について説明する。

カメラ映像集積部２１０は、複数台のカメラ２１〜２３と映像ケーブルやネットワークケーブル等を介した有線又は無線により接続されている。カメラ映像集積部２１０は、カメラ２１〜２３が撮影した集計対象の区域の映像を集収する。カメラ映像集積部２１０は、カメラ２１〜２３から取得した映像を、１フレームずつ順番に人抽出部２２０へ送信する。

人抽出部２２０は、人及び向き識別部２２１、指定領域分類部２２２、大小分類部２２３を有する。人及び向き識別部２２１は、カメラ映像集積部２１０から受信した映像のフレームから、人物を認識する。認識方法としては、一般的なパターンマッチング方法を用いることができる。又は、本実施形態の人及び向き識別部２２１は、人の向きを考慮した辞書データを、第一特徴量として予め記憶しておくことができる。例えば、人及び向き識別部２２１は、フレームに含まれる人画像を、予め辞書化された第一特徴量（Ｈｏｇ特徴量、Ｈａａｒ−Ｌｉｋｅ特徴量等）とマッチングさせる。そして、人及び向き識別部２２１は、フレームに含まれる人画像が第一特徴量と一致した場合、フレーム内に人物が含まれると認識する。

図３は、２台のカメラ（図１のカメラ２１，２２）が撮影した映像の模式図である。図１において、カメラ２１は、通路３２に沿った方向を撮影するように配置されている。そのため、カメラ２１が撮影した図３のカメラ映像２４１では、展示ブース３１が撮影範囲の右側に位置し、通路３２が左側に位置する。カメラ映像２４１には、カメラ２１が撮影した複数の人物３０１〜３０５が映されている。

また、カメラ２２は、図１において、展示ブース３１側から見て通路３２側を撮影するように配置されている。そのため、カメラ２２が撮影した図３のカメラ映像２４２では、展示ブース３１が映像の手前側に位置する。カメラ映像２４２には、図１のカメラ２２が撮影した複数の人物３０６〜３１０が映されている。カメラ映像２４２の例では、「顔」により人物を判定している。例えば、人及び向き識別部２２１は、正面を向いた「顔」画像を人物の判定用の第一特徴量として設定する。人及び向き識別部２２１は、正面を向いた人物３０６，３０７，３０９，３１０の「顔」がカメラ映像２４２内に存在すると、その人物３０６，３０７，３０９，３１０が集計対象候補の人物であると判定する。後を向いた人物３０８の画像は、第一特徴量によるマッチング条件と異なるため、集計対象候補としては判定されない。

人及び向き識別部２２１は、集計対象候補である人物３０６，３０７，３０９，３１０の中心座標と大きさを位置情報として求める。中心座標の評価方法としては、例えば、人及び向き識別部２２１が人をマッチングさせる際に適用する判定用領域ａ６，ａ７，ａ９，ａ１０の中心ｃ６，ｃ７，ｃ９，ｃ１０の座標を各人物３０６，３０７，３０９，３１０の中心座標として利用する。また、大きさの評価方法としては、中心座標の評価と同様に、人及び向き識別部２２１が人物をマッチングさせる際に適用する判定用領域ａ６，ａ７，ａ９，ａ１０の大きさを利用することができる。なお、人物の大きさの評価は、認識した人物の画像の画素数とする等、マッチング手法に応じて適宜の方法とすることができる。また、人及び向き識別部２２１は、カメラ映像２４２の人物３０８を、判定用領域ａ８により大きさや中心ｃ８の座標を認識した後、後を向いた「顔」画像であることにより集計対象候補から除外してもよい。また、人及び向き識別部２２１は、正面を向いた「顔」画像ではないことにより人物としての認識をしない処理としてもよい。

また、人及び向き識別部２２１は、カメラ２１のカメラ映像２４１においても、「全身」画像を人物の判定用の第一特徴量として用いれば、遠くに存在する人物であってもカメラ映像２４２と同様に人物３０１〜３０５を集計対象候補として認識して、各人物３０１〜３０５の中心座標や大きさを求めることができる。人及び向き識別部２２１により集計対象候補の人物とその位置情報の判定が行われたフレームは、その後、指定領域分類部２２２により処理される。

指定領域分類部２２２は、人及び向き識別部２２１で認識した人物の中心座標から、その人物が予め指定された領域内に存在するか否かを判定する。

図３のカメラ映像２４１の例では、画面の右側が集計対象候補である展示ブース３１側であるため、右側に指定領域Ａ１を設定している。また、画面の左側が通路３２側であるため、左側は、指定領域Ａ１を指定していない（すなわち、集計対象候補としていない）領域Ａ２である。指定領域分類部２２２は、認識された人物が指定領域Ａ１内に存在していれば集計対象候補であると判定し、存在していなければ集計対象候補から除外する。具体的には、カメラ映像２４１内の人物３０１，３０２の中心ｃ１，ｃ２の座標は指定領域Ａ１を設定していない領域Ａ２内にあるため、人物３０１，３０２は集計対象候補から除外される。一方、人物３０３〜３０５の中心ｃ３〜ｃ５の座標は指定領域Ａ１内にあるため、人物３０３〜３０５が集計対象候補として判定される。なお、指定領域分類部２２２は、カメラ映像２４２においても、カメラ映像２４１と同様に指定領域Ａ１を設定し、フレーム内の人物を集計対象候補の人物とするか否かを判定してもよい。

大小分類部２２３は、指定領域分類部２２２が集計対象候補と判定した人物を、人物の大きさにより分類する。例えば、大小分類部２２３は、集計対象候補の人物のうち、大きい人物を集計対象候補として判定し、その他の人物を集計対象候補から除外する。図３のカメラ映像２４２の例では、人物３０６，３０７は、カメラ２２の近くで撮影されて、判定用領域ａ６，ａ７が比較的大きくなるため、集計対象候補として判定される。指定領域分類部２２２が集計対象候補と判定する領域及び大小分類部２２３が集計対象候補と判定する大きさは、ユーザが予め任意に指定することができる。

人及び向き識別部２２１、指定領域分類部２２２及び大小分類部２２３による処理の後、人抽出部２２０は、映像フレームとともに、そのフレームから振るい出された集計対象候補となる人物の中心座標と大きさの情報を、カウント判定部２３０に出力する。

つぎに、人数を集計するカウント判定部２３０について説明する。カウント判定部２３０は、フィルタ部２３１と滞在時間計測部２３２を有する。一般的に、カメラ２１〜２３から出力される映像は、３０ｆｐｓ（ｆｒａｍｅｐｅｒｓｅｃｏｎｄ）や６０ｆｐｓのフレームスピードにより撮影された動画像である。フィルタ部２３１は、人抽出部２２０から出力されたフレーム毎の各人物の判定結果（振い出された人物の中心座標と大きさ）を時系列的に評価する。

図４に、フレーム毎の人物の判定例を示す。本図では、複数のフレームｆ１〜ｆ６のいずれかにおいて認識されている一人の人物の中心座標及び大きさの位置情報を示している。フレーム間の経過時間は非常に短いため、通常、フレーム内の集計対象候補の人物は、略同じ中心座標及び略同じ大きさで認識され続ける。しかしながら、フレーム内に集計対象候補となる人物が存在しても、瞬間的にしゃがんだり姿勢を変える等して人抽出部２２０における人物の抽出処理の結果、その人物の認識ができない場合がある（本図の例ではフレームｆ４）。フィルタ部２３１は、このように、集計対象候補の人物が実際には画面内に存在するにも関わらず認識することができなかったフレームを抽出し、そのフレームに存在するはずの人物の中心座標や大きさ等の位置情報を付加する補正を行う。

まず、フィルタ部２３１は、人抽出部２２０から取得したフレームｆ１〜ｆ６に連続して認識された集計対象候補の人物が同一人物であるか判定する。図４では、フレームｆ２，ｆ３，ｆ５，ｆ６に集計対象候補の人物が存在する。フィルタ部２３１は、連続するフレームｆ２，ｆ３（又はフレームｆ５，ｆ６）の人物の中心座標及び大きさの変化量が、予め定められた第四閾値未満である場合に、そのフレームｆ２，ｆ３（又はｆ５，ｆ６）間の人物が同一人物であると判定する。本図の例では、フレームｆ２及びフレームｆ３の人物は、中心座標が（ｘ，ｙ）であり、大きさが「ｍ」であるため同一人物と判定される。フレームｆ５及びフレームｆ６の人物も同様に、中心座標が（ｘ，ｙ）であり、大きさが「ｍ」であるため同一人物と判定される。なお、ここでは中心座標の例としてフレーム内の画素の座標を用いており、ｘは列方向の座標、ｙは行方向の座標である。

例えば、フィルタ部２３１は、同一人物として連続したフレームｆ２，ｆ３に認識された人物が、後のフレームｆ４で認識されない場合、さらに後のフレームｆ５，ｆ６で連続して認識された人物と同一の人物であるか判定する。フィルタ部２３１は、フレームｆ４の直前のフレームｆ３及びフレームｆ４の直後のフレームｆ５間の人物の中心座標及び大きさの一方又は両方が予め定められた一定量の差分閾値（第一閾値）未満である場合に、前のフレームｆ３の人物と、後のフレームｆ５の人物が集計対象候補の同一人物であると判定する。フィルタ部２３１は、フレームｆ３とフレームｆ５の人物が同一人物であると判定すると、その人物の位置情報を抽出し、人物の情報が存在しないフレームｆ４に、前後のフレームｆ３，ｆ５で認識されている集計対象候補の人物の中心座標及び大きさの位置情報を付加する補正を行う。なお、同一人物であるかの判定に用いる第一閾値は、中心座標と大きさの夫々に対応した複数の値を用いることができる。

図４の例では、フィルタ部２３１の処理結果を示すフレームｆ４１には、前後のフレームｆ３，ｆ５における人物の座標（ｘ，ｙ）、大きさ「ｍ」の値が付加される。また、フレームｆ４に付加する位置情報として、前のフレームｆ３の位置情報を付加してもよいし、後のフレームｆ５の位置情報を付加してもよい。また、フレームｆ３及びフレームｆ５の位置情報の平均値やフレームｆ３及びフレームｆ５の位置情報に従い求めた値を、フレームｆ４の人物の位置情報として付加してもよい。

なお、フィルタ部２３１は、前後のフレームｆ３，ｆ５の人物の座標及び大きさが予め定められた一定量の差分閾値（第一閾値）以上である場合、前後のフレームｆ３，ｆ５の人物は別人物であると判定し、その人物に対するフレームｆ４の補正を行わない。

また、連続するフレーム間に存在する人物が同一人物であるかの判定は、フィルタ部２３１による補正処理を行った後に実施してもよい。例えば、フィルタ部２３１は、図４の補正処理後のフレームｆ１１〜ｆ６１に対し、フレーム内に存在する人物の中心座標及び大きさが、予め定められた第四閾値未満である場合に、その人物が同一人物であると判定することができる。本図では、各フレームｆ２１〜ｆ６１に存在する人物の中心座標及び大きさがいずれも変化しないため、フレームｆ２１〜ｆ６１の人物が同一人物であると判定される。以下、フレームｆ２１〜ｆ６１の人物が同一人物であるとして説明する。

滞在時間計測部２３２は、フィルタ部２３１が処理したフレームに含まれる集計対象候補の人物の滞在時間を求める。滞在時間は、フレーム数を計測することにより求められる。滞在時間計測部２３２には、図４に示すフィルタ部２３１で補正された中心座標を（ｘ，ｙ）、大きさを「ｍ」とする集計対象候補の人物を含むフレームｆ１１〜ｆ６１の画像が入力される。特定の人物がフレームｆ２１〜ｆ６１に集計対象候補として認識されていた場合、滞在時間計測部２３２は、滞在時間を５フレームと求める。滞在時間計測部２３２は、滞在時間（集計対象候補の人物を含むフレーム数）が予め定められた第二閾値より大きい場合、その人物が滞在していると判定して集計対象とする。滞在時間計測部２３２は、フレーム内の集計対象とした人物の数をカウントし、画像合成部２５０及び記録制御部２６０に対して現在人数をカウント結果として出力する。

なお、フィルタ部２３１は、フレーム間で認識される人物毎に、識別情報を付与することができる。具体的に、フィルタ部２３１は、第四閾値による判定で同一人物と判定された人物毎に識別情報を付与する。滞在時間計測部２３２は、認識された人物を識別情報毎にフレーム数をカウントして、人物毎の滞在時間を求めることができる。また、滞在時間計測部２３２は、フレーム内に新たな識別情報が付された人物が滞在していると判定する場合、現在人数の他に来場客数を１カウント増加させる指示（増加人数）を、画像合成部２５０及び記録制御部２６０に対してカウント結果として送信してもよい。

画像合成部２５０は、カメラ映像集積部２１０がカメラ２１〜２３から取得したカメラ映像と、時計部２４０が示す時刻情報と、カウント判定部２３０が送信した人物のカウント結果と、カメラ映像の識別情報とを受信する。画像合成部２５０は、受信したカメラ映像、カウント結果、時刻情報及びカメラ映像の識別情報を合成して、その映像を表示部２４に表示させる。以下に、人数集計システム１００による人数集計結果の閲覧方法について説明する。

図５は、表示部２４の表示画面２４ａを示す図である。表示部２４の表示画面２４ａの上方には、各カメラ２１〜２３に対応したカメラ映像２４１〜２４３が表示される。各カメラ映像２４１〜２４３の下方には、各カメラ映像２４１〜２４３に基づいて人数集計装置２００が求めた現在客数２４４、合計客数２４５及び最大客数２４６が対応して表示される。現在客数２４４は、現在映し出されているカメラ映像２４１〜２４３中の集計対象として判定された人物の人数である。合計客数２４５は、例えば、ある集計開始時点から現在までの、集計対象として判定された人物の累積人数である。最大客数２４６は、例えば、ある集計開始時点から現在までの間に、集計対象として同時に認識された人物の最大人数である。

なお、画像合成部２５０は、最大客数２４６とともに、客数がピークとなったときの日付や時刻を表示画面２４ａに表示させることができる。また、表示画面２４ａには、時計部２４０から取得した現在の時刻情報（年月日、時間等）を表示させることができる。このように、表示部２４は、カメラ２１〜２３が撮影した映像とともに、展示ブース３１の来場者に関する集計情報を可視化させることができる。

図２に戻り、記録制御部２６０は、カメラ映像集積部２１０がカメラ２１〜２３から取得したカメラ２１〜２３の映像フレームと、時計部２４０が示す時刻情報と、カウント判定部２３０が送信した人物のカウント結果と、カメラの識別情報とを受信する。記録制御部２６０は、受信したカメラ２１〜２３の映像フレーム、時刻情報、カウント結果（現在客数等）及びカメラの識別情報を、記憶媒体（記憶手段）２５に記憶する。なお、記録制御部２６０は、カウント判定部２３０からカウント結果を受信し、集計対象の人物が新たに認識され、累積人数が増加する毎に、記憶媒体２５への記憶処理を行ってもよい。記憶されるフレームは、静止画及び動画の一方又は両方の形式とすることができる。なお、動画を記憶する場合、集計客数が増えた瞬間の前後のフレームを含めることができる。また、集計客数が増えた瞬間の前後のフレームの数は、ユーザが予め設定することができる。

なお、本実施形態では、記録制御部２６０が外部に設けられた記憶媒体２５と接続される例を示しているが、記憶媒体２５は、人数集計装置２００の内部に設ける構成としてもよい。また、表示部２４には、記憶媒体２５から呼び出した過去の映像を表示させてもよい。

以上、本実施形態の人数集計システム１００は、一つの映像に含まれる人物を、奥行方向の滞在位置も考慮して分類を行い、集計対象であるかを判断することができるため、一つの撮影区域に対し複数のカメラを用いることなく、来場者等の集計を簡易な構成で行うことができる。また、複数のカメラ２１〜２３と同数の複数の撮影区域に対して、来場者の人数集計を実施することができるため、低いコストで人数集計システム１００を構成することができる。

（実施形態２）
つぎに、本発明の実施形態２について説明する。図６は、人数集計装置２００Ａを備える人数集計システム１００Ａの構成を示す図である。人数集計装置２００Ａは、実施形態１の人数集計装置２００の構成に加え、さらに選択部２７０を備える。なお、本実施形態の説明において、実施形態１と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。

選択部２７０には、予め辞書データ４００が登録される。辞書データ４００には、例えば、人の部位である「顔」、「上半身」及び「全身」の画像を認識させるためのデータが第一特徴量として登録されている。また、人の部位の辞書データ４００には、各々「右向き」、「左向き」及び「正面向き」の画像を認識させるためのデータが第一特徴量として登録されている。選択部２７０は、カメラ２１〜２３に撮影されるどのような画像を集計対象候補の人物画像としてマッチングさせるかを、ユーザの設定に従い、人及び向き識別部２２１に対して指示する。人及び向き識別部２２１は、選択部２７０からの設定指示に従いカメラ映像集積部２１０から受信したフレームから人物の検出を行う。なお、選択部２７０による第一特徴量の選択は、カメラ２１〜２３別に設定することができる。

カメラ２１〜２３は、設置される場所及び画角により、撮影される人物の主な部位（顔、上半身、全身等）が異なる。本実施形態の人数集計システム１００Ａでは、ユーザがカメラ２１〜２３の設置場所に応じて、いずれの第一特徴量を集計対象の人物の判定に用いるかを選択することができる。これにより、カメラ２１〜２３の設置場所や画角等の撮影条件にとらわれず、集計対象の人物を認識して来場者の人数を集計することができる。

（実施形態３）
つぎに、実施形態３について説明する。図７は、人数集計装置２００Ｂを備える人数集計システム１００Ｂの構成を示す図である。人数集計装置２００Ｂは、実施形態２の人数集計装置２００Ａの構成に加え、さらに除外部２２４を含む人抽出部２２０Ｂを備える。なお、本実施形態の説明において、実施形態１又は実施形態２と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。

人数集計装置２００Ｂは、適宜の記憶部に除外データ５００を予め記憶している。除外データ５００には、集計対象候補の人物から除外する人物を識別するための第二特徴量が記憶される。第二特徴量として、例えば、展示ブース３１のスタッフ等が共通して身に着ける専用ユニホームを識別するためのユニホームデータ５０１が登録される。ユニホームデータ５０１は、マッチング方法に対応した色データ等とすることができる。なお、除外データ５００には、ユニホームデータ５０１以外にも、帽子、名札、特定の人物データ等、カメラ映像に描画されて識別可能な他の要素を第二特徴量として登録してもよい。

除外部２２４は、人及び向き識別部２２１が判定した集計対象候補の全ての人物について、除外対象の人物が含まれていないか判定を行う。除外部２２４は、集計対象候補として判定された人物を、除外データ５００として予め登録されたユニホームデータ５０１と比較する。除外部２２４は、集計対象候補である人物にユニホームデータ５０１に該当する人物が含まれていると判定すると、その人物を集計対象候補から除外する。

このように、人数集計装置２００Ｂは、カメラ２１〜２３に映る映像の中に、展示ブース３１の来場者と無関係な人物を集計対象から除外することができる。

（実施形態４）
つぎに、実施形態４について説明する。図８は、人数集計装置２００Ｃの構成を示す図である。人数集計装置２００Ｃは、実施形態１の人数集計装置２００の構成に加え、さらに情報分析部２８０を備える。なお、人数集計装置２００Ｃは、実施形態２又は実施形態３と組み合わせた構成としてもよい。また、本実施形態の説明において、実施形態１乃至実施形態３と同様の構成については、同一の符号を付し、その説明を省略又は簡略化する。

情報分析部２８０は、記憶媒体２５に記憶されたデータ、又は、カウント判定部２３０が出力するカウント結果に基づいて分析処理を行う。

記憶媒体２５に記憶されたデータを分析処理する場合、情報分析部２８０は、まず、記憶媒体２５からカメラ映像と対応して記憶された日付、時刻、現在客数及びカメラの識別情報等のデータを取得する。情報分析部２８０は、日単位や時間単位の合計客数、最大客数、最低客数及び平均客数等をカメラ２１〜２３別に計算するとともに全カメラ２１〜２３の分を合わせて計算し、その分析結果を画像合成部２５０を介して表示部２４に表示させる。

図９は、表示部２４の表示画面２４ｂに表示される日単位の分析結果を示す図である。表示画面２４ｂの上方には、カメラ２１〜２３別に、日付毎の合計客数のグラフ２４１ａ〜２４３ａと、所定期間における最大客数を記録した月日２４７ａと、最低客数を記録した月日２４８ａと、平均客数２４９ａとが表示される。また、表示画面２４ｂの下方には、全カメラ２１〜２３の日付毎の合計客数のグラフ２０ａと、最大客数を記録した月日２４７ｂと、最低客数を記録した月日２４８ｂと、平均客数２４９ｂとが表示される。

図１０は、表示部２４の表示画面２４ｃに表示させた曜日単位の分析結果を示す図である。情報分析部２８０は、記憶媒体２５から取得したデータを、曜日別に計算し、その計算結果を表示部２４の表示画面２４ｃに表示させることができる。表示画面２４ｃの上方には、カメラ２１〜２３別に、曜日毎の合計客数のグラフ２４１ｃ〜２４３ｃと、所定期間における最大客数を記録した曜日２４７ｃと、最低客数を記録した曜日２４８ｃとが表示される。また、表示画面２４ｃの下方には、全カメラ２１〜２３の曜日毎の合計客数のグラフ２０ｃと、最大客数を記録した曜日２４７ｄと、最低客数を記録した曜日２４８ｄとが表示される。

図８のカウント判定部２３０から出力されるカウント結果を直接分析する場合、情報分析部２８０は、カメラ２１〜２３が撮影している区域が混雑しているか否か判定し、その分析結果を表示させることができる。まず、情報分析部２８０は、カウント判定部２３０からカメラ映像２４１〜２４３に含まれるリアルタイムの現在人数をカウント結果として取得する。情報分析部２８０は、例えば、カメラ映像２４１〜２４３毎の現在客数２４４が予め定めた第三閾値以上である場合に、混雑していると判定する。情報分析部２８０は、いずれかのカメラ映像２４１〜２４３が混雑しているかを判定して、その結果をカメラ２１〜２３の識別情報とともに分析結果として画像合成部２５０に送る。画像合成部２５０は、カメラ映像２４１〜２４３に判定結果を重畳させる。

なお、カメラ映像２４１〜２４３の第三閾値等の混雑度（人数の多さ）の判断基準は、ユーザが予め設定することができる。また、第三閾値は、複数の値を設定することができ、情報分析部２８０は、現在客数２４４の人数に応じて、混雑度を多段階に評価した結果を分析結果として画像合成部２５０に送ることができる。

図１１は、表示画面２４ｄに表示される混雑度の分析結果を示す図である。表示画面２４ｄの上方には、カメラ２１〜２３毎のカメラ映像２４１〜２４３が表示される。また、表示画面２４ｄの下方には、カメラ２１〜２３毎の現在客数２４４、合計客数２４５、最大客数２４６が表示される。本図では、二番目のカメラ２２が混雑していると判断したため、カメラ映像２４２に＜混雑＞の表示６１を重畳させている。

本実施形態の人数集計システム１００Ｃは、来場者に関する統計的な情報を得ることができるため、接待員等を何処にどの程度配置すればよいか容易に予測することができる。また、カメラ２１〜２３に撮影された区域の混雑度をリアルタイムで表示することが可能なため、接待員の緊急増員などの対応を容易に行うことができる。

なお、記憶媒体２５に記憶されたデータ及びカウント判定部２３０が出力カウント結果のいずれのデータを分析させるかは、ユーザが予め設定することできる。また、人数集計システム１００Ｃは、記憶媒体２５に記憶されたデータ及びカウント判定部２３０の出力カウント結果を用いた分析処理を常時行っておき、ユーザに必要な分析結果を閲覧させてもよい。また、人数集計システム１００Ｃは、分析結果を再度カメラ映像と紐づけて記憶媒体２５に記憶させてもよいし、外部機器に出力してその外部機器の制御情報として利用させてもよい。

以上、各実施形態の人数集計システム１００，１００Ａ〜１００Ｃの人数集計方法によると、展示ブース３１等への来場者、来客者、通行者、滞在者等の集計対象の人物に関する情報を簡易な構成で正確に集計することができる。また、フィルタ部２３１による補正処理を行ったことにより、滞在する同一人物を異なる人物として重複カウントすること防止することができる。このように、簡易な構成で人物の集計を行い、人数集計システム１００，１００Ａ〜１００Ｃのユーザに対し、現場対応や分析に必要な情報を提供することができる。

なお、各実施形態の説明では、展示ブース３１に対する来場客を収集及び分析する例について説明したため、表示部２４の表示画面２４ａ〜２４ｄには、「現在客数」、「合計客数」、「最大客数」、「最低客数」及び「平均客数」に関する情報を表示させたが、用途に応じて「現在人数」、「合計人数」、「最大人数」、「最低人数」及び「平均人数」に関する情報として収集及び分析した結果を表示させることができる。

また、画像合成部２５０は、カメラ２１〜２３の映像フレーム、映像フレームを撮像した日付や時刻、映像フレーム内の現在人数、カメラ２１〜２３の識別情報、及び情報分析部２８０の分析結果のうち、一部又は全部を含む画像を合成して、表示部２４に表示させることができる。

本発明の実施形態における処理は、コンピュータに実現させることのできるプログラムとして、例えば磁気ディスク、光ディスク、半導体メモリ等の記憶媒体に書き込んだ状態で各種装置に適用する、或いは、通信媒体により伝送して各種装置に適用することも可能である。このように所望の記憶媒体に各実施形態で述べた各処理を記憶させ、他のコンピュータ等でプログラムを実行させることにより、各実施形態の装置を用いた場合と同様の作用効果が得られる。なお、コンピュータは、各実施形態で述べた装置に内蔵されたコンピュータに限定されるわけではなく、記憶媒体に記憶されたプログラムを読み取り可能であって、読み取ったプログラムに従って制御動作を行うＣＰＵ等の演算装置を備えているあらゆるコンピュータを含む。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２０ａ，２０ｃグラフ２１〜２３カメラ
２４表示部２４ａ〜２４ｄ表示画面
２５記憶媒体３０展示会場
３１展示ブース３２通路
６１表示
１００，１００Ａ〜１００Ｃ人数集計システム
２００，２００Ａ〜２００Ｃ人数集計装置
２１０カメラ映像集積部２２０，２２０Ｂ人抽出部
２２１向き識別部２２２指定領域分類部
２２３大小分類部２２４除外部
２３０カウント判定部２３１フィルタ部
２３２滞在時間計測部２４０時計部
２４１〜２４３カメラ映像２４１ａ〜２４３ａグラフ
２４１ｃ〜２４３ｃグラフ２４４現在客数
２４５合計客数２４６最大客数
２４７ａ月日２４７ｂ月日
２４７ｃ曜日２４７ｄ曜日
２４８ａ月日２４８ｂ月日
２４８ｃ曜日２４８ｄ曜日
２４９ａ平均客数
２５０画像合成部２６０記録制御部
２７０選択部２８０情報分析部
３０１〜３１０人物４００辞書データ
５００除外データ５０１ユニホームデータ
Ａ１指定領域Ａ２領域
ａ１〜ａ１０判定用領域ｃ１〜ｃ１０中心
ｆ１〜ｆ６フレームｆ１１〜ｆ６１フレーム

Claims

撮像部と、
人抽出部及びカウント判定部を有する人数集計装置と、
を備え、
前記人抽出部は、
前記撮像部より受信する映像のフレームから所定の向きの人物が存在するかを判定し、
前記人物が前記フレーム中の指定領域内に位置するかを判定し、
前記人物の中心座標と大きさを含む位置情報を判定して、
集計対象候補の人物を複数の前記フレーム毎に抽出し、
前記カウント判定部は、
複数の前記フレームのうち、前記集計対象候補の人物の抽出がされなかった前記フレームが有る場合、前の前記フレームで抽出された前記集計対象候補の人物と、後の前記フレームで抽出された前記集計対象候補の人物の前記位置情報の変化量が、予め定められた第一閾値未満である場合に、前記集計対象候補の人物の抽出がされなかった前記フレームに、前記前の前記フレーム又は前記後の前記フレームにおける前記集計対象候補の人物の前記位置情報を付加して補正し、
前記集計対象候補の人物を含む連続する前記フレームの数が予め定めた第二閾値より多い場合に、前記集計対象候補の人物を滞在していると判定して集計する、
ことを特徴とする人数集計システム。
前記人抽出部は、前記人物を、予め記憶された顔、上半身又は全身それぞれにおける右向き、左向き又は正面向きの第一特徴量とマッチングさせることにより前記人物が前記フレーム内に存在すると判定することを特徴とする請求項１に記載の人数集計システム。
前記人抽出部は、前記フレームに存在すると判定された前記人物を、予め定められた第二特徴量とマッチングした場合に前記集計対象候補から除外する除外部を備えることを特徴とする請求項１又は請求項２に記載の人数集計システム。
前記カウント判定部は、集計された前記集計対象候補の人物の現在人数及び増加人数をカウント結果として出力することを特徴とする請求項１乃至請求項３の何れかに記載の人数集計システム。
前記人数集計装置は、記憶部を有し、
前記記憶部は、累積人数が増加する毎に、前記フレームと、前記フレームを撮像した日付及び時刻と、前記フレーム内の現在人数と、前記撮像部の識別情報とを対応して記憶する、
ことを特徴とする請求項１乃至請求項４の何れかに記載の人数集計システム。
前記人数集計装置は、情報分析部を有し、
前記情報分析部は、前記記憶部に記憶された前記フレーム、前記日付、前記時刻、前記現在人数及び前記識別情報を取得し、時間単位、日単位又は曜日単位の、合計人数、最大人数、最低人数及び平均人数のいずれか一部又は全部を分析結果として求める、
ことを特徴とする請求項５に記載の人数集計システム。
前記人数集計装置は、情報分析部を有し、
前記情報分析部は、前記現在人数を予め定められた第三閾値と比較することにより、前記フレーム毎の混雑度を分析結果として求める、
ことを特徴とする請求項５に記載の人数集計システム。
前記人数集計システムは、表示部を備え、
前記人数集計装置は、画像合成部を有し、
前記画像合成部は、
前記撮像部の映像の前記フレームと、前記フレームを撮像した日付及び時刻と、前記フレーム内の現在人数と、前記識別情報と、前記分析結果とのうち、一部又は全部を含む画像を合成し、
前記表示部に前記画像を表示させる、
ことを特徴とする請求項６又は請求項７に記載の人数集計システム。
人数集計システムにおける人数集計方法であって、
前記人数集計システムは、
撮像手段と、
前記撮像手段より受信する映像のフレームから所定の向きの人物が存在するかを判定し、前記人物が前記フレーム中の指定領域内に位置するかを判定し、前記人物の中心座標と大きさを含む位置情報を判定して、集計対象候補の人物を複数の前記フレーム毎に抽出する人抽出手段と、
複数の前記フレームのうち、前記集計対象候補の人物の抽出がされなかった前記フレームが有る場合、前の前記フレームで抽出された前記集計対象候補の人物と、後の前記フレームで抽出された前記集計対象候補の人物の前記位置情報の変化量が、予め定められた第一閾値未満である場合に、前記集計対象候補の人物の抽出がされなかった前記フレームに、前記前の前記フレーム又は前記後の前記フレームにおける前記集計対象候補の人物の前記位置情報を付加して補正して、前記集計対象候補の人物を含む連続する前記フレームの数が予め定めた第二閾値より多い場合に、前記集計対象候補の人物を滞在していると判定して集計する、カウント判定手段と、
を備えることを特徴とする人数集計方法。
人数集計システムにおける人数集計結果の閲覧方法であって、
前記人数集計システムは、
撮像手段と、
前記撮像手段より受信する映像のフレームから所定の向きの人物が存在するかを判定し、前記人物が前記フレーム中の指定領域内に位置するかを判定し、前記人物の中心座標と大きさを含む位置情報を判定して、集計対象候補の人物を複数の前記フレーム毎に抽出する人抽出手段と、
複数の前記フレームのうち、前記集計対象候補の人物の抽出がされなかった前記フレームが有る場合、前の前記フレームで抽出された前記集計対象候補の人物と、後の前記フレームで抽出された前記集計対象候補の人物の前記位置情報の変化量が、予め定められた第一閾値未満である場合に、前記集計対象候補の人物の抽出がされなかった前記フレームに、前記前の前記フレーム又は前記後の前記フレームにおける前記集計対象候補の人物の前記位置情報を付加して補正し、前記集計対象候補の人物を含む連続する前記フレームの数が予め定めた第二閾値より多い場合に、前記集計対象候補の人物を滞在していると判定して集計して、集計された前記集計対象候補の人物の現在人数及び増加人数をカウント結果として出力するカウント判定手段と、
前記カウント結果、又は、前記カウント結果に基づく分析結果を表示させる表示手段と、
を備えることを特徴とする人数集計結果の閲覧方法。