JP5683663B1 - 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法 - Google Patents

滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法 Download PDF

Info

Publication number
JP5683663B1
JP5683663B1 JP2013201007A JP2013201007A JP5683663B1 JP 5683663 B1 JP5683663 B1 JP 5683663B1 JP 2013201007 A JP2013201007 A JP 2013201007A JP 2013201007 A JP2013201007 A JP 2013201007A JP 5683663 B1 JP5683663 B1 JP 5683663B1
Authority
JP
Japan
Prior art keywords
time
flow line
measurement area
residence time
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013201007A
Other languages
English (en)
Other versions
JP2015069279A (ja
Inventor
裕一 松本
裕一 松本
宏明 由雄
宏明 由雄
陽一 合田
陽一 合田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2013201007A priority Critical patent/JP5683663B1/ja
Priority to EP20140185804 priority patent/EP2854081A1/en
Priority to US14/496,051 priority patent/US10185965B2/en
Priority to CN201410505436.6A priority patent/CN104515503B/zh
Application granted granted Critical
Publication of JP5683663B1 publication Critical patent/JP5683663B1/ja
Publication of JP2015069279A publication Critical patent/JP2015069279A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201Market modelling; Market analysis; Collecting market data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

【課題】測定エリア内の動線が不完全な移動体でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができるようにする。【解決手段】移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置を、測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得部22と、この動線取得部により取得した動線が測定エリア内に欠落部分を有するか否かを判定する動線判定部26と、この動線判定部により、注目する移動体の動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の測定エリア内での移動に要した時間に基づいて、欠落部分を補償した滞留時間を取得する滞留時間取得部24と、を備えたものとする。【選択図】図5

Description

本発明は、人物などの移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法に関するものである。
店舗のレジカウンタでは、精算を望む顧客が増えると、顧客が並ぶ行列ができ、顧客を長時間待たせることになるが、顧客が行列に並んで精算が終わるまでに要した待ち時間を把握することができると、この待ち時間に基づいて、店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図ることができる。
このような顧客の待ち時間を把握するには、顧客が並ぶ行列ができる場所をカメラで撮像し、その映像内の人物が並ぶ範囲に測定エリアを設定して、その測定エリア内での滞留時間、すなわち人物が測定エリアに進入してから退出するまでに要した時間を測定すればよく、このような滞留時間を測定することに関連するものとして、従来、映像の複数のフレームの情報を総合的に判断して、顧客の移動経路を追跡する、すなわち顧客が移動した経路を表す動線(移動軌跡)を取得することで、店舗内での所要のエリアの滞留時間を人物ごとに算出する技術が知られている(特許文献1参照)。
特開2004−348618号公報
さて、複数の人物が並んで行列ができている状態では、人物同士が重なり合うことで、後側の人物が見えなくなる、いわゆるオクルージョンが発生しやすい状況となり、このようなオクルージョンが発生すると、人物検出の精度が低下することで、測定エリア内の動線が不完全となる、すなわち動線が測定エリア内で一部欠落した状態となる場合がある。この場合、動線に基づいて滞留時間を測定しても正確な滞留時間を取得することができないが、このような問題に関して、前記従来の技術は何の配慮もなされていない。
一方、測定エリア内の動線が不完全である場合には、測定対象から排除することも考えられ、これにより、誤った滞留時間で滞留状況が判断されることを避けることができる。ところが、滞留状況は特に混雑したときが重要であり、このような混雑した状況では、人物同士のオクルージョンが発生しやすく、測定エリア内の動線が不完全となる場合が多くなる。このため、測定エリア内の動線が不完全であることを理由に測定対象から排除していては、混雑した状況での滞留状況を的確に把握することができなくなる。このため、測定エリア内の動線が不完全な人物でも、適切な補償処理により、測定エリア内の動線が完全な状態に相当する滞留時間を取得することが望まれる。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、測定エリア内の動線が不完全な移動体でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができるように構成された滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法を提供することにある。
本発明の滞留時間測定装置は、移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得手段と、この動線取得手段により取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定する動線判定手段と、この動線判定手段により、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得する滞留時間取得手段と、を備えた構成とする。
また、本発明の滞留時間測定システムは、移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定システムであって、前記測定エリアを含む範囲を撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラの映像から移動体を検出して検出位置情報を出力する移動体検出手段と、前記検出位置情報に基づいて移動体ごとの動線を取得する動線取得手段と、この動線取得手段により取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定する動線判定手段と、この動線判定手段により、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得する滞留時間取得手段と、を備えた構成とする。
また、本発明の滞留時間測定方法は、移動体ごとに測定エリア内での滞留時間に関する測定を情報処理装置により行う滞留時間測定方法であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得するステップと、このステップにより取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定するステップと、このステップにより、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得するステップと、を有する構成とする。
本発明によれば、測定エリア内の動線が不完全な移動体でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができる。これにより、検出された全ての移動体について、大きな誤差を含まない滞留時間を取得することができる。このため、滞留状況の把握が特に重要となる混雑した状況で、滞留状況を的確に把握することができる。
本実施形態に係る滞留時間測定システムの全体構成図 店舗におけるカメラ1の設置状況を示す平面図 カメラ1の映像上に設定される測定エリアを説明する説明図 測定エリアでの人物および動線の状況を説明する説明図 PC3の概略構成を示す機能ブロック図 測定エリアに設定される測定開始ラインおよび測定終了ラインを説明する説明図 滞留時間代替処理が選択された場合にPC3で行われる処理の手順を示すフロー図 動線が測定エリア内の途中で出現する途中出現パターンの場合に滞留時間取得部24で行われる処理を説明する説明図 動線が測定エリア内の途中で消失する途中消失パターンの場合に滞留時間取得部24で行われる処理を説明する説明図 補償時間モデル生成部27で行われる処理を説明する説明図 滞留時間補償処理が選択された場合にPC3で行われる処理の手順を示すフロー図 測定エリアおよびグリッドの変形例を説明する説明図 統計情報を表形式で表示する例を説明する説明図 統計情報を画像で表示する例を説明する説明図 異なる条件で求められた統計情報を並べて表示する例を説明する説明図 異なる条件で求められた統計情報の差分を表示する例を説明する説明図 統計情報を画像で表現する場合の表現方法の別例を示す説明図 動線が測定エリア内で欠落する場合の別例を説明する説明図
前記課題を解決するためになされた第1の発明は、移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得手段と、この動線取得手段により取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定する動線判定手段と、この動線判定手段により、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得する滞留時間取得手段と、を備えた構成とする。
これによると、測定エリア内の動線が不完全な移動体でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができる。これにより、検出された全ての移動体について、大きな誤差を含まない滞留時間を取得することができる。このため、滞留状況の把握が特に重要となる混雑した状況で、滞留状況を的確に把握することができる。
また、第2の発明は、前記動線判定手段は、前記測定エリアの外周に設定された測定開始ラインおよび測定終了ラインの少なくともいずれか一方と前記動線とが交差していない場合に、その動線が前記測定エリア内に欠落部分を有するものと判定する構成とする。
これによると、測定開始ラインおよび測定終了ラインと動線との交差状況を見るだけで済むため、動線が測定エリア内に欠落部分を有するか否かの判定を簡単に行うことができる。
また、第3の発明は、複数の移動体の前記測定エリア内での移動に要した時間を収集して、前記欠落部分に相当する補償時間が前記欠落部分の位置に応じて設定された学習モデルを生成する学習モデル生成手段をさらに備え、前記滞留時間取得手段は、前記学習モデルに基づいて前記欠落部分の位置から前記補償時間を求めて、この補償時間に基づいて前記欠落部分を補償した滞留時間を取得する構成とする。
これによると、欠落部分に相当する補償時間に関する学習モデルを生成して、その学習モデルに基づいて補償時間を求めるため、精度の高い滞留時間を取得することができる。
また、第4の発明は、前記動線判定手段は、動線が前記測定エリア内の途中で出現する途中出現パターンであるか否かを判定し、前記学習モデル生成手段は、動線が前記途中出現パターンである場合について、前記測定エリアに進入してから前記測定エリア内の各位置に到達するまでに要した時間を前記補償時間とした前記学習モデルを生成し、前記滞留時間取得手段は、動線が前記途中出現パターンである場合に、前記学習モデルに基づいて動線の始点の位置から前記補償時間を求める構成とする。
これによると、動線が測定エリア内の途中で出現する途中出現パターンの場合の補償時間を簡単にかつ精度よく取得することができる。
また、第5の発明は、前記動線判定手段は、動線が前記測定エリア内の途中で消失する途中消失パターンであるか否かを判定し、前記学習モデル生成手段は、動線が前記途中消失パターンである場合について、前記測定エリア内の各位置から前記測定エリアを退出するまでに要した時間を補償時間とした前記学習モデルを生成し、前記滞留時間取得手段は、動線が前記途中消失パターンである場合に、前記学習モデルに基づいて動線の終点の位置から前記補償時間を求める構成とする。
これによると、動線が測定エリア内の途中で消失する途中消失パターンの場合の補償時間を簡単にかつ精度よく取得することができる。
また、第6の発明は、前記測定エリアは、複数の分割領域に分割され、前記学習モデル生成手段は、複数の移動体の前記測定エリア内での移動に要した時間を前記分割領域単位で収集して、前記分割領域ごとの補償時間が設定された前記学習モデルを生成し、前記滞留時間取得手段は、前記学習モデルに基づいて前記欠落部分が存在する前記分割領域の位置から前記補償時間を求める構成とする。
これによると、学習モデルの生成が容易になり、また、実用上十分な精度で滞留時間を取得することができる。
また、第7の発明は、前記学習モデル生成手段は、前記学習モデルを時間帯ごとに生成し、前記滞留時間取得手段は、該当する時間帯の前記学習モデルに基づいて、前記補償時間を求める構成とする。
これによると、時間帯に応じて異なる測定エリア内での移動体の移動状況が反映された補償時間を求めることができるため、補償時間の精度を高めることができる。
また、第8の発明は、前記滞留時間取得手段は、動線が前記測定エリア内に欠落部分を有するものと判定された移動体の滞留時間を、動線が前記測定エリア内に欠落部分を有しない他の移動体の滞留時間で代替する構成とする。
これによると、注目する移動体の滞留時間を他の移動体の滞留時間で代替するだけで済むため、滞留時間を取得する処理が容易になる。
また、第9の発明は、前記滞留時間取得手段は、動線が前記測定エリア内に欠落部分を有するものと判定された移動体の滞留時間を、動線が前記測定エリア内に欠落部分を有しない他の移動体の中で時間的に最も近接する移動体の滞留時間で代替する構成とする。
これによると、注目する移動体に時間的に最も近接する移動体は、注目する移動体と類似した状況にあり、注目する移動体と近い滞留時間となる可能性が高いため、注目する移動体の滞留時間を時間的に最も近接する移動体の滞留時間で代替することにより、精度の高い滞留時間を取得することができる。
また、第10の発明は、前記滞留時間取得手段で取得した移動体ごとの滞留時間を蓄積する蓄積手段と、この蓄積手段に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理手段と、前記統計情報を含む出力情報を生成する出力情報生成手段と、をさらに備えた構成とする。
これによると、滞留時間の時間的推移状況をユーザが把握することができる。
また、第11の発明は、前記出力情報生成手段は、前記測定エリアを含む映像上に前記統計情報を表す画像を重畳して表示した表示画像に関する前記出力情報を生成する構成とする。
これによると、測定エリアでの移動体の滞留状況を、測定エリアの映像に映った実際の移動体の状況と比較しながら確認することができる。
また、第12の発明は、前記表示画像では、前記統計情報の数値の大きさが、前記統計情報を表す画像の大きさ、色合いおよび色の濃さの少なくともいずれかで表現されている構成とする。
これによると、統計情報の数値の大きさを一目で把握することができる。特に、複数種類の統計情報の各々を画像の異なる属性で表現するようにすると、1つの画像で複数種類の統計情報を表現することができるため、測定エリアを含む映像上に統計情報を表す画像を重畳して表示する場合に、表示画面を見やすくすることができる。
また、第13の発明は、前記統計処理手段は、前記移動体ごとの滞留時間から、前記統計情報として単位時間ごとの滞留時間を求め、前記出力情報生成手段は、前記単位時間ごとの滞留時間を時系列で並べた前記出力情報を生成する構成とする。
これによると、単位時間ごとの滞留時間が時系列で並べて出力されるため、滞留時間の時間的推移状況を一目で把握することができ、また、単位時間ごとの滞留状況を簡単に比較することができる。
また、第14の発明は、前記統計処理手段は、異なる条件で求められた前記統計情報の差分を取得し、前記出力情報生成手段は、前記統計情報の差分を含む前記出力情報を生成する構成とする。
これによると、異なる条件で求められた統計情報の差分が出力されるため、条件が異なる場合の移動体の滞留状況の相違を一目で確認することができる。
また、第15の発明は、前記統計情報は、前記滞留時間の他に、前記測定エリア内に同時に滞留する移動体の個数を含む構成とする。
これによると、統計情報として、滞留時間の他に、測定エリア内に同時に滞留する移動体の個数が出力されるため、測定エリアでの移動体の滞留状況をより詳細に把握することができる。
また、第16の発明は、移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定システムであって、前記測定エリアを含む範囲を撮像するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記カメラの映像から移動体を検出して検出位置情報を出力する移動体検出手段と、前記検出位置情報に基づいて移動体ごとの動線を取得する動線取得手段と、この動線取得手段により取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定する動線判定手段と、この動線判定手段により、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得する滞留時間取得手段と、を備えた構成とする。
これによると、前記の第1の発明と同様に、測定エリア内の動線が不完全な移動体でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができる。
また、第17の発明は、移動体ごとに測定エリア内での滞留時間に関する測定を情報処理装置により行う滞留時間測定方法であって、前記測定エリアを含む映像から検出された移動体ごとの動線を取得するステップと、このステップにより取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定するステップと、このステップにより、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得するステップと、を有する構成とする。
これによると、前記の第1の発明と同様に、測定エリア内の動線が不完全な移動体でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
図1は、本実施形態に係る滞留時間測定システムの全体構成図である。この滞留時間測定システムは、スーパーマーケットなどの小売店舗などを対象にして構築されるものであり、カメラ1と、レコーダ(映像記録装置)2と、PC(滞留時間測定装置)3と、移動体追跡装置(移動体検出手段)4と、を備えている。
カメラ1は店舗内の適所に設置され、カメラ1により店舗内の監視エリアが撮像され、これにより得られた映像情報がレコーダ2に録画される。
PC3には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス6と、監視画面を表示するモニタ(表示装置)7とが接続されている。なお、タッチパネルディスプレイで、入力デバイス6およびモニタ7を構成してもよい。
このPC3は、店舗の警備室などに設置され、監視者(警備員)が、モニタ7に表示される監視画面で、カメラ1で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の映像を閲覧することができる。
なお、本部に設けられたPC11にも図示しないモニタが接続され、カメラ1で撮像された店舗内の映像をリアルタイムで閲覧し、また、レコーダ2に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。
移動体追跡装置4では、カメラ1の撮影映像から人物(移動体)を検出して、人物ごとの追跡情報(検出位置情報)を出力する。この移動体追跡処理は、公知の画像認識技術(人物検出技術および人物追跡技術など)を利用すればよい。
図2は、店舗におけるカメラ1の設置状況を示す平面図である。店舗内には商品陳列棚およびレジカウンタが設けられており、レジカウンタを撮像するようにカメラ1が設置されている。顧客は、商品陳列棚で所望の商品を入手してレジカウンタで精算を行い、商品陳列棚が設けられた商品陳列エリアからレジカウンタに進入し、精算が終わるとレジカウンタから退出する。カメラ1は、レジカウンタに進入する顧客を正面から撮像し、カメラ1の映像から人物検出を行うことができる。
図3は、図2に示したカメラ1の映像上に設定される測定エリアを説明する説明図である。カメラ1の映像には、レジカウンタで精算を行う人物および精算待ちで行列に並ぶ人物が映り、これらの人物は、カメラ1から離れた奥側からレジカウンタに進入してカメラ1に近接する手前側から退出する。そこで、本実施形態では、レジカウンタで人物が行列に並んで精算が終わるまでに要した待ち時間を把握するために、レジカウンタで人物が移動する領域に測定エリアを設定して、この測定エリア内での滞留時間を人物ごとに測定する。
図4は、図3に示した測定エリアでの人物および動線の状況を説明する説明図であり、図4(A−1),(B−1),(C−1)に人物の状況を示し、図4(A−2),(B−2),(C−2)に動線の状況を示す。
図4(A−1)に示すように、注目人物が測定エリアに進入してから測定エリアを退出するまで継続して人物が検出されると、図4(A−2)に示すように、測定エリアに進入してから測定エリアを退出するまで連続した完全な動線を取得することができる。
ところが、顧客が精算のためにレジカウンタに並んだ状態では、人物同士が重なり合うことで、後側の人物が見えなくなる、いわゆるオクルージョンが発生しやすい状況となり、このようなオクルージョンが発生すると、人物検出の精度が低下することで、測定エリア内の動線が不完全となる、すなわち動線が測定エリア内で一部欠落した状態となる場合がある。
すなわち、図4(B−1)に示すように、注目人物が測定エリアに進入する直前に人物同士のオクルージョンが発生して、注目人物の検出ができないまま注目人物が測定エリアに進入した後、測定エリア内の途中で注目人物が検出されると、図4(B−2)に示すように、注目人物の動線が測定エリア内の途中で出現する。この場合、注目人物が測定エリアに進入した時刻から、動線の始点の時刻、すなわち注目人物が検出されるまでの時間が滞留時間から失われる。
また、図4(C−1)に示すように、注目人物が測定エリア内に進入した後に人物同士のオクルージョンが発生して注目人物の検出が失敗し、そのまま注目人物が測定エリアから退出すると、図4(C−2)に示すように、注目人物の動線が測定エリア内の途中で消失する。この場合、注目人物の動線の終点の時刻、すなわち注目人物の検出が失敗してから、注目人物が測定エリアから退出する時刻までの時間が滞留時間から失われる。
このように動線が測定エリア内に欠落部分を有する状態となると、人物の測定エリア内での滞留時間を動線に基づいて正確に測定することができない。そこで、本実施形態では、人物ごとに測定エリア内での滞留時間を測定する滞留時間測定処理において、動線が測定エリア内に欠落部分を有するものと判定された場合に、その欠落部分を補償した滞留時間を取得する補償処理が行われる。
次に、図1に示したPC3で行われる滞留時間測定処理について説明する。図5は、PC3の概略構成を示す機能ブロック図である。
PC3は、追跡情報蓄積部21と、動線取得部(動線取得手段)22と、動線情報蓄積部23と、滞留時間取得部(滞留時間取得手段)24と、滞留時間蓄積部(蓄積手段)25と、を備えている。
追跡情報蓄積部21では、移動体追跡装置4から取得した追跡情報が蓄積される。なお、追跡情報には、カメラ1の映像の各フレームで検出された人物ごとの検出位置、および人物が検出されたフレームの撮像時刻から取得した人物ごとの検出時刻などに関する情報が含まれる。
動線取得部22では、測定エリアの映像から検出された人物ごとの動線を取得する処理が行われる。この動線取得処理は、移動体追跡装置4で生成した追跡情報に基づいて行われ、事後的な処理を行う場合には追跡情報蓄積部21から追跡情報を取得し、リアルタイムな処理を行う場合には移動体追跡装置4から追跡情報を取得する。この動線取得部22で取得した人物ごとの動線に関する情報は動線情報蓄積部23に蓄積される。動線情報には、移動ベクトル、ならびにその変化点の位置および時刻などに関する情報が含まれる。なお、本実施形態では、測定エリアの外周と動線との交差状況を判定するために、測定エリアの周辺部についても動線を取得する。
滞留時間取得部24では、動線取得部22で取得した人物ごとの動線情報に基づいて、人物ごとの測定エリア内での滞留時間を取得する処理が行われる。この滞留時間取得部24で取得した人物ごとの滞留時間は滞留時間蓄積部25に蓄積される。
また、PC3は、動線判定部(動線判定手段)26と、補償時間モデル生成部(学習モデル生成手段)27と、補償時間蓄積部28と、を備えている。
動線判定部26では、動線取得部22で取得した動線が測定エリア内に欠落部分を有するか否かを判定する処理が行われる。この動線判定部26で、人物の動線が測定エリア内に欠落部分を有するものと判定されると、滞留時間取得部24にて、欠落部分を補償した滞留時間を取得する処理が行われる。
補償時間モデル生成部27では、複数の人物の測定エリア内での移動に要した時間を収集して、動線の欠落部分に相当する補償時間が欠落部分の位置に応じて設定された補償時間モデル(学習モデル)を生成する処理が行われる。この補償時間モデル生成部27で生成した補償時間モデルは補償時間蓄積部28に蓄積される。
また、PC3は、測定条件設定部29と、補償方法設定部30と、を備えている。
測定条件設定部29では、ユーザの入力操作に応じて、測定エリアなどの測定条件を設定する処理が行われる。補償方法設定部30では、ユーザの入力操作に応じて、滞留時間取得部24にて欠落部分を補償した滞留時間を取得する際の補償方法を設定する処理が行われる。これらのユーザの入力操作はマウスなどの入力デバイス6を用いて行われる。
また、PC3は、統計処理部(統計処理手段)31と、画面生成部(出力情報生成手段)32と、を備えている。
統計処理部31では、滞留時間取得部24で取得した人物ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する処理が行われる。特に本実施形態では、人物ごとの滞留時間および滞留時刻から、統計情報として単位時間(例えば時間帯)ごとの滞留時間を求める処理が行われる。また、人物ごとの滞留時刻から、統計情報として所定時刻の滞留人数、すなわち測定エリア内に同時に滞留する人数を求める処理が行われる。
画面生成部32では、統計処理部31で生成した統計情報を含む出力情報として、統計情報をモニタ7に表示させるための画面情報を生成する処理が行われる。特に本実施形態では、統計処理部31から取得した統計情報、およびカメラ1またはレコーダ2からの映像情報に基づいて、測定エリアを含む映像上に統計情報を表す画像を重畳して表示した表示画像に関する画面情報を生成する。
なお、図5に示したPC3の各部は、PC3のCPUで滞留時間測定用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのPC3に予め導入して専用の装置として構成する他、汎用OS上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供されることも可能である。
次に、図5に示した動線判定部26で行われる処理について説明する。図6は、測定エリアに設定される測定開始ラインおよび測定終了ラインを説明する説明図である。
測定エリアの外周には測定開始ラインおよび測定終了ラインが設定されている。測定開始ラインは、人物の移動方向に基づいて、人物が測定エリアに進入する際に通過する可能性の高い外周部分に設定される。測定終了ラインは、人物が測定エリアから退出する際に通過する可能性の高い外周部分に設定される。図6に示す例では、矩形をなす測定エリアの互いに対向する2辺に測定開始ラインおよび測定終了ラインが設定されている。
この測定開始ラインおよび測定終了ラインは、ユーザの入力操作に応じて、測定条件設定部29において設定され、測定エリアの外周部に任意の範囲でユーザが設定することができる。なお、測定エリアも任意に設定することができる。例えば、銀行のATMコーナーでは、顧客の人数に応じて行列の並び方を変更する場合があるが、このような行列の並び方が変更されると、人物の移動方向が変化するため、行列の並び方に応じて測定開始ラインおよび測定終了ラインや測定エリアを変更する。
なお、測定開始ラインおよび測定終了ラインや測定エリアの指定は、カメラ1の映像をモニタ7に表示させて、入力デバイス6を操作してモニタ7の映像上で指定するようにするとよい。
動線判定部26では、図4に示したように、測定エリア内の動線が欠落部分を有するか否かを判定する処理が行われる。この動線欠落判定処理では、測定開始ラインおよび測定終了ラインの少なくともいずれか一方と動線が交差していない場合に、その動線が欠落部分を有するものと判定する。
すなわち、図4(B−2)に示したように、動線が測定エリア内の途中で出現する途中出現パターンの場合には、動線は測定開始ラインと交差せず、測定終了ラインと交差する。一方、図4(C−2)に示したように、動線が測定エリア内の途中で消失する途中消失パターンの場合には、動線は測定開始ラインと交差し、測定終了ラインと交差しない。これらの場合、動線が測定エリア内に欠落部分を有するものと判定する。
また、動線判定部26では、図4(B−2)に示した途中出現パターンと、図4(C−2)に示した途中消失パターンとを判別する。この判別処理は、動線が測定開始ラインおよび測定終了ラインのいずれと交差しないかで行うことができる。
次に、図5に示した滞留時間取得部24で行われる処理について詳しく説明する。
滞留時間取得部24では、動線判定部26にて動線が測定エリア内に欠落部分を有するものと判定された場合に、他の人物の測定エリア内での移動に要した時間に基づいて、欠落部分を補償した滞留時間を取得する処理が行われる。一方、動線が欠落部分を有しないものと判定された場合には、測定エリアに対する進入および退出に関する時間情報、具体的には測定エリアに対する進入時刻および退出時刻に基づいて滞留時間を取得する。
この滞留時間取得処理には、動線が測定エリア内に欠落部分を有しない他の人物の滞留時間で代替する滞留時間代替処理と、学習により取得した補償時間モデルに基づいて、動線の欠落部分の位置から欠落部分に相当する補償時間を求めて滞留時間を取得する補償時間モデル処理とがあり、これらの処理がユーザの選択操作に応じて選択的に実行される。
まず、滞留時間取得部24で行われる滞留時間代替処理について説明する。滞留時間取得部24では、滞留時間代替処理が選択された場合に、動線判定部26にて注目する人物の動線が測定エリア内に欠落部分を有するものと判定されると、その人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の滞留時間で代替する処理が行われる。
特に本実施形態では、滞留時間取得部24において、注目する人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の中で、時間的に最も近接する人物の滞留時間で代替する処理が行われる。すなわち、動線情報蓄積部23から人物ごとの動線情報を取得して、注目する人物の滞留時刻の前後で、滞留時刻が最も近くかつ動線が測定エリア内に欠落部分を有しない人物を検索し、その人物の滞留時間を注目する人物の滞留時間に設定する。なお、滞留時刻は、測定エリアに対する進入時刻および退出時刻であり、この進入時刻および退出時刻の双方を見て、滞留時刻が最も近い人物を選択すればよい。
図7は、滞留時間代替処理が選択された場合にPC3で行われる処理の手順を示すフロー図である。
PC3では、まず、移動体追跡装置4から注目人物の追跡情報を取得し(ST101)、その注目人物の追跡情報が追跡情報蓄積部21に蓄積される。そして、動線取得部22にて、注目人物の追跡情報に基づいて注目人物の動線を取得する処理が行われ(ST102)、注目人物の動線情報が動線情報蓄積部23に蓄積される。ついで、動線判定部26にて、注目人物の動線が測定エリア内に欠落部分を有するか否かを判定する動線欠落判定が行われる(ST103)。
この動線欠落判定(ST103)で、注目人物の動線が測定エリア内に欠落部分を有するものと判定されると(ST103でYES)、滞留時間取得部24にて、動線情報蓄積部23に蓄積された人物ごとの動線情報から、代替条件に該当する他の人物、すなわち時間的に最も近接しかつ動線が測定エリア内に欠落部分を有しない他の人物の滞留時間を取得し(ST104)、ここで取得した滞留時間を注目人物の滞留時間に代替し(ST105)、その注目人物の滞留時間が滞留時間蓄積部25に蓄積される(ST106)。
一方、動線欠落判定(ST103)で、注目人物の動線が測定エリア内に欠落部分を有しないものと判定されると(ST103でNO)、滞留時間取得部24にて、測定エリアに対する進入時刻および退出時刻に基づいて滞留時間を算出する処理が行われ(ST107)、ここで取得した滞留時間が滞留時間蓄積部25に蓄積される(ST108)。
以上の処理は、対象となる全ての人物の処理が終了するまで繰り返される。
次に、図5に示した補償時間モデル生成部27および滞留時間取得部24で行われる処理について説明する。図8は、動線が測定エリア内の途中で出現する途中出現パターンの場合に滞留時間取得部24で行われる処理を説明する説明図である。図9は、動線が測定エリア内の途中で消失する途中消失パターンの場合に滞留時間取得部24で行われる処理を説明する説明図である。図8(A)および図9(A)には、測定エリア内での動線の状況を示し、図8(B)および図9(B)には、補償時間モデル生成部27で生成して滞留時間取得部24で用いられる補償時間モデルを示す。
測定エリア内での人物の移動速度は、一定ではなく、測定エリア内の位置に応じて異なる。すなわち、レジカウンタにおいて行列に並んだ人物は緩慢に移動し、精算を行っている人物は停止し、精算を終えた人物は素早く移動する。このため、動線の欠落部分に相当する補償時間は動線の欠落部分の位置に応じて異なる。
そこで、本実施形態では、補償時間モデル生成部27にて、複数の人物の測定エリア内での移動に要した時間を収集して、動線の欠落部分に相当する補償時間を欠落部分の位置に応じて設定した補償時間モデル(学習モデル)を生成する処理が行われ、滞留時間取得部24にて、補償時間モデルに基づいて動線の欠落部分の位置から補償時間を求めて、この補償時間に基づいて欠落部分を補償した滞留時間を取得する処理が行われる。
また、本実施形態では、測定エリアが、複数のグリッド(分割領域)に分割され、補償時間モデル生成部27では、複数の人物の測定エリア内での移動に要した時間をグリッド単位で収集して、グリッドごとの補償時間が設定された補償時間モデルを取得する処理が行われ、滞留時間取得部24では、補償時間モデルに基づいて欠落部分が存在するグリッドの位置から補償時間を求める処理が行われる。すなわち、欠落部分を含まないグリッドの通過時間を実測時間から取得し、欠落部分を含むグリッドの通過時間を補償時間モデルから取得し、両者を加算することで測定エリア全体の滞留時間を取得する。なお、補償時間モデルは、グリッドごとの補償時間を記載したテーブルで構成される。
次に、滞留時間取得部24で行われる補償時間モデル処理について詳しく説明する。ここで、動線が測定エリア内に欠落部分を有する場合としては、図8(A)に示すように、動線が測定エリア内の途中で出現する途中出現パターンと、図9(A)に示すように、動線が測定エリア内の途中で消失する途中消失パターンと、がある。
まず、図8(A)に示すように、人物の動線が測定エリア内の途中で出現する場合について説明する。この場合、補償時間モデルは、測定エリアに進入する、すなわち測定開始ラインを通過した時点から測定エリア内の各位置に到達するまでの所要時間を補償時間としたものとなり、滞留時間取得部24では、補償時間モデルに基づいて、動線の始点の位置から補償時間を求める処理が行われる。
特に本実施形態では、前記のように、グリッド単位で補償時間を求めるようにしており、補償時間モデルは、測定開始ラインを通過した時点から各グリッドを退出した時点までの所要時間を補償時間としたものとなる。したがって、補償時間は、欠落部分を含む1連のグリッドの通過時間を累積したものとなり、この補償時間モデルでは、図8(B)に示すように、測定開始ラインから離れるのに応じてグリッド(i,j)ごとの補償時間が次第に大きくなるように設定される。そして、滞留時間取得部24では、動線の始点が位置するグリッド以前の通過時間を補償時間モデルから取得し、動線の始点が位置するグリッドより後の通過時間は実測時間から取得する。
図8(A)に示した例では、動線の始点PsがグリッドG(3,2)に位置する。そこで、図8(B)に示す補償時間モデルに基づいて、動線の始点Psが位置するグリッドG(3,2)の補償時間Tc=8を求める。また、動線情報に基づいて、動線がグリッドG(3,2)を抜けた時点から測定終了ラインに到達するまでの実測時間Tmを求める。そして、グリッドG(3,2)の補償時間Tc=8を実測時間Tmに加算することにより、滞留時間を取得する。
次に、図9(A)に示したように、人物の動線が測定エリア内の途中で消失する途中消失パターンの場合について説明する。この場合、補償時間モデルは、測定エリア内の各位置から測定エリアを退出する、すなわち測定終了ラインに到達した時点までの所要時間を補償時間としたものとなり、滞留時間取得部24では、補償時間モデルに基づいて、動線の終点の位置から補償時間を求める処理が行われる。
特に本実施形態では、前記のように、グリッド単位で補償時間を求めるようにしており、補償時間モデルは、各グリッドに進入した時点から測定終了ラインに到達した時点までの所要時間を補償時間としたものとなる。したがって、補償時間は、欠落部分を含む1連のグリッドの通過時間を累積したものとなり、この補償時間モデルでは、図9(B)に示すように、測定終了ラインに近づくのに応じてグリッド(i,j)ごとの補償時間が次第に小さくなるように設定される。そして、滞留時間取得部24では、動線の終点が位置するグリッド以前の滞留時間を実測時間から取得し、動線の終点が位置するグリッドより後の滞留時間を補償時間モデルから取得する。
図9(A)に示した例では、動線の終点PeがグリッドG(3,2)に位置する。そこで、図9(B)に示した補償時間モデルに基づいて、動線の終点Peが位置するグリッドG(3,2)の補償時間Tcを求める。また、動線情報に基づいて、測定開始ラインを通過した時点からグリッドG(3,2)に進入した時点までの実測時間Tmを求める。そして、グリッドG(3,2)の補償時間Tc=7を実測時間Tmに加算することにより、滞留時間を取得する。
次に、図5に示した補償時間モデル生成部27で行われる処理について説明する。図10は、補償時間モデル生成部27で行われる処理、特に動線が測定エリア内の途中で出現する途中出現パターンに対応した補償時間モデルを生成する処理を説明する説明図である。
前記のように、補償時間モデル生成部27では、複数の人物の測定エリア内での移動に要した時間を収集して、動線の欠落部分に相当する補償時間が欠落部分の位置に応じて設定された補償時間モデル(学習モデル)を生成する処理が行われる。この処理は、欠落部分を有しない動線を対象にして行われる。
特に、図8に示したように、動線が測定エリア内の途中で出現する途中出現パターンについては、測定エリアに進入してから測定エリア内の各位置に到達するまでの所要時間、すなわち、測定開始ラインを通過した時点から各グリッドを退出した時点までの所要時間を、欠落部分のない動線を対象に収集して、その所要時間を平均化することで補償時間を取得する。
具体的には、図10に示すように、動線が通過したグリッドG(i,j)の各々について、測定開始ラインを通過した時点から、各グリッドG(i,j)を抜ける時点までの所要時間T(i,j)を算出し、この処理を欠落部分のない動線を対象にして繰り返し行い、グリッドG(i,j)ごとに所要時間T(i,j)が複数求められると、その所要時間T(i,j)をグリッドG(i,j)ごとに平均化することで補償時間を取得する。なお、所要時間T(i,j)が1つしか求められないグリッドG(i,j)では、その所要時間T(i,j)を補償時間とする。
このようにしてグリッドG(i,j)ごとの補償時間を取得するため、各グリッドG(i,j)を通過する動線のサンプル数が増えるほど、そのグリッドG(i,j)の補償時間の精度が向上する。一方、動線が全く通過しないグリッドG(i,j)では補償時間を取得することができず、また、グリッドG(i,j)を通過する動線のサンプル数が少ないと、そのグリッドG(i,j)の補償時間の精度は低くなるが、このようなグリッドG(i,j)はそもそも動線が通過する可能性が低いため、あまり問題とならない。
一方、図9に示したように、動線が測定エリア内の途中で消失する途中消失パターンに対応する補償時間モデルの生成処理は、図10に示した途中出現パターンの場合とは逆となる。すなわち、各グリッドに進入した時点から測定終了ラインに到達した時点までの所要時間を、欠落部分のない動線を対象に収集して、その所要時間を平均化することで補償時間を取得する。
ところで、この補償時間モデル生成処理には、各人物の処理を行いながら補償時間モデルを更新する随時更新モードと、一定の期間を対象にして動線が測定エリア内に欠落部分を有しない人物の動線情報に基づいて補償時間モデルを生成する一括生成モードとがある。
一括生成モードでは、例えば、1日分の追跡情報を処理して補償時間モデルを生成し、この補償時間モデルを用いて次の日以降の処理を行う。この場合、補償時間モデルが一旦生成されると、以降の処理では補償時間モデルの更新は行わない。
また、一括生成モードでは、人物ごとの滞留時刻に基づいて、補償時間モデルを時間帯ごとに生成するようにしてもよい。この場合、滞留時間取得部24では、該当する時間帯の補償時間モデルを用いて補償時間を取得する。例えば、1日の業務が終了すると、その1日分の動線情報から補償時間モデルを時間帯ごとに生成し、次の日の処理では該当する時間帯の補償時間モデルを用いて補償時間を取得する。この場合、補償時間モデルの生成処理では、グリッドごとの所要時間T(i,j)の収集を時間帯ごとに分けて行う。
なお、補償時間モデルは、測定条件、すなわち測定エリアや測定開始ラインおよび測定終了ラインが異なる場合に適用することは難しいため、測定開始ラインや測定開始ラインおよび測定終了ラインが変更されると、補償時間モデルも別に生成するようにするとよい。
図11は、滞留時間補償処理が選択された場合にPC3で行われる処理の手順を示すフロー図である。なお、この図11では、各人物の処理を行いながら補償時間モデルを更新する随時更新モードについて説明する。
PC3では、まず、移動体追跡装置4から注目人物の追跡情報を取得し(ST201)、その注目人物の追跡情報が追跡情報蓄積部21に蓄積される。そして、動線取得部22にて、注目人物の追跡情報に基づいて注目人物の動線を取得する処理が行われ(ST202)、注目人物の動線情報が動線情報蓄積部23に蓄積される。ついで、動線判定部26にて、注目人物の動線が測定エリア内に欠落部分を有するか否かを判定する動線欠落判定が行われる(ST203)。
この動線欠落判定(ST203)で、注目人物の動線が測定エリア内に欠落部分を有するものと判定されると(ST203でYES)、滞留時間取得部24にて、補償時間モデルを用いて補償時間を取得する処理が行われ(ST204)、ついで、取得した補償時間から注目人物の滞留時間を算出する処理が行われる(ST205)。そして、その注目人物の滞留時間が滞留時間蓄積部25に蓄積される(ST206)。
一方、動線欠落判定(ST203)で、注目人物の動線が測定エリア内に欠落部分を有しないものと判定されると(ST203でNO)、滞留時間取得部24にて、測定エリアに対する進入時刻および退出時刻に基づいて滞留時間を取得する処理が行われ(ST207)、ここで取得した滞留時間が滞留時間蓄積部25に蓄積される(ST208)。ついで、注目人物の動線情報に基づいて補償時間モデルを更新する処理が行われる(ST209)。
以上の処理は、対象となる全ての人物の処理が終了するまで繰り返される。
このように随時更新モードでは、欠落部分のない動線が見つかるたびに補償時間モデルを更新する処理が行われる。
ここで、随時更新モードでの補償時間モデルの更新処理の手順を説明すると、まず、欠落部分のない動線が見つかると、その動線が通過したグリッドごとの所要時間T(i,j)(図10参照)を算出して、その所要時間T(i,j)を補償時間として補償時間蓄積部28に蓄積する。次に欠落部分のない動線が見つかると、その動線が通過したグリッドごとの所要時間T(i,j)を算出し、既に所要時間T(i,j)が蓄積されたグリッドでは所要時間を平均化して新たな補償時間を取得して、グリッドごとの補償時間を更新する。この更新処理が欠落部分のない動線を取得するたびに繰り返される。
以上のように本実施形態では、測定エリア内の動線が不完全な人物でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができる。これにより、検出された全ての人物について、大きな誤差を含まない滞留時間を取得することができる。このため、滞留状況の把握が特に重要となる混雑した状況で、滞留状況を的確に把握することができる。また、滞留時間の時間的推移状況を把握したい場合に、実際に人物が測定エリア内に滞留しているにもかかわらず、滞留時間が表示されないという不自然な表示が行われることもなくなる。
また、本実施形態では、動線が測定エリア内に欠落部分を有するか否かの動線欠落判定が、測定開始ラインおよび測定終了ラインと動線との交差状況を見るだけで済むため、判定動線欠落判定を簡単に行うことができる。
また、本実施形態では、動線の欠落部分に相当する補償時間に関する補償時間モデルを学習により生成して、その補償時間モデルに基づいて補償時間を求める補償時間モデル処理を選択することができるようになっており、これを選択することで、精度の高い滞留時間を取得することができる。
また、本実施形態では、動線が測定エリア内の途中で出現する途中出現パターンについて、測定エリアに進入した時点から、測定エリア内の各位置に到達した時点、具体的には各グリッドを退出した時点までの所要時間を補償時間とした補償時間モデルを生成して、その補償時間モデルに基づいて、動線の始点の位置、具体的には動線の始点が存在するグリッドの位置から補償時間を求めるようにしたため、途中出現パターンの場合の補償時間を簡単にかつ精度よく取得することができる。
また、本実施形態では、動線が測定エリア内の途中で消失する途中消失パターンについて、測定エリア内の各位置、具体的には各グリッドに進入した時点から、測定エリアを退出した時点までの所要時間を補償時間とした補償時間モデルを生成して、その補償時間モデルに基づいて、動線の終点の位置、具体的には動線の終点が存在するグリッドの位置から補償時間を求めるようにしたため、途中消失パターンの場合の補償時間を簡単にかつ精度よく取得することができる。
また、本実施形態では、測定エリアを複数のグリッドに分割して、グリッドごとの補償時間を設定した補償時間モデルを生成し、この補償時間モデルに基づいて補償時間を求めるようにしたため、補償時間モデルの生成が容易になり、また、実用上十分な精度で滞留時間を取得することができる。
また、本実施形態では、補償時間モデルを時間帯ごとに生成して、該当する時間帯の補償時間モデルに基づいて補償時間を求めるようにしたため、時間帯に応じて異なる測定エリア内での人物の移動状況が反映された補償時間を求めることができるため、補償時間の精度を高めることができる。
また、本実施形態では、動線が測定エリア内に欠落部分を有するものと判定された人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の滞留時間で代替する滞留時間代替処理を選択することができるようになっており、これを選択すると、注目する人物の滞留時間を他の人物の滞留時間で代替するだけで済むため、滞留時間を取得する処理が容易になる。
特に、本実施形態では、動線が測定エリア内に欠落部分を有するものと判定された人物の滞留時間を、動線が測定エリア内に欠落部分を有しない他の人物の中で時間的に最も近接する人物の滞留時間で代替するようにしており、注目する人物に時間的に最も近接する人物は、注目する人物と類似した状況にあり、注目する人物と近い滞留時間となる可能性が高いため、注目する人物の滞留時間を時間的に最も近接する人物の滞留時間で代替することにより、精度の高い滞留時間を取得することができる。
また、本実施形態では、ユーザの入力操作に応じて、測定条件(測定エリアや測定開始ラインおよび測定終了ライン)、および補償方法(滞留時間代替処理および補償時間モデル処理)を設定するようにしたため、測定条件や補償方法をユーザが適宜に選択することができることから、ユーザの利便性を高めることができる。
図12は、測定エリアおよびグリッドの変形例を説明する説明図である。図8及び図9に示した例では、矩形状の測定エリアを設定して、その測定エリアを矩形状のグリッド(分割領域)に分割するようにしたが、測定エリアおよびグリッドの形状は矩形に限定されるものではなく、測定エリアの周辺の状況に応じて適宜な形状に設定すればよい。
図12に示す例では、測定エリアおよびグリッドが台形に設定されている。図2に示したように、レジカウンタに対してカメラ1を設置した場合、測定エリアに対して人物がカメラ1から離れた奥側から進入してカメラ1に近接する手前側から退出するが、映像内でカメラ1から離れた奥側の人物は小さく映り、カメラ1に近接する手前側の人物は大きく映る。そこで、図12に示した例では、測定エリアおよびグリッドが、人物の大きさに合わせて、奥側が小さく、手前側が大きくなるように台形状に設定されている。
なお、本実施形態では、測定エリアを格子状に分割してグリッド(分割領域)としたが、格子状に分割する構成に限定されるものではなく、測定エリアの内部の状況に応じて適宜な分割線で分割すればよい。また、測定エリアの分割数(分割領域の数)も適宜に設定すればよく、さらに、分割領域の大きさも均一に設定した構成に限定されるものではなく、測定エリアの内部の状況に応じて適宜な大きさに設定すればよい。
次に、図5に示した統計処理部31で行われる処理について説明する。統計処理部31では、人物ごとの滞留時間および滞留時刻に基づいて、時刻ごとの滞留時間を取得する処理が行われる。また、統計処理部31では、人物ごとの滞留時刻に基づいて、時刻ごとの滞留人数、すなわち測定エリア内に同時に存在する人物の数を取得する処理が行われる。
時刻ごとの滞留時間は、人物ごとの滞留時刻に基づいて人物ごとの滞留時間を時刻ごとに集計することで取得することができる。すなわち、人物ごとの滞留時刻から各時刻で測定エリアに滞留する人物を抽出し、該当する人物の滞留時間から時刻ごとの滞留時間を取得する。ここで、同一時刻に測定エリアに人物が複数存在する場合には各人物の滞留時間を平均化する。また、人物ごとの滞留時刻から各時刻で測定エリアに滞留する人物を抽出することで、時刻ごとの滞留人数を取得することができる。
なお、人物ごとの滞留時刻、すなわち、測定エリアに対する進入時刻および退出時刻は、動線情報蓄積部23に蓄積された人物ごとの動線情報から取得することができる。動線情報蓄積部23には、動線情報として、人物の位置が時刻に対応づけて蓄積されており、この動線情報から人物ごとの滞留時刻を取得することができる。
次に、統計処理部31で生成した統計情報の出力例について説明する。前記のように、統計処理部31では、滞留時間取得部24で取得した人物ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する処理が行われ、画面生成部32では、統計情報を表示する表示画面(表示画像)に関する画面情報を生成する処理が行われ、統計情報がモニタ7に表示される。以下にモニタ7に表示される統計情報の表示画面について説明する。
まず、統計情報を表形式で表示する例について説明する。図13は、統計情報を表形式で表示する例を説明する説明図である。
この図13に示す例では、指定された時刻の統計情報(滞留時間および滞留人数)が表形式で表示されている。特に、ここでは、4つのレジカウンタにそれぞれ測定エリアA〜Dが設定されており、各測定エリアA〜Dの度数(滞留人数)、滞留時間、および信頼度が表示されている。
ここで、信頼度は、滞留時間の確からしさを示すものであり、動線が測定エリア内に欠落部分を有するために補償処理(滞留時間代替処理および補償時間モデル処理)が行われた人物の人数Naの、動線が測定エリア内に欠落部分を有しない人物の人数Nbに対する割合であり、次式により求められる。
信頼度=Na/Nb×100
なお、次式のように、人数Naの総人数に占める割合としてもよい。
信頼度=Na/(Na+Nb)×100
なお、指定された時間帯の統計情報を表示するようにしてもよく、この場合、時刻ごとの滞留時間および滞留人数を平均化することで、時間帯ごとの滞留時間および滞留人数を取得することができる。
次に、統計情報を画像で表示する例について説明する。図14は、統計情報を画像で表示する例を説明する説明図である。
この図14に示す例では、測定エリアを含むカメラ1の映像41上に測定エリアを表す枠画像42および統計情報(滞留時間および滞留人数)を表す画像43が重畳して表示されている。また、統計情報を表す画像43は複数の測定エリアごとに並べて表示される。
統計情報を表す画像43では、統計情報の数値の大きさが、画像43の属性、すなわち大きさ、色合い(色相)および色の濃さ(濃度)の少なくともいずれかで表現される。特に、図14に示す例では、円形状の画像43の塗りつぶし色の濃さで滞留時間が表現され、画像43の大きさで滞留人数が表現されており、滞留時間が長いほど画像43の色が濃くなり、滞留人数が多いほど画像43が大きくなる。
特に本実施形態では、映像41を動画で表示することができるようになっており、統計情報を表す画像43は撮像時刻に対応する統計情報を表示し、動画の再生に伴って統計情報が変化するのに応じて統計情報を表す画像43が変化する。すなわち、動画が再生されるのに伴って滞留時間および滞留人数が変化するのに応じて、画像43の色の濃さおよび大きさが変化する。
なお、図14に示す例では、統計情報を表す画像43を透過状態で表示しており、このようにすると、映像41における統計情報を表す画像43で覆われた領域内に映る人物の状況も確認することができる。
このように本実施形態では、滞留時間に対して時間的な統計処理を行って統計情報を生成して、その統計情報を含む出力情報を出力するようにしたため、滞留時間の時間的推移状況をユーザが把握することができる。
また、本実施形態では、測定エリアを含む映像上に統計情報を表す画像を重畳して表示するようにしたため、測定エリアでの人物の滞留状況を、測定エリアの映像に映った実際の人物の状況と比較しながら確認することができる。特に、本実施形態では、複数の測定エリアごとに統計情報を表す画像が並べて表示されるため、各測定エリアでの人物の滞留状況を簡単に比較することができる。
また、本実施形態では、統計情報が統計情報を表す画像の属性、すなわち大きさ、色合いおよび色の濃さなどで表現されるため、統計情報の数値の大きさを一目で把握することができる。特に、複数種類の統計情報の各々を画像の異なる属性で表現するようにすると、1つの画像で複数種類の統計情報を表現することができるため、測定エリアを含む映像上に統計情報を表す画像を重畳して表示する場合に、表示画面を見やすくすることができる。
また、本実施形態では、統計情報として滞留時間および滞留人数が出力されるため、測定エリアでの人物の滞留状況をより詳細に把握することができる。特に、本実施形態では、滞留時間および滞留人数が、画像の2つの属性(大きさおよび色)で表現されるため、滞留時間および滞留人数を一目で把握することができる。
次に、異なる条件で求められた統計情報を並べて表示する例について説明する。図15は、異なる条件で求められた統計情報を並べて表示する例を説明する説明図である。
なお、この図15では、1つの時間帯(11時〜12時)のみに統計情報を表す画像を示しており、他の時間帯では統計情報を表す画像を省略しているが、これらの時間帯でも同様に統計情報を表す画像が表示される。また、統計情報の表示方法は図14に示した例と同様である。
この図15に示す例では、時間帯(単位時間)ごとの統計情報(滞留時間および滞留人数)が時系列で並べて表示されている。この場合、統計処理部31では、時刻ごとの統計情報を平均化することで、時間帯ごとの統計情報を生成する処理が行われ、画面生成部32では、時間帯ごとの統計情報を時系列で並べた画面情報を生成する処理が行われる。
このように本実施形態では、時間帯ごとの滞留時間および滞留人数が時系列で並べて出力されるため、滞留時間および滞留人数の時間的推移状況を一目で把握することができ、また、時間帯ごとの滞留状況を簡単に比較することができる。
なお、図14に示した例では、1時間単位の統計情報を表示するようにしたが、単位時間は1時間に限定されるものではなく、分単位、あるいは朝、昼、および夕の単位などで統計情報を表示するようにしてもよい。また、図13に示したように、統計情報を表形式で表示する場合に、図15に示した例と同様に、時間帯ごとの統計情報を並べて表示するようにしてもよい。
次に、異なる条件で求められた統計情報の差分を表示する例について説明する。図16は、異なる条件で求められた統計情報の差分を表示する例を説明する説明図である。なお、統計情報の表示方法は図14に示した例と同様である。
図16(A)に示す例では、異なる条件として、同一の店舗における2つの時間帯の統計情報の差分を表示するようにしている。特にここでは、朝および夜の2つの時間帯(11:00〜12:00と19:00〜20:00)の差分を表示しており、夜の時間帯(19:00〜20:00)を基準にした朝の時間帯(11:00〜12:00)の滞留状況を確認することができる。
図16(B)に示す例では、異なる条件として、2つの店舗における同一の時間帯の統計情報の差分を表示するようにしている。特にここでは、同一の時間帯(12:00〜13:00)における店舗Aの統計情報から店舗Bの統計情報を差し引いた差分を表示しており、店舗Bを基準にした店舗Aの滞留状況を確認することができる。
図16(C)に示す例では、異なる条件として、同一の店舗において異なる位置に設置された2つのカメラにそれぞれ対応する測定エリアに関する同一の時間帯の統計情報の差分を表示するようにしている。特にここでは、店舗Aの同一の時間帯(12:00〜13:00)におけるカメラAの統計情報からカメラBの統計情報を差し引いた差分を表示しており、カメラBを基準にしたカメラAの滞留状況を確認することができる。
この図16に示す各例の場合、統計処理部31では、異なる条件で求められた統計情報(滞留時間および滞留人数)の差分を取得する処理が行われ、画面生成部32では、統計処理部31で取得した統計情報の差分を表示する画面情報を生成する処理が行われる。
なお、図16に示した例と同様に、異なる条件で求められた統計情報の差分を、図13に示した例と同様に、表形式で表示するようにしてもよい。
このように本実施形態では、異なる条件で求められた統計情報の差分が出力されるため、条件が異なる場合の人物の滞留状況の相違を一目で確認することができる。
すなわち、図16(A)に示した例では、2つの時間帯における顧客の滞留状況の相違を一目で確認することができるため、時間帯ごとの改善事項を検討する上で有益な情報を得ることができ、また、図16(B)に示した例では、2つの店舗における顧客の滞留状況の相違を一目で確認することができるため、店舗ごとの改善事項を検討する上で有益な情報を得ることができ、図16(C)に示した例では、店舗内の別の位置に設置されたレジカウンタ群の滞留状況の相違を一目で確認することができるため、レジカウンタ群ごとの改善事項、例えば混雑時の顧客誘導などに関する改善事項を検討する上で有益な情報を得ることができる。
次に、統計情報を画像で表現する場合の表現方法の別例について説明する。図17は、統計情報を画像で表現する場合の表現方法の別例を示す説明図である。
図14に示した例では、測定エリアを含むカメラの映像41上に統計情報を表す画像43を重畳して表示し、特に統計情報(滞留時間および滞留人数)を円形の図形の画像43を用いて表現するようにしたが、この統計情報を表す画像43は、図形、文字および記号の少なくともいずれかからなるものであればよい。すなわち、円形以外の図形、例えば正方形の図形を用いるようにしてもよい。さらに、統計情報を表す画像43を、図形以外、例えば記号や文字で表現するようにしてもよい。
また、図14に示した例では、滞留時間の長さを画像43の塗りつぶしの色の濃さで表現し、滞留人数を画像43の大きさで表現するようにしたが、統計情報の数値の大きさを、統計情報を表す画像43の属性、すなわち画像43の大きさ、画像43の塗りつぶし色や画像43の輪郭線の色合いおよび色の濃さ、輪郭線の太さの少なくともいずれかで表現することができる。
例えば、図17(A),(B),(C)に示す例では、統計情報を表す画像43が正方形の図形からなっている。特に、図17(A)に示す例では、滞留時間の長さを正方形の塗りつぶしの色の濃さで表現し、図17(B)に示す例では、滞留時間の長さを正方形の輪郭線の太さで表現し、図17(C)に示す例では、滞留時間の長さを正方形の輪郭線の色の濃さで表現している。また、図17(A),(B),(C)に示す例では、滞留人数を正方形の大きさで表現している。なお、図17(A),(C)に示す例では、色の濃さの代わりに色合いで表現するようにしてもよい。
図17(D)に示す例では、統計情報を表す画像43が記号からなっており、特にここでは、滞留時間の長さを記号で表現し、滞留人数を記号の大きさで表現している。また、図17(E)に示す例では、統計情報を表す画像43が文字からなっており、特にここでは、滞留時間の長さを文字で表現し、滞留人数を文字の大きさで表現している。
次に、動線が測定エリア内で欠落する場合の別例について説明する。図18は、動線が測定エリア内で欠落する場合の別例を説明する説明図である。
本実施形態では、図8に示したように動線が測定エリア内の途中で出現する途中出現パターン、および図9に示したように動線が測定エリア内の途中で消失する途中消失パターンについて、補償時間モデルに用いて滞留時間を取得する補償時間モデル処理を行うようにしたが、図18に示すように、動線が欠落する形態は多様であり、以下に説明するように、動線の欠落のパターンに応じた処理を行うとよい。
図18(A)に示す例では、動線が測定エリア内の途中で消失した後に、同一の人物と認識される動線が測定エリア内の途中で出現している。この場合、動線が測定エリア内に欠落部分を有するが、測定エリアに対する進入時刻および退出時刻、すなわち動線が測定開始ラインおよび測定終了ラインとそれぞれ交差する時刻が明らかであり、これより求められる実測時間Tmが滞留時間となる。
一方、図18(B)に示す例では、動線が測定エリア内の途中で出現した後に測定エリア内の途中で消失している。この場合、欠落部分を含まないグリッドが存在し、この欠落部分を含まないグリッドの通過時間は、動線がグリッドの境界線と交差する時刻が明らかであるため、これに基づいて実測時間Tmを取得することができる。また、その前後の区間のうち、動線出現前の区間については図8に示した補償時間モデルから補償時間Tc1を取得することができ、動線消失後の区間については図9に示した補償時間モデルから補償時間Tc2を取得することができる。そして、実測時間Tmおよび補償時間Tc1,Tc2を加算することで滞留時間を取得することができる。
また、図18(C)に示す例では、動線が測定エリア内で出現および消失を繰り返している。この場合、動線が出現した後にグリッドの境界線と交差する時刻と、動線が測定終了ラインと交差する時刻が明らかであり、これより実測時間Tmが求められる。また、これより前の区間については図8に示した補償時間モデルから補償時間Tcを取得することができる。そして、実測時間Tmおよび補償時間Tcを加算することで滞留時間を取得することができる。
なお、図18(C)に示す例と動線の欠落状態が前後逆(図上で上下逆)となるパターンでも同様の手順で滞留時間を取得することができ、この場合、図9に示した補償時間モデルを用いればよい。
また、図18(D)に示す例では、図18(C)に示す例と同様に、動線が測定エリア内で出現および消失を繰り返しているが、動線がグリッドの境界線と交差する時刻に基づいて実測時間Tmを取得することができ、また、その前後の区間については、図18(B)に示した例と同様に、図8および図9に示した補償時間モデルから補償時間Tc1,Tc2を取得することができるため、実測時間Tmおよび補償時間Tc1,Tc2を加算することで滞留時間を取得することができる。
このように動線が欠落部分の前後で測定開始ラインや測定終了ラインあるいはグリッドの境界線と交差する点が複数存在する場合には、その間に欠落部分が存在しても、2点間の移動に要した実測時間を取得することができ、この実測時間を用いることで滞留時間を取得することができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、スーパーマーケットなどの小売店舗のレジカウンタを測定エリアとしたが、待ち行列の発生するような場所、例えば、銀行のATMコーナー、イベントや展示会などの各種の会場の入口ゲートや受付、展示パネル、展示ブース前などを測定エリアとすることも可能である。
また、本実施形態では、滞留時間の測定対象となる移動体を人物とした例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を対象として、駐車場に入場する車両の滞留状況を把握する用途に適用することも可能である。
また、本実施形態では、補償時間モデル生成部27にて、欠落部分のない動線を対象にして補償時間モデルを生成するようにしたが、欠落部分のある動線でも、欠落部分以外の動線部分からグリッドの通過時間を収集することができることから、欠落部分のある動線を、補償時間モデルの生成処理に利用するようにしてもよい。
また、本実施形態では、補償時間モデルを時間帯別に複数生成する例について説明したが、例えば曜日など、時間帯以外の条件で補償時間モデルを複数生成するようにしてもよい。特に、一定の期間の動線情報を対象にして補償時間モデルを生成する一括生成モードでは、動線のサンプル数が多くなるため、種々の条件による補償時間モデルを生成することができる。
また、本実施形態では、カメラ1とは別に移動体追跡装置4を設けたが、この移動体追跡装置の一部あるいは全部の機能をカメラ1に一体化して移動体追跡機能付き撮像装置として構成することも可能である。さらに、PC3の各部、例えば動線取得部22をカメラ1と一体に構成することも可能である。また、移動体追跡装置4をPC3で構成することも可能である。
また、本実施形態では、移動体追跡処理および滞留時間測定処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図1に示したように、本部に設けられたPC11や、クラウドコンピューティングシステムを構成するクラウドコンピュータ12に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で滞留時間測定システムが構成される。
このような構成では、店舗に設けられた装置に、少なくとも移動体検出処理および動線取得処理を行わせるようにするとよい。このように構成すると、移動体検出処理および動線取得処理で取得した情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたPC11に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ12に、少なくとも移動体検出処理および動線取得処理を行わせるようにしてもよい。このように構成すると、移動体検出処理および動線取得処理は演算量が大きくなるため、これをクラウドコンピューティングシステムを構成する情報処理装置に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ12に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも滞留時間の統計処理結果を出力する機能をクラウドコンピュータ12に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたPC3,11の他に、スマートフォン13などの携帯型端末でも滞留状況を確認することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で滞留状況を確認することができる。
また、本実施形態では、店舗に設置されたPC3のモニタ7に滞留時間の統計処理結果を出力するようにしたが、統計処理結果の閲覧装置をPC3とは別に設けることも可能であり、例えば、前記のように本部に設置されたPC11やスマートフォン13を統計処理結果の閲覧装置とする他に、店舗に設置された販売情報管理装置に統計処理結果の閲覧装置としての機能を付加することも可能である。また、統計処理結果をプリンタで出力することも可能である。
本発明にかかる滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法は、測定エリア内の動線が不完全な移動体でも、測定エリア内の動線が完全な状態に相当する滞留時間を取得することができる効果を有し、人物などの移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法などとして有用である。
1 カメラ
2 レコーダ
3 PC(滞留時間測定装置)
4 移動体追跡装置(移動体検出手段)
6 入力デバイス
7 モニタ
12 クラウドコンピュータ
13 スマートフォン
21 追跡情報蓄積部
22 動線取得部(動線取得手段)
23 動線情報蓄積部
24 滞留時間取得部(滞留時間取得手段)
25 滞留時間蓄積部(蓄積手段)
26 動線判定部(動線判定手段)
27 補償時間モデル生成部(学習モデル生成手段)
28 補償時間蓄積部
29 測定条件設定部
30 補償方法設定部
31 統計処理部(統計処理手段)
32 画面生成部(出力情報生成手段)

Claims (17)

  1. 移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定装置であって、
    前記測定エリアを含む映像から検出された移動体ごとの動線を取得する動線取得手段と、
    この動線取得手段により取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定する動線判定手段と、
    この動線判定手段により、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得する滞留時間取得手段と、
    を備えたことを特徴とする滞留時間測定装置。
  2. 前記動線判定手段は、前記測定エリアの外周に設定された測定開始ラインおよび測定終了ラインの少なくともいずれか一方と前記動線とが交差していない場合に、その動線が前記測定エリア内に欠落部分を有するものと判定することを特徴とする請求項1に記載の滞留時間測定装置。
  3. 複数の移動体の前記測定エリア内での移動に要した時間を収集して、前記欠落部分に相当する補償時間が前記欠落部分の位置に応じて設定された学習モデルを生成する学習モデル生成手段をさらに備え、
    前記滞留時間取得手段は、前記学習モデルに基づいて前記欠落部分の位置から前記補償時間を求めて、この補償時間に基づいて前記欠落部分を補償した滞留時間を取得することを特徴とする請求項1または請求項2に記載の滞留時間測定装置。
  4. 前記動線判定手段は、動線が前記測定エリア内の途中で出現する途中出現パターンであるか否かを判定し、
    前記学習モデル生成手段は、動線が前記途中出現パターンである場合について、前記測定エリアに進入してから前記測定エリア内の各位置に到達するまでに要した時間を前記補償時間とした前記学習モデルを生成し、
    前記滞留時間取得手段は、動線が前記途中出現パターンである場合に、前記学習モデルに基づいて動線の始点の位置から前記補償時間を求めることを特徴とする請求項3に記載の滞留時間測定装置。
  5. 前記動線判定手段は、動線が前記測定エリア内の途中で消失する途中消失パターンであるか否かを判定し、
    前記学習モデル生成手段は、動線が前記途中消失パターンである場合について、前記測定エリア内の各位置から前記測定エリアを退出するまでに要した時間を補償時間とした前記学習モデルを生成し、
    前記滞留時間取得手段は、動線が前記途中消失パターンである場合に、前記学習モデルに基づいて動線の終点の位置から前記補償時間を求めることを特徴とする請求項3または請求項4に記載の滞留時間測定装置。
  6. 前記測定エリアは、複数の分割領域に分割され、
    前記学習モデル生成手段は、複数の移動体の前記測定エリア内での移動に要した時間を前記分割領域単位で収集して、前記分割領域ごとの補償時間が設定された前記学習モデルを生成し、
    前記滞留時間取得手段は、前記学習モデルに基づいて前記欠落部分が存在する前記分割領域の位置から前記補償時間を求めることを特徴とする請求項3から請求項5のいずれかに記載の滞留時間測定装置。
  7. 前記学習モデル生成手段は、前記学習モデルを時間帯ごとに生成し、
    前記滞留時間取得手段は、該当する時間帯の前記学習モデルに基づいて、前記補償時間を求めることを特徴とする請求項3から請求項6のいずれかに記載の滞留時間測定装置。
  8. 前記滞留時間取得手段は、動線が前記測定エリア内に欠落部分を有するものと判定された移動体の滞留時間を、動線が前記測定エリア内に欠落部分を有しない他の移動体の滞留時間で代替することを特徴とする請求項1または請求項2に記載の滞留時間測定装置。
  9. 前記滞留時間取得手段は、動線が前記測定エリア内に欠落部分を有するものと判定された移動体の滞留時間を、動線が前記測定エリア内に欠落部分を有しない他の移動体の中で時間的に最も近接する移動体の滞留時間で代替することを特徴とする請求項8に記載の滞留時間測定装置。
  10. 前記滞留時間取得手段で取得した移動体ごとの滞留時間を蓄積する蓄積手段と、
    この蓄積手段に蓄積された移動体ごとの滞留時間に対して時間的な統計処理を行って統計情報を生成する統計処理手段と、
    前記統計情報を含む出力情報を生成する出力情報生成手段と、
    をさらに備えたことを特徴とする請求項1から請求項9のいずれかに記載の滞留時間測定装置。
  11. 前記出力情報生成手段は、前記測定エリアを含む映像上に前記統計情報を表す画像を重畳して表示した表示画像に関する前記出力情報を生成することを特徴とする請求項10に記載の滞留時間測定装置。
  12. 前記表示画像では、前記統計情報の数値の大きさが、前記統計情報を表す画像の大きさ、色合いおよび色の濃さの少なくともいずれかで表現されていることを特徴とする請求項10または請求項11に記載の滞留時間測定装置。
  13. 前記統計処理手段は、前記移動体ごとの滞留時間から、前記統計情報として単位時間ごとの滞留時間を求め、
    前記出力情報生成手段は、前記単位時間ごとの滞留時間を時系列で並べた前記出力情報を生成することを特徴とする請求項10から請求項12のいずれかに記載の滞留時間測定装置。
  14. 前記統計処理手段は、異なる条件で求められた前記統計情報の差分を取得し、
    前記出力情報生成手段は、前記統計情報の差分を含む前記出力情報を生成することを特徴とする請求項10から請求項13のいずれかに記載の滞留時間測定装置。
  15. 前記統計情報は、前記滞留時間の他に、前記測定エリア内に同時に滞留する移動体の個数を含むことを特徴とする請求項10から請求項14のいずれかに記載の滞留時間測定装置。
  16. 移動体ごとに測定エリア内での滞留時間を測定する滞留時間測定システムであって、
    前記測定エリアを含む範囲を撮像するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    前記カメラの映像から移動体を検出して検出位置情報を出力する移動体検出手段と、
    前記検出位置情報に基づいて移動体ごとの動線を取得する動線取得手段と、
    この動線取得手段により取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定する動線判定手段と、
    この動線判定手段により、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得する滞留時間取得手段と、
    を備えたことを特徴とする滞留時間測定システム。
  17. 移動体ごとに測定エリア内での滞留時間に関する測定を情報処理装置により行う滞留時間測定方法であって、
    前記測定エリアを含む映像から検出された移動体ごとの動線を取得するステップと、
    このステップにより取得した前記動線が前記測定エリア内に欠落部分を有するか否かを判定するステップと、
    このステップにより、注目する移動体の前記動線が前記測定エリア内に欠落部分を有するものと判定された場合に、他の移動体の前記測定エリア内での移動に要した時間に基づいて、前記欠落部分を補償した滞留時間を取得するステップと、
    を有することを特徴とする滞留時間測定方法。
JP2013201007A 2013-09-27 2013-09-27 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法 Active JP5683663B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013201007A JP5683663B1 (ja) 2013-09-27 2013-09-27 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
EP20140185804 EP2854081A1 (en) 2013-09-27 2014-09-22 Stay duration measurement device, stay duration measurement system and stay duration measurement method
US14/496,051 US10185965B2 (en) 2013-09-27 2014-09-25 Stay duration measurement method and system for measuring moving objects in a surveillance area
CN201410505436.6A CN104515503B (zh) 2013-09-27 2014-09-26 停留持续时间测量装置、测量系统及测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013201007A JP5683663B1 (ja) 2013-09-27 2013-09-27 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014092317A Division JP5789776B2 (ja) 2014-04-28 2014-04-28 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法

Publications (2)

Publication Number Publication Date
JP5683663B1 true JP5683663B1 (ja) 2015-03-11
JP2015069279A JP2015069279A (ja) 2015-04-13

Family

ID=51690203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013201007A Active JP5683663B1 (ja) 2013-09-27 2013-09-27 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法

Country Status (4)

Country Link
US (1) US10185965B2 (ja)
EP (1) EP2854081A1 (ja)
JP (1) JP5683663B1 (ja)
CN (1) CN104515503B (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016207193A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP2016207194A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
US10567677B2 (en) 2015-04-17 2020-02-18 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
US10621423B2 (en) 2015-12-24 2020-04-14 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
JP2020091649A (ja) * 2018-12-05 2020-06-11 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム
JP2020102135A (ja) * 2018-12-25 2020-07-02 清水建設株式会社 追跡システム、追跡処理方法、及びプログラム

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10339544B2 (en) * 2014-07-02 2019-07-02 WaitTime, LLC Techniques for automatic real-time calculation of user wait times
JP5866523B2 (ja) 2014-07-16 2016-02-17 パナソニックIpマネジメント株式会社 施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法
JP6380543B2 (ja) * 2014-09-19 2018-08-29 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
TWI537842B (zh) * 2014-09-30 2016-06-11 廣達電腦股份有限公司 人流計數系統
US10713670B1 (en) * 2015-12-31 2020-07-14 Videomining Corporation Method and system for finding correspondence between point-of-sale data and customer behavior data
CN105701687A (zh) * 2016-02-17 2016-06-22 网易传媒科技(北京)有限公司 基于用户行为的数据处理方法和装置
JP6631962B2 (ja) * 2016-03-25 2020-01-15 パナソニックIpマネジメント株式会社 監視装置及び監視システム
JP6516702B2 (ja) * 2016-05-24 2019-05-22 リズム時計工業株式会社 人数集計システム、人数集計方法、及び人数集計結果の閲覧方法
US10157476B1 (en) * 2017-06-15 2018-12-18 Satori Worldwide, Llc Self-learning spatial recognition system
WO2019003709A1 (ja) * 2017-06-30 2019-01-03 日本電気株式会社 情報処理装置、制御方法、及びプログラム
EP3487151A1 (en) * 2017-11-15 2019-05-22 Canon Kabushiki Kaisha Information processing apparatus, monitoring system, method, and non-transitory computer-readable storage medium
US11683578B2 (en) * 2018-01-29 2023-06-20 Nec Corporation Extraction of target person from image
CN109218669A (zh) * 2018-09-13 2019-01-15 北京工商大学 一种智能视频监控联动手机探测报警方法
US11704782B2 (en) * 2018-10-03 2023-07-18 The Toronto-Dominion Bank Computerized image analysis for automatically determining wait times for a queue area
WO2021214356A1 (es) * 2020-04-21 2021-10-28 Beabloo, S.L. Procedimiento para determinar la interacción entre personas en espacios
JP2022144490A (ja) * 2021-03-19 2022-10-03 東芝テック株式会社 店舗システム及びプログラム
US20230036521A1 (en) * 2021-07-30 2023-02-02 International Business Machines Corporation Image comparison to determine resource availability
TW202319957A (zh) * 2021-11-05 2023-05-16 華捷智能股份有限公司 影像辨識系統及影像辨識方法

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2119327A1 (en) * 1993-07-19 1995-01-20 David Crawford Gibbon Method and means for detecting people in image sequences
US5953055A (en) * 1996-08-08 1999-09-14 Ncr Corporation System and method for detecting and analyzing a queue
US6697104B1 (en) * 2000-01-13 2004-02-24 Countwise, Llc Video based system and method for detecting and counting persons traversing an area being monitored
US7319479B1 (en) * 2000-09-22 2008-01-15 Brickstream Corporation System and method for multi-camera linking and analysis
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US7424175B2 (en) * 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
JP4197858B2 (ja) * 2001-08-27 2008-12-17 富士通株式会社 画像処理プログラム
KR100459476B1 (ko) * 2002-04-04 2004-12-03 엘지산전 주식회사 차량의 대기 길이 측정 장치 및 방법
WO2003088157A1 (en) * 2002-04-08 2003-10-23 Newton Security Inc. Tailgating and reverse entry detection, alarm, recording and prevention using machine vision
US7003136B1 (en) * 2002-04-26 2006-02-21 Hewlett-Packard Development Company, L.P. Plan-view projections of depth image data for object tracking
JP2004178277A (ja) * 2002-11-27 2004-06-24 Toshiba Lighting & Technology Corp 売場計画支援システム
JP4125634B2 (ja) 2003-05-26 2008-07-30 Necソフト株式会社 顧客情報収集管理方法及びそのシステム
US7171024B2 (en) * 2003-12-01 2007-01-30 Brickstream Corporation Systems and methods for determining if objects are in a queue
ES2460866T3 (es) * 2004-11-02 2014-05-14 Tyco Fire & Security Gmbh Sistema y método de control de fila
US20090041297A1 (en) * 2005-05-31 2009-02-12 Objectvideo, Inc. Human detection and tracking for security applications
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US7596241B2 (en) * 2005-06-30 2009-09-29 General Electric Company System and method for automatic person counting and detection of specific events
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
JP4209413B2 (ja) * 2005-09-22 2009-01-14 東芝テック株式会社 顧客動向収集システムおよび顧客動向収集プログラム
JP2007215114A (ja) * 2006-02-13 2007-08-23 Sony Corp 撮像画像の歪み補正方法、撮像画像の歪み補正装置および撮像装置
JP4181584B2 (ja) * 2006-02-17 2008-11-19 株式会社コナミデジタルエンタテインメント 軌跡情報処理装置、軌跡情報処理方法、ならびに、プログラム
US8184154B2 (en) * 2006-02-27 2012-05-22 Texas Instruments Incorporated Video surveillance correlating detected moving objects and RF signals
KR101001060B1 (ko) * 2006-03-15 2010-12-14 오므론 가부시키가이샤 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체
CN101443789B (zh) * 2006-04-17 2011-12-28 实物视频影像公司 使用统计像素建模的视频分割
WO2007124138A2 (en) * 2006-04-18 2007-11-01 Sorensen Associates Inc Still image queue analysis system and method
US7983448B1 (en) * 2006-06-02 2011-07-19 University Of Central Florida Research Foundation, Inc. Self correcting tracking of moving objects in video
US20070282665A1 (en) * 2006-06-02 2007-12-06 Buehler Christopher J Systems and methods for providing video surveillance data
TW200822751A (en) * 2006-07-14 2008-05-16 Objectvideo Inc Video analytics for retail business process monitoring
US7930204B1 (en) * 2006-07-25 2011-04-19 Videomining Corporation Method and system for narrowcasting based on automatic analysis of customer behavior in a retail store
US8035691B2 (en) * 2006-08-01 2011-10-11 Pelco, Inc. Method and apparatus for compensating for movement of a video surveillance camera
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
WO2008100537A2 (en) * 2007-02-12 2008-08-21 Sorensen Associates Inc. Still image shopping event monitoring and analysis system and method
US8570373B2 (en) * 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
US8139818B2 (en) * 2007-06-28 2012-03-20 Toshiba Tec Kabushiki Kaisha Trajectory processing apparatus and method
JP2009110408A (ja) * 2007-10-31 2009-05-21 Toshiba Tec Corp 動線編集装置及び動線編集プログラム
US8107676B2 (en) * 2007-07-30 2012-01-31 International Business Machines Corporation Line length estimation
US8098888B1 (en) * 2008-01-28 2012-01-17 Videomining Corporation Method and system for automatic analysis of the trip of people in a retail space using multiple cameras
US10163113B2 (en) * 2008-05-27 2018-12-25 Qualcomm Incorporated Methods and apparatus for generating user profile based on periodic location fixes
US8009863B1 (en) * 2008-06-30 2011-08-30 Videomining Corporation Method and system for analyzing shopping behavior using multiple sensor tracking
US8885047B2 (en) * 2008-07-16 2014-11-11 Verint Systems Inc. System and method for capturing, storing, analyzing and displaying data relating to the movements of objects
DE102008041933A1 (de) * 2008-09-10 2010-03-11 Robert Bosch Gmbh Überwachungssystem, Verfahren zur Detektion und/oder Verfolgung eines Überwachungsobjektes und Computerprogrammen
US8570376B1 (en) * 2008-11-19 2013-10-29 Videomining Corporation Method and system for efficient sampling of videos using spatiotemporal constraints for statistical behavior analysis
JP4564564B2 (ja) * 2008-12-22 2010-10-20 株式会社東芝 動画像再生装置、動画像再生方法および動画像再生プログラム
JP4751442B2 (ja) * 2008-12-24 2011-08-17 株式会社東芝 映像監視システム
JP2010231629A (ja) * 2009-03-27 2010-10-14 Toshiba Tec Corp 店舗管理装置
DE102009028604A1 (de) * 2009-08-18 2011-02-24 Robert Bosch Gmbh Vorrichtung zur Erkennung einer Objektschlange, Verfahren sowie Computerprogramm
US8705793B2 (en) * 2009-10-08 2014-04-22 University Of Southern California Object tracking by hierarchical association of detection responses
JP5696903B2 (ja) * 2009-10-14 2015-04-08 日本電気株式会社 行動類型抽出システム、装置、方法、プログラムを記憶した記録媒体
US20110169917A1 (en) * 2010-01-11 2011-07-14 Shoppertrak Rct Corporation System And Process For Detecting, Tracking And Counting Human Objects of Interest
JP2011248836A (ja) * 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
JP5728871B2 (ja) * 2010-09-29 2015-06-03 大日本印刷株式会社 移動管理システム、情報処理装置、移動管理方法、プログラム
JP5597517B2 (ja) * 2010-10-25 2014-10-01 株式会社東芝 医用画像処理装置、医用画像撮影装置、及び医用画像処理プログラム
JP2012108748A (ja) * 2010-11-18 2012-06-07 Sony Corp データ処理装置、データ処理方法、およびプログラム
KR101312927B1 (ko) * 2011-06-03 2013-10-01 한국과학기술원 광고 제공 시스템
JP5741310B2 (ja) * 2011-08-10 2015-07-01 富士通株式会社 車列長測定装置、車列長測定方法及び車列長測定用コンピュータプログラム
US9367770B2 (en) * 2011-08-30 2016-06-14 Digimarc Corporation Methods and arrangements for identifying objects
JP2013075150A (ja) * 2011-09-15 2013-04-25 Canon Inc 被検体情報取得装置およびその制御方法
US9177195B2 (en) * 2011-09-23 2015-11-03 Shoppertrak Rct Corporation System and method for detecting, tracking and counting human objects of interest using a counting system and a data capture device
US9740937B2 (en) * 2012-01-17 2017-08-22 Avigilon Fortress Corporation System and method for monitoring a retail environment using video content analysis with depth sensing
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
US8989775B2 (en) * 2012-02-29 2015-03-24 RetailNext, Inc. Method and system for WiFi-based identification of person tracks
US9641763B2 (en) * 2012-08-29 2017-05-02 Conduent Business Services, Llc System and method for object tracking and timing across multiple camera views
CN103854273B (zh) * 2012-11-28 2017-08-25 天佑科技股份有限公司 一种近正向俯视监控视频行人跟踪计数方法和装置
JP5998945B2 (ja) * 2013-01-10 2016-09-28 富士通株式会社 滞在地点分析方法、滞在地点分析装置、及び滞在地点分析プログラム
JP5438861B1 (ja) * 2013-07-11 2014-03-12 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506989B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5506990B1 (ja) * 2013-07-11 2014-05-28 パナソニック株式会社 追跡支援装置、追跡支援システムおよび追跡支援方法
US20150134418A1 (en) * 2013-11-08 2015-05-14 Chon Hock LEOW System and Method for Providing Real-time Location Previews
US9940633B2 (en) * 2014-04-25 2018-04-10 Conduent Business Services, Llc System and method for video-based detection of drive-arounds in a retail setting
US9390329B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Method and system for automatically locating static occlusions
US9965684B2 (en) * 2014-12-18 2018-05-08 Sensormatic Electronics, LLC Method and system for queue length analysis

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10567677B2 (en) 2015-04-17 2020-02-18 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
US10602080B2 (en) 2015-04-17 2020-03-24 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
JP2016207193A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP2016207194A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
US10621423B2 (en) 2015-12-24 2020-04-14 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
US10956722B2 (en) 2015-12-24 2021-03-23 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
JP2020091649A (ja) * 2018-12-05 2020-06-11 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム
CN111353374A (zh) * 2018-12-05 2020-06-30 佳能株式会社 信息处理设备及其控制方法以及计算机可读存储介质
JP7299692B2 (ja) 2018-12-05 2023-06-28 キヤノン株式会社 画像処理装置、画像処理システム、画像処理装置の制御方法、及び、プログラム
JP2020102135A (ja) * 2018-12-25 2020-07-02 清水建設株式会社 追跡システム、追跡処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2015069279A (ja) 2015-04-13
US20150095107A1 (en) 2015-04-02
CN104515503B (zh) 2019-05-07
US10185965B2 (en) 2019-01-22
EP2854081A1 (en) 2015-04-01
CN104515503A (zh) 2015-04-15

Similar Documents

Publication Publication Date Title
JP5683663B1 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
JP5789776B2 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
US10180326B2 (en) Staying state analysis device, staying state analysis system and staying state analysis method
JP5597781B1 (ja) 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
CN105516648B (zh) 活动状况分析装置、活动状况分析系统及活动状况分析方法
CN105391973B (zh) 监控装置、监控系统及监控方法
JP5597762B1 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
US9794508B2 (en) Monitoring device, monitoring system, and monitoring method
JP5834249B2 (ja) 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
JP4876687B2 (ja) 注目度計測装置及び注目度計測システム
JP6008339B1 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
US10474972B2 (en) Facility management assistance device, facility management assistance system, and facility management assistance method for performance analysis based on review of captured images
US20150278588A1 (en) Person counting device, person counting system, and person counting method
US20160019664A1 (en) Facility utilization measurement apparatus, facility utilization measurement system, and facility utilization measurement method
JP4753975B2 (ja) 商品関心度計測装置
JP6226240B2 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
CN116471383A (zh) 无人值守商店监控界面的显示方法及装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150113

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250