JP5613815B1 - 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法 - Google Patents

Abstract

【課題】動線が一部欠落する状況でも、適切な補正を行うことで、精度の高いヒートマップを生成することができるようにする。
【解決手段】移動体検出処理により取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部２２と、そこで仕分けられた２種類の位置情報からそれぞれ、移動体の滞留頻度の分布状況を表す２つの比較用分布情報を生成して、その２つの比較用分布情報を比較する分布情報比較部２３と、その比較結果に基づいて、動線の欠落位置を検出する動線欠落位置検出部２４と、その検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部２５と、この補正分布情報生成部で生成された補正分布情報に基づいて、ヒートマップを生成するヒートマップ生成部２６と、を備えたものとする。
【選択図】図４

Description

本発明は、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法に関するものである。

店舗のレジカウンタでは、精算を望む顧客が増えると、精算待ちの行列ができて、顧客を長時間待たせることになるが、レジカウンタの周辺での顧客の滞留状況、すなわちレジカウンタの周辺で顧客がどの程度滞留しているかを把握することができると、この顧客の滞留状況に基づいて、店舗を運営する際の改善策を考えることで、顧客満足度の向上や店舗の効率的な運営を図ることができる。

このような人物の滞留状況に関連するものとして、従来、対象エリア内での人物の活動量の分布状況を可視化したヒートマップを生成する技術が知られている（特許文献１参照）。このようなヒートマップを利用すると、人物の滞留頻度（滞留人数）の分布状況、すなわち人物がどの領域にどの程度滞留しているかをユーザが一目で把握することができるため、ユーザの利便性を高めることができる。

特開２００９−１３４６８８号公報

さて、対象エリア内での人物の滞留頻度の分布状況を可視化したヒートマップを生成するには、対象エリア内の各領域での滞留頻度を求めて、その滞留頻度の分布状況を表す分布情報を生成する必要があり、対象エリア内の各領域での滞留頻度を求めるには、人物の検出位置を時系列で並べてできる動線を領域ごとにカウントすればよい。

一方、前記のように複数の人物が並んで行列ができている状態では、人物同士が重なり合うことで、後側の人物が見えなくなる、いわゆるオクルージョンが発生しやすい状況となり、このようなオクルージョンが発生すると、人物検出の精度が低下することで、人物の動線が一部欠落した状態となる場合がある。このように動線が一部欠落した状態となると、本来１本であるべき動線が欠落部分で２本の動線に分断されるため、滞留頻度の重複カウントやカウント漏れが発生して、正確な滞留頻度を取得することができなくなり、ヒートマップの精度が低下するという問題が生じる。

しかしながら、このような問題に関して、前記従来の技術は何の配慮もなされておらず、動線が一部欠落する状況でも、適切な補正により重複カウントやカウント漏れを解消して、精度の高いヒートマップを生成することができる技術が望まれる。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、動線が一部欠落する状況でも、適切な補正を行うことで、精度の高いヒートマップを生成することができるように構成された滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法を提供することにある。

本発明の滞留状況分析装置は、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析装置であって、移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部と、この位置情報仕分け部で仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出する動線欠落位置検出部と、この動線欠落位置検出部での検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部と、この補正分布情報生成部で生成された前記補正分布情報に基づいて、前記ヒートマップを生成するヒートマップ生成部と、を備えた構成とする。

また、本発明の滞留状況分析システムは、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリア内の移動体を検出してその位置情報を出力する移動体検出装置と、前記ヒートマップを表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部と、この位置情報仕分け部で仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出する動線欠落位置検出部と、この動線欠落位置検出部での検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部と、この補正分布情報生成部で生成された前記補正分布情報に基づいて、前記ヒートマップを生成するヒートマップ生成部と、を備えた構成とする。

また、本発明の滞留状況分析方法は、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる処理を情報処理装置により行う滞留状況分析方法であって、移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分けるステップと、このステップで仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出するステップと、このステップでの検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成するステップと、このステップで生成された前記補正分布情報に基づいて、前記ヒートマップを生成するステップと、を有する構成とする。

本発明によれば、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分けられた少なくとも２種類の位置情報から動線の欠落位置を簡単にかつ精度よく検出することができ、この検出結果に基づいて補正分布情報を生成することで、動線が一部欠落する状況でも、適切な補正が行われて、動線の欠落に起因する重複カウントやカウント漏れを解消して、精度の高いヒートマップを生成することができる。

本実施形態に係る滞留状況分析システムの全体構成図 店舗におけるカメラ１の設置状況を示す平面図 ＰＣ３で生成されてモニタ７に表示される領域分割ヒートマップを示す説明図 ＰＣ３の概略構成を示す機能ブロック図 ＰＣ３で行われる滞留状況分析処理の概要を説明する説明図 ＰＣ３で行われる滞留状況分析処理の手順を示すフロー図 ＰＣ３で行われる滞留状況分析処理の手順を示すフロー図 注目事象検知部３１で行われる混雑事象検知処理の概要を説明する説明図 注目事象検知部３１で行われる混雑事象検知処理の手順を示すフロー図 注目事象検知部３１で行われる行列事象検知処理の概要を説明する説明図 注目事象検知部３１で行われる行列事象検知処理の手順を示すフロー図 動線に欠落部分が発生する際の動線欠落パターンの例を説明する説明図 重複カウントが発生する動線欠落パターンの場合の第１の分布情報、第２の分布情報、および差分分布情報を示す説明図 重複カウントが発生する動線欠落パターンの場合に生成されるヒートマップを示す説明図 カウント漏れが発生する動線欠落パターンの場合の第１の分布情報、第２の分布情報、および差分分布情報を示す説明図 カウント漏れが発生する動線欠落パターンの場合に生成されるヒートマップを示す説明図 ＰＣ３で生成されてモニタ７に表示される地点間ヒートマップを説明する説明図

前記課題を解決するためになされた第１の発明は、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析装置であって、移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部と、この位置情報仕分け部で仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出する動線欠落位置検出部と、この動線欠落位置検出部での検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部と、この補正分布情報生成部で生成された前記補正分布情報に基づいて、前記ヒートマップを生成するヒートマップ生成部と、を備えた構成とする。

これによると、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分けられた少なくとも２種類の位置情報から動線の欠落位置を簡単にかつ精度よく検出することができ、この検出結果に基づいて補正分布情報を生成することで、動線が一部欠落する状況でも、適切な補正が行われて、動線の欠落に起因する重複カウントやカウント漏れを解消して、精度の高いヒートマップを生成することができる。

また、第２の発明は、前記位置情報仕分け部は、前記移動体の位置情報に基づいて、移動体の動線に欠落部分が発生する可能性がある注目事象を検知する注目事象検知部を備え、この注目事象検知部により前記注目事象が検知されたか否かに応じて、前記位置情報の仕分けを行う構成とする。

これによると、注目事象が検知されないときの位置情報は誤りを含む可能性が低く、注目事象が検知されたときの位置情報は誤りを含む可能性が高いため、注目事象の検知結果に応じて位置情報の仕分けを行うことで、誤りを含む可能性の高低に応じた位置情報の仕分けを簡単にかつ精度よく行うことができる。

また、第３の発明は、前記注目事象検知部は、前記注目事象として、複数の移動体が混雑した状態で存在する混雑事象を検知する構成とする。

これによると、複数の移動体が混雑した状態では、移動体同士のオクルージョンが発生して移動体検出の精度が低下することで動線が欠落する場合が多いため、混雑事象に注目して位置情報の仕分けを行うことで、動線の欠落位置を精度よく検出することができる。

また、第４の発明は、前記注目事象検知部は、前記注目事象として、複数の移動体が行列に並んだ状態で存在する行列事象を検知する構成とする。

これによると、複数の移動体が行列に並んだ状態では、移動体同士のオクルージョンが発生して移動体検出の精度が低下することで動線が欠落する場合が多いため、行列事象に注目して位置情報の仕分けを行うことで、動線の欠落位置を精度よく検出することができる。

また、第５の発明は、前記位置情報仕分け部で仕分けられた２種類の位置情報からそれぞれ、移動体の滞留頻度の分布状況を表す２つの比較用分布情報を生成して、その２つの比較用分布情報を比較する分布情報比較部を備え、この分布情報比較部は、前記２つの比較用分布情報の差分である差分分布情報を生成し、前記動線欠落位置検出部は、前記差分分布情報に基づいて、動線の欠落位置を検出する構成とする。

これによると、それぞれ生成される２つの分布情報を比較することで、動線の欠落位置を効率よく検出することができる。

また、第６の発明は、前記ヒートマップ生成部は、前記対象エリアを複数に分割した分割領域ごとの移動体の滞留頻度を表す領域分割ヒートマップを生成する構成とする。

これによると、対象エリア内での移動体の滞留頻度の分布状況をユーザが一目で把握することができる。

また、第７の発明は、前記ヒートマップ生成部は、前記ヒートマップにおいて、移動体の滞留頻度に応じて、色、濃淡、およびパターン画像の少なくともいずれかの可視化要素を変更することで、移動体の滞留頻度の分布状況を可視化する構成とする。

これによると、移動体の滞留頻度の分布状況をユーザが容易に把握することができる。

また、第８の発明は、前記ヒートマップ生成部は、前記対象エリア内における２つの地点間での移動体の移動頻度を可視化する地点間ヒートマップを生成する構成とする。

これによると、２つの地点間での移動体の移動状況をユーザが一目で確認することができる。

また、第９の発明は、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析システムであって、前記対象エリア内の移動体を検出してその位置情報を出力する移動体検出装置と、前記ヒートマップを表示する前記表示装置と、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、前記移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部と、この位置情報仕分け部で仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出する動線欠落位置検出部と、この動線欠落位置検出部での検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部と、この補正分布情報生成部で生成された前記補正分布情報に基づいて、前記ヒートマップを生成するヒートマップ生成部と、を備えた構成とする。

これによると、前記の第１の発明と同様に、動線が一部欠落する状況でも、適切な補正を行うことで、精度の高いヒートマップを生成することができる。

また、第１０の発明は、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる処理を情報処理装置により行う滞留状況分析方法であって、移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分けるステップと、このステップで仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出するステップと、このステップでの検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成するステップと、このステップで生成された前記補正分布情報に基づいて、前記ヒートマップを生成するステップと、を有する構成とする。

これによると、前記の第１の発明と同様に、動線が一部欠落する状況でも、適切な補正を行うことで、精度の高いヒートマップを生成することができる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

図１は、本実施形態に係る滞留状況分析システムの全体構成図である。この滞留時間測定システムは、スーパーマーケットなどの小売店舗などを対象にして構築されるものであり、カメラ１と、レコーダ（映像記録装置）２と、ＰＣ（滞留状況分析装置）３と、移動体検出装置４と、を備えている。

カメラ１は店舗内の適所に設置され、カメラ１により店舗内の監視エリアが撮像され、これにより得られた映像情報がレコーダ２に録画される。

ＰＣ３には、監視員などのユーザが種々の入力操作を行うマウスなどの入力デバイス６と、監視画面を表示するモニタ（表示装置）７とが接続されている。なお、タッチパネルディスプレイで、入力デバイス６およびモニタ７を構成してもよい。

このＰＣ３は、店舗の警備室などに設置され、監視者（警備員）が、モニタ７に表示される監視画面で、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ２に録画された過去の店舗内の映像を閲覧することができる。

なお、本部に設けられたＰＣ１１にも図示しないモニタが接続され、カメラ１で撮像された店舗内の映像をリアルタイムで閲覧し、また、レコーダ２に録画された過去の店舗内の映像を閲覧して、本部で店舗内の状況を確認することができる。

移動体検出装置４では、カメラ１による映像のフレームから人物（移動体）を検出する人物検出処理が行われ、フレームの撮像時刻ごとの人物の位置情報を出力する。この人物検出処理は、公知の画像認識技術を利用すればよい。

図２は、店舗におけるカメラ１の設置状況を示す平面図である。店舗内には商品陳列棚およびレジカウンタが設けられており、レジカウンタを撮像するようにカメラ１が設置されている。顧客は、商品陳列棚で所望の商品を入手してレジカウンタで精算を行い、商品陳列棚が設けられた商品陳列エリアからレジカウンタに進入し、精算が終わるとレジカウンタから退出する。カメラ１は、レジカウンタに進入する顧客を正面から撮像し、カメラ１の映像から人物検出を行うことができる。

次に、図１に示したＰＣ３で行われる滞留状況分析処理で生成されるヒートマップについて説明する。図３は、図１に示したＰＣ３で生成されてモニタ７に表示される領域分割ヒートマップを示す説明図である。

カメラ１の映像には、レジカウンタで精算を行う人物が映り、これらの人物は、入口側、すなわちカメラ１から離れた奥側からレジカウンタに進入して、出口側、すなわちカメラ１に近接する手前側から退出し、レジカウンタの周囲に入口側から出口側に向かう人物の流れができるが、レジカウンタでの精算作業の遅延や顧客数が店員の精算能力を超えると、精算待ちの行列ができて人物が滞留する状態となる。

そこで、本実施形態では、レジカウンタの周辺で人物が滞留する度合いを把握するために、対象エリア内での人物の滞留頻度（滞留人数）を測定し、その滞留頻度の分布状況を可視化した領域分割ヒートマップを生成する。この領域分割ヒートマップでは、対象エリア（カメラの撮像エリア）が複数のグリッド（分割領域）に分割され、グリッドごとの人物の滞留頻度が表示されている。なお、モニタ７に表示される画面では対象エリアの映像上にヒートマップ画像が透視状態で重畳して表示される。

このヒートマップを生成するにあたっては、グリッドごとの人物の滞留頻度を表す分布情報が生成される。具体的には、単位時間内において各グリッドを通過した人物の動線の本数をカウントして、単位時間あたりで各グリッドに滞留する人数の頻度、すなわち滞留人数を求める。

また、このヒートマップでは、人物の滞留頻度（滞留人数）に応じて、色、濃淡、およびパターン画像の少なくともいずれかの可視化要素を変更することで、人物の滞留頻度の分布状況を可視化するようにしている。なお、図３に示した例では、グリッドの濃淡（塗りつぶし色の濃さ）でグリッドごとの人物の滞留頻度が表現されている。

次に、図１に示したＰＣ３で行われる滞留状況分析処理について説明する。図４は、ＰＣ３の概略構成を示す機能ブロック図である。

ＰＣ３は、検出情報蓄積部２１と、位置情報仕分け部２２と、分布情報比較部２３と、動線欠落位置検出部２４と、補正分布情報生成部２５と、ヒートマップ生成部２６と、画面生成部２７と、を備えている。

検出情報蓄積部２１では、移動体検出装置４から取得した人物の位置情報が蓄積される。なお、位置情報には、カメラ１の映像の各フレームで検出された人物ごとの検出位置、および人物が検出されたフレームの撮像時刻から取得した人物ごとの検出時刻などに関する情報が含まれる。なお、この位置情報に含まれる検出位置を時系列で連結することで動線が得られるが、検出位置を連結する線分（ベクトル）情報は必ずしも必要ではない。

位置情報仕分け部２２は、検出時刻（フレーム）ごとの人物の位置情報を、人物の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分けるものであり、注目事象検知部３１と、第１の位置情報蓄積部３２と、第２の位置情報蓄積部３３と、を備えている。

注目事象検知部３１では、人物の動線に欠落部分が発生する可能性がある注目事象、すなわち移動体検出装置４での人物検出で失敗が起きやすい注目事象を検知する処理が行われる。この注目事象検知処理は、移動体検出装置４で生成した位置情報に基づいて行われ、事後的な処理を行う場合には検出情報蓄積部２１から位置情報を取得し、リアルタイムな処理を行う場合には移動体検出装置４から位置情報を取得する。

特に本実施形態では、注目事象として、複数の人物が混雑した状態で存在する混雑事象と、複数の人物が行列に並んだ状態で存在する行列事象とを検知する。複数の人物が混雑した状態や行列に並んだ状態で存在する場合、人物同士のオクルージョンが発生しやすく、人物検出の精度が低下するため、人物の動線に欠落部分が発生する可能性がある。また、混雑していない状態でも行列に並んだ状態であれば人物同士のオクルージョンが発生しやすく、逆に、行列に並んでいない状態でも混雑した状態であれば人物同士のオクルージョンが発生しやすい。そこで、本実施形態では、混雑事象と行列事象とを別々に検知して、少なくともいずれかが検知されると、人物の動線に欠落部分が発生する可能性があるものと判断する。

第１の位置情報蓄積部３２および第２の位置情報蓄積部３３には、検出時刻（フレーム）ごとの人物の位置情報が、注目事象検知部３１での検知結果に応じて振り分けて蓄積される。すなわち第１の位置情報蓄積部３２には、注目事象が検知されないときの位置情報のみが蓄積され、第２の位置情報蓄積部３３には、注目事象が検知されたときの位置情報も含めて位置情報が蓄積される。

分布情報比較部２３は、位置情報仕分け部２２で仕分けられた２種類の位置情報からそれぞれ、人物の滞留頻度の分布状況を表す２つの比較用分布情報を生成して、その２つの比較用分布情報を比較するものであり、第１の分布情報生成部３５と、第２の分布情報生成部３６と、差分分布情報生成部３７と、を備えている。

第１の分布情報生成部３５では、第１の位置情報蓄積部３２に蓄積された位置情報、すなわち注目事象検知部３１で注目事象が検知されなかった位置情報から第１の分布情報（比較用分布情報）を生成する処理が行われる。第２の分布情報生成部３６では、第２の位置情報蓄積部３３に蓄積された位置情報、すなわち注目事象検知部３１で注目事象が検知された位置情報から第２の分布情報（比較用分布情報）を生成する処理が行われる。この第１の分布情報生成部３５および第２の分布情報生成部３６で行われる分布情報取得処理では、位置情報に基づいて、各グリッドに存在する動線をカウントして、グリッドごとの動線数、すなわちグリッドごとの滞留頻度（滞留人数）を取得する。

差分分布情報生成部３７では、第１の分布情報生成部３５で生成した第１の分布情報と、第２の分布情報生成部３６で生成した第２の分布情報との差分である差分分布情報を生成する処理が行われる。この差分分布情報生成処理では、第１の分布情報の各グリッドの滞留頻度と第２の分布情報の各グリッドの滞留頻度との差分値を算出する。

動線欠落位置検出部２４では、分布情報比較部２３の比較結果、すなわち差分分布情報生成部３７で生成した差分分布情報に基づいて、動線の欠落位置を検出する処理が行われる。この動線欠落位置検出処理では、まず、差分分布情報に基づいて、動線に欠落部分が発生している可能性があるグリッド（領域）を絞り込み、ついで、そのグリッドを対象にして実際に動線が欠落している位置を見つけ出す。

補正分布情報生成部２５では、動線欠落位置検出部２４の検出結果に基づいて、人物の滞留頻度（滞留人数）が補正された補正分布情報を生成する処理が行われる。特に本実施形態では、第２の位置情報蓄積部３３に蓄積された位置情報、すなわち注目事象検知部３１により注目事象が検知されたときの位置情報を、動線欠落位置検出部２４で検出された動線の欠落位置に注目して補正し、この補正された位置情報と、第２の位置情報蓄積部３３に蓄積された位置情報で補正されなかった位置情報と、第１の位置情報蓄積部３２に蓄積された位置情報、すなわち注目事象検知部３１により注目事象が検知されないときの位置情報とから補正分布情報を生成する。この補正分布情報取得処理では、位置情報に基づいて、各グリッドに存在する動線をカウントして、グリッドごとの動線数、すなわちグリッドごとの滞留頻度（滞留人数）を取得する。

この補正分布情報生成部２５で行われる位置情報補正処理では、本来１本であるべき動線が一部欠落することでできた２本の動線を連結する、すなわち別の人物に対応づけられていた２本の動線を同一の人物に対応づける処理が行われる。また、必要であれば、２本の動線を連結する連結線を求めて、その連結線で２本の動線が連結された状態に位置情報を補正する。

ヒートマップ生成部２６では、補正分布情報生成部２５で生成された補正分布情報に基づいて、ヒートマップ情報を生成する処理が行われる。このヒートマップ生成処理では、各グリッドの人物の滞留頻度（滞留人数）に応じて、色、濃淡、およびパターン画像の少なくともいずれかの可視化要素を変更することで、人物の滞留頻度の分布状況を可視化する情報を生成する。

画面生成部２７では、ヒートマップ生成部２６で生成したヒートマップ情報をモニタ７に表示させるための画面情報を生成する処理が行われる。特に本実施形態では、ヒートマップ生成部２６で生成したヒートマップ情報、およびカメラ１またはレコーダ２からの映像情報に基づいて、対象エリアの映像上にヒートマップ画像を重畳した表示画像に関する画面情報を生成する。

なお、図４に示したＰＣ３の各部は、ＰＣ３のＣＰＵで滞留状況分析用のプログラムを実行させることで実現される。このプログラムは、情報処理装置としてのＰＣ３に予め導入して専用の装置として構成する他、汎用ＯＳ上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録してユーザに提供されることも可能である。

次に、図４に示したＰＣ３で行われる滞留状況分析処理の全体的な手順について説明する。図５は、ＰＣ３で行われる滞留状況分析処理の概要を説明する説明図である。図６および図７は、ＰＣ３で行われる滞留状況分析処理の手順を示すフロー図である。

図５に示すように、移動体検出装置４では、カメラ１から逐次入力される映像のフレームから人物の位置を検出する処理が行われ、フレーム（検出時刻）ごとに人物の位置情報が出力される。

ＰＣ３では、移動体検出装置４からフレームごとの位置情報を取得して（図６のＳＴ１０１）、このフレームごとの位置情報から注目事象（混雑事象および行列事象）を検知する処理が注目事象検知部３１にて行われる（図６のＳＴ１０２，ＳＴ１０３）。そして、注目事象が検知されない場合には（図６のＳＴ１０４でＮｏ）、位置情報が第１の位置情報蓄積部３２および第２の位置情報蓄積部３３に蓄積され（図６のＳＴ１０５）、注目事象が検知された場合には（図６のＳＴ１０４でＹｅｓ）、位置情報が第２の位置情報蓄積部３３に蓄積される（図６のＳＴ１０６）。

これらの処理は、フレームごとの位置情報に対して逐次行われ、１つのヒートマップを生成するためのサンプリング期間の処理が終了するまで繰り返される（図６のＳＴ１０７）。すなわち、ヒートマップ生成部２６では、所定のサンプリング期間内の複数のフレームから検出した位置情報に基づいて１つのヒートマップを生成し、第１の位置情報蓄積部３２および第２の位置情報蓄積部３３には、１回のサンプリング期間で収集された位置情報が蓄積される。

次に、第１の位置情報蓄積部３２に１回のサンプリング期間で蓄積された位置情報から第１の分布情報を生成する処理が第１の分布情報生成部３５にて行われ（図７のＳＴ１０８）、また、第２の位置情報蓄積部３３に１回のサンプリング期間で蓄積された位置情報から第２の分布情報を生成する処理が第２の分布情報生成部３６にて行われる（図７のＳＴ１０９）。そして、第１の分布情報と第２の分布情報との差分となる差分分布情報を生成する処理が差分分布情報生成部３７にて行われる（図７のＳＴ１１０）。

ついで、動線欠落位置検出処理が動線欠落位置検出部２４で行われる。この動線欠落位置検出処理では、まず、差分分布情報に含まれる各グリッドの差分値を所定の閾値と比較して、差分値が閾値以上となるグリッドが存在するか否かの判定が行われる（図７のＳＴ１１１）。ここで、差分値が閾値より大きい場合、グリッド内で動線が欠落している可能性があり、この判定により動線の欠落部分が存在する可能性があるグリッドを絞り込むことができる。そして、差分値が閾値以上となるグリッドが存在する場合には（図７のＳＴ１１１でＹｅｓ）、そのグリッド内で実際に動線が欠落しているか否かを判定する（図７のＳＴ１１２）。

このようにして動線の欠落部分が位置するグリッドが判明すると、次に、補正分布情報を生成する処理が補正分布情報生成部２５にて行われる。この補正分布情報生成処理では、まず、欠落部分で分断された２本の動線を１本に連結する処理が行われる（図７のＳＴ１１３）。ここでは、第２の位置情報蓄積部３３に蓄積された位置情報のうち、動線欠落位置に対応する位置情報を対象にして、別の人物に対応づけられていた２本の動線を同一の人物に対応づける位置情報の補正処理が行われる。ついで、補正された位置情報と、残りの位置情報、すなわち第２の位置情報蓄積部３３に蓄積された位置情報で補正されなかった位置情報、および第１の位置情報蓄積部３２に蓄積された位置情報とから補正分布情報を生成する処理が行われる（図７のＳＴ１１４）。

そして、補正分布情報生成部２５で生成した補正分布情報からヒートマップを生成する処理がヒートマップ生成部２６にて行われる（図７のＳＴ１１５）。

なお、動線欠落位置検出処理で動線の欠落部分が位置するグリッドが見つからない場合には、第２の位置情報蓄積部３３に蓄積された位置情報は補正されず、第１の位置情報蓄積部３２に蓄積された位置情報と第２の位置情報蓄積部３３に蓄積された位置情報とから分布情報を生成する。

このようにして１つのヒートマップが生成されると、次の時間帯のヒートマップを生成する処理に進み、この処理が繰り返されて、時系列で並んだ複数のヒートマップが生成される。そして、これらのヒートマップをモニタ７に順次表示させれば、人物の滞留頻度の時間的な変化状況をユーザが一目で確認することができる。

まず、図４に示した注目事象検知部３１で行われる混雑事象検知処理（図６のＳＴ１０２）について説明する。図８は、注目事象検知部３１で行われる混雑事象検知処理の概要を説明する説明図である。

移動体検出装置４での人物検出処理では、映像の画像解析により人物が存在するものと予測される領域に中間情報として人物候補枠を設定する処理が行われる。ここで、図８（Ａ）に示すように、対象エリア内に人物で混雑した領域があると、その混雑した領域内に人物候補枠が密集し、かつその領域内ではある程度距離をおいた状態で人物候補枠が現れる傾向がある。

一方、人物検出の精度が低下すると、図８（Ｂ）に示すように、１人の人物に複数の人物候補枠が設定される場合がある。この場合、図８（Ａ）に示す混雑の場合と比較すると、同じように人物候補枠が密集していても、人物候補枠の出現状況が異なり、特に人物候補枠の分散の程度が異なる。

そこで、本実施形態では、人物候補枠を互いに近接するもの同士でグループ化し、各グループ内で人物候補枠の分散を算出して、その分散が大きい場合には、特定の領域に人物が多く存在している、すなわち混雑事象が発生しているものと判断する。

次に、図４に示した注目事象検知部３１で行われる混雑事象検知処理の手順について説明する。図９は、注目事象検知部３１で行われる混雑事象検知処理の手順を示すフロー図である。

ここでは、まず、移動体検出装置４から人物候補枠に関する情報を含む位置情報を取得し（ＳＴ２０１）、その人物候補枠を互いに近接するもの同士でグループ化する（ＳＴ２０２）。このとき、人物候補枠の中心点の座標値を比較して、人物候補枠の中心点の離間距離が所定の閾値より短いものを１つにグループにまとめればよい。

ついで、各グループ内の人物候補枠の分散を算出する（ＳＴ２０３）。このとき、人物候補枠の中心のＸ座標値およびＹ座標値の分散を算出する。そして、混雑に関する状態情報を通常に設定した上で（ＳＴ２０４）、グループ内の人物候補枠の分散が閾値以上であるか否かの判定を行い（ＳＴ２０５）、人物候補枠の分散が閾値以上の場合には（ＳＴ２０５でＹｅｓ）、混雑に関する状態情報を混雑に設定する（ＳＴ２０６）。一方、人物候補枠の分散が閾値未満の場合には（ＳＴ２０５でＮｏ）、混雑に関する状態情報は通常のままとなる。

次に、図４に示した注目事象検知部３１で行われる行列事象検知処理（図６のＳＴ１０３）について説明する。図１０は、注目事象検知部３１で行われる行列事象検知処理の概要を説明する説明図である。

行列は、静止している人物の後に別の人物が次々に並ぶことで発生する。そこで、本実施形態では、まず、検出された人物が移動しているか否かを判定する。図１０（Ａ）に示す例では、人物Ａが移動しており、人物Ｂ，Ｃは静止している。次に、図１０（Ｂ）に示すように、移動している人物Ａについて過去の移動状況から将来の位置を予測する。そして、移動している人物Ａの移動予測位置と静止している人物Ｂとが近接している場合に、人物Ａを行列候補に設定する。そして、一定時間が経過した後に、図１０（Ｃ）に示すように、移動している人物Ａが消失した場合に、人物Ａが人物Ｂの後に並んで、人物同士のオクルージョンにより人物Ａの人物検出が失敗したものと判断して、行列が発生したものと判定する。

次に、図４に示した注目事象検知部３１で行われる行列事象検知処理の手順について説明する。図１１は、注目事象検知部３１で行われる行列事象検知処理の手順を示すフロー図である。

ここでは、まず、人物が移動しているか否かを判定する人物移動判定が行われる。この人物移動判定では、まず、注目する人物について過去の座標値から移動量が算出される（ＳＴ３０１）。そして、その人物の状態情報を静止に設定した上で（ＳＴ３０２）、移動量が閾値以上であるか否かの判定が行われ（ＳＴ３０３）、移動量が閾値以上であれば（ＳＴ３０３でＹｅｓ）、その人物の状態情報を移動中に設定する（ＳＴ３０４）。一方、移動量が閾値未満であれば（ＳＴ３０３でＮｏ）、その人物の状態情報は静止のままである。

次に、注目する人物について過去の座標値から将来の位置を予測する処理が行われる（ＳＴ３０５）。

次に、人物が行列に並んだか否かを判定する行列形成判定が行われる。この行列形成判定では、まず、注目する人物の移動予測位置の近傍に静止した人物が存在するか否かの判定が行われ（ＳＴ３０６）、注目する人物の移動予測位置の近傍に静止した人物が存在する場合には（ＳＴ３０６でＹｅｓ）、注目する人物の状態情報を行列候補に設定する（ＳＴ３０７）。

ついで、これまでの処理で行列候補に設定された人物の人物検出が失敗してその人物が消失したか否かの判定が行われ（ＳＴ３０８）、行列候補に設定された人物が消失していれば（ＳＴ３０８でＹｅｓ）、その人物が行列に並んだものと判断して、その人物の状態情報を行列形成に設定する（ＳＴ３０９）。一方、行列候補に設定された人物が消失していなければ（ＳＴ３０８でＮｏ）、その人物が行列に並ばなかったものと判断する。

なお、ここでは、１回の行列形成判定、すなわち１人の人物が別の人物の後に並んだことで行列が発生したものと判定するようにしたが、行列形成判定が複数回連続して成立する、すなわち複数の人物が連続して行列に並んだ場合に行列が発生したものと判定するようにしてもよい。

次に、図１１に示した差分分布情報生成部３７および動線欠落位置検出部２４で行われる処理について説明する。図１２は、動線に欠落部分が発生する際の動線欠落パターンの例を説明する説明図であり、図１２（Ａ）に注目事象（混雑および行列）の発生状況を示し、図１２（Ｂ−１），（Ｂ−２），（Ｂ−３）に動線欠落パターンの例を示す。

図１２（Ａ）に示すように、レジカウンタの周辺で複数の人物が混雑した状態または行列に並んだ状態で存在すると、人物同士のオクルージョンが発生しやすい状況となり、このようなオクルージョンが発生すると、人物検出の精度が低下することで、動線が一部欠落した状態となり、このとき、図１２（Ｂ−１），（Ｂ−２），（Ｂ−３）に示すような動線欠落パターンとなる。

図１２（Ｂ−１）に示す動線欠落パターンでは、動線が１つのグリッド内で欠落している。この場合、動線の欠落部分が位置する１つのグリッドでは２本の動線が存在するため、そのグリッドでは動線を重複してカウントする重複カウントが発生する。

図１２（Ｂ−２）に示す動線欠落パターンでは、動線が２つのグリッドにまたがるように欠落している。この場合、動線の欠落部分が位置する２つのグリッドに動線が１本ずつ存在するため、動線のカウント数に誤差は発生しない。

図１２（Ｂ−３）に示す動線欠落パターンでは、動線が３つのグリッドにまたがるように欠落している。この場合、動線の欠落部分が位置する３つのグリッドのうち、両端の２つのグリッドには動線が１本ずつ存在するため、そのグリッドでは動線のカウント数に誤差は発生しないが、中間のグリッドには動線が存在しないため、そのグリッドでは動線を少なくカウントするカウント漏れが発生する。

なお、動線が４つ以上のグリッドにまたがるように欠落している場合には、図１２（Ｂ−３）に示す例と同様に、動線が存在しない中間のグリッドでカウント漏れが発生し、動線の欠落部分が位置するグリッドの数が増えるのに応じてカウント漏れが大きくなる。

そこで、本実施形態では、以下に説明するように、差分分布情報生成部３７において、第１の分布情報と第２の分布情報との差分である差分分布情報を生成して、動線の欠落部分が存在する可能性があるグリッドを絞り込む処理を行い、次に、それらのグリッドを対象にして、実際に動線が欠落している位置を見つけ出す処理を動線欠落位置検出部２４にて行い、ここで見つかった動線の欠落位置に基づいて、欠落部分により２本に分断された動線を１本に連結する処理が補正分布情報生成部２５において行われ、これにより重複カウントおよびカウント漏れを解消することができる。

以下に、図１２（Ｂ−１）に示した重複カウントが発生する動線欠落パターンの場合と、図１２（Ｂ−３）に示したカウント漏れが発生する動線欠落パターンの場合について説明する。

まず、図１２（Ｂ−１）に示した重複カウントが発生する動線欠落パターンの場合について説明する。図１３は、重複カウントが発生する動線欠落パターンの場合の第１の分布情報、第２の分布情報、および差分分布情報を示す説明図である。なお、図１３では、説明の便宜上、分布情報をヒートマップで表しているが、実際の処理でヒートマップは生成されず、グリッドごとの数値（滞留頻度）の処理となる。

図１３（Ａ）に示すように、注目事象が検知されないときの位置情報のみから生成された第１の分布情報では、注目事象（混雑および行列）が検知された位置情報が排除されているため、注目事象が発生している領域のグリッドの値が低くなっている。一方、図１３（Ｂ）に示すように、注目事象が検知されたときの位置情報のみから生成された第２の分布情報では、注目事象に起因する欠落した動線に関する位置情報、すなわち重複カウントの原因となる位置情報を含むため、注目事象が発生している領域のグリッドの値が不正に高くなっている。

この場合、図１３（Ｃ）に示すように、差分分布情報、すなわち第２の分布情報の各グリッドの値から第１の分布情報の各グリッドの値を差し引いた差分は、動線の欠落部分が位置するグリッドで大きな値を示す。そこで、差分が大きな値を示すグリッドに注目して動線の欠落部分を検出する。そして、グリッド内に動線の欠落部分が検出されると、２本の動線を連結する、すなわち別の人物に対応づけられていた２本の動線を同一の人物に対応づける位置情報の補正処理が行われる。これにより、グリッドごとの滞留頻度（滞留人数）の重複カウントを解消することができる。

図１４は、図１３に示した重複カウントが発生する動線欠落パターンの場合に生成されるヒートマップを示す説明図であり、図１４（Ａ）に比較例の場合を示し、図１４（Ｂ）に本実施形態の場合を示す。なお、モニタ７に表示される画面では対象エリアの映像上にヒートマップ画像が透視状態で重畳して表示される。

図１４（Ａ）に示すように、位置情報の補正処理、すなわち欠落部分により２本に分断された動線を１本に連結する補正処理を行わない比較例の場合には、重複カウントが発生しているグリッドで滞留頻度（滞留人数）が高い値を示す不正なヒートマップが生成される。一方、図１４（Ｂ）に示すように、本実施形態の場合には、位置情報の補正処理により重複カウントが解消されるため、適正なヒートマップが生成される。

次に、図１２（Ｂ−３）に示したカウント漏れが発生する動線欠落パターンの場合について説明する。図１５は、カウント漏れが発生する動線欠落パターンの場合の第１の分布情報、第２の分布情報、および差分分布情報を示す説明図である。なお、図１５では、説明の便宜上、分布情報をヒートマップで表しているが、実際の処理でヒートマップは生成されず、グリッドごとの数値（滞留頻度）の処理となる。

図１５（Ａ）に示すように、注目事象が検知されないときの位置情報のみから生成された第１の分布情報では、注目事象（混雑および行列）が検知された位置情報が排除されているため、注目事象が発生している領域のグリッドの値が低くなっている。一方、図１５（Ｂ）に示すように、注目事象が検知されたときの位置情報のみから生成された第２の分布情報では、注目事象に起因する欠落した動線に関する位置情報、すなわちカウント漏れの原因となる位置情報を含むため、注目事象が発生している領域のグリッドの値が不正に低くなっている。

この場合、図１５（Ｃ）に示すように、差分分布情報、すなわち第２の分布情報の各グリッドの値から第１の分布情報の各グリッドの値を差し引いた差分は、動線の欠落部分が位置するグリッドのうち、両端のグリッドでは動線が存在することから大きな値を示し、中間のグリッドでは動線が存在しないために小さな値を示す。そこで、差分が大きな値を示すグリッドと差分が小さな値を示すグリッドとの位置関係に注目して動線の欠落部分を検出する。そして、グリッド内に動線の欠落部分が検出されると、２本の動線を連結する連結線を求めて、その連結線で２本の動線が連結された状態に位置情報を補正する。これにより、動線が存在しなかった中間のグリッドにも連結線が存在するようになり、グリッドごとの滞留頻度（滞留人数）のカウント漏れを解消することができる。

図１６は、図１５に示したカウント漏れが発生する動線欠落パターンの場合に生成されるヒートマップを示す説明図であり、図１６（Ａ）に比較例の場合を示し、図１６（Ｂ）に本実施形態の場合を示す。なお、モニタ７に表示される画面では対象エリアの映像上にヒートマップ画像が透視状態で重畳して表示される。

図１６（Ａ）に示すように、位置情報の補正処理、すなわち欠落部分により２本に分断された動線を１本に連結する補正処理を行わない比較例の場合には、カウント漏れが発生しているグリッドで滞留頻度（滞留人数）が低い値を示す不正なヒートマップが生成される。一方、図１６（Ｂ）に示すように、本実施形態の場合には、位置情報の補正処理によりカウント漏れが解消されるため、適正なヒートマップが生成される。

ここで、動線の欠落位置を検出する処理の効率化および精度の向上を図るために、いずれの動線欠落パターンに該当するかの動線欠落パターンの判定を行い、動線欠落パターンに応じて場合分けして処理するとよい。また、動線欠落パターンの判定では、差分が高い値を示すグリッドと差分が低い値を示すグリッドとの位置関係に注目することで動線欠落パターンを精度よく判定することができる。

以上のように、本実施形態では、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分けられた２種類の位置情報からそれぞれ生成される第１の分布情報および第２の分布情報を比較することで、動線の欠落位置を簡単にかつ精度よく検出することができ、この検出結果に基づいて補正分布情報を生成することで、動線が一部欠落する状況でも、適切な補正が行われて、動線の欠落に起因する重複カウントやカウント漏れを解消して、精度の高いヒートマップを生成することができる。

また、本実施形態では、位置情報仕分け部２２において、人物の動線に欠落部分が発生する可能性がある注目事象を検知して、この注目事象が検知されたか否かに応じて、位置情報の仕分けを行うようにしており、注目事象が検知されないときの位置情報は誤りを含む可能性が低く、注目事象が検知されたときの位置情報は誤りを含む可能性が高いため、注目事象の検知結果に応じて位置情報の仕分けを行うことで、誤りを含む可能性の高低に応じた位置情報の仕分けを簡単にかつ精度よく行うことができる。

また、本実施形態では、注目事象検知部３１において、注目事象として、複数の人物が混雑した状態で存在する混雑事象や、複数の人物が行列に並んだ状態で存在する行列事象を検知するようにしており、このような状態では、人物同士のオクルージョンが発生して人物検出の精度が低下することで動線が欠落する場合が多いため、混雑事象や行列事象に注目して位置情報の仕分けを行うことで、動線の欠落位置を精度よく検出することができる。

また、本実施形態では、分布情報比較部２３において、第１の分布情報および第２の分布情報の差分である差分分布情報を生成し、動線欠落位置検出部２４において、差分分布情報に基づいて、動線の欠落位置を検出するようにしたため、動線の欠落位置を効率よく検出することができる。

また、本実施形態では、対象エリアを複数に分割したグリッド（分割領域）ごとの人物の滞留頻度を表す領域分割ヒートマップを生成するようにしたため、対象エリア内での人物の滞留頻度の分布状況をユーザが一目で把握することができる。

また、本実施形態では、ヒートマップにおいて、人物の滞留頻度に応じて、色、濃淡、およびパターン画像の少なくともいずれかの可視化要素を変更することで、人物の滞留頻度の分布状況を可視化するようにしたため、人物の滞留頻度の分布状況をユーザが容易に把握することができる。

次に、図１に示したＰＣ３で生成されてモニタ７に表示されるヒートマップの別の例について説明する。図１７は、ＰＣ３で生成されてモニタ７に表示される地点間ヒートマップを説明する説明図である。

この地点間ヒートマップは、対象エリア内における２つの地点間での人物の移動頻度を可視化するものである。特に本実施形態では、対象エリア内に対をなす第１のエリア４１および第２のエリア４２が設定され、第１のエリア４１から第２のエリア４２までの人物の移動状況が矢印の画像４３で表現されている。特に、この矢印の画像４３は、第１のエリア４１から第２のエリア４２までの人物の移動の頻度、すなわち移動した人物の人数を表しており、人数が矢印の太さで表現されている。

第１のエリア４１および第２のエリア４２はユーザにより設定される。また、第１のエリア４１から第２のエリア４２まで移動した人物の人数は、位置情報に基づいて、第１のエリア４１および第２のエリア４２の双方に存在し、かつ第２のエリア４２に存在する時刻が第１のエリア４１に存在する時刻より後となる人物をカウントすることで取得することができる。

このような地点間ヒートマップでは、２つの地点間での人物の移動状況をユーザが一目で確認することができる。また、補正された位置情報を用いることで、地点間ヒートマップの精度を高めることができる。特に、図１７の例では、レジカウンタの入口側に第１のエリア４１が設定され、レジカウンタの出口側に第２のエリア４２が設定されており、地点間ヒートマップによりレジカウンタを通過した人物の人数を一目で把握することができる。

以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。

例えば、本実施形態では、スーパーマーケットなどの小売店舗のレジカウンタを対象エリアとしたが、待ち行列の発生するような場所、例えば、銀行のＡＴＭコーナー、イベントや展示会などの各種の会場の入口ゲートや受付、展示パネル、展示ブース前などを対象エリアとすることも可能である。

また、本実施形態では、滞留時間の測定対象となる移動体を人物とした例について説明したが、人物以外の移動体、例えば自動車や自転車などの車両を対象として、駐車場に入場する車両の滞留状況を把握する用途に適用することも可能である。

また、本実施形態では、移動体検出装置４において、カメラ１の映像から画像解析で移動体を検出してその位置情報を出力するようにしたが、このような構成の他に、無線信号などを利用して移動体を検出する構成、例えば移動体に付けたタグをセンサで検出する構成や、ＧＰＳ（Global Positioning System）を用いた構成や、光で人物を検出する位置センサを用いた構成なども可能である。この場合、センサなどの移動体検出手段から定期的に出力される検出時刻ごとの移動体の位置情報を移動体の動線に欠落部分が発生する可能性の高低に応じて仕分ける位置情報仕分け処理が行われる。

また、本実施形態では、位置情報仕分け部２２において、移動体の位置情報に基づいて注目事象を検知して、その検知結果に応じて位置情報の仕分けを行うようにしたが、注目事象の検知を移動体の位置情報以外の情報に基づいて行うことも可能である。さらに、注目事象によらずに、位置情報が動線の欠落による誤りを含む可能性の高低を判断することも可能である。例えば、カメラ１の撮像エリア内に対象エリアを設定して、その対象エリアの入口から出口まで連続しているか否かに応じて動線の正常と異常とを判定し、異常動線を有する人物に関する位置情報を動線の欠落による誤りを含む可能性が高いものと判断する。この場合、動線の連続性を判定するために多数の時刻の位置情報を取得する必要があるため、リアルタイムでヒートマップを生成する用途に適用することが難しいが、本実施形態のように、注目事象の有無を判定する方法では、映像の１つのフレームから検出される位置情報で判定することができるため、リアルタイムでヒートマップを生成する用途に適している。

また、本実施形態では、図９に示した手順で混雑事象検知処理を行うようにしたが、混雑事象検知処理はこれに限定されるものではなく、例えば分散の代わりに単に位置情報の広がりを用いる方法や、グループ化しない方法など、種々の方法が可能であり、また、この他の公知の方法を用いるようにしてもよい。また、本実施形態では、図１１に示した手順で行列事象検知処理を行うようにしたが、行列事象検知処理はこれに限定されるものではなく、この他の公知の方法を用いるようにしてもよい。

また、本実施形態では、図３に示したように、対象エリアの分割領域を格子状に分割されたグリッドとしたが、格子状に分割する構成に限定されるものではなく、対象エリアの内部の状況に応じて適宜な分割線で分割すればよい。また、対象エリアの分割数（分割領域の数）も適宜に設定すればよく、さらに、分割領域の大きさも均一に設定した構成に限定されるものではなく、対象エリアの内部の状況に応じて適宜な大きさに設定すればよい。

また、本実施形態では、補正分布情報生成部２５において、動線の欠落位置に基づいて位置情報を補正して、その補正された位置情報を用いて補正分布情報を生成するようにしたが、位置情報を補正せずに分布情報を生成した上で、その分布情報を補正して補正分布情報を生成するようにしてもよい。例えば、グリッド内で欠落した動線をカウントして、グリッドごとの欠落動線数を取得し、グリッドごとの動線数から欠落動線数を減算するようにしても、同様の補正分布情報を生成することができる。

また、本実施形態では、カメラ１とは別に移動体検出装置４を設けたが、この移動体検出装置の機能の一部あるいは全部をカメラ１に一体化して移動体検出機能付き撮像装置として構成することも可能である。また、移動体検出装置４をＰＣ３で構成することも可能である。

また、本実施形態では、移動体検出処理および滞留状況分析処理を、店舗に設けられた装置に行わせるようにしたが、これらの必要な処理を、図１に示したように、本部に設けられたＰＣ１１や、クラウドコンピューティングシステムを構成するクラウドコンピュータ１２に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、ＩＰネットワークやＬＡＮなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で滞留状況分析システムが構成される。

このような構成では、店舗に設けられた装置に、少なくとも移動体検出処理を行わせるようにするとよい。このように構成すると、移動体検出処理で取得した情報はデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたＰＣ１１に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。

また、クラウドコンピュータ１２に、少なくとも滞留状況分析処理において演算量が大きな処理を行わせるようにしてもよい。このように構成すると、演算量が大きな処理をクラウドコンピュータ１２に行わせることで、店舗などのユーザ側に高速な情報処理装置が不要となり、また、残りの処理は演算量が小さくて済むため、店舗に設置された販売情報管理装置を構成する情報処理装置に拡張機能として兼用させることも可能になり、これによりユーザが負担するコストを軽減することができる。

また、クラウドコンピュータ１２に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくともヒートマップを出力する機能をクラウドコンピュータ１２に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたＰＣ３，１１の他に、スマートフォン１３などの携帯型端末でも滞留状況を確認することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で滞留状況を確認することができる。

また、本実施形態では、店舗に設置されたＰＣ３のモニタ７にヒートマップを出力するようにしたが、ヒートマップの閲覧装置をＰＣ３とは別に設けることも可能であり、例えば、前記のように本部に設置されたＰＣ１１やスマートフォン１３をヒートマップの閲覧装置とする他に、店舗に設置された販売情報管理装置にヒートマップの閲覧装置としての機能を付加することも可能である。また、ヒートマップをプリンタで出力することも可能である。

本発明にかかる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法は、動線が一部欠落する状況でも、適切な補正を行うことで、精度の高いヒートマップを生成することができる効果を有し、対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法などとして有用である。

１ カメラ
２ レコーダ
３ ＰＣ（滞留状況分析装置）
４ 移動体検出装置
６ 入力デバイス
７ モニタ
１２ クラウドコンピュータ
１３ スマートフォン
２１ 検出情報蓄積部
２２ 位置情報仕分け部
２３ 分布情報比較部
２４ 動線欠落位置検出部
２５ 補正分布情報生成部
２６ ヒートマップ生成部
２７ 画面生成部
３１ 注目事象検知部
３２ 第１の位置情報蓄積部
３３ 第２の位置情報蓄積部
３５ 第１の分布情報生成部
３６ 第２の分布情報生成部
３７ 差分分布情報生成部

Claims (10)

1. 対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析装置であって、
   移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部と、
   この位置情報仕分け部で仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出する動線欠落位置検出部と、
   この動線欠落位置検出部での検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部と、
   この補正分布情報生成部で生成された前記補正分布情報に基づいて、前記ヒートマップを生成するヒートマップ生成部と、
   を備えたことを特徴とする滞留状況分析装置。
2. 前記位置情報仕分け部は、
   前記移動体の位置情報に基づいて、移動体の動線に欠落部分が発生する可能性がある注目事象を検知する注目事象検知部を備え、
   この注目事象検知部により前記注目事象が検知されたか否かに応じて、前記位置情報の仕分けを行うことを特徴とする請求項１に記載の滞留状況分析装置。
3. 前記注目事象検知部は、前記注目事象として、複数の移動体が混雑した状態で存在する混雑事象を検知することを特徴とする請求項２に記載の滞留状況分析装置。
4. 前記注目事象検知部は、前記注目事象として、複数の移動体が行列に並んだ状態で存在する行列事象を検知することを特徴とする請求項２に記載の滞留状況分析装置。
5. 前記位置情報仕分け部で仕分けられた２種類の位置情報からそれぞれ、移動体の滞留頻度の分布状況を表す２つの比較用分布情報を生成して、その２つの比較用分布情報を比較する分布情報比較部を備え、
   この分布情報比較部は、前記２つの比較用分布情報の差分である差分分布情報を生成し、
   前記動線欠落位置検出部は、前記差分分布情報に基づいて、動線の欠落位置を検出することを特徴とする請求項１から請求項４のいずれかに記載の滞留状況分析装置。
6. 前記ヒートマップ生成部は、前記対象エリアを複数に分割した分割領域ごとの移動体の滞留頻度を表す領域分割ヒートマップを生成することを特徴とする請求項１から請求項５のいずれかに記載の滞留状況分析装置。
7. 前記ヒートマップ生成部は、前記ヒートマップにおいて、移動体の滞留頻度に応じて、色、濃淡、およびパターン画像の少なくともいずれかの可視化要素を変更することで、移動体の滞留頻度の分布状況を可視化することを特徴とする請求項１から請求項６のいずれかに記載の滞留状況分析装置。
8. 前記ヒートマップ生成部は、前記対象エリア内における２つの地点間での移動体の移動頻度を可視化する地点間ヒートマップを生成することを特徴とする請求項１から請求項７のいずれかに記載の滞留状況分析装置。
9. 対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる滞留状況分析システムであって、
   前記対象エリア内の移動体を検出してその位置情報を出力する移動体検出装置と、
   前記ヒートマップを表示する前記表示装置と、
   複数の情報処理装置と、
   を有し、
   前記複数の情報処理装置のいずれかが、
   前記移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分ける位置情報仕分け部と、
   この位置情報仕分け部で仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出する動線欠落位置検出部と、
   この動線欠落位置検出部での検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成する補正分布情報生成部と、
   この補正分布情報生成部で生成された前記補正分布情報に基づいて、前記ヒートマップを生成するヒートマップ生成部と、
   を備えたことを特徴とする滞留状況分析システム。
10. 対象エリア内での移動体の滞留頻度を測定し、その滞留頻度の分布状況を可視化したヒートマップを生成して表示装置に表示させる処理を情報処理装置により行う滞留状況分析方法であって、
    移動体検出装置から取得した移動体の位置情報を、移動体の動線が一部欠落することによる誤りを含む可能性の高低に応じて仕分けるステップと、
    このステップで仕分けられた少なくとも２種類の位置情報から動線の欠落位置を検出するステップと、
    このステップでの検出結果に基づいて、移動体の滞留頻度が補正された補正分布情報を生成するステップと、
    このステップで生成された前記補正分布情報に基づいて、前記ヒートマップを生成するステップと、
    を有することを特徴とする滞留状況分析方法。