JP5597762B1 - 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法 - Google Patents

活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法 Download PDF

Info

Publication number
JP5597762B1
JP5597762B1 JP2013270927A JP2013270927A JP5597762B1 JP 5597762 B1 JP5597762 B1 JP 5597762B1 JP 2013270927 A JP2013270927 A JP 2013270927A JP 2013270927 A JP2013270927 A JP 2013270927A JP 5597762 B1 JP5597762 B1 JP 5597762B1
Authority
JP
Japan
Prior art keywords
activity
map
moving object
unit
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013270927A
Other languages
English (en)
Other versions
JP2015125671A (ja
Inventor
和彦 岩井
和麻 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013270927A priority Critical patent/JP5597762B1/ja
Application granted granted Critical
Publication of JP5597762B1 publication Critical patent/JP5597762B1/ja
Priority to US14/579,092 priority patent/US9852345B2/en
Publication of JP2015125671A publication Critical patent/JP2015125671A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Abstract

【課題】監視エリア内でユーザが注目するエリアにおける動体の活動状況を即座に把握することができるようにする。
【解決手段】監視エリアにおける動体の活動状況の分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置を、監視エリアの撮像画像から動体を検知する動体検知部33と、この動体検知部での検知結果に基づき、動体活動値を画素ごとに取得する第1の活動値取得部41と、ユーザの入力操作に応じて、監視エリア内に対象エリアを設定する対象エリア設定部と、第1の活動値取得部で取得した画素ごとの動体活動値を対象エリアで集約して、その対象エリアの動体活動値を取得する第2の活動値取得部42と、この第2の活動値取得部で取得した対象エリアの動体活動値に基づき、対象エリアに関する活動マップを生成するマップ生成部35と、を備えたものとする。
【選択図】図4

Description

本発明は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法に関するものである。
コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の人物を監視する監視システムが広く普及しているが、このカメラの映像を利用して、店舗内での顧客の活動状況を把握することができるようにすると、この顧客の活動状況に基づいて、店舗内での商品の陳列方法の改善策などを考えることで、店舗の売上や利益の向上を図ることができる。
このような監視エリアにおける人物の活動状況の分析に関するものとして、従来、監視エリアにおける人物の活動状況を可視化した活動マップを生成する技術が知られている(特許文献1参照)。この技術では、活動マップが人物の活動度合いに応じて等高線状に色分けして表示されるようになっている。また、監視エリアを複数のブロックに分割して、そのブロックごとに人物の滞留度合いを検出する技術が知られている(特許文献2参照)。この技術では、人物の滞留度合いを示す値(スコア)がブロックごとに出力されるようになっている。
特開2009−134688号公報 特開2011−248836号公報
さて、店舗管理者などのユーザにおいては、例えば、特定の商品(新商品、季節商品、弁当、飲料など)の集客状況を確認するために、その商品が配置されたエリアに限定して人物の活動状況を把握したいといった要望があるが、特許文献1に開示された技術では、監視エリアの全体的な活動状況を把握することは容易にできるものの、活動マップが複雑な形状で表示されるため、監視エリア内でユーザが特に注目する特定のエリアにおける人物の活動状況を即座に把握することができないという問題があった。
一方、特許文献2に開示された技術では、ブロックに分割して人物の活動度合い(滞留度合い)を出力するようにしたため、人物が集まっている滞留箇所を把握することは容易になるが、ここで把握することができるものは特定の期間における人物の活動状況であり、人物の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができないという問題があった。
例えば、活動度合いが高いエリアに注目した場合、そのエリアにおいてどのような経過を辿って活動度合いが高くなったのかを即座に把握することができない、具体的には、急に大勢の顧客が集まってきたのか、また、ある程度の人数の顧客が立ち寄る状態が継続しているのかを即座に判別することができない。また、活動度合いが低いエリアに注目した場合でも、一時的に顧客が集まる時間帯があるのか否かを即座に判別することができない。
本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、監視エリア内でユーザが注目するエリアにおける動体の活動状況を即座に把握することができ、また、動体の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができるように構成された活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法を提供することにある。
本発明の活動マップ分析装置は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置であって、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得する第1の活動値取得部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記第1の活動値取得部で取得した前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得する第2の活動値取得部と、この第2の活動値取得部で取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するマップ生成部と、このマップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
本発明の活動マップ分析装置は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置であって、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得する活動値取得部と、この活動値取得部で取得した前記動体活動値に基づき、前記活動マップを生成するマップ生成部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記活動値取得部で取得した前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成する遷移情報生成部と、前記マップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像、および前記遷移情報生成部で取得した前記遷移情報を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
また、本発明の活動マップ分析システムは、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析システムであって、前記監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得する第1の活動値取得部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記第1の活動値取得部で取得した前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得する第2の活動値取得部と、この第2の活動値取得部で取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するマップ生成部と、このマップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
また、本発明の活動マップ分析システムは、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析システムであって、前記監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得する活動値取得部と、この活動値取得部で取得した前記動体活動値に基づき、前記活動マップを生成するマップ生成部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記活動値取得部で取得した前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成する遷移情報生成部と、前記マップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像、および前記遷移情報生成部で取得した前記遷移情報を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
また、本発明の活動マップ分析方法は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する処理を情報処理装置に行わせる活動マップ分析方法であって、監視エリアの撮像画像から動体を検知するステップと、このステップでの検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得するステップと、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定するステップと、前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得するステップと、このステップで取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するステップと、このステップで生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成するステップと、を備えた構成とする。
また、本発明の活動マップ分析方法は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する処理を情報処理装置に行わせる活動マップ分析方法であって、監視エリアの撮像画像から動体を検知するステップと、このステップでの検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得するステップと、このステップで取得した前記動体活動値に基づき、前記活動マップを生成するステップと、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定するステップと、前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成するステップと、前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像および前記遷移情報を有する出力情報を生成するステップと、を備えた構成とする。
本発明によれば、ユーザの入力操作に応じて監視エリア内に設定された対象エリアの動体活動値に基づく活動マップが監視エリアの撮像画像上に重ね合せて表示されるため、動体の活動状況を、撮像画像に映った監視エリアの実際の状態と比較しながら確認することができ、監視エリア内でユーザが注目するエリアにおける動体の活動状況を即座に把握することができる。
また、本発明によれば、対象エリアにおける動体活動値の遷移状況に関する遷移情報が出力されるため、動体の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる。また、活動マップが出力されるため、特定の期間における動体の活動状況を即座に把握することができる。そして、活動マップと遷移情報との双方を勘案することで、監視エリア内での動体の活動状況を多角的に把握することができる。
第1実施形態に係る活動マップ分析システムの全体構成図 店舗のレイアウトおよびカメラ1の設置状況を説明する店舗の平面図 PC3の概略構成を示す機能ブロック図 PC3で行われる活動マップ分析処理の概要を説明する説明図 モニタ4に表示される分析条件入力画面を示す説明図 モニタ4に表示される分析条件入力画面を示す説明図 活動値取得部34で行われる活動値取得処理の要領を説明する説明図 マップ生成部35で行われる活動マップ生成処理で用いられる色テーブルを示す説明図 グラフ生成部36で行われるグラフ生成処理の要領を説明する説明図 モニタ4に表示される分析結果出力画面を示す説明図 モニタ4に表示される分析結果出力画面を示す説明図 モニタ4に表示される分析結果出力画面を示す説明図 モニタ4に表示される分析結果出力画面を示す説明図 モニタ4に表示される分析結果出力画面を示す説明図 モニタ4に表示される分析結果出力画面を示す説明図 モニタ4に表示される分析結果出力画面を示す説明図 モニタ4に表示される分析結果出力画面の別例を示す説明図 文書生成部39で生成される分析結果出力文書を示す説明図 文書生成部39で生成される分析結果出力文書を示す説明図 文書生成部39で生成される分析結果出力文書を示す説明図 文書生成部39で生成される分析結果出力文書を示す説明図 第2実施形態に係る活動マップ分析システムにおける分析条件入力画面を示す説明図
前記課題を解決するためになされた第1の発明は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置であって、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得する第1の活動値取得部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記第1の活動値取得部で取得した前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得する第2の活動値取得部と、この第2の活動値取得部で取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するマップ生成部と、このマップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
これによると、ユーザの入力操作に応じて監視エリア内に設定された対象エリアの動体活動値に基づく活動マップが監視エリアの撮像画像上に重ね合せて表示されるため、動体の活動状況を、撮像画像に映った監視エリアの実際の状態と比較しながら確認することができ、監視エリア内でユーザが注目するエリアにおける動体の活動状況を即座に把握することができる。
また、第2の発明は、前記動体検知部は、前記監視エリアの撮像画像から検出された動体が存在する領域を表す動体枠を取得し、前記第1の活動値取得部は、前記動体検知部で取得した前記動体枠に基づく設定範囲内に位置する回数を前記検出要素ごとにカウントして、前記検出要素ごとの動体活動値を取得する構成とする。
これによると、検出要素ごとの動体活動値を簡単な処理で取得することができる。
また、第3の発明は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置であって、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得する活動値取得部と、この活動値取得部で取得した前記動体活動値に基づき、前記活動マップを生成するマップ生成部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記活動値取得部で取得した前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成する遷移情報生成部と、前記マップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像、および前記遷移情報生成部で取得した前記遷移情報を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
これによると、対象エリアにおける動体活動値の遷移状況に関する遷移情報が出力されるため、動体の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる。また、活動マップが出力されるため、特定の期間における動体の活動状況を即座に把握することができる。そして、活動マップと遷移情報との双方を勘案することで、監視エリア内での動体の活動状況を多角的に把握することができる。
また、第4の発明は、前記対象エリア設定部は、ユーザの入力操作に応じて、前記撮像画像を格子状に分割した複数のグリッド単位で前記対象エリアを設定する構成とする。
これによると、グリッド単位で対象エリアを設定するため、対象エリアの指定が容易になる。この場合、縦横の分割数を指定するユーザの入力操作に応じて、グリッドの分割が行われるようにするとよい。
また、第5の発明は、前記マップ生成部は、前記対象エリアに設定された前記グリッド単位で前記活動マップを生成する構成とする。
これによると、監視エリア内でユーザが特に注目するエリアにおける動体の活動状況を即座に把握することができる。
また、第6の発明は、前記マップ生成部は、前記撮像画像の画素単位で前記活動マップを生成する構成とする。
これによると、監視エリア内での動体の活動状況を詳細に把握することができる。
また、第7の発明は、前記対象エリア設定部は、ユーザの入力操作に応じて、ユーザが指定する任意の形状に前記対象エリアを設定する構成とする。
これによると、ユーザが指定する任意の形状に対象エリアを設定することができるため、監視エリアの実際の状態に応じて、最適な形状に対象エリアを設定することができる。
また、第8の発明は、前記活動値取得部は、所定の検出単位期間ごとの動体活動値を取得し、前記遷移情報生成部は、前記検出単位期間ごとの動体活動値を集計単位期間で平均化して、その集計単位期間ごとの動体活動値を取得して、その集計単位期間ごとの動体活動値の遷移状況に関する前記遷移情報を生成する構成とする。
これによると、一定の検出単位期間(例えば1時間)ごとの動体活動値から、任意の集計単位期間(例えば日、週および月)ごとの動体活動値を簡単に取得することができる。これにより、集計単位期間を種々に変更することで、多様な遷移情報を取得することができるため、動体の活動度合いの変化状況を多面的に把握することができる。
また、第9の発明は、前記遷移情報生成部は、複数の前記対象エリアごとの動体活動値を累積した累積値の遷移状況に関する前記遷移情報を生成する構成とする。
これによると、複数の対象エリアごとの動体活動値を累積した累積値の遷移状況が表示されるため、複数の対象エリアを統合した動体の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる。
また、第10の発明は、前記出力情報生成部は、表示装置に表示させる分析結果出力画面に関する前記出力情報を生成し、前記分析結果出力画面には、前記活動マップを表示するマップ表示部と、ユーザの操作により、前記マップ表示部に表示される前記活動マップの日時を調整する操作部と、が設けられた構成とする。
これによると、マップ表示部に表示されるマップ画像の日時を調整することができるため、所要の日時の活動マップを簡単に見ることができる。また、操作部を連続して操作することで、日時の経過に伴って活動マップが変化するため、動体の活動状況がどのように変化したかを即座に把握することができる。
また、第11の発明は、前記出力情報生成部は、前記マップ画像と、前記遷移情報としてのグラフを表示したグラフ画像と、を並べて配置した前記出力情報を生成する構成とする。
これによると、動体活動値の遷移状況がグラフで表示されるため、動体活動値の時間的な変化状況の把握がより一層容易になる。そして、マップ画像とグラフ画像とが並べて配置されるため、活動マップとグラフとの対比が容易になり、監視エリア内での動体の活動状況を多角的にかつ容易に把握することができる。
また、第12の発明は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析システムであって、前記監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得する第1の活動値取得部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記第1の活動値取得部で取得した前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得する第2の活動値取得部と、この第2の活動値取得部で取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するマップ生成部と、このマップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
これによると、第1の発明と同様に、監視エリア内でユーザが特に注目するエリアにおける動体の活動状況を即座に把握することができる。
また、第13の発明は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析システムであって、前記監視エリアを撮影するカメラと、複数の情報処理装置と、を有し、前記複数の情報処理装置のいずれかが、監視エリアの撮像画像から動体を検知する動体検知部と、この動体検知部での検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得する活動値取得部と、この活動値取得部で取得した前記動体活動値に基づき、前記活動マップを生成するマップ生成部と、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、前記活動値取得部で取得した前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成する遷移情報生成部と、前記マップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像、および前記遷移情報生成部で取得した前記遷移情報を有する出力情報を生成する出力情報生成部と、を備えた構成とする。
これによると、第3の発明と同様に、動体の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる。
また、第14の発明は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する処理を情報処理装置に行わせる活動マップ分析方法であって、監視エリアの撮像画像から動体を検知するステップと、このステップでの検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得するステップと、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定するステップと、前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得するステップと、このステップで取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するステップと、このステップで生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成するステップと、を備えた構成とする。
これによると、第1の発明と同様に、監視エリア内でユーザが特に注目するエリアにおける動体の活動状況を即座に把握することができる。
また、第15の発明は、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する処理を情報処理装置に行わせる活動マップ分析方法であって、監視エリアの撮像画像から動体を検知するステップと、このステップでの検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得するステップと、このステップで取得した前記動体活動値に基づき、前記活動マップを生成するステップと、ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定するステップと、前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成するステップと、前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像および前記遷移情報を有する出力情報を生成するステップと、を備えた構成とする。
これによると、第3の発明と同様に、動体の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
(第1実施形態)
図1は、第1実施形態に係る活動マップ分析システムの全体構成図である。この活動マップ分析システムは、コンビニエンスストアなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗ごとに設けられたカメラ(撮像装置)1、レコーダ(画像記録装置)2、PC(活動マップ分析装置)3、およびモニタ(表示装置)4と、複数の店舗を総括する本部に設けられたPC11、およびモニタ12と、を備えている。
カメラ1は店舗内の適所に設置され、カメラ1により店舗内が撮像され、これにより得られた画像情報がレコーダ2に録画される。店舗に設けられたPC3や本部に設けられたPC11では、カメラ1で撮像された店舗内の画像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の画像を閲覧することができ、これにより店舗や本部で店舗内の状況を確認することができる。
店舗に設置されたPC3は、店舗内での顧客の活動状況に関する分析を行う活動マップ分析装置として構成される。また、このPC3で生成した分析結果情報は、PC3自身で閲覧することができ、さらに、本部に設置されたPC11に送信されて、このPC11でも閲覧することができ、PC3,11が分析結果情報を閲覧する閲覧装置として構成される。
次に、コンビニエンスストアを例にして店舗のレイアウトおよびカメラ1の設置状況について説明する。図2は、店舗のレイアウトおよびカメラ1の設置状況を説明する店舗の平面図である。
店舗には、出入口と、陳列棚(陳列エリア)と、レジカウンタと、が設けられている。陳列棚は、弁当、ペットボトル、おにぎりなどの商品の種類に分けて設置されている。レジカウンタの隣にはファーストフードの陳列棚が設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計(代金の支払い)を済ませた後に出入口から退店する。
また、店舗には、店舗内(監視エリア)を撮像する複数のカメラ1が設置されている。特に、図2(A)に示す例では、カメラ1に、所定の画角を有するカメラ、いわゆるボックスカメラが採用され、このカメラ1が、陳列棚の間の通路を撮像するように、通路の端の天井に設置されている。また、図2(B)に示す例では、カメラ1に、魚眼レンズを用いて360度の撮影範囲を有する全方位カメラが採用され、このカメラ1が、陳列棚の真上の天井に設置されており、これにより、陳列棚の間の通路を撮像することができる。
次に、図1に示したPC3で行われる活動マップ分析処理の概要について説明する。図3は、PC3の概略構成を示す機能ブロック図である。図4は、PC3で行われる活動マップ分析処理の概要を説明する説明図である。
図3に示すように、PC3は、監視部31と、活動マップ分析部32と、を備えている。監視部31は、PC3を店舗内を監視する監視システムとして機能させるものであり、この監視部31により、カメラ1およびレコーダ2の動作が制御され、また、カメラ1で撮像された店舗内の画像をリアルタイムで閲覧し、また、レコーダ2に録画された店舗内の画像を閲覧することができる。
活動マップ分析部32は、監視エリアにおける人物(動体)の活動状況に関する分析を行い、その人物の活動状況を可視化した活動マップを出力するものであり、動体検知部33と、活動値取得部34と、マップ生成部35と、グラフ生成部(遷移情報生成部)36と、分析条件設定部37と、GUI制御部38と、文書生成部39と、を備えている。
分析条件設定部(対象エリア設定部)37では、監視エリア内でユーザが特に注目するエリアを対象エリアに指定する入力操作をユーザに行わせて、そのユーザの入力操作に応じて、対象エリアを分析条件として設定する処理が行われる。
特に、本実施形態では、図4に示すように、撮像画像を格子状に分割した複数のグリッド単位で対象エリアを設定することができる。また、撮像画像の分割は、ユーザの入力操作に応じて行われ、撮像画像をグリッドに分割する際のグリッド分割数が分析条件として設定される。なお、グリッドはグリッド分割数に応じて等分割される。
また、分析条件設定部37では、ユーザの入力操作に応じて、活動マップの表示単位(画素およびグリッド)、およびカウンタ上限値が分析条件として設定される。さらに、分析条件設定部37では、日、週、月、および曜日の各集計モードを指定するユーザの入力操作に応じて、集計モードが設定される。
動体検知部33では、カメラ1による監視エリアの撮像画像から人物を検知する処理が行われる。特に、本実施形態では、人物が存在する領域を表す人物枠(動体枠)を取得する処理が行われる。この動体検知部33で行われる動体検知処理には、公知の人物検知技術などを用いればよい。また、人物枠に基づいて、人物枠内、人物枠の人物上半身、人物枠近傍の床面のいずれかの設定範囲を特定して後述の動体活動値の取得処理が行われる。
活動値取得部34は、動体検知部33での検出結果に基づき、監視エリアにおける人物の活動度合いを表す動体活動値を取得するものであり、第1の活動値取得部41と、第2の活動値取得部42と、を備えている。
第1の活動値取得部41では、動体検知部33での検出結果に基づき、人物の活動度合いを表す動体活動値を画素(検出要素)ごとに取得する処理が行われる。すなわち、カメラ画像の画素ごとに、動体検知部33で取得した人物枠内、人物枠の上半身、人物枠近傍の床面のいずれかの設定範囲に位置する回数をカウントして、画素ごとの動体活動値(カウンタ値)を取得する。
第2の活動値取得部42では、第1の活動値取得部41で取得した画素ごとの動体活動値を、対象エリアに設定されたグリッド単位で集約して、そのグリッド単位の動体活動値を取得する処理が行われる。特に、本実施形態では、グリッド内に位置する複数の画素ごとの動体活動値を平均化して、グリッド単位の動体活動値を取得する。
マップ生成部35では、活動値取得部34で取得した動体活動値に基づき、監視エリアにおける人物の活動状況を可視化した活動マップを生成する処理が行われる。特に、本実施形態では、第1の活動値取得部41で取得した画素ごとの動体活動値に基づき、画素単位の活動マップを生成し、また、第2の活動値取得部42で取得したグリッド単位の動体活動値に基づき、グリッド単位の活動マップを生成する。また、本実施形態では、対象エリアに設定されたグリッドのみに関する活動マップを生成し、対象エリアに設定されていないグリッドは除外される。
グラフ生成部36では、第2の活動値取得部42で取得したグリッド単位の動体活動値に基づき、対象エリアに設定されたグリッドにおける動体活動値の遷移状況(時間的な変化状況)を表すグラフ(遷移情報)を生成する処理が行われる。
図3に示したGUI制御部38は、モニタ4およびマウスなどの入力デバイス(入力部)6を用いたGUI(Graphical User Interface)により、ユーザの入力操作による入力情報を取得する処理、および活動マップ分析の分析結果を出力する処理を行うものであり、入力情報取得部43と、画面情報生成部(出力情報生成部)44と、を備えている。
画面情報生成部44では、ユーザに分析条件を入力させる分析条件入力画面、および活動マップ分析処理の分析結果を表示する分析結果出力画面に関する表示情報を生成する処理が行われ、分析条件入力画面および分析結果出力画面がモニタ4に表示される。入力情報取得部43では、モニタ4に表示させた分析条件入力画面や分析結果出力画面上で入力デバイス6を用いてユーザが行った入力操作に応じて入力情報を取得する処理が行われる。この入力情報取得部43で取得した入力情報に基づいて、分析条件設定部37において分析条件を設定する処理が行われる。
文書生成部(出力情報生成部)39では、活動マップ分析処理の分析結果を表示する分析結果出力文書を所定のファイルフォーマットで生成する処理が行われる。この文書生成部で生成した分析結果出力文書は、活動マップ分析処理を行うPC3とは別の装置、例えば本部に設けられたPC11に送信され、このPC11で分析結果出力文書をモニタ12に表示させ、またプリンタ45で出力することで、分析結果出力文書を閲覧することができる。
なお、監視部31および活動マップ分析部32は、PC3のCPUで監視用および活動マップ分析用のプログラムを実行させることで実現される。これらのプログラムは、情報処理装置としてのPC3に予め導入して専用の装置として構成する他、汎用OS上で動作するアプリケーションプログラムとして適宜なプログラム記録媒体に記録して、またネットワークを介して、ユーザに提供されるようにしてもよい。
次に、図3に示した活動マップ分析部32で行われる活動マップ分析処理の分析条件を入力する分析条件入力画面について説明する。図5および図6は、モニタ4に表示される分析条件入力画面を示す説明図であり、図5に示す例はボックスカメラの場合であり、図6に示す例は全方位カメラの場合である。
図5および図6に示す分析条件入力画面は、活動マップ分析部32で行われる活動マップ分析処理での分析条件をユーザに入力させるものであり、この分析条件入力画面には、開始ボタン51と、設定ボタン52と、分析条件入力部53と、分割状況表示部54と、対象エリア登録部55と、が設けられている。
開始ボタン51は、活動マップ分析部32での活動マップ分析処理を開始させるものである。設定ボタン52は、分析条件入力部53、分割状況表示部54および対象エリア登録部55を表示させて、ユーザの操作に応じて、活動マップ分析処理の分析条件を設定する処理を実行させるものである。
分析条件入力部53には、表示単位選択部56と、カウンタ上限値入力部57と、グリッド分割数入力部58と、が設けられている。
表示単位選択部56は、マップ生成部35で生成する活動マップの表示単位をユーザに選択させるものである。本実施形態では、表示単位に画素およびグリッドのいずれかを選択することができ、画素を選択すると、撮像画像の画素単位で活動マップが生成され、グリッドを選択すると、グリッド単位で活動マップが生成される。
カウンタ上限値入力部57は、カウンタ上限値を数値で入力するものであり、キーボードなどの入力デバイス6を用いてカウンタ上限値を入力すればよい。本実施形態では、カウンタ上限値を10〜500の任意の値で指定することができる。なお、このカウンタ上限値は、活動マップの表示色を制限するものであり、後に詳しく説明するが、図3に示した活動値取得部34で行われる画素ごとの人物枠のカウントは、このカウンタ上限値に関係なく行われる。
グリッド分割数入力部58は、撮像画像を格子状に分割する際のグリッドの分割数を入力するものである。このグリッド分割数入力部58には、X方向入力欄と、Y方向入力欄と、が設けられており、X方向(横方向)の分割数およびY方向(縦方向)の分割数を入力することができる。特に、本実施形態では、分割数を2〜5の任意の値で入力することができる。
分割状況表示部54には、カメラ1による撮像画像上に、グリッド分割数入力部58で入力された分割数に応じたグリッドの分割状況が表示される。すなわち、撮像画像上にグリッドの分割線が表示される。図5および図6に示した例では、X方向の分割数を5とし、Y方向の分割数を4としており、撮像画像が合計20個のグリッドに分割されている。また、グリッドには、X方向に関して数字(1,2,3...)の符号が付与され、Y方向に関してアルファベット(A,B,C...)の符号が付与されており、この縦横2つの符号でグリッドを特定することができる。
対象エリア登録部55は、分割状況表示部54に表示されたグリッドを対象エリアとして登録するものである。この対象エリア登録部55には、X方向入力欄と、Y方向入力欄と、名称入力欄と、が設けられている。X方向入力欄には、グリッドのX方向の位置を表す数字の符号を入力し、Y方向入力欄には、グリッドのY方向の位置を表すアルファベットの符号を入力し、名称入力欄には、各対象エリアの名称を入力する。これらの入力は、キーボードなどの入力デバイス6を用いて行えばよい。
図5に示した例では、弁当の陳列棚のエリアが映った1−Bのグリッドと、レジカウンタの店員がいる側のエリアが映った2−Dのグリッドと、が対象エリアに登録されている。図6に示した例では、レジカウンタの顧客がいる側のエリアが映った3−Cのグリッドと、弁当の陳列棚のエリアが映った3−Dのグリッドと、が対象エリアに登録されている。
次に、図3に示した活動値取得部34で行われる活動値取得処理について説明する。図7は、活動値取得部34で行われる活動値取得処理の要領を説明する説明図である。ここでは人物枠内に位置する回数をカウントする場合の例について説明するが、前述のように人物枠の人物上半身、人物枠近傍の床面に対応する位置を特定し、回数をカウントしてもよい。
活動値取得部34の第1の活動値取得部41では、撮像画像の画素単位で動体活動値を取得する処理が行われる。特に、本実施形態では、動体検知部33において、監視エリアの撮像画像(フレーム)から人物を検出して、その人物が存在する領域を表す人物枠(動体枠)を取得し、第1の活動値取得部41において、画素(検出要素)ごとに、動体検知部33で取得した人物枠内に位置する回数をカウントして、画素ごとの動体活動値(カウンタ値)を取得する。
この画素ごとの人物枠のカウントは、撮像画像を構成する全ての画素について行われ、図7に示すように、各画素が人物枠内に入る度にその画素のカウンタ値を1増分し、この画素ごとの人物枠のカウントが、所定の検出単位期間で継続して行われて、検出単位期間ごとに画素単位の動体活動値が順次出力される。なお、人物枠の誤検出を考慮して、人物枠内に所定回数(例えば3回)連続して入った場合に、動体活動値(カウンタ値)を1増分するようにしてもよい。
第2の活動値取得部42では、第1の活動値取得部41で取得した画素単位の動体活動値をグリッド単位で集約して、グリッド単位の動体活動値を取得する処理が行われる。特に、本実施形態では、グリッド内の各画素の動体活動値の平均値、すなわち、グリッド内の全ての画素の動体活動値を合計し、その合計値をグリッドの画素数で割った値を、そのグリッドの動体活動値とする。
図7に示す例では、人物枠内に位置する画素のカウンタ値が1であり、また、対象エリアにおける図中左下方の3つの画素の動体活動値が20、60、60である。また、数値の記載がない画素は動体活動値が0である。このため、グリッド内の全ての画素の動体活動値の合計値は、(1×20)+60+60+20=160となり、グリッドの動体活動値、すなわちグリッド内の各画素の動体活動値の平均値は、160/(8×10)=2となる。
次に、図3に示したマップ生成部35で行われる活動マップ生成処理について説明する。図8は、マップ生成部35で行われる活動マップ生成処理で用いられる色テーブルを示す説明図である。
マップ生成部35では、活動値取得部34で取得した動体活動値に基づき、人物の活動状況を可視化した活動マップを生成する処理が行われる。特に、本実施形態では、動体活動値の大きさに対応した表示色で表示単位(画素またはグリッド)ごとに着色した活動マップを生成する。
このとき、表示単位ごとの表示色が、図8に示した色テーブルを参照して決定される。この色テーブルには、色管理番号(0〜499)ごとにR,G,Bの各色の値が登録されており、カウンタ値(動体活動値)に応じて色管理番号が付与され、例えば、動体活動値が大きい場合には暖色の表示色となり、動体活動値が小さい場合には寒色の表示色となる。
特に、本実施形態では、図5および図6に示した分析条件入力画面のカウンタ上限値入力部57でユーザによりカウンタ上限値が入力されるが、このカウンタ上限値に応じて色管理番号が付与される。例えば、カウンタ上限値を500とした場合、色テーブルに登録された500色を全て用いる。具体的には、カウンタ値が上限値の500以上となる場合には、色管理番号が499の表示色となり、カウンタ値が130となる場合には、色管理番号が129の表示色となり、カウンタ値が1となる場合には、色管理番号が000の表示色となり、カウンタ値が0となる場合には、無色となる。
また、カウンタ上限値を10とした場合には、色テーブルに登録された500色のうちの10色を用いる。例えば、50飛びに、色管理番号000、049、099、...、499の表示色を用いる。具体的には、カウンタ値が上限値の10以上となる場合には、色管理番号が499の表示色となり、カウンタ値が1となる場合には、色管理番号が000の表示色となり、カウンタ値が0となる場合には、無色となる。
次に、図3に示したグラフ生成部36で行われるグラフ生成処理について説明する。図9は、グラフ生成部36で行われるグラフ生成処理の要領を説明する説明図である。
本実施形態では、第2の活動値取得部42において、第1の活動値取得部41で取得した画素単位の動体活動値をグリッド単位で集約(平均化)して、グリッド単位の動体活動値を取得する処理が行われる。そして、グラフ生成部36において、第2の活動値取得部42で取得したグリッド単位の動体活動値に基づき、対象エリアに設定されたグリッドにおける動体活動値の遷移状況に関するグラフ(遷移情報)を生成する処理が行われる。
特に、本実施形態では、図9に示すように、対象エリアに設定された各グリッドの動体活動値の遷移状況を表すグラフが生成される。特に、この図9に示す例では、1日の営業時間を時間帯(1時間)で分けて時間帯ごとの動体活動値を時系列で繋いだグラフ(折れ線グラフ)が生成される。
また、本実施形態では、活動値取得部34において、所定の検出単位期間ごとの動体活動値を取得し、グラフ生成部36において、検出単位期間ごとの動体活動値を集計単位期間で平均化して、その集計単位期間ごとの動体活動値を取得して、その集計単位期間ごとの動体活動値の遷移状況を表すグラフ(遷移情報)を生成する。
ここで、検出単位期間と集計単位期間とが同一となる場合には、平均化の処理は不要である。図9に示す例では、集計単位期間が1時間となっているが、ここで、活動値取得部34において、検出単位期間を1時間として動体活動値を取得する、すなわち、1時間に渡って人物枠のカウントが行われると、検出単位期間と集計単位期間とが同一となるため、平均化の処理は不要である。一方、検出単位期間と集計単位期間とが異なる場合には、平均化の処理が行われる。例えば、1週間の動体活動値の遷移状況をグラフ化する場合、集計単位期間が1日となるが、検出単位期間を1時間とした場合に、1時間ごとの動体活動値を1日で平均化して1日ごとの動体活動値を取得する。
次に、図3に示したモニタ4に表示される分析結果出力画面について説明する。図10〜図16は、モニタ4に表示される分析結果出力画面を示す説明図であり、このうち、図10〜図13は、活動マップが異なる例を示し、図14〜図16は、グラフが異なる例を示している。
図10〜図16に示す分析結果出力画面は、活動マップ分析部32での分析結果を出力するものであり、この分析結果出力画面には、表示ボタン61と、ダウンロードボタン62と、集計モード選択部63と、日付表示部64と、分析結果出力部65と、が設けられている。分析結果出力部65には、マップ表示部66と、グラフ表示部67と、スライダ(操作部)68と、が設けられている。
表示ボタン61は、分析結果出力部65に分析結果を表示させるものである。ダウンロードボタン62は、分析結果のデータを入手するものである。特に、本実施形態では、ダウンロードボタン62を操作することで、PC3の文書生成部39で生成した分析結果出力文書を取得することができる。これにより、活動マップ分析処理を行うPC3とは別の装置、例えば本部に設けられたPC11で分析結果出力文書をモニタ12に表示させ、またプリンタで出力することで、分析結果出力文書を閲覧することができる。この分析結果出力文書については後に詳しく説明する。
集計モード選択部63は、グラフ表示部67に表示させるグラフに関する集計モードを選択するものである。特に、本実施形態では、日、週、月、および曜日の各集計モードが設定されている。日、週、および月の集計モードを選択すると、1日、1週間、および1ヶ月における動体活動値の遷移状況を表すグラフが表示され、曜日の集計モードを選択すると、各週の同じ曜日における動体活動値の遷移状況を表すグラフが表示される。また、この集計モード選択部63で集計モードを選択すると、カレンダー画面(図示せず)がポップアップで表示され、このカレンダー画面で、分析結果を表示させる日、週、および月を選択することができる。
日付表示部64は、分析結果出力部65に表示させた分析結果の日付を表示するものである。なお、この日付表示部64に日付を直接入力して、分析結果出力部65に分析結果を表示させる日付を指定することができるようにしてもよい。
マップ表示部66には、マップ生成部35で生成した活動マップが監視エリアの撮像画像上に重ね合せた状態で表示される。グラフ表示部67には、グラフ生成部36で生成したグラフが表示される。このマップ表示部66およびグラフ表示部67については後に詳しく説明する。
スライダ68は、マップ表示部66に表示される活動マップおよび撮像画像の日時を調整するものである。このスライダ68を操作することで、活動マップおよび撮像画像を所望の日時のものに切り替えることができる。具体的には、スライダ68は、グラフ表示部67に表示されたグラフの横軸(時間軸)に沿う方向に移動可能に設けられ、マウスなどの入力デバイス6を用いてスライダ68をずらすと、グラフ表示部67に表示されたライン69が移動し、そのライン69が指し示す日時の活動マップおよび撮像画像がマップ表示部66に表示される。
次に、図10〜図16に示す分析結果出力画面のマップ表示部66について説明する。マップ表示部66には、人物の活動度合いを可視化した活動マップが監視エリアの撮像画像上に重ね合せた状態で表示されている。この活動マップは、図8に示した色テーブルに基づいて、動体活動値の大きさに応じた表示色で着色されている。なお、対象エリアに設定されたグリッドのみが動体活動値に応じた表示色で表示され、対象エリアに設定されていないグリッドは表示色のない空白となる。
図10および図11に示す例は、ボックスカメラの場合であり、ボックスカメラによる矩形の撮像画像がマップ表示部66に表示される。図12および図13に示す例は、全方位カメラの場合であり、全方位カメラによる円形の撮像画像がマップ表示部66に表示される。
また、本実施形態では、図5および図6に示した分析条件入力画面で表示単位(画素またはグリッド)を選択することができ、この選択操作に応じて、マップ表示部66に、撮像画像の画素単位の活動マップ、またはグリッド単位の活動マップが表示される。図10および図12に示す例は、表示単位に画素を選択した場合(説明の便宜上、1画素を大きめに記載)であり、マップ表示部66に画素単位の活動マップが表示されている。図11および図13に示す例は、表示単位にグリッドを選択した場合であり、マップ表示部66にグリッド単位の活動マップが表示されている。
次に、図10〜図16に示す分析結果出力画面のグラフ表示部67について説明する。グラフ表示部67には、対象エリアに設定されたグリッドごとに、動体活動値の時間的な推移状況がグラフ(折れ線グラフ)で表示されている。特に、本実施形態では、集計モード選択部63で、グラフ表示部67に表示させるグラフに関する集計モードを選択することができ、この集計モードに応じてグラフの横軸が異なる。グラフの縦軸はグリッドごとの動体活動値(カウンタ値)である。
図10〜図13に示す例は、日の集計モードを選択した場合である。この場合、ユーザが特定の日を指定することで、グラフ表示部67に、指定された日における動体活動値の遷移状況を表すグラフ(折れ線グラフ)が表示される。具体的には、グラフの横軸が時間帯となり、1日の営業時間を時間帯(1時間)で分けて時間帯ごとの動体活動値を時系列で繋いだグラフが表示される。これにより、対象エリアに設定された各グリッドにおける特定の日の各時間帯の動体活動値の変化状況を比較することができる。
また、図14に示す例は、週の集計モードを選択した場合である。この場合、ユーザが特定の週を指定することで、グラフ表示部67に、指定された週における動体活動値の遷移状況を表すグラフ(折れ線グラフ)が表示される。具体的には、グラフの横軸が日(曜日)となり、1週間を日で分けて日ごとの動体活動値を時系列で繋いだグラフが表示される。これにより、対象エリアに設定された各グリッドにおける特定の週の各日の動体活動値の変化状況を比較することができる。
また、図15に示す例は、月の集計モードを選択した場合である。この場合、ユーザが特定の月を指定することで、グラフ表示部67に、指定された1ヶ月における動体活動値の遷移状況を表すグラフ(折れ線グラフ)が表示される。具体的には、グラフの横軸が日となり、1ヶ月を日で分けて日ごとの動体活動値を時系列で繋いだグラフが表示される。これにより、対象エリアに設定された各グリッドにおける特定の月の各日の動体活動値の変化状況を比較することができる。
また、図16に示す例は、曜日の集計モードを選択した場合である。この場合、ユーザが特定の曜日を指定することで、グラフ表示部67に、各週の指定された曜日の動体活動値の遷移状況を表すグラフ(折れ線グラフ)が表示される。具体的には、グラフの横軸が各週の同一の曜日となり、各週の指定された曜日の動体活動値を時系列で繋いだグラフが表示される。これにより、対象エリアに設定された各グリッドにおける特定の曜日の動体活動値の変化状況を比較することができる。特にここでは、直近の指定された曜日から過去の各週の指定された曜日の動体活動値が表示され、これにより、特定の曜日の動体活動値の変化状況を過去に遡って把握することができる。
なお、グラフ表示部67に表示されるグラフは、対象エリアに設定されたグリッドごとに表示されるが、マップ表示部66に表示される活動マップは、表示単位の選択に応じて画素およびグリッドのいずれでも表示することができる。
このように本実施形態では、監視エリアの撮像画像から人物を検知して、その検出結果に基づき、撮像画像を複数に分割した所定の検出要素(画素)ごとに動体活動値を取得し、その検出要素ごとの動体活動値を、ユーザの入力操作に応じて監視エリア内に設定された対象エリアで集約して、その対象エリアの動体活動値を取得して、その対象エリアの動体活動値に基づき、対象エリアに関する活動マップを生成するようにしたため、監視エリア内でユーザが注目するエリアにおける人物の活動状況を即座に把握することができる。
また、本実施形態では、監視エリアの撮像画像から検出された人物が存在する領域を表す人物枠を取得し、その人物枠内に位置する回数を検出要素(画素)ごとにカウントして、検出要素ごとの動体活動値を取得するようにしたため、検出要素ごとの動体活動値を簡単な処理で取得することができる。
また、本実施形態では、対象エリアにおける動体活動値の遷移状況を表すグラフ(遷移情報)が表示されるようにしたため、人物の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる。また、活動マップが表示されるため、特定の期間での監視エリア内での人物の活動状況を即座に把握することができる。そして、活動マップとグラフとの双方を勘案することで、監視エリア内での人物の活動状況を多角的に把握することができる。
また、本実施形態では、ユーザの入力操作に応じて、撮像画像を格子状に分割した複数のグリッド単位で対象エリアを設定するようにしたため、対象エリアの指定が容易になる。
また、本実施形態では、対象エリアに設定されたグリッド単位で人物の活動度合いを可視化した活動マップを生成するようにしたため、監視エリア内でユーザが特に注目するエリアにおける人物の活動状況を即座に把握することができる。
また、本実施形態では、撮像画像の画素単位で人物の活動度合いを可視化した活動マップを生成するようにしたため、監視エリア内での人物の活動状況を詳細に把握することができる。
また、本実施形態では、検出単位期間ごとの動体活動値を集計単位期間で平均化して、その集計単位期間ごとの動体活動値を取得して、その集計単位期間ごとの動体活動値の遷移状況に関する遷移情報を生成するようにしたため、一定の検出単位期間(例えば1時間)ごとの動体活動値から、任意の集計単位期間(例えば日、週および月)ごとの動体活動値を簡単に取得することができる。これにより、集計単位期間を種々に変更することで、多様な遷移情報を取得することができるため、人物の活動度合いの変化状況を多面的に把握することができる。
また、本実施形態では、分析結果出力画面に、ユーザの操作により、マップ表示部66に表示される活動マップの日時を調整するスライダ(操作部)68を設けるようにしたため、マップ表示部66に表示されるマップ画像の日時を調整することができることから、所要の日時の活動マップおよび撮像画像を簡単に見ることができる。また、スライダ68を連続して操作することで、日時の経過に伴って活動マップおよび撮像画像が変化するため、人物の活動状況や監視エリアの実際の状態がどのように変化したかを即座に把握することができる。
特に、本実施形態では、スライダ68が、グラフ表示部67に表示されたグラフの横軸(時間軸)に沿う方向に移動可能に設けられ、スライダ68の移動操作に応じてグラフ上で日時を指し示す指示部(ライン)69が移動するようにしたため、グラフ表示部67に表示されたグラフ上で注目する日時における人物の活動状況および監視エリアの実際の状態をマップ表示部66の活動マップおよび撮像画像で簡単に確認することができる。
また、本実施形態では、活動マップが監視エリアの撮像画像上に重ね合せて表示されるため、人物の活動状況を、撮像画像に映った監視エリアの実際の状態と比較しながら確認することができる。また、動体活動値の遷移状況がグラフで表示されるため、動体活動値の時間的な変化状況の把握がより一層容易になる。そして、活動マップとグラフとが並べて配置されるため、活動マップとグラフとの対比が容易になり、監視エリア内での人物の活動状況を多角的にかつ容易に把握することができる。
次に、モニタ4に表示される分析結果出力画面のグラフ表示部67に表示されるグラフの別例について説明する。図17は、グラフ表示部67に表示されるグラフの別例を説明する説明図である。
本実施形態では、グラフ生成部36において、対象エリアに設定された複数のグリッドごとの動体活動値を累積した累積値の遷移状況に関するグラフ(遷移情報)を生成する処理が行われる。これにより、図17に示すように、分析結果出力画面のグラフ表示部67に面グラフを表示させることができる。
この面グラフでは、対象エリアに設定された各グリッドの動体活動値を時系列で繋いだグラフ(折れ線グラフ)が累積された状態で表示されている。なお、図17に示す例は、図10〜図13に示す例と同様に、日の集計モードが選択されており、グラフの横軸が時間帯となり、指定された日における時間帯ごとの動体活動値を時系列で繋いだ折れ線グラフが表示されている。
なお、図17では、折れ線グラフで構成される面グラフを表示させるようにしたが、積み上げ棒グラフで表示するようにしてもよい。
このように本実施形態では、対象エリアに指定された各グリッドの動体活動値を累積した累積値の遷移状況に関する面グラフを表示させるようにしたため、複数の対象エリアを統合した人物の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる。
なお、本実施形態では、PC3にWebサーバの機能が設けられ、図5および図6に示した分析条件入力画面や、図10〜図17に示した分析結果出力画面をWebブラウザで表示させるようにしている。このようにすると、活動マップ分析処理を行うPC3とは別の装置、例えば本部に設けられたPC11などの装置に導入された汎用的なWebブラウザで分析条件入力や分析結果出力の機能を実現することができる。
次に、図3に示した文書生成部39で生成される分析結果出力文書について説明する。図18〜図21は、文書生成部39で生成される分析結果出力文書を示す説明図である。
本実施形態では、図3に示した文書生成部39において、分析結果出力文書を生成する処理が行われ、この分析結果出力文書は、活動マップ分析処理を行うPC3で閲覧することができるが、特に、本実施形態では、活動マップ分析処理を行う装置とは別の装置、例えば本部のPC11で、図10〜図17に示した分析結果出力画面を閲覧する際に、その分析結果出力画面に設けられたダウンロードボタン62を操作することで、分析結果出力文書を取得して、モニタやプリンタを用いて分析結果出力文書を閲覧することができる。
図18〜図21に示すように、この分析結果文書には、グラフ表示部71と、マップ表示部72と、が設けられている。グラフ表示部71には、グラフ生成部36で生成されたグラフが表示される。マップ表示部72には、マップ生成部35で生成された活動マップが監視エリアの撮像画像上に重ね合せた状態で表示される。
特に、図18に示す例は、図10〜図13に示した分析結果出力画面と同様に、日の集計モードを選択した場合であり、グラフ表示部71に、対象エリアに指定されたグリッドごとに、時間帯ごとの活動値を時系列で繋いだグラフ(折れ線グラフ)が表示されている。また、マップ表示部72に、各時間帯の活動マップが表示されている。なお、図18には、最初の2つの時間帯の活動マップのみを図示しているが、横スクロールボタン(図示せず)を用いて、これらの時間帯の活動マップに続いて、他の時間帯の活動マップも同様に表示される。
また、図19に示す例は、図14に示した分析結果出力画面と同様に、週の集計モードを選択した場合であり、グラフ表示部71に、対象エリアに指定されたグリッドごとに、日(曜日)ごとの動体活動値を時系列で繋いだグラフ(折れ線グラフ)が表示されている。また、マップ表示部72に、各日の活動マップが表示されている。なお、図19には、最初の2つの曜日の活動マップのみを図示しているが、横スクロールボタン(図示せず)を用いて、これらの曜日の活動マップに続いて、他の曜日の活動マップも同様に表示される。
また、図20に示す例は、図15に示した分析結果出力画面と同様に、月の集計モードを選択した場合であり、グラフ表示部71に、対象エリアに指定されたグリッドごとに、日ごとの動体活動値を時系列で繋いだグラフ(折れ線グラフ)が表示されている。また、マップ表示部72に、各日の活動マップが表示されている。なお、図20には、最初の2つの日の活動マップのみを図示しているが、これらの日の活動マップに続いて、他の日の活動マップも同様に表示される。
また、図21に示す例は、図16に示した分析結果出力画面と同様に、曜日の集計モードを選択した場合であり、グラフ表示部71に、対象エリアに指定されたグリッドごとに、各週の同一の曜日の動体活動値を時系列で繋いだグラフ(折れ線グラフ)が表示される。特に、図21に示す例では、図16に示した分析結果出力画面と異なり、月および曜日を指定して、指定された月における指定された曜日のグラフが表示されている。また、マップ表示部72に、各日の活動マップが表示されている。なお、図21には、最初の2つの日の活動マップのみを図示しているが、横スクロールボタン(図示せず)を用いて、これらの日の活動マップに続いて、他の日の活動マップも同様に表示される。
(第2実施形態)
次に、第2実施形態に係る活動マップ分析システムについて説明する。図22は、第2実施形態に係る活動マップ分析システムにおける分析条件入力画面を示す説明図である。なお、ここで特に言及しない点は第1実施形態と同様である。
第1実施形態では、撮像画像を格子状に分割した複数のグリッド単位でユーザが対象エリアを指定するようにしたが、この第2実施形態では、ユーザが対象エリアを任意の形状で指定することができ、分析条件設定部37において、ユーザの入力操作に応じて、ユーザが指定する任意の形状に対象エリアを設定する処理が行われる。
この第2実施形態では、図22に示すように、分析条件入力画面の分析条件入力部53に、任意エリア設定モード選択部81が設けられている。また、分析条件入力画面には、対象エリア入力部82と、対象エリア登録部83と、が設けられている。その他は、図5および図6に示した例と同様である。
任意エリア設定モード選択部81は、対象エリアを任意の形状に設定する任意エリア設定モードを選択するものである。任意エリア設定モードが選択されると、当然ながら、グリッド分割数入力部58においてグリッドの分割数の入力はできない。
対象エリア入力部82は、カメラ1による撮像画像を表示させて、その撮像画像上で対象エリアをユーザに入力させるものである。ここで、例えば、対象エリアを多角形で設定する場合には、マウスなどの入力デバイス6を用いて計測エリアの頂点を入力すればよい。また、対象エリアを円形で設定する場合には、中心および径を入力すればよい。また、対象エリアの外周を表す線をマウスで描画して、そのマウスの軌跡で対象エリアを設定するようにしてもよい。対象エリアの入力が終了すると、計測エリアを表す画像上に対象エリアの通し番号が表示される。
対象エリア登録部83には、通し番号表示欄と、名称入力欄と、が設けられている。通し番号表示欄には、計測エリアの通し番号(No.)が表示される。名称入力欄では、キーボードなどの入力デバイス6を用いて、ユーザが各対象エリアの名称を入力する。
このようにして対象エリアが設定されると、その対象エリアに基づいて、活動値取得部34、マップ生成部35、およびグラフ生成部36において、第1実施形態と同様の処理が行われ、図10〜図17に示した分析結果出力画面と同様の分析結果出力画面がモニタに表示され、また、図18〜図21に示した分析結果出力文書と同様の分析結果出力文書が生成される。
このように第2実施形態では、ユーザの入力操作に応じて、ユーザが指定する任意の形状に対象エリアを設定するようにしたため、監視エリアの実際の状態に応じて、最適な形状に対象エリアを設定することができる。
以上、本発明を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本発明はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本発明に係る活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本発明の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
例えば、本実施形態では、コンビニエンスストアなどの店舗の例について説明したが、このような店舗に限定されるものではなく、監視エリア内に存在する人物の活動状況を把握することが有用である場所に広く適用することができる。
また、本実施形態では、対象となる動体を人物とした例について説明したが、人物以外の動体、例えば自動車や自転車などの車両を対象として、車両の活動状況を把握する用途に適用することも可能である。
また、本実施形態では、第1の活動値取得部41において、撮像画像を複数に分割した所定の検出要素として、画素ごとの動体活動値を取得するようにしたが、検出要素は、このような撮像画像の最小単位となる画素に限定されるものではなく、複数の画素で構成される領域を検出要素とすることも可能である。
また、本実施形態では、第1の活動値取得部41において、主に検出要素(画素)ごとに、動体枠(人物枠)内に位置する回数をカウントして、検出要素ごとの動体活動値を取得するようにしたが、この動体活動値取得処理は、このような方法に限定されるものでない。例えば、撮像画像(フレーム)から検出される動体の位置(例えば動体枠の中心)を時系列で連結して動線を生成し、この動線が通過する回数を検出要素ごとにカウントして、検出要素ごとの動体活動値を取得するようにしてもよい。
また、本実施形態では、活動マップにおいて動体活動値の大きさを色合いで表現するようにしたが、この動体活動値の大きさを、単色の濃淡で表現するようにしてもよく、また、模様などの図形、文字、および記号などで表現するようにしてもよい。
また、本実施形態では、図9〜図21に示したように、対象エリアにおける動体活動値の遷移状況に関する遷移情報としてグラフ、特に折れ線グラフを表示するようにしたが、表を表示するようにしてもよく、また、棒グラフなどの他の形式によるグラフを表示するようにしてもよい。
また、本実施形態では、図4などに示したように、撮像画像を格子状に分割した矩形状の分割領域(グリッド)で対象エリアを設定するようにしたが、この分割領域の形状は矩形に限定されるものではなく、例えば六角形(ハニカム)なども可能である。
また、本実施形態では、図10〜図17に示したように、分析結果出力画面においてマップ画像とグラフ画像とを並べて配置するようにしたが、マップ画像とグラフ画像とを別画面で切り替えて表示するようにしてもよい。
また、本実施形態では、監視エリア上に設定された対象エリアのみに関する活動マップを表示するようにしたが、監視エリア全体の活動マップを表示することも可能である。
また、本実施形態では、活動マップ分析を行うPC3に動体検知部33を設けたが、この動体検知の機能の一部あるいは全部をカメラ1に一体化して動体検知機能付き撮像装置として構成することも可能である。
また、本実施形態では、活動マップ分析に必要な処理を、店舗に設けられたPC3に行わせるようにしたが、この必要な処理を、図1に示したように、本部に設けられたPC11や、クラウドコンピューティングシステムを構成するクラウドコンピュータ21に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置で活動マップ分析システムが構成される。
このような構成では、店舗に設けられた装置に、少なくとも動体検知処理を行わせるようにするとよい。このように構成すると、残りの処理で必要となる情報のデータ量が少なくて済むため、残りの処理を店舗とは異なる場所に設置された情報処理装置、例えば本部に設置されたPC11に行わせるようにしても、通信負荷を軽減することができるため、広域ネットワーク接続形態によるシステムの運用が容易になる。
また、クラウドコンピュータ21に、活動マップ分析に必要な処理のうち、少なくとも演算量が大きな処理、例えば動体検知処理や活動値取得処理を行わせるようにしてもよい。このように構成すると、残りの処理は演算量が小さくて済むため、店舗などのユーザ側に高速な情報処理装置が不要となり、店舗に設置された販売情報管理装置などを構成する情報処理装置に拡張機能として兼用させることも可能になり、ユーザが負担するコストを軽減することができる。
また、クラウドコンピュータ21に必要な処理の全部を行わせ、あるいは、必要な処理のうちの少なくとも出力情報生成処理をクラウドコンピュータ21に分担させるようにしてもよく、このように構成すると、店舗や本部に設けられたPC3,11の他に、スマートフォン22などの携帯型端末でも、分析結果を表示することができるようになり、これにより店舗や本部の他に外出先などの任意の場所で分析結果を確認することができる。
また、本実施形態では、店舗に設置されたPC3のモニタ4に分析結果を出力するようにしたが、分析結果の出力装置をPC3とは別に設けることも可能であり、例えば、前記のように本部に設置されたPC11やスマートフォン22を分析結果の閲覧装置とする他に、店舗に設置された販売情報管理装置に分析結果の閲覧装置としての機能を付加することも可能である。また、分析結果をプリンタで出力することも可能である。
また、本実施形態では、店舗に設置されたPC3のモニタ4に分析条件入力画面や分析結果出力画面を表示させるようにしたが、活動マップ分析処理を行うPC3とは別に、必要な入力および出力を行う情報処理装置、特に携帯型情報処理装置、例えばタブレット端末を設けるようにしてもよい。
本発明にかかる活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法は、監視エリア内でユーザが注目するエリアにおける動体の活動状況を即座に把握することができ、また、動体の活動状況が時間の経過に伴ってどのように変化したかを即座に把握することができる効果を有し、監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法などとして有用である。
1 カメラ
3 PC(活動マップ分析装置)
2 レコーダ
4 モニタ(表示装置)
6 入力デバイス
11 PC
12 モニタ
21 クラウドコンピュータ
22 スマートフォン
31 監視部
32 活動マップ分析部
33 動体検知部
34 活動値取得部
35 マップ生成部
36 グラフ生成部(遷移情報生成部)
37 分析条件設定部(対象エリア設定部)
38 GUI制御部
39 文書生成部(出力情報生成部)
41 第1の活動値取得部
42 第2の活動値取得部
43 入力情報取得部
44 画面情報生成部(出力情報生成部)
45 プリンタ
66 マップ表示部
67 グラフ表示部
68 スライダ(操作部)

Claims (15)

  1. 監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置であって、
    監視エリアの撮像画像から動体を検知する動体検知部と、
    この動体検知部での検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得する第1の活動値取得部と、
    ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、
    前記第1の活動値取得部で取得した前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得する第2の活動値取得部と、
    この第2の活動値取得部で取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するマップ生成部と、
    このマップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする活動マップ分析装置。
  2. 前記動体検知部は、前記監視エリアの撮像画像から検出された動体が存在する領域を表す動体枠を取得し、
    前記第1の活動値取得部は、前記動体検知部で取得した前記動体枠に基づく設定範囲内に位置する回数を前記検出要素ごとにカウントして、前記検出要素ごとの動体活動値を取得することを特徴とする請求項1に記載の活動マップ分析装置。
  3. 監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析装置であって、
    監視エリアの撮像画像から動体を検知する動体検知部と、
    この動体検知部での検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得する活動値取得部と、
    この活動値取得部で取得した前記動体活動値に基づき、前記活動マップを生成するマップ生成部と、
    ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、
    前記活動値取得部で取得した前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成する遷移情報生成部と、
    前記マップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像、および前記遷移情報生成部で取得した前記遷移情報を有する出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする活動マップ分析装置。
  4. 前記対象エリア設定部は、ユーザの入力操作に応じて、前記撮像画像を格子状に分割した複数のグリッド単位で前記対象エリアを設定することを特徴とする請求項3に記載の活動マップ分析装置。
  5. 前記マップ生成部は、前記対象エリアに設定された前記グリッド単位で前記活動マップを生成することを特徴とする請求項4に記載の活動マップ分析装置。
  6. 前記マップ生成部は、前記撮像画像の画素単位で前記活動マップを生成することを特徴とする請求項3に記載の活動マップ分析装置。
  7. 前記対象エリア設定部は、ユーザの入力操作に応じて、ユーザが指定する任意の形状に前記対象エリアを設定することを特徴とする請求項3に記載の活動マップ分析装置。
  8. 前記活動値取得部は、所定の検出単位期間ごとの動体活動値を取得し、
    前記遷移情報生成部は、前記検出単位期間ごとの動体活動値を集計単位期間で平均化して、その集計単位期間ごとの動体活動値を取得して、その集計単位期間ごとの動体活動値の遷移状況に関する前記遷移情報を生成することを特徴とする請求項3から請求項7のいずれかに記載の活動マップ分析装置。
  9. 前記遷移情報生成部は、複数の前記対象エリアごとの動体活動値を累積した累積値の遷移状況に関する前記遷移情報を生成することを特徴とする請求項3から請求項8のいずれかに記載の活動マップ分析装置。
  10. 前記出力情報生成部は、表示装置に表示させる分析結果出力画面に関する前記出力情報を生成し、
    前記分析結果出力画面には、前記活動マップを表示するマップ表示部と、ユーザの操作により、前記マップ表示部に表示される前記活動マップの日時を調整する操作部と、が設けられたことを特徴とする請求項3から請求項9のいずれかに記載の活動マップ分析装置。
  11. 前記出力情報生成部は、前記マップ画像と、前記遷移情報としてのグラフを表示したグラフ画像と、を並べて配置した前記出力情報を生成することを特徴とする請求項3から請求項10のいずれかに記載の活動マップ分析装置。
  12. 監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析システムであって、
    前記監視エリアを撮影するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    監視エリアの撮像画像から動体を検知する動体検知部と、
    この動体検知部での検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得する第1の活動値取得部と、
    ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、
    前記第1の活動値取得部で取得した前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得する第2の活動値取得部と、
    この第2の活動値取得部で取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するマップ生成部と、
    このマップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする活動マップ分析システム。
  13. 監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する活動マップ分析システムであって、
    前記監視エリアを撮影するカメラと、
    複数の情報処理装置と、
    を有し、
    前記複数の情報処理装置のいずれかが、
    監視エリアの撮像画像から動体を検知する動体検知部と、
    この動体検知部での検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得する活動値取得部と、
    この活動値取得部で取得した前記動体活動値に基づき、前記活動マップを生成するマップ生成部と、
    ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定する対象エリア設定部と、
    前記活動値取得部で取得した前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成する遷移情報生成部と、
    前記マップ生成部で生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像、および前記遷移情報生成部で取得した前記遷移情報を有する出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする活動マップ分析システム。
  14. 監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する処理を情報処理装置に行わせる活動マップ分析方法であって、
    監視エリアの撮像画像から動体を検知するステップと、
    このステップでの検知結果に基づき、前記撮像画像を複数に分割した所定の検出要素ごとに、動体の活動度合いを表す動体活動値を取得するステップと、
    ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定するステップと、
    前記検出要素ごとの動体活動値を前記対象エリアで集約して、その対象エリアの動体活動値を取得するステップと、
    このステップで取得した前記対象エリアの動体活動値に基づき、前記対象エリアに関する前記活動マップを生成するステップと、
    このステップで生成した前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像を有する出力情報を生成するステップと、
    を備えたことを特徴とする活動マップ分析方法。
  15. 監視エリアにおける動体の活動状況に関する分析を行い、その動体の活動状況を可視化した活動マップを出力する処理を情報処理装置に行わせる活動マップ分析方法であって、
    監視エリアの撮像画像から動体を検知するステップと、
    このステップでの検知結果に基づき、前記監視エリアにおける動体の活動度合いを表す動体活動値を取得するステップと、
    このステップで取得した前記動体活動値に基づき、前記活動マップを生成するステップと、
    ユーザの入力操作に応じて、前記監視エリア内に対象エリアを設定するステップと、
    前記動体活動値に基づき、前記対象エリアにおける動体活動値の遷移状況に関する遷移情報を生成するステップと、
    前記活動マップを前記監視エリアの撮像画像上に重ね合せて表示したマップ画像および前記遷移情報を有する出力情報を生成するステップと、
    を備えたことを特徴とする活動マップ分析方法。
JP2013270927A 2013-12-27 2013-12-27 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法 Active JP5597762B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013270927A JP5597762B1 (ja) 2013-12-27 2013-12-27 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
US14/579,092 US9852345B2 (en) 2013-12-27 2014-12-22 Activity map creating device, activity map creating system, and activity map creating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013270927A JP5597762B1 (ja) 2013-12-27 2013-12-27 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2014161046A Division JP6226240B2 (ja) 2014-08-07 2014-08-07 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法

Publications (2)

Publication Number Publication Date
JP5597762B1 true JP5597762B1 (ja) 2014-10-01
JP2015125671A JP2015125671A (ja) 2015-07-06

Family

ID=51840278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013270927A Active JP5597762B1 (ja) 2013-12-27 2013-12-27 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法

Country Status (2)

Country Link
US (1) US9852345B2 (ja)
JP (1) JP5597762B1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016059740A1 (ja) * 2014-10-17 2016-04-21 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP2016154341A (ja) * 2016-03-08 2016-08-25 パナソニックIpマネジメント株式会社 活動状況分析システムおよび活動状況分析方法
JP2016207194A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP2016207193A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method
US10567677B2 (en) 2015-04-17 2020-02-18 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
US10607240B2 (en) 2014-10-08 2020-03-31 Panasonic Intellectual Property Management Co., Ltd. Activity situation analysis apparatus, activity situation analysis system, and activity situation analysis method
US10621423B2 (en) 2015-12-24 2020-04-14 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5834249B2 (ja) 2013-11-20 2015-12-16 パナソニックIpマネジメント株式会社 人物移動分析装置、人物移動分析システムおよび人物移動分析方法
US9693023B2 (en) 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method
JP5707562B1 (ja) 2014-05-23 2015-04-30 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5866542B1 (ja) 2014-10-28 2016-02-17 パナソニックIpマネジメント株式会社 施設管理支援装置、施設管理支援システムおよび施設管理支援方法
JP6511860B2 (ja) * 2015-02-27 2019-05-15 富士通株式会社 表示制御システム、グラフ表示方法およびグラフ表示プログラム
TWI541767B (zh) * 2015-04-07 2016-07-11 群暉科技股份有限公司 藉助於自動產生之巡邏路徑控制一監視系統之方法與裝置
DE102015006676A1 (de) * 2015-05-22 2016-11-24 Audi Ag Geographische Fehlerquellenlokalisation für Kraftfahrzeuge
EP3355576A4 (en) * 2015-09-25 2019-05-01 Sony Corporation INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP6256885B2 (ja) 2016-03-31 2018-01-10 パナソニックIpマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP6156665B1 (ja) * 2016-04-08 2017-07-05 パナソニックIpマネジメント株式会社 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
WO2019146184A1 (ja) * 2018-01-29 2019-08-01 日本電気株式会社 処理装置、処理方法及びプログラム
WO2019162988A1 (ja) 2018-02-20 2019-08-29 株式会社ソシオネクスト 表示制御装置、表示制御システム、表示制御方法、及びプログラム
US10904628B2 (en) * 2018-05-07 2021-01-26 Apple Inc. User interfaces for viewing live video feeds and recorded video
DE102018120333A1 (de) * 2018-08-21 2020-02-27 Wabco Europe Bvba Verfahren zur Überwachung des Laderaums in einem Fahrzeug
JP6764138B2 (ja) * 2019-03-28 2020-09-30 日本電気株式会社 管理方法、管理装置、プログラム
US10904029B2 (en) 2019-05-31 2021-01-26 Apple Inc. User interfaces for managing controllable external devices
US11363071B2 (en) 2019-05-31 2022-06-14 Apple Inc. User interfaces for managing a local network
US11079913B1 (en) 2020-05-11 2021-08-03 Apple Inc. User interface for status indicators
US11589010B2 (en) 2020-06-03 2023-02-21 Apple Inc. Camera and visitor user interfaces
US11657614B2 (en) 2020-06-03 2023-05-23 Apple Inc. Camera and visitor user interfaces
JP7024820B2 (ja) * 2020-06-16 2022-02-24 株式会社リコー 情報処理方法
WO2022051112A1 (en) 2020-09-05 2022-03-10 Apple Inc. User interfaces for managing audio for media items
JP7157838B2 (ja) * 2021-03-15 2022-10-20 三菱電機インフォメーションシステムズ株式会社 検知装置、検知方法及び検知プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324445A (ja) * 1999-05-10 2000-11-24 Nri & Ncc Co Ltd 顧客行動画像データ記録装置および顧客行動画像データ記録方法
JP2002133075A (ja) * 2000-10-23 2002-05-10 Shimizu Corp 商品の関心度合い評価システム
JP2009265830A (ja) * 2008-04-23 2009-11-12 Toshiba Corp 店舗内行動分析装置、店舗内行動分析方法
JP2012203680A (ja) * 2011-03-25 2012-10-22 Secom Co Ltd 画像処理装置
JP5356615B1 (ja) * 2013-02-01 2013-12-04 パナソニック株式会社 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020057840A1 (en) * 1999-02-26 2002-05-16 Belmares Robert J. System and method for monitoring visible changes
AU2003220287A1 (en) * 2002-03-14 2003-09-29 General Electric Company High-speed search of recorded video information to detect motion
JP2003324726A (ja) 2002-05-07 2003-11-14 Itochu Corp 監視カメラを用いた物体検出装置
JP4541316B2 (ja) * 2006-04-06 2010-09-08 三菱電機株式会社 映像監視検索システム
US8310542B2 (en) 2007-11-28 2012-11-13 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
JP2011248836A (ja) 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
US9269243B2 (en) * 2011-10-07 2016-02-23 Siemens Aktiengesellschaft Method and user interface for forensic video search

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000324445A (ja) * 1999-05-10 2000-11-24 Nri & Ncc Co Ltd 顧客行動画像データ記録装置および顧客行動画像データ記録方法
JP2002133075A (ja) * 2000-10-23 2002-05-10 Shimizu Corp 商品の関心度合い評価システム
JP2009265830A (ja) * 2008-04-23 2009-11-12 Toshiba Corp 店舗内行動分析装置、店舗内行動分析方法
JP2012203680A (ja) * 2011-03-25 2012-10-22 Secom Co Ltd 画像処理装置
JP5356615B1 (ja) * 2013-02-01 2013-12-04 パナソニック株式会社 顧客行動分析装置、顧客行動分析システムおよび顧客行動分析方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10607240B2 (en) 2014-10-08 2020-03-31 Panasonic Intellectual Property Management Co., Ltd. Activity situation analysis apparatus, activity situation analysis system, and activity situation analysis method
CN105723703B (zh) * 2014-10-17 2019-12-17 松下知识产权经营株式会社 监控装置、监控系统以及监控方法
CN105723703A (zh) * 2014-10-17 2016-06-29 松下知识产权经营株式会社 监控装置、监控系统以及监控方法
GB2535091A (en) * 2014-10-17 2016-08-10 Panasonic Ip Man Co Ltd Monitoring device, monitoring system, and monitoring method
WO2016059740A1 (ja) * 2014-10-17 2016-04-21 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US9794508B2 (en) 2014-10-17 2017-10-17 Panasonic Intellectual Property Management Co., Ltd. Monitoring device, monitoring system, and monitoring method
GB2535091B (en) * 2014-10-17 2020-08-05 Panasonic Ip Man Co Ltd Monitoring device, monitoring system, and monitoring method
JP2016082431A (ja) * 2014-10-17 2016-05-16 パナソニックIpマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US10567677B2 (en) 2015-04-17 2020-02-18 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
US10602080B2 (en) 2015-04-17 2020-03-24 Panasonic I-Pro Sensing Solutions Co., Ltd. Flow line analysis system and flow line analysis method
JP2016207194A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
JP2016207193A (ja) * 2015-12-07 2016-12-08 パナソニックIpマネジメント株式会社 動線分析システム及び動線分析方法
US10956722B2 (en) 2015-12-24 2021-03-23 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
US10621423B2 (en) 2015-12-24 2020-04-14 Panasonic I-Pro Sensing Solutions Co., Ltd. Moving information analyzing system and moving information analyzing method
JP2016154341A (ja) * 2016-03-08 2016-08-25 パナソニックIpマネジメント株式会社 活動状況分析システムおよび活動状況分析方法
US10497130B2 (en) 2016-05-10 2019-12-03 Panasonic Intellectual Property Management Co., Ltd. Moving information analyzing system and moving information analyzing method

Also Published As

Publication number Publication date
US9852345B2 (en) 2017-12-26
US20150187088A1 (en) 2015-07-02
JP2015125671A (ja) 2015-07-06

Similar Documents

Publication Publication Date Title
JP5597762B1 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP6256885B2 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP5597781B1 (ja) 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
US10121160B2 (en) Person movement analysis device, person movement analysis system, and person movement analysis method
JP5907362B1 (ja) 活動状況分析装置、活動状況分析システムおよび活動状況分析方法
JP5683663B1 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US10180326B2 (en) Staying state analysis device, staying state analysis system and staying state analysis method
JP5906556B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5942173B2 (ja) 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法
JP5879616B1 (ja) 活動状況分析システム、活動状況分析装置、活動状況分析方法、活動状況分析プログラムおよびそのプログラムを格納する記憶媒体
US10410333B2 (en) Product monitoring device, product monitoring system, and product monitoring method
JP5789776B2 (ja) 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
JP5866523B2 (ja) 施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法
JP2021043866A5 (ja)
JP6226240B2 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP6508482B2 (ja) 活動状況分析システムおよび活動状況分析方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140811

R151 Written notification of patent or utility model registration

Ref document number: 5597762

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151