JP6156665B1 - 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法 - Google Patents

施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法 Download PDF

Info

Publication number
JP6156665B1
JP6156665B1 JP2016078158A JP2016078158A JP6156665B1 JP 6156665 B1 JP6156665 B1 JP 6156665B1 JP 2016078158 A JP2016078158 A JP 2016078158A JP 2016078158 A JP2016078158 A JP 2016078158A JP 6156665 B1 JP6156665 B1 JP 6156665B1
Authority
JP
Japan
Prior art keywords
activity
information
facility
image
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016078158A
Other languages
English (en)
Other versions
JP2017188023A (ja
Inventor
岩井　和彦
和彦 岩井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2016078158A priority Critical patent/JP6156665B1/ja
Priority to PCT/JP2017/005486 priority patent/WO2017175484A1/ja
Priority to US16/088,678 priority patent/US20200302188A1/en
Application granted granted Critical
Publication of JP6156665B1 publication Critical patent/JP6156665B1/ja
Publication of JP2017188023A publication Critical patent/JP2017188023A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Signal Processing (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができるようにする。【解決手段】撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す活動情報を取得する活動情報取得部５２と、施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定する対象エリア設定部５３と、検出要素ごとの活動情報を対象エリア単位で集約して、対象エリアごとの活動情報を生成する活動情報集約部５４と、施設マップ画像上における対象エリアを表す画像の表示形態を変更することで、対象エリアごとの活動情報を可視化した表示情報を、施設マップ画像の各々について生成して、この施設マップ画像に関する表示情報を含む出力情報を生成する出力情報生成部５８と、を備えたものとする。【選択図】図１０

Description

本発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法に関するものである。
コンビニエンスストアなどの店舗においては、店舗内での顧客の行動に関する分析に基づいて、店舗経営上の改善策、具体的には売場ごとの商品の種類の見直しや商品の陳列方法などに関する改善策を考えることが、顧客満足度の向上や店舗の効率的な運営を図り、店舗の売上や利益を向上させる上で有益である。一方、コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの撮像画像で店舗内の状況を監視する監視システムが広く普及しており、このカメラの撮像画像を利用して、店舗内での顧客の行動に関する分析を情報処理装置に行わせるようにすると、店舗経営上の改善策の検討作業を効率よく行うことができる。
このようなカメラの撮像画像を利用して人物の行動に関する分析を行う技術として、従来、カメラの撮像画像などに基づいて、監視エリア内の各位置における人物の活動レベルを取得して、その活動レベルを可視化した活動マップを生成する技術が知られている（特許文献１参照）。この技術では、活動マップが、人物の活動レベルに応じて等高線状に色分けされた状態で、監視エリアの配置図上に重畳して表示されるようになっており、特に、活動レベルを時間帯ごとに集計することで、時間帯ごとの活動マップが表示されるようにしている。
特開２００９−１３４６８８号公報
さて、前記従来の技術では、監視エリアにおける人物の全体的な活動状況を時間帯ごとに把握することは容易にできるものの、活動マップが複雑な形状で表示されるため、監視エリア内でユーザが特に注目する特定のエリアにおける人物の活動状況を即座に把握することができないという問題があった。特に、店舗管理者は、商品種別や陳列区分などに基づいて区画された売場単位、あるいは各階のフロア単位に、顧客の活動傾向を把握したいといった要望があるが、前記従来の技術は、このような要望に応えることができないものであった。
そこで、本発明は、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法を提供することを主な目的とするものである。
本発明の施設内活動分析装置は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定する対象エリア設定部と、前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成する活動情報集約部と、前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。
また、本発明の施設内活動分析システムは、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、前記活動情報を可視化した出力情報を生成するサーバ装置と、前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記カメラから前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定する対象エリア設定部と、前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成する活動情報集約部と、前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。
また、本発明の施設内活動分析方法は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定し、前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成し、前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する構成とする。
本発明によれば、施設内でユーザが注目するエリアを対象エリアに設定することで、その対象エリアにおける動体の活動情報が施設マップ画像上に可視化されるため、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。特に、複数の施設マップ画像上で対象エリアにおける動体の活動情報が可視化されるため、施設内における動体の活動状況をユーザが多様な観点から把握することができる。
本実施形態に係る施設内活動分析システムの全体構成図 店舗およびその周辺の状況を示す立面図 店舗のフロアのレイアウトおよびカメラ１の設置状況を説明する平面図 カメラ１およびサーバ装置２で行われる処理の概要を示す説明図 地域一覧マップ表示画面を示す説明図 店舗一覧表示画面を示す説明図 全体表示モードでの店舗マップ表示画面を示す説明図 個別表示モードでの店舗マップ表示画面を示す説明図 カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図 カメラ１およびサーバ装置２の機能ブロック図 断面マップ画像に関する対象エリア設定画面を示す説明図 平面マップ画像に関する対象エリア設定画面を示す説明図 カメラ設定画面を示す説明図 カメラ１による入店者数および退店者数と滞在人数との計測結果の一例を示す説明図 店舗マップ表示画面の別例を示す説明図 警報表示状態の店舗マップ表示画面を示す説明図 サーバ装置２の制御部２１で行われるその他の分析処理の一例を示す説明図
前記課題を解決するためになされた第１の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定する対象エリア設定部と、前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成する活動情報集約部と、前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。
これによると、施設内でユーザが注目するエリアを対象エリアに設定することで、その対象エリアにおける動体の活動情報が施設マップ画像上に可視化されるため、施設内でユーザが注目するエリアにおける動体の活動状況をユーザが即座に把握することができる。特に、複数の施設マップ画像上で対象エリアにおける動体の活動情報が可視化されるため、施設内における動体の活動状況をユーザが多様な観点から把握することができる。
また、第２の発明は、前記施設マップ画像は、前記施設を構成する建物の断面的なレイアウトを描画した断面マップ画像、および前記建物内のフロアの平面的なレイアウトを描画した平面マップ画像である構成とする。
これによると、断面マップ画像上で動体の活動情報が可視化されることで、施設を構成する建物の各階における動体の活動状況をユーザが即座に把握することができ、また、平面マップ画像上で動体の活動情報が可視化されることで、建物内のフロア内における動体の活動状況をユーザが即座に把握することができる。
また、第３の発明は、前記出力情報生成部は、前記断面マップ画像上でフロアを指定するユーザの入力操作に応じて、指定されたフロアに関する前記平面マップ画像を表示する表示情報を生成する構成とする。
これによると、断面マップ画像上で注目するフロアの平面マップ画像を即座に表示させることができる。
また、第４の発明は、さらに、前記活動情報取得部で取得した前記対象エリアごとの現在の滞在人数に基づいて、前記対象エリアごとに防災上の警報が必要か否かを判定する警報判定部を備え、前記出力情報生成部は、前記警報判定部の判定結果に基づき、前記施設マップ画像上において、防災上の警報が必要と判定された前記対象エリアに対応する位置に警報アイコンを重ね合わせた表示情報を生成する構成とする。
これによると、警報アイコンにより、現在施設内に滞在する人物の人数が、地震などの災害が仮に発生したときに避難行動が円滑に行われない可能性が高いレベルにあることを、施設管理者などのユーザに通知して、ユーザの注意を喚起することができる。
また、第５の発明は、前記活動情報集約部は、前記検出要素ごとの活動情報を前記施設単位で集約して、前記施設ごとの活動情報を生成し、この施設ごとの活動情報を地域単位で平均化して、地域ごとの活動情報を生成し、前記出力情報生成部は、地域一覧マップ画像上における地域を表す画像の表示形態を変更することで、前記地域ごとの活動情報を可視化した表示情報を生成する構成とする。
これによると、地域一覧マップ画像上で地域ごとの活動情報が可視化されるため、地域ごとの動体の活動状況をユーザが即座に把握することができる。特に、施設ごとの活動情報を地域単位で平均化するため、地域に属する店舗の数が異なる場合でも、地域ごとの動体の活動状況を適切に比較することができる。
また、第６の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、前記活動情報を可視化した出力情報を生成するサーバ装置と、前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、を有し、前記サーバ装置は、前記カメラから前記活動情報を取得する活動情報取得部と、前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定する対象エリア設定部と、前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成する活動情報集約部と、前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する出力情報生成部と、を備えた構成とする。
これによると、第１の発明と同様に、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる。
また、第７の発明は、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定し、前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成し、前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する構成とする。
これによると、第１の発明と同様に、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、本実施形態に係る施設内活動分析システムの全体構成図である。
この施設内活動分析システムは、百貨店やスーパーマーケットなどの小売チェーン店などを対象にして構築されるものであり、複数の店舗（施設）ごとに設けられたカメラ１と、サーバ装置（施設内活動分析装置）２と、ユーザ端末装置３と、を備えている。
カメラ１は、店舗内の適所に設置され、店舗内を撮像する。このカメラ１は、店舗内ネットワーク、ルータ４およびＶＬＡＮ（Virtual Local Area Network）などの閉域ネットワークを介してサーバ装置２に接続されている。また、カメラ１では、店舗内を撮像した画像から人物を除去する画像処理などが実施され、この画像処理で得られたカメラ画像（処理画像）がカメラ１から出力される。
サーバ装置２は、店舗内での顧客の活動状況に関する分析を行うものである。このサーバ装置２は、店舗内に設置されたカメラ１から送信されるカメラ画像などを受信する。また、サーバ装置２は、インターネットを介してユーザ端末装置３に接続されており、分析結果情報の閲覧画面を生成してユーザ端末装置３に配信し、また、ユーザが閲覧画面で入力した情報を取得する。
ユーザ端末装置３は、店舗側のユーザ、例えば店長や、本部側のユーザ、例えば、担当する地域の各店舗に対して指導や提案を行うスーパーバイザーなどが、サーバ装置２で生成した分析結果情報を閲覧するものであり、スマートフォンやタブレット端末やＰＣで構成される。このユーザ端末装置３では、サーバ装置２から配信される分析結果情報の閲覧画面が表示される。
次に、店舗のレイアウトおよびカメラ１の設置状況について説明する。図２は、店舗およびその周辺の状況を示す立面図である。図３は、店舗のフロアのレイアウトおよびカメラ１の設置状況を説明する平面図である。
図２に示すように、店舗には、各階のフロアに売場が設けられている。また、店舗には駐車場が併設されている。図２に示す例では、駅側の地上から１階のフロアに入ることができ、また、駅からペデストリアンデッキを通って２階のフロアに入ることができ、また、１階、２階、３階の駐車場からそれぞれ１階、２階、３階のフロアに入ることができる。
図３に示すように、２階のフロアには、駅からペデストリアンデッキを通って２階のフロアに入る駅側出入口と、２階の駐車場から２階のフロアに入る駐車場側出入口と、が設けられている。駅側出入口および駐車場側出入口は２つずつ設けられている。また、店舗の２階のフロアには、売場が設けられており、売場の間が通路となる。
また、２階のフロアには、出入口を撮影するカメラ１と、フロアの内部の売場および通路を撮影するカメラ１と、が設置されている。これらのカメラ１は、店舗内の天井の適宜な位置に設置されている。図２に示す例では、カメラ１に、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラが採用され、これらのカメラ１により、出入口から入店する顧客や、売場および通路に滞在する顧客などを撮影することができる。
出入口を撮影するカメラ１では、撮像画像に基づいて、出入口における人物の活動度合い（入退店状態）を表す活動情報（入退店情報）を取得する。本実施形態では、活動情報（入退店情報）として、出入口から入店する人物および退店する人物を検知して、その検知結果に基づいて、入口から入店する人物の人数（入店者数）および退店する人物の人数（退店者数）を計測する。
フロアの内部を撮影するカメラ１では、撮像画像に基づいて、撮像画像の各位置における人物の活動度合い（滞在状況）を表す活動情報（滞在情報）を取得する。本実施形態では、活動情報（滞在情報）として、フロアに滞在する人物の人数（滞在人数）、およびフロアに滞在する人物の滞在時間を計測する。
なお、図３には２階のフロアのみを示しているが、１階，３階のフロアも、３階のフロアに駅側出入口がない点を除き、２階のフロアと同様である。
次に、カメラ１およびサーバ装置２で行われる処理の概要について説明する。図４は、カメラ１およびサーバ装置２で行われる処理の概要を示す説明図である。
カメラ１は、全方位カメラであり、魚眼レンズを介して撮像することでイメージセンサから魚眼画像が出力される。カメラ１では、魚眼映像の中心部を含まない画像領域上に４つのエリアが設定されており、その４つのエリアの画像を魚眼画像から切り出して、その４つの対象エリアの画像に対して歪み補正を実施する画像処理が行われ、この画像処理により、アスペクト比４：３の４つの補正画像（４画ＰＴＺ画像）が撮像画像として得られる。
また、カメラ１では、プライバシーマスク処理、すなわち、撮像画像（４画ＰＴＺ画像）内の人物領域をマスク画像に変更する画像処理によりプライバシー保護画像が生成される。また、カメラ１では、撮像画像を格子状に分割した検出要素ごとに、人物の活動度合いを表す活動情報（滞在人数および滞在時間）を生成する。なお、図４に示す例では、４画ＰＴＺ画像の１枚の画像を対象に検出要素ごとの活動情報を表示色の濃淡で表している。
このとき、検出要素ごとの活動情報を所定の単位時間ごとに取得し、単位時間ごとの活動情報を、ユーザが指定する観測期間（例えば１５分間、１時間）で集計することで、単位時間の整数倍の任意の観測期間の活動情報を取得することができる。
サーバ装置２では、店舗の建物内のフロアの平面的なレイアウトを描画した平面マップ画像を格子状に分割するセルが設定されており、撮像画像上の検出要素の中から、平面マップ画像上に設定された各セルに位置する検出要素を抽出する。このとき、平面マップ画像上の各位置とカメラ画像上の各位置との対応関係に関するマッピング情報が用いられ、このマッピング情報に基づいて、撮像画像上の検出要素の各々を平面マップ画像上にマッピングすることができる。
なお、マッピング情報は、平面マップ画像に各カメラ画像の撮影範囲を重ね合わせ、ユーザがシミュレーションソフト等を用いて設定するようにすればよいが、画像処理（射影変換など）によりマッピング情報を取得するようにしてもよい。
次に、サーバ装置２では、抽出された検出要素ごとの活動情報をセル単位で集約して、セルごとの活動情報を生成する。この集約処理では、検出要素ごとの活動情報を統計処理することで、セルにおける全体的な人物の活動状況を表す代表値（平均値、最頻値、中央値など）が求められる。また、集約処理では、求められた代表値を所定のしきい値でランク分け（多い、少ない、普通の３ランクなど）して、活動情報の指標化が行われる。
また、本実施形態では、複数のセルで構成される対象エリアが設定され、セルごとの活動情報を対象エリア全体で集約することで、対象エリア全体の活動情報を取得する。また、セルごとの活動情報をフロア全体で集約することで、フロア全体の活動情報を取得する。また、各階のフロアごとの活動情報を店舗全体で集約することで、店舗全体の活動情報を取得する。
なお、本実施形態では、撮像画像を格子状に分割した検出要素ごとの活動情報を生成するようにしたが、魚眼画像から切り出して歪み補正を実施した４画ＰＴＺ画像の各々を、カメラの周囲の４つのセルに対応するように生成すると、４画ＰＴＺ画像単位で取得した活動情報を、そのまま平面マップ画像上の各セルの活動情報として利用することができる。この場合、４画ＰＴＺ画像の各々が１つの検出要素となる。
次に、サーバ装置２で生成されてユーザ端末装置３に表示される画面について説明する。図５は、地域一覧マップ表示画面を示す説明図である。図６は、店舗一覧表示画面を示す説明図である。図７は、全体表示モードでの店舗マップ表示画面を示す説明図である。図８は、個別表示モードでの店舗マップ表示画面を示す説明図である。
本実施形態では、地域一覧マップ表示画面（図５参照）、店舗一覧表示画面（図６参照）、および店舗マップ表示画面（図７および図８参照）に関する画面情報がサーバ装置２で生成されて、これらの画面がユーザ端末装置３に表示される。
地域一覧マップ表示画面（図５参照）で、注目する地域（ここでは都道府県）を選択すると、選択した地域に関する店舗一覧表示画面（図６参照）に遷移する。そして、店舗一覧表示画面で、注目する店舗を選択すると、選択した店舗に関する店舗マップ表示画面（図７および図８参照）に遷移する。
図５に示すように、地域一覧マップ表示画面では、複数の地域（ここでは都道府県）を描画した地域一覧マップ画像６１が表示される。この地域一覧マップ画像６１では、各地域を表すエリア画像６２の表示形態を変更することで、地域ごとの活動情報（滞在人数および滞在時間）を可視化する。図５に示す例では、エリア画像６２の表示色で、地域ごとの滞在人数が表現されている。
この場合、カメラ１から取得した活動情報に基づいて、地域ごとの活動情報を取得して、エリア画像６２の表示色が決定される。本実施形態では、撮像画像（４画ＰＴＺ画像）上の検出要素ごとの活動情報を各カメラ１から取得し、その検出要素ごとの滞在情報を店舗ごとに集約して、店舗ごとの活動情報を取得し、さらに店舗ごとの活動情報を地域ごとに集約して、地域ごとの活動情報を取得する。
ここで、地域に属する店舗の数が異なるため、店舗ごとの活動情報を地域ごとに集約する際に、店舗ごとの活動情報を平均化して地域ごとの活動情報を取得する。また、店舗に応じて来店者数に大きな差異があるため、滞在人数に関する比率、例えば混雑度、すなわち店舗の収容人数に対する滞在人数の比率を求めて、この混雑度の平均値に基づいて表示色を決定する。
この地域一覧マップ表示画面において、エリア画像６２を選択する操作を行うと、店舗一覧表示画面（図６参照）に遷移する。
なお、図５に示す例では、地域一覧マップ表示画面における地域を都道府県としたが、この地域は、ユーザの店舗管理の都合に合わせて適宜に設定すればよい。例えば、全国展開しているチェーン店の場合には、地域一覧マップ画像を、全国の地域（例えば都道府県）を描画したものとしてもよい。また、地域一覧マップ表示画面を２段階で表示するようにしてもよい。例えば、全国の各地方（例えば関東地方、近畿地方など）が描画された第１の地域一覧マップ表示画面で地方を選択すると、選択した地方に属する地域（例えば都道府県）が描画された第２の地域一覧マップ表示画面に遷移し、この第２の地域一覧マップ表示画面で地域を選択すると、店舗一覧マップ画像に遷移するようにする。
次に、図６に示すように、店舗一覧表示画面では、地域一覧マップ表示画面（図５参照）で選択した地域（例えば都道府県）に属する各店舗を表す店舗アイコン７１が並べて表示されており、この店舗アイコン７１の表示形態を変更することで、店舗ごとの活動情報（滞在人数および滞在時間）を可視化する。図６に示す例では、店舗アイコン７１の表示色で、店舗ごとの活動情報が表現されている。
この場合、カメラ１から取得した活動情報に基づいて、店舗ごとの活動情報を取得して、店舗アイコン７１の表示色が決定される。本実施形態では、撮像画像（４画ＰＴＺ画像）上の検出要素ごとの活動情報を各カメラ１から取得し、その検出要素ごとの滞在情報を店舗ごとに集約して、店舗ごとの活動情報を取得する。
この店舗一覧表示画面において、店舗アイコン７１を選択する操作を行うと、店舗マップ表示画面（図７および図８参照）に遷移する。
なお、地域（例えば都道府県）を描画したマップ画像上に、店舗の実際の位置に対応するように店舗アイコン７１を配置した店舗一覧マップ表示画面を表示させるようにしてもよい。また、店舗ごとの活動情報を一覧表で表示するようにしてもよい。
次に、図７および図８に示すように、店舗マップ表示画面では、断面マップ画像（施設マップ画像）８１および平面マップ画像（施設マップ画像）８２が表示される。
断面マップ画像８１は、店舗を構成する建物の断面的なレイアウトを描画して、建物の階層構造を模式的に表したものである。この断面マップ画像８１には、各階のフロアにおける顧客の滞在状態を表示する状態表示ボックス８３と、各階の出入口における顧客の入退店状態を表示する状態表示ボックス８４とが、実際の位置関係に対応するように並べて設けられている。
図７および図８に示す例では、各階のフロアが南北２つのブロックに分割され、このブロックをそれぞれ対象エリアとして、各ブロックにおける顧客の滞在状態を表示する状態表示ボックス８３が設けられている。また、１Ｆ，２Ｆの駅側出入口および１Ｆ〜３Ｆの駐車場側出入口における顧客の入退店状態を表示する状態表示ボックス８４が設けられている。状態表示ボックス８３，８４には、ブロックや出入口の名称が記載されている。
この店舗マップ表示画面では、断面マップ画像８１の状態表示ボックス８３を選択する操作（クリック）を行うと、選択した状態表示ボックス８３に対応するフロアに関する平面マップ画像８２が表示される。
なお、各階のフロアをブロックに分割せずに、フロア全体を１つの対象エリアとして、フロアごとの滞在状態を表示する状態表示ボックスを設けるようにしてもよい。
また、顧客の滞在状態を表示する状態表示ボックス８３では、表示形態を変更することでブロックごとの顧客の滞在状態が可視化される。図７および図８に示す例では、状態表示ボックスの表示色で、ブロックごとの滞在人数が表現されており、滞在人数に応じて状態表示ボックスの表示色が変化する。このとき、滞在人数を所定のしきい値でランク分けする指標化が行われる。例えば、２つのしきい値（１０００人、２０００人）により、１０００人未満、１０００人以上２０００人未満、２０００人以上の３ランクにランク分けされ、各ランクに応じた表示色で状態表示ボックスが表示される。
この場合、カメラ１から取得した滞在情報に基づいて、ブロックごとの滞在情報を取得して、状態表示ボックス８３の表示色が決定される。本実施形態では、撮像画像（４画ＰＴＺ画像）上の検出要素ごとの滞在情報を各カメラ１から取得し、その検出要素ごとの滞在情報をブロックごとに集約して、ブロックごとの滞在情報を取得する。
顧客の入退店状態を表示する状態表示ボックス８４では、表示形態を変更することで出入口ごとの顧客の入退店状態が可視化される。図７および図８に示す例では、状態表示ボックスの表示色で、出入口ごとの入店者数が表現されており、入店者数に応じて状態表示ボックスの表示色が変化する。このとき、入店者数を所定のしきい値でランク分けする指標化が行われる。例えば、２つのしきい値（１００人、２００人）により、１００人未満、１００人以上２００人未満、２００人以上の３ランクにランク分けされ、各ランクに応じた表示色で状態表示ボックスが表示される。
この場合、カメラから取得した入退店情報に基づいて、状態表示ボックス８４の表示色が決定される。本実施形態では、各階の駅側および駐車場側に出入口が２つずつ設けられており、これらの出入口の各々にカメラ１が設置されて入店者数が計測され、２つの出入口の入店者数を合計することで、各階の駅側出入口および駐車場側出入口ごとの入店者数を取得する。
また、本実施形態では、全体表示モードおよび個別表示モードのいずれかをユーザが選択することができる。全体表示モードは、店舗の全体を対象にして滞在情報を表示するものであり、個別表示モードは、ユーザが指定したエリアを対象にして滞在情報を表示するものである。
図７に示すように、全体表示モードでは、全ての状態表示ボックス８３，８４で滞在情報および入退店情報が表示される。これにより、店舗全体での顧客の滞在状況や入退店状況をユーザが把握することができる。また、図８に示すように、個別表示モードでは、指定された状態表示ボックス８３，８４のみで滞在情報および入退店情報が表示される。これにより、注目するブロックでの顧客の滞在状況や、注目する出入口での顧客の入退店状況をユーザが把握することができる。
平面マップ画像８２は、建物内の各フロアの平面的なレイアウトを描画したものである。この平面マップ画像８２には、フロア内に設置された売場の範囲を表す図形や、売場の名称や、出入口を表す図形などが記載されている。
平面マップ画像８２では、各階のフロアに設定されたセルごとの表示形態を変更することで、セルごとの顧客の滞在状態が可視化される。図７および図８に示す例では、各セルの表示色で、セルごとの滞在人数が表現されており、滞在人数に応じてセルの表示色が変化する。
また、この平面マップ画像８２では、断面マップ画像８１と同様に、表示モード（全体表示モードおよび個別表示モード）に応じて、滞在情報の表示状態が異なる。
すなわち、図７に示すように、全体表示モードでは、フロアに設定された全てのセルの各々を対象エリアとして、全てのセルで滞在情報が表示される。これにより、フロア全体の各位置における顧客の滞在状況をユーザが把握することができる。図８に示すように、個別表示モードでは、設定された対象エリアのみで滞在情報が表示される。これにより、注目するエリア、例えば特定の売場に限定して、顧客の滞在状況をユーザが把握することができる。
この場合、全体表示モードでは、カメラ１から取得した滞在情報に基づいて、セルごとの滞在情報を取得して、セルごとの表示色が決定される。本実施形態では、撮像画像（４画ＰＴＺ画像）上の検出要素ごとの滞在情報を各カメラ１から取得し、その検出要素ごとの滞在情報をセルごとに集約して、セルごとの滞在情報を取得する。
また、個別表示モードでは、対象エリアに含まれるセルを抽出して、抽出されたセルごとの滞在情報を集約して、対象エリアごとの滞在情報を取得して、対象エリアごとの表示色が決定される。
また、この店舗マップ表示画面では、平面マップ画像８２上の出入口の位置やフロア内部の適宜な位置を選択する操作（クリック）を行うと、選択した位置に対応するカメラ画像が表示される。
また、この店舗マップ表示画面では、断面マップ画像８１上の状態表示ボックス８３を選択する操作（クリック）を行うと、選択した状態表示ボックス８３に対応するブロックにおける顧客の滞在状態に関する図表（グラフや一覧表など）が表示される。また、平面マップ画像８２上のフロア内部の適宜な位置を選択する操作（クリック）を行うと、選択した位置における顧客の滞在状態に関する図表（グラフや一覧表など）が表示される。
また、断面マップ画像８１上の状態表示ボックス８４を選択する操作（クリック）を行うと、選択した状態表示ボックス８４に対応する出入口における顧客の入退店状態に関する図表（グラフや一覧表など）が表示される。また、平面マップ画像８２上の出入口の位置を選択する操作（クリック）を行うと、選択した出入口における顧客の入退店状態に関する図表（グラフや一覧表など）が表示される。
なお、顧客の滞在状態に関する図表としては、例えば、時間帯や日単位で滞在人数の時間的な推移状況などを表すグラフが表示される。また、顧客の入退店状態に関する図表としては、例えば、時間帯や日単位で入店者数や退店者数の時間的な推移状況などを表すグラフが表示される。
なお、図５〜図８に示した例では、活動情報として滞在人数を表すマップ画像が表示されているが、滞在時間も同様に表示させることができる。
また、図５〜図８に示した例では、表示色の変化で滞在情報や入退店情報を表現するようにしたが、この他の表示要素（例えば塗り潰しのパターンなど）の表示形態を変化させることで滞在情報や入退店情報を表現するようにしてもよい。また、滞在情報である滞在人数および滞在時間に異なる表示要素を割り当てて、１つのマップ画像で滞在人数および滞在時間を同時に表現するようにしてもよい。また、入退店情報である入店者数および退店者数に異なる表示要素を割り当てて、１つのマップ画像で入退店情報である入店者数を同時に表現するようにしてもよい。
また、図７および図８に示した店舗マップ表示画面では、断面マップ画像８１における滞在状態に関する状態表示ボックス８３と、入退店状態に関する状態表示ボックス８４とでは、表示させる情報の種類が異なる。また、断面マップ画像８１における滞在状態に関する状態表示ボックス８３と、平面マップ画像８２における対象エリア（個別表示モードではセル）とでは、表示させる情報の種類は同一であるが、色分けのしきい値が異なる。このため、情報の混同が生じないように表示色の系統を異なるようにするとよい。例えば、滞在状態に関する状態表示ボックス８３では、赤色の濃淡（透過率）で滞在人数を表現し、入退店状態に関する状態表示ボックス８４では、緑色の濃淡（透過率）で入退店情報を表現し、平面マップ画像における対象エリア（個別表示モードではセル）では、青色の濃淡（透過率）で滞在情報を表現するようにしてもよい。なお、塗り潰しのパターン（模様）などの他の表示要素で区別することも可能である。
次に、カメラ１、サーバ装置２およびユーザ端末装置３の概略構成について説明する。図９は、カメラ１、サーバ装置２およびユーザ端末装置３のハードウェア構成を示すブロック図である。
カメラ１は、撮像部１１と、制御部１２と、情報記憶部１３と、通信部１４と、を備えている。
撮像部１１は、イメージセンサを備え、時間的に連続する撮像画像（フレーム）、いわゆる動画像を順次出力する。制御部１２は、撮像画像内の人物領域をマスク画像に変更する画像処理を行い、この画像処理により生成したプライバシー保護画像をカメラ画像として出力する。情報記憶部１３は、制御部１２を構成するプロセッサで実行されるプログラムや、撮像部１１から出力される撮像画像を記憶する。通信部１４は、サーバ装置２との間で通信を行うものであり、制御部１２から出力されるカメラ画像をネットワークを介してサーバ装置２に送信する。
撮像部１１は、イメージセンサの他に、魚眼レンズと、この魚眼レンズを介して撮像することで得られた魚眼映像に対して歪み補正を実施する画像処理回路と、を備えており、画像処理回路で生成した補正画像が撮像画像として出力される。本実施形態では、前記のように、魚眼画像の中心部を含まない画像領域上に４つの対象エリアを設定し、その４つの対象エリアの画像を魚眼画像から切り出して、その４つの対象エリアの画像に対して歪み補正を実施し、これにより得られた４つの補正映像、すなわち４画ＰＴＺ画像を出力する。
なお、カメラ１では、４画ＰＴＺ画像の他、１画ＰＴＺ画像、ダブルパノラマ画像、単一パノラマ画像などを出力することができる。１画ＰＴＺ画像は、魚眼画像上に１つの対象エリアを設定し、その対象エリアの画像を魚眼画像から切り出して、その画像に対して歪み補正を実施することで得られる。ダブルパノラマ画像は、魚眼画像の中心部を除くリング状の画像領域を２分割した状態で画像を切り出して、その画像に対して歪み補正を実施することで得られる。単一パノラマ画像は、魚眼映像の中心に対して対称位置にある弓形状の画像領域を除いた映像を魚眼画像から切り出して、その画像に対して歪み補正を実施することで得られる。
サーバ装置２は、制御部２１と、情報記憶部２２と、通信部２３と、を備えている。
通信部２３は、カメラ１およびユーザ端末装置３との間で通信を行うものであり、カメラ１から送信されるカメラ画像を受信し、また、ユーザ端末装置３から送信されるユーザ設定情報を受信し、また、分析結果情報の閲覧画面をユーザ端末装置３に配信する。情報記憶部２２では、通信部２３で受信したカメラ画像や、制御部２１を構成するプロセッサで実行されるプログラムなどを記憶する。制御部２１は、店舗内での顧客の活動状況に関する分析を行い、ユーザ端末装置３に配信する分析結果情報の閲覧画面を生成する。
ユーザ端末装置３は、制御部３１と、情報記憶部３２と、通信部３３と、入力部３４と、表示部３５と、を備えている。
入力部３４は、ユーザが各種の設定情報を入力する。表示部３５は、サーバ装置２から送信される画面情報に基づいて分析結果情報の閲覧画面を表示する。入力部３４および表示部３５は、タッチパネルディスプレイで構成することができる。通信部３３は、サーバ装置２との間で通信を行うものであり、入力部３４で入力されたユーザ設定情報をサーバ装置２に送信し、また、サーバ装置２から送信される画面情報を受信する。制御部３１は、ユーザ端末装置３の各部を制御する。情報記憶部３２は、制御部３１を構成するプロセッサで実行されるプログラムなどを記憶する。
次に、カメラ１およびサーバ装置２の機能的な構成について説明する。図１０は、カメラ１およびサーバ装置２の機能ブロック図である。
カメラ１の制御部１２は、動体除去画像生成部４１と、人物検出部４２と、プライバシー保護画像生成部４３と、活動情報生成部４４と、を備えている。この制御部１２の各部は、情報記憶部１３に記憶された施設内活動分析用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。
動体除去画像生成部４１では、所定の学習期間における複数の撮像画像（フレーム）に基づいて、撮像画像から人物などの動体を除去した動体除去画像（図４参照）を生成する。具体的には、撮像部１１から出力される時間的に連続する撮像画像が動体除去画像生成部４１に順次入力されると、直近の所定のサンプリング期間における複数の撮像画像に基づいて、画素単位の支配画像情報（優勢な状態にある色情報）を求めて、動体除去画像（背景画像）を生成する。そして、このような支配画像情報を撮像画像が入力される度に更新することで、最新の動体除去画像を得ることができる。この動体除去画像の生成には、公知の背景画像生成技術を利用すればよい。
人物検出部４２では、動体除去画像生成部４１で取得した動体除去画像（背景画像）と、撮像部１１から出力される現在の撮像画像とを比較して、両者の差分から撮像画像内の動体の画像領域を特定する（動体検知）。そして、動体の画像領域に、人物の顔、または頭部および肩部で構成されるΩ形状が検出されると、その動体を人物と判断する（人物検知）。なお、この動体検知および人物検知には公知の技術を用いればよい。
また、人物検出部４２では、人物の検出結果に基づいて、人物ごとの動線を取得する。この処理では、人物の中心点の座標を取得して、その中心点を結ぶように動線を生成すればよい。なお、人物検出部４２で取得する情報には、人物が検出された撮像画像の撮影時刻から取得した人物ごとの検出時刻などに関する時間情報が含まれる。
プライバシー保護画像生成部４３では、人物検出部４２の検出結果に基づいて、撮像部１１から出力される撮像画像内の人物領域をマスク画像に変更したプライバシー保護画像（図４参照）を生成する。
このプライバシー保護画像を生成するにあたっては、まず、人物検出部４２で取得した人物の画像領域の位置情報に基づいて、人物の画像領域に対応する輪郭を有するマスク画像を生成する。そして、動体除去画像生成部４１で取得した動体除去画像上にマスク画像を重畳してプライバシー保護画像を生成する。マスク画像は、人物の輪郭の内部を所定の色（例えば青色）で塗りつぶしたものであり、透過性を有し、プライバシー保護画像ではマスク画像の部分で背景の画像が透けて見える状態となる。
活動情報生成部４４では、人物検出部４２での検出結果に基づいて、撮像画像（４画ＰＴＺ画像）を格子状に分割した検出要素ごとに、所定の観測期間における人物の活動度合いを表す活動情報を取得する。本実施形態では、人物検出部４２で取得した人物ごとの動線情報に基づいて、店舗のフロア内部での人物の活動度合いを表す活動情報として、滞在人数および滞在時間を取得する。
滞在人数を取得するにあたっては、検出要素の各々を通過した各人物の動線の本数をカウントして、検出要素ごとの滞在人数を求める。滞在時間を取得するにあたっては、まず、検出要素の各々を通過した各人物の動線を対象にして、人物ごとの滞留時刻（検出要素に対する進入時刻および退出時刻）を取得し、次に、この人物ごとの滞留時刻から、人物ごとの滞在時間を取得し、次に、この人物ごとの滞在時間に対して平均化の処理（統計処理）を行って、検出要素ごとの滞在時間を取得する。
また、活動情報生成部４４では、人物検出部４２での検出結果に基づいて、店舗の出入口から入店する人物および退店する人物を検知し、その検知結果に基づいて、所定の観測期間における入店者数（入口から入店する人物の人数）および退店者数（入口から退店する人物の人数）を計測する。具体的には、撮像画像（４画ＰＴＺ画像）上にカウントラインを設定し、そのカウントラインを通過した人物の人数を計測する。また、人物の移動方向を検出することで、入店する人物と退店する人物とを判別することができる。
なお、この滞在人数および滞在時間の計測は、フロア内部に設置されたカメラ１で実施され、入店者数および退店者数の計測は、出入口に設置されたカメラ１で実施される。
なお、活動情報生成部４４では、検出要素ごとの活動情報を単位時間ごとに取得した上で、統計処理（加算や平均化など）により、単位時間ごとの活動情報を所定の観測期間（例えば１時間）で集約して、観測期間における検出要素ごとの活動情報を取得するようにしてもよい。また、この観測期間における検出要素ごとの活動情報を人物ごとに生成することで、サーバ装置２において、対象エリア全体で活動情報を指標化（集約化）する際に、人物の重複が生じないようにすることができる。
プライバシー保護画像生成部４３で取得したプライバシー保護画像は、カメラ画像として通信部１４から所定の単位時間間隔（例えば１５分間隔）でサーバ装置２に送信される。具体的には、サーバ装置２において、カメラ１に対する画像送信要求が所定のタイミング（例えば１５分間隔）で定期的に行われ、カメラ１の通信部１４では、サーバ装置２からの画像送信要求に応じて、その時刻のカメラ画像を送信する。
また、活動情報生成部４４で取得した活動情報も、通信部１４からサーバ装置２に送信される。この活動情報は、カメラ画像と同一のタイミングでサーバ装置２に送信すればよいが、カメラ画像とは異なるタイミングでサーバ装置２に送信するようにしてもよい。
なお、活動情報をカメラ画像と同一のタイミングで送信する場合には、活動情報の観測期間を送信間隔（例えば１５分間隔）に一致させるようにしてもよい。この場合、送信間隔より長い観測期間の活動情報を取得したい場合には、サーバ装置において、カメラ１から取得した活動情報を統合すればよい。例えば、送信間隔が１５分間隔である場合に、１５分間の活動情報を１時間分だけ加算すれば、１時間の活動情報を取得することができる。
また、動体除去画像生成部４１で生成された動体除去画像をカメラ画像としてサーバ装置２に送信するようにしてもよい。また、動体除去画像とマスク画像情報（マスク画像または人物の画像領域の位置情報）をカメラ１からサーバ装置２に送信して、サーバ装置２においてプライバシー保護画像を生成するようにしてもよい。
サーバ装置２の制御部２１は、カメラ画像取得部５１と、活動情報取得部５２と、対象エリア設定部５３と、活動情報集約部５４と、警報判定部５６と、統計情報生成部５７と、出力情報生成部５８と、を備えている。この制御部２１の各部は、情報記憶部２２に記憶された施設内活動分析用のプログラム（インストラクション）を、制御部２１を構成するプロセッサに実行させることで実現される。
カメラ画像取得部５１では、カメラ１から定期的（例えば１５分間隔）に送信されて通信部２３において受信したカメラ画像を取得する。このカメラ画像取得部５１で取得したカメラ画像は情報記憶部２２に記憶される。
活動情報取得部５２では、カメラ１から送信されて通信部２３において受信した活動情報を取得する。この活動情報取得部５２で取得した活動情報は情報記憶部２２に記憶される。
対象エリア設定部５３では、ユーザ端末装置３において行われるユーザの入力操作に応じて、断面マップ画像および平面マップ画像上にそれぞれ対象エリアを設定する。具体的には、店舗マップ画面（図７および図８参照）上で、右クリック操作等を行うことにより、断面マップ画像および平面マップ画像がそれぞれ表示された対象エリア設定画面（図１１および図１２参照）をユーザ端末装置３に表示させ、この対象エリア設定画面上で対象エリアをユーザに指定させる。
活動情報集約部５４では、活動情報取得部５２で取得した活動情報を、対象エリア設定部５３で設定された対象エリアごとに集約する処理が行われる。本実施形態では、カメラ画像における検出要素ごとの活動情報をカメラ１から取得し、また、情報記憶部２２には、カメラ画像上の各位置と店舗マップ画像（断面マップ画像および平面マップ画像）上の各位置との対応関係に関するマッピング情報が記憶されており、活動情報集約部５４では、マッピング情報に基づいて、カメラ画像の検出要素の中から対象エリア内に位置する検出要素を抽出して、抽出された各検出要素の活動情報を集約（統計処理）して、対象エリアごとの活動情報を生成する。このとき、各セルの活動情報の平均値や最頻値を求めればよい。
本実施形態では、店舗の各階のフロアを南北に分割した２つのブロックを対象エリアとして、ブロックごとの滞在情報（滞在人数および滞在時間）を生成する。また、ユーザにより各階のフロアに設定された対象エリアごとの滞在情報を生成する。また、各階のフロアに設定されたセルの各々を対象エリアとして、セルごとの滞在情報を生成する。
また、活動情報集約部５４では、店舗の各階の出入口ごとの入店者数および退店者数を各階で集約して、各階の入店者数および退店者数を取得する。
また、活動情報集約部５４では、検出要素ごとの活動情報を店舗単位で集約して、店舗ごとの活動情報を生成し、この店舗ごとの活動情報を地域単位で平均化して、地域ごとの活動情報を生成する。
警報判定部５６では、活動情報集約部５４で取得した対象エリアごとの現在の滞在人数に基づいて、対象エリアごとに防災上の警報が必要か否か、すなわち、現在の滞在人数が、仮に災害が発生したときに危険な状態となる可能性が高いレベルであるか否かを判定する。
統計情報生成部５７では、顧客の滞在状況に関する図表（グラフや一覧表など）を生成するための統計情報を生成する。具体的には、店舗全体、各階のフロア、フロアを分割したブロック、フロアに設定されたセル、複数のセルを含む対象エリアを対象とした滞在人数に関するグラフ、例えば、時間帯や日単位で滞在人数の時間的な推移状況などを表すグラフを生成するための統計情報を生成する。また、各階の出入口を対象とした入店者数や退店者数に関するグラフ、例えば、時間帯や日単位で入店者数や退店者数の時間的な推移状況などを表すグラフを生成するための統計情報を生成する。
出力情報生成部５８では、地域一覧マップ表示画面（図５参照）、店舗一覧表示画面（図６参照）、店舗マップ表示画面（図７および図８参照）、対象エリア設定画面（図１１および図１２参照）、および警報表示状態の店舗マップ表示画面（図１６参照）に関する表示情報を生成する。
特に、出力情報生成部５８では、活動情報集約部５４で取得した対象エリアごとの活動情報に基づいて、断面マップ画像および平面マップ画像上における対象エリアを表す画像の表示形態を変更することで、対象エリアごとの活動情報を可視化する表示情報を、断面マップ画像および平面マップ画像の各々について生成して、この断面マップ画像および平面マップ画像に関する表示情報を含む出力情報を生成する。
また、出力情報生成部５８では、断面マップ画像上でフロアを指定するユーザの入力操作に応じて、指定されたフロアの平面マップ画像を表示する表示情報を生成する。
また、出力情報生成部５８では、活動情報集約部５４で取得した地域ごとの活動情報に基づいて、地域一覧マップ画像上における地域を表すエリア画像６２（図５参照）の表示形態を変更することで、地域ごとの活動情報を可視化する表示情報を生成する。
また、出力情報生成部５８では、活動情報集約部５４で取得した店舗ごとの活動情報に基づいて、店舗アイコン７１（図６参照）の表示形態を変更することで、店舗ごとの活動情報を可視化する表示情報を生成する。
また、出力情報生成部５８では、警報判定部５６の判定結果に基づき、断面マップ画像において、防災上の警報が必要と判定された対象エリアに対応する位置に、警報が発令されたことをユーザに通知するための警報通知画像を重ね合わせた表示情報を生成する。本実施形態では、警報通知画像として、警報アイコン１４１および警報表示ボックス１４２（図１６参照）が断面マップ画像に重畳して表示される。
次に、サーバ装置２で生成されてユーザ端末装置３に表示される対象エリア設定画面について説明する。図１１は、断面マップ画像に関する対象エリア設定画面を示す説明図である。図１２は、平面マップ画像に関する対象エリア設定画面を示す説明図である。
本実施形態では、店舗マップ表示画面において店舗の全体を対象にして滞在情報を表示させる全体表示モード（図７参照）と、店舗マップ表示画面においてユーザが注目するエリアに限定して活動情報を表示させる個別表示モード（図８参照）とのいずれかをユーザが選択することができ、この表示モードの選択が、図１１および図１２に示す対象エリア設定画面で行われる。
また、図１１および図１２に示す対象エリア設定画面では、個別表示モードにおいて滞在情報や入退店情報を表示させる対象エリアをユーザが指定することができる。
図１１に示すように、断面マップ画像に関する対象エリア設定画面には、表示モード選択部１０１と、対象エリア指定部１０２と、設定ボタン１０３と、が設けられている。
表示モード選択部１０１には、「全体」および「個別」のチェックボックスが設けられており、「全体」および「個別」のいずれかを選択することができる。「全体」を選択すると、全体表示モードとなり、「個別」を選択すると、個別表示モードとなる。
ここで、表示モードを選択する際に、入力部３４（マウスなどのポインティングデバイス）を操作して、表示モード選択部１０１にポインタを合わせると、注釈がポップアップ表示される。「全体」の表示領域にポインタを合わせると、全体表示モードを説明するメッセージ、例えば「フロア全体を対象にセルごとのヒートマップ情報を表示します！」との文言が表示される。また、「個別」の表示領域にポインタを合わせると、個別表示モードを説明するメッセージ、例えば「選択した範囲ごとのヒートマップ情報を表示します！ 複数の範囲が指定できます！」との文言が表示される。
表示モード選択部１０１で「全体」を選択して、設定ボタン１０３を操作すると、全てのブロックおよび出入口が対象エリアに設定される。
一方、表示モード選択部１０１で「個別」を選択すると、対象エリア指定部１０２で表示対象となる状態表示ボックス８３，８４（図７および図８参照）を指定することができる。
対象エリア指定部１０２には、状態表示ボックス８３，８４の各々に対応する選択ボックス１０４が設けられている。選択ボックス１０４には、ブロックや出入口の名称が記載されている。ユーザは、選択ボックス１０４を順次選択し、設定ボタン１０３を操作すると、表示対象となる状態表示ボックス８３，８４が設定される。
図１２に示すように、平面マップ画像に関する対象エリア設定画面には、表示モード選択部１１１と、対象エリア指定部１１２と、設定ボタン１１３と、が設けられている。
表示モード選択部１１１は、図１１に示した断面マップ画像に関する対象エリア設定画面における表示モード選択部１０１と同様である。
表示モード選択部１１１で「全体」を選択して、設定ボタン１１３を操作すると、全てのセルの各々が対象エリアに設定される。
一方、表示モード選択部１１１で「個別」を選択すると、対象エリア指定部１１２で対象エリアに含まれるセルを指定することができる。すなわち、セル単位で対象エリアの範囲を指定することができる。
対象エリア指定部１１２には、フロアのレイアウトを描画したマップ画像１１４上にセルの境界線１１５が重畳して表示されている。マップ画像１１４には、フロアに設置された売場などの名称が予め記載されている。ユーザは、マップ画像１１４を見ながら、対象エリアに含まれるセルを順次選択し、設定ボタン１１３を操作すると、対象エリアの範囲が設定される。
また、複数の対象エリアを指定することができる。この場合、対象エリアの範囲に含まれるセルを選択して設定ボタン１１３を操作する作業を繰り返せばよい。
次に、サーバ装置２で生成されてユーザ端末装置３に表示されるカメラ設定画面について説明する。図１３は、カメラ設定画面を示す説明図である。
このカメラ設定画面は、システムの対象となるカメラ１に関するカメラ設定情報をユーザが入力するものであり、カメラ設定情報入力部１２１と、設定ボタン１２２と、が設けられている。
カメラ設定情報は、地域一覧マップ表示画面（図５参照）、店舗一覧表示画面（図６参照）、および店舗マップ表示画面（図７および図８参照）に表示させる情報とカメラ１とを対応付けるものであり、このカメラ設定情報には、地域名（都道府県名）、店舗名、断面マップ位置、平面マップ位置の各項目がある。
カメラ設定情報入力部１２１の地域名（都道府県名）の項目では、カメラ１が設置されている店舗がある地域の名称を入力する。店舗名の項目では、カメラ１が設置されている店舗の名称を入力する。断面マップ位置の項目では、カメラ１が設置されている店舗内の位置（ブロックなど）の名称を入力する。平面マップ位置の項目では、カメラ１の検出対象となるセル番号（平面マップ画像上の各セルに付与された番号）を入力する。
カメラ設定情報入力部１２１の各項目に入力して、設定ボタン１２２を操作すると、入力内容でカメラ設定情報が確定され、そのカメラ設定情報がサーバ装置２の情報記憶部２２に記憶される。なお、上記では、ユーザ端末装置３からカメラ設定情報を入力する例を示したが、カメラ１の内部に予めカメラ設定情報を記憶させておき、カメラ１の設置時などに、そのカメラ設定情報をサーバ装置２の情報記憶部２２にアップロードさせるようにしてもよい。
このカメラ設定情報は、地域一覧マップ表示画面（図５参照）、店舗一覧表示画面（図６参照）、および店舗マップ表示画面（図７および図８参照）の各画面情報を生成する際に参照される。
すなわち、地域一覧マップ表示画面（図５参照）の画面情報を生成する際には、カメラ設定情報に基づいて、該当する地域（都道府県）にある各店舗に設置されたカメラ１を抽出して、抽出された各カメラ１で取得した活動情報を集約することで、地域ごとの活動情報を取得して、地域ごとの活動情報を地域一覧マップ表示画面に表示させる。
また、店舗一覧表示画面（図６参照）の画面情報を生成する際には、カメラ設定情報に基づいて、該当する店舗に設置されたカメラ１を抽出して、抽出された各カメラ１で取得した活動情報を集約することで、店舗ごとの活動情報を取得して、店舗ごとの活動情報を店舗一覧表示画面に表示させる。
また、店舗マップ表示画面（図７および図８参照）の画面情報を生成する際には、カメラ設定情報に基づいて、該当する対象エリアに関係するカメラ１を抽出して、抽出された各カメラ１で取得した活動情報を集約することで、対象エリアごとの活動情報を取得して、対象エリアごとの活動情報を店舗マップ表示画面に表示させる。
このとき、店舗マップ表示画面の断面マップ画像８１における対象エリアに関係するカメラ１は、カメラ設定情報中の「断面マップ位置」の情報に基づいて抽出され、平面マップ画像８２における対象エリアに関係するカメラ１は、カメラ設定情報中の「平面マップ位置」の情報に基づいて抽出される。また、全体表示モードでは、断面マップ画像における全てのブロックおよび出入口に関係するカメラ１が抽出され、また、平面マップ画像における全てのセルに関係するカメラ１が抽出される。一方、個別表示モードでは、断面マップ画像における対象エリアとなるブロックおよび出入口に関係するカメラ１が抽出され、また、平面マップ画像における対象エリアに含まれるセルに関係するカメラ１が抽出される。
次に、カメラ１による入店者数および退店者数と滞在人数との計測結果について説明する。図１４は、カメラ１による入店者数および退店者数と滞在人数との計測結果の一例を示す説明図である。
駅側出入口および駐車場側出入口の各出入口を撮像する各カメラ１により、駅側出入口１、駅側出入口２、駐車場側出入口１、および駐車場側出入口２の入店者数および退店者数が計測される。そして、駅側出入口１および駅側出入口２の入店者数および退店者数を合計することで、断面マップ画像８１（図７および図８参照）上で可視化する駅側出入口の入店者数および退店者数を取得することができる。また、駐車場側出入口１および駐車場側出入口２の入店者数および退店者数を合計することで、断面マップ画像８１上で可視化する２Ｆ駐車場側出入口の入店者数および退店者数を取得することができる。
また、フロアの内部の売場を撮像する各カメラ１により、セルごとの滞在人数が計測される。そして、そのセルごとの滞在人数が、全体表示モードでの平面マップ画像８２上でそのまま可視化される。また、対象エリアに含まれるセルごとの滞在人数を合計することで、個別表示モードでの平面マップ画像８２上で可視化する対象エリアの滞在人数を取得することができる。
次に、サーバ装置２で生成されてユーザ端末装置３に表示される店舗マップ表示画面の別例について説明する。図１５は、店舗マップ表示画面の別例を示す説明図である。
この店舗マップ表示画面では、店舗マップ画像１３１が立体的に表示されている。具体的には、各階のフロアの状況を表示した平面マップ画像８２を斜視図で表した斜視マップ画像１３２が上下に配置されている。また、店舗マップ画像１３１は３Ｄ画像データに基づいて表示され、ドラッグ操作などにより店舗マップ画像１３１を回転させることができる、いわゆる３Ｄビュー機能を有している。
次に、警報表示状態の店舗マップ表示画面について説明する。図１６は、警報表示状態の店舗マップ表示画面を示す説明図である。
本実施形態では、サーバ装置２の警報判定部５６において、活動情報取得部５２で取得した現在の滞在人数に基づいて、防災上の警報が必要か否か、すなわち、現在の滞在人数が、地震などの災害が仮に発生したときに避難行動が円滑に行われない可能性が高いレベルであるか否かを判定する。
そして、警報判定部５６で防災上の警報が必要と判定された場合には、図１６に示すように、店舗マップ表示画面に警報アイコン１４１を表示させる処理が出力情報生成部５８で行われる。図１６に示す例では、防災上の警報が必要か否かの判定が、各フロアの南北のブロックを対象にして行われ、断面マップ画像８１上の該当する状態表示ボックス８３に警報アイコン１４１が表示されている。
警報判定では、現在の滞在人数を所定のしきい値と比較して、現在の滞在人数がしきい値を超えた場合に、警報アイコン１４１を表示する。図１６に示す例では、第１，第２の２つのしきい値を用いて、警報レベルを正常、注意、警告の３段階で評価しており、警報レベルに応じて警報アイコン１４１の表示色が変化する。
すなわち、滞在人数が第１のしきい値を超えない場合には、警報レベルを異常なしとして、警報アイコン１４１を表示しない。滞在人数が第１のしきい値を超え、かつ、第２のしきい値を超えない場合には、警報レベルを注意として、注意の警報アイコン１４１が例えば黄色で表示される。滞在人数が第２のしきい値を超える場合には、警報レベルを警告として、警告の警報アイコン１４１が例えば赤色で表示される。
また、この画面では、店舗全体および各階のフロア全体を対象にした警報表示ボックス１４２が設けられている。この警報表示ボックス１４２では、防災上の警報が必要である場合に表示色が変化する。例えば、警報レベルが正常であれば警報表示ボックス１４２が白色で表示され、警報レベルが注意であれば警報表示ボックス１４２が黄色で表示され、警報レベルが警告であれば警報表示ボックス１４２が赤色で表示される。
なお、警報判定で用いられるしきい値は、対象エリアの適正人数に基づいて設定される。すなわち、フロアごとの警報判定では、フロアの適正人数に基づいたしきい値で判定が行われ、例えば、フロアの適正人数を２０００人とすると、その１５０％である３０００人をしきい値として、フロア全体の滞在人数が３０００人を超えた場合に警報を表示する。また、店舗全体の警報判定では、店舗全体の適正人数に基づいたしきい値で判定が行われ、例えば、店舗全体の適正人数を６０００人とすると、その１５０％である９０００人をしきい値として、店舗全体の滞在人数が９０００人を超えた場合に警報を表示する。
このように警報表示状態の店舗マップ表示画面により、現在店舗内に滞在する顧客の人数が、地震などの災害が仮に発生したときに避難行動が円滑に行われない可能性が高いレベルにあることを、警備員などの店舗管理者や売場管理者などのユーザに通知して、ユーザの注意を喚起することができる。
なお、警報判定に用いるしきい値は、活動情報に基づいて状態表示ボックスやセルの表示色を決定する際に用いるしきい値と異なるものとするとよい。
なお、地域一覧マップ表示画面（図５参照）や店舗一覧表示画面（図６参照）に警報を表示するようにしてもよい。この場合、地域一覧マップ表示画面では、店舗内のいずれかのエリアで防災上の警報が必要と判定された店舗が存在する地域を対象にして、地域を表すエリア画像６２上に警報アイコンを表示すればよい。また、店舗一覧表示画面では、店舗内のいずれかのブロックで防災上の警報が必要と判定された店舗を対象にして、店舗アイコン７１上やその近傍に警報アイコンを表示すればよい。また、地域一覧マップ表示画面や店舗一覧表示画面に、どの店舗のどのエリアで警報が発令されているかをユーザに通知するメッセージを表示するようにしてもよい。
また、地域一覧マップ表示画面では、地域（都道府県）単位で警報が表示されるが、この地域マップ表示画面で警報が表示された地域を選択すると、警報が発令されている店舗の店舗マップ表示画面に遷移するようにしてもよい。
次に、サーバ装置２の制御部２１で行われるその他の分析処理について説明する。図１７は、サーバ装置２の制御部２１で行われるその他の分析処理の一例を示す説明図である。
駐車場には、各階の駐車場の出入口を撮像するカメラ１が設置されている。このカメラ１により、各階の駐車場に入場する車両が検知され、その検知結果に基づいて、各階の駐車場に入場する車両の台数が計測される。また、各階のフロアの駐車場側出入口を撮像するカメラ１により、駐車場で車両から降車して駐車場側出入口から各階のフロアに入店する人物の人数が計測される。
このように各階の駐車場に入場する車両の台数と、駐車場側出入口から各階のフロアに入店する人物の人数とが計測されると、図１７（Ａ）に示すように、１台当たりの乗車人数を求めることができる。この１台当たりの乗車人数に基づいて、顧客が家族連れなどのグループで来店したか、単独で来店したかを判定することができる。
そして、グループで来店した顧客の人数であるグループ来店客数と、単独で来店した顧客の人数である単独来店客数とを、時間帯（１５分間）ごとに集計することで、図１７（Ｂ）に示すように、時間帯ごとのグループ来店客数と単独来店客数との割合を示すグラフが得られる。このグラフにより、グループ来店客数と単独来店客数との割合の時間的な推移状況をユーザが把握することができる。
なお、駐車場に入場する車両を検知するタイミングと、駐車場側出入口から入店する顧客を検知するタイミングとの間には、顧客が徒歩で駐車場から駐車場側出入口まで移動するのに要する所要時間分のずれがあるため、この所要時間を考慮して、１台当たりの乗車人数を求める。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は第１実施形態と同様である。
第１実施形態では、人物の動線を取得して、その動線に基づいて活動情報（滞留時間および滞留度数）を取得するようにしたが、この第２実施形態では、撮像画像の各画素（検出要素）が人物エリア（人物が存在する領域）に位置する回数をカウントして、画素ごとの動体活動値（カウンタ値）を取得し、これを画素ごとの人物の活動度合いを表す動体活動値として、適宜な統計処理、例えば平均化により、対象エリアで集約して、対象エリアの活動情報を取得する。
まず、カメラ１の人物検出部４２において、人物の位置情報として、人物エリアに関する座標情報を取得する。そして、活動情報生成部４４において、人物検出部４２で取得した人物エリアに関する座標情報に基づいて、撮像画像の画素ごとに、人物エリアに位置する回数をカウントして、画素ごとの動体活動値（カウンタ値）を活動情報として取得する。
具体的には、各画素が人物エリア内に入る度にその画素のカウンタ値を１増分し、この画素ごとの人物エリアのカウントが、所定の検出単位期間で継続して行われて、検出単位期間ごとに画素単位の動体活動値が順次求められる。なお、人物エリアの誤検出を考慮して、人物エリア内に所定回数（例えば３回）連続して入った場合に、動体活動値（カウンタ値）を１増分するようにしてもよい。
このようにして検出単位期間ごとの動体活動値が順次求められると、この検出単位期間ごとの動体活動値を観測期間で集約する統計処理（例えば単純な加算や平均化）を行って、観測期間における動体活動値を取得する。
なお、人物エリアは、人物枠（人物が存在する矩形の領域）や、検出された人物の上半身の領域や、検出された人物の床面における存在領域とすればよい。
サーバ装置２では、活動情報集約部５４において、活動情報取得部５２で取得した活動情報、すなわち、画素ごとの動体活動値を対象エリアで集約して、対象エリアごとの動体活動値を取得する。特に、本実施形態では、対象エリア内に位置する複数の画素ごとの動体活動値を平均化して、対象エリア全体の動体活動値を取得する。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
例えば、前記の実施形態では、百貨店やスーパーマーケットなどの小売店舗の例について説明したが、対象となる施設はこれに限定されるものではなく、サービスエリアや、リゾート施設や、テーマパークなどのレジャー施設や、ショッピングモールなどの商業施設などに広く適用することができ、さらに、公共施設などの商業施設以外の施設にも適用することができる。
また、前記の実施形態では、図７および図８に示したように、店舗のフロア内に売場が設けられた例について説明したが、対象となる施設が店舗でない場合には、フロア内で利用者が利用する利用エリアを表す図形や、利用エリアの名称などが平面マップ画像に表示される。
また、前記の実施形態では、図２に示したように、カメラ１を、魚眼レンズを用いて３６０度の撮影範囲を有する全方位カメラとしたが、所定の画角を有するカメラ、いわゆるボックスカメラでも可能である。
また、前記の実施形態では、カメラ１において、動体除去画像生成、人物検出、プライバシー保護画像生成、活動情報生成の各処理を行うようにしたが、これらの処理の全部あるいは一部を、サーバ装置２、あるいは店舗に設置されたＰＣで行うようにしてもよい。また、前記の実施形態では、サーバ装置２において、対象エリア設定、活動情報集約、警報判定、統計情報生成、および出力情報生成の各処理を行うようにしたが、これらの処理の全部あるいは一部を、カメラ１、あるいは店舗に設置されたＰＣで行うようにしてもよい。
また、前記の実施形態では、断面マップ画像および平面マップ画像の２つの施設マップ画像上で対象エリアごとの活動情報を可視化するようにしたが、２つの施設マップ画像は断面マップ画像と平面マップ画像との組み合わせに限定されるものではない。例えば、断面マップ画像または平面マップ画像と、その一部を拡大したマップ画像との組み合わせとしてもよい。また、表示させる施設マップ画像を複数の施設マップ画像からユーザが選択することができるようにしてもよい。
本発明に係る施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法は、施設内でユーザが注目するエリアにおける人物の活動状況をユーザが即座に把握することができる効果を有し、施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法などとして有用である。
１ カメラ
２ サーバ装置（施設内活動分析装置）
３ ユーザ端末装置
４４ 活動情報生成部
５１ カメラ画像取得部
５２ 活動情報取得部
５３ 対象エリア設定部
５４ 活動情報集約部
５６ 警報判定部
５７ 統計情報生成部
５８ 出力情報生成部
６１ 地域一覧マップ画像
６２ エリア画像
７１ 店舗アイコン
８１ 断面マップ画像
８２ 平面マップ画像
８３，８４ 状態表示ボックス
１４１ 警報アイコン
１４２ 警報表示ボックス

Claims (7)

  1. 施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析装置であって、
    前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得する活動情報取得部と、
    前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定する対象エリア設定部と、
    前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成する活動情報集約部と、
    前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする施設内活動分析装置。
  2. 前記施設マップ画像は、前記施設を構成する建物の断面的なレイアウトを描画した断面マップ画像、および前記建物内のフロアの平面的なレイアウトを描画した平面マップ画像であることを特徴とする請求項１に記載の施設内活動分析装置。
  3. 前記出力情報生成部は、前記断面マップ画像上でフロアを指定するユーザの入力操作に応じて、指定されたフロアに関する前記平面マップ画像を表示する表示情報を生成することを特徴とする請求項２に記載の施設内活動分析装置。
  4. さらに、前記活動情報取得部で取得した前記対象エリアごとの現在の滞在人数に基づいて、前記対象エリアごとに防災上の警報が必要か否かを判定する警報判定部を備え、
    前記出力情報生成部は、前記警報判定部の判定結果に基づき、前記施設マップ画像上において、防災上の警報が必要と判定された前記対象エリアに対応する位置に警報アイコンを重ね合わせた表示情報を生成することを特徴とする請求項１から請求項３のいずれかに記載の施設内活動分析装置。
  5. 前記活動情報集約部は、前記検出要素ごとの活動情報を前記施設単位で集約して、前記施設ごとの活動情報を生成し、この施設ごとの活動情報を地域単位で平均化して、地域ごとの活動情報を生成し、
    前記出力情報生成部は、地域一覧マップ画像上における地域を表す画像の表示形態を変更することで、前記地域ごとの活動情報を可視化した表示情報を生成することを特徴とする請求項１から請求項４のいずれかに記載の施設内活動分析装置。
  6. 施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する施設内活動分析システムであって、
    前記施設内を撮像して、前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を生成して、その活動情報を出力するカメラと、
    前記活動情報を可視化した出力情報を生成するサーバ装置と、
    前記出力情報に基づき、前記活動情報を可視化した閲覧画面を表示するユーザ端末装置と、
    を有し、
    前記サーバ装置は、
    前記カメラから前記活動情報を取得する活動情報取得部と、
    前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定する対象エリア設定部と、
    前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成する活動情報集約部と、
    前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成する出力情報生成部と、
    を備えたことを特徴とする施設内活動分析システム。
  7. 施設内を撮像した撮像画像から生成された活動情報に基づき、動体の活動状況に関する分析を行い、その動体の活動状況を可視化した出力情報を生成する処理を情報処理装置に行わせる施設内活動分析方法であって、
    前記撮像画像を複数に分割した所定の検出要素ごとの動体の活動度合いを表す前記活動情報を取得し、
    前記施設内のレイアウトを描画した少なくとも２つの施設マップ画像上にそれぞれ対象エリアを設定し、
    前記検出要素ごとの活動情報を前記対象エリア単位で集約して、前記対象エリアごとの活動情報を生成し、
    前記施設マップ画像上における前記対象エリアを表す画像の表示形態を変更することで、前記対象エリアごとの活動情報を可視化した表示情報を、前記施設マップ画像の各々について生成して、前記施設マップ画像に関する表示情報を含む出力情報を生成することを特徴とする施設内活動分析方法。
JP2016078158A 2016-04-08 2016-04-08 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法 Active JP6156665B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016078158A JP6156665B1 (ja) 2016-04-08 2016-04-08 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
PCT/JP2017/005486 WO2017175484A1 (ja) 2016-04-08 2017-02-15 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
US16/088,678 US20200302188A1 (en) 2016-04-08 2017-02-15 Intra-facility activity analysis device, intra-facility activity analysis system, and intra-facility activity analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016078158A JP6156665B1 (ja) 2016-04-08 2016-04-08 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法

Publications (2)

Publication Number Publication Date
JP6156665B1 true JP6156665B1 (ja) 2017-07-05
JP2017188023A JP2017188023A (ja) 2017-10-12

Family

ID=59272867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016078158A Active JP6156665B1 (ja) 2016-04-08 2016-04-08 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法

Country Status (3)

Country Link
US (1) US20200302188A1 (ja)
JP (1) JP6156665B1 (ja)
WO (1) WO2017175484A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019053433A (ja) * 2017-09-13 2019-04-04 ヤフー株式会社 予測装置、予測方法、及び予測プログラム
US10878688B2 (en) 2017-07-26 2020-12-29 Asahi Kasei Kabushiki Kaisha Monitoring system and monitoring method

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11044445B2 (en) 2017-05-05 2021-06-22 VergeSense, Inc. Method for monitoring occupancy in a work area
US10742940B2 (en) 2017-05-05 2020-08-11 VergeSense, Inc. Method for monitoring occupancy in a work area
US11039084B2 (en) 2017-11-14 2021-06-15 VergeSense, Inc. Method for commissioning a network of optical sensors across a floor space
WO2019155554A1 (ja) * 2018-02-07 2019-08-15 株式会社ウフル 空間価値出力システム、空間価値出力方法、及びプログラム
JP7523205B2 (ja) * 2018-06-21 2024-07-26 キヤノン株式会社 画像処理装置、画像処理方法
JP7128687B2 (ja) * 2018-08-31 2022-08-31 大阪瓦斯株式会社 飲食店景況度可視化システム
JP6511204B1 (ja) * 2018-10-31 2019-05-15 ニューラルポケット株式会社 情報処理システム、情報処理装置、サーバ装置、プログラム、又は方法
JP7164625B2 (ja) * 2018-12-03 2022-11-01 三菱電機株式会社 エネルギー管理支援装置およびエネルギー管理支援システム
AU2020241843B2 (en) 2019-03-15 2023-09-28 VergeSense, Inc. Arrival detection for battery-powered optical sensors
US11620808B2 (en) 2019-09-25 2023-04-04 VergeSense, Inc. Method for detecting human occupancy and activity in a work area
JP7238740B2 (ja) * 2019-11-20 2023-03-14 トヨタ自動車株式会社 自動バレー駐車の管理装置、管理システム、及びその管理方法
CN114746890A (zh) * 2019-12-12 2022-07-12 三菱电机株式会社 拥挤度估计装置、拥挤度估计方法以及拥挤度估计程序
JP6867612B1 (ja) * 2019-12-19 2021-04-28 日本電気株式会社 計数システム、計数方法、プログラム
JP7518640B2 (ja) * 2020-03-13 2024-07-18 キヤノン株式会社 画像処理装置、画像処理方法
JP2022144490A (ja) * 2021-03-19 2022-10-03 東芝テック株式会社 店舗システム及びプログラム
US20220398910A1 (en) * 2021-06-11 2022-12-15 Johnson Controls Fire Protection LP Occupant traffic optimization
JPWO2023079600A1 (ja) * 2021-11-02 2023-05-11
JP7279241B1 (ja) 2022-08-03 2023-05-22 セーフィー株式会社 システムおよびプログラム
CN115937010B (zh) * 2022-08-17 2023-10-27 北京字跳网络技术有限公司 一种图像处理方法、装置、设备及介质
JP7302088B1 (ja) 2022-12-28 2023-07-03 セーフィー株式会社 システムおよびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063485A (ja) * 2012-08-31 2014-04-10 Shimizu Corp 火災時現場対応支援システム及び火災時現場対応支援方法
JP2015125671A (ja) * 2013-12-27 2015-07-06 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015133093A (ja) * 2014-01-14 2015-07-23 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法、滞在情報表示システム、及び表示制御装置
JP2015158866A (ja) * 2014-02-25 2015-09-03 株式会社Ｎｔｔドコモ 混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014063485A (ja) * 2012-08-31 2014-04-10 Shimizu Corp 火災時現場対応支援システム及び火災時現場対応支援方法
JP2015125671A (ja) * 2013-12-27 2015-07-06 パナソニック株式会社 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
JP2015133093A (ja) * 2014-01-14 2015-07-23 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 表示方法、滞在情報表示システム、及び表示制御装置
JP2015158866A (ja) * 2014-02-25 2015-09-03 株式会社Ｎｔｔドコモ 混雑状況把握装置、混雑状況把握システム及び混雑状況把握方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10878688B2 (en) 2017-07-26 2020-12-29 Asahi Kasei Kabushiki Kaisha Monitoring system and monitoring method
JP2019053433A (ja) * 2017-09-13 2019-04-04 ヤフー株式会社 予測装置、予測方法、及び予測プログラム

Also Published As

Publication number Publication date
US20200302188A1 (en) 2020-09-24
JP2017188023A (ja) 2017-10-12
WO2017175484A1 (ja) 2017-10-12

Similar Documents

Publication Publication Date Title
JP6156665B1 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP6256885B2 (ja) 施設内活動分析装置、施設内活動分析システムおよび施設内活動分析方法
JP4829290B2 (ja) インテリジェントなカメラ選択および対象追跡
JP5597781B1 (ja) 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US10180326B2 (en) Staying state analysis device, staying state analysis system and staying state analysis method
US9852345B2 (en) Activity map creating device, activity map creating system, and activity map creating method
JP2020184795A (ja) 映像監視システム、映像監視方法、及びプログラム
CN105723703B (zh) 监控装置、监控系统以及监控方法
US20140211019A1 (en) Video camera selection and object tracking
US10235574B2 (en) Image-capturing device, recording device, and video output control device
JP7359621B2 (ja) エリア設定支援装置、エリア設定支援方法及びエリア設定支援プログラム
US20170344834A1 (en) Facility use measuring device and facility use measuring system
Zuo et al. Reference-free video-to-real distance approximation-based urban social distancing analytics amid COVID-19 pandemic
JP2016024492A (ja) 施設利用状況計測装置、施設利用状況計測システムおよび施設利用状況計測方法
JP2004272756A (ja) 混雑度調査装置
JP2019029747A (ja) 画像監視システム
JP2020017102A (ja) 火災監視装置、および火災監視システム
WO2017183547A1 (ja) 調査装置
JP6226240B2 (ja) 活動マップ分析装置、活動マップ分析システムおよび活動マップ分析方法
Borstell et al. Image-based situation assessment in public space

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170523

R151 Written notification of patent or utility model registration

Ref document number: 6156665

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151