WO2016147586A1 - 撮像装置、録画装置および映像出力制御装置 - Google Patents

撮像装置、録画装置および映像出力制御装置 Download PDF

Info

Publication number
WO2016147586A1
WO2016147586A1 PCT/JP2016/001158 JP2016001158W WO2016147586A1 WO 2016147586 A1 WO2016147586 A1 WO 2016147586A1 JP 2016001158 W JP2016001158 W JP 2016001158W WO 2016147586 A1 WO2016147586 A1 WO 2016147586A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
unit
person
attribute
activity
Prior art date
Application number
PCT/JP2016/001158
Other languages
English (en)
French (fr)
Inventor
岩井 和彦
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to US15/556,106 priority Critical patent/US10235574B2/en
Publication of WO2016147586A1 publication Critical patent/WO2016147586A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/915Television signal processing therefor for field- or frame-skip recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/178Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Alarm Systems (AREA)

Abstract

 専用の分析装置を設けることなく、属性を限定した活動マップを表示させ、さらに属性を限定した活動マップを閲覧する際のユーザの使い勝手を向上させる。位置情報取得部(24)で映像から人物ごとの位置情報を取得し、属性情報取得部(26)で映像から人物ごとの属性情報を取得し、活動情報取得部(29)で属性情報および位置情報に基づき活動情報を、ユーザが指定した属性に限定して取得し、活動マップ生成部(31)で活動情報に基づき属性を限定した活動マップを生成し、映像出力部(35)で活動マップを重畳した映像を出力し、活動マップの出力に関する制御を行う制御部(32)で、撮像部から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性がある場合には属性を限定した活動マップの出力機能を有効にし、適合性がない場合には属性を限定した活動マップの出力機能を無効にする。

Description

撮像装置、録画装置および映像出力制御装置
 本開示は、監視エリアを撮像してその映像を閲覧装置に出力する撮像装置、撮像装置から出力される映像を蓄積してその映像を閲覧装置に出力する録画装置、および撮像装置に接続されて閲覧装置への映像出力を制御する映像出力制御装置に関するものである。
 コンビニエンスストアなどの店舗においては、店舗内を撮影するカメラを設置して、そのカメラの映像で店舗内の状況を監視する監視システムが広く普及しているが、このカメラの映像を利用して、店舗内での顧客の活動状況を把握することができるようにすると、その顧客の活動状況に基づいて、店舗内での商品の陳列方法の改善策などを考えることで、店舗の売上や利益の向上を図ることができる。
 このような監視エリアにおける人物の活動状況の分析に関するものとして、従来、複数のカメラの映像から、監視エリアにおける人物の活動状況に関する情報を取得して、その活動状況を可視化した活動マップを生成する技術が知られている(特許文献1参照)。この技術では、活動マップが、人物の活動度合いに応じて等高線状に色分けして、監視エリアの配置図上に重畳して表示されるようになっている。また、監視エリアを複数のブロックに分割して、そのブロックごとに人物の滞留度合いを検出する技術が知られている(特許文献2参照)。この技術では、人物の滞留度合いを示す値(スコア)がブロックごとに出力されるようになっている。
特開2009-134688号公報 特開2011-248836号公報
 さて、店舗経営者等が、例えば、人物の属性(年齢や性別などの客層)に応じた集客状況を確認するために、店舗内での人物の活動状況を特定の属性に限定して把握したいといった要望がある。しかしながら、特許文献1,2に開示された技術によれば、監視エリアにおける人物の全体的な活動状況や人物が集まっている滞留箇所を容易に把握することができるものの、人物の活動状況を特定の属性に限定して把握する要望に対しては何の配慮もなされておらず、このような要望に応えることができないという問題があった。
 また、特許文献1,2に開示された技術では、人物の活動状況の分析を行うためのソフトウェアをPCなどの情報処理装置にインストールするなどして活動マップを出力するようにしており、活動状況分析用の専用の装置を設ける必要があるため、コストが嵩み、簡単なシステム構成で活動マップを表示させることができる技術が望まれる。また、精度の低い活動マップが出力されると、ユーザが誤った判断を行い、ユーザに無用な手間を煩わせることになり、ユーザの使い勝手が低下することから、このような不都合を未然に防いで、ユーザの使い勝手を向上させることができる技術が望まれる。
 本開示は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができ、さらに、属性を限定した活動マップを閲覧する際のユーザの使い勝手を向上させることができるように構成された撮像装置、録画装置および映像出力制御装置を提供することにある。
 本開示の撮像装置は、監視エリアを撮像してその映像を閲覧装置に出力する撮像装置であって、監視エリアを撮像して、その監視エリアの映像を撮像モードに応じて出力する撮像部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、属性情報および位置情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、監視エリアの映像上に活動マップを重畳した映像を生成して出力する映像出力部と、活動マップの出力に関する制御を行う制御部と、を備え、制御部は、撮像モードに応じて撮像部から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にし、適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にする構成とする。
 また、本開示の録画装置は、撮像装置から出力される映像を蓄積してその映像を閲覧装置に出力する録画装置であって、撮像装置において、監視エリアを撮像して得られる映像が撮像モードに応じて撮像装置から入力される映像入力部と、この映像入力部に入力された映像を蓄積する映像蓄積部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、映像蓄積部に蓄積された映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、映像蓄積部に蓄積された映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、属性情報および位置情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、監視エリアの映像上に活動マップを重畳した映像を生成して出力する映像出力部と、活動マップの出力に関する制御を行う制御部と、を備え、制御部は、撮像モードに応じて撮像装置から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にし、適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にする構成とする。
 また、本開示の映像出力制御装置は、撮像装置に接続されて閲覧装置への映像出力を制御する映像出力制御装置であって、撮像装置において、監視エリアを撮像して得られる映像が撮像モードに応じて撮像装置から入力される映像入力部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、映像入力部に入力された映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、映像入力部に入力された映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、属性情報および位置情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、監視エリアの映像上に活動マップを重畳した映像を生成して出力する映像出力部と、活動マップの出力に関する制御を行う制御部と、を備え、制御部は、撮像モードに応じて撮像装置から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にし、適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にする構成とする。
 本開示によれば、監視エリアの映像上に属性を限定した活動マップを重畳した出力映像が撮像装置から出力されるため、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができる。そして、撮像部から出力される映像が属性情報の取得に適していない場合には、属性を限定した活動マップの出力機能を無効にするため、属性を限定した活動マップの精度が低い状態で出力されてユーザが誤った判断を行うことを避けることができるので、ユーザの使い勝手を向上させることができる。
図1は、第1実施形態に係るモニタリングシステムの全体構成図である。 図2は、店舗のレイアウトおよびカメラ1の設置状況を説明する店舗の平面図である。 図3Aは、カメラ1から出力される魚眼映像を示す説明図である。 図3Bは、図3Aの魚眼映像上に活動マップを重畳した映像を示す説明図である。 図4Aは、カメラ1から出力される4画PTZ映像を生成する処理の概要を説明する説明図である。 図4Bは、魚眼映像から4画PTZ映像を生成する処理の概要を説明する説明図である。 図5Aは、カメラ1で行われる処理の概要を説明する説明図である。 図5Bは、カメラ1で行われる処理の概要を説明する説明図である。 図6は、カメラ1の概略構成を示す機能ブロック図である。 図7は、カメラ1の各部で行われる映像出力時の処理の手順を示すフロー図である。 図8Aは、位置情報取得部24で行われる処理の手順を示すフロー図である。 図8Bは、属性情報取得部26で行われる処理の手順を示すフロー図である。 図9は、同定処理部28で行われる処理を説明する説明図である。 図10は、モニタ7に表示されるモニタリング画面を示す説明図である。 図11は、モニタ7に表示される基本的な設定項目に関する設定画面を示す説明図である。 図12は、モニタ7に表示されるカメラ1の映像出力に関する設定画面を示す説明図である。 図13は、モニタ7に表示されるカメラ1の映像出力に関する設定画面を示す説明図である。 図14は、モニタ7に表示される動体検知に関する設定画面を示す説明図である。 図15は、モニタ7に表示されるライン設定に関する設定画面を示す説明図である。 図16は、モニタ7に表示されるユーザ管理に関する設定画面を示す説明図である。 図17は、第2実施形態におけるカメラ101およびレコーダ102の概略構成を示す機能ブロック図である。 図18は、第3実施形態におけるアダプタ111の概略構成を示す機能ブロック図である。
 前記課題を解決するためになされた第1の発明は、監視エリアを撮像してその映像を閲覧装置に出力する撮像装置であって、監視エリアを撮像して、その監視エリアの映像を撮像モードに応じて出力する撮像部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、属性情報および位置情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、監視エリアの映像上に活動マップを重畳した映像を生成して出力する映像出力部と、活動マップの出力に関する制御を行う制御部と、を備え、制御部は、撮像モードに応じて撮像部から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にし、適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にする構成とする。
 これによると、監視エリアの映像上に属性を限定した活動マップを重畳した出力映像が撮像装置から出力されるため、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができる。そして、撮像部から出力される映像が属性情報の取得に適していない場合には、属性を限定した活動マップの出力機能を無効にするため、属性を限定した活動マップの精度が低い状態で出力されてユーザが誤った判断を行うことを避けることができるので、ユーザの使い勝手を向上させることができる。
 また、第2の発明は、制御部は、適合性がないと判定された場合には、活動情報取得部に、属性を限定しない活動情報を取得させ、活動マップ生成部に、属性を限定しない活動マップを生成させ、映像出力部に、属性を限定しない活動マップを監視エリアの映像上に重畳した映像を出力させる構成とする。
 これによると、撮像部から出力される映像が属性情報の取得に適していない場合でも、属性を限定しない活動マップが出力されるため、ユーザの使い勝手を向上させることができる。
 また、第3の発明は、撮像部は、魚眼レンズを介して監視エリアを撮像して魚眼映像を出力するとともに、その魚眼映像に対して歪み補正を実施した補正映像を出力し、制御部は、撮像部から出力される映像が魚眼映像のみである場合に適合性がないと判定する構成とする。
 これによると、魚眼映像では、属性情報を精度よく取得することができず、一方、歪み補正を実施した補正映像では、属性情報を精度よく取得することができるため、撮像部から出力される映像が魚眼映像のみの場合に、適合性がないと判定して、属性を限定した活動マップの出力機能を無効にすることで、ユーザが誤った判断を行うことを避けることができるので、ユーザの使い勝手を向上させることができる。
 また、第4の発明は、撮像部は、魚眼レンズを介して監視エリアを撮像して魚眼映像を出力するとともに、その魚眼映像に対して歪み補正を実施した補正画像を出力し、制御部は、撮像部から出力される映像が補正画像を含む場合に適合性があると判定する構成とする。
 これによると、魚眼映像では、属性情報を精度よく取得することができず、一方、歪み補正を実施した補正映像では、属性情報を精度よく取得することができるため、撮像部から出力される映像が補正映像を含む場合に、適合性があると判定して、属性を限定した活動マップの出力機能を有効にすることで、属性を限定した活動マップを確実に精度の高い状態で出力させることができる。
 また、第5の発明は、監視エリアを撮像してその映像を閲覧装置に出力する撮像装置であって、監視エリアを撮像して得られる未処理の第1の映像、およびこの第1の映像の一部を切り出して歪み補正を実施することで得られる第2の映像を、撮像モードに応じて出力する撮像部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、第1の映像から人物を検出して、第1の映像上での人物ごとの位置情報を取得する位置情報取得部と、第2の映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、位置情報と属性情報とを人物ごとに対応付ける処理を行う同定処理部と、この同定処理部により対応付けられた位置情報および属性情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、第1の映像上に活動マップを重畳した映像を生成して出力する映像出力部と、を備えた構成とする。
 これによると、監視エリアの映像上に属性を限定した活動マップを重畳した出力映像が撮像装置から出力されるため、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができる。そして、歪み補正を実施した第2の映像を用いて属性情報を取得するため、属性を限定した活動マップを精度が高い状態で出力させることができる。このため、属性を限定した活動マップの精度が低い状態で出力されてユーザが誤った判断を行うことを避けることができるので、ユーザの使い勝手を向上させることができる。また、第1の映像には撮像エリアの全体が写ることから、この第1の映像上に活動マップを重畳することで、属性を限定した人物の活動状況を広い範囲で把握することができるので、ユーザの使い勝手を向上させることができる。
 また、第6の発明は、位置情報取得部は、人物ごとの位置情報を、第1の映像上での人物ごとの検出時刻情報に対応づけて取得し、属性情報取得部は、人物ごとの属性情報を、第2の映像上での位置情報および検出時刻情報に対応づけて取得し、同定処理部は、位置情報取得部および属性情報取得部でそれぞれ取得した位置情報および検出時刻情報に基づき、位置情報と属性情報とを人物ごとに対応付ける処理を行う構成とする。
 これによると、第1の映像上から取得した位置情報と第2の映像から取得した属性情報とを精度よく対応づけることができるため、属性を限定した活動マップの精度をより一層高めることができる。
 また、第7の発明は、撮像部は、魚眼レンズを介して監視エリアを撮像した魚眼映像を第1の映像として出力するとともに、ユーザの操作入力に応じて設定された複数の対象エリアの映像を第1の映像から切り出して、その複数の映像に対して歪み補正を実施し、これにより得られた複数の補正映像を第2の映像として出力する構成とする。
 これによると、第2の映像の対象エリアを、監視エリアにおける人物が通過する領域に設定することで、第1の映像に現れる人物について属性情報を漏れなく取得することができるので、属性を限定した活動マップを精度の高い状態で出力させることができる。
 また、第8の発明は、撮像装置から出力される映像を蓄積してその映像を閲覧装置に出力する録画装置であって、撮像装置において、監視エリアを撮像して得られる映像が撮像モードに応じて撮像装置から入力される映像入力部と、この映像入力部に入力された映像を蓄積する映像蓄積部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、映像蓄積部に蓄積された映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、映像蓄積部に蓄積された映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、属性情報および位置情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、監視エリアの映像上に活動マップを重畳した映像を生成して出力する映像出力部と、活動マップの出力に関する制御を行う制御部と、を備え、制御部は、撮像モードに応じて撮像装置から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にし、適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にする構成とする。
 これによると、第1の発明と同様に、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができ、さらに、属性を限定した活動マップを閲覧する際のユーザの使い勝手を向上させることができる。
 また、第9の発明は、撮像装置から出力される映像を蓄積してその映像を閲覧装置に出力する録画装置であって、撮像装置において、監視エリアを撮像して得られる未処理の第1の映像、およびこの第1の映像の一部を切り出して歪み補正を実施することで得られる第2の映像が、撮像モードに応じて撮像装置から入力される映像入力部と、この映像入力部に入力された第1の映像および第2の映像を蓄積する映像蓄積部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、第1の映像から人物を検出して、第1の映像上での人物ごとの位置情報を取得する位置情報取得部と、第2の映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、位置情報と属性情報とを人物ごとに対応付ける処理を行う同定処理部と、この同定処理部により対応付けられた位置情報および属性情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、第1の映像上に活動マップを重畳した映像を生成して出力する映像出力部と、を備えた構成とする。
 これによると、第5の発明と同様に、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができ、さらに、属性を限定した活動マップを閲覧する際のユーザの使い勝手を向上させることができる。
 また、第10の発明は、撮像装置に接続されて閲覧装置への映像出力を制御する映像出力制御装置であって、撮像装置において、監視エリアを撮像して得られる映像が撮像モードに応じて撮像装置から入力される映像入力部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、映像入力部に入力された映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、映像入力部に入力された映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、属性情報および位置情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、監視エリアの映像上に活動マップを重畳した映像を生成して出力する映像出力部と、活動マップの出力に関する制御を行う制御部と、を備え、制御部は、撮像モードに応じて撮像装置から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にし、適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にする構成とする。
 これによると、第1の発明と同様に、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができ、さらに、属性を限定した活動マップを閲覧する際のユーザの使い勝手を向上させることができる。
 また、第11の発明は、撮像装置に接続されて閲覧装置への映像出力を制御する映像出力制御装置であって、撮像装置において、監視エリアを撮像して得られる未処理の第1の映像、およびこの第1の映像の一部を切り出して歪み補正を実施することで得られる第2の映像が、撮像モードに応じて撮像装置から入力される映像入力部と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部と、映像入力部に入力された第1の映像から人物を検出して、第1の映像上での人物ごとの位置情報を取得する位置情報取得部と、映像入力部に入力された第2の映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、位置情報と属性情報とを人物ごとに対応付ける処理を行う同定処理部と、この同定処理部により対応付けられた位置情報および属性情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部により設定された属性に限定して取得する活動情報取得部と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部と、第1の映像上に活動マップを重畳した映像を生成して出力する映像出力部と、を備えた構成とする。
 これによると、第5の発明と同様に、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができ、さらに、属性を限定した活動マップを閲覧する際のユーザの使い勝手を向上させることができる。
 以下、実施の形態を、図面を参照しながら説明する。
 (第1実施形態)
 図1は、第1実施形態に係るモニタリングシステムの全体構成図である。このモニタリングシステムは、スーパーマーケットやコンビニエンスストアなどの小売店舗などを対象にして構築されるものであり、カメラ(撮像装置)1と、レコーダ2と、PC(閲覧装置)3と、を備えている。
 カメラ1は店舗内(監視エリア)の適所に設置され、カメラ1により店舗内が撮像される。このカメラ1は、360度の撮影範囲を有する全方位カメラであり、魚眼レンズを介して監視エリアを撮像する撮像部21を備えている。また、このカメラ1は、ネットワーク接続が可能な、いわゆるIPカメラであり、レコーダ2もネットワーク接続が可能に構成され、このカメラ1およびレコーダ2は店舗内に設置されたLANに接続されており、カメラ1から出力される映像がレコーダ2に蓄積される。
 また、PC3もLANに接続されており、カメラ1およびレコーダ2から出力される映像がPC3に入力され、PC3に接続されたモニタ(表示装置)7に映像が表示される。これにより、店長などの店舗側のユーザが、カメラ1で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の映像を閲覧することができる。
 また、カメラ1、レコーダ2およびPC3は、複数の店舗の各々に設置されており、複数の店舗を総括する本部にはPC11が設置されており、このPC11は、WANを介して、各店舗のカメラ1およびレコーダ2に接続されている。これにより、本部側のユーザが、カメラ1で撮影された店舗内の映像をリアルタイムで閲覧することができ、また、レコーダ2に録画された過去の店舗内の映像を閲覧することができる。
 次に、店舗のレイアウトおよびカメラ1の設置状況について説明する。図2は、店舗のレイアウトおよびカメラ1の設置状況を説明する店舗の平面図である。
 店舗には、出入口、陳列棚およびレジカウンタなどが設けられている。陳列棚は、青果、鮮魚、精肉、加工食品、飲料などの商品の種類に分けて設置されている。顧客は、出入口から入店し、陳列棚の間の通路を通って店舗内を移動し、所望の商品が見つかると、その商品を持ってレジカウンタに向かい、レジカウンタで会計(代金の支払い)を済ませた後に出入口から退店する。
 また、店舗には、店舗内(監視エリア)を撮影するカメラ1が設置されている。このカメラ1は、店舗内の天井の適宜な位置に設置されており、このカメラ1により、店舗内に滞在する人物を撮影することができる。
 次に、図1に示したカメラ1から出力される魚眼映像について説明する。図3Aは、カメラ1から出力される魚眼映像を示す説明図、図3Bは、図3Aの魚眼映像の映像上に活動マップを重畳した映像を示す説明図である。
 カメラ1では、魚眼レンズを介して監視エリアを撮像し、図3Aに示すように、魚眼映像(第1の映像)を出力する。また、本実施形態では、監視エリアにおける人物の活動状況を可視化する活動マップを生成し、図3Bに示すように、魚眼映像上に活動マップを重畳した映像を生成して出力する。
 また、本実施形態では、ユーザが人物の属性(性別および年齢などの客層)を指定することで、その属性に限定した活動マップを生成することができる。また、人物の属性を指定しない場合には、全ての人物を対象にした活動マップが生成される。
 次に、図1に示したカメラ1から出力される4画PTZ映像について説明する。図4Aは、カメラ1から出力される4画PTZ映像、図4Bは、魚眼映像から4画PTZ映像を生成する処理の概要を説明する説明図である。なお、4画PTZ映像とは、魚眼画像の中から、指定する4ヶ所の画像の歪みを補正して4:3の画像をマルチ画面として表示したものである。また、4画PTZ映像は、魚眼映像からの指定で各画面の表示位置を変えることができる。例えば、従来のボックスカメラ4台を利用して得られるようなマルチ画面映像が1台の全方位カメラによって生成されることになる。
 カメラ1では、図4Aに示すように、4画PTZ映像(第2の映像)を生成して出力する。この4画PTZ映像は、図4Bに示すように、魚眼映像の中心部を含まない画像領域上に4つの対象エリアを設定し、その4つの対象エリアの映像を魚眼映像から切り出して、その4つの対象エリアの映像に対して歪み補正を実施することで、4つの補正映像からなる4画PTZ映像が得られる。
 対象エリアは、入力デバイス6を用いたユーザの操作入力に応じて設定される。このとき、魚眼映像が表示された対象エリア設定画面をモニタ7に表示させて、魚眼映像内の対象エリアの位置をユーザに指定させればよい。また、本実施形態では、4画PTZ映像から人物を検出し、人物ごとに属性を判定して、人物ごとに属性情報を取得する処理が行われる。このため、魚眼映像において人物が通過する画像領域に対象エリアを設定することで、魚眼映像に現れる人物について属性情報を漏れなく取得することができる。
 また、カメラ1では、魚眼映像および4画PTZ映像の他に、1画PTZ映像、ダブルパノラマ映像、単一パノラマ映像などを出力することができる。1画PTZ映像は、魚眼映像上に1つの対象エリアを設定し、その対象エリアの映像を魚眼映像から切り出して、その映像に対して歪み補正を実施することで得られる。ダブルパノラマ映像は、魚眼映像の中心部を除くリング状の画像領域を2分割した状態で映像を切り出して、その映像に対して歪み補正を実施することで得られる。単一パノラマ映像は、魚眼映像の中心に対して対称位置にある弓形状の画像領域を除いた映像を魚眼映像から切り出して、その映像に対して歪み補正を実施することで得られる。
 次に、図1に示したカメラ1で行われる処理の概要について説明する。図5A,Bは、カメラ1で行われる処理の概要を説明する説明図である。
 カメラ1の撮像部21は、図5Aに示すように、魚眼映像のみを出力する第1の撮像モードと、図5Bに示すように、魚眼映像および4画PTZ映像を出力する第2の撮像モードとの2つの撮像モードを少なくとも有している。ここで、第1の撮像モードで出力される魚眼映像は、人物の顔の画像の歪みが大きく、精度よく属性(性別および年齢などの客層)を判定することができないため、属性情報の取得に適していない。一方、第2の撮像モードで出力される4画PTZ映像は、人物の顔の画像の歪みが改善され、精度よく属性を判定することができるため、属性情報の取得に適している。
 そこで、本実施形態では、撮像部21から出力される映像が魚眼映像のみである場合、すなわち、第1の撮像モードでは、属性情報の取得に適していないと判定して、属性を限定した活動マップの出力機能を無効にする制御が行われる。すなわち、図5Aに示すように、魚眼映像から人物ごとの位置情報を取得し、その位置情報に基づいて、全ての人物を対象にして属性を限定しない活動情報を取得し、その活動情報に基づいて属性を限定しない活動マップを生成し、その活動マップを魚眼映像上に重畳した映像を生成して出力する。
 一方、撮像部21から出力される映像が4画PTZ映像(補正映像)を含む場合、すなわち、第2の撮像モードでは、属性情報の取得に適していると判定して、属性を限定した活動マップの出力機能を有効にする制御が行われる。すなわち、図5Bに示すように、魚眼映像から人物ごとの位置情報を取得し、また、4画PTZ映像から人物ごとの属性情報を取得し、位置情報および属性情報に基づいて、指定された属性に該当する人物を対象にして属性を限定した活動情報を取得し、その活動情報に基づいて属性を限定した活動マップを生成し、その活動マップを魚眼映像上に重畳した映像を生成して出力する。
 ここで、監視エリアの天井に設置されたカメラ1で監視エリアを撮像した魚眼映像では、監視エリアにおける人物の位置を精度よく検出することができる。このため、本実施形態では、魚眼映像から人物ごとの位置情報を取得している。また、魚眼映像には撮像エリアの全体が写ることから、本実施形態では、この魚眼映像上に活動マップを重畳するようにしており、これにより属性を限定した人物の活動状況を広い範囲で把握することができる。
 また、本実施形態では、位置情報および属性情報をそれぞれ魚眼映像および4画PTZ映像から取得するようにしているが、この場合、魚眼映像から取得した位置情報と、4画PTZ映像から取得した属性情報とを、人物ごとに対応付ける処理を行わなければ、属性を限定した活動情報を取得することができない。そこで、本実施形態では、魚眼映像で検出した人物と4画PTZ映像で検出した人物との間で、同一人物であるか否かの対応関係を判定し、この対応関係に基づいて、位置情報および属性情報を人物ごとに対応付ける処理が行われる。
 次に、図1に示したカメラ1の概略構成について説明する。図6は、カメラ1の概略構成を示す機能ブロック図である。
 カメラ1は、撮像部21と、魚眼映像蓄積部22と、4画PTZ映像蓄積部23と、位置情報取得部24と、位置情報蓄積部25と、属性情報取得部26と、属性情報蓄積部27と、同定処理部28と、活動情報取得部29と、活動情報蓄積部30と、活動マップ生成部31と、活動マップ制御部32と、人数計測部33と、プライバシーマスク処理部34と、映像出力部35と、入力設定部36と、ユーザ認証部37と、インタフェース38と、を備えている。
 撮像部21は、魚眼レンズ41と、撮像素子42と、制御回路43と、歪み補正処理部44と、を備えている。撮像素子42は、魚眼レンズ41を介して監視エリアを撮像する。制御回路43では、撮像素子42の出力信号に基づいて魚眼映像を出力する。
 歪み補正処理部44では、制御回路43から出力される魚眼映像に対して歪み補正を実施した補正映像を出力する。本実施形態では、前記のように、ユーザの操作入力に応じて設定された4つの対象エリアの映像を魚眼映像から切り出して、その複数の映像に対して歪み補正を実施し、これにより得られた複数の補正映像、すなわち、4画PTZ映像を出力する。
 撮像部21は、魚眼映像のみを出力する第1の撮像モードと、魚眼映像および4画PTZ映像を出力する第2の撮像モードとの2つの撮像モードを少なくとも有している。
 魚眼映像蓄積部22は、制御回路43から出力される魚眼映像を蓄積する。4画PTZ映像蓄積部23は、歪み補正処理部44から出力される4画PTZ映像を蓄積する。これらの映像蓄積部22,23は、メモリカード、ハードディスクドライブおよびソリッドステートドライブなどの記憶デバイスからなり、カメラ1に内蔵することから、比較的小容量の記憶デバイスが採用され、記憶容量の範囲内で直近の映像が蓄積される。
 位置情報取得部24では、魚眼映像(フレーム)から人物を検出する人物検出処理(動体検知検出)が行われ、この人物検出処理により、その人物ごとに魚眼映像上での位置情報を取得する。人物検出処理では、魚眼映像から人物の上半身、すなわち、人物の頭部および肩部によるΩ形状を検出して、その領域を囲む矩形の人物エリア(人物枠)を取得する。また、人物が存在する領域の全体を囲むように人物エリアを設定したり、人物が存在する領域の近傍の床面に人物エリアを設定したりしてもよい。なお、この人物検出処理には、公知の動体検知技術などを用いればよい。また、位置情報取得部24では、人物が検出された映像の撮影時刻から取得した検出時刻情報を、人物ごとの位置情報に対応づけて取得する。この位置情報取得部24から出力される位置情報および時間情報は位置情報蓄積部25に蓄積される。
 属性情報取得部26では、4画PTZ映像(フレーム)から人物の顔を検出して、人物ごとの属性(性別および年齢などの客層)を判定して、人物ごとに属性情報を取得する処理が行われる。また、属性情報取得部26では、4画PTZ映像上での人物の顔の検出位置に関する位置情報、および人物の顔が検出された映像の撮影時刻から取得した検出時刻情報を、人物ごとの属性情報に対応づけて取得する。この属性情報取得部26から出力される属性情報、位置情報および時間情報は属性情報蓄積部27に蓄積される。
 同定処理部28では、位置情報取得部24で取得した位置情報と、属性情報取得部26で取得した属性情報とを人物ごとに対応付ける処理が行われる。この同定処理部28では、魚眼映像で検出した人物と4画PTZ映像で検出した人物との間で、同一人物であるか否かの対応関係を判定し、この対応関係に基づいて、位置情報および属性情報を人物ごとに対応付ける処理が行われる。これにより、魚眼映像上での人物に属性を付与することができる。
 活動情報取得部29では、位置情報取得部24により取得した人物の位置情報に基づいて、魚眼映像上の位置に応じた人物の活動度合いを表す動体活動値(活動情報)を取得する。本実施形態では、位置情報取得部24において、フレームの撮像時刻により規定される所定の時刻ごとに人物エリアに関する位置情報を取得し、活動情報取得部29において、各画素(検出要素)が人物エリアに位置する回数をカウントして、画素単位の動体活動値(カウンタ値)を取得する。
 具体的には、各画素が人物エリア内に入る度にその画素のカウンタ値を1増分し、この画素ごとの人物エリアのカウントが、所定の検出単位期間で継続して行われて、検出単位期間ごとに画素単位の動体活動値が順次求められる。なお、人物エリアの誤検出を考慮して、人物エリア内に所定回数(例えば3回)連続して入った場合に、動体活動値(カウンタ値)を1増分するようにしてもよい。
 このようにして検出単位期間ごとの動体活動値が順次求められると、この検出単位期間ごとの動体活動値を観測期間(活動マップの対象期間)で集約する統計処理(例えば単純な加算や平均化)を行って、観測期間における活動情報を取得する。なお、観測期間には、映像の表示時刻の進行に応じて観測期間が表示時刻に追随して移動する期間移動型(例えば、常に直前の15分間を観測)、表示開始時刻を始点にして映像の表示時刻の進行に応じて観測期間が徐々に拡張する期間拡張型、観測期間が固定された期間固定型などがあり、期間移動型や期間拡張型のように観測期間が変化する場合でも、観測期間に含まれる検出単位期間の動体活動値を集約することで、観測期間における活動情報を取得することができる。
 また、活動情報取得部29では、活動マップ制御部32からの指示に応じて、属性を限定しない活動情報と、属性を限定した活動情報とのいずれかを取得する。属性を限定しない活動情報を取得する際には、全ての人物を対象にして処理を行えばよく、属性を限定した活動情報を取得する際には、入力設定部36により設定された属性に該当する人物を対象にして処理を行えばよい。このとき、同定処理部28により、位置情報と属性情報とが人物ごとに対応付けられているため、魚眼映像上で検出された人物の中から、設定された属性に該当する人物を抽出することができ、これにより、魚眼映像上の位置に応じた動体活動値を、設定された属性に限定して取得することができる。
 なお、画素ごとの動体活動値を、所定の大きさのグリッド単位で集約する、例えば、グリッド内に位置する複数の画素ごとの動体活動値を平均化して、グリッド単位の動体活動値を取得するようにしてもよい。また、人物エリアの中心点に関する位置情報を取得して、人物エリアの中心点がグリッド内に位置する回数をカウントして、グリッドごとの活動情報を取得するようにしてもよい。
 活動マップ生成部31では、活動情報取得部29で取得した動体活動値に基づき、監視エリアにおける人物の活動状況を可視化した活動マップを生成する処理が行われる。ここで、活動情報取得部29で属性を限定しない活動情報を取得した場合、属性に関係なく全ての人物の活動状況を表す活動マップが生成され、属性を限定した活動情報を取得した場合、指定された属性に該当する人物の活動状況を表す活動マップが生成される。なお、活動マップ画像の表示形態(色や透過率など)は予め設定されたものとすればよいが、ユーザが適宜に選択することができるようにしてもよい。
 活動マップ制御部32は、活動マップの出力に関する制御を行うものであり、適合性判定部45を備えている。この適合性判定部45では、入力設定部36により設定された撮像モードにしたがって撮像部21から出力される映像が、属性情報の取得に適している否かの適合性を判定する。
 そして、活動マップ制御部32では、適合性判定部45により適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にする制御が行われる。すなわち、活動情報取得部29で、属性を限定しない活動情報を取得し、活動マップ生成部31で、属性を限定しない活動マップを生成し、映像出力部35から、属性を限定しない活動マップを魚眼映像上に重畳した映像を生成して出力する。一方、適合性判定部45により適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にする制御が行われる。すなわち、活動情報取得部29で、属性を限定した活動情報を取得し、活動マップ生成部31で、属性を限定した活動マップを生成し、映像出力部35から、属性を限定した活動マップを魚眼映像上に重畳した映像を生成して出力する。
 人数計測部33では、映像上に設定されたカウントラインを通過する人物の人数を計測する処理が行われる。この人数計測部33では、まず、映像から人物を検出して、その人物ごとの位置情報に基づいて、人物ごとの動線を取得する。次いで、人物ごとの動線に基づいて、映像上に設定されたカウントラインを人物の動線が横切ったことが検知されると、その人物がカウントラインを通過したものと判断して、その人物を計数する。このとき、人物がカウントラインを通過する方向に応じて、通過する人物を計数することで、方向別の人数を計測することができる。
 プライバシーマスク処理部34では、映像に対して、人物の画像領域をマスク画像に変更するマスク処理を実施して、マスク処理映像を生成する。このプライバシーマスク処理部34では、まず、映像から人物の画像(前景画像)を除去した背景画像を生成し、ついで、その背景画像に基づいて、映像内に存在する人物の画像領域の位置情報を取得する。そして、人物の画像領域の位置情報に基づいて、人物の画像領域に対応するマスク画像を生成して、このマスク画像を背景画像上に重畳したマスク処理映像を生成する。
 入力設定部36では、PC3に接続された入力デバイス6を用いたユーザの操作入力に従って、撮像部21の撮像モード、および活動マップの対象となる人物の属性を設定する。
 ユーザ認証部37では、カメラ1から出力される映像の閲覧権限を有するユーザに関する認証情報が保持され、PC3においてユーザにより入力された入力情報を認証情報と照合して、PC3において映像を閲覧するユーザが、映像の閲覧権限を有するユーザか否かを検証するユーザ認証が行われる。
 インタフェース38は、LANを介してPC3やレコーダ2などとの間で情報の送受信を行うものである。
 次に、図5A,Bに示したカメラ1の各部で行われる映像出力時の処理の手順について説明する。図7は、カメラ1の各部で行われる映像出力時の処理の手順を示すフロー図である。
 本実施形態では、撮像部21が、魚眼映像のみを出力する第1の撮像モードと、魚眼映像および4画PTZ映像を出力する第2の撮像モードとの2つの撮像モードを少なくとも有しており、映像を出力するのに先だって、この撮像モードが、ユーザの操作入力に従って入力設定部36で予め設定される。また、入力設定部36では、ユーザの操作入力に従って、活動マップの対象となる人物の属性が予め設定される。
 映像を出力する際には、まず、撮像モードの判定が行われる(ST101)。ここで、入力設定部36で設定された撮像モードが、魚眼映像および4画PTZ映像を出力する第1の撮像モードである場合には(ST101で「魚眼+4画PTZ」)、まず、位置情報取得部24において、魚眼映像から人物を検出して、その人物ごとに魚眼映像上での位置情報を取得する(ST102)。また、属性情報取得部26において、4画PTZ映像から人物を検出し、その人物ごとに属性(年齢や性別などの客層)を判定して、人物ごとに属性情報を取得する(ST103)。
 ついで、同定処理部28において、属性情報と位置情報とを人物ごとに対応付ける処理が行われる(ST104)。そして、活動情報取得部29において、同定処理部28により対応付けられた属性情報および位置情報に基づいて、入力設定部36で設定された属性の人物を対象にして、属性を限定した動体活動値を取得する(ST105)。
 そして、活動マップ生成部31において、属性を限定した動体活動値に基づき、属性を限定した活動マップを生成し(ST106)、映像出力部35において、属性を限定した活動マップを魚眼映像上に重畳した出力映像を生成してモニタ7に出力する(ST107)。
 一方、入力設定部36で設定された撮像モードが、魚眼映像のみを出力する第2の撮像モードである場合には(ST101で「魚眼」)、まず、位置情報取得部24において、魚眼映像から人物を検出して、その人物ごとに魚眼映像上での位置情報を取得する(ST108)。
 ついで、活動情報取得部29において、人物ごとの位置情報に基づき、全ての人物を対象にして、属性を限定しない動体活動値を取得する(ST109)。
 そして、活動マップ生成部31において、属性を限定しない動体活動値に基づき、属性を限定しない活動マップを生成し(ST110)、映像出力部35において、属性を限定しない活動マップを魚眼映像上に重畳した出力映像を生成してモニタ7に出力する(ST111)。
 次に、図6に示した位置情報取得部24および属性情報取得部26で行われる処理について説明する。図8Aは、位置情報取得部24で行われる処理の手順を示すフロー図である。図8Bは、属性情報取得部26で行われる処理の手順を示すフロー図である。
 位置情報取得部24では、図8Aに示すように、まず、撮像部21から魚眼映像(フレーム)を取得する(ST201)。そして、魚眼映像に現れる人物ごとの処理が開始される(ST202)。ここでは、まず、魚眼映像から人物を検出する処理が行われる(ST203)。ついで、検出された人物の位置座標を取得する処理が行われる(ST204)。そして、人物の位置座標が検出時刻とともに位置情報蓄積部25に蓄積される(ST205)。以上の処理が、魚眼映像に現れる全ての人物の処理が終了するまで繰り返される(ST206)。
 属性情報取得部26では、図8Bに示すように、まず、撮像部21から4画PTZ映像を取得する(ST301)。そして、4画PTZ映像に現れる人物の顔ごとの処理が開始される(ST302)。ここでは、まず、4画PTZ映像から人物の顔を検出する処理が行われる(ST303)。ついで、検出された人物の顔の位置座標を取得する処理が行われる(ST304)。ついで、検出された人物の顔の画像からその人物の性別を判定する処理が行われる(ST305)。また、検出された人物の顔の画像からその人物の年代を判定する処理が行われる(ST306)。そして、属性情報(性別および年代)が顔の位置座標および検出時刻とともに属性情報蓄積部27に蓄積される(ST307)。以上の処理が、4画PTZ映像に現れる全ての人物の顔の処理が終了するまで繰り返される(ST308)。
 次に、図6に示した同定処理部28で行われる処理について説明する。図9は、同定処理部28で行われる処理を説明する説明図である。
 本実施形態では、位置情報取得部24において、魚眼映像から人物を検出して、その人物ごとに魚眼映像上での位置情報を取得し、属性情報取得部26において、4画PTZ映像から人物を検出し、その人物ごとに属性情報を取得し、同定処理部28において、位置情報と属性情報とを人物ごとに対応付ける処理が行われる。
 このとき、同定処理部28では、検出時刻および検出位置に基づいて、魚眼映像で検出した人物と4画PTZ映像で検出した人物との間で、同一人物であるか否かの対応関係を判定する。すなわち、検出時刻および検出位置が魚眼映像と4画PTZ映像とで略一致すれば同一人物であると判定する。これにより、魚眼映像で検出した人物の位置情報と、4画PTZ映像で検出した人物の属性情報とを人物ごとに対応付けることができる。
 ここで、魚眼映像および4画PTZ映像には別々に座標系が設定されており、同一の人物でも、魚眼映像と4画PTZ映像とでは座標が異なる。そこで、本実施形態では、魚眼映像上の座標と4画PTZ映像上の座標との対応関係に関する座標関係情報をカメラ1のメモリに保持させ、この座標関係情報に基づいて、人物の検出位置が魚眼映像と4画PTZ映像とで略一致するか否かの判定を行う。
 次に、図1に示したモニタ7に表示されるモニタリング画面について説明する。図10は、モニタ7に表示されるモニタリング画面を示す説明図である。
 モニタリング画面には、PC3でウェブブラウザを起動してカメラ1にアクセスすることで表示されるものであり、言語選択部51と、動作モード選択部52と、映像切換部53と、ストリーム選択部54と、機能メニュー選択部55と、表示倍率選択部56と、明るさ選択部57と、属性指定部58と、映像表示部59と、が設けられている。言語選択部51は、モニタリング画面に表示される文字の言語を選択する。映像表示部59には、カメラ1から出力される映像が表示される。
 動作モード選択部52は、動作モード(モニタリングおよび設定)を選択するものであり、この動作モード選択部52には、「ライブ画」および「設定」の各ボタンが設けられている。「ライブ画」のボタンを操作すると、この図10に示すモニタリング画面が表示され、「設定」のボタンを操作すると、各種の設定項目に関する設定画面(図11~図16参照)が表示される。
 映像切換部53は、カメラ1から出力される映像のフォーマット(動画圧縮方式)を切り換えるものであり、ここでは、H.264およびMotion JPEGのいずれかを選択することができる。
 ストリーム選択部54は、カメラ1から出力される映像の種類を切り換えるものである。図10に示す例は、魚眼映像および4画PTZ映像を出力する撮像モードが設定されている場合であり、ストリーム選択部54に、「魚眼映像」および「4画PTZ映像」の各ボタンが表示され、魚眼映像および4画PTZ映像のいずれかを選択することができる。魚眼映像を選択すると、図10に示すように、映像表示部59に魚眼映像が表示される。4画PTZ映像を選択すると、映像表示部に4画PTZ映像が表示される。なお、4画PTZ映像を選択した場合、活動マップは表示されない。
 機能メニュー選択部55は、機能(活動マップ、人数カウント、およびプライバシーマスク)を選択するものであり、各機能に対応するボタンが設けられている。「活動マップ」のボタンを操作すると、図10に示すように、映像表示部59に、魚眼映像上に活動マップを重畳した映像が表示される。「人数カウント」のボタンを操作すると、映像表示部59に、魚眼映像上にカウントラインおよびそのカウントラインを通過した人物の通過方向別の人数を表す文字を重畳した映像が表示される。「プライバシーマスク」のボタンを操作すると、映像表示部59に、魚眼映像に現れる人物の画像領域をマスク画像に変更した映像が表示される。
 表示倍率選択部56は、映像表示部59に表示される映像の表示倍率を選択するものである。明るさ選択部57は、映像表示部59に表示される映像の明るさを選択するものである。
 属性指定部58は、活動マップで表示させる属性(年齢および性別)を指定するものである。図10に示す例では、年齢に関する選択項目として、全て、10代、20代、30代、40代、50代、60歳以上のいずれか1つまたは複数を選択することができる。なお、「全て」を選択すると、その他の年代は選択することができない。また、性別に関する選択項目として、男性および女性のいずれか1つまたは両方を選択することができる。この属性指定部58で属性を指定すると、映像表示部59に、指定された属性に限定した活動マップを魚眼映像上に重畳した映像が表示される。また、この属性指定部58は、撮像モードに応じて変化し、属性に限定した活動マップを表示させない撮像モード、すなわち、魚眼映像のみを出力する撮像モードでは、属性指定部58は非表示、または選択不可の状態となる。
 次に、図1に示したモニタ7に表示される基本的な設定項目に関する設定画面について説明する。図11は、モニタ7に表示される基本的な設定項目に関する設定画面を示す説明図である。
 図10に示したモニタリング画面で、動作モード選択部52の「設定」のボタンを操作すると、図11に示す設定画面が表示される。この設定画面には、設定メニュー選択部61と、設定項目別入力部62と、が設けられている。
 設定メニュー選択部61には、設定メニューとして、「基本」、「カメラ」、「動体検知」、「人数カウント」、「ユーザ管理」、「ネットワーク」、および「スケジュール」の各ボタンが設けられている。「基本」のボタンを操作すると、この図11に示す設定画面が表示される。
 「カメラ」、「動体検知」、「人数カウント」、および「ユーザ管理」の各ボタンを操作すると、各々の設定画面(図12~図16参照)に遷移する。このカメラ、動体検知、人数カウント、およびユーザ管理の各設定画面の設定項目については後に詳しく説明する。また、「ネットワーク」、および「スケジュール」の各ボタンを操作すると、図示しないネットワーク、およびスケジュールの設定画面に遷移する。ネットワークの設定画面では、IPアドレス、メール通知などの設定項目についてユーザが入力する。スケジュールの設定画面では、スケジュールにしたがって実施する動作(動作検知、画像公開、および録画など)の選択、およびスケジュール(曜日や時間帯)に関する設定項目についてユーザが入力する。
 次に、この図11に示す設定画面で設定項目別入力部62に表示される各設定項目について説明する。「言語選択」の項目では、カメラ1にアクセスしたときに最初に表示される言語を選択する。「カメラタイトル」の項目では、カメラ1の名称を入力する。
 「日付時刻」の欄の「日時」の項目では、現在の日付時刻を入力する。「時刻表示形式」の項目では、24時間表示、12時間表示、および時刻非表示のいずれかを選択する。「日付表示形式」の項目では、年、月、日、時、分、および秒の各数値の表示順序を選択する。「NTP」の項目では、「NTP設定へ」の文字を選択することで、NTP(Network Time Protocol)にしたがってタイムサーバから現在時刻を取得する処理に関するNTP設定画面(図示せず)に遷移する。「タイムゾーン」の項目では、タイムゾーンを選択する。「サマータイム」の項目では、サマータイムを使用するか否かを選択する。「開始日時」の項目では、サマータイムの開始日時を入力する。「終了日時」の項目では、サマータイムの終了日時を入力する。
 「画面内文字表示」の項目では、映像上に文字列(例えば、撮影エリアの名称)を表示するか否かを選択する。「画面内文字」の項目では、映像上に表示する文字列を入力する。「表示位置」の項目では、モニタリング画面(図10参照)の映像内において、映像内に表示させるように設定した文字列および日時を表示する位置を選択する。「明るさ状態表示」の項目では、モニタリング画面で明るさを調整した際に明るさの状態を映像内に表示するか否かを選択する。「上下反転」の項目では、映像を上下反転させるか否かを選択する。「ランプ表示」の項目では、動作状態を表すランプを点灯するか否かを選択する。「状態通知間隔」の項目では、モニタリング画面にカメラ1の状態に変化があったことをボタンを表示して通知する間隔を選択する。「状態通知受信ポート番号」の項目では、状態通知間隔をリアルタイムに設定している場合に、状態を通知する通知先の受信ポート番号を入力する。
 「プラグインソフトウェア」の欄の「自動インストール」の項目では、表示用プラグインソフトウェアをカメラ1からPC3に自動的にインストールすることを許可するか否かを選択する。「ライブ画スムーズ表示(バッファリング)」の項目では、表示用プラグインソフトウェアで映像を表示する際に、カメラ1から出力される映像を一時的にPC3に蓄積して映像を滑らかに表示するスムーズ表示を実施するか否かを選択する。「モニタ出力」の項目では、モニタ7への表示出力を許可するか否かを選択する。
 次に、図1に示したモニタ7に表示されるカメラ1の映像出力に関する設定画面について説明する。図12および図13は、モニタ7に表示されるカメラ1の映像出力に関する設定画面を示す説明図である。
 この設定画面は、カメラ1の映像出力に関する設定を行うものであり、設定メニュー選択部61で「カメラ」のボタンを操作することで表示される。以下に、設定項目別入力部62の各設定項目について説明する。
 「撮像モード」の項目では、撮像モードを選択する。本実施形態では、魚眼映像のみを出力する第1の撮像モードと、魚眼映像および4画PTZ映像を出力する第2の撮像モードとの2つの撮像モードを少なくとも有しており、撮像モードには、この他に、例えば、ダブルパノラマ映像のみを出力する撮像モード、単一パノラマ映像のみを出力する撮像モード、4画PTZ映像のみを出力する撮像モード、1画PTZ映像のみを出力する撮像モード、魚眼映像およびダブルパノラマ映像を出力する撮像モード、および魚眼映像および単一パノラマ映像を出力する撮像モードなどがある。
 「ライブ画(初期表示)」の欄の「初期表示ストリーム」の項目では、モニタリング画面(図10参照)で最初に表示する映像の種類(JPEG(1)、JPEG(2)、H.264(1)、H.264(2))を選択する。「JPEG画像更新速度」の項目では、JPEG画像を更新する速度(fps)を選択する。
 「JPEG」の欄の「解像度」の項目では、モニタリング画面(図10参照)でJPEGの映像を表示する際に、最初に表示する映像の解像度を選択する。「画質」の項目では、各解像度におけるJPEGの映像の画質(最高画質、高画質、標準、低画質など)を選択する。
 「H.264」の欄の「H.264配信」の項目では、H.264の映像を配信(出力)するか否かを選択する。「インターネットモード(over HTTP)」の項目では、H.264の映像をインターネット経由で配信するか否かを選択する。「解像度」の項目では、H.264の映像の解像度を選択する。「配信モード」の項目では、H.264の映像の配信モード(可変ビットレート、固定ビットレートなど)を選択する。「フレームレート」の項目では、H.264の映像のフレームレートを選択する。「最大ビットレート」の項目では、可変ビットレートでの最大ビットレートを選択する。「制御期間」の項目では、可変ビットレートでの制御期間を選択する。「1クライアントあたりのビットレート」の項目では、1クライアントに対するH.264の映像のビットレートを選択する。「画質」の項目では、H.264の映像の画質(動き優先、標準、画質優先)を選択する。「リフレッシュ間隔」の項目では、H.264の映像をリフレッシュする間隔を選択する。
 「配信方式」の項目では、H.264の映像の配信方式(ユニキャスト、マルチキャストなど)を選択する。「ユニキャストポート番号1(画像)」および「ユニキャストポート番号2(音声)」の項目では、カメラ1から映像および音声を送信するときに使用するユニキャストポート番号を入力する。「マルチキャストアドレス」の項目では、マルチキャストでの映像および音声の送信先となるIPアドレスを入力する。「マルチキャストポート番号」の項目では、カメラ1から映像を送信するときに使用するマルチキャストポート番号を入力する。「マルチキャストTTL/HOPLimit」の項目では、マルチキャストのTTL/HOPLimit値を入力する。
 なお、本実施形態では、カメラ1からフォーマット(動画圧縮方式)ごとに2種類の映像を同時に出力することができ、Motion JPEGのフォーマットについて2種類の映像(JPEG(1)およびJPEG(2))を設定することができ、また、H.264のフォーマットについて2種類の映像(H.264(1)およびH.264(2))を設定することができる。
 次に、図1に示したモニタ7に表示される動体検知に関する設定画面について説明する。図14は、モニタ7に表示される動体検知に関する設定画面を示す説明図である。
 この設定画面は、動体検知に関する設定を行うものであり、設定メニュー選択部61で「動体検知」のボタンを操作することで表示される。以下に、設定項目別入力部62の各設定項目について説明する。
 「人数カウント」の項目では、人数カウントの機能を使用するか否かを選択する。ここで、人数カウントをオンとすると、モニタリング画面(図10参照)の機能メニュー選択部55に「人数カウント」のボタンが表示される。「ライン設定」の項目では、「設定へ」の文字を選択することで、ライン設定に関する設定画面(図15参照)に遷移する。「情報付加」の項目では、映像に動作検知情報を付加して出力するか否か、また、モニタリング画面で映像上に動作検知情報を重畳して表示するか否かを選択する。
 「活動マップ」の項目では、活動マップの機能を使用するか否かを選択する。ここで、活動マップをオンとすると、モニタリング画面(図10参照)の機能メニュー選択部55に「活動マップ」のボタンが表示される。「計測情報の記録先」の項目では、人数カウントおよび活動マップの計測情報の記録先を選択する。「計測間隔」の項目では、人数カウントおよび活動マップの計測間隔(15分、1時間、12時間、24時間)を指定する。
 「動体除去モード」の項目では、動体除去(プライバシーマスク処理)の対象となる映像のフォーマット(JPEG、H.264、OFF)を選択する。「画像種別」の項目では、動体除去の対象となる映像の種類(魚眼映像、4画PTZ映像など)を選択する。「解像度」の項目では、出力する映像の解像度を選択する。「更新速度」の項目では、映像の更新速度(レベル1~5)を選択する。「前景重畳」の項目では、前景重畳(人物のマスク画像を背景画像上に重畳する処理)を行うか否かを選択する。ここで、前景重畳をオフとすると、人物が消去された映像が出力される。
 次に、図1に示したモニタ7に表示されるライン設定に関する設定画面について説明する。図15は、モニタ7に表示されるライン設定に関する設定画面を示す説明図である。
 この設定画面は、人数カウントで用いられるカウントラインに関する設定を行うものであり、図14に示した動体検知に関する設定画面におけるライン設定の欄の「設定へ」の文字を操作することで表示される。以下に、設定項目別入力部62の各設定項目について説明する。
 設定項目別入力部62には、映像表示部63が設けられている。この映像表示部63には、魚眼映像が表示される。「描画種別」の欄には、ペンアイコン、選択アイコン、ならびに「消去」および「全て消去」の各ボタンが設けられている。ペンアイコンを操作すると、映像表示部63に表示された魚眼映像上にカウントラインを描画することができる。選択アイコンを操作すると、以前の描画したカウントラインを選択することができる。「消去」のボタンを操作すると、選択状態のカウントラインが消去される。「全て消去」のボタンを操作すると、以前の描画した全てのカウントラインが消去される。
 「人数カウント」の欄の「状態」の項目では、設定した各カウントラインの有効および無効の別を選択する。「方向指定」の項目では、設定した各カウントラインで人数を計測する通過方向を選択する。「設定」のボタンを操作すると、入力内容が確定する。「閉じる」のボタンを操作すると、このライン設定に関する設定画面を閉じて、図14に示した動体検知に関する設定画面に戻る。「削除」のボタンを操作すると、入力された内容が全て削除される。
 次に、図1に示したモニタ7に表示されるユーザ管理に関する設定画面について説明する。図16は、モニタ7に表示されるユーザ管理に関する設定画面を示す説明図である。
 この設定画面は、PC3からカメラ1にアクセスすることができるユーザを制限するユーザ認証に関する設定を行うものであり、設定メニュー選択部61で「ユーザ管理」のボタンを操作することで表示される。以下に、設定項目別入力部62の各設定項目について説明する。
 [ユーザ認証]の項目では、ユーザ認証を行うか否かを選択する。[認証方式]の項目では、ユーザ認証で利用する認証方式(ダイジェスト認証、ベーシック認証)を選択する。「設定」のボタンを操作すると、入力内容が確定する。
 「ユーザ名」の項目では、ユーザ名を入力する。「パスワード」および「パスワード確認」の項目では、パスワードを入力する。「アクセスレベル」の項目では、ユーザのアクセスレベル(管理者、カメラ制御、ライブ画表示)を選択する。なお、「カメラ制御」のレベルでは、カメラ1から出力される映像の表示およびカメラ1の操作を行うことができるが、カメラ1の設定はできない。「ライブ画表示」のレベルは、カメラ1から出力される映像の表示のみを行うことができ、カメラ1の操作および設定はできない。「登録」のボタンを操作すると、入力内容が確定する。
 「ユーザ確認」の項目では、プルダウンメニューにより、登録されているユーザを確認することができる。また、ここでユーザを選択して[削除]のボタンを操作すると、そのユーザが削除される。
 以上のように、本実施形態では、監視エリアを撮像して、その監視エリアの映像を撮像モードに応じて出力する撮像部21と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部36と、映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部24と、映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部26と、属性情報および位置情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部36により設定された属性に限定して取得する活動情報取得部29と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部31と、監視エリアの映像上に活動マップを重畳した映像を生成して出力する映像出力部35と、活動マップの出力に関する制御を行う活動マップ制御部32と、を備え、活動マップ制御部32は、撮像モードに応じて撮像部21から出力される映像が、属性情報の取得に適している否かの適合性を判定し、適合性があると判定された場合には、属性を限定した活動マップの出力機能を有効にし、適合性がないと判定された場合には、属性を限定した活動マップの出力機能を無効にするものとした。
 これによると、監視エリアの映像上に属性を限定した活動マップを重畳した出力映像がカメラ(撮像装置)1から出力されるため、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができる。そして、撮像部21から出力される映像が属性情報の取得に適していない場合には、属性情報を精度よく取得することができないため、属性を限定した活動マップの精度が低い状態で出力されて、ユーザが誤った判断を行うおそれがあるが、撮像部21から出力される映像が属性情報の取得に適していない場合には、属性を限定した活動マップの出力機能を無効にすることで、ユーザが誤った判断を行うことを避けることができるので、ユーザの使い勝手を向上させることができる。
 また、本実施形態では、活動マップ制御部32が、適合性がないと判定された場合には、活動情報取得部29に、属性を限定しない活動情報を取得させ、活動マップ生成部31に、属性を限定しない活動マップを生成させ、映像出力部35に、属性を限定しない活動マップを監視エリアの映像上に重畳した映像を出力させるものとした。
 これによると、撮像部21から出力される映像が属性情報の取得に適していない場合でも、属性を限定しない活動マップが出力されるため、ユーザの使い勝手を向上させることができる。
 また、本実施形態では、撮像部21が、魚眼レンズを介して監視エリアを撮像して魚眼映像を出力するとともに、その魚眼映像に対して歪み補正を実施した補正映像を出力し、活動マップ制御部32は、撮像部21から出力される映像が魚眼映像のみである場合に適合性がないと判定するものとした。
 これによると、魚眼映像では、属性情報を精度よく取得することができず、一方、歪み補正を実施した補正映像では、属性情報を精度よく取得することができるため、撮像部21から出力される映像が魚眼映像のみの場合に、適合性がないと判定して、属性を限定した活動マップの出力機能を無効にすることで、ユーザが誤った判断を行うことを避けることができるので、ユーザの使い勝手を向上させることができる。
 また、本実施形態では、撮像部21が、魚眼レンズを介して監視エリアを撮像して魚眼映像を出力するとともに、その魚眼映像に対して歪み補正を実施した補正画像を出力し、活動マップ制御部32は、撮像部21から出力される映像が補正画像を含む場合に適合性があると判定するものとした。
 これによると、魚眼映像では、属性情報を精度よく取得することができず、一方、歪み補正を実施した補正映像では、属性情報を精度よく取得することができるため、撮像部21から出力される映像が補正映像を含む場合に、適合性があると判定して、属性を限定した活動マップの出力機能を有効にすることで、属性を限定した活動マップを確実に精度の高い状態で出力させることができる。
 また、本実施形態では、監視エリアを撮像して得られる未処理の第1の映像、およびこの第1の映像の一部を切り出して歪み補正を実施することで得られる第2の映像を、撮像モードに応じて出力する撮像部21と、ユーザの操作入力に従って、撮像モードおよび人物の属性を設定する入力設定部36と、第1の映像から人物を検出して、第1の映像上での人物ごとの位置情報を取得する位置情報取得部24と、第2の映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部26と、位置情報と属性情報とを人物ごとに対応付ける処理を行う同定処理部28と、この同定処理部28により対応付けられた位置情報および属性情報に基づき、監視エリア内の位置に応じた活動情報を、入力設定部36により設定された属性に限定して取得する活動情報取得部29と、活動情報に基づき、属性を限定した活動マップを生成する活動マップ生成部31と、第1の映像上に活動マップを重畳した映像を生成して出力する映像出力部35と、を備えたものとした。
 これによると、監視エリアの映像上に属性を限定した活動マップを重畳した出力映像がカメラ(撮像装置)1から出力されるため、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができる。そして、歪み補正を実施した第2の映像を用いて属性情報を取得するため、属性を限定した活動マップを精度が高い状態で出力させることができる。このため、属性を限定した活動マップの精度が低い状態で出力されてユーザが誤った判断を行うことを避けることができるので、ユーザの使い勝手を向上させることができる。また、第1の映像には撮像エリアの全体が写ることから、この第1の映像上に活動マップを重畳することで、属性を限定した人物の活動状況を広い範囲で把握することができるので、ユーザの使い勝手を向上させることができる。
 また、本実施形態では、位置情報取得部24が、人物ごとの位置情報を、第1の映像上での人物ごとの検出時刻情報に対応づけて取得し、属性情報取得部26は、人物ごとの属性情報を、第2の映像上での位置情報および検出時刻情報に対応づけて取得し、同定処理部28は、位置情報取得部24および属性情報取得部26でそれぞれ取得した位置情報および検出時刻情報に基づき、位置情報と属性情報とを人物ごとに対応付ける処理を行うものとした。
 これによると、第1の映像上から取得した位置情報と第2の映像から取得した属性情報とを精度よく対応づけることができるため、属性を限定した活動マップの精度をより一層高めることができる。
 また、本実施形態では、撮像部21が、魚眼レンズを介して監視エリアを撮像した魚眼映像を第1の映像として出力するとともに、ユーザの操作入力に応じて設定された複数の対象エリアの映像を第1の映像から切り出して、その複数の映像に対して歪み補正を実施し、これにより得られた複数の補正映像を第2の映像として出力するものとした。
 これによると、第2の映像の対象エリアを、監視エリアにおける人物が通過する領域に設定することで、第1の映像に現れる人物について属性情報を漏れなく取得することができるので、属性を限定した活動マップを精度の高い状態で出力させることができる。
 (第2実施形態)
 次に、第2実施形態に係るモニタリングシステムについて説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図17は、第2実施形態におけるカメラ101およびレコーダ102の概略構成を示す機能ブロック図である。
 第1実施形態(図6参照)では、カメラ1を、ネットワーク接続が可能な、いわゆるネットワークカメラ(IPカメラ)としたが、この第2実施形態では、カメラ101が、専用の通信ケーブル(例えば同軸ケーブル)を介してレコーダ102に接続されている。レコーダ(録画装置)102はネットワーク接続が可能に構成され、店舗内に設置されたLANを介してPC3と接続されている。
 また、この第2実施形態では、第1実施形態においてカメラ1に設けられていた位置情報取得部24、位置情報蓄積部25、属性情報取得部26、属性情報蓄積部27、同定処理部28、活動情報取得部29、活動情報蓄積部30、活動マップ生成部31、活動マップ制御部32、人数計測部33、プライバシーマスク処理部34、映像出力部35、入力設定部36、ユーザ認証部37、およびインタフェース38が、レコーダ102に設けられており、カメラ101では、撮像部21から出力される映像がそのまま映像出力部104からレコーダ102に出力され、レコーダ102では、カメラ1から入力された映像が映像入力部105を介して魚眼映像蓄積部22および4画PTZ映像蓄積部23に入力される。
 また、PC3の入力デバイス6を用いたユーザの操作入力に応じて、レコーダ102の入力設定部36において設定された撮像モードに関する撮像モード設定情報が、レコーダ102からカメラ101に送信され、この撮像モード設定情報に基づいて、制御部103において撮像部21が制御される。
 レコーダ102の各部では、第1実施形態と同様の処理が行われ、活動マップ重畳映像、人数カウント映像、マスク処理映像、および未処理映像がレコーダ102からPC3に出力される。なお、魚眼映像蓄積部106および4画PTZ映像蓄積部107には大容量の記憶デバイス、例えばハードディスクドライブが採用され、長期間の映像が蓄積される。
 (第3実施形態)
 次に、第3実施形態に係るモニタリングシステムについて説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図18は、第3実施形態におけるアダプタ111の概略構成を示す機能ブロック図である。
 この第3実施形態では、カメラ101に接続されてPC3への映像出力を制御するアダプタ(映像出力制御装置)111がカメラ101とPC3との間に介装されており、カメラ101とアダプタ111は、専用の通信ケーブルを介して接続され、アダプタ111とPC3は、LANを介して接続されている。
 アダプタ111は、第2実施形態におけるレコーダ102(図17参照)から魚眼映像蓄積部106および4画PTZ映像蓄積部107を省略したものであり、専用の通信ケーブルで映像を出力する構成のカメラ101をネットワークに接続するネットワークコンバータとして機能する。アダプタ111の各部では、第2実施形態と同様の処理が行われ、活動マップ重畳映像、人数カウント映像、マスク処理映像、および未処理映像がアダプタ111からPC3に出力される。
 なお、第1実施形態におけるカメラ1に設けられた魚眼映像蓄積部22および4画PTZ映像蓄積部23、例えば、メモリカード、ハードディスクドライブおよびソリッドステートドライブなどの記憶デバイスをアダプタ111に内蔵し、その記憶容量の範囲内で直近の映像を蓄積するようにしてもよい。
 以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る撮像装置、録画装置および映像出力制御装置の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。
 例えば、前記の実施形態では、スーパーマーケットやコンビニエンスストアなどの小売店舗の例について説明したが、このような小売店舗に限定されるものではなく、小売店舗以外の業務形態の店舗、例えば飲食店や銀行などに適用することも可能である。さらに、店舗以外の監視エリアを対象とした用途に適用することも可能である。
 また、前記の実施形態では、店舗に設置されたLANを介してカメラ1、レコーダ102およびアダプタ111に接続された店舗のPC3を、店舗内の映像を閲覧する閲覧装置とした例について説明したが、図1に示したように、店舗外のネットワーク、すなわちWANなどの広域ネットワークを介してカメラ1、レコーダ102およびアダプタ111に本部のPC11を接続して、この本部のPC11を閲覧装置としてもよく、さらに、スマートフォン13やタブレット端末14などの携帯型端末を閲覧装置としてもよく、これにより店舗や本部の他に外出先などの任意の場所で店舗内の映像を閲覧することができる。
 また、前記の実施形態では、必要な処理を、カメラ1やレコーダ102やアダプタ111に行わせるようにしたが、この必要な処理を、図1に示したように、本部に設けられたPC11や、クラウドコンピューティングシステムを構成するクラウドコンピュータ12に行わせるようにしてもよい。また、必要な処理を複数の情報処理装置で分担し、IPネットワークやLANなどの通信媒体を介して、複数の情報処理装置の間で情報を受け渡すようにしてもよい。この場合、必要な処理を分担する複数の情報処理装置でモニタリングシステムが構成される。
 本開示に係る撮像装置、録画装置および映像出力制御装置は、専用の分析装置を設けることなく、属性を限定した活動マップを表示させることができ、さらに、属性を限定した活動マップを閲覧する際のユーザの使い勝手を向上させることができる効果を有し、監視エリアを撮像してその映像を閲覧装置に出力する撮像装置、撮像装置から出力される映像を蓄積してその映像を閲覧装置に出力する録画装置、および撮像装置に接続されて閲覧装置への映像出力を制御する映像出力制御装置などとして有用である。
1 カメラ(撮像装置)
2 レコーダ
3 PC(閲覧装置)
6 入力デバイス
7 モニタ
11 PC
12 クラウドコンピュータ
13 スマートフォン
14 タブレット端末
21 撮像部
24 位置情報取得部
26 属性情報取得部
28 同定処理部
29 活動情報取得部
31 活動マップ生成部
32 活動マップ制御部
35 映像出力部
36 入力設定部
41 魚眼レンズ
42 撮像素子
43 制御回路
44 歪み補正処理部
45 適合性判定部
102 レコーダ(録画装置)
111 アダプタ(映像出力制御装置)

Claims (11)

  1.  監視エリアを撮像してその映像を閲覧装置に出力する撮像装置であって、
     前記監視エリアを撮像して、その監視エリアの映像を撮像モードに応じて出力する撮像部と、
     ユーザの操作入力に従って、前記撮像モードおよび人物の属性を設定する入力設定部と、
     前記映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、
     前記映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、
     前記属性情報および前記位置情報に基づき、前記監視エリア内の位置に応じた活動情報を、前記入力設定部により設定された前記属性に限定して取得する活動情報取得部と、
     前記活動情報に基づき、前記属性を限定した活動マップを生成する活動マップ生成部と、
     前記監視エリアの映像上に前記活動マップを重畳した映像を生成して出力する映像出力部と、
     前記活動マップの出力に関する制御を行う制御部と、
    を備え、
     前記制御部は、前記撮像モードに応じて前記撮像部から出力される映像が、前記属性情報の取得に適している否かの適合性を判定し、前記適合性があると判定された場合には、前記属性を限定した活動マップの出力機能を有効にし、前記適合性がないと判定された場合には、前記属性を限定した活動マップの出力機能を無効にすることを特徴とする撮像装置。
  2.  前記制御部は、前記適合性がないと判定された場合には、前記活動情報取得部に、前記属性を限定しない活動情報を取得させ、前記活動マップ生成部に、前記属性を限定しない活動マップを生成させ、前記映像出力部に、前記属性を限定しない活動マップを前記監視エリアの映像上に重畳した映像を出力させることを特徴とする請求項1に記載の撮像装置。
  3.  前記撮像部は、魚眼レンズを介して監視エリアを撮像して魚眼映像を出力するとともに、その魚眼映像に対して歪み補正を実施した補正映像を出力し、
     前記制御部は、前記撮像部から出力される映像が前記魚眼映像のみである場合に前記適合性がないと判定することを特徴とする請求項1または請求項2に記載の撮像装置。
  4.  前記撮像部は、魚眼レンズを介して監視エリアを撮像して魚眼映像を出力するとともに、その魚眼映像に対して歪み補正を実施した補正画像を出力し、
     前記制御部は、前記撮像部から出力される映像が前記補正画像を含む場合に前記適合性があると判定することを特徴とする請求項1または請求項2に記載の撮像装置。
  5.  監視エリアを撮像してその映像を閲覧装置に出力する撮像装置であって、
     前記監視エリアを撮像して得られる未処理の第1の映像、およびこの第1の映像の一部を切り出して歪み補正を実施することで得られる第2の映像を、撮像モードに応じて出力する撮像部と、
     ユーザの操作入力に従って、前記撮像モードおよび人物の属性を設定する入力設定部と、
     前記第1の映像から人物を検出して、前記第1の映像上での人物ごとの位置情報を取得する位置情報取得部と、
     前記第2の映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、
     前記位置情報と前記属性情報とを人物ごとに対応付ける処理を行う同定処理部と、
     この同定処理部により対応付けられた前記位置情報および前記属性情報に基づき、前記監視エリア内の位置に応じた活動情報を、前記入力設定部により設定された前記属性に限定して取得する活動情報取得部と、
     前記活動情報に基づき、前記属性を限定した活動マップを生成する活動マップ生成部と、
     前記第1の映像上に前記活動マップを重畳した映像を生成して出力する映像出力部と、を備えたことを特徴とする撮像装置。
  6.  前記位置情報取得部は、人物ごとの前記位置情報を、前記第1の映像上での人物ごとの検出時刻情報に対応づけて取得し、
     前記属性情報取得部は、人物ごとの前記属性情報を、前記第2の映像上での位置情報および検出時刻情報に対応づけて取得し、
     前記同定処理部は、前記位置情報取得部および前記属性情報取得部でそれぞれ取得した前記位置情報および前記検出時刻情報に基づき、前記位置情報と前記属性情報とを人物ごとに対応付ける処理を行うことを特徴とする請求項5に記載の撮像装置。
  7.  前記撮像部は、魚眼レンズを介して監視エリアを撮像した魚眼映像を前記第1の映像として出力するとともに、ユーザの操作入力に応じて設定された複数の対象エリアの映像を前記第1の映像から切り出して、その複数の映像に対して歪み補正を実施し、これにより得られた複数の補正映像を前記第2の映像として出力することを特徴とする請求項5または請求項6に記載の撮像装置。
  8.  撮像装置から出力される映像を蓄積してその映像を閲覧装置に出力する録画装置であって、
     前記撮像装置において、監視エリアを撮像して得られる映像が撮像モードに応じて前記撮像装置から入力される映像入力部と、
     この映像入力部に入力された映像を蓄積する映像蓄積部と、
     ユーザの操作入力に従って、前記撮像モードおよび人物の属性を設定する入力設定部と、
     前記映像蓄積部に蓄積された映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、
     前記映像蓄積部に蓄積された映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、
     前記属性情報および前記位置情報に基づき、前記監視エリア内の位置に応じた活動情報を、前記入力設定部により設定された前記属性に限定して取得する活動情報取得部と、
     前記活動情報に基づき、前記属性を限定した活動マップを生成する活動マップ生成部と、
     前記監視エリアの映像上に前記活動マップを重畳した映像を生成して出力する映像出力部と、
     前記活動マップの出力に関する制御を行う制御部と、
    を備え、
     前記制御部は、前記撮像モードに応じて前記撮像装置から出力される映像が、前記属性情報の取得に適している否かの適合性を判定し、前記適合性があると判定された場合には、前記属性を限定した活動マップの出力機能を有効にし、前記適合性がないと判定された場合には、前記属性を限定した活動マップの出力機能を無効にすることを特徴とする録画装置。
  9.  撮像装置から出力される映像を蓄積してその映像を閲覧装置に出力する録画装置であって、
     前記撮像装置において、監視エリアを撮像して得られる未処理の第1の映像、およびこの第1の映像の一部を切り出して歪み補正を実施することで得られる第2の映像が、撮像モードに応じて前記撮像装置から入力される映像入力部と、
     この映像入力部に入力された前記第1の映像および前記第2の映像を蓄積する映像蓄積部と、
     ユーザの操作入力に従って、前記撮像モードおよび人物の属性を設定する入力設定部と、
     前記第1の映像から人物を検出して、前記第1の映像上での人物ごとの位置情報を取得する位置情報取得部と、
     前記第2の映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、
     前記位置情報と前記属性情報とを人物ごとに対応付ける処理を行う同定処理部と、
     この同定処理部により対応付けられた前記位置情報および前記属性情報に基づき、前記監視エリア内の位置に応じた活動情報を、前記入力設定部により設定された前記属性に限定して取得する活動情報取得部と、
     前記活動情報に基づき、前記属性を限定した活動マップを生成する活動マップ生成部と、
     前記第1の映像上に前記活動マップを重畳した映像を生成して出力する映像出力部と、を備えたことを特徴とする録画装置。
  10.  撮像装置に接続されて閲覧装置への映像出力を制御する映像出力制御装置であって、
     前記撮像装置において、監視エリアを撮像して得られる映像が撮像モードに応じて前記撮像装置から入力される映像入力部と、
     ユーザの操作入力に従って、前記撮像モードおよび人物の属性を設定する入力設定部と、
     前記映像入力部に入力された映像から人物を検出して、人物ごとの位置情報を取得する位置情報取得部と、
     前記映像入力部に入力された映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、
     前記属性情報および前記位置情報に基づき、前記監視エリア内の位置に応じた活動情報を、前記入力設定部により設定された前記属性に限定して取得する活動情報取得部と、
     前記活動情報に基づき、前記属性を限定した活動マップを生成する活動マップ生成部と、
     前記監視エリアの映像上に前記活動マップを重畳した映像を生成して出力する映像出力部と、
     前記活動マップの出力に関する制御を行う制御部と、
    を備え、
     前記制御部は、前記撮像モードに応じて前記撮像装置から出力される映像が、前記属性情報の取得に適している否かの適合性を判定し、前記適合性があると判定された場合には、前記属性を限定した活動マップの出力機能を有効にし、前記適合性がないと判定された場合には、前記属性を限定した活動マップの出力機能を無効にすることを特徴とする映像出力制御装置。
  11.  撮像装置に接続されて閲覧装置への映像出力を制御する映像出力制御装置であって、
     前記撮像装置において、監視エリアを撮像して得られる未処理の第1の映像、およびこの第1の映像の一部を切り出して歪み補正を実施することで得られる第2の映像が、撮像モードに応じて前記撮像装置から入力される映像入力部と、
     ユーザの操作入力に従って、前記撮像モードおよび人物の属性を設定する入力設定部と、
     前記映像入力部に入力された前記第1の映像から人物を検出して、前記第1の映像上での人物ごとの位置情報を取得する位置情報取得部と、
     前記映像入力部に入力された前記第2の映像から人物を検出し、人物ごとに属性を判定して、人物ごとの属性情報を取得する属性情報取得部と、
     前記位置情報と前記属性情報とを人物ごとに対応付ける処理を行う同定処理部と、
     この同定処理部により対応付けられた前記位置情報および前記属性情報に基づき、前記監視エリア内の位置に応じた活動情報を、前記入力設定部により設定された前記属性に限定して取得する活動情報取得部と、
     前記活動情報に基づき、前記属性を限定した活動マップを生成する活動マップ生成部と、
     前記第1の映像上に前記活動マップを重畳した映像を生成して出力する映像出力部と、を備えたことを特徴とする映像出力制御装置。
PCT/JP2016/001158 2015-03-19 2016-03-03 撮像装置、録画装置および映像出力制御装置 WO2016147586A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/556,106 US10235574B2 (en) 2015-03-19 2016-03-03 Image-capturing device, recording device, and video output control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015055830A JP5999395B1 (ja) 2015-03-19 2015-03-19 撮像装置、録画装置および映像出力制御装置
JP2015-055830 2015-03-19

Publications (1)

Publication Number Publication Date
WO2016147586A1 true WO2016147586A1 (ja) 2016-09-22

Family

ID=56918656

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/001158 WO2016147586A1 (ja) 2015-03-19 2016-03-03 撮像装置、録画装置および映像出力制御装置

Country Status (3)

Country Link
US (1) US10235574B2 (ja)
JP (1) JP5999395B1 (ja)
WO (1) WO2016147586A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391769A (zh) * 2017-08-09 2019-02-26 佳能株式会社 控制设备、控制方法和存储介质
CN115550736A (zh) * 2022-12-02 2022-12-30 浙江宇视科技有限公司 视频隐私区域的获取、传输方法、装置、电子设备及介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244175B2 (en) 2015-03-09 2019-03-26 Apple Inc. Automatic cropping of video content
JP6568374B2 (ja) * 2015-03-27 2019-08-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
KR102634188B1 (ko) * 2016-11-30 2024-02-05 한화비전 주식회사 영상 감시 시스템
JP7073120B2 (ja) * 2018-01-26 2022-05-23 キヤノン株式会社 映像送信装置、情報処理装置、システム、情報処理方法及びプログラム
CN110099236B (zh) * 2018-01-30 2021-03-02 杭州海康威视系统技术有限公司 视频数据存储方法、请求方法及存储装置、请求装置
JP7250440B2 (ja) * 2018-05-31 2023-04-03 キヤノン株式会社 撮影装置、情報処理装置、情報処理方法、およびプログラム
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックi−PROセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
WO2022064632A1 (ja) * 2020-09-25 2022-03-31 日本電気株式会社 画像処理装置、画像処理方法及びプログラム
JP2022144490A (ja) * 2021-03-19 2022-10-03 東芝テック株式会社 店舗システム及びプログラム
US11818435B2 (en) * 2021-07-28 2023-11-14 Charter Communications Operating, Llc Generating video on demand (VOD) using network digital video recording (NDVR)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309280A (ja) * 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触icタグを利用した店舗内顧客購買行動分析システム
JP2010002997A (ja) * 2008-06-18 2010-01-07 Toshiba Tec Corp 人物行動分析装置及び人物行動分析プログラム
JP5597781B1 (ja) * 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310542B2 (en) 2007-11-28 2012-11-13 Fuji Xerox Co., Ltd. Segmenting time based on the geographic distribution of activity in sensor data
EP2230629A3 (en) * 2008-07-16 2012-11-21 Verint Systems Inc. A system and method for capturing, storing, analyzing and displaying data relating to the movements of objects
JP2011248836A (ja) 2010-05-31 2011-12-08 Nomura Research Institute Ltd 滞留検出システム及びプログラム
US9818203B2 (en) * 2014-04-08 2017-11-14 Alcatel-Lucent Usa Inc. Methods and apparatuses for monitoring objects of interest in area with activity maps

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006309280A (ja) * 2005-04-26 2006-11-09 Hitachi Software Eng Co Ltd 非接触icタグを利用した店舗内顧客購買行動分析システム
JP2010002997A (ja) * 2008-06-18 2010-01-07 Toshiba Tec Corp 人物行動分析装置及び人物行動分析プログラム
JP5597781B1 (ja) * 2014-03-26 2014-10-01 パナソニック株式会社 滞留状況分析装置、滞留状況分析システムおよび滞留状況分析方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109391769A (zh) * 2017-08-09 2019-02-26 佳能株式会社 控制设备、控制方法和存储介质
CN109391769B (zh) * 2017-08-09 2020-11-10 佳能株式会社 控制设备、控制方法和存储介质
CN115550736A (zh) * 2022-12-02 2022-12-30 浙江宇视科技有限公司 视频隐私区域的获取、传输方法、装置、电子设备及介质

Also Published As

Publication number Publication date
JP2016178406A (ja) 2016-10-06
US10235574B2 (en) 2019-03-19
US20180025233A1 (en) 2018-01-25
JP5999395B1 (ja) 2016-09-28

Similar Documents

Publication Publication Date Title
JP5999395B1 (ja) 撮像装置、録画装置および映像出力制御装置
JP6399356B2 (ja) 追跡支援装置、追跡支援システムおよび追跡支援方法
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
US10546199B2 (en) Person counting area setting method, person counting area setting program, moving line analysis system, camera device, and person counting program
EP1696398B1 (en) Information processing system, information processing apparatus and information processing method , program, and recording medium
US8446422B2 (en) Image display apparatus, image display method, program, and record medium
JP6024999B2 (ja) 撮像装置、録画装置および映像出力制御装置
JP5391224B2 (ja) 映像付加情報表示制御装置およびその動作方法
JP2015149557A (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
TWI426782B (zh) 手持裝置及利用其動態監控特定區域的方法
JP5460793B2 (ja) 表示装置、表示方法、テレビジョン受信機及び表示制御装置
US20160019664A1 (en) Facility utilization measurement apparatus, facility utilization measurement system, and facility utilization measurement method
KR20110093040A (ko) 피사체 감시 장치 및 방법
JP2017162103A (ja) 点検作業支援システム、点検作業支援方法、点検作業支援プログラム
JP5677055B2 (ja) 監視映像表示装置
JP6176619B2 (ja) 撮像装置、録画装置、映像表示方法およびコンピュータプログラム
EP2541356B1 (en) Processing monitoring data in a monitoring system
TWI564822B (zh) 可預先篩選之視訊檔案回放系統及其方法與電腦程式產品
JP2015204546A (ja) 監視カメラシステム
JP2005167925A (ja) 監視カメラ装置
JP2017184288A (ja) 撮像装置、録画装置、映像表示方法およびコンピュータプログラム
JP4199750B2 (ja) モニタリング映像配信システム、モニタリング映像配信サーバ、及びモニタリング映像生成方法
JP5795243B2 (ja) 監視装置
US11144768B2 (en) Image processing device and image processing method
JP2006251206A (ja) 情報提示装置及び情報提示方法とそのプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16764419

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15556106

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16764419

Country of ref document: EP

Kind code of ref document: A1