JP6504364B2 - モニタリング装置、モニタリングシステムおよびモニタリング方法 - Google Patents

モニタリング装置、モニタリングシステムおよびモニタリング方法 Download PDF

Info

Publication number
JP6504364B2
JP6504364B2 JP2015231710A JP2015231710A JP6504364B2 JP 6504364 B2 JP6504364 B2 JP 6504364B2 JP 2015231710 A JP2015231710 A JP 2015231710A JP 2015231710 A JP2015231710 A JP 2015231710A JP 6504364 B2 JP6504364 B2 JP 6504364B2
Authority
JP
Japan
Prior art keywords
image
monitoring
mask
processing
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015231710A
Other languages
English (en)
Other versions
JP2017098879A (ja
Inventor
裕一 松本
裕一 松本
神野　善行
善行 神野
偉志 渡邊
偉志 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2015231710A priority Critical patent/JP6504364B2/ja
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to CN201680068209.9A priority patent/CN108293105B/zh
Priority to GB1806567.2A priority patent/GB2557847A/en
Priority to DE112016005412.2T priority patent/DE112016005412T5/de
Priority to PCT/JP2016/004870 priority patent/WO2017090238A1/ja
Priority to US15/775,475 priority patent/US20180359449A1/en
Priority to SG11201803937TA priority patent/SG11201803937TA/en
Publication of JP2017098879A publication Critical patent/JP2017098879A/ja
Application granted granted Critical
Publication of JP6504364B2 publication Critical patent/JP6504364B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19686—Interfaces masking personal details for privacy, e.g. blurring faces, vehicle license plates
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法に関するものである。
鉄道駅やイベント会場などの施設では、施設内をカメラで撮像して、そのカメラの画像で施設内の状況を監視する監視システムが採用されているが、施設内に設置されたカメラの画像をインターネットで一般の利用者に配信するようにすると、施設内の混雑状況などを現地に出向くことなく利用者が確認することができるため、利用者の利便性を高めることができる。
ここで、防犯や防災のための監視の目的でカメラの画像を利用する場合には問題とならないが、カメラの画像を一般の利用者に配信する場合には、人物のプライバシーを保護することが望まれる。
このような人物のプライバシーを保護する要望に対して、従来、カメラの画像内で人物の顔が検出された領域、またはカメラの画像の全体に対して、モザイク処理やぼかし処理などの画像処理（プライバシーマスク処理）を行う技術が知られている（特許文献１参照）。
特許第５０８８１６１号公報
しかしながら、前記従来の技術のように、人物の顔が検出された領域に対してプライバシーマスク処理を行う場合、顔検出が失敗すると、その人物の画像領域はプライバシーマスク処理の対象外となり、人物がそのまま映った画像が出力される。このため、人物のプライバシーを確実に保護することができず、カメラの画像を公開することができないといった実用上の問題があった。
また、前記従来の技術のように、カメラの画像の全体に対してプライバシーマスク処理を行う場合、撮像エリアの概観、すなわちどこに何があるかを大まかに認識することができるが、人物の状態を容易に認識することができないため、施設の混雑状況などを直感的に把握することができないといった問題があった。
そこで、本発明は、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができるモニタリング装置、モニタリングシステムおよびモニタリング方法を提供することを主な目的とする。
本発明のモニタリング装置は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
また、本発明のモニタリングシステムは、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成してユーザ端末装置に配信するモニタリングシステムであって、前記対象エリアを撮像するカメラと、前記モニタリング画像を前記ユーザ端末装置に配信するサーバ装置と、前記ユーザ端末装置と、を有し、前記カメラおよび前記サーバ装置のいずれかが、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
また、本発明のモニタリング方法は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行って、識別性低減画像を生成し、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成し、前記識別性低減画像を背景画像とし、この背景画像上に前記マスク画像を重畳した前記モニタリング画像を生成して出力する構成とする。
本発明によれば、背景画像とした識別性低減画像へ動体の輪郭内部を所定の色で塗り潰したマスク画像を重畳したことにより、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
第１実施形態に係るモニタリングシステムの全体構成図 カメラ１の設置状況の一例を示す駅構内の平面図 カメラ１で行われる画像処理の概要を説明する説明図 カメラ１で行われる画像処理の概要を説明する説明図 カメラ１で行われる画像処理の概要を説明する説明図 カメラ１で行われる画像処理の概要を説明する説明図 カメラ１およびサーバ装置３のハードウェア構成を示すブロック図 カメラ１の機能ブロック図 ユーザ端末装置４に表示されるモニタリング画面を示す説明図 カメラ１で行われる画像処理の概要を示す説明図 第２実施形態に係るカメラ１０１およびサーバ装置１０２の機能ブロック図 ユーザ端末装置４に表示されるマスク条件設定画面を示す説明図
前記課題を解決するためになされた第１の発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
これによると、背景画像とした識別性低減画像へ動体の輪郭内部を所定の色で塗り潰したマスク画像を重畳したことにより、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
また、第２の発明は、前記第１の処理部は、前記第２の処理部が前記撮像画像から動体を検知する際に生成した背景画像に物体の識別性を低減する画像処理を行う構成とする。
これによると、動体除去できなかった背景画像に映る人物などに対してもプライバシーを保護することができる。
また、第３の発明は、前記第１の処理部は、前記物体の識別性を低減する画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの処理を実行する構成とする。
これによると、撮像画像に映る物体の識別性を適切に低減することができる。
また、第４の発明は、前記第２の処理部は、前記動体の輪郭形状を表す透過性の前記マスク画像を生成する構成とする。
これによると、マスク画像が透過性を有するため、モニタリング画像においてマスク画像の部分で背景の画像が透けて見える状態となるため、動体の状態を把握しやすくなる。
また、第５の発明は、前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、前記マスク条件では、前記マスク画像の色、透過率、および輪郭線の有無の少なくともいずれかの表示要素を変更可能とした構成とする。
これによると、マスク画像の表示要素を変更することができるため、ユーザにとって見やすいモニタリング画像を表示させることができる。
また、第６の発明は、前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、前記マスク条件として、混雑度で指定される色または同一の色相での濃淡や透過率で前記マスク画像が生成される混雑状態表示モードを設定可能とした構成とする。
これによると、混雑状況に従ってマスク画像の色などが動的に変化し、対象エリアのリアルな状況を把握することができる。また、複数の対象エリアごとのモニタリング画像を並べて表示した際に、各対象エリアの混雑度を見比べることができ、複数の対象エリアの状態を瞬時に把握することができる。
また、第７の発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成してユーザ端末装置に配信するモニタリングシステムであって、前記対象エリアを撮像するカメラと、前記モニタリング画像を前記ユーザ端末装置に配信するサーバ装置と、前記ユーザ端末装置と、を有し、前記カメラおよび前記サーバ装置のいずれかが、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、を備えた構成とする。
これによると、第１の発明と同様に、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
また、第８の発明は、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行って、識別性低減画像を生成し、前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成し、前記識別性低減画像を背景画像とし、この背景画像上に前記マスク画像を重畳した前記モニタリング画像を生成して出力する構成とする。
これによると、第１の発明と同様に、個人のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる。
以下、本発明の実施の形態を、図面を参照しながら説明する。
（第１実施形態）
図１は、第１実施形態に係るモニタリングシステムの全体構成図である。
このモニタリングシステムは、鉄道駅（施設）の構内の各エリアを撮像した画像（動画像）により、監視員が構内の状況を監視するとともに、各エリアを撮像した画像を一般ユーザに配信するものであり、カメラ（モニタリング装置）１と、監視端末装置２と、サーバ装置３と、ユーザ端末装置（閲覧装置）４と、を備えている。
カメラ１は、駅構内のホームや改札口などの各対象エリアに設置され、各対象エリアを撮像する。このカメラ１は、構内ネットワークおよびルータ６を介して、ＶＬＡＮ（Virtual Local Area Network）などの閉域ネットワークに接続されている。また、カメラ１では、人物のプライバシーを保護するための画像処理（プライバシーマスク処理）が実施され、この画像処理で得られた動画像であるモニタリング画像（処理画像）と未処理画像とがカメラ１から出力される。
監視端末装置２は、ＰＣで構成され、駅構内の監視室に設置されている。この監視端末装置２は、構内ネットワークを介してカメラ１に接続されている。この監視端末装置２は、監視員が防犯や防災のための監視の目的でカメラ１の画像を閲覧するものであり、各カメラ１から監視端末装置２に未処理画像が送信され、この各カメラ１の未処理画像が監視端末装置２に表示され、未処理画像を監視員が閲覧することで、駅構内の状況を監視することができる。
サーバ装置３は、閉域ネットワークを介して各駅の各カメラ１に接続されており、各駅の各カメラ１から送信されるモニタリング画像を受信する。また、サーバ装置３は、インターネットを介してユーザ端末装置４に接続されており、ユーザが閲覧する画面を生成してユーザ端末装置４に配信し、また、ユーザが画面で入力した情報を取得する。
ユーザ端末装置４は、スマートフォンやタブレット端末やＰＣで構成される。このユーザ端末装置４では、サーバ装置３から配信されるモニタリング画像が表示される。このモニタリング画像をユーザが閲覧することで、駅構内の混雑状況や列車の運行状況などを把握することができる。
なお、サーバ装置３では、カメラ１から送信される現在のモニタリング画像をそのまま配信するライブ配信が可能である。また、サーバ装置３では、カメラ１から送信されるモニタリング画像を蓄積して、ユーザ端末装置４で指定した日時のモニタリング画像を配信することができる。
このようなモニタリングシステムにおいては、カメラ１とサーバ装置３とが、閉域ネットワークを介して接続されているため、カメラ１から出力される未処理画像の安全性を確保することができる。また、サーバ装置３とユーザ端末装置４とがインターネットを介して接続されているため、任意の場所でユーザ端末装置４からサーバ装置３にアクセスすることができる。
次に、駅構内におけるカメラ１の設置状況について説明する。図２は、カメラ１の設置状況の一例を示す駅構内の平面図である。
図２に示す例では、駅構内のプラットホームにカメラ１が設置されている。このカメラ１は、プラットホームの天井やポールに設置されており、プラットホームや階段に存在する人物が撮像される。特に、図２に示す例では、カメラ１に、所定の画角を有するカメラ、いわゆるボックスカメラが採用されているが、魚眼レンズを用いて３６０度の撮像範囲を有する全方位カメラでも可能である。
なお、図２ではプラットホームの例を示したが、カメラ１は、駅構内の改札口やエスカレータなどの適宜に設定された対象エリアを撮像するように設置される。
次に、カメラ１で行われる画像処理の概要について説明する。図３、図４、図５、図６は、カメラ１で行われる画像処理の概要を説明する説明図である。
カメラ１では、駅構内の各エリアが撮像され、図３（Ａ）に示す未処理の撮像画像が得られる。この未処理の撮像画像では、人物がそのまま写っており、個人を識別することができるため、人物のプライバシーを保護することができない。そこで、本実施形態では、人物のプライバシーを保護する画像処理（プライバシーマスク処理）が実施される。
ここで、まず、プライバシーマスク処理として、図３（Ｂ）に示すように、撮像画像の全体に対して、物体の識別性を低減する画像処理を実施することが考えられる。また、撮像画像に対して動体検知および人物検知を行い、この動体検知および人物検知で検知された人物の画像領域の位置情報を取得して、図３（Ｃ）に示すように、人物の画像領域（人物の輪郭内部）に対して識別性低減の画像処理を実施することが考えられる。図３（Ｂ），（Ｃ）に示す例では、識別性低減の画像処理としてモザイク処理が実施されている。
このように識別性低減の画像処理を実施すると、個人を識別することができなくなるため、人物のプライバシーを確実に保護することができる。ところが、識別性低減の画像処理を実施した画像では、撮像エリアの概観、すなわちどこに何があるかを大まかに認識することができるが、往来している人物の状態まで容易に認識することができなくなることで、混雑状況、すなわち、人物が大勢いるか否かを直感的に把握することができないといった問題がある。
一方、プライバシーマスク処理として、撮像画像に対して動体検知および人物検知を行い、この動体検知および人物検知で検知された人物に対して、マスク処理、すなわち、人物の画像領域（人物の輪郭内部）をマスク画像に変更（置換）する処理を行うことが考えられる。
具体的には、図４（Ａ）に示すように、複数の撮像画像から動体の画像（前景画像）を除去する動体除去処理（背景画像生成処理）により背景画像を生成する。また、図４（Ｂ）に示すように、動体検知および人物検知の検知結果に基づいて、人物の画像領域を覆うマスク画像を生成する。そして、図４（Ｂ）に示すマスク画像を、図４（Ａ）に示す背景画像に重畳することで、図４（Ｃ）に示すマスク処理画像を生成する。このマスク処理画像では、個人を識別することができなくなるため、人物のプライバシーを保護することができる。
ところが、動体除去処理により生成した背景画像では、図５（Ａ）に示すように、動きの少ない人物がそのまま残った状態となることがある。この場合、動きの少ない人物は動体検知でも検知されないため、図５（Ｂ）に示すように、その人物を除く人物のみのマスク画像が生成される。そして、図５（Ｂ）に示すマスク画像を、図５（Ａ）に示す背景画像に重畳すると、図５（Ｃ）に示すマスク処理画像が得られる。このマスク処理画像では、動体除去処理で除去できなかった人物がそのまま写っており、人物のプライバシーを保護することができない。
また、図３（Ｃ）に示したように、人物の画像領域に対して識別性低減の画像処理を実施する場合でも、動体検知および人物検知において検知漏れが発生すると、検知が失敗した人物が背景画像に残った状態となり、人物のプライバシーを保護することができない。
そこで、本実施形態では、図６（Ａ）に示すように、識別性低減の画像処理を実施した画像（図３（Ｂ）と同一）を背景画像として、この背景画像に、図６（Ｂ）に示すマスク画像（図５（Ｂ）と同一）を重畳して、図６（Ｃ）に示すようなマスク処理画像を生成する。
このようにすると、マスク画像により、人物などの動体を明確に背景と区別して視認することができるため、動体の状態を明瞭に把握することができる。このため、施設内の混雑状況などを直感的に把握することができる。また、動体検知や人物検知が失敗した人物は、背景画像上に現れるが、この背景画像では識別性低減の画像処理により個人を識別することができないため、人物のプライバシーを確実に保護することができる。
なお、動体検知および人物検知の検知結果に基づいて、人物の顔や上半身の領域を表す人物枠をマスク処理画像上に表示するようにしてもよい。複数の人物が重なり合うように映っている場合に、その複数の人物の画像領域を覆うようにマスク画像が表示されると、個々の人物の区別が難しくなり、人物が何人いるのかを簡単に把握することができない場合があり、このような場合に人物枠が表示されていると、人数を容易に把握することができる。
また、マスク画像の色を混雑度に応じて変更するようにしてもよい。例えば、混雑度が高い場合にはマスク画像を赤色で表示し、混雑度が低い場合にはマスク画像を青色で表示する。また、同一の色相で濃淡や透過率で混雑度を表現するようにしてもよい。このようにすると、混雑状況に従ってマスク画像の色などが動的に変化し、対象エリアのリアルな状況を把握することができる。また、複数の対象エリアごとのモニタリング画像を並べて表示した際に、各対象エリアの混雑度を見比べることができ、複数の対象エリアの状態を瞬時に把握することができる。なお、混雑度は、人物検知の検知結果（人物枠数相当）に基づいて取得すればよい。
次に、カメラ１およびサーバ装置３の概略構成について説明する。図７は、カメラ１およびサーバ装置３のハードウェア構成を示すブロック図である。図８は、カメラ１の機能ブロック図である。
図７に示すように、カメラ１は、撮像部２１と、プロセッサ２２と、記憶デバイス２３と、通信部２４と、を備えている。
撮像部２１は、イメージセンサを備え、時間的に連続する撮像画像（フレーム）、いわゆる動画像を順次出力する。プロセッサ２２は、撮像画像に対して画像処理を行い、モニタリング画像を生成して出力する。記憶デバイス２３は、プロセッサ２２で実行されるプログラムや、撮像部２１から出力される撮像画像を記憶する。通信部２４は、プロセッサ２２から出力されるモニタリング画像をネットワークを介してサーバ装置３に送信する。また、通信部２４は、撮像部２１から出力される未処理画像をネットワークを介して監視端末装置２に送信する。
サーバ装置３は、プロセッサ３１と、記憶デバイス３２と、通信部３３と、を備えている。
通信部３３は、各カメラ１から送信されるモニタリング画像を受信する。また、通信部３３は、ユーザが閲覧するモニタリング画像を含む画面をユーザ端末装置４に配信する。記憶デバイス３２では、通信部３３で受信したカメラ１ごとのモニタリング画像や、プロセッサ３１で実行されるプログラムを記憶する。プロセッサ３１では、ユーザ端末装置４に配信する画面を生成する。
また、図８に示すように、カメラ１は、画像取得部４１と、第１の処理部４２と、第２の処理部４３と、画像出力制御部４４と、を備えている。この画像取得部４１、第１の処理部４２、第２の処理部４３、および画像出力制御部４４は、記憶デバイス２３に記憶されたモニタリング用のプログラム（インストラクション）をプロセッサ２２に実行させることで実現される。
画像取得部４１では、撮像部２１により撮像された撮像画像を撮像部２１および記憶デバイス（画像蓄積部）２３から取得する。
第１の処理部４２は、第１の背景画像生成部５１を備えている。この第１の背景画像生成部５１では、撮像画像に写った物体の識別性を低減する画像処理を撮像画像の全体に対して実施して第１の背景画像（識別性低減画像）を生成する。本実施形態では、物体の識別性を低減する画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの画像処理を実施することができる。また、このような特別な画像処理を行うことなく、物体の識別性が失われる程度に画像の解像度を低下させることにより、第１の背景画像（識別性低減画像）を生成してもよい。この場合、特別な画像処理機能を搭載する必要がないため、第１の背景画像生成部５１を安価に構成でき、画像データ量も減少させることができるので、ネットワーク上での通信負荷を軽減することができる。
モザイク処理は、撮像画像を複数のブロックに分割して、ブロック内の１つの画素の画素値あるいはブロック内の各画素の画素値の平均値などの単一の画素値に、そのブロック内の全ての画素の画素値を置換するものである。
ぼかし処理は、各種のフィルタ処理、例えば、ブラーフィルタ、ガウシアンフィルタ、メディアンフィルタ、およびバイラテラルフィルタなどによるフィルタ処理である。さらに、ネガ／ポジ反転、色調補正（明るさ変化、ＲＧＢカラーバランス変化、コントラスト変化、ガンマ補正、および彩度調整など）、２値化、ならびにエッジフィルタなどの各種の画像処理を利用することも可能である。
ブレンド処理は、２つの画像を半透過状態で合成（ブレンド）するものであり、合成する度合いを示すα値に基づいて、所定の合成用の画像と撮像画像とを合成する。
第２の処理部４３は、第２の背景画像生成部５３と、位置情報取得部５４と、マスク画像生成部５５と、を備えている。
第２の背景画像生成部５３では、撮像画像から人物の画像（前景画像）を除去した第２の背景画像を生成する処理が行われる。この処理では、直近の所定の学習期間における複数の撮像画像（フレーム）から第２の背景画像を生成し、新たな撮像画像を取得するのに応じて第２の背景画像が逐次更新される。この第２の背景画像生成部５３で行われる処理には、公知の技術を用いればよい。
位置情報取得部５４では、撮像画像から人物を検知して、撮像画像内に存在する人物の画像領域の位置情報を取得する処理が行われる。この処理は、第２の背景画像生成部５３で生成した第２の背景画像に基づいて行われ、注目する時刻（リアルタイム処理では現在時刻）の撮像画像と、それ以前の学習期間で取得した第２の背景画像との差分から、動体の画像領域を特定する（動体検知）。そして、動体の画像領域に、人物の顔、または頭部および肩部で構成されるΩ形状が検出されると、その動体を人物と判断する（人物検知）。なお、この位置情報取得部５４で行われる処理にも、公知の技術を用いればよい。
なお、本実施形態における第２の背景画像には、いわゆる「背景モデル」が含まれ、第２の背景画像生成部５３において、学習期間における複数の撮像画像から背景モデルを構築し、位置情報取得部５４において、注目する時刻の撮像画像と背景モデルとの比較により、動体の画像領域（前景領域）と背景領域とを分割して、動体の画像領域の位置情報を取得する。
また、第２の背景画像は、前記のように逐次更新されることが好ましいが、人物が存在しないときの撮像画像、例えば始業前の撮像画像を第２の背景画像として予めカメラに保持させておくようにしてもよい。
マスク画像生成部５５では、位置情報取得部５４で取得した人物の画像領域の位置情報に基づいて、人物の画像領域に対応する輪郭を有するマスク画像を生成する処理が行われる。この処理では、人物の画像領域の位置情報から、人物の画像領域の輪郭に関する情報を生成し、その輪郭に関する情報に基づいて、人物の輪郭形状を表すマスク画像を生成する。このマスク画像は、人物の輪郭の内部を所定の色（例えば青色）で塗りつぶしたものであり、透過性を有する。
画像出力制御部４４では、第１の背景画像生成部５１で生成した第１の背景画像上に、マスク画像生成部５５で生成したマスク画像を重畳して、モニタリング画像（マスク処理画像）を生成する処理が行われる。本実施形態では、マスク画像が透過性を有するものであり、モニタリング画像ではマスク画像の部分で背景の画像が透けて見える状態となる。
次に、ユーザ端末装置４に表示されるモニタリング画面について説明する。図９は、ユーザ端末装置４に表示されるモニタリング画面を示す説明図である。この図９では、ユーザ端末装置４としてのスマートフォンの例を示す。なお、ユーザ端末装置４に表示されるモニタリング画面は、デジタルサイネージ用のコンテンツに編集して、駅や商業施設などに設置されたサイネージ端末（大型ディスプレイ）に表示して、現在の混雑状況を知らせるようにしてもよい。
ユーザ端末装置４で所定のアプリケーションを起動してサーバ装置３にアクセスすると、図９に示すモニタリング画面が表示される。このモニタリング画面をユーザが閲覧することで、駅構内の混雑状況などを把握することができる。
このモニタリング画面には、メインメニュー表示ボタン６１と、駅選択ボタン６２と、日時入力部６３と、再生操作部６４と、画像一覧表示部６５と、が設けられている。
メインメニュー表示ボタン６１を操作すると、メインメニューが表示される。このメインメニューにより、駅構内モニタリングやユーザ設定などを選択することができる。駅構内モニタリングを選択すると、図９に示すモニタリング画面が表示される。
画像一覧表示部６５には、駅構内のプラットホームや改札口などの対象エリアごとのモニタリング画像が並べて表示される。
駅選択ボタン６２では、画像一覧表示部６５に表示させるモニタリング画像の対象となる駅を選択することができる。この駅選択ボタン６２には、現在設定されている駅が表示される。この駅選択ボタン６２を操作すると、駅選択メニューが表示され、駅を変更することができる。
日時入力部６３は、画像一覧表示部６５に表示させるモニタリング画像の表示日時を入力するものでる。この日時入力部６３には、ＮＯＷボタン７１と、日付変更ボタン７２と、時刻変更ボタン７３と、が設けられている。
ＮＯＷボタン７１では、表示日時を現在の時刻に変更することができる。日付変更ボタン７２では、表示日を変更することができる。この日付変更ボタン７２には、現在設定されている表示日が表示される。この日付変更ボタン７２を操作すると、カレンダー画面（図示せず）が表示され、このカレンダー画面で日付を選択することができる。時刻変更ボタン７３では、表示時刻を変更することができる。この時刻変更ボタン７３には、現在設定されている表示時刻が表示される。この時刻変更ボタン７３を操作すると、時刻選択メニューが表示され、この時刻選択メニューで表示時刻を変更することができる。なお、初期状態では、現在の時刻のモニタリング画像が表示される。
再生操作部６４は、画像一覧表示部６５に表示されるモニタリング画像の再生に関する操作を行うものであり、通常再生、早送り再生、巻き戻し再生、および停止の各操作ボタンが設けられており、これらの操作ボタンを操作することで、モニタリング画像を効率的に閲覧することができる。
また、このモニタリング画面は、ピンチアウト操作（画面に触れた２本の指を広げる操作）で拡大表示させることができる。そして、拡大表示した状態のままでスワイプ操作（画面に触れた指をずらす操作）を行って画面を移動させることで、別のエリアのモニタリング画像も拡大表示で閲覧することができる。なお、モニタリング画像をタップ操作（指１本で短時間触れる操作）すると、モニタリング画像を拡大表示する画面が表示されるようにしてもよい。
なお、本実施形態では、ユーザが選択した駅における各エリアのモニタリング画像を画像一覧表示部６５に並べて表示するようにしたが、エリア選択ボタンを設けて、このエリア選択ボタンで選択したエリアのモニタリング画像が表示されるようにしてもよい。
次に、カメラ１で行われる画像処理の概要について説明する。図１０は、カメラ１で行われる画像処理の概要を示す説明図である。
本実施形態では、第２の背景画像生成部５３において、表示時刻（リアルタイム表示では現在時刻）を基準にした所定の学習期間における複数の撮像画像（フレーム）から、第２の背景画像を生成する。この処理は、撮像部２１から新たな撮像画像が出力されるたびに繰り返され、第２の背景画像がその都度更新される。
ついで、位置情報取得部５４において、表示時刻の撮像画像および第２の背景画像から人物ごとの位置情報を取得する。そして、マスク画像生成部５５において、人物ごとの位置情報からマスク画像を生成する。
また、第１の背景画像生成部５１において、表示時刻の撮像画像に対して識別性低減の画像処理を実施して第１の背景画像を生成する。そして、画像出力制御部４４において、マスク画像を第１の背景画像上に重畳したモニタリング画像を生成する。
このようにして、表示時刻が進行するのに応じて、撮像画像の出力タイミングに対応する各時刻の第２の背景画像、位置情報、マスク画像、第１の背景画像を取得して、各時刻のモニタリング画像がカメラ１から順次出力される。
なお、第１の背景画像は、各時刻の撮像画像から生成すればよいが、第１の背景画像の元になる撮像画像を、所定の間隔をおいて撮像画像を間引きながら選択して、第１の背景画像を生成するようにしてもよい。
また、本実施形態では、撮像画像に識別性低減の画像処理を実施した画像を第１の背景画像としたが、動体検知のために生成した第２の背景画像に対して識別性低減の画像処理を実施して第１の背景画像を生成することも可能である。
以上のように、本実施形態では、識別性低減の画像処理が実施された第１の背景画像（識別性低減画像）上にマスク画像を重畳したモニタリング画像を生成して出力する。このモニタリング画像では、マスク画像により、人物などの動体を明確に背景と区別して視認することができるため、動体の状態を明瞭に把握することができる。このため、駅構内の混雑状況などを直感的に把握することができる。また、動体検知が失敗した人物は第１の背景画像上に現れるが、この第１の背景画像では個人を識別することができないため、人物のプライバシーを確実に保護することができる。
（第２実施形態）
次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。
図１１は、第２実施形態に係るカメラ１０１およびサーバ装置１０２の概略構成を示す機能ブロック図である。
第１実施形態では、カメラ１において、第１の背景画像およびマスク画像を生成し、第１の背景画像上にマスク画像を重畳したモニタリング画像を生成して出力するようにしたが、この第２実施形態では、ユーザごとにマスク画像の表示要素を変更することができるように、第１の背景画像と人物の画像領域の位置情報とをカメラ１０１からサーバ装置１０２に送信し、サーバ装置１０２において、ユーザによる表示要素の指定内容にしたがったマスク画像を生成して、このマスク画像を第１の背景画像上に重畳したモニタリング画像を生成するようにしている。
カメラ１０１は、前記の実施形態と同様に、画像取得部４１と、第１の処理部４２と、第２の処理部１０４と、を備えているが、第２の処理部１０４では、第１実施形態（図８参照）において第２の処理部４３に設けられていたマスク画像生成部５５が省略されている。また、第１実施形態で設けられていた画像出力制御部４４も省略されている。
サーバ装置１０２は、マスク条件設定部１０６と、マスク画像生成部１０７と、画像出力制御部１０８と、を備えている。このマスク条件設定部１０６、マスク画像生成部１０７、および画像出力制御部１０８は、記憶デバイス３２に記憶されたモニタリング用のプログラム（インストラクション）をプロセッサ３１に実行させることで実現される。
マスク条件設定部１０６では、ユーザ端末装置４でのユーザの入力操作に応じて、マスク画像に係る各種の条件が設定される。マスク画像生成部１０７では、マスク条件設定部１０６において設定されたユーザごとのマスク条件と、カメラ１から取得した位置情報とに基づいて、マスク画像を生成する処理が行われる。本実施形態では、マスク条件設定部１０６において、マスク画像の表示要素に関するマスク条件がユーザごとに設定され、マスク画像生成部１０７において、ユーザによる表示要素の指定内容にしたがったマスク画像を生成する。
画像出力制御部１０８では、カメラ１から取得した第１の背景画像上に、マスク画像生成部１０７で生成したマスク画像を重畳して、モニタリング画像（マスク処理画像）を生成する処理が行われる。これにより、ユーザによる表示要素の指定内容にしたがったマスク画像が現れたモニタリング画像がユーザ端末装置４に表示される。
なお、本実施形態では、サーバ装置１０２においてマスク画像を生成するようにしたが、カメラ１０１においてマスク画像を一旦生成した上で、サーバ装置１０２において、画像編集により、ユーザによる表示要素の指定内容にしたがってマスク画像を調整するようにしてもよい。
次に、マスク条件の設定について説明する。図１２は、ユーザ端末装置４に表示されるマスク条件設定画面を示す説明図である。
図９に示したモニタリング画面のメインメニュー表示ボタン６１で表示されるメインメニューでユーザ設定を選択すると、ユーザ設定メニューが表示され、このユーザ設定メニューでマスク条件設定を選択すると、図１２に示すマスク条件設定画面が表示される。このマスク条件設定画面により、マスク画像の表示要素をユーザが変更することができる。
このマスク条件設定画面には、塗りつぶし選択部１１１と、透過率選択部１１２と、輪郭線描画選択部１１３と、設定ボタン１１４と、が設けられている。
塗りつぶし選択部１１１では、マスク画像における輪郭の内部の塗りつぶし方（色やパターンなど）をタイルメニューからユーザが選択する。透過率選択部１１２では、マスク画像の透過率をプルダウンメニューからユーザが選択する。透過率は、０％〜１００％の範囲で選択することができる。すなわち、透過率が０％の場合には、第１の背景画像が全く見えない状態となり、透過率が１００％の場合には、第１の背景画像がそのまま現れることになる。輪郭線描画選択部１１３では、マスク画像に輪郭線を描画するか否かをプルダウンメニューからユーザが選択する。ここで、透過率が１００％で輪郭線なしを選択した場合には、人物は消去された状態でモニタリング画像が表示されることになる。
この塗りつぶし選択部１１１、透過率選択部１１２および輪郭線描画選択部１１３でマスク画像の塗りつぶし方、透過率および輪郭線描画の有無を選択して、設定ボタン１１４を操作すると、入力内容がサーバ装置１０２に送信され、マスク条件設定部１０６でユーザのマスク条件を設定する処理が行われる。
また、前述のように、マスク画像の色を混雑度（人物枠数相当）に応じて指定される色へ変更する場合（混雑度が高い場合にはマスク画像を赤色で表示し、混雑度が低い場合にはマスク画像を青色で表示する態様、または、同一の色相で濃淡や透過率で混雑度を表現する態様）には、マスク条件設定画面で、塗りつぶし選択部１１１でのマスク画像の選択に代えて、混雑状態表示モードを設け、ユーザにモードのオン／オフを選択させるようにしてもよい。
以上のように、本実施形態では、マスク画像の色、透過率、および輪郭線の有無の少なくともいずれかの表示要素をユーザが変更することができるため、ユーザにとって見やすいモニタリング画像を表示させることができる。
なお、本実施形態では、ユーザごとにマスク画像の表示要素を変更することができるように、サーバ装置１０２にマスク条件設定部１０６を設けたが、第１実施形態のカメラ１（図８参照）にマスク条件設定部を設けて、このマスク条件設定部において、ユーザの操作入力に応じてマスク条件を設定して、マスク画像生成部５５において、マスク条件に基づいてマスク画像を生成するようにしてもよい。このようにすると、例えば管理者などのユーザがカメラ１ごとにマスク画像の表示要素を自由に変更することができる。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。
上記の実施形態の変形例として、人物の輪郭形状のマスク画像に代えて、動体検知および人物検知の検知結果に基づいて、人物枠に相当する矩形のマスク画像を用いても良い。この場合、人物の画像領域に対応するマスク画像の形状が変わるだけで、上記の実施形態で説明したマスク条件など、ユーザが希望する設定を行うことができる。
また、前記の実施形態では、鉄道駅の例について説明したが、このような鉄道駅に限定されるものではなく、テーマパーク、イベント会場などの各種の施設に広く適用することができる。また、カメラ（モニタリング装置）１が設置されるバス停、歩道、道路なども施設対象に含まれ、これらの施設対象においても、本開示における技術を適用することができる。
また、前記の実施形態では、マスク処理の対象となる動体を人物とした例について説明したが、人物以外の動体、例えば自動車や自転車などの車両を対象としたものであってもよい。このような人物以外の動体でも、その所有者や使用者を特定することができる場合には、個人のプライバシーを侵害しない配慮が必要となる。
また、前記の実施形態では、撮像画像の全体に対して識別性低減の画像処理を実施するようにしたが、建造物の天井など、人物が写らないことが明らかである領域を、識別性低減の画像処理の対象から除外するようにしてもよい。このようにすると、対象エリアの状況を把握しやすくなる。
この場合、識別性低減の画像処理の対象外とするエリアを管理者などが手動で設定するようにしてもよいが、識別性低減の画像処理の対象外とするエリアを、動体検知の検知結果に基づいて設定するようにしてもよい。すなわち、動体検知で動体が一定時間以上検知されない領域を、識別性低減の画像処理の対象外とすればよい。また、動体が検知されない時間が継続するのに応じて、識別性低減の画像処理の効果を徐々に低減するようにしてもよい。
また、前記の実施形態では、カメラにおいて、物体の識別性を低減した第１の背景画像を生成する第１の処理と、マスク画像を生成する第２の処理と、背景画像にマスク画像を重畳する画像出力制御と、を行うようにしたが、これらの必要な処理の全部または一部をＰＣで行うようにしてもよい。また、カメラから出力される画像を蓄積するレコーダ（画像蓄積装置）や、カメラからの画像出力を制御するアダプタ（画像出力制御装置）で、前記の必要な処理の全部または一部を行うようにしてもよい。
本発明に係るモニタリング装置、モニタリングシステムおよびモニタリング方法は、人物のプライバシーを確実に保護するとともに、施設内の混雑状況などを直感的に把握可能なモニタリング画像を表示することができる効果を有し、対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置、モニタリングシステムおよびモニタリング方法などとして有用である。
１ カメラ（モニタリング装置）
３ サーバ装置
４ ユーザ端末装置
２１ 撮像部
２２ プロセッサ
２３ 記憶デバイス
２４ 通信部
４１ 画像取得部
４２ 第１の処理部
４３ 第２の処理部
４４ 画像出力制御部
５１ 第１の背景画像生成部
５３ 第２の背景画像生成部
５４ 位置情報取得部
５５ マスク画像生成部
１０１ カメラ
１０２ サーバ装置
１０４ 第２の処理部
１０６ マスク条件設定部
１０７ マスク画像生成部
１０８ 画像出力制御部
１１１ 塗りつぶし選択部
１１２ 透過率選択部
１１３ 輪郭線描画選択部

Claims (8)

  1. 対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力するモニタリング装置であって、
    前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、
    前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、
    前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、
    を備えたことを特徴とするモニタリング装置。
  2. 前記第１の処理部は、前記第２の処理部が前記撮像画像から動体を検知する際に生成した背景画像に物体の識別性を低減する画像処理を行うことを特徴とする請求項１に記載のモニタリング装置。
  3. 前記第１の処理部は、前記物体の識別性を低減する画像処理として、モザイク処理、ぼかし処理、ブレンド処理のいずれかの処理を実行することを特徴とする請求項１または請求項２に記載のモニタリング装置。
  4. 前記第２の処理部は、前記動体の輪郭形状を表す透過性の前記マスク画像を生成することを特徴とする請求項１から請求項３のいずれかに記載のモニタリング装置。
  5. 前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、
    前記マスク条件では、前記マスク画像の色、透過率、および輪郭線の有無の少なくともいずれかの表示要素を変更可能としたことを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
  6. 前記第２の処理部は、ユーザの操作入力に応じて設定されるマスク条件にしたがって、前記マスク画像を生成し、
    前記マスク条件として、混雑度で指定される色または同一の色相での濃淡や透過率で前記マスク画像が生成される混雑状態表示モードを設定可能としたことを特徴とする請求項１から請求項４のいずれかに記載のモニタリング装置。
  7. 対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成してユーザ端末装置に配信するモニタリングシステムであって、
    前記対象エリアを撮像するカメラと、
    前記モニタリング画像を前記ユーザ端末装置に配信するサーバ装置と、
    前記ユーザ端末装置と、
    を有し、
    前記カメラおよび前記サーバ装置のいずれかが、
    前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行う第１の処理部と、
    前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成する第２の処理部と、
    前記第１の処理部により生成された識別性低減画像を背景画像とし、この背景画像上に前記第２の処理部により生成された前記マスク画像を重畳した前記モニタリング画像を生成して出力する画像出力制御部と、
    を備えたことを特徴とするモニタリングシステム。
  8. 対象エリアを撮像した撮像画像に対してプライバシーマスク処理を行ったモニタリング画像を生成して出力する処理を情報処理装置に行わせるモニタリング方法であって、
    前記撮像画像の全域に対して、物体の識別性を低減する画像処理を行って、識別性低減画像を生成し、
    前記撮像画像から動体を検知して、この動体の輪郭内部を所定の色で塗り潰したマスク画像を生成し、
    前記識別性低減画像を背景画像とし、この背景画像上に前記マスク画像を重畳した前記モニタリング画像を生成して出力することを特徴とするモニタリング方法。
JP2015231710A 2015-11-27 2015-11-27 モニタリング装置、モニタリングシステムおよびモニタリング方法 Active JP6504364B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2015231710A JP6504364B2 (ja) 2015-11-27 2015-11-27 モニタリング装置、モニタリングシステムおよびモニタリング方法
GB1806567.2A GB2557847A (en) 2015-11-27 2016-11-11 Monitoring device, monitoring system, and monitoring method
DE112016005412.2T DE112016005412T5 (de) 2015-11-27 2016-11-11 Überwachungsvorrichtung, Überwachungssystem und Überwachungsverfahren
PCT/JP2016/004870 WO2017090238A1 (ja) 2015-11-27 2016-11-11 モニタリング装置、モニタリングシステムおよびモニタリング方法
CN201680068209.9A CN108293105B (zh) 2015-11-27 2016-11-11 监控装置、监控系统以及监控方法
US15/775,475 US20180359449A1 (en) 2015-11-27 2016-11-11 Monitoring device, monitoring system, and monitoring method
SG11201803937TA SG11201803937TA (en) 2015-11-27 2016-11-11 Monitoring device, monitoring system, and monitoring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015231710A JP6504364B2 (ja) 2015-11-27 2015-11-27 モニタリング装置、モニタリングシステムおよびモニタリング方法

Publications (2)

Publication Number Publication Date
JP2017098879A JP2017098879A (ja) 2017-06-01
JP6504364B2 true JP6504364B2 (ja) 2019-04-24

Family

ID=58763305

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015231710A Active JP6504364B2 (ja) 2015-11-27 2015-11-27 モニタリング装置、モニタリングシステムおよびモニタリング方法

Country Status (7)

Country Link
US (1) US20180359449A1 (ja)
JP (1) JP6504364B2 (ja)
CN (1) CN108293105B (ja)
DE (1) DE112016005412T5 (ja)
GB (1) GB2557847A (ja)
SG (1) SG11201803937TA (ja)
WO (1) WO2017090238A1 (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6274635B1 (ja) * 2017-05-18 2018-02-07 株式会社ドリームエンジン マグネシウム空気電池
JP6272531B1 (ja) * 2017-05-18 2018-01-31 株式会社ドリームエンジン マグネシウム空気電池
JP6935247B2 (ja) * 2017-07-04 2021-09-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7278735B2 (ja) * 2017-10-06 2023-05-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US11354786B2 (en) * 2017-10-10 2022-06-07 Robert Bosch Gmbh Method for masking an image of an image sequence with a mask, computer program, machine-readable storage medium and electronic control unit
JP7071086B2 (ja) * 2017-10-13 2022-05-18 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP7122815B2 (ja) * 2017-11-15 2022-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7030534B2 (ja) 2018-01-16 2022-03-07 キヤノン株式会社 画像処理装置および画像処理方法
JP7106282B2 (ja) * 2018-01-30 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP7102856B2 (ja) * 2018-03-29 2022-07-20 大日本印刷株式会社 コンテンツ出力システム、コンテンツ出力装置及びプログラム
JP7092540B2 (ja) 2018-04-04 2022-06-28 パナソニックホールディングス株式会社 交通監視システムおよび交通監視方法
JP2021121877A (ja) * 2018-04-27 2021-08-26 ソニーグループ株式会社 情報処理装置および情報処理方法
JP7035886B2 (ja) * 2018-07-30 2022-03-15 トヨタ自動車株式会社 画像処理装置、画像処理方法
JP7244979B2 (ja) * 2018-08-27 2023-03-23 日本信号株式会社 画像処理装置及び監視システム
WO2020054030A1 (ja) * 2018-09-13 2020-03-19 三菱電機株式会社 車内監視情報生成制御装置及び車内監視情報生成制御方法
EP3640903B1 (en) * 2018-10-18 2023-12-27 IDEMIA Identity & Security Germany AG Signal dependent video surveillance
JP7418074B2 (ja) * 2018-12-26 2024-01-19 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7297455B2 (ja) * 2019-01-31 2023-06-26 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2020141212A (ja) * 2019-02-27 2020-09-03 沖電気工業株式会社 画像処理システム、画像処理装置、画像処理プログラム、画像処理方法、及び表示装置
JP6796294B2 (ja) * 2019-04-10 2020-12-09 昌樹 加藤 監視カメラ
CN110443748A (zh) * 2019-07-31 2019-11-12 思百达物联网科技(北京)有限公司 人体屏蔽方法、装置以及存储介质
JP7300349B2 (ja) * 2019-09-04 2023-06-29 株式会社デンソーテン 画像記録システム、画像提供装置、および、画像提供方法
CN110996010A (zh) * 2019-12-20 2020-04-10 歌尔科技有限公司 一种摄像头及其图像处理方法、装置及计算机存储介质
EP4095809A4 (en) * 2020-01-20 2023-06-28 Sony Group Corporation Image generation device, image generation method, and program
WO2021220814A1 (ja) * 2020-04-28 2021-11-04 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び、プログラム
US11508077B2 (en) * 2020-05-18 2022-11-22 Samsung Electronics Co., Ltd. Method and apparatus with moving object detection
EP4020981A1 (en) * 2020-12-22 2022-06-29 Axis AB A camera and a method therein for facilitating installation of the camera
CN112887481B (zh) * 2021-01-26 2022-04-01 维沃移动通信有限公司 图像处理方法及装置
CN113159074B (zh) * 2021-04-26 2024-02-09 京东科技信息技术有限公司 图像处理方法、装置、电子设备和存储介质
JP2023042661A (ja) * 2021-09-15 2023-03-28 キヤノン株式会社 表示装置、制御装置、制御方法、及び、プログラム
KR20240077189A (ko) 2022-11-24 2024-05-31 (주)피플앤드테크놀러지 객체 검출 및 분할 모델을 이용한 인공지능기반 마스킹 방법 및 이를 위한 시스템

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS577562A (en) * 1980-06-17 1982-01-14 Mitsubishi Electric Corp Rotation detector
US7120297B2 (en) * 2002-04-25 2006-10-10 Microsoft Corporation Segmented layered image system
US20040032906A1 (en) * 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
KR100588170B1 (ko) * 2003-11-20 2006-06-08 엘지전자 주식회사 감시용 카메라에서의 프라이버시 마스킹 설정방법
CN1767638B (zh) * 2005-11-30 2011-06-08 北京中星微电子有限公司 一种保护隐私权的可视图像监控方法及其系统
JP2008042595A (ja) * 2006-08-08 2008-02-21 Matsushita Electric Ind Co Ltd ネットワークカメラ装置及び受信端末装置
JP4672680B2 (ja) * 2007-02-05 2011-04-20 日本電信電話株式会社 画像処理方法、画像処理装置、画像処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4671133B2 (ja) * 2007-02-09 2011-04-13 富士フイルム株式会社 画像処理装置
WO2009013822A1 (ja) * 2007-07-25 2009-01-29 Fujitsu Limited 映像監視装置および映像監視プログラム
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
JP2009278325A (ja) * 2008-05-14 2009-11-26 Seiko Epson Corp 画像処理装置、画像処理方法、およびプログラム
JP5709367B2 (ja) * 2009-10-23 2015-04-30 キヤノン株式会社 画像処理装置、および画像処理方法
US8625897B2 (en) * 2010-05-28 2014-01-07 Microsoft Corporation Foreground and background image segmentation
CN102473283B (zh) * 2010-07-06 2015-07-15 松下电器（美国）知识产权公司 图像传送装置
WO2012012555A1 (en) * 2010-07-20 2012-01-26 SET Corporation Methods and systems for audience digital monitoring
JP5871485B2 (ja) * 2011-05-17 2016-03-01 キヤノン株式会社 画像送信装置、画像送信方法、及びプログラム
WO2013003635A1 (en) * 2011-06-28 2013-01-03 Stoplift, Inc. Image processing to prevent access to private information
JP5921331B2 (ja) * 2012-05-21 2016-05-24 キヤノン株式会社 撮像装置、マスク画像の重畳方法、および、プログラム
JP2014006614A (ja) * 2012-06-22 2014-01-16 Sony Corp 画像処理装置、画像処理方法、並びにプログラム
KR101936802B1 (ko) * 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
JP6157094B2 (ja) * 2012-11-21 2017-07-05 キヤノン株式会社 通信装置、設定装置、通信方法、設定方法、及び、プログラム
WO2014170886A1 (en) * 2013-04-17 2014-10-23 Digital Makeup Ltd System and method for online processing of video images in real time
JP5834196B2 (ja) * 2014-02-05 2015-12-16 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5707562B1 (ja) * 2014-05-23 2015-04-30 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
JP5938808B2 (ja) * 2014-07-28 2016-06-22 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US9774793B2 (en) * 2014-08-01 2017-09-26 Adobe Systems Incorporated Image segmentation for a live camera feed
US9471844B2 (en) * 2014-10-29 2016-10-18 Behavioral Recognition Systems, Inc. Dynamic absorption window for foreground background detector
US9584716B2 (en) * 2015-07-01 2017-02-28 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
US20170039387A1 (en) * 2015-08-03 2017-02-09 Agt International Gmbh Method and system for differentiated privacy protection

Also Published As

Publication number Publication date
JP2017098879A (ja) 2017-06-01
CN108293105A (zh) 2018-07-17
WO2017090238A1 (ja) 2017-06-01
DE112016005412T5 (de) 2018-09-06
CN108293105B (zh) 2020-08-11
GB2557847A (en) 2018-06-27
US20180359449A1 (en) 2018-12-13
SG11201803937TA (en) 2018-06-28
GB201806567D0 (en) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6504364B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
EP3588456B1 (en) Image processing apparatus, image processing method, and program
JP5866564B1 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
JP6485709B2 (ja) 座席モニタリング装置、座席モニタリングシステムおよび座席モニタリング方法
JP6696422B2 (ja) 異常検知装置及び異常検知方法
CN108476304B (zh) 丢弃物体监视装置和具备该丢弃物体监视装置的丢弃物体监视系统以及丢弃物体监视方法
US9807300B2 (en) Display apparatus for generating a background image and control method thereof
WO2017163955A1 (ja) 監視システム、画像処理装置、画像処理方法およびプログラム記録媒体
JP6910772B2 (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP6568374B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7494273B2 (ja) 表示制御装置、表示制御方法、およびプログラム
US20160328627A1 (en) Imaging device, recording device, and moving image output control device
KR102495547B1 (ko) 화상 처리 장치, 화상 처리 장치의 제어 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
US10863113B2 (en) Image processing apparatus, image processing method, and storage medium
JP6955584B2 (ja) ドア映像表示システムおよびモニタ
JP2016213674A (ja) 表示制御システム、表示制御装置、表示制御方法、及びプログラム
JP2010193227A (ja) 映像処理システム
JP2007312271A (ja) 監視システム
WO2016194275A1 (ja) 動線分析システム、カメラ装置及び動線分析方法
KR101874588B1 (ko) 고해상도 카메라를 이용한 다채널 관심영역 표출방법
JP2016144049A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2020123280A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6230223B2 (ja) 表示方向制御システム及び表示位置制御システム
JP2016213675A (ja) 遠隔コミュニケーションシステム、その制御方法、及びプログラム
JP7180243B2 (ja) 監視システムおよびカメラ

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180731

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180919

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190312

R151 Written notification of patent or utility model registration

Ref document number: 6504364

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151