JP7415872B2 - 装置、システム、方法およびプログラム - Google Patents

装置、システム、方法およびプログラム Download PDF

Info

Publication number
JP7415872B2
JP7415872B2 JP2020178477A JP2020178477A JP7415872B2 JP 7415872 B2 JP7415872 B2 JP 7415872B2 JP 2020178477 A JP2020178477 A JP 2020178477A JP 2020178477 A JP2020178477 A JP 2020178477A JP 7415872 B2 JP7415872 B2 JP 7415872B2
Authority
JP
Japan
Prior art keywords
event
occurred
image
surveillance camera
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020178477A
Other languages
English (en)
Other versions
JP2022069339A (ja
Inventor
修 小嶋
篤士 和田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2020178477A priority Critical patent/JP7415872B2/ja
Priority to US17/449,817 priority patent/US20220130232A1/en
Priority to EP21202452.5A priority patent/EP3989196B1/en
Priority to CN202111232421.3A priority patent/CN114494987A/zh
Publication of JP2022069339A publication Critical patent/JP2022069339A/ja
Application granted granted Critical
Publication of JP7415872B2 publication Critical patent/JP7415872B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/02Monitoring continuously signalling or alarm systems
    • G08B29/04Monitoring of the detection circuits
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/041Abduction
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19663Surveillance related processing done local to the camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/02Monitoring continuously signalling or alarm systems
    • G08B29/04Monitoring of the detection circuits
    • G08B29/046Monitoring of the detection circuits prevention of tampering with detection circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639Details of the system layout
    • G08B13/19641Multiple cameras having overlapping views on a single scene
    • G08B13/19643Multiple cameras having overlapping views on a single scene wherein the cameras play different roles, e.g. different resolution, different camera type, master-slave camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B15/00Identifying, scaring or incapacitating burglars, thieves or intruders, e.g. by explosives

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、装置、システム、方法およびプログラムに関する。
従来、監視カメラを用いた種々の警備システムが提案されている(例えば、特許文献1参照)。
[特許文献1] 特開2015-162232号公報
本発明の第1の態様においては、装置が提供される。装置は、監視カメラが撮像した画像を受信する受信部を備えてよい。装置は、受信した画像に基づいて、監視カメラを用いた監視を妨害する事象の発生の有無を判定する判定部を備えてよい。装置は、事象の発生有りと判定されたことに応じて、その旨を監視カメラの管理者に通知する通知部を備えてよい。
装置は、監視カメラが過去に撮像した過去画像に基づく基準画像を記憶する記憶部を更に備えてよい。判定部は、受信した画像および基準画像の比較結果に基づいて、事象の発生の有無を判定してよい。
判定部は、受信した画像の構図が基準画像の構図から閾値以上変化したことに応じて、事象の発生有りと判定してよい。
判定部は、監視カメラの合焦状態に基づいて、事象の発生の有無を判定してよい。
判定部は、監視カメラが撮像した画像の明るさに基づいて、事象の発生の有無を判定してよい。
判定部は、監視カメラが赤外線を照射して撮像した画像に基づいて、事象の発生の有無を判定してよい。
判定部は、監視カメラが撮像した動画像の揺れに基づいて、事象の発生の有無を判定してよい。
判定部は、受信部により画像が受信されないことに応じて事象の発生有りと判定してよい。
判定部は、事象が発生したか否かを判定してよい。
判定部は、事象が発生するか否かを判定してよい。
装置は、監視を妨害する事象の発生有りの場合において監視カメラが撮像した画像に基づいて、監視カメラが撮像した画像から事象の発生の有無を推定する推定モデルに学習処理を行う学習処理部を更に備えてよい。
装置は、事象の発生有りと判定されたことに応じて、事象を発生させた人または動物に対し、監視カメラを介して警告を行う警告部を更に備えてよい。
事象の発生有りと判定されたことに応じて、監視カメラを視野内に含む他の監視カメラが撮像した画像に対し、事象の発生有りの旨を対応付ける画像管理部を更に備えてよい。
本発明の第2の態様においては、システムが提供される。システムは、第1の態様の装置を備えてよい。システムは、撮像した画像を装置に供給する1または複数の監視カメラを備えてよい。
システムは、装置を複数備えてよい。
本発明の第3の態様においては、方法が提供される。方法は、監視カメラが撮像した画像を受信する受信段階を備えてよい。方法は、受信した画像に基づいて、監視カメラを用いた監視を妨害する事象の発生の有無を判定する判定段階を備えてよい。方法は、事象の発生有りと判定されたことに応じて、その旨を監視カメラの管理者に通知する通知段階を備えてよい。
本発明の第4の態様においては、プログラムが提供される。プログラムは、コンピュータを、監視カメラが撮像した画像を受信する受信部として機能させてよい。プログラムは、コンピュータを、受信した画像に基づいて、監視カメラを用いた監視を妨害する事象の発生の有無を判定する判定部として機能させてよい。プログラムは、コンピュータを、事象の発生有りと判定されたことに応じて、その旨を監視カメラの管理者に通知する通知部として機能させてよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る警備システム1を示す。 装置4の動作を示す。 変形例に係る警備システム1Aを示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
[1.警備システム1]
図1は、本実施形態に係る警備システム1を示す。警備システム1は、複数の監視カメラ2と、装置4と、管理者端末5とを備える。
ここで本実施形態では一例として、警備システム1の各構成のうち、各監視カメラ2と装置4とは直接接続されてよく、装置4と、管理者端末5とは、通信ネットワーク10を介して接続されてよい。通信ネットワーク10は、インターネット、広域ネットワーク(WAN)、ローカルエリアネットワーク等の各種ネットワークまたはその組み合わせを含んで構成されてよい。通信ネットワーク10は、有線および無線の少なくとも一方による接続ポイントを含んでよい。通信ネットワーク10は、インターネットなどの公衆回線から分離された専用回線により実現されてもよい。
[1.1.監視カメラ2]
各監視カメラ2は、撮像領域の撮像を行う。各監視カメラ2は、撮像により取得した画像(画像データとも称する)を装置4に供給してよい。画像は動画像であってよく、監視カメラ2は、常時、撮像を行って動画像(映像とも称する)を生成してよい。例えば、各監視カメラ2は30f/sで撮像を行ってよい。なお、画像は静止画像であってもよい。この場合に、監視カメラ2は、定期的なタイミングで撮像を行い、静止画像を生成してよい。監視カメラ2は可視光のカメラであってもよいし、赤外線や紫外線(一例としてX線)のカメラであってもよい。一例として、監視カメラ2は、昼間には可視光を用いた撮像を行い、夜間には赤外線を照射した場合の物体から反射光を用いた撮像を行ってよい。
各監視カメラ2は、音声出力が可能であってよい。例えば、各監視カメラ2は、図示しないスピーカを有してもよいし、スピーカと外部接続されてもよい。これにより、各監視カメラ2は、装置4からの指示に応じて音声メッセージを出力してもよいし、警告音を出力してもよい。
また、各監視カメラ2は、図示しないライトを有してもよいし、ライトと外部接続されてもよい。これにより、各監視カメラ2は、視野内にフラッシュを生じさせてよい。
各監視カメラ2は、道路や駐車場、街灯、電柱に配置されてもよいし、設備の出入り口や通路などに配置されてもよい。設備は、プラントでもよいし、学校や住宅、駅、空港、博物館、病院、店舗(一例として飲食店)であってもよいし、テーマパークや遊園地、それらのアトラクション用施設などであってもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。
[1.2.装置4]
装置4は、複数の監視カメラ2と協働して設備の警備を支援する。装置4は、通信部40と、受信部41と、記憶部42と、判定部43と、通知部44と、警告部45と、画像管理部46と、推定モデル47と、学習処理部48とを有する。
[1.2(1).通信部40]
通信部40は、通信ネットワーク10を介して管理者端末5などと通信する。
[1.2(2).受信部41]
受信部41は、監視カメラ2が撮像した画像を受信する。なお、本実施形態では一例として、受信部41は各監視カメラ2から直接的に画像を受信するが、通信部40および通信ネットワーク10を介して画像を受信してもよい。受信部41は、画像を撮像した監視カメラ2の識別情報(カメラIDとも称する)や撮像時間と共に、受信した画像を記憶部42および判定部43に供給してよい。
[1.2(3).記憶部42]
記憶部42は、1または複数の画像を記憶する。例えば、記憶部42は、監視カメラ2が過去に撮像した過去画像に基づく基準画像を記憶してよい。
基準画像は、監視カメラ2を用いた監視を妨害する事象(監視妨害事象とも称する)の発生の有無を判定するために判定部43により用いられる画像であってよい。監視妨害事象とは、監視カメラ2の視野の少なくとも一部が袋やシート、粘着物(一例としてガム)、液体(一例として塗料)、泡、蜘蛛の巣などによって遮られることであってもよいし、監視カメラ2の位置や向きが変えられることであってもよいし、監視カメラ2の電源ケーブルや通信ケーブルが切断されることであってもよい。なお、蜘蛛の巣は、赤外線を乱反射する結果、可視光を用いた撮像画像には影響を与えずに、赤外線を用いた撮像画像には影響を与え得る。
基準画像は、監視妨害事象が発生していない状態を示す画像であってよい。また、基準画像は、監視カメラ2により撮像され得る被写体のうち、移動しない被写体のみを抽出した画像であってよい。記憶部42は、装置4に画像を提供する監視カメラ2ごとに基準画像を記憶してよい。
記憶部42は、各監視カメラ2により撮像された画像をさらに記憶してよく、本実施形態においては一例として、各監視カメラ2により撮像された画像を、撮像を行った監視カメラ2のカメラIDと対応付けて記憶してよい。記憶部42内の画像は通信部40によって読み出し可能であってよい。
[1.2(4).判定部43]
判定部43は、受信部41により受信した画像に基づいて監視妨害事象の発生の有無を判定する。判定部43は、監視妨害事象が発生したか否かを判定してよい。
例えば、判定部43は、受信した画像および基準画像の比較結果に基づいて、監視妨害事象の発生の有無を判定してよい。本実施形態では一例として、監視妨害事象が発生していない状態が基準画像で示されるため、判定部43は、受信した画像が基準画像と異なることに応じて監視妨害事象の発生有りと判定してよい。
判定部43は、判定結果を通知部44、警告部45、画像管理部46および学習処理部48に供給してよい。例えば、判定部43は、監視妨害事象の発生有りと判定したこと(本実施形態では一例として、監視妨害事象が発生したと判定したこと)に応じて、その判定結果を通知部44などに供給してもよい。これに加えて、判定部43は、監視妨害事象の発生無しと判定したこと(本実施形態では一例として、監視妨害事象が発生しなかったと判定したこと)に応じて、その判定結果を通知部44などに供給してもよい。
判定部43は、判定結果と共に、判定を行った画像や、当該画像を撮像した監視カメラ2のカメラID、撮像時刻などを供給してもよい。監視妨害事象が発生した旨の判定を行った画像を撮像した監視カメラ2のカメラIDは、監視妨害事象が発生した監視カメラ2を示してよい。監視妨害事象が発生した旨の判定を行った画像の撮像時刻は、監視妨害事象の発生時刻を示してよい。
[1.2(5).通知部44]
通知部44は、監視妨害事象の発生有りと判定されたこと(本実施形態では一例として、監視妨害事象が発生したと判定されたこと)に応じて、監視妨害事象の発生を監視カメラ2の管理者に通知する。通知部44は、監視妨害事象が発生した監視カメラ2のカメラIDと、監視妨害事象の発生時刻とを管理者に通知してよい。通知部44は、通信部40を介して管理者端末5に通知を行ってよい。
[1.2(6).警告部45]
警告部45は、監視妨害事象の発生有りと判定されたこと(本実施形態では一例として、監視妨害事象が発生したと判定されたこと)に応じて、監視妨害事象を発生させた人または動物に対し、監視カメラ2を介して警告を行う。警告部45は、複数の監視カメラ2のうち、監視妨害事象が発生した監視カメラ2を介して警告を行ってよい。一例として、警告部45は、監視カメラ2から音声メッセージや警告音を出力させてもよいし、フラッシュを生じさせてもよい。
[1.2(7).画像管理部46]
画像管理部46は、一の監視カメラ2で監視妨害事象の発生有りと判定されたこと(本実施形態では一例として、監視妨害事象が発生したと判定されたこと)に応じて、当該一の監視カメラ2を視野内に含む他の監視カメラ2(監視カメラ2Aとも称する)が撮像した画像に対し、監視妨害事象が発生した旨を対応付ける。
画像管理部46は、少なくとも1つの監視カメラ2(本実施形態では一例として、警備システム1の各監視カメラ2)のカメラIDに対し、当該監視カメラ2を視野内に含む他の各監視カメラ2AのカメラIDを対応付けたテーブル(図示せず)を有してよい。画像管理部46は、このテーブルを参照して、監視妨害事象が発生した監視カメラ2を視野内に含む他の各監視カメラ2Aを検出してよい。
画像管理部46は、記憶部42に記憶された各画像のうち、他の各監視カメラ2Aが撮像した画像に対し、監視妨害事象が発生した旨を対応付けてよい。画像管理部46は、監視妨害事象の発生時刻を含む時間帯に他の各監視カメラ2Aが撮像した少なくとも1つの画像に対し、監視妨害事象が発生した旨を対応付けてよい。
[1.2(8).推定モデル47]
推定モデル47は、監視カメラ2が撮像した画像から監視妨害事象の発生有無を推定する。推定モデル47は、監視カメラ2が撮像した画像が入力されることに応じて、画像に対して画像解析を行い、監視妨害事象の発生有無の推定結果を出力してよい。
例えば、推定モデル47は、画像解析によって検出対象が検出されるか否かに応じて、監視妨害事象の発生有無を推定してもよい。検出対象は、画像に含まれ得る被写体のうち検出するべき被写体(対象被写体とも称する)であってよい。推定モデル47は、対象被写体を検出したことに応じて、当該対象被写体の特徴を示す特徴データをさらに出力してよい。
対象被写体は、画像解析によって検出可能な被写体のうち、監視カメラ2による監視を妨害し得る物体であってよく、例えば、スプレー缶やナイフなどであってもよいし、監視カメラ2の側に向けて口が開かれた袋や、粘着テープの粘着面であってもよい。
推定モデル47が画像解析を行う解析対象の画像は、静止画像であってよく、一例として、動画像から抽出されるフレームであってよい。なお、推定モデル47による検出対象は、複数のフレームに亘って行われる動作(一例として、スプレー缶を振る動作)であってもよい。この場合には、推定モデル47が画像解析を行う解析対象の画像は、基準時間幅(一例として10秒や1分)の動画像であってよい。推定モデル47は、基準時間幅の動画像に対して動作解析を行って、特定の動作を検出したことに応じて、監視妨害事象の発生有りの推定結果を出力してよい。
なお、本実施形態においては一例として、推定モデル47は、監視妨害事象が発生したか否かの推定結果を出力してよいが、監視妨害事象が発生するか否かの推定結果を出力してもよい。推定モデル47は、学習処理によって生成されてよい。本実施形態においては一例として、推定モデル47は、ディープラーニングなどの機械学習により得られるモデルであってよいが、これに限定されるものではない。
[1.2(9).学習処理部48]
学習処理部48は、監視妨害事象の発生有りの場合において監視カメラ2が撮像した画像に基づいて、推定モデル47に学習処理を行う。学習処理部48は、監視妨害事象が発生した監視カメラ2が撮像した画像を含む学習データを用いて学習処理を行ってよい。
監視妨害事象が発生したか否かを推定モデル47が推定する場合には、学習データには、監視妨害事象が発生した状態の画像が含まれてよい。本実施形態においては一例として、学習データには、判定部43から監視妨害事象の発生有りの判定結果と共に供給された画像が含まれてよい。
監視妨害事象が発生するか否かを推定モデル47が推定する場合には、学習データには、監視妨害事象が発生する直前の画像が含まれてよい。本実施形態においては一例として、判定部43から監視妨害事象の発生無しの判定結果の次に発生有りの判定結果が供給された場合に、当該発生無しの判定結果と共に供給された画像が学習データに含まれてよい。
[1.3.管理者端末5]
管理者端末5は、監視カメラ2の管理者により操作される端末である。管理者端末5は、通信ネットワーク10を介して通信可能であってよい。管理者端末5はハンドヘルドターミナル(HHT)(一例としてスマートフォンまたはタブレットPC)でもよいし、据え置き型のPCでもよい。
管理者端末5は、装置4から監視妨害事象の発生の通知を受信して、監視妨害事象が発生した監視カメラ2のカメラIDと、監視妨害事象の発生時刻とを表示してよい。これにより、管理者は、監視妨害事象が発生した監視カメラ2に速やかに向かい、監視妨害事象を解消することができる。
[1.4.装置4から得られる効果]
以上の装置4によれば、受信した画像に基づいて監視妨害事象の発生有りと判定されたこと(本実施形態では一例として、監視妨害事象が発生したと判定されたこと)に応じて、監視妨害事象の発生が監視カメラ2の管理者に通知されるので、監視妨害事象を速やかに解消して監視カメラ2による監視を正常化することができる。
また、監視カメラ2が過去に撮像した画像に基づく基準画像と、監視カメラ2から受信した画像との比較結果に基づいて監視妨害事象の発生の有無が判定されるので、監視妨害事象の発生を正確に判定することができる。
また、監視妨害事象の発生有りの場合に撮像された画像に基づいて推定モデル47に学習処理が行われるので、監視妨害事象の発生を推定し得る推定モデル47を生成し、監視妨害事象の発生判定に用いることができる。
また、監視妨害事象の発生有りと判定されたことに応じ、監視妨害事象を発生させた人または動物に対して監視カメラ2から警告が行われるので、監視妨害事象がさらに悪化するのを防ぐことができる。また、監視妨害事象の発生が警告を引き起こすということを、監視妨害事象を発生させた人や動物に対して知らせることができるため、次回の監視妨害事象の発生を抑止することができる。
また、監視妨害事象の発生有りと判定されたことに応じて、監視カメラ2を視野内に含む他の監視カメラ2により撮像された画像に対し、監視妨害事象の発生有りの旨が対応付けられるので、監視妨害事象を生じさせた原因を容易に確認することができる。
[2.動作]
図2は、装置4の動作を示す。装置4は、ステップS11~S23の処理を行うことにより監視カメラ2による監視を支援する。
ステップS11において受信部41は、監視カメラ2が撮像した画像を受信する。受信部41は、画像を撮像した監視カメラ2のカメラIDおよび撮像時間を併せて受信してよい。
ステップS13において判定部43は、受信した画像に基づいて監視妨害事象の発生の有無(本実施形態では一例として監視妨害事象が発生したか否か)を判定する。判定部43は、監視カメラ2ごとに監視妨害事象の発生の有無を判定してよい。判定部43は、監視カメラ2から受信した画像と、記憶部42に記憶された基準画像との比較結果に基づいて、監視妨害事象の発生の有無を判定してよい。
例えば、判定部43は、受信した画像の構図が基準画像の構図から閾値以上変化したことに応じて、監視妨害事象の発生有りと判定してよい。構図とは、画像内の被写体の構成であってよく、一例として画像内の被写体のうち、視野内で固定された各被写体(固定被写体とも称する)の位置や向きであってよい。固定被写体とは、例えば、壁と天井または床との境界部分や、壁同士の境界部分、手摺、照明、机、棚などであってよい。固定被写体の向きとは、画像の面内の基準線(一例として水平線)となす角度であってもよいし、撮像面となす角度、つまり奥行方向の角度であってもよい。構図が閾値以上に変化するとは、各固定被写体の位置のずれ量の総和が位置ずれ閾値を超えること、または、各固定被写体の角度のずれ量の総和が角度ずれ閾値を超えることの少なくとも一方であってよい。
また、判定部43は、監視カメラ2の合焦状態に基づいて、監視妨害事象の発生の有無を判定してよい。例えば、判定部43は、基準画像の合焦状態と、監視カメラ2から受信した画像の合焦状態とが異なることに応じて、監視妨害事象の発生有りと判定してよい。一例として、判定部43は、基準画像に含まれる固定被写体の領域のシャープネスと、監視カメラ2から受信した画像に含まれる固定被写体の領域のシャープネスとが基準値以上に異なることに応じて、監視妨害事象の発生有りと判定してよい。これに代えて、判定部43は、基準画像との比較を行わずに、監視カメラ2から受信した画像のシャープネスがシャープネス下限値よりも低いことに応じて、監視妨害事象の発生有りと判定してよい。
また、判定部43は、監視カメラ2が撮像した画像の明るさに基づいて、監視妨害事象の発生の有無を判定してよい。画像の明るさは、任意の指標で表されてよく、本実施形態では一例として輝度であるが、明度であってもよい。判定部43は、画像の少なくとも一部の領域の明るさに基づいて、監視妨害事象が発生したかを判定してよい。一例として、判定部43は、基準時間幅に亘って画像の少なくとも一部の領域の明るさが基準画像内の対応領域の明るさに対し、基準量を超えて異なることに応じて、監視妨害事象が発生したと判定してよい。これに代えて、判定部43は、基準画像との比較を行わずに、基準時間幅に亘って画像の少なくとも一部の領域の明るさが明るさ上限値よりも高いこと、または、明るさ下限値よりも低いことの少なくとも一方に応じて、監視妨害事象が発生したと判定してもよい。
また、判定部43は、監視カメラ2が赤外線を照射して撮像した画像(赤外線画像とも称する)に基づいて、監視妨害事象の発生の有無を判定してよい。判定部43は、赤外線の乱反射を検知したことに応じて、監視妨害事象の発生有りと判定してよい。例えば、判定部43は、監視カメラ2から受信した赤外線画像と、基準画像との比較結果により監視妨害事象の発生の有無を判定してよく、基準画像は可視光を用いて撮像された画像であってもよいし、赤外線を照射して撮像された画像であってもよい。これに代えて、判定部43は、基準画像との比較を行わずに、赤外線画像の明るさ、または、シャープネスの少なくとも一方に基づいて監視妨害事象の発生の有無を判定してよい。例えば、判定部43は、赤外線画像の明るさが基準明るさよりも高いことや、赤外線画像のシャープネスが基準シャープネスより低いことに応じて、監視妨害事象の発生有りと判定してよい。
また、判定部43は、監視カメラ2が撮像した動画像の揺れに基づいて、監視妨害事象の発生の有無を判定してよい。例えば、判定部43は、動画像内の基準数毎のフレームを比較して構図が閾値以上変化したことに応じて、監視妨害事象の発生有りと判定してよい。
また、判定部43は、受信部41により画像が受信されないことに応じて監視妨害事象の発生有りと判定してよい。例えば、判定部43は、受信部41から画像が供給されないことに応じて監視妨害事象の発生有りと判定してもよいし、受信部41から供給される画像全体が黒や青、白などの一色である場合に監視妨害事象の発生有りと判定してもよい。
ステップS15において判定部43は、監視妨害事象の発生有りと判定したか否かを判定する。監視妨害事象の発生無しと判定した場合(ステップS15;No)には、ステップS11に処理が移行する。監視妨害事象の発生有りと判定した場合(ステップS15;Yes)には、ステップS17に処理が移行する。
ステップS17において警告部45は、監視妨害事象を発生させた人または動物に対し、監視カメラ2を介して警告を行う。警告部45は、基準時間(一例として10秒)間に警告を継続させてよい。なお、このステップS17の処理から後述のステップS23までの処理は、他の順に行われてもよいし、並行して行われてもよい。
ステップS19において通知部44は、監視妨害事象の発生を管理者端末5に通知する。これにより、管理者によって監視妨害事象が解消される。
ステップS21において画像管理部46は、監視妨害事象が生じた監視カメラ2を視野内に含む他の監視カメラ2Aが撮像した画像に対し、監視妨害事象が発生した旨を対応付ける。一例として、画像管理部46は、記憶部42に記憶された各画像のうち、監視妨害事象の発生時刻を含む時間帯に他の各監視カメラ2Aが撮像した画像に対し、監視妨害事象が発生した旨のタグを付けてよい。タグには、監視妨害事象が発生した監視カメラ2のカメラIDが含まれてもよい。
ステップS23において学習処理部48は、監視妨害事象の発生有りの場合において監視カメラ2が撮像した画像に基づいて、推定モデル47に学習処理を行う。
学習処理部48は、監視妨害事象が発生した監視カメラ2が撮像した画像と、当該画像で生じた監視妨害事象の種類(または、当該画像で生じる監視妨害事象の種類)とを含む学習データを用いて推定モデル47に学習処理を行ってよい。これにより、推定モデル47は、各種類の監視妨害事象について発生有無が推定可能となる。
なお、監視妨害事象の種類とは、一例として、監視カメラ2の視野の少なくとも一部が遮られることや、監視カメラ2の位置や向きが変えられること、監視カメラ2のケーブルが切断されること等であってよい。監視妨害事象の種類は、装置4のオペレータ等によって入力されてよい。
また、学習処理部48は、監視妨害事象の種類に加えて、または、これに代えて、監視カメラ2による撮像時刻を含む学習データを用いて推定モデル47に学習処理を行ってもよい。これにより、推定モデル47は、撮像時刻によって監視妨害事象の写り方が異なる場合に、撮像時刻に応じた推定が可能となる。
なお、推定モデル47に対して学習処理が十分に行われた場合(一例として、基準数の学習処理が行われた場合や、推定モデル47による推定精度が基準精度以上になった場合)には、推定モデル47は、判定部43による判定に用いられてよい。この場合には、ステップS13の処理において判定部43は、推定モデル47により監視妨害事象の発生が推定されることに応じて、監視妨害事象の発生有りと判定してよい。また、この推定モデル47は、通信部40を介して図示しない配信サーバに格納され、当該配信サーバから他の装置4に供給されて、判定部43による判定に用いられてもよい。
以上の動作によれば、監視カメラ2から受信した画像の構図が基準画像の構図から閾値以上に変化したことに応じて監視妨害事象の発生有りと判定されるので、監視妨害事象の発生を正確に検知することができる。
また、監視カメラ2の合焦状態に基づいて監視妨害事象が発生したかが判定されるので、監視カメラ2が動かされたり、監視カメラ2に袋が被せられたりスプレーにより液体や泡が掛けられたりする等の監視妨害事象を検知することができる。
また、画像の明るさに基づいて監視妨害事象の発生の有無が判定されるので、監視カメラ2に袋が被せられたり、スプレーにより液体や泡が掛けられたり、ガムが付けられたりする等の監視妨害事象を検知することができる。また、ケーブルの断線により画像全体が黒や青、白などの一色になる場合にも監視妨害事象の発生有りと判定されるので、ケーブルの断線を検知することができる。
また、赤外線を照射して撮像した画像に基づいて監視妨害事象の発生の有無が判定されるので、赤外線画像に影響を与える蜘蛛の巣などの物体により監視カメラ2の視野が遮られる監視妨害事象を検知することができる。
また、撮像された動画像の揺れに基づいて監視妨害事象の発生有無が判定されるので、監視カメラ2が動かされたり、監視カメラ2にごみが付けられたりするなどの監視妨害事象を検知することができる。
また、画像が受信されないことに応じて監視妨害事象の発生有りと判定されるので、監視カメラ2の電源ケーブルや、監視カメラ2と装置との間の通信ケーブルが切断される等の監視妨害事象を検知することができる。
[3.変形例]
図3は、変形例に係る警備システム1Aを示す。なお、本実施形態に係る警備システム1Aにおいて、図1に示された警備システム1の構成と略同一のものには同一の符号を付け、説明を省略する。
警備システム1Aは、複数の監視システム11Aを備える。各監視システム11Aは、装置4Aと、画像を当該装置4Aに供給する1または複数の監視カメラ2とを有する。従って、警備システム1Aには、それぞれ1または複数の監視カメラ2と対応付けられた複数の装置4Aが具備される。各装置4Aは、設備などに分散して配置されてよい。複数の監視システム11Aのうち、一の監視システム11Aにおける監視カメラ2は、他の監視システム11Aにおける監視カメラ2を視野内に含んでよい。
各装置4Aは、画像管理部46Aを有する。画像管理部46Aは、他の装置4Aの画像管理部46Aと協働して、第1の監視カメラ2で監視妨害事象の発生有りと判定されたこと(本実施形態では一例として、監視妨害事象が発生したと判定されたこと)に応じて、第2の監視カメラ2が撮像した画像に対し、監視妨害事象が発生した旨を対応付ける。
例えば、一の監視システム11Aにおける第1の監視カメラ2が他の監視システム11Aにおける第2の監視カメラ2の視野内に含まれる状態で、第1の監視カメラ2に監視妨害事象の発生有りと判定される場合に、一の監視システム11Aにおける装置4Aの画像管理部46A(画像管理部46A(1)とも称する)と、他の監視システム11Aにおける他の装置4Aの画像管理部46A(画像管理部46A(2)とも称する)とが協働して画像を管理してよい。
一の監視システム11Aの画像管理部46A(1)は、当該一の監視システム11Aにおける少なくとも1つの監視カメラ2(本実施形態では一例として、一の監視システム11Aの各監視カメラ2)のカメラIDに対し、当該監視カメラ2を視野内に含む他の各監視カメラ2のカメラIDと、当該他の監視カメラ2から画像が供給される装置4Aの識別情報(装置IDとも称する)とを対応付けたテーブル(図示せず)を有してよい。画像管理部46A(1)は、このテーブルを参照して、監視妨害事象が発生した第1の監視カメラ2を視野内に含む各第2の監視カメラ2と、当該第2の監視カメラ2による画像の供給先の装置4Aとを検出してよい。画像管理部46A(1)は、通信部40を介して、検出された装置4Aに対し、検出された第2の監視カメラ2のカメラIDと、監視妨害事象が発生した第1の監視カメラ2のカメラIDと、発生時刻とを供給してよい。
一方、他の監視システム11Aの画像管理部46A(2)は、当該他の監視システム11Aに属する第2の監視カメラ2のカメラIDと共に、監視妨害事象が発生した第1の監視カメラ2のカメラIDと、発生時刻とが通信部40を介して供給されることに応じて、記憶部42に記憶された各画像のうち、第2の監視カメラ2が撮像した画像に対し、第1の監視カメラ2で監視妨害事象が発生した旨を対応付けてよい。画像管理部46A(2)は、監視妨害事象の発生時刻を含む時間帯に第2の監視カメラ2が撮像した少なくとも1つの画像に対し、監視妨害事象が発生した旨を対応付けてよい。
以上の装置4Aによれば、他の装置4Aと協働して、第1の監視カメラ2で監視妨害事象の発生有りと判定されたことに応じて、第2の監視カメラ2が撮像した画像に対し、監視妨害事象が発生した旨を対応付けることができる。
[4.その他の変形例]
なお、上記の実施形態および変形例においては、装置4は、記憶部42と、警告部45と、画像管理部46,46Aと、推定モデル47と、学習処理部48とを有することとして説明したが、これらの何れかを有しないこととしてもよい。例えば、装置4が記憶部42を有しない場合には、判定部43は、基準画像との比較を行わずに監視妨害事象の発生の有無を判定してよい。また、装置4が推定モデル47を有しない場合には、学習処理部48は、装置4に外部接続された推定モデル47の学習処理を行ってよく、判定部43は、装置4に外部接続されて学習処理が行われた推定モデル47を用いて判定を行ってよい。
また、画像管理部46,46Aは記憶部42に記憶された各画像のうち、監視妨害事象が発生した監視カメラ2を視野内に含む他の監視カメラ2Aが撮像した画像に対し、監視妨害事象が発生した旨を対応付けることとして説明したが、この画像を記憶部42から読み出して監視妨害事象が発生した旨と対応付けて、他の機器からアクセス可能なファイルサーバ(図示せず)にアップロードしてもよい。
また、記憶部42に記憶される基準画像は、監視基準事象が発生していない状態を示すこととして説明したが、監視妨害事象が発生した状態を示してもよい。この場合には、記憶部42は、監視妨害事象の種類ごとに基準画像を記憶してよい。また、判定部43は、受信した画像が基準画像と近似することに応じて監視妨害事象が発生したと判定してよい。一例として、判定部43は、受信した画像の構図と、基準画像の構図との差異が閾値未満であることに応じて、監視妨害事象の発生有りと判定してよい。また、判定部43は、受信した画像の合焦状態と、基準画像の合焦状態とが近似することに応じて、監視妨害事象の発生有りと判定してよい。
また、判定部43は、監視妨害事象が発生したか否かを判定することとして説明したが、監視妨害事象が発生するか否かを判定することとしてもよい。この場合には、判定部43は、監視妨害事象が発生する直前の状態を示す基準画像と、監視カメラ2から受信した画像とが近似することに応じて監視妨害事象が発生すると判定してよい。また、判定部43は警告部45による警告後に改めて判定を行ってよく、警告後の判定において監視妨害事象が発生しないと判定されることに応じて、警告部45は警告を終了し、通知部44は通知を行わなくてもよい。また、学習処理部48は、監視妨害事象が発生するか否かを推定する推定モデル47に対し、監視妨害事象が発生すると判定された画像を用いて学習処理を行ってよい。これに代えて、学習処理部48は、監視妨害事象が発生したか否かを推定する推定モデル47に対し、監視妨害事象が発生すると判定された画像(一例として動画像から抽出されるフレーム)より基準時間(一例として1分)だけ後に撮像された画像を用いて学習処理を行ってよい。
また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および/またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび/またはアナログハードウェア回路を含んでよく、集積回路(IC)および/またはディスクリート回路を含んでよい。プログラマブル回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、および「C」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
図4は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ2200の例を示す。コンピュータ2200にインストールされたプログラムは、コンピュータ2200に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の1または複数のセクションとして機能させることができ、または当該操作または当該1または複数のセクションを実行させることができ、および/またはコンピュータ2200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ2200に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、CPU2212によって実行されてよい。
本実施形態によるコンピュータ2200は、CPU2212、RAM2214、グラフィックコントローラ2216、およびディスプレイデバイス2218を含み、それらはホストコントローラ2210によって相互に接続されている。コンピュータ2200はまた、通信インタフェース2222、ハードディスクドライブ2224、DVD-ROMドライブ2226、およびICカードドライブのような入/出力ユニットを含み、それらは入/出力コントローラ2220を介してホストコントローラ2210に接続されている。コンピュータはまた、ROM2230およびキーボード2242のようなレガシの入/出力ユニットを含み、それらは入/出力チップ2240を介して入/出力コントローラ2220に接続されている。
CPU2212は、ROM2230およびRAM2214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ2216は、RAM2214内に提供されるフレームバッファ等またはそれ自体の中にCPU2212によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス2218上に表示されるようにする。
通信インタフェース2222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ2224は、コンピュータ2200内のCPU2212によって使用されるプログラムおよびデータを格納する。DVD-ROMドライブ2226は、プログラムまたはデータをDVD-ROM2201から読み取り、ハードディスクドライブ2224にRAM2214を介してプログラムまたはデータを提供する。ICカードドライブは、プログラムおよびデータをICカードから読み取り、および/またはプログラムおよびデータをICカードに書き込む。
ROM2230はその中に、アクティブ化時にコンピュータ2200によって実行されるブートプログラム等、および/またはコンピュータ2200のハードウェアに依存するプログラムを格納する。入/出力チップ2240はまた、様々な入/出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入/出力コントローラ2220に接続してよい。
プログラムが、DVD-ROM2201またはICカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ2224、RAM2214、またはROM2230にインストールされ、CPU2212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ2200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ2200の使用に従い情報の操作または処理を実現することによって構成されてよい。
例えば、通信がコンピュータ2200および外部デバイス間で実行される場合、CPU2212は、RAM2214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース2222に対し、通信処理を命令してよい。通信インタフェース2222は、CPU2212の制御下、RAM2214、ハードディスクドライブ2224、DVD-ROM2201、またはICカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
また、CPU2212は、ハードディスクドライブ2224、DVD-ROMドライブ2226(DVD-ROM2201)、ICカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM2214に読み取られるようにし、RAM2214上のデータに対し様々なタイプの処理を実行してよい。CPU2212は次に、処理されたデータを外部記録媒体にライトバックする。
様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU2212は、RAM2214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM2214に対しライトバックする。また、CPU2212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU2212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ2200上またはコンピュータ2200近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ2200に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
1 警備システム
2 監視カメラ
4 装置
5 管理者端末
10 通信ネットワーク
11 監視システム
40 通信部
41 受信部
42 記憶部
43 判定部
44 通知部
45 警告部
46 画像管理部
47 推定モデル
48 学習処理部
2200 コンピュータ
2201 DVD-ROM
2210 ホストコントローラ
2212 CPU
2214 RAM
2216 グラフィックコントローラ
2218 ディスプレイデバイス
2220 入/出力コントローラ
2222 通信インタフェース
2224 ハードディスクドライブ
2226 DVD-ROMドライブ
2230 ROM
2240 入/出力チップ
2242 キーボード

Claims (18)

  1. 監視カメラが撮像した画像を受信する受信部と、
    受信した前記画像に基づいて、前記監視カメラを用いた監視を妨害する事象の発生の有無を判定する判定部と、
    前記事象の発生有りと判定されたことに応じて、その旨を前記監視カメラの管理者に通知する通知部と
    監視を妨害する事象の発生有りの場合において前記監視カメラが撮像した画像に基づいて、前記監視カメラが撮像した画像から前記事象の発生の有無を推定する推定モデルに学習処理を行う学習処理部と、
    を備え
    前記学習処理部は、前記事象の発生有りの場合において前記監視カメラが撮像した画像と、当該画像の撮像時刻とを含む学習データを用いて学習処理を行う、装置。
  2. 前記監視カメラが過去に撮像した過去画像に基づく基準画像を記憶する記憶部を更に備え、
    前記判定部は、受信した前記画像および前記基準画像の比較結果に基づいて、前記事象の発生の有無を判定する、請求項1に記載の装置。
  3. 前記判定部は、受信した前記画像の構図が前記基準画像の構図から閾値以上変化したことに応じて、前記事象の発生有りと判定する、請求項2に記載の装置。
  4. 前記判定部は、前記監視カメラの合焦状態に基づいて、前記事象の発生の有無を判定する、請求項2または3に記載の装置。
  5. 前記判定部は、前記監視カメラが撮像した画像の明るさに基づいて、前記事象の発生の有無を判定する、請求項1から4の何れか一項に記載の装置。
  6. 前記判定部は、前記監視カメラが赤外線を照射して撮像した画像における赤外線の乱反射の有無、当該画像の明るさが基準明るさよりも高いこと、または、当該画像のシャープネスが基準シャープネスより低いことに基づいて、前記事象の発生の有無を判定する、請求項1から5の何れか一項に記載の装置。
  7. 前記判定部は、前記監視カメラが撮像した動画像の揺れに基づいて、前記事象の発生の有無を判定する、請求項1からの何れか一項に記載の装置。
  8. 前記判定部は、前記受信部により画像が受信されないことに応じて前記事象の発生有りと判定する、請求項1からの何れか一項に記載の装置。
  9. 前記判定部は、前記事象が発生したか否かを判定する、請求項1からの何れか一項に記載の装置。
  10. 前記判定部は、前記事象が発生するか否かを判定する、請求項1からの何れか一項に記載の装置。
  11. 前記事象の発生有りと判定されたことに応じて、前記事象を発生させた人または動物に対し、前記監視カメラを介して警告を行う警告部を更に備える、請求項1から10の何れか一項に記載の装置。
  12. 前記事象の発生有りと判定されたことに応じて、前記監視カメラを視野内に含む他の監視カメラが撮像した画像に対し、前記事象の発生有りの旨を対応付ける画像管理部を更に備える、請求項1から11の何れか一項に記載の装置。
  13. 前記受信部は、複数の前記監視カメラが撮像した画像を受信し、
    前記画像管理部は、前記複数の監視カメラのうち一の監視カメラについて前記事象の発生有りと判定されたことに応じて、前記複数の監視カメラのうち少なくとも1つの監視カメラの識別情報に対し、当該監視カメラを視野内に含む他の各監視カメラの識別情報を対応付けたテーブルを用いて、前記一の監視カメラを視野内に含む前記他の各監視カメラを検出する、請求項12に記載の装置。
  14. 前記画像管理部は、前記事象の発生有りと判定されたことに応じて、前記監視カメラを視野内に含む他の監視カメラにより、前記事象の発生時刻を含む時間帯に撮像された画像に対し、前記事象の発生有りの旨を対応付ける、請求項12または13に記載の装置。
  15. 請求項1から1の何れか一項に記載の装置と、
    撮像した画像を前記装置に供給する1または複数の監視カメラと、
    を備えるシステム。
  16. 前記装置を複数備える、請求項1に記載のシステム。
  17. 監視カメラが撮像した画像を受信する受信段階と、
    受信した前記画像に基づいて、前記監視カメラを用いた監視を妨害する事象の発生の有無を判定する判定段階と、
    前記事象の発生有りと判定されたことに応じて、その旨を前記監視カメラの管理者に通知する通知段階と
    監視を妨害する事象の発生有りの場合において前記監視カメラが撮像した画像に基づいて、前記監視カメラが撮像した画像から前記事象の発生の有無を推定する推定モデルに学習処理を行う学習処理段階と、
    を備え、
    前記学習処理段階では、前記事象の発生有りの場合において前記監視カメラが撮像した画像と、当該画像の撮像時刻とを含む学習データを用いて学習処理を行う方法。
  18. コンピュータを、
    監視カメラが撮像した画像を受信する受信部と、
    受信した前記画像に基づいて、前記監視カメラを用いた監視を妨害する事象の発生の有無を判定する判定部と、
    前記事象の発生有りと判定されたことに応じて、その旨を前記監視カメラの管理者に通知する通知部と、
    監視を妨害する事象の発生有りの場合において前記監視カメラが撮像した画像に基づいて、前記監視カメラが撮像した画像から前記事象の発生の有無を推定する推定モデルに学習処理を行う学習処理部
    として機能させ
    前記学習処理部は、前記事象の発生有りの場合において前記監視カメラが撮像した画像と、当該画像の撮像時刻とを含む学習データを用いて学習処理を行うプログラム。
JP2020178477A 2020-10-23 2020-10-23 装置、システム、方法およびプログラム Active JP7415872B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020178477A JP7415872B2 (ja) 2020-10-23 2020-10-23 装置、システム、方法およびプログラム
US17/449,817 US20220130232A1 (en) 2020-10-23 2021-10-04 Apparatus, system, method and storage medium
EP21202452.5A EP3989196B1 (en) 2020-10-23 2021-10-13 Apparatus, system, method and program
CN202111232421.3A CN114494987A (zh) 2020-10-23 2021-10-22 装置、系统、方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020178477A JP7415872B2 (ja) 2020-10-23 2020-10-23 装置、システム、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2022069339A JP2022069339A (ja) 2022-05-11
JP7415872B2 true JP7415872B2 (ja) 2024-01-17

Family

ID=78179295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020178477A Active JP7415872B2 (ja) 2020-10-23 2020-10-23 装置、システム、方法およびプログラム

Country Status (4)

Country Link
US (1) US20220130232A1 (ja)
EP (1) EP3989196B1 (ja)
JP (1) JP7415872B2 (ja)
CN (1) CN114494987A (ja)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266114A (ja) 2000-03-23 2001-09-28 Secom Co Ltd 画像センサ
JP2003153245A (ja) 2001-11-15 2003-05-23 Chuo Electronics Co Ltd 静止画像伝送方式の監視装置における監視用カメラの異常検出方法
JP2003263255A (ja) 2002-03-11 2003-09-19 Fujitsu Ltd 通信を行うためのプログラム
JP2004080090A (ja) 2002-08-09 2004-03-11 Hitachi Ltd 監視部ユニット、それを用いた監視システム、及び異常監視方法
JP2005033376A (ja) 2003-07-09 2005-02-03 Toshiba Corp 監視カメラシステム
JP2005263255A (ja) 2004-03-18 2005-09-29 Tokiko Techno Kk 計量機
JP2007079659A (ja) 2005-09-12 2007-03-29 Nec Engineering Ltd 監視装置
CN101000701A (zh) 2006-01-10 2007-07-18 晓星株式会社 用于避免挡住安全摄像机和非法取款的自动金融交易设备和方法
JP2009005198A (ja) 2007-06-25 2009-01-08 Hitachi Ltd 映像監視システム
JP2010056814A (ja) 2008-08-28 2010-03-11 Secom Co Ltd 画像監視装置およびプログラム
JP2012034147A (ja) 2010-07-30 2012-02-16 Hitachi Ltd カメラ異常検出装置を有する監視カメラシステム
CN103716618A (zh) 2012-10-09 2014-04-09 中兴保全股份有限公司 摄影机的异常侦测方法
JP2014534786A (ja) 2011-11-22 2014-12-18 ペルコ インコーポレーテッドPelco, Inc. 地図に基づいた制御
JP2016206849A (ja) 2015-04-20 2016-12-08 河村電器産業株式会社 監視カメラシステム
JP6525229B1 (ja) 2019-01-25 2019-06-05 株式会社 テクノミライ デジタルサーチ・セキュリティシステム、方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5877897A (en) * 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US5831669A (en) * 1996-07-09 1998-11-03 Ericsson Inc Facility monitoring system with image memory and correlation
AU5810998A (en) * 1996-12-23 1998-07-17 Esco Electronics Corporation Low false alarm rate video security system using object classification
WO2006038073A2 (en) * 2004-10-04 2006-04-13 Gavin Hough Image processing
EP1672604A1 (de) * 2004-12-16 2006-06-21 Siemens Schweiz AG Verfahren und Einrichtung zur Detektion von Sabotage an einer Überwachungskamera
DE102007024868A1 (de) * 2006-07-21 2008-01-24 Robert Bosch Gmbh Bildverarbeitungsvorrichtung, Überwachungssystem, Verfahren zur Erzeugung eines Szenenreferenzbildes sowie Computerprogramm
JP2008053987A (ja) * 2006-08-24 2008-03-06 Funai Electric Co Ltd 情報記録再生装置
JP4803376B2 (ja) * 2006-09-22 2011-10-26 サクサ株式会社 カメラ妨害検知方式
EP1936576B1 (en) * 2006-12-20 2011-08-17 Axis AB Camera tampering detection
KR100975359B1 (ko) * 2008-07-14 2010-08-11 김민수 다기능 감시카메라
WO2014208575A1 (ja) * 2013-06-28 2014-12-31 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
JP6431257B2 (ja) * 2013-10-21 2018-11-28 キヤノン株式会社 ネットワークシステム及びネットワークデバイスの管理方法、ネットワークデバイスおよびその制御方法とプログラム、管理システム
JP6305110B2 (ja) 2014-02-28 2018-04-04 キヤノン株式会社 撮像装置、及び撮像システム
JP2015222488A (ja) * 2014-05-22 2015-12-10 株式会社東芝 紙葉類処理システム及び紙葉類処理装置
US20160292511A1 (en) * 2015-03-31 2016-10-06 Gopro, Inc. Scene and Activity Identification in Video Summary Generation
US9930320B2 (en) * 2016-05-04 2018-03-27 Apple Inc. Resolving three dimensional spatial information using time-shared structured lighting that embeds digital communication
US10867217B1 (en) * 2017-09-01 2020-12-15 Objectvideo Labs, Llc Fusion of visual and non-visual information for training deep learning models

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001266114A (ja) 2000-03-23 2001-09-28 Secom Co Ltd 画像センサ
JP2003153245A (ja) 2001-11-15 2003-05-23 Chuo Electronics Co Ltd 静止画像伝送方式の監視装置における監視用カメラの異常検出方法
JP2003263255A (ja) 2002-03-11 2003-09-19 Fujitsu Ltd 通信を行うためのプログラム
JP2004080090A (ja) 2002-08-09 2004-03-11 Hitachi Ltd 監視部ユニット、それを用いた監視システム、及び異常監視方法
JP2005033376A (ja) 2003-07-09 2005-02-03 Toshiba Corp 監視カメラシステム
JP2005263255A (ja) 2004-03-18 2005-09-29 Tokiko Techno Kk 計量機
JP2007079659A (ja) 2005-09-12 2007-03-29 Nec Engineering Ltd 監視装置
CN101000701A (zh) 2006-01-10 2007-07-18 晓星株式会社 用于避免挡住安全摄像机和非法取款的自动金融交易设备和方法
JP2009005198A (ja) 2007-06-25 2009-01-08 Hitachi Ltd 映像監視システム
JP2010056814A (ja) 2008-08-28 2010-03-11 Secom Co Ltd 画像監視装置およびプログラム
JP2012034147A (ja) 2010-07-30 2012-02-16 Hitachi Ltd カメラ異常検出装置を有する監視カメラシステム
JP2014534786A (ja) 2011-11-22 2014-12-18 ペルコ インコーポレーテッドPelco, Inc. 地図に基づいた制御
CN103716618A (zh) 2012-10-09 2014-04-09 中兴保全股份有限公司 摄影机的异常侦测方法
JP2016206849A (ja) 2015-04-20 2016-12-08 河村電器産業株式会社 監視カメラシステム
JP6525229B1 (ja) 2019-01-25 2019-06-05 株式会社 テクノミライ デジタルサーチ・セキュリティシステム、方法及びプログラム

Also Published As

Publication number Publication date
US20220130232A1 (en) 2022-04-28
EP3989196B1 (en) 2023-05-03
EP3989196A1 (en) 2022-04-27
CN114494987A (zh) 2022-05-13
JP2022069339A (ja) 2022-05-11

Similar Documents

Publication Publication Date Title
US20230215251A1 (en) Providing emergency egress guidance via peer-to-peer communication among distributed egress advisement devices
US9336444B2 (en) System and method for occupancy detection using differential image sensing and optical markers
US9734464B2 (en) Automatically generating labor standards from video data
US9858482B2 (en) Mobile augmented reality for managing enclosed areas
KR20170022912A (ko) 사용자 설정가능 인터랙티브 영역 모니터링 장치 및 방법
US20170155877A1 (en) System and method for predicting patient falls
US20090089108A1 (en) Method and apparatus for automatically identifying potentially unsafe work conditions to predict and prevent the occurrence of workplace accidents
CN111770317B (zh) 用于智慧社区的视频监控方法、装置、设备及介质
Zhang et al. Multi-target tracking of surveillance video with differential YOLO and DeepSort
US20240152985A1 (en) Systems and methods for providing geolocation services in a mobile-based crowdsourcing platform
US20200387719A1 (en) Visualization of predicted crowd behavior for surveillance
TW202008320A (zh) 無人結算場景中異常檢測方法、裝置及設備
CN106663196A (zh) 视频中的计算机显著人物识别
TW200903386A (en) Target detection and tracking from video streams
Yang et al. Clustering method for counting passengers getting in a bus with single camera
CN111163285A (zh) 高空抛坠物监测方法及其系统、计算机可读存储介质
RU2713876C1 (ru) Способ и система выявления тревожных событий при взаимодействии с устройством самообслуживания
TW201246089A (en) Method for setting dynamic environmental image borders and method for instantly determining the content of staff member activities
Qiu et al. Pedestrian detection and counting method based on YOLOv5+ DeepSORT
KR101225366B1 (ko) 화상을 통한 화장실 관리 시스템 및 방법
JP2024520375A (ja) マルチカメラ追跡のための半自動データ収集および関連付け
JP7415872B2 (ja) 装置、システム、方法およびプログラム
JP7371595B2 (ja) 装置、システム、方法およびプログラム
CN113076791A (zh) 用于监视摄像机的接近对象检测
CN107016673A (zh) 铁路信号机柜状态灯图像分析方法、装置以及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230307

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7415872

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150