JP6742623B1 - 監視装置、監視方法、及びプログラム - Google Patents

監視装置、監視方法、及びプログラム Download PDF

Info

Publication number
JP6742623B1
JP6742623B1 JP2019205766A JP2019205766A JP6742623B1 JP 6742623 B1 JP6742623 B1 JP 6742623B1 JP 2019205766 A JP2019205766 A JP 2019205766A JP 2019205766 A JP2019205766 A JP 2019205766A JP 6742623 B1 JP6742623 B1 JP 6742623B1
Authority
JP
Japan
Prior art keywords
captured image
abnormality
monitoring
unit
monitoring target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019205766A
Other languages
English (en)
Other versions
JP2021077295A (ja
Inventor
尚範 伊達
尚範 伊達
直広 早石
直広 早石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KEISUUGIKEN CORPORATION
Original Assignee
KEISUUGIKEN CORPORATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KEISUUGIKEN CORPORATION filed Critical KEISUUGIKEN CORPORATION
Priority to JP2019205766A priority Critical patent/JP6742623B1/ja
Application granted granted Critical
Publication of JP6742623B1 publication Critical patent/JP6742623B1/ja
Priority to PCT/JP2020/034939 priority patent/WO2021095351A1/ja
Priority to US17/776,402 priority patent/US20230061044A1/en
Priority to CN202080092771.1A priority patent/CN115004269B/zh
Publication of JP2021077295A publication Critical patent/JP2021077295A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B17/00—Fire alarms; Alarms responsive to explosion
    • G08B17/12—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions
    • G08B17/125—Actuation by presence of radiation or particles, e.g. of infrared radiation or of ions by using a video camera to detect fire or smoke
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】監視対象の複数の種類のうち、撮影画像に含まれる監視対象の種類に応じた異常を適切に検出することができる監視装置を提供する。【解決手段】監視装置１は、監視対象の撮影画像を取得する撮影画像取得部１１と、撮影画像に含まれる監視対象の種類を判定する判定部１３と、判定部１３によって判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、撮影画像を適用することによって異常を検出する異常検出部１６と、異常検出部１６によって異常が検出された場合に、異常の検出に関する出力を行う出力部１７とを備える。このような構成により、撮影画像に含まれる監視対象の種類に対応する監視用モデルを用いて異常を検出することができ、実際に撮影された監視対象に応じた異常検出を行うことが可能となる。【選択図】図１

Description

本発明は、異常を検出するためのモデルを用いて撮影画像に含まれる監視対象に関する異常を検出する監視装置等に関する。
従来、撮影画像を用いて、自動的に交通事故を検出したり、煙を検出したりすることが行われている（例えば、特許文献１参照）。したがって、例えば、監視対象が決まっている場合には、そのような従来技術を用いることによって、撮影画像から交通事故を検出したり、煙を検出したりすることができ、交通事故や火災に迅速に対応することができるようになる。
特開２０１６−１１０２６３号公報
しかしながら、上記従来技術では、交通事故の検出のためには、交通事故を検出するための装置を用い、火災の検出のためには、煙を検出するための装置を用いるなどのように、検出対象の異常ごとに使用する装置が異なるため、監視の目的に応じた装置を用意する必要があり煩雑であった。
本発明は、上記課題を解決するためになされたものであり、複数の種類の監視対象のうち、撮影画像に含まれる監視対象の種類に応じた異常を適切に検出することができる装置等を提供することを目的とする。
上記目的を達成するため、本発明による監視装置は、監視対象の撮影画像を取得する撮影画像取得部と、撮影画像取得部によって取得された撮影画像に含まれる監視対象の種類を判定する判定部と、判定部によって判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部と、異常検出部によって異常が検出された場合に、異常の検出に関する出力を行う出力部と、を備えたものである。
このような構成により、撮影画像に含まれる監視対象の種類に対応する監視用モデルを用いて異常を自動的に検出することができる。したがって、例えば、装置を設置するまでは監視対象が未定である場合であっても、実際に撮影された監視対象に応じた異常検出を行うことが可能となる。
また、本発明による監視装置では、複数の監視用モデルを保持しているサーバから、判定部によって判定された監視対象の種類に対応する監視用モデルを取得するモデル取得部をさらに備え、異常検出部は、モデル取得部によって取得された監視用モデルを用いて異常の検出を行ってもよい。
このような構成により、監視対象の複数の種類にそれぞれ対応する複数の監視用モデルをあらかじめ装置で保持していなくてもよいことになり、監視用モデルを保持するためのメモリ等の容量が少なくてもよいことになる。
また、本発明による監視装置では、異常検出部は、判定部によって撮影画像に含まれると判定された監視対象の種類が複数である場合に、判定結果である監視対象の複数の種類にそれぞれ対応する複数の監視用モデルを用いて異常の検出を行ってもよい。
このような構成により、撮影画像に含まれる監視対象の複数の種類にそれぞれ応じた異常の検出を行うことができるようになる。
また、本発明による監視装置では、異常検出部は、判定部によって撮影画像に含まれると判定された監視対象の種類が複数である場合に、判定結果である監視対象の各種類に対応する撮影画像の部分ごとに、監視対象の種類に対応する監視用モデルを用いて異常の検出を行ってもよい。
このような構成により、監視対象の種類に対応する撮影画像の部分ごとに、その種類に対応する監視用モデルを用いて異常の検出を行うため、より精度の高い異常の検出を行うことができるようになる。
また、本発明による監視装置では、監視用モデルは、検出対象の異常に対応するものであり、監視対象の種類と１以上の検出対象の異常とを対応付ける複数の対応情報が記憶される対応情報記憶部をさらに備え、異常検出部は、判定部によって判定された監視対象の種類に、対応情報によって対応付けられる１以上の監視用モデルを用いて異常の検出を行ってもよい。
このような構成により、検出対象の異常ごとの監視用モデルを用意することによって、種々の監視対象の異常を検出することができるようになる。したがって、監視用モデルの準備がより簡単になるというメリットがある。
また、本発明による監視装置では、監視用モデルは、撮影画像である訓練用入力情報と、訓練用入力情報の撮影画像に含まれる監視対象に関する異常の有無を示す訓練用出力情報との組を複数用いて学習された学習器であってもよい。
このような構成により、学習結果である学習器を用いることによって、異常の検出を行うことができる。
また、本発明による監視装置では、出力部は、異常検出部によって検出された異常に対応する確信度に応じて、異なる出力を行ってもよい。
このような構成により、例えば、確信度が低い場合には、特定の管理者等にのみ出力を行い、確信度が高い場合には、警察や消防などの公的な機関にも出力を行うようにすることができ、異常の発生に対してより適切な対応を行うことができるようになる。
また、本発明による監視装置では、撮影画像には音声も含まれており、異常検出部は、撮影画像に含まれる音声をも用いて異常を検出してもよい。
このような構成により、音声をも用いることによって、より幅の広い異常について検出を行うことができるようになる。
また、本発明による監視方法は、撮影画像取得部と、判定部と、異常検出部と、出力部とを用いて処理される監視方法であって、撮影画像取得部が、監視対象の撮影画像を取得する撮影画像取得ステップと、判定部が、撮影画像取得ステップにおいて取得された撮影画像に含まれる監視対象の種類を判定する判定ステップと、異常検出部が、判定ステップにおいて判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、撮影画像取得ステップにおいて取得された撮影画像を適用することによって異常を検出する異常検出ステップと、出力部が、異常検出ステップにおいて異常が検出された場合に、異常の検出に関する出力を行う出力ステップと、を備えたものである。
本発明による監視装置等によれば、複数の種類の監視対象のうち、撮影画像に含まれる監視対象の種類に対応する監視用モデルを用いて異常を検出することができる。
本発明の実施の形態による監視装置の構成を示すブロック図 同実施の形態による監視装置の動作を示すフローチャート 同実施の形態における訓練用入力情報の一例を示す図 同実施の形態における訓練用入力情報の一例を示す図 同実施の形態における監視装置の一例を示す外観図 同実施の形態における撮影画像の一例を示す図 同実施の形態における撮影画像における監視対象の種類に応じた部分の一例を示す図 同実施の形態における監視対象の種類とモデル識別子との対応の一例を示す図 同実施の形態における監視対象の種類とモデル識別子との対応の一例を示す図 同実施の形態による監視装置の他の構成を示すブロック図 同実施の形態における対応情報の一例を示す図 同実施の形態における検出対象の異常とモデル識別子との対応の一例を示す図 同実施の形態における確信度と出力先との対応の一例を示す図 同実施の形態におけるコンピュータシステムの構成の一例を示す図
以下、本発明による監視装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本実施の形態による監視装置は、撮影画像に含まれる監視対象の種類を判定し、その判定結果に対応するモデルを用いて、異常を検出するものである。
図１は、本実施の形態による監視装置１の構成を示すブロック図である。本実施の形態による監視装置１は、撮影画像取得部１１と、撮影画像記憶部１２と、判定部１３と、モデル取得部１４と、モデル記憶部１５と、異常検出部１６と、出力部１７とを備える。監視装置１は、例えば、図４で示されるように、監視カメラと一体に構成された装置であってもよく、または、監視カメラから撮影画像を取得して異常の検出に関する処理を行う装置であってもよい。本実施の形態では、前者の場合について主に説明する。
撮影画像取得部１１は、監視対象の撮影画像を取得する。連続した監視を行う観点から、撮影画像は、繰り返して取得されることが好適である。撮影画像は、動画像に含まれるフレームであってもよい。監視対象は、異常の検出を行う対象となるものであり、例えば、道路、建物の外側、建物の内側、商店街、河川、海、山等であってもよい。撮影画像は、例えば、カラー画像であってもよく、グレースケール画像であってもよいが、より精度の高い異常の検出を実現する観点からは、カラー画像であることが好適である。また、撮影画像は、例えば、音声を含んでいてもよく、そうでなくてもよい。撮影画像が音声を含む場合に、例えば、撮影画像に含まれる画像と音声とが同期していてもよい。
撮影画像取得部１１は、例えば、カメラ等の光学機器によって撮影画像を取得してもよく、カメラ等の光学機器によって取得された撮影画像を受け付けてもよい。撮影画像取得部１１が光学機器によって撮影画像を取得する場合であって、撮影画像に音声も含まれる場合には、撮影画像取得部１１は、その音声をマイクロフォン等によって取得してもよい。その音声は、撮影対象の付近において発生した音であることが好適である。撮影画像取得部１１が、撮影画像を受け付ける場合に、その受け付けは、通信回線を介して送信された撮影画像の受信であってもよい。本実施の形態では、撮影画像取得部１１が、カメラ等の光学機器によって撮影画像を取得する場合について主に説明する。撮影画像取得部１１によって取得された撮影画像は、撮影画像記憶部１２に蓄積される。
撮影画像記憶部１２では、撮影画像が記憶される。なお、上記のように、撮影画像は時系列に沿ったものであるため、最新の撮影画像を特定できるように撮影画像記憶部１２で記憶されることが好適である。撮影画像記憶部１２は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスクなどであってもよい。
判定部１３は、撮影画像取得部１１によって取得された撮影画像に含まれる監視対象の種類を判定する。監視対象の種類は、例えば、道路、建物の外側、建物の内側、商店街、河川、海、山等であってもよい。具体的には、撮影画像に道路が含まれる場合には、判定部１３は、撮影画像に含まれる監視対象の種類が道路であると判定してもよい。また、撮影画像に複数の種類の監視対象が含まれている場合には、判定部１３は、撮影画像に複数の種類の監視対象が含まれていると判定してもよい。具体的には、撮影画像に道路と家が含まれる場合には、判定部１３は、撮影画像に含まれる監視対象の種類が道路と家であると判定してもよい。判定部１３による判定結果は、例えば、撮影画像に含まれる監視対象の種類を示す情報であってもよい。
判定部１３は、例えば、画像分類用の学習器に撮影画像を適用することによって、撮影画像に含まれる監視対象の種類の判定を行ってもよい。その場合には、例えば、判定部１３は、撮影画像が道路の画像であると判定したり、撮影画像が建物の画像であると判定したりしてもよい。そのようにして、撮影画像に含まれる監視対象の種類が道路や建物であると判定されることになる。この学習器は、例えば、畳み込みニューラルネットワーク（Neural Network）の学習結果であってもよく、それ以外の機械学習の学習結果であってもよい。また、そのような判定において、複数の分類結果に対応する確信度（尤度）がそれぞれ所定の閾値を超えている場合には、判定部１３は、撮影画像に含まれる監視対象の種類が複数であると判定してもよい。具体的には、撮影画像が道路の画像であるとする分類結果の確信度が閾値を超えており、撮影画像が建物の画像であるとする分類結果の確信度も閾値を超えている場合には、判定部１３は、撮影画像に含まれる監視対象の種類が道路及び建物であると判定してもよい。そのような画像分類を行う学習器はすでに公知であり、その詳細な説明を省略する。また、学習器を用いて判定が行われる場合に、判定部１３は、図示しない記憶部で記憶されている学習器を用いて、判定を行ってもよい。
また、判定部１３は、撮影画像について画像セグメンテーションを行うことによって、撮影画像に含まれる監視対象の種類の判定を行ってもよい。画像セグメンテーションは、撮影画像の各画素に、あらかじめ決められたラベル（例えば、道路、建物、木等）を付与する処理である。したがって、画像セグメンテーションにより、撮影画像において、ラベルの付与された領域を特定することができるようになる。その結果、例えば、ある監視対象のラベルが撮影画像に付与されている場合には、撮影画像にその監視対象の種類が含まれていると判定することができる。なお、判定部１３は、撮影画像に対する画像セグメンテーションの結果において、所定数を超える画素に付与されたラベルに対応する監視対象の種類が、その撮影画像に含まれていると判定してもよい。具体的には、撮影画像に対する画像セグメンテーションの結果において、所定数を超える画素に付与されたラベルが道路と建物であった場合には、判定部１３は、撮影画像に含まれる監視対象の種類が道路及び建物であると判定してもよい。そのような画像セグメンテーションを行う学習器はすでに公知であり、その詳細な説明を省略する。なお、画像セグメンテーションを行う学習器は、例えば、前段に複数の畳み込み層を有しており、後段に画像を拡大させる１以上の拡大層を有しているニューラルネットワークの学習結果であってもよく、それ以外の構成の機械学習の学習結果であってもよい。拡大層は、例えば、アンプーリング層（unpooling layer）や逆畳み込み層（deconvolution layer）等であってもよい。
なお、判定部１３による判定が行われるタイミングは問わない。例えば、固定されたカメラによって撮影が行われる場合には、判定結果が変化することはないため、異常の検出を行う前に１回だけ、判定部１３による判定が行われてもよい。一方、例えば、移動可能なカメラ（例えば、自動車や、ドローン等の飛行体、監視ロボット等の移動体に装着されたカメラ等）によって撮影が行われる場合には、判定結果が変化する可能性があるため、判定部１３による判定が繰り返して行われてもよい。
モデル取得部１４は、複数の監視用モデルを保持しているサーバ（図示せず）から、判定部１３によって判定された監視対象の種類に対応する監視用モデルを取得する。監視用モデルは、撮影画像に含まれる監視対象に関する異常を検出するために用いられるモデルである。この監視用モデルの詳細については後述する。後述するように、監視対象の種類と、監視用モデルを識別するモデル識別子とが対応付けられている場合には、モデル取得部１４は、判定部１３による判定結果である監視対象の種類に対応するモデル識別子を特定し、その特定したモデル識別子によって識別される監視用モデルを送信する旨の送信指示をサーバに送信し、その送信に応じて、サーバから、監視用モデルを受信してもよい。取得された監視用モデルは、モデル記憶部１５に蓄積される。なお、送信指示に応じて、指示された情報を送信するサーバは公知であり、その詳細な説明を省略する。
なお、監視対象の１個の種類に、例えば、１個の監視用モデルが対応していてもよく、２個以上の監視用モデルが対応していてもよい。後者の場合には、モデル取得部１４は、判定部１３によって判定された監視対象の１個の種類に対応する２個以上の監視用モデルを取得してもよい。また、判定部１３によって、撮影画像に複数の種類の監視対象が含まれると判定された場合には、モデル取得部１４は、その複数の種類の監視対象にそれぞれ対応する監視用モデルを取得してもよい。
また、判定が１回しか行われない場合や、判定結果が変化しない場合には、モデル取得部１４は、１回だけ監視用モデルの取得を行えばよいことになる。一方、判定結果が変化する場合には、モデル取得部１４は、その変化する判定結果に応じて、監視用モデルの取得を繰り返してもよい。
モデル記憶部１５では、モデル取得部１４によって取得された監視用モデルが記憶される。モデル記憶部１５は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスクなどであってもよい。
異常検出部１６は、判定部１３によって判定された監視対象の種類に対応する監視用モデルに、撮影画像取得部１１によって取得された撮影画像を適用することによって異常を検出する。また、判定部１３によって撮影画像に含まれると判定された監視対象の種類が複数である場合には、異常検出部１６は、判定結果である監視対象の複数の種類にそれぞれ対応する複数の監視用モデルを用いて異常の検出を行う。すなわち、異常検出部１６は、撮影画像を、複数の監視モデルのそれぞれに適用することによって、異常の検出を行ってもよい。監視用モデルに適用される撮影画像は、１個の撮影画像であってもよく、複数の撮影画像であってもよい。後者の場合には、時間的に連続した複数の撮影画像、すなわち動画像が監視用モデルに適用されることが好適である。なお、本実施の形態では、判定部１３によって判定された監視対象の種類に対応する監視用モデルが、モデル取得部１４によって取得され、モデル記憶部１５で記憶されているため、異常検出部１６は、モデル記憶部１５で記憶されている監視用モデルを用いて異常の検出を行えばよいことになる。また、監視用モデルに適用される撮影画像は、撮影画像取得部１１によって取得された最新の撮影画像であることが好適である。異常検出部１６は、撮影画像を監視用モデルに適用することによって、撮影画像に含まれる監視対象に関する異常の有無を取得することができる。また、異常検出部１６は、検出した異常の種類（例えば、火災や、人の転倒、交通事故等）も特定してもよい。なお、監視用モデルを用いた異常の検出については後述する。
ここで、監視対象の各種類に対応する検出対象の異常について簡単に説明する。監視対象が道路である場合に検出対象となる異常は、例えば、交通事故や、人の転倒、火災、暴動、自動車の逆走等であってもよい。監視対象が建物の外側である場合に検出対象となる異常は、例えば、火災、不法侵入、暴動、人の転倒等であってもよい。監視対象が建物の内側である場合に検出対象となる異常は、例えば、火災、暴力行為、人の転倒等であってもよい。監視対象が商店街である場合に検出対象となる異常は、例えば、火災、暴動、人の転倒、万引き、ひったくり、落書き等であってもよい。監視対象が河川である場合に検出対象となる異常は、例えば、増水、溺者等であってもよい。監視対象が海である場合に検出対象となる異常は、例えば、津波、竜巻等の異常気象、溺者、難破船等であってもよい。監視対象が山である場合に検出対象となる異常は、例えば、火災、竜巻等の異常気象等であってもよい。
出力部１７は、異常検出部１６によって異常が検出された場合に、異常の検出に関する出力を行う。異常の検出に関する出力は、例えば、異常が検出された旨の出力であってもよく、または、異常の検出に対応する所定の処理を行うための出力であってもよい。後者の例としては、火災が検出された際に、スプリンクラー等の消火設備を自動的に作動させることなどを挙げることができる。異常が検出された旨の出力は、例えば、あらかじめ登録されている送信先への異常が検出された旨の送信であってもよい。例えば、異常が検出された旨を、監視装置１の管理者や、警察や消防などの公的な機関に送信してもよい。また、出力対象には、例えば、異常の種類（例えば、火災や交通事故、転倒、暴動、竜巻などの異常気象、河川の氾濫、海の津波等）が含まれていてもよく、異常の発生場所を示す情報（例えば、監視装置１の設置されている位置の住所や緯度・経度等）が含まれていてもよい。異常の発生場所を示す情報は、例えば、監視装置１が有する図示しない位置取得部（例えば、ＧＰＳを用いた位置取得部等）によって取得されてもよく、監視装置１が有する記録媒体において、あらかじめ記憶されていてもよい。
また、出力部１７は、検出された異常に応じたラベルを、撮影画像に付けるための出力を行ってもよい。例えば、ある時点の撮影画像について暴動の異常が検出された場合には、出力部１７は、撮影画像のその時点に、暴動ラベルを付与してもよい。このようなラベルが付与されることによって、後から、異常の検出された時点の撮影画像や音声などを容易に確認することができるようになる。
ここで、この出力は、例えば、通信回線を介した送信でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもよく、表示デバイスへの表示でもよく、他の構成要素への引き渡しでもよい。なお、出力部１７は、出力を行うデバイス（例えば、通信デバイスなど）を含んでもよく、または含まなくてもよい。また、出力部１７は、ハードウェアによって実現されてもよく、または、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。
なお、撮影画像記憶部１２とモデル記憶部１５とは、例えば、同一の記録媒体によって実現されてもよく、または、別々の記録媒体によって実現されてもよい。前者の場合には、撮影画像を記憶している領域が撮影画像記憶部１２となり、監視用モデルを記憶している領域がモデル記憶部１５となる。
次に、監視用モデル、及び監視用モデルを用いた異常の検出について説明する。
監視用モデルは、例えば、教師ありの機械学習の結果である学習器であってもよく、または、それ以外のモデルであってもよい。本実施の形態では、監視用モデルが学習器である場合について主に説明し、学習器以外の監視用モデルについては後述する。学習器である監視用モデルは、撮影画像である訓練用入力情報と、その訓練用入力情報の撮影画像に含まれる監視対象に関する異常の有無を示す訓練用出力情報との組を複数用いて学習された学習器であってもよい。この学習器は、例えば、ニューラルネットワークの学習結果であってもよく、それ以外の機械学習の学習結果であってもよい。本実施の形態では、学習器がニューラルネットワークの学習結果である場合について主に説明する。また、訓練用入力情報と訓練用出力情報との組を訓練情報と呼ぶこともある。
ニューラルネットワークは、例えば、畳み込み層を有するニューラルネットワークであってもよく、全結合層から構成されるニューラルネットワークであってもよく、それ以外のニューラルネットワークであってもよい。また、ニューラルネットワークが少なくとも１個の中間層（隠れ層）を有する場合には、そのニューラルネットワークの学習は、深層学習（ディープラーニング、Deep Learning）であると考えてもよい。また、機械学習にニューラルネットワークを用いる場合において、そのニューラルネットワークの層数、各層におけるノード数、各層の種類（例えば、畳み込み層、全結合層など）等については、適宜、選択したものを用いてもよい。また、各層において、バイアスを用いてもよく、または、用いなくてもよい。バイアスを用いるかどうかは、層ごとに独立して決められてもよい。また、出力層の前段にソフトマックス層が設けられていてもよい。なお、入力層と出力層のノード数は、通常、訓練情報に含まれる訓練用入力情報の情報数と訓練用出力情報の情報数とによって決まる。
また、ニューラルネットワークは、例えば、物体認識に用いられるのと同様の構成のニューラルネットワークであってもよい。そのニューラルネットワークは、例えば、入力層の後段に、複数の畳み込み層を有していてもよい。なお、ニューラルネットワークは、１以上のプーリング層を有していてもよく、または、有していなくてもよい。また、ニューラルネットワークが有する連続した畳み込み層の層数は問わない。例えば、ニューラルネットワークは、連続した３層以上の畳み込み層を有してもよく、連続した５層以上の畳み込み層を有してもよい。
また、ニューラルネットワークの各層において、適宜、パディングが行われてもよい。そのパディングは、例えば、ゼロパディングであってもよく、画像の最外周の画素値を外挿するパディングであってもよく、画像の各辺で折り返した画素値とするパディングであってもよい。
また、各層におけるストライドは問わないが、例えば、畳み込み層におけるストライドは、１または２などの小さい値であることが好適であり、ニューラルネットワークがプーリング層を有する場合に、そのプーリング層のストライドは、２以上であることが好適である。
また、ニューラルネットワークにおける各設定は、次のようであってもよい。活性化関数は、例えば、ＲｅＬＵ（正規化線形関数）であってもよく、シグモイド関数であってもよく、その他の活性化関数であってもよい。また、学習では、例えば、誤差逆伝搬法を用いてもよく、ミニバッチ法を用いてもよい。また、損失関数（誤差関数）は、平均二乗誤差であってもよい。また、ｅｐｏｃｈ数（パラメータの更新回数）は特に問わないが、過剰適合とならないｅｐｏｃｈ数が選択されることが好適である。また、過剰適合を予防するため、所定の層間においてドロップアウトを行ってもよい。なお、機械学習における学習方法としては、公知の方法を用いることができ、その詳細な説明を省略する。
学習器がモデル記憶部１５で記憶されているとは、例えば、学習器そのもの（例えば、入力に対して値を出力する関数や学習結果のモデル等）が記憶されていることであってもよく、学習器を構成するために必要なパラメータ等の情報が記憶されていることであってもよい。後者の場合であっても、そのパラメータ等の情報を用いて学習器を構成できるため、実質的に学習器がモデル記憶部１５で記憶されていると考えることができるからである。本実施の形態では、学習器そのものがモデル記憶部１５で記憶されている場合について主に説明する。
ここで、学習器の生成について説明する。上記のように、訓練用入力情報は、撮影画像である。撮影画像のサイズ（例えば、縦横の画素数）は決まっていてもよい。実際の撮影画像が、あらかじめ決まっているサイズと異なる場合には、適宜、画像の拡大・縮小や、情報を持たない画素を追加することによる縦横比の調整等が行われてもよい。訓練用出力情報は、その訓練用出力情報と組になっている訓練用入力情報である撮影画像に含まれる監視対象に関する異常の有無を示す情報であってもよい。具体的には、訓練用出力情報は、ペアとなる訓練用入力情報に異常が含まれる場合に「１」となり、異常が含まれない場合に「０」となる情報であってもよい。また、訓練用出力情報は、異常の種類をも示す情報であってもよい。具体的には、ペアとなる訓練用入力情報に種類Ａの異常が含まれる場合には、訓練用出力情報は、種類Ａに対応するノードの値が「１」となり、それ以外のノードの値が「０」となる情報であってもよい。また、ペアとなる訓練用入力情報に種類Ｂの異常が含まれる場合には、訓練用出力情報は、種類Ｂに対応するノードの値が「１」となり、それ以外のノードの値が「０」となる情報であってもよい。
例えば、異常の発生している監視対象の撮影画像である訓練用入力情報と、異常があることを示す訓練用出力情報または異常の種類を示す訓練用出力情報との組や、異常の発生していない監視対象の撮影画像である訓練用入力情報と、異常がない旨を示す訓練用出力情報との組を用意し、用意した訓練用入力情報と訓練用出力情報との複数の組を学習させることによって、学習器が製造される。訓練用入力情報である撮影画像は、例えば、火災の発生している建物の撮影画像や、交通事故現場の撮影画像等であってもよい。なお、異常の発生している訓練用入力情報を大量に用意することは難しいと考えられるため、その訓練用入力情報は、例えば、コンピュータグラフィックス等によって人工的に作成されたものであってもよい。例えば、火災の発生していない建物の撮影画像と、火炎や煙等の撮影画像とを合成することによって、火災の発生している建物の撮影画像を作成してもよい。また、異常の発生している訓練用入力情報を用意することが困難な場合には、例えば、異常が発生していない状況の訓練情報を用いて学習を行ってもよい。そして、そのような学習結果である学習器（監視用モデル）に撮影画像を入力した際の学習器からの出力が、訓練用出力情報から大きく外れた場合に、異常が検出されてもよい。また、学習器としては、例えば、公知のものが用いられてもよい。
上記のように複数の訓練情報を学習して生成された学習器である監視用モデルに、撮影画像取得部１１によって取得された撮影画像が適用されると、その撮影画像に含まれる監視対象に関する異常の有無を示す情報を取得することができる。具体的には、撮影画像を学習器に入力すると、出力層のノードから０〜１の値が出力される。この値がいわゆる確信度（尤度）である。例えば、その値が１に近ければ、監視対象に異常が発生している可能性が高いことになる。したがって、１に近い値（例えば、所定の閾値を超える値）が学習器から出力された場合に、異常が検出されたと判断されてもよい。なお、出力層が、異常の種類に応じた個数のノードを有する場合には、どのノードから１に近い値が出力されたのかに応じて、異常の種類を知ることもできる。
なお、上記説明では、学習器への入力情報が１個の撮影画像であるとしたが、そうでなくてもよい。例えば、時間的に連続した複数の撮影画像、すなわち動画像を構成する複数の撮影画像が、学習器への入力情報となってもよい。その場合には、学習器としては、例えば、畳み込みニューラルネットワークと、再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）とを組み合わせた３次元畳み込みＲＮＮの学習結果を用いてもよい。そのような３次元畳み込みＲＮＮを用いることによって、動画像の認識を行うことができることが知られている。なお、３次元畳み込みＲＮＮ以外のモデルを用いて、動画像の認識を行ってもよい。３次元畳み込みＲＮＮの詳細については、例えば、次の文献を参照されたい。
文献：浅谷学嗣、田川聖一、新岡宏彦、三宅淳、「動画像認識のための３次元畳み込みＲＮＮの提案」、情報処理学会研究報告、Vol.2016-CVIM-201, No.6, 1-4、２０１６年２月２５日
また、１個の監視用モデルは、例えば、１個の学習器を有していてもよく、複数の学習器を有していてもよい。例えば、建物の外側に関する異常を検出するための監視用モデルは、火災を検出するための学習器と、不法侵入を検出するための学習器とを有していてもよい。
なお、本実施の形態では、監視用モデルが学習器である場合について主に説明したが、そうでなくてもよい。監視用モデルは、例えば、学習器と、それ以外のモデルとから構成されてもよく、学習器以外のモデルのみによって構成されてもよい。学習器と、それ以外のモデルとから構成された監視用モデルとしては、例えば、動画像において、人の検出を行い、検出した人に関する骨格推定を行い、その骨格推定の結果に基づいて、暴力行為の有無や、万引きの有無等を検出する監視用モデルがある。そのような監視用モデルでは、例えば、人の検出や、骨格推定に、学習器が用いられてもよい。また、骨格推定の結果に基づく暴力行為の有無や、万引きの有無等の検出にも、学習器が用いられてもよい。また、学習器以外のモデルのみによって構成されている監視用モデルとしては、例えば、上記特許文献１のように、学習器を用いないで煙を検出するモデルなどがある。監視用モデルが学習器以外も含む場合には、撮影画像を監視用モデルに適用することは、例えば、監視用モデルを用いた異常検出の処理を、撮影画像に対して実行することであってもよい。
次に、監視装置１の動作について図２のフローチャートを用いて説明する。
（ステップＳ１０１）撮影画像取得部１１は、撮影画像の取得を行うかどうか判断する。そして、撮影画像の取得を行う場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０３に進む。なお、撮影画像取得部１１は、例えば、撮影画像を取得すると定期的に判断してもよい。
（ステップＳ１０２）撮影画像取得部１１は、撮影画像を取得して撮影画像記憶部１２に蓄積する。そして、ステップＳ１０１に戻る。
（ステップＳ１０３）判定部１３は、監視対象の種類に関する判定を行うかどうか判断する。そして、判定を行う場合には、ステップＳ１０４に進み、そうでない場合には、ステップＳ１０６に進む。なお、撮影画像を撮影するカメラが固定されている場合には、判定部１３は、撮影画像の取得が開始された際に、判定を行うと判断してもよい。一方、撮影画像を撮影するカメラが移動可能である場合には、判定部１３は、例えば、判定を行うと定期的に判断してもよく、あらかじめ決められた以上の移動が行われた際に判定を行うと判断してもよい。
（ステップＳ１０４）判定部１３は、最新の撮影画像に含まれる監視対象の種類について判定を行う。その判定結果は、図示しない記録媒体で記憶されてもよい。
（ステップＳ１０５）モデル取得部１４は、ステップＳ１０４の判定結果に対応する監視用モデルをサーバから取得し、モデル記憶部１５に蓄積する。そして、ステップＳ１０１に戻る。なお、判定部１３による判定が繰り返される場合には、取得対象の監視用モデルがすでにモデル記憶部１５で記憶されていることもあり得る。その場合には、モデル取得部１４は、監視用モデルの取得を行わず、モデル記憶部１５で記憶されている監視用モデルについて、使用対象のモデルを示す情報（例えば、フラグ等）が、判定結果に応じたものとなるように変更してもよい。
（ステップＳ１０６）異常検出部１６は、異常の検出を行うかどうか判断する。そして、異常の検出を行う場合には、ステップＳ１０７に進み、そうでない場合には、ステップＳ１０１に戻る。なお、異常検出部１６は、例えば、異常の検出を行うと定期的に判断してもよく、新しい撮影情報が取得されるごとに異常の検出を行うと判断してもよい。
（ステップＳ１０７）異常検出部１６は、最新の撮影画像を、モデル記憶部１５で記憶されている監視用モデルに適用することによって、撮影画像に含まれる監視対象に関する異常の有無を取得する。なお、モデル記憶部１５において複数の監視用モデルが記憶されている場合には、例えば、最新に取得された監視用モデルが異常の検出に用いられてもよく、または、使用対象であることが示されている監視用モデルが異常の検出に用いられてもよい。
（ステップＳ１０８）出力部１７は、ステップＳ１０７において、異常が検出されたかどうか判断する。そして、異常が検出された場合には、ステップＳ１０９に進み、そうでない場合には、ステップＳ１０１に戻る。
（ステップＳ１０９）出力部１７は、異常の検出に関する出力を行う。そして、ステップＳ１０１に戻る。
なお、図２のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
次に、本実施の形態による監視装置１の動作について、具体例を用いて説明する。
まず、学習器である監視用モデルの作成について簡単に説明する。学習器を作成するための機械学習を行うため、複数の訓練情報を用意する。例えば、図３Ａで示される家の外観の撮影画像である訓練用入力情報と、異常がない旨を示す訓練用出力情報との組である訓練情報や、図３Ｂで示される家の外観の撮影画像である訓練用入力情報と、異常がある旨を示す訓練用出力情報との組である訓練情報などを用意する。なお、図３Ｂで示される撮影画像では、火災が発生している。そのため、図３Ｂの訓練用入力情報と組になる訓練用出力情報は、火災が発生していることを示すものであってもよい。そのような複数の訓練情報を用いた学習を行うことによって、家の外側に関する異常を検出するための監視用モデルを生成することができる。それ以外の監視対象である家の内側や、道路、商店街、河川等についても、同様にして、監視用モデルを生成することができる。そのようにして生成された複数の監視用モデルは、サーバにおいて保持されることになる。
その後、図４で示される監視装置１が、監視対象の家に向けて設置され、監視装置１の電源が投入されたとする。なお、図４で示される監視装置１では、筐体の内部に、図１で示される各構成が配置されており、撮影画像取得部１１は、撮影画像を撮影するカメラであるとする。電源が投入されると、監視装置１の撮影画像取得部１１は、撮影を開始し、図５Ａで示される撮影画像を取得して、撮影画像記憶部１２に蓄積したとする（ステップＳ１０１，Ｓ１０２）。すると、判定部１３は、その撮影画像に含まれる監視対象の種類に関する判定を行う（ステップＳ１０３，Ｓ１０４）。その判定は、学習器を用いて行われたとする。そして、その判定の結果、監視対象の種類「家（外側）」、「道路」の確信度が、あらかじめ決められた閾値を超えていたとする。すると、判定部１３は、監視対象の判定結果である監視対象の種類「家（外側）」、「道路」をモデル取得部１４に渡す。判定結果を受け取ると、モデル取得部１４は、図示しない記録媒体で記憶されている、監視対象の種類とモデル識別子とを対応付ける図６Ａの情報を参照し、判定結果である監視対象の種類「家（外側）」、「道路」にそれぞれ対応するモデル識別子「Ｍ００３」、「Ｍ００１」を特定する。そして、モデル取得部１４は、モデル識別子「Ｍ００３」、「Ｍ００１」に対応する監視用モデルの送信指示を、あらかじめ保持しているサーバのアドレスを送信先として送信する。その送信に応じて、モデル取得部１４は、サーバから送信された、モデル識別子「Ｍ００３」、「Ｍ００１」に対応する、家の外側用の監視用モデルと、道路用の監視用モデルとを受信し、モデル記憶部１５に蓄積する（ステップＳ１０５）。
その後、異常検出部１６は、撮影画像記憶部１２で記憶されている最新の撮影画像を、定期的に家の外側用の監視用モデルと、道路用の監視用モデルとに適用することによって、家の外側、及び道路に関する異常の有無を取得する（ステップＳ１０６，Ｓ１０７）。そして、異常がある場合には、出力部１７によって、あらかじめ決められた機器（例えば、監視装置１の設置者等）に対して、異常が発生した旨が送信されることになる（ステップＳ１０８，Ｓ１０９）。
以上のように、本実施の形態による監視装置１によれば、撮影画像に含まれる監視対象の種類に対応する監視用モデルを用いて異常の検出を行うことができる。したがって、監視の目的に応じた装置を用意しなくても、監視装置１を用いることによって、種々の監視対象に関する異常の検出を行うことができるようになる。また、人が撮影画像を確認しなくても、自動的に異常の検出を行うことができるようになる。また、撮影画像に含まれる監視対象の種類に対応する監視用モデルを用いるため、汎用の異常検出よりも精度の高い異常の検出を、より軽い負荷で実現することができるようになる。また、モデル取得部１４によって、判定結果に応じた監視用モデルを取得することができるため、現在、用いられている監視用モデルのみをモデル記憶部１５で記憶するようにすることもできる。そのようにすることで、モデル記憶部１５の記憶容量がより小さいものでもよいことになる。
次に、本実施の形態による監視装置１の変形例について、説明する。
［撮影画像の部分ごとの異常の検出］
撮影画像に含まれると判定部１３によって判定された監視対象の種類が複数である場合に、異常検出部１６は、判定結果である監視対象の各種類に対応する撮影画像の部分ごとに、その監視対象の種類に対応する監視用モデルを用いて異常の検出を行ってもよい。より具体的には、撮影画像において、判定結果である監視対象の各種類に対応する部分がそれぞれ特定されてもよい。そして、異常検出部１６は、その特定された部分について、特定された部分に対応する監視対象の種類に応じた監視用モデルを用いた異常の検出を行ってもよい。例えば、図５Ａで示される撮影画像のように、２種類の監視対象「家（外側）」、「道路」が含まれる場合には、図５Ｂで示されるように、監視対象の種類「家（外側）」に対応する部分Ｒ１０１については、監視対象の種類「家（外側）」に対応する監視用モデルを用いた異常の検出を行い、監視対象の種類「道路」に対応する部分Ｒ１０２については、監視対象の種類「道路」に対応する監視用モデルを用いた異常の検出を行ってもよい。
監視対象の種類に対応する撮影画像の部分の特定は、例えば、画像セグメンテーションによって行ってもよい。その場合には、例えば、画像セグメンテーションによって特定された建物の領域を含む矩形の領域を、監視対象の種類「家（外側）」に対応する部分Ｒ１０１としてもよい。また、例えば、画像セグメンテーションによって特定された道路と自動車との領域を含む矩形の領域を、監視対象の種類「道路」に対応する部分Ｒ１０２としてもよい。なお、判定部１３によって画像セグメンテーションが行われている場合には、その画像セグメンテーションの結果を用いて、監視対象の種類に対応する撮影画像の部分の特定が行われてもよい。また、監視対象の種類に対応する撮影画像の部分の特定の特定は、例えば、異常検出部１６によって行われてもよく、判定部１３によって行われてもよい。また、撮影画像に含まれる種々の領域（例えば、撮影画像を４等分した各領域など）について判定部１３による判定を行い、ある監視対象の種類に関する確信度の最も高い領域が、その監視対象の種類の部分として特定されてもよい。
このように、判定結果である監視対象の各種類に対応する撮影画像の部分ごとに、その監視対象の種類に対応する監視用モデルを用いた異常の検出が行われることによって、より精度の高い異常の検出を行うことができるようになる。
［より細かい監視用モデル］
異常の検出に用いられる監視用モデルは、監視対象の種類における各属性に対応するものであってもよい。その場合には、例えば、図６Ｂで示されるように、監視対象の種類に、複数の属性が含まれており、監視対象の種類及び属性と、監視用モデルとが対応付けられていてもよい。具体的には、監視対象の種類「道路」は、車線に関する属性「１車線」、「２車線」、「４車線」等を有しており、その属性ごとに監視用モデルが設定されている。この場合には、判定部１３は、属性を含めて監視対象の種類に関する判定を行うことが好適である。そして、異常検出部１６は、監視対象の種類及び属性に対応する監視用モデルを用いて、異常の検出を行うことになる。例えば、判定部１３によって、撮影画像に含まれる監視対象の種類及び属性が、４車線の道路であると判定された場合には、異常検出部１６は、４車線の道路に対応するモデル識別子「Ｍ１０３」で識別される監視用モデルを用いた異常の検出を行うことになる。このようにして、監視対象の種類及び属性に応じた、より精度の高い異常の検出を行うことができるようになる。なお、属性は、どのようなものであってもよい。例えば、監視対象の種類「家（外側）」は、家の構造の属性「木造」、「鉄骨」、「鉄筋コンクリート」等を有していてもよい。
また、２以上の監視対象の種類に対応する監視用モデルも、異常の検出に用いられてもよい。例えば、建物の外側と道路とに対応した監視用モデルや、建物の外側と河川とに対応した監視用モデル等が用いられてもよい。この場合には、例えば、判定部１３によって、撮影画像に建物の外側と道路とが含まれると判定された際に、異常検出部１６は、建物の外側と道路とに対応した監視用モデルを用いて異常の検出を行ってもよい。このようにすることで、より精度の高い異常の検出を行うことができるようになる。なお、２以上の監視対象の種類に対応する監視用モデルは、２以上の種類の監視対象の距離や位置関係（例えば、上方に建物があり、下方に道路があるという位置関係や、左側に建物があり、右側に道路があるという位置関係等）に対応する複数の監視用モデルが用意されていてもよい。そして、撮影画像に含まれる２以上の種類の監視対象の距離や位置関係等に対応する監視用モデルが異常の検出に用いられてもよい。
また、撮影画像における監視対象の属性、例えば、位置関係やサイズに対応する監視用モデルも、異常の検出に用いられてもよい。例えば、上記のように、撮影画像において監視対象の種類に対応する部分が特定される場合に、監視対象の種類に対応する特定された部分（領域）が手前側（すなわち、カメラに近い側）にあるときには、手前側に応じた監視用モデルが用いられ、奥側（すなわち、カメラから遠い側）にあるときには、奥側に応じた監視用モデルが用いられてもよい。その場合には、撮影画像における部分の位置に応じて、手前側か奥側かが判定されてもよい。例えば、奥側の部分に存在する監視対象は、手前側の部分に存在する物によって少なくとも一部が隠れることが多いと考えられる。したがって、奥側の部分に存在する監視対象に用いられる監視用モデルは、手前側の部分に存在する物によって一部が隠れるようなことがあったとしても適切に異常の検出を行うことができるものであることが好適である。また、例えば、上記のように、撮影画像において監視対象の種類に対応する部分が特定される場合に、監視対象の種類に対応する特定された部分のサイズが閾値よりも大きいときと、そうでないときとで、異なる監視用モデルが用いられてもよい。例えば、サイズが閾値よりも小さい部分に存在する監視対象は、通常、低い解像度になることが多いと考えられる。したがって、サイズが閾値よりも小さい部分に存在する監視対象に用いられる監視用モデルは、解像度の低い画像であっても適切に異常の検出を行うことができるものであることが好適である。
［検出対象の異常に対応する監視用モデルを用いた異常の検出］
本実施の形態では、監視対象の種類ごとに監視用モデルが存在する場合について主に説明したが、そうでなくてもよい。監視用モデルは、検出対象の異常に対応していてもよい。検出対象の異常に対応する監視用モデルは、例えば、火災や煙を検出するための監視用モデルや、交通事故を検出するための監視用モデル、万引きを検出するための監視用モデル、暴動を検出するための監視用モデル、転倒を検出するための監視用モデル、竜巻等の異常気象を検出するための監視用モデル等であってもよい。
この場合には、図７で示されるように、監視装置１が、複数の対応情報が記憶される対応情報記憶部１８をさらに備えていてもよい。対応情報は、監視対象の種類と、１以上の検出対象の異常とを対応付ける情報である。例えば、図８Ａで示されるように、対応情報は、監視対象の種類「道路」と、検出対象の異常「転倒」、「交通事故」、「暴動」、「火災」等とを対応付ける情報であってもよい。
なお、対応情報記憶部１８に複数の対応情報が記憶される過程は問わない。例えば、記録媒体を介して複数の対応情報が対応情報記憶部１８で記憶されるようになってもよく、通信回線等を介して送信された複数の対応情報が対応情報記憶部１８で記憶されるようになってもよく、または、入力デバイスを介して入力された複数の対応情報が対応情報記憶部１８で記憶されるようになってもよい。また、対応情報記憶部１８は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスク、光ディスクなどであってもよい。
また、「監視対象の種類と、１以上の検出対象の異常とを対応付ける」とは、監視対象の種類から、１以上の検出対象の異常を特定できればよいという意味である。したがって、対応情報は、例えば、監視対象の種類と検出対象の異常とを組として含む情報であってもよく、監視対象の種類と検出対象の異常とをリンク付ける情報であってもよい。
この場合には、検出対象の異常「転倒」、「交通事故」等ごとに監視用モデルが用意されていてもよい。また、この場合には、例えば、図８Ｂで示されるように、検出対象の異常と、モデル識別子とを対応付ける情報によって、検出対象の異常の種類に対応する監視用モデルを特定できるようになっていてもよい。
そして、異常検出部１６は、判定部１３によって判定された監視対象の種類に、対応情報記憶部１８で記憶されている対応情報によって対応付けられる１以上の監視用モデルを用いて異常の検出を行ってもよい。例えば、撮影画像に含まれる監視対象の種類が「道路」であると判定された場合には、モデル取得部１４は、図８Ａで示される対応情報を用いて、監視対象の種類「道路」に対応する検出対象の異常「転倒」、「交通事故」等を特定し、図８Ｂで示される情報を用いて、その特定した検出対象の異常に対応するモデル識別子「Ｍ３０１」、「Ｍ３０２」等を特定し、その特定したモデル識別子で識別される監視用モデルをサーバから取得してもよい。そして、異常検出部１６は、そのようにして取得された監視用モデルを用いて、異常の検出を行ってもよい。
このように、監視用モデルが、検出対象の異常に対応していることによって、監視対象ごとに監視用モデルを用意しなくてもよいことになる。例えば、火災を検出するための監視用モデルを、道路の監視や、建物の監視、商店街の監視等に用いることができ、監視対象ごとに監視用モデルを用意する場合と比較して、監視用モデルを用意するための負担を軽減することができる。
ここで、検出対象の異常ごとの監視用モデルについて、簡単に説明する。
暴動や暴力行為を検出するための監視用モデルについては、例えば、次の文献を参照されたい。
文献：Amarjot Singh, Devendra Patil, SN Omkar、「Eye in the Sky: Real-time Drone Surveillance System (DSS) for Violent Individuals Identification using ScatterNet Hybrid Deep Learning Network」、IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 2018
なお、暴動や暴力行為を検出するためのモデルと同様のモデルを用いることによって、動作を伴うセクシュアルハラスメントやモラルハラスメントについても検出することができると考えられる。
万引き等の不審行動を検出するための監視用モデルについては、例えば、次の文献を参照されたい。
文献：特許第６５３４４９９号公報
煙を検出するための監視用モデルについては、例えば、特許文献１を参照されたい。
転倒を検出するための監視用モデルについては、例えば、次の文献を参照されたい。
文献：小林吉之、柳澤孝文、坂無英徳、野里博和、高橋栄一、持丸正明、「公共空間における転倒の実態解明を目指した異常検出技術の評価に関する研究」、日本転倒予防学会誌、1(1)、p.55-63、２０１４年６月
交通事故を検出するための監視用モデルについては、例えば、次のウェブサイトや文献を参照されたい。
ウェブサイト：ＵＲＬ＜https://www.fujitsu.com/jp/solutions/business-technology/mobility-solution/spatiowl2/traffic-video-analysis/＞
文献：特開２０１７−０９１５３０号公報
［音声をも用いた異常の検出］
撮影画像に音声も含まれる場合には、異常検出部１６は、音声をも用いて異常を検出してもよい。この場合には、例えば、セクシュアルハラスメントや、モラルハラスメント、賄賂の授受等の異常の検出が、音声をも用いて行われてもよい。また、この場合には、例えば、監視対象の種類「家の内側」や「建物の内側」に、検出対象の異常「セクシュアルハラスメント」、「モラルハラスメント」、「賄賂の授受」等が対応付けられていてもよい。
異常の検出に音声も用いられる場合には、例えば、音声が音声認識のためのモデル（ＲＮＮなどのニューラルネットワークであってもよく、または、他のモデルであってもよい。）に入力され、その出力である音声認識結果に、あらかじめ決められたフレーズが含まれていると共に、その音声を発声した者、及び、その音声を聞いている者の少なくとも一方が、あらかじめ決められた動作をしている場合に、異常が検出されてもよい。この場合には、例えば、音声認識や、動作の認識にモデルが用いられてもよい。そして、音声認識結果である文字列に、あらかじめ決められた複数のフレーズのうち、いずれかと一致するもの、または、いずれかと閾値以上類似するものが含まれており、かつ、発話者及び発話者ではない者の少なくとも一方が、あらかじめ決められた複数の動作のうち、いずれかと一致する動作、または、いずれかと閾値以上類似する動作を行った場合に、異常が検出されてもよい。あらかじめ決められた動作を行ったかどうかは、例えば、動画像において人の検出を行い、検出した人に関する骨格推定を行い、その骨格推定の結果を用いて判断されてもよい。
異常の検出は、より具体的には、次のようにして行われてもよい。例えば、男性である発話者が、女性である他人の肩を叩きながら、「スリーサイズは？」と発言した場合に、セクシュアルハラスメントである異常が検出されてもよい。また、例えば、発話者が、他人を指さしながら、「死んでしまえ！」と発言した場合に、モラルハラスメントである異常が検出されてもよい。また、例えば、発話者が、お金を示すジェスチャー（親指と人差し指と中指をこするジェスチャーなど）をしながら「見逃しますよ」と発言し、他者が発話者に対して金銭を渡した場合に、賄賂の授受である異常が検出されてもよい。このようにして、音声をも用いることによって、より幅の広い異常について検出することが可能となる。例えば、動作だけでは検出できない異常であっても、音声をも用いることによって、検出することができるようになる。
［無人店舗における異常の検出］
異常検出部１６は、無人店舗における異常の検出を行ってもよい。無人店舗における異常は、例えば、万引きや、無銭飲食、販売対象の飲食物への異物の混入、少なくとも一部を飲食した飲食物を陳列棚に戻すこと、食べ放題や飲み放題における飲食物の持ち帰りなどであってもよい。そのような異常は、例えば、動画像において人や飲食物の検出を行い、検出した人に関する骨格推定を行い、その骨格推定の結果や飲食物の検出の結果を用いて検出してもよい。
［検出された異常に対応する確信度に応じた出力］
出力部１７は、異常検出部１６によって検出された異常に対応する確信度に応じて、異なる出力を行ってもよい。具体的には、検出された異常に対応する確信度が所定の閾値よりも高い場合には、出力部１７は、監視装置１の管理者と、公的な機関（例えば、警察や消防など）とに異常が検出された旨を出力し、検出された異常に対応する確信度が所定の閾値よりも低い場合には、出力部１７は、監視装置１の管理者にのみ、異常が検出された旨を出力してもよい。なお、確信度が、あらかじめ決められた閾値未満である場合には、異常が検出されなかったとみなして、出力が行われなくてもよい。このようにして、検出された異常の尤もらしさに応じた出力を行うことができる。例えば、確信度が高い場合には、本当に異常が発生している可能性が高いと考えられるため、公的な機関等に自動的に連絡を行うことによって、被害を最小限に抑えることができる。一方、例えば、確信度が高くない場合には、異常が発生していない可能性もあるため、管理者等が確認した上で公的な機関に連絡することによって、公的な機関への誤報を回避することができる。具体的には、図９で示されるように、確信度の範囲と、出力先とを対応付ける情報が図示しない記録媒体で記憶されており、出力部１７は、その情報を参照して、検出された異常の確信度に対応する出力先を特定してもよい。図９では、確信度が９０％異常である場合には、出力先の電話番号「０６−１２３４−＊＊＊＊」、「０９０−９８７６−＊＊＊＊」に、異常が発生した旨を自動音声の電話で通知し、確信度が６０％以上９０％未満である場合には、出力先の電話番号「０９０−９８７６−＊＊＊＊」のみに、異常が発生した旨を自動音声の電話で通知するように設定されている。
なお、この場合には、確信度を用いた処理が行われるため、監視用モデルは、確信度を出力するものであることが好適である。確信度を出力する監視用モデルとしては、例えば、ニューラルネットワーク等の学習結果である学習器を挙げることができる。
また、出力部１７は、時間帯に応じて、異なる出力を行ってもよい。例えば、出力部１７は、夜間に異常が検出された場合には、警備会社に異常の発生した旨を送信し、夜間以外に異常が検出された場合には、監視装置１の管理者に異常の発生した旨を送信してもよい。また、出力部１７は、異常の内容に応じて、異なる出力を行ってもよい。例えば、出力部１７は、不法侵入が検出された場合には、警察に異常の発生した旨を送信し、火災が検出された場合には、消防に異常の発生した旨を送信してもよい。
［モデル取得部を備えない監視装置］
上記実施の形態では、モデル取得部１４がサーバから監視用モデルを取得する場合について主に説明したが、そうでなくてもよい。サーバで保持されている複数の監視用モデルが、モデル記憶部１５で記憶されている場合には、監視用モデルの取得が行われなくてもよい。この場合には、監視装置１は、モデル取得部１４を備えていなくてもよい。また、異常検出部１６は、判定部１３によって判定された監視対象の種類に対応する監視用モデルを、モデル記憶部１５において特定し、その特定した監視用モデルを用いて異常の検出を行ってもよい。
なお、上記実施の形態では、撮影画像取得部１１が監視対象の撮影を行う場合について主に説明したが、そうでなくてもよい。撮影を行わない撮影画像取得部１１は、通信回線を介して撮影画像を受信してもよい。この場合には、監視装置１は、２以上の監視カメラで撮影された撮影画像について、異常の検出を行ってもよい。２以上の監視カメラで撮影された撮影画像について異常の検出を行う場合には、判定部１３やモデル取得部１４、異常検出部１６は、監視カメラごとに、それぞれ判定や監視用モデルの取得、異常の検出などの処理を行うことが好適である。
また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。
また、上記実施の形態において、各構成要素間で行われる情報の受け渡しは、例えば、その情報の受け渡しを行う２個の構成要素が物理的に異なるものである場合には、一方の構成要素による情報の出力と、他方の構成要素による情報の受け付けとによって行われてもよく、または、その情報の受け渡しを行う２個の構成要素が物理的に同じものである場合には、一方の構成要素に対応する処理のフェーズから、他方の構成要素に対応する処理のフェーズに移ることによって行われてもよい。
また、上記実施の形態において、各構成要素が実行する処理に関係する情報、例えば、各構成要素が受け付けたり、取得したり、選択したり、生成したり、送信したり、受信したりした情報や、各構成要素が処理で用いる閾値や数式、アドレス等の情報等は、上記説明で明記していなくても、図示しない記録媒体において、一時的に、または長期にわたって保持されていてもよい。また、その図示しない記録媒体への情報の蓄積を、各構成要素、または、図示しない蓄積部が行ってもよい。また、その図示しない記録媒体からの情報の読み出しを、各構成要素、または、図示しない読み出し部が行ってもよい。
また、上記実施の形態において、各構成要素等で用いられる情報、例えば、各構成要素が処理で用いる閾値やアドレス、各種の設定値等の情報がユーザによって変更されてもよい場合には、上記説明で明記していなくても、ユーザが適宜、それらの情報を変更できるようにしてもよく、または、そうでなくてもよい。それらの情報をユーザが変更可能な場合には、その変更は、例えば、ユーザからの変更指示を受け付ける図示しない受付部と、その変更指示に応じて情報を変更する図示しない変更部とによって実現されてもよい。その図示しない受付部による変更指示の受け付けは、例えば、入力デバイスからの受け付けでもよく、通信回線を介して送信された情報の受信でもよく、所定の記録媒体から読み出された情報の受け付けでもよい。
また、上記実施の形態において、監視装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。
また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。なお、上記実施の形態における監視装置１を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、監視対象の撮影画像を取得する撮影画像取得部によって取得された撮影画像に含まれる監視対象の種類を判定する判定部、判定部によって判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部、異常検出部によって異常が検出された場合に、異常の検出に関する出力を行う出力部として機能させるためのプログラムである。
なお、上記プログラムにおいて、上記プログラムが実現する機能には、ハードウェアでしか実現できない機能は含まれない。例えば、情報を取得する取得部や、情報を出力する出力部などにおけるモデムやインターフェースカードなどのハードウェアでしか実現できない機能は、上記プログラムが実現する機能には少なくとも含まれない。
また、このプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭなどの光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。
また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。
図１０は、上記プログラムを実行して、上記実施の形態による監視装置１を実現するコンピュータシステム９００の一例を示す図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現されうる。
図１０において、コンピュータシステム９００は、ＭＰＵ（Micro Processing Unit）９１１、ブートアッププログラム等のプログラムや、アプリケーションプログラム、システムプログラム、及びデータが記憶されるフラッシュメモリ等のＲＯＭ９１２、ＭＰＵ９１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ９１３、無線通信モジュール９１５、ＭＰＵ９１１、ＲＯＭ９１２等を相互に接続するバス９１６を含むコンピュータ９０１と、撮影画像取得部１１とを備える。なお、コンピュータ９０１は、無線通信モジュール９１５に代えて、有線通信モジュールを備えていてもよい。また、コンピュータ９０１は、マウスやキーボード、タッチパネル等の入力デバイスや、ディスプレイ、タッチパネル等の表示デバイス等を備えていてもよい。
コンピュータシステム９００に、上記実施の形態による監視装置１の機能を実行させるプログラムは、無線通信モジュール９１５を介してＲＯＭ９１２に記憶されてもよい。プログラムは実行の際にＲＡＭ９１３にロードされる。なお、プログラムは、ネットワークから直接、ロードされてもよい。
プログラムは、コンピュータシステム９００に、上記実施の形態による監視装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能やモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム９００がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
以上より、本発明による監視装置等によれば、撮影画像に含まれる監視対象の種類に対応する監視用モデルを用いた異常の検出を行うことができるという効果が得られ、例えば、撮影画像を用いて火災等の異常を検出する監視装置等として有用である。
１ 監視装置
１１ 撮影画像取得部
１２ 撮影画像記憶部
１３ 判定部
１４ モデル取得部
１５ モデル記憶部
１６ 異常検出部
１７ 出力部
１８ 対応情報記憶部

Claims (14)

  1. 監視対象の撮影画像を撮影する撮影画像取得部と、
    前記撮影画像取得部によって撮影された撮影画像に含まれる監視対象の種類を、画像分類用の学習器に撮影画像を適用することによって判定する判定部と、
    前記判定部によって判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、前記撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部と、
    前記異常検出部によって異常が検出された場合に、当該異常の検出に関する出力を行う出力部と、を備えた監視装置。
  2. 複数の監視用モデルを保持しているサーバから、前記判定部によって判定された監視対象の種類に対応する監視用モデルを取得するモデル取得部をさらに備え、
    前記異常検出部は、前記モデル取得部によって取得された監視用モデルを用いて異常の検出を行う、請求項１記載の監視装置。
  3. 監視対象の撮影画像を取得する撮影画像取得部と、
    前記撮影画像取得部によって取得された撮影画像に含まれる監視対象の種類を判定する判定部と、
    前記判定部によって判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、前記撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部と、
    前記異常検出部によって異常が検出された場合に、当該異常の検出に関する出力を行う出力部と、を備え、
    前記異常検出部は、前記判定部によって撮影画像に含まれると判定された監視対象の種類が複数である場合に、判定結果である監視対象の複数の種類にそれぞれ対応する複数の監視用モデルを用いて異常の検出を行う、監視装置。
  4. 前記異常検出部は、前記判定部によって撮影画像に含まれると判定された監視対象の種類が複数である場合に、判定結果である監視対象の各種類に対応する撮影画像の部分ごとに、当該監視対象の種類に対応する監視用モデルを用いて異常の検出を行う、請求項３記載の監視装置。
  5. 監視対象の撮影画像を取得する撮影画像取得部と、
    前記撮影画像取得部によって取得された撮影画像に含まれる監視対象の種類を判定する判定部と、
    監視対象の種類と１以上の検出対象の異常とを対応付ける複数の対応情報が記憶される対応情報記憶部と、
    前記判定部によって判定された監視対象の種類に、前記対応情報によって対応付けられる１以上の検出対象の異常にそれぞれ対応する１以上の監視用モデルであり、撮影画像に含まれる前記１以上の検出対象の異常を検出するためにそれぞれ用いられる１以上の監視用モデルに、前記撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部と、
    前記異常検出部によって異常が検出された場合に、当該異常の検出に関する出力を行う出力部と、を備えた監視装置。
  6. 前記監視用モデルは、撮影画像である訓練用入力情報と、当該訓練用入力情報の撮影画像に含まれる監視対象に関する異常の有無を示す訓練用出力情報との組を複数用いて学習された学習器である、請求項１から請求項５のいずれか記載の監視装置。
  7. 前記出力部は、前記異常検出部によって検出された異常に対応する確信度に応じて、異なる出力を行う、請求項６記載の監視装置。
  8. 撮影画像には音声も含まれており、
    前記異常検出部は、撮影画像に含まれる音声をも用いて異常を検出する、請求項１から請求項７のいずれか記載の監視装置。
  9. 撮影画像取得部と、判定部と、異常検出部と、出力部とを用いて処理される監視方法であって、
    前記撮影画像取得部が、監視対象の撮影画像を撮影する撮影画像取得ステップと、
    前記判定部が、前記撮影画像取得ステップにおいて撮影された撮影画像に含まれる監視対象の種類を、画像分類用の学習器に撮影画像を適用することによって判定する判定ステップと、
    前記異常検出部が、前記判定ステップにおいて判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、前記撮影画像取得ステップにおいて取得された撮影画像を適用することによって異常を検出する異常検出ステップと、
    前記出力部が、前記異常検出ステップにおいて異常が検出された場合に、当該異常の検出に関する出力を行う出力ステップと、を備えた監視方法。
  10. コンピュータを、
    監視対象の撮影画像を撮影する撮影画像取得部によって撮影された撮影画像に含まれる監視対象の種類を、画像分類用の学習器に撮影画像を適用することによって判定する判定部、
    前記判定部によって判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、前記撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部、
    前記異常検出部によって異常が検出された場合に、当該異常の検出に関する出力を行う出力部として機能させるためのプログラム。
  11. 撮影画像取得部と、判定部と、異常検出部と、出力部とを用いて処理される監視方法であって、
    前記撮影画像取得部が、監視対象の撮影画像を取得する撮影画像取得ステップと、
    前記判定部が、前記撮影画像取得ステップにおいて取得された撮影画像に含まれる監視対象の種類を判定する判定ステップと、
    前記異常検出部が、前記判定ステップにおいて判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、前記撮影画像取得ステップにおいて取得された撮影画像を適用することによって異常を検出する異常検出ステップと、
    前記出力部が、前記異常検出ステップにおいて異常が検出された場合に、当該異常の検出に関する出力を行う出力ステップと、を備え、
    前記異常検出ステップでは、前記判定ステップにおいて撮影画像に含まれると判定された監視対象の種類が複数である場合に、判定結果である監視対象の複数の種類にそれぞれ対応する複数の監視用モデルを用いて異常の検出を行う、監視方法。
  12. 撮影画像取得部と、判定部と、異常検出部と、出力部と、監視対象の種類と１以上の検出対象の異常とを対応付ける複数の対応情報が記憶される対応情報記憶部とを用いて処理される監視方法であって、
    前記撮影画像取得部が、監視対象の撮影画像を取得する撮影画像取得ステップと、
    前記判定部が、前記撮影画像取得ステップにおいて取得された撮影画像に含まれる監視対象の種類を判定する判定ステップと、
    前記異常検出部が、前記判定ステップにおいて判定された監視対象の種類に、前記対応情報によって対応付けられる１以上の検出対象の異常にそれぞれ対応する１以上の監視用モデルであり、撮影画像に含まれる前記１以上の検出対象の異常を検出するためにそれぞれ用いられる１以上の監視用モデルに、前記撮影画像取得ステップにおいて取得された撮影画像を適用することによって異常を検出する異常検出ステップと、
    前記出力部が、前記異常検出ステップにおいて異常が検出された場合に、当該異常の検出に関する出力を行う出力ステップと、を備えた監視方法。
  13. コンピュータを、
    監視対象の撮影画像を取得する撮影画像取得部によって取得された撮影画像に含まれる監視対象の種類を判定する判定部、
    前記判定部によって判定された監視対象の種類に対応する監視用モデルであり、撮影画像に含まれる監視対象に関する異常を検出するために用いられる監視用モデルに、前記撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部、
    前記異常検出部によって異常が検出された場合に、当該異常の検出に関する出力を行う出力部として機能させ、
    前記異常検出部は、前記判定部によって撮影画像に含まれると判定された監視対象の種類が複数である場合に、判定結果である監視対象の複数の種類にそれぞれ対応する複数の監視用モデルを用いて異常の検出を行う、プログラム。
  14. 監視対象の種類と１以上の検出対象の異常とを対応付ける複数の対応情報が記憶される対応情報記憶部にアクセス可能なコンピュータを、
    監視対象の撮影画像を取得する撮影画像取得部によって取得された撮影画像に含まれる監視対象の種類を判定する判定部、
    前記判定部によって判定された監視対象の種類に、前記対応情報によって対応付けられる１以上の検出対象の異常にそれぞれ対応する１以上の監視用モデルであり、撮影画像に含まれる前記１以上の検出対象の異常を検出するためにそれぞれ用いられる１以上の監視用モデルに、前記撮影画像取得部によって取得された撮影画像を適用することによって異常を検出する異常検出部、
    前記異常検出部によって異常が検出された場合に、当該異常の検出に関する出力を行う出力部として機能させるためのプログラム。
JP2019205766A 2019-11-13 2019-11-13 監視装置、監視方法、及びプログラム Active JP6742623B1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019205766A JP6742623B1 (ja) 2019-11-13 2019-11-13 監視装置、監視方法、及びプログラム
PCT/JP2020/034939 WO2021095351A1 (ja) 2019-11-13 2020-09-15 監視装置、監視方法、及びプログラム
US17/776,402 US20230061044A1 (en) 2019-11-13 2020-09-15 Monitoring device, monitoring method, and program
CN202080092771.1A CN115004269B (zh) 2019-11-13 2020-09-15 监视装置、监视方法及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019205766A JP6742623B1 (ja) 2019-11-13 2019-11-13 監視装置、監視方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6742623B1 true JP6742623B1 (ja) 2020-08-19
JP2021077295A JP2021077295A (ja) 2021-05-20

Family

ID=72048008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019205766A Active JP6742623B1 (ja) 2019-11-13 2019-11-13 監視装置、監視方法、及びプログラム

Country Status (4)

Country Link
US (1) US20230061044A1 (ja)
JP (1) JP6742623B1 (ja)
CN (1) CN115004269B (ja)
WO (1) WO2021095351A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113288190A (zh) * 2021-05-27 2021-08-24 上海联影医疗科技股份有限公司 一种监控系统及医学系统
CN115797842A (zh) * 2022-12-13 2023-03-14 深圳云天励飞技术股份有限公司 车辆占道经营检测方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7467300B2 (ja) 2020-09-17 2024-04-15 京セラ株式会社 システム、電子機器、電子機器の制御方法、及びプログラム
US20240233382A9 (en) * 2021-08-26 2024-07-11 Nec Corporation Monitoring device, monitoring system, monitoring method, and non-transitory computer-readable medium storing program
CN116189068A (zh) * 2021-11-29 2023-05-30 英业达科技有限公司 电子看板自动监看与生产异常即时反应系统及其方法
WO2023105666A1 (ja) * 2021-12-08 2023-06-15 日本電気株式会社 画像処理システム、画像処理方法、および非一時的なコンピュータ可読媒体
CN116597387A (zh) * 2023-07-17 2023-08-15 建信金融科技有限责任公司 一种异常处理方法、装置、电子设备及计算机可读介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000293685A (ja) * 1999-04-06 2000-10-20 Toyota Motor Corp シーン認識装置
US7433493B1 (en) * 2000-09-06 2008-10-07 Hitachi, Ltd. Abnormal behavior detector
JP5356094B2 (ja) * 2009-03-31 2013-12-04 能美防災株式会社 火災検出システム
TWI430212B (zh) * 2010-06-08 2014-03-11 Gorilla Technology Inc 利用多特徵自動集群法之異常行為偵測系統與方法
JP5597454B2 (ja) * 2010-06-17 2014-10-01 東芝テリー株式会社 異常走行車両検出システムおよび道路監視プログラム
CN102752574B (zh) * 2011-04-18 2015-01-28 中兴通讯股份有限公司 一种视频监控系统及方法
WO2014208575A1 (ja) * 2013-06-28 2014-12-31 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
DE102013219218A1 (de) * 2013-09-25 2015-03-26 Robert Bosch Gmbh Überwachungsanlage, Verfahren zur Überwachung eines Überwachungsbereichs sowie Computerprogramm
JP6350549B2 (ja) * 2014-02-14 2018-07-04 日本電気株式会社 映像解析システム
CN106557765A (zh) * 2015-09-29 2017-04-05 欧姆龙株式会社 注意检测装置以及注意检测方法
JP6862144B2 (ja) * 2016-10-27 2021-04-21 ホーチキ株式会社 監視システム
CN107045623B (zh) * 2016-12-30 2020-01-21 厦门瑞为信息技术有限公司 一种基于人体姿态跟踪分析的室内危险情况告警的方法
JP6905850B2 (ja) * 2017-03-31 2021-07-21 綜合警備保障株式会社 画像処理システム、撮像装置、学習モデル作成方法、情報処理装置
CN107483887B (zh) * 2017-08-11 2020-05-22 中国地质大学（武汉） 一种智慧城市视频监控中突发情况的预警检测方法
CN109684916B (zh) * 2018-11-13 2020-01-07 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113288190A (zh) * 2021-05-27 2021-08-24 上海联影医疗科技股份有限公司 一种监控系统及医学系统
CN115797842A (zh) * 2022-12-13 2023-03-14 深圳云天励飞技术股份有限公司 车辆占道经营检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20230061044A1 (en) 2023-03-02
WO2021095351A1 (ja) 2021-05-20
CN115004269A (zh) 2022-09-02
JP2021077295A (ja) 2021-05-20
CN115004269B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
JP6742623B1 (ja) 監視装置、監視方法、及びプログラム
JP6525229B1 (ja) デジタルサーチ・セキュリティシステム、方法及びプログラム
US11640726B2 (en) Person monitoring system and person monitoring method
CN108256404B (zh) 行人检测方法和装置
KR20200040665A (ko) 컨볼루션 신경망을 이용하여 poi 변화를 검출하기 위한 시스템 및 방법
KR20210053534A (ko) 딥러닝기반 행동인식장치 및 그 장치의 구동방법
KR20130060339A (ko) 클라우드 보조 증강 현실을 위한 적응적 프레임워크
JP7052305B2 (ja) 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム
CN111222493B (zh) 一种视频处理方法及装置
CN116601668A (zh) 对象分割与特征跟踪
JP6977492B2 (ja) 救援システムおよび救援方法、ならびにそれに使用されるサーバおよびプログラム
US12051015B2 (en) Artificial intelligence model integration and deployment for providing a service
JPWO2019215778A1 (ja) データ提供システムおよびデータ収集システム
JP7001150B2 (ja) 識別システム、モデル再学習方法およびプログラム
JP6981553B2 (ja) 識別システム、モデル提供方法およびモデル提供プログラム
Foysal et al. Advancing AI-based Assistive Systems for Visually Impaired People: Multi-Class Object Detection and Currency Classification
WO2021149274A1 (ja) 監視システム、監視装置、監視方法、およびプログラム
JP2021164008A (ja) 情報処理方法、情報処理装置、プログラム及び情報処理システム
Nandhini et al. IoT Based Smart Home Security System with Face Recognition and Weapon Detection Using Computer Vision
US20230252183A1 (en) Information processing apparatus, information processing method, and computer program
JP7420261B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US11663790B2 (en) Dynamic triggering of augmented reality assistance mode functionalities
Gorav et al. Operational Technology Driven Smart Navigator
US20230267822A1 (en) Reporting apparatus, non-transitory computer readable medium, and method for reporting
US20230105423A1 (en) System and method of intruder detection

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200124

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200124

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200225

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200707

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R150 Certificate of patent or registration of utility model

Ref document number: 6742623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350