JPWO2014174738A1 - 監視装置、監視方法および監視用プログラム - Google Patents

監視装置、監視方法および監視用プログラム Download PDF

Info

Publication number
JPWO2014174738A1
JPWO2014174738A1 JP2015513498A JP2015513498A JPWO2014174738A1 JP WO2014174738 A1 JPWO2014174738 A1 JP WO2014174738A1 JP 2015513498 A JP2015513498 A JP 2015513498A JP 2015513498 A JP2015513498 A JP 2015513498A JP WO2014174738 A1 JPWO2014174738 A1 JP WO2014174738A1
Authority
JP
Japan
Prior art keywords
sound source
abnormality
crowd
degree
behavior pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015513498A
Other languages
English (en)
Other versions
JP6532106B2 (ja
Inventor
真宏 谷
真宏 谷
宝珠山 治
治 宝珠山
孝文 越仲
孝文 越仲
亮磨 大網
亮磨 大網
博義 宮野
博義 宮野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2014174738A1 publication Critical patent/JPWO2014174738A1/ja
Application granted granted Critical
Publication of JP6532106B2 publication Critical patent/JP6532106B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/802Systems for determining direction or deviation from predetermined direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53Recognition of crowd images, e.g. recognition of crowd congestion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)

Abstract

監視装置は、群衆行動分析部21と、異常度算出部24とを備え、群衆行動分析部21は、入力映像から群衆の行動パターンを特定し、異常度算出部24は、行動パターンの変化から異常度を算出する。

Description

本発明は、入力される映像を用いて群衆の行動を監視する監視装置、監視方法および監視用プログラムに関する。
設置したカメラが撮影する映像を監視して、各種の判断を行うことが行われている。この際、撮影された監視対象の状況が注視すべき事象か否かを判断することも行われている。
例えば、特許文献1には、一般道や高速道路、パーキングエリア等で発生する異常事態を検知する方法が記載されている。特許文献1に記載された方法では、受信した音響信号を分析して画像撮像の要否を判断し、画像撮像が必要と判断された場合に、その音響信号を受信した装置が撮像範囲に入るように、撮像装置を制御する。
特開2002−44647号公報
一般に、外部環境では、監視したい対象が発する音だけでなく、機器の駆動や、空調、自然の風などによる種々の音が混在する。したがって、例えば、マイクロフォンなどの集音機器を外部環境に設置した場合、監視対象以外の様々な音が集音機器に入力される。
特許文献1に記載された方法では、入力される音響信号に基づいて、撮像するか否か等が判断される。しかし、音響信号を採取する環境では、種々の音が混在しているため、特許文献1に記載された方法のように、音響信号のみに基づいて、発生した事象を判定する方法では、その判定精度が劣化してしまうという問題がある。このように劣化した判定精度を用いた場合、発生した事象が正常な状態からどの程度外れた事象なのか、また、その事象に対してどのように対応すべきか判断することは困難である。
そこで、本発明は、監視対象としている事象が正常な状態からどの程度離れているか判定できる監視装置、監視方法および監視用プログラムを提供することを目的とする。
本発明による監視装置は、入力映像から群衆の行動パターンを特定する群衆行動分析部と、行動パターンの変化から異常度を算出する異常度算出部とを備えたことを特徴とする。
本発明による監視方法は、入力映像から群衆の行動パターンを特定し、行動パターンの変化から異常度を算出することを特徴とする。
本発明による監視用プログラムは、コンピュータに、入力映像から群衆の行動パターンを特定する群衆行動分析処理、および、行動パターンの変化から異常度を算出する異常度算出処理を実行させることを特徴とする。
本発明によれば、監視対象としている事象が正常な状態からどの程度離れているか判定できる。
本発明による監視装置の第1の実施形態の構成例を示すブロック図である。 異常度を算出する方法の例を示す説明図である。 第1の実施形態の監視装置の動作例を示すフローチャートである。 本発明による監視装置の第2の実施形態の構成例を示すブロック図である。 異常度を算出する他の方法の例を示す説明図である。 第2の実施形態の監視装置の動作例を示すフローチャートである。
以下、本発明の実施形態を図面を参照して説明する。
実施形態1.
図1は、本発明による監視装置の第1の実施形態の構成例を示すブロック図である。本実施形態の監視装置は、群衆行動分析部21と、異常度算出部24とを備えている。監視装置は、監視範囲を撮影する撮影装置(図示せず。例えば、カメラ)や、監視範囲の音を集音する集音装置(図示せず。例えば、マイクロフォン)から、監視に必要な情報を入力する。
群衆行動分析部21は、撮影装置からの映像を入力し、その入力映像から群衆の行動パターンを特定する。群衆の行動パターンとは、ある時刻間における群衆の行動の変化を規定した分類のことである。この行動の変化には、変化のある状態だけでなく、変化がない状態も含まれる。群衆の行動パターンは、例えば、移動方向およびその変化量、移動速度およびその変化量、群衆の散らばり具合(ばらつき)およびその変化量、並びに、これらの組み合わせで規定される。ただし、群衆の行動パターンを規定する情報は、これらの情報に限定されない。
また、群衆のパターンを規定する際の時刻間(時間間隔)は、処理に応じて予め定められる。例えば、入力される映像の1フレームを、この時間間隔と定めてもよい。以下、説明を簡易化するため、ある時刻間の行動パターンを示す場合にも、単にある時刻tの行動パターンと記すこともある。
また、群衆とは、監視対象とする個の集合である。本実施形態では、監視対象とする個には、単体の人だけでなく、例えば、車やオートバイ、自転車等に乗って移動する人なども含まれる。群衆行動分析部21は、例えば、個々の監視対象を認識したあとで、その監視対象のまとまりを群衆と判定してもよい。また、群衆行動分析部21は、映像に現れる群衆のパターンを予め学習しておき、そのパターンと入力映像とを比較して群衆を判定してもよい。
そして、群衆行動分析部21は、例えば、映像から検出可能な群衆の行動パターンを予め定めておき、その行動パターンが入力映像中に含まれるか否かを分析してもよい。また、例えば、群衆の行動パターンを学習してモデル化しておき、群衆行動分析部21は、そのモデルから各行動パターンらしさを判断する識別器を用いて、群衆の行動パターンを特定してもよい。また、このとき、群衆行動分析部21は、群衆の行動パターンの尤もらしさ(尤度)を併せて特定してもよい。
また、群衆行動分析部21は、例えば、登録されていない行動パターンを含む映像が入力された場合に、正常な状態から外れた状態の行動パターンがその映像に含まれると特定してもよい。具体的には、ある定常状態を示す行動パターンを定めておき、その定常状態に該当しない行動パターンが映像に含まれている場合に、群衆行動分析部21は、入力映像に、異常な行動パターンが含まれていると特定してもよい。ここで、定常状態に該当しない行動パターンには、入力映像に含まれる行動パターンが定常状態を示す行動パターンである尤もらしさと、所定の閾値とを比較したときに、その閾値を下回る行動パターンが含まれる。
一般に、正常な状態から外れた状態を個々に学習することは困難な場合が多い。そのため、このような定常状態から外れた状態を特定することで、様々な異常状態を監視できる。
以下の説明では、正常な状態から外れた状態を異常状態と記す。また、正常な状態から外れた度合いのことを異常度と記す。本実施形態で用いる異常とは、正常な状態から好ましくない方向に外れた状態のことだけでなく、正常な状態から好ましい方向に外れた状態のことも含む。
なお、群衆行動分析部21が群衆の行動パターンを特定する方法は、上記方法に限定されない。また、群衆行動分析部21は、具体的な群衆の行動パターンだけでなく、入力映像から算出される映像特徴量に基づいて、群衆の移動方向や移動変化量を算出してもよい。このとき、群衆行動分析部21は、オプティカルフローなど、見かけの動きを表わす情報を映像特徴量として用いてもよい。
異常度算出部24は、群衆行動分析部21が特定した群衆の行動パターンから異常度を算出する。具体的には、異常度算出部24は、時刻的に変化する群衆の行動パターンに応じて異常度を算出する。
図2は、異常度を算出する方法の例を示す説明図である。図2に示す例では、時刻tにおける群衆行動パターンが、群衆41が右方向に一定速度で移動していることを示しているものとする。異常度算出部24は、時刻tにおける群衆行動パターンと、時刻t+1における群衆行動パターンとを比較し、群衆行動パターンの変化を特定する。
例えば、図2(a)に示すように、時刻t+1において、時刻tと同様、群衆41が右方向に一定速度で移動しているとする。この場合、群衆行動パターンに変化がないことから、異常度算出部24は、異常度を低く算出してもよい。
また、例えば、図2(b)に示すように、時刻t+1において、群衆41の移動が停止したとする。この場合、例えば、事故や地震等、群衆41が立ち止まって状況を確認するような事象が発生したと考えられる。そのため、異常度算出部24は、このように変化する群衆の行動パターンの場合、異常度を中程度の値になるように算出してもよい。
また、例えば、図2(c)に示すように、時刻t+1において、群衆41の移動が逆方向(左方向)に一定速度で移動するように変化したとする。この場合、例えば、左方向で発生した事故等を確認するためなど、群衆41が移動方向を変更するような事象が発生したと考えられる。そのため、異常度算出部24は、このように変化する群衆の行動パターンの場合、異常度を中程度の値になるように算出してもよい。
また、例えば、図2(d)に示すように、時刻t+1において、群衆41の移動速度が大きく変化したとする。この場合、例えば、テロ等が発生し、群衆41が急激に逃走するような事象が発生したと考えられる。そのため、異常度算出部24は、このように変化する群衆の行動パターンの場合に、異常度を大きな値になるように算出してもよい。
このような異常度を算出する際、異常度算出部24は、群衆行動パターンの変化に応じて予め定めた値を、異常度として用いてもよい。また、例えば、群衆行動分析部21が、群衆の行動パターンの尤度を算出している場合、異常度算出部24は、予め定められた値に、その尤度を乗じて異常度を算出してもよい。すなわち、異常度算出部24は、その尤度が高いほど異常度を高く算出してもよい。
また、異常度算出部24は、例えば、群衆行動パターンの変化の内容が同じであっても、その変化量が大きいほど異常度を高く算出するようにしてもよい。ここで、行動パターンの変化量は、群衆の移動速度の変化、移動方向の変化に基づいて算出可能である。行動パターンが急激に変化したということは、正常な状態からより外れた事象が発生したと考えられる。この場合、異常度算出部24は、群衆の行動パターンの変化から、その変化量を算出し、変化量が大きいほど異常度を高く算出するようにしてもよい。
また、異常度算出部24は、本実施形態の監視装置を適用する環境に応じて、異常度を算出する方法を変更してもよい。例えば、監視している環境であまり発生しない事象が発生した場合、そのような事象が発生する状況は、正常な状態からより外れた状況であると言える。そのため、異常度算出部24は、群衆行動パターンの変化の発生頻度が低い事象ほど、より異常度を高く算出する関数を用いて、異常度を算出してもよい。この際、異常度算出部24は、発生の頻度を履歴として保存し、その履歴を用いて発生の頻度を判断するようにしてもよい。
また、異常度算出部24は、群衆行動分析部21が異常な行動パターンを特定した場合、その異常な行動パターンの時間的変化と、定常状態を示す行動パターンの時間的変化との距離を、異常度として算出してもよい。
また、異常度算出部24は、算出した異常度に応じて、各種監視デバイスを制御したり、監視員や監視システムへ警告を通知したりするようにしてもよい。具体的には、異常度が高いほど、集中して監視する必要があることから、その異常度の大きさに応じて段階的に処理を定めておき、異常度算出部24は、算出した異常度に応じて定められた処理を実行するようにしてもよい。異常度算出部24は、例えば、所定の閾値を超える異常度を算出した場合や、所定の値からの外れ度合いに応じて、監視員や監視システムにアラーム通知してもよい。
ただし、異常度に応じて監視デバイスを制御する方法は、上記方法に限定されない。例えば、監視デバイスを制御するシステム(図示せず)へ算出した異常度を通知し、通知されたシステムが、通知された異常度に応じて、各監視デバイスを制御するようにしてもよい。
群衆行動分析部21と、異常度算出部24とは、プログラム(監視用プログラム)に従って動作するコンピュータのCPUによって実現される。例えば、プログラムは、監視装置の記憶部(図示せず)に記憶され、CPUは、そのプログラムを読み込み、プログラムに従って、群衆行動分析部21および異常度算出部24として動作してもよい。また、群衆行動分析部21と、異常度算出部24とは、それぞれが専用のハードウェアで実現されていてもよい。
次に、本実施形態の監視装置の動作の一例を説明する。図3は、本実施形態の監視装置の動作例を示すフローチャートである。撮像装置(図示せず)は、監視範囲の映像を撮影し、監視装置に入力する(ステップS11)。群衆行動分析部21は、入力される映像から、群衆の行動パターンを特定する(ステップS12)。そして、異常度算出部24は、行動パターンの変化から異常度を算出する(ステップS13)。
以上のように、本実施形態によれば、群衆行動分析部21が、入力映像から群衆の行動パターンを特定し、異常度算出部24が、行動パターンの変化から異常度を算出する。よって、監視対象としている事象が正常な状態からどの程度離れているか判定できる。
実施形態2.
図4は、本発明による監視装置の第2の実施形態の構成例を示すブロック図である。なお、第1の実施形態と同様の構成については、図1と同一の符号を付し、説明を省略する。本実施形態の監視装置は、群衆行動分析部21と、環境音分析部22と、異常度算出部24とを備えている。すなわち、本実施形態の監視装置は、環境音分析部22を備えている点において、第1の実施形態の監視装置と異なる。
環境音分析部22は、監視範囲の音(以下、環境音と記す。)を、集音装置(例えば、マイクロフォンなど)から入力する。そして、環境音分析部22は、入力された環境音に含まれる音源を分析する。具体的には、環境音分析部22は、監視範囲から検出される音源を分析して、音源の方位を判定し、また、音源の種類や音源の音の大きさなどを識別する。以下、音源の種類や音源の音の大きさなど、音源の内容を識別する結果のことを音源識別結果と記す。
環境音分析部22は、例えば、異常事態を示す音源を分析してもよい。異常事態を示す音源として、悲鳴、自動車音(例えば、エンジン音、排気音、スリップ音など)、各種爆発音、銃声、ガラスの割れる音などが挙げられる。環境音分析部22は、周知の方法を用いて、音源の内容を識別してもよい。
また、環境音分析部22は、群衆行動分析部21が特定した群衆行動パターンを用いて音源の種類を特定してもよい。例えば、爆弾、爆竹、花火により生じる音は、いずれも爆発音であり、音響特徴は類似する。ここで、爆弾は、物や人に被害を与えるものであるとし、爆竹および花火は、お祭りなど、人を惹きつけるためのものであるとする。この場合、爆弾の存在により、群衆が大きく移動することが想定される。一方、爆竹および花火の存在により、群衆は留まって見物することが想定される。このように、環境音分析部22が群衆の行動パターンを考慮することにより、音響特徴が類似する音源が発生した場合であっても、その音源の種類を特定する精度を向上できる。
ただし、環境音分析部22が音源の方位を判定する方法や、音源の内容を識別する方法は、上記方法に限定されない。環境音分析部22は、他にも広く知られた方法を用いて、音源の方位を判定してもよく、音源の内容を識別してもよい。
環境音分析部22は、音源方位や音源識別結果など、音源に関する分析結果を定期的に異常度算出部24に入力してもよい。また、環境音分析部22は、所定の種類の音源(例えば、異常事態を示す音源)を認識したときに、その音源を認識した結果とその音源の方位とを異常度算出部24に入力してもよい。なお、環境音分析部22は、例えば、プログラム(監視用プログラム)に従って動作するコンピュータのCPUによって実現される。
異常度算出部24は、音源の方位または音源識別結果に基づいて、異常度を算出する。異常度算出部24は、例えば、検出された音源の内容を示す音源識別結果と、その音源が検出された前後の時間における群衆行動パターンの変化とから異常度を算出してもよい。また、異常度算出部24は、例えば、検出された音源の方向と、その音源が検出された前後の時間における群衆行動パターンの変化とから異常度を算出してもよい。
図5は、異常度を算出する他の方法の例を示す説明図である。図5に示す例は、音源が検出された前後の時間における群衆行動パターンの変化から異常度を算出する方法の例である。図5に示す例では、衝撃音50が発生する前において、群衆行動パターンが、群衆41が右方向に一定速度で移動していることを示しているものとする。
例えば、図5(a)に示すように、衝撃音50が発生した前後において、群衆41が右方向に一定速度で移動しているとする。この場合、群衆行動パターンに変化がないことから、軽い事故や音源の誤検出が発生したと考えられる。そのため、異常度算出部24は、異常度を低く算出してもよい。
また、例えば、図5(b)に示すように、衝撃音50が発生した後、群衆41の移動が停止したとする。この場合、例えば、事故や地震等、群衆が立ち止まって状況を確認するような事象が発生したと考えられる。そのため、異常度算出部24は、衝撃音50が発生した前後でこのように群衆の行動パターンが変化する場合、異常度を中程度の値になるように算出してもよい。
また、例えば、図5(c)に示すように、衝撃音50が発生した後、群衆41の移動が逆方向(左方向)に一定速度で移動するように変化したとする。この場合、例えば、左方向で発生した事故等を確認するためなど、群衆41が移動方向を変更するような事象が発生したと考えられる。そのため、異常度算出部24は、衝撃音50が発生した前後でこのように群衆の行動パターンが変化する場合、異常度を中程度の値になるように算出してもよい。
また、例えば、図5(d)に示すように、衝撃音50が発生した後、群衆41の移動速度が大きく変化したとする。この場合、例えば、テロ等が発生し、群衆41が急激に逃走するような事象が発生したと考えられる。そのため、異常度算出部24は、衝撃音50が発生した前後でこのように群衆の行動パターンが変化する場合、異常度を大きな値になるように算出してもよい。
なお、異常度算出部24が異常度を算出する方法は、図5に例示する方法に限定されない。異常度算出部24は、例えば、第1の実施形態で示した方法、および、それらの方法の組み合わせにより異常度を算出してもよい。
なお、異常度算出部24は、検出された音源の内容を示す音源識別結果と、検出された音源の方位の両方を用いて、異常度を算出してもよい。異常度算出部24は、例えば、ある方位からある種類の音源が検出されたときの行動パターンに応じて異常度を定めておき、検出された音源の方位および種類と、特定された行動パターンの尤度に応じて、異常度を算出してもよい。このとき、異常度算出部24は、より尤度が高いほど、異常度を高く算出してもよい。
次に、本実施形態の監視装置の動作を説明する。図6は、本実施形態の監視装置の動作例を示すフローチャートである。なお、監視範囲の映像を撮影して監視装置に入力し、入力される映像から群衆の行動パターンを特定するステップS11〜S12の処理は、図3に例示する処理と同様である。
一方、環境音分析部22は、環境音を分析し、異常事態を示す音源が含まれるか否か判断する(ステップS21)。環境音に異常事態を示す音源が含まれないと判定した場合(ステップS21におけるNo)、環境音分析部22は、ステップS21の処理を繰り返す。一方、環境音に異常事態を示す音源が含まれている場合(ステップS21におけるYes)、環境音分析部22は、その音源の方位と音源識別結果とを異常度算出部24に入力する(ステップS22)。
異常度算出部24は、行動パターンの変化から異常度を算出する。なお、異常度算出部24は、環境音分析部22から音源の方位や、音源識別結果を通知された場合、その音源の方位、音源識別結果および行動パターンの変化から、異常度を算出してもよい(ステップS23)。
以上のように、本実施形態によれば、環境音分析部22が、監視範囲から検出される音源を分析して、その音源の方位とその音源の内容を示す音源識別結果とのうちの少なくとも一方を算出し、異常度算出部24が、音源の方位または音源識別結果に基づいて、異常度を算出する。よって、第1の実施形態の効果に加え、対象としている事象が正常な状態からどの程度離れているか判定する精度を、より向上させることができる。
例えば、特許文献1に記載された方法では、音源の識別結果のみに基づいて、事態の重要度等を判断していたが、本実施形態では、音源の識別結果に加え、映像から特定される行動パターンに基づいて事象を判断する。そのため、事態の重要性を判断する精度を向上できる。
次に、本発明の概要を、図1を用いて説明する。本発明による監視装置は、入力映像から群衆の行動パターンを特定する群衆行動分析部21と、行動パターンの変化から異常度(例えば、正常な状態から外れた度合い)を算出する異常度算出部24とを備えている。
そのような構成により、監視対象としている事象が正常な状態からどの程度離れているか判定できる。
また、監視装置は、監視範囲から検出される音源を分析して、その音源の方位とその音源の内容を示す音源識別結果とのうちの少なくとも一方を算出する音源分析部(例えば、環境音分析部22)を備えていてもよい。そして、異常度算出部24は、行動パターンの変化と、音源の方位または音源識別結果に基づいて、異常度を算出してもよい。
そのような構成により、対象としている事象が正常な状態からどの程度離れているか判定する精度を、より向上させることができる。すなわち、判定の際、群衆の行動パターンだけでなく、その行動パターンを生じるきっかけと考えられる音も利用するため、対象としている事象の異常度を算出する精度をより向上できる。
また、音源分析部は、群衆の行動パターンを利用して、音源の方位と音源識別結果のうちの少なくとも一方を算出してもよい。このように、群衆の行動パターンを利用することで、検出する音源を判断する精度を向上できる。
具体的には、異常度算出部24は、検出された音源の方位と音源識別結果のうちの少なくとも一方の情報と、音源が検出された前後の時間における群衆の行動パターンの変化とから異常度を算出してもよい。このような構成により、検出された音源が異常な事象か否かについて判定する精度を向上できる。
また、異常度算出部24は、群衆の行動パターンの変化量を算出し、その変化量が大きいほど異常度を高く算出してもよい。このように行動パターンの変化量が大きい事象は、正常な状態からより離れている事象であると判断できるためである。
また、異常度算出部24は、群衆の行動パターンの変化の発生頻度が低いほど異常度を高く算出してもよい。このように、あまり発生しない行動パターンの変化が生じた事象は、正常な状態からより離れている事象であると判断できるためである。
また、群衆行動分析部21は、群衆の行動パターンの尤もらしさを示す尤度を算出してもよい。そして、異常度算出部24は、尤度が高いほど異常度を高く算出してもよい。
また、異常度算出部24は、算出した異常度に応じて、少なくとも所定の制御処理(例えば、各種監視デバイスの制御処理)または所定の送信先(例えば、監視員や監視システム)へアラームを通知してもよい。
以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2013年4月26日に出願された日本特許出願2013−093214を基礎とする優先権を主張し、その開示の全てをここに取り込む。
21 群衆行動分析部
22 環境音分析部
24 異常度算出部
41 群衆
50 衝撃音

Claims (12)

  1. 入力映像から群衆の行動パターンを特定する群衆行動分析部と、
    前記行動パターンの変化から異常度を算出する異常度算出部とを備えた
    ことを特徴とする監視装置。
  2. 監視範囲から検出される音源を分析して、当該音源の方位と当該音源の内容を示す音源識別結果とのうちの少なくとも一方を算出する音源分析部を備え、
    異常度算出部は、行動パターンの変化と、前記音源の方位または前記音源識別結果に基づいて、異常度を算出する
    請求項1記載の監視装置。
  3. 音源分析部は、群衆の行動パターンを利用して、音源の方位と音源識別結果のうちの少なくとも一方を算出する
    請求項2記載の監視装置。
  4. 異常度算出部は、検出された音源の方位と音源識別結果のうちの少なくとも一方の情報と、音源が検出された前後の時間における群衆の行動パターンの変化とから異常度を算出する
    請求項2または請求項3記載の監視装置。
  5. 異常度算出部は、群衆の行動パターンの変化量を算出し、当該変化量が大きいほど異常度を高く算出する
    請求項1から請求項4のうちのいずれか1項に記載の監視装置。
  6. 異常度算出部は、群衆の行動パターンの変化の発生頻度が低いほど異常度を高く算出する
    請求項1から請求項5のうちのいずれか1項に記載の監視装置。
  7. 群衆行動分析部は、群衆の行動パターンの尤もらしさを示す尤度を算出し、
    異常度算出部は、前記尤度が高いほど異常度を高く算出する
    請求項1から請求項6のうちのいずれか1項に記載の監視装置。
  8. 異常度算出部は、算出した異常度に応じて、少なくとも所定の制御処理または所定の送信先へアラームを通知する
    請求項1から請求項7のうちのいずれか1項に記載の監視装置。
  9. 入力映像から群衆の行動パターンを特定し、
    前記行動パターンの変化から異常度を算出する
    ことを特徴とする監視方法。
  10. 監視範囲から検出される音源を分析して、当該音源の方位と当該音源の内容を示す音源識別結果とのうちの少なくとも一方を算出し、
    行動パターンの変化と、前記音源の方位または前記音源識別結果に基づいて、異常度を算出する
    請求項9記載の監視方法。
  11. コンピュータに、
    入力映像から群衆の行動パターンを特定する群衆行動分析処理、および、
    前記行動パターンの変化から異常度を算出する異常度算出処理
    を実行させるための監視用プログラム。
  12. コンピュータに、
    監視範囲から検出される音源を分析して、当該音源の方位と当該音源の内容を示す音源識別結果とのうちの少なくとも一方を算出する音源分析処理を実行させ、
    異常度算出処理で、行動パターンの変化と、前記音源の方位または前記音源識別結果に基づいて、異常度を算出させる
    請求項11記載の監視用プログラム。
JP2015513498A 2013-04-26 2014-01-28 監視装置、監視方法および監視用プログラム Active JP6532106B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013093214 2013-04-26
JP2013093214 2013-04-26
PCT/JP2014/000425 WO2014174738A1 (ja) 2013-04-26 2014-01-28 監視装置、監視方法および監視用プログラム

Publications (2)

Publication Number Publication Date
JPWO2014174738A1 true JPWO2014174738A1 (ja) 2017-02-23
JP6532106B2 JP6532106B2 (ja) 2019-06-19

Family

ID=51791329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015513498A Active JP6532106B2 (ja) 2013-04-26 2014-01-28 監視装置、監視方法および監視用プログラム

Country Status (3)

Country Link
US (1) US9946921B2 (ja)
JP (1) JP6532106B2 (ja)
WO (1) WO2014174738A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671554A (zh) * 2023-10-20 2024-03-08 上海盈蝶智能科技有限公司 一种安防监控方法及系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6597609B2 (ja) 2014-06-30 2019-10-30 日本電気株式会社 画像処理装置、監視システム、画像処理方法、及びプログラム
US10318798B2 (en) * 2015-07-10 2019-06-11 Booz Allen Hamilton Inc. Device and method for detecting non-visible content in a non-contact manner
WO2017022286A1 (ja) * 2015-08-03 2017-02-09 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
JP6682222B2 (ja) 2015-09-24 2020-04-15 キヤノン株式会社 検知装置及びその制御方法、コンピュータプログラム
US20170148291A1 (en) * 2015-11-20 2017-05-25 Hitachi, Ltd. Method and a system for dynamic display of surveillance feeds
JP2019050438A (ja) * 2016-01-20 2019-03-28 三菱電機株式会社 映像監視装置及び映像監視方法
CN106599867B (zh) * 2016-12-22 2020-02-14 中国科学院上海高等研究院 密集客流异常行为检测方法
WO2019031473A1 (ja) * 2017-08-09 2019-02-14 日本電気株式会社 情報選択装置、情報選択方法、及び、情報選択プログラムが記録された記録媒体
CN110338092A (zh) * 2019-07-01 2019-10-18 河南牧业经济学院 一种基于声音的猪行为识别方法及系统
CN111047824B (zh) * 2019-12-20 2022-04-12 广东睿住智能科技有限公司 一种室内儿童看护联动控制预警方法及系统
JP7484248B2 (ja) 2020-03-12 2024-05-16 オムロン株式会社 画像処理装置、画像処理方法およびプログラム
US11798530B2 (en) * 2020-10-30 2023-10-24 Google Llc Simultaneous acoustic event detection across multiple assistant devices
CN117351405B (zh) * 2023-12-06 2024-02-13 江西珉轩智能科技有限公司 一种人群行为分析系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092368A (ja) * 1998-09-09 2000-03-31 Canon Inc カメラ制御装置及びコンピュータ読み取り可能な記憶媒体
JP2002344957A (ja) * 2001-05-11 2002-11-29 Hitachi Kokusai Electric Inc 画像監視装置
JP2004328622A (ja) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
JP2006339741A (ja) * 2005-05-31 2006-12-14 Matsushita Electric Ind Co Ltd 監視装置および監視方法
JP2012022370A (ja) * 2010-07-12 2012-02-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
JP2012058944A (ja) * 2010-09-08 2012-03-22 Secom Co Ltd 異常検知装置
JP2013073477A (ja) * 2011-09-28 2013-04-22 Secom Co Ltd 移動物体監視システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002044647A (ja) 2000-07-28 2002-02-08 Nippon Telegr & Teleph Corp <Ntt> 音響・画像協調センシング方法及びそのシステム、並びにこの方法を記録した記録媒体
WO2002021441A1 (fr) * 2000-09-06 2002-03-14 Hitachi, Ltd. Detecteur de comportement anormal
US8204353B2 (en) * 2002-11-27 2012-06-19 The Nielsen Company (Us), Llc Apparatus and methods for tracking and analyzing digital recording device event sequences
WO2005015362A2 (en) * 2003-08-06 2005-02-17 Innovida, Inc. System and method for delivering and optimizing media programming in public spaces
WO2006099612A2 (en) * 2005-03-17 2006-09-21 Nielsen Media Research, Inc. Methods and apparatus for using audience member behavior information to determine compliance with audience measurement system usage requirements
US7558404B2 (en) * 2005-11-28 2009-07-07 Honeywell International Inc. Detection of abnormal crowd behavior
US9036902B2 (en) * 2007-01-29 2015-05-19 Intellivision Technologies Corporation Detector for chemical, biological and/or radiological attacks
US8665333B1 (en) * 2007-01-30 2014-03-04 Videomining Corporation Method and system for optimizing the observation and annotation of complex human behavior from video sources
US9183512B2 (en) * 2011-12-15 2015-11-10 Northeastern University Real-time anomaly detection of crowd behavior using multi-sensor information
US20160132754A1 (en) * 2012-05-25 2016-05-12 The Johns Hopkins University Integrated real-time tracking system for normal and anomaly tracking and the methods therefor
US9361705B2 (en) * 2013-03-15 2016-06-07 Disney Enterprises, Inc. Methods and systems for measuring group behavior

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000092368A (ja) * 1998-09-09 2000-03-31 Canon Inc カメラ制御装置及びコンピュータ読み取り可能な記憶媒体
JP2002344957A (ja) * 2001-05-11 2002-11-29 Hitachi Kokusai Electric Inc 画像監視装置
JP2004328622A (ja) * 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
JP2006339741A (ja) * 2005-05-31 2006-12-14 Matsushita Electric Ind Co Ltd 監視装置および監視方法
JP2012022370A (ja) * 2010-07-12 2012-02-02 Hitachi Kokusai Electric Inc 監視システムおよび監視方法
JP2012058944A (ja) * 2010-09-08 2012-03-22 Secom Co Ltd 異常検知装置
JP2013073477A (ja) * 2011-09-28 2013-04-22 Secom Co Ltd 移動物体監視システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
越後 富夫 他, 人画像処理, vol. 第1版, JPN6018004610, 15 December 2007 (2007-12-15), pages 234 - 237, ISSN: 0003737483 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671554A (zh) * 2023-10-20 2024-03-08 上海盈蝶智能科技有限公司 一种安防监控方法及系统

Also Published As

Publication number Publication date
JP6532106B2 (ja) 2019-06-19
WO2014174738A1 (ja) 2014-10-30
US9946921B2 (en) 2018-04-17
US20160078286A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
WO2014174738A1 (ja) 監視装置、監視方法および監視用プログラム
JP7420169B2 (ja) 監視システム、監視方法及びプログラム
JP4705090B2 (ja) 煙感知装置及びその方法
US20090195382A1 (en) Video sensor and alarm system and method with object and event classification
AU2014240669B2 (en) Object monitoring system, object monitoring method, and monitoring target extraction project
JP6344383B2 (ja) 行動解析装置、行動解析方法および行動解析プログラム
KR102217253B1 (ko) 행동패턴 분석 장치 및 방법
KR101485022B1 (ko) 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
WO2014174737A1 (ja) 監視装置、監視方法および監視用プログラム
US10109299B2 (en) Sound processing apparatus, sound processing method, and storage medium
WO2010141117A2 (en) System and method for predicting abnormal behavior
JP2013088870A (ja) 不審者検知装置、不審者検知方法およびプログラム
KR101384781B1 (ko) 이상 음원 탐지 장치 및 방법
JP2017021790A (ja) 隠れマルコフモデルの混合を使用する検証および異常検出のためのシステムおよび方法
EP2587462A1 (en) Image monitoring system and method with false alarm rate reduction
JP2007264706A (ja) 画像処理装置、監視カメラ及び画像監視システム
US9007459B2 (en) Method to monitor an area
KR20230103890A (ko) 멀티-모달 비디오 캡셔닝 기반 영상 보안 시스템 및 방법
US11574461B2 (en) Time-series based analytics using video streams
KR101665232B1 (ko) 블랙박스 시스템에서 가속도 센서를 이용한 잘못 인식된 이벤트 영상 처리 방법
JP6095049B2 (ja) 煙検出装置
KR101330776B1 (ko) 영상감시 시스템 및 그 제어방법
WO2021199315A1 (ja) 監視装置、監視方法、および記録媒体
WO2023002563A1 (ja) 監視装置、監視システム、監視方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
RU2793797C2 (ru) Интеллектуальное аудиоаналитическое устройство и способ для космического аппарата

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190516

R150 Certificate of patent or registration of utility model

Ref document number: 6532106

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150