JP6421422B2 - 映像解析装置、監視装置、監視システムおよび映像解析方法 - Google Patents

映像解析装置、監視装置、監視システムおよび映像解析方法 Download PDF

Info

Publication number
JP6421422B2
JP6421422B2 JP2014042282A JP2014042282A JP6421422B2 JP 6421422 B2 JP6421422 B2 JP 6421422B2 JP 2014042282 A JP2014042282 A JP 2014042282A JP 2014042282 A JP2014042282 A JP 2014042282A JP 6421422 B2 JP6421422 B2 JP 6421422B2
Authority
JP
Japan
Prior art keywords
analysis
group
frame
gop
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014042282A
Other languages
English (en)
Other versions
JP2015170874A (ja
Inventor
敦典 坂井
敦典 坂井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014042282A priority Critical patent/JP6421422B2/ja
Priority to US14/628,866 priority patent/US10037606B2/en
Publication of JP2015170874A publication Critical patent/JP2015170874A/ja
Application granted granted Critical
Publication of JP6421422B2 publication Critical patent/JP6421422B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、映像解析装置、監視装置、監視システムおよび映像解析方法に関する。
現在、多数のカメラ映像をリアルタイムで解析することで、人や物などの動体を検知し、自動的に管理者にアラートを挙げるといった大規模監視システムへのニーズが高まっている。例えば、進入禁止区域に人が侵入したとき、管理者が映像を見ていない場合でも、自動的にアラートが上がり、管理者に侵入を知らせてくれるようなケースが考えられる。
このような監視システムでは、各ネットワークカメラ(IPカメラ)から、監視を行う監視センタ(監視拠点とも呼ぶ)に映像データを伝送する。この映像データは、通常、MPEG(Moving Picture Experts Group)−4やMPEG−2などの映像データの圧縮規格によって符号化(エンコード)されて、ネットワークカメラから監視センタに送信される。
大規模な監視システムなどでよく使用されるMPEG−4規格(ISO/IEC 14496、ITU−T H.264)、MPEG−2規格(ISO/IEC 13818)など高圧縮の圧縮規格の場合、フレーム間予測等の技術によって圧縮処理されている。そのため、上記規格は、MotionJPEG(ISO/IEC 29199−3:2010)などの規格と比較した場合、デコード時の演算量がより大きくなり、デコード時のCPU(Central Processing Unit)負荷が大きくなるという特徴がある。
特許文献1には、映像解析時間を短縮するための手法が開示されている。具体的には、特許文献1には、映像データの先頭画像フレームから所定の間引き画像フレーム間隔の任意の整数倍目に位置する複数の画像フレームを求める並列映像解析装置が記載されている。そして、この並列映像解析装置は、当該各画像フレームから当該間引き画像フレーム間隔で時間的に並列に映像データでのイベント情報の検出処理をそれぞれ開始する。
また、映像中のテロップを探索し、その処理量を削減する方法が、特許文献2に記載されている。
また、入力された当該映像通信のTSパケットに含まれるフレーム開始位置に基づいて、個々のフレームを構成するTSパケットの数を当該フレームのフレームデータ量として計数し、これらフレームのフレームデータ量の大小関係に基づきフレーム種別を判定する方法が、特許文献3に記載されている。
特開2013−125304号公報 特開2009−159260号公報 国際公開第2009/025357号
"従来比3倍の広域な監視エリアに映像解析を適用できる大規模映像処理技術を開発(2012年09月04日):プレスリリース|NEC"、[online]、平成24年9月4日、日本電気株式会社、[平成26年2月10日検索]、インターネット〈URL:http://jpn.nec.com/press/201209/20120904_01.html〉
多数のネットワークカメラからの映像データを解析し、人や車などの動体を検知し、自動的に管理者にアラートを上げるような大規模監視システムでは、圧縮符号化された映像データの全区間をデコードした後、映像解析処理を行う方法が採用されている。そのため、このような大規模監視システムでは、デコード時および映像解析時の処理量が大きいため、多くのCPUパワーが必要となる。
このため、多数のカメラ映像をリアルタイムに解析し動体を検知するためには、非常に多くの解析サーバが必要となっており、サーバの導入コスト、ランニングコスト、サーバの管理コストなど多くのコストがかかる。
例えば、人通りが少ない地点を撮影しているネットワークカメラの映像は、動きが少ない。そのため、MPEG−4やMPEG−2などの映像データの圧縮規格により圧縮符号化された映像データ内の差分フレームにおいて、動きのあった時間帯の差分フレームは、データサイズ(データ量)が大きくなる傾向がある。
特許文献1に記載の技術では、システム全体の処理量を削減していないため、多くの解析サーバが必要となり、コストがかかってしまう。
本発明は、上記課題に鑑みてなされたものであり、その目的は、より好適にコストの削減が可能な装置を実現することにある。
本発明の一態様に係る映像解析装置は、被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、を備える。
また、本発明の一態様に係る監視装置は、被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、前記検出手段が動体を検出したとき、当該動体を検出したことを示す情報を表示部に表示させる通知手段と、を備える。
また、本発明の一態様に係る監視システムは、被監視拠点を監視するための監視システムであって、被監視拠点を撮影した撮像装置から、符号化された映像データを受信し、当該受信した映像データを、時系列順の複数のフレームで構成されるグループ単位に分割して管理する管理サーバと、当該分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別サーバと、前記判別サーバで前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行い、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する解析サーバと、前記解析サーバが動体を検出したとき、前記管理サーバからの指示により、動体を検出したことを示す情報を表示する表示部を備えた監視端末と、を備える。
また、本発明の一態様に係る映像解析方法は、被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別し、前記所定の閾値以上のデータサイズの差分フレームが含まれると判別された前記グループの前記複数のフレームに対し、復号処理を行い、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する。
本発明によれば、より好適にコストを削減することができる。
MPEG規格に準拠する圧縮符号化方式でエンコードされた映像データの構成を示す図である。 監視カメラ映像に対応する各フレームのサイズの一例を示すグラフである。 本発明の第1の実施の形態に係る監視システムの構成の一例を示す図である。 本発明の第1の実施の形態に係る監視システムにおける監視センタの機能構成の一例を示す機能ブロック図である。 本発明の第1の実施の形態に係る監視システムにおける時刻情報格納部に格納されたデータの一例を示す図である。 本発明の第1の実施の形態に係る監視システムにおける映像管理情報格納部に格納されたデータの一例を示す図である。 本発明の第1の実施の形態に係る監視システムにおける解析サーバ管理情報格納部に格納されたデータの一例を示す図である。 本発明の第1の実施の形態に係る判別サーバにおける判別処理の流れの一例を示すフローチャートである。 本発明の第1の実施の形態に係る解析フレーム振分部が解析サーバに送信するGOPを説明するための図である。 本発明の第1の実施の形態に係る解析サーバにおける判別処理の流れの一例を示すフローチャートである。 本発明の第2の実施の形態に係る監視システムにおける監視センタの機能構成の一例を示す機能ブロック図である。 本発明の第3の実施の形態に係る監視システムにおける監視センタの機能構成の一例を示す機能ブロック図である。 本発明の第4の実施の形態に係る監視装置の機能構成の一例を示す機能ブロック図である。 本発明の第5の実施の形態に係る映像解析装置の機能構成の一例を示す機能ブロック図である。 本発明の各実施形態に係る監視システムを実現可能な監視センタの各サーバ、監視装置、または、映像解析装置のハードウェア構成の一例を示す図である。
まず、図1を参照して、本発明の各実施の形態に係る監視システム、監視装置または映像解析装置で利用する、圧縮符号化データについて説明する。図1は、MPEG規格に準拠する圧縮符号化方式でエンコードされた映像データの構成を示す図である。
映像データは、図1に示す通り、シーケンスヘッダ(SH)と、GOP(Group Of Picture)とを含んでいる。シーケンスヘッダは、デコーダが再生のために必要な初期データを含んでいる。GOPは、所定数のフレームを時系列順に1つのまとまりとしたものである。
MPEG規格に準拠する圧縮符号化方式を用いた場合、元の映像がI、P、Bのフレーム(ピクチャ)に圧縮符号化されてエレメンタリストリーム(Elementary Stream)などの映像ストリームが生成される。Iフレーム(Intra−frame)は、自フレーム内で符号化処理が行われるフレームである。Pフレーム(Predictive−frame)は、図1に示す通り、最近接の過去のIフレームまたはPフレームから一方向のフレーム間予測が行われ、その差分のデータが符号化されたフレームである。Bフレーム(Bidirectionally−frame)は、最近接の過去および未来のIフレームまたはPフレームから双方向のフレーム間予測が行われ、その差分のデータが符号化されたフレームである。なお、図1においては、Iフレーム、Pフレーム、Bフレームを夫々、「I」、「P」、「B」と表記している。また、図1において、予測方向の矢印は、起点が参照されるフレームを示し、終点が予測されるフレームを示している。
本実施の形態におけるGOPは、図1に示す通り、再生順に、「B、B、I、B、B、P、B、B、P、B、B、P、B、B、P」となる15フレームからなる。
なお、1つのGOPに含まれるフレーム数は、および、IフレームとPフレームとの間に挿入されるBフレームの数はこれに限定されるものではない。これらは、エンコード時の設定によって変化する構成であってもよい。例えば、「P、P、I、P、P、P、P、P、P、P、P、P、P」のように、Bフレームが含まれない構成や、「B、P、I、B、P、B、P、B、P、B、P、B、P、B、P」のように、PフレームとIまたはPフレームとの間に1つのBフレームを含む構成であってもよい。
また、本実施の形態では、PフレームおよびBフレームを差分フレームとも呼ぶ。また、PフレームおよびBフレームを予測するために参照されるフレームを参照フレームとも呼ぶ。差分フレームは、過去または過去および未来の参照フレームとその時点の画像データとの差分情報を持つ。そのため、参照フレームの色素情報と、その時点の画像データの色素情報との差がほとんどない場合、差分フレームのデータサイズは0に近い値となる。また、参照フレームの色素情報と、その時点での画像データの色素情報との差が大きい場合、差分フレームのデータサイズも大きくなる。
図2に、監視カメラ映像に対応する各フレームのサイズの一例を示す。図2は、監視カメラ映像に対応する各フレームのフレームサイズの一例を示すグラフである。図2の上部に示す3つの画像のうち、左側の画像を基準の画像であるとし、中央の画像は、上記基準の画像を撮影した時から所定時間経過後の画像であり、右側の画像は、中央の画像を撮影した時から更に所定時間経過後の画像である。中央の画像は、左側の画像からほぼ変化がないことを示し、右側の画像は、左側の画像および中央の画像に、人物(動体)が入った場合(変化があった場合)を示している。また、図2に示すグラフは、横軸が上部の画像に対応するフレームのフレーム番号を示し、縦軸は、各フレームにおけるデータサイズ(バイト)を示している。なお、フレーム番号は、再生順に1から割り振られているものであるとする。つまり、最初のGOPには、「B、B、I、B、B、P、B、B、P、B、B、P、B、B、P」の夫々に対し、再生順に1から15のフレーム番号が割り振られているとする。また、上部に示す画像データとフレームとはほぼ対応しているとする。つまり、例えば、基準の画像に対応するフレームは、フレーム番号が1〜6のフレームの何れかであり、中央の画像に対応するフレームは、フレーム番号が14〜21のフレームの何れかであり、右側の画像に対応するフレームは、フレーム番号が25〜31のフレームの何れかであるとする。
人が通ってないときなど、図2の中央の画像のように、左側の画像から変化がない場合の差分フレームのデータサイズは、図2のグラフに示す通り、ほぼ0の値となる。しかし、図2の右側の画像のように、人が映像内に入ってくると、差分フレームのデータサイズは、図2の点線で囲んだ部分のように、上記変化がない場合のときの差分フレームのデータサイズに比べ、大きい値となる。
本発明の各実施の形態では、このような圧縮映像データ内の差分フレームを、特徴量として利用し、映像内の動きのある映像区間(グループ)を判別する。
<第1の実施の形態>
本発明の第1の実施の形態について、図面を参照して詳細に説明する。
図3は、本実施の形態に係る監視システムの構成の一例を示す図である。図3に示す通り、本実施の形態に係る監視システム100は、被監視拠点2(2A、2B)と、被監視拠点2を監視するための監視センタ(監視拠点)1とを含んでいる。被監視拠点2と監視センタ1とは、ネットワーク3を介して接続している。監視センタ1については、図面を変えて説明する。
ネットワーク3は、例えば、インターネット等の公衆通信網や、WAN(Wide Area Network)等である。
被監視拠点2は、監視センタ1から監視される拠点である。本実施の形態において、監視される拠点は、図3に示す通り、被監視拠点2A、2Bの2か所であることを例に説明を行うが、本発明はこれに限定されるものではない。監視される拠点は、複数あってもよい。なお、本実施の形態において、被監視拠点2A、2Bをまとめて、被監視拠点2と呼ぶ。
また、図3に示す通り、各被監視拠点には、複数の監視カメラ(撮像装置)21が設置されている。図3においては、各被監視拠点には、3つの監視カメラ21が設置されているとする。なお、各被監視拠点に設置される監視カメラ21の数は、本発明はこれに限定されるものではない。各被監視拠点に設置される監視カメラ21の数は、1つ以上であればよい。
監視カメラ21は、例えば、ネットワークカメラである。なお、本実施の形態に係る監視カメラ21は、これに限定されるものではなく、アナログカメラであってもよい。監視カメラ21には、エンコーダ等が含まれる。監視カメラ21は、撮影した映像を、当該エンコーダによって、MPEGなどの映像データの圧縮規格で圧縮符号化し、ネットワーク3を介して、監視センタ1に送信する。また、上述したように、監視カメラ21がアナログカメラの場合、各監視拠点に設けられたエンコーダが、撮影された映像を圧縮符号化し、ネットワーク3を介して、監視センタ1に送信する構成であってもよい。なお、監視カメラ21が送信する映像データの各フレームには、撮影した時刻が含まれる。
(監視センタ1)
次に、本実施の形態に係る監視システム100の監視センタ1の機能について説明する。図4は、監視センタ1の機能構成の一例を示す機能ブロック図である。図4に示す通り、監視センタ1は、管理サーバ20と、判別サーバ30と、1または複数の解析サーバ40と、管理者(監視者)が各被監視拠点の監視を行う際に利用する監視端末50と、を備えている。
(管理サーバ20)
管理サーバ20は、監視センタ1全体を管理するためのサーバである。図4に示す通り、管理サーバ20は、時刻情報格納部201、アラート通知部202、映像管理情報格納部203、解析サーバ管理情報格納部(解析情報格納手段)204、判定部205および情報管理部206を備えている。
判定部205は、ネットワーク3を介して、被監視拠点2の何れかの監視カメラ21から送信された映像データを、MPEG規格で圧縮された状態で受信する。判定部205は、受信した映像データに対し、リアルタイムで後述する解析処理を行う場合、当該映像データを判別サーバ30に送信する。判定部205は、受信した映像データが長期保存する必要がある映像である場合、当該映像データを図示しない録画サーバに送信する。この場合、当該映像データは、録画サーバによって、圧縮された映像データの状態で録画される。また、録画サーバが録画した映像データを判別サーバ30に送信する構成であってもよい。判定部205が、受信した映像データを、判別サーバ30に送信するか否かは、映像管理情報格納部203を参照することによって行われる。
また、判定部205は、映像データを送信した監視カメラ21に対し、当該監視カメラ21を一意に特定するための識別子(カメラID(IDentifier)と呼ぶ)を割り当てる。なお、映像データを送信した監視カメラのIPアドレス等から、対応するカメラIDが予め割り当てられている構成であってもよい。
また、判定部205は、受信した映像データに対し、GOP単位に分割し、当該GOPごとに、各GOPを一意に特定するためのGOP ID(グループ識別子)を割り当てる。判定部205は、GOPごとに、当該GOPに含まれるフレーム(映像データ)を撮影した監視カメラ21を示すカメラIDと、当該GOPを示すGOP IDと、当該GOPに含まれるフレームを撮影した時刻(カメラ撮影時刻)とを、互いに関連付けて、時刻情報格納部201に格納する。なお、カメラ撮影時刻は、例えば、各GOPに含まれる最初のフレームの撮影時刻であってもよいし、その他のフレームの撮影時刻であってもよい。また、判定部205は、映像データを上記カメラIDとGOP IDと共に、判別サーバ30に送信する。また、判定部205は、判別サーバ30に当該映像データを送信する際、録画サーバにも当該映像データを送信してもよい。
時刻情報格納部201には、判定部205が受信した映像データのGOP単位で、各GOPのGOP IDと、当該GOPを含む映像データを撮影した監視カメラ21を示すカメラIDと、当該GOPを撮影した時刻を示すカメラ撮影時刻とが、互いに関連付けられて格納されている。図5に時刻情報格納部201に格納されているデータの一例を示す。図5は、本実施の形態に係る時刻情報格納部201に格納されたデータの一例を示す図である。図5に示す通り、時刻情報格納部201には、カメラIDと、GOP IDと、カメラ撮影時刻とが互いに関連付けられて格納されている。
アラート通知部202は、解析サーバ40から送信されたカメラIDとGOP IDとを受信する。アラート通知部202は、時刻情報格納部201を参照し、時刻情報格納部201に格納されているカメラIDおよびGOP IDと、受信したカメラIDおよびGOP IDと、が夫々一致する、カメラ撮影時刻を取得する。これにより、アラート通知部202は、動体を検知した監視カメラ21の映像撮影時の実時刻を取得することができる。そして、アラート通知部202は、監視端末50に対し、動体を検出したことを示す情報(アラート)を表示する指示を、取得したカメラ撮影時刻と共に送信する。また、このとき、アラート通知部202は、監視端末50に対し、カメラIDも送信する構成であってもよい。
映像管理情報格納部203には、管理サーバ20に被監視拠点2の各監視カメラ21から送信された映像データが解析対象であるか否かを示す情報が、当該監視カメラ21を示すカメラIDに関連付けられて格納されている。また、映像管理情報格納部203には、解析対象である映像データに動体が含まれるか(動体が検出されたか)を示す情報と、解析対象である映像データのうち、どのGOPまで、動きがあるか否かの判別処理を行ったのかを示す情報とが、上記カメラIDに関連付けられて格納されている。
図6に映像管理情報格納部203に格納されているデータの一例を示す。図6は、本実施の形態に係る映像管理情報格納部203に格納されたデータの一例を示す図である。図6に示す通り、映像管理情報格納部203には、カメラIDと、解析対象情報と、動体検知状態情報と、判別完了GOP IDとが、互いに関連付けられて格納されている。
解析対象情報とは、カメラIDによって特定される監視カメラ21の映像データが解析対象であるか否かを示す情報である。解析対象情報の列には、カメラIDによって特定される監視カメラ21が撮影した映像データが解析対象である場合、「解析対象」の文字列が含まれ、解析対象でない場合、「解析対象外」の文字列が含まれる。なお、解析対象情報の列に含まれる情報は、これに限定されるものではなく、監視カメラ21の映像データが解析対象であるか否かを示す情報であればよい。また、解析対象情報は、管理者によってあらかじめ設定されたものであってもよいし、例えば、曜日や時間帯に応じて、自動的に設定されるものであってもよい。
また、動体検知状態情報(検出情報)とは、解析対象である映像データに動体が含まれるか(動体が検出されたか)否かを示す情報である。つまり、動体検知状態情報とは、画像解析の結果、解析対象の映像データのGOPに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す情報である。動体検知状態情報の列には、動体が検出された場合、動体が検出(検知)されたことを示す「検知中」の文字列が含まれ、検出されていない場合、「非検知」の文字列が含まれる。また、解析対象ではない映像データに対しては、当該情報が含まれないことを示すNULL(図6においては「‐」で示す)が含まれる。なお、動体検知状態情報の列に含まれる情報は、これに限定されるものではなく、対象外であることを示す情報、および、動体が検出されたか否かを示す情報であればよい。例えば、該当する列を空にすることにより、情報が含まれないことを示してもよい。
また、判別完了GOP IDとは、解析対象である映像データのうち、どのGOPまで、動きがあるか否かの判別処理を行ったのかを示す情報である。判別完了GOP IDの列には、判別処理が完了したGOP IDまたは対象外であることを示す情報(図6においては「‐」)が含まれる。なお、動体検知状態情報と同様に、該当する列を空にすることにより、対象外であることを示してもよい。図6によれば、例えば、カメラIDが「1」の監視カメラ21で撮影した映像データに対して、GOP IDが「1013」のGOPまで、判別処理が行われたことを示している。
上述した判定部205は、映像データを受信すると、この映像管理情報格納部203のうち、当該映像データを撮影した監視カメラ21を示すカメラIDに関連付けられた解析対象情報を参照し、当該映像データが解析対象であるか否かを判定する。
解析サーバ管理情報格納部204には、1または複数の解析サーバ40の夫々を識別するための識別子である解析サーバIDと、当該解析サーバIDによって特定される解析サーバ40で、映像データの解析が行われているかを示す情報とが格納されている。また、ある解析サーバ40で映像データのあるGOPに対する解析が行われている場合、解析サーバ管理情報格納部204には、解析が行われている映像データを撮影した監視カメラ21を示すカメラIDと、当該解析が行われている映像データのGOPを示すGOP IDとが、解析サーバIDに関連付けられて格納されている。
図7に解析サーバ管理情報格納部204に格納されているデータの一例を示す。図7は、本実施の形態に係る解析サーバ管理情報格納部204に格納されたデータの一例を示す図である。図7に示す通り、解析サーバ管理情報格納部204には、解析サーバIDと、解析状態情報と、解析中カメラIDと、解析中GOP IDとが、互いに関連付けられて格納されている。
解析サーバIDとは、後述する解析サーバ40を識別するための識別子である。また、解析状態情報とは、解析サーバIDによって特定される解析サーバ40において、映像データの解析が行われているかを示す情報である。解析状態情報の列には、映像データの解析が行われている場合、「解析中」の文字列が含まれ、映像データの解析が行われていない場合、「解析待ち」の文字列が含まれる。なお、解析状態情報の列に含まれる情報は、これに限定されるものではなく、解析中か否かを示す情報であればよい。
また、解析中カメラIDとは、解析状態情報が「解析中」の解析サーバ40で、解析が行われている映像データを撮影した監視カメラ21を示すカメラIDである。また、解析中GOP IDとは、解析状態情報が「解析中」の解析サーバ40で、解析が行われている映像データのGOPを示すGOP IDである。なお、解析状態情報が「解析待ち」の場合における解析中カメラIDおよび解析中GOP IDの欄には、解析されていないことを示す情報(図7においては「‐」)が含まれる。なお、該当する列(「解析待ち」に関連付けられた解析中カメラID、解析中GOP ID)を空にすることにより、解析されていないことを示してもよい。図7によれば、解析サーバIDが「3」である解析サーバで、カメラIDが「2」の監視カメラ21で撮影され、GOP IDが「540」である映像データの解析が行われていることが示されている。
情報管理部206は、映像管理情報格納部203および解析サーバ管理情報格納部204を管理する手段である。情報管理部206は、他のサーバから映像管理情報格納部203または解析サーバ管理情報格納部204に対する、参照指示または更新指示を受け付けると、対応する格納部に対し、受け付けた指示に対応する処理を行い、実行結果を、上記指示を送信したサーバに対し送信する。
(判別サーバ30)
判別サーバ30は、図4に示す通り、映像データ一時格納部301、解析フレーム判別部302、解析フレーム振分部(供給手段)303、および、受信部304を備えている。
映像データ一時格納部301は、受信部304が受信した映像データを、当該映像データと共に受信したカメラIDとGOP IDと共に、一時的に格納する記憶手段である。
受信部304は、管理サーバ20から送信された映像データを、カメラIDおよびGOP IDと共に受信する手段である。受信部304は、受信した映像データ、カメラID、GOP IDを互いに関連付けて、映像データ一時格納部301に格納する。
解析フレーム判別部302は、映像管理情報格納部203または解析サーバ管理情報格納部204を参照する参照指示を管理サーバ20に対して送信する。そして、解析フレーム判別部302は、管理サーバ20から上記参照指示に対する応答を受信する。また、解析フレーム判別部302は、映像管理情報格納部203の内容を更新する更新指示を管理サーバ20に対して送信する。
解析フレーム判別部302は、映像管理情報格納部203を参照する指示の応答としてGOP IDを取得し、当該GOP IDの次のGOP IDで示されるGOPに含まれるフレームが、映像データ一時格納部301に蓄積されると、当該GOPを映像データ一時格納部301から取得する。このとき、解析フレーム判別部302は、GOPと共に、GOP IDとカメラIDとを取得する構成であってもよい。
また、解析フレーム判別部302は、取得したGOP内の差分フレームが所定の閾値以上のデータサイズか否かを確認する。具体的には、解析フレーム判別部302は、取得したGOPが、例えば、以下の(a)〜(d)の少なくとも1つを満たすか否かを確認する。
(a)データサイズが所定の閾値以上のBフレームを含む。
(b)データサイズが所定の閾値以上のPフレームを含む。
(c)差分フレーム(PフレームおよびBフレーム)のデータサイズの平均値が所定の閾値以上である。
(d)所定の閾値以上のデータサイズの差分フレーム(PフレームおよびBフレーム)が所定の数以上連続する。
ここで、所定の閾値が、図2の破線で示す値(300バイト)であり、取得したGOPに含まれるフレームのフレーム番号が16〜30である場合について説明する。図2の点線で囲んだ部分(フレーム番号が24〜30の差分フレーム)は、少なくとも上記(a)および(b)を満たすことがわかる。
解析フレーム判別部302は、取得したGOP内の差分フレームが所定の閾値以上のデータサイズである場合、当該GOPを動体が含まれる可能性があるGOPとして選別し、当該GOPを解析フレーム振分部303に供給する。ここで、受信部304が受信する映像データは、監視カメラ21から送信された、圧縮符号化されたデータである。解析フレーム判別部302は、動体が含まれる可能性があるGOPを選別する際、符号化された状態で取得されるフレーム(差分フレーム)のデータサイズを利用する。そのため、解析フレーム判別部302は、より少ない処理量で高速にGOPの選別を行うことができる。
なお、解析フレーム判別部302は、上記(a)〜(d)の全てを満たすことを確認する構成であってもよいし、所定の数(例えば、2つなど)を満たすことを確認する構成であってもよい。
解析フレーム振分部303は、1または複数の解析サーバ40のうち、解析処理を行っていない解析サーバ40を特定する。具体的には、解析フレーム振分部303は、解析処理を行っていない解析サーバ40を特定するために、解析サーバ管理情報格納部204を参照する参照指示を管理サーバ20に対して送信する。そして、解析フレーム振分部303は、管理サーバ20から上記参照指示に対する応答を受信する。
また、解析フレーム振分部303は、特定した解析サーバ40の何れかに対し、解析フレーム判別部302から供給されたGOPと、当該GOPのGOP IDと、当該GOPを撮影した監視カメラ21のカメラIDとを送信する。なお、GOP IDおよびカメラIDは、解析フレーム判別部302からGOPを供給される際に、当該GOPと共に供給されるものであってもよい。
また、解析フレーム振分部303は、解析対象のGOPのひとつ前のGOP IDに対する動体検知状態情報が「検知中」のとき、映像データ一時格納部301から解析対象のGOPをGOP ID、カメラIDと共に取得し、特定した解析サーバ40の何れかに対し、送信する。
ここで、解析フレーム振分部303が、映像データをフレーム単位ではなく、GOP単位で、解析サーバ40に送信する理由は、差分フレームが参照元のフレームがないとデコードできないためである。ここで、映像データが、図1に例示したGOPのようなオープンGOPである場合(ひとつ前のGOPの最後のPフレームとそのGOP内の最初のIフレームを参照するBフレームで始まるGOPの形式で圧縮符号化されている場合)、解析フレーム振分部303は、前後のGOPも解析サーバに送信するように構成されていてもよい。また、複数参照フレームが有効になっているH.264で圧縮符号化されている映像データの場合、解析フレーム振分部303は、IDR(Instantaneous Decoder Refresh)フレーム間の各フレームを解析サーバ40に送信してもよい。また、そのほかの規格で圧縮符号化されている映像データの場合、解析フレーム振分部303は、デコード可能な単位で、上記映像データに含まれるフレームを、解析サーバ40に送信してもよい。このように、解析フレーム振分部303は、デコードに必要なフレームを解析サーバ40に送信する構成であればよい。
(解析サーバ40)
監視システム100は、図4に示す通り、1または複数の解析サーバ(映像解析手段)40(40−1、40−2、40−3)を含む。なお、本実施の形態においては、図4に示す通り、解析サーバ40の数を3つであるとして説明を行うが、本発明はこれに限定されるものではない。また、各解析サーバ(40−1、40−2、40−3)は、同じ構成を有している。なお、本実施の形態では、解析サーバ40−1〜40−3をまとめて、解析サーバ40と呼ぶ。
図4に示す通り、各解析サーバ40は、デコード部(復号手段)401と、解析部(検出手段)402とを備えている。
デコード部401は、判別サーバ30から送信されたGOP、GOP ID、カメラIDを受信する。そして、デコード部401は、受信したGOPに対し、デコード処理を行う。デコード部401は、デコード処理を行ったGOPを解析部402に供給する。
また、デコード部401は、解析サーバ管理情報格納部204の内容を更新する更新指示を管理サーバ20に対して送信する。
解析部402は、デコード部401から供給されたGOPの各フレームに対し、映像解析(画像解析)を行う。これにより、解析部402は、フレーム内に動体が含まれるか否か確認する。なお、本実施の形態では、解析部402は、一般的な手法で画像解析を行うこととするため、画像解析の詳細な説明は省略する。
また、解析部402は、映像管理情報格納部203および解析サーバ管理情報格納部204の内容を更新する更新指示を管理サーバ20に対して送信する。
また、解析部402は、動体を検知したことを管理サーバ20に通知する。具体的には、解析部402が、動体を検知したGOPのGOP IDと、当該GOPを撮影した監視カメラ21を示すカメラIDと、を管理サーバ20に送信する。
(監視端末50)
監視端末50は、図4に示す通り、表示部501とアラート受信部502とを備えている。アラート受信部502は、管理サーバ20から送信された、アラートを表示する指示をカメラIDとカメラ撮影時刻と共に受信する手段である。アラート受信部502は、アラートを表示する指示を受け取ると、表示部501にアラートを表示させる。
表示部501は、アラート受信部502の指示に従い、アラートを表示する。このとき、表示部501は、アラートとして、動体を検出したことを示す情報を表示する。動体を検出したことを示す情報としては、例えば、動体を検出した時刻(動体が撮影されたカメラ撮影時刻)が挙げられる。また、表示部501は、動体を検出した時刻の映像を再生する機能を有していてもよい。これにより、監視端末50は、管理者に、動体が検出されたことを示す情報を提供することができる。
(判別処理の流れ)
次に、図8を参照して、判別サーバ30が行う判別処理の流れについて説明する。図8は、本実施の形態に係る判別サーバ30における判別処理の流れの一例を示すフローチャートである。図8に示す通り、判別サーバ30は、以下のステップS81からステップS91の処理を行う。なお、以下の説明では、図2、図6、図7も参照して説明を行う。
ステップS81:受信部304が、管理サーバ20から送信された映像データをカメラIDとGOP IDと共に受信し、映像データ一時格納部301に、当該映像データをカメラID、GOP IDと共に格納する。
ステップS82:解析フレーム判別部302が、管理サーバ20の映像管理情報格納部203から判別完了GOP IDを取得する。そして、取得したGOP IDの次のGOP IDで示されるGOPに含まれるフレームが、映像データ一時格納部301に蓄積されると、解析フレーム判別部302は、当該GOPを、映像データ一時格納部301から取得する。この取得したGOPを判別対象のGOPと呼ぶ。
例えば、図6に示す映像管理情報格納部203に含まれる判別完了GOP IDは、「1013」と「540」とである。そのため、映像管理情報格納部203はこれらを取得し、次のGOP IDである「1014」および「541」で示されるGOPが映像データ一時格納部301に蓄積されると、当該GOPを取得する。解析フレーム判別部302が取得したGOPのGOP IDは、判別完了GOP IDの次のGOP IDである。そのため、当該GOPは、まだ判別処理が行われていないGOPであるといえる。したがって、この判別対象のGOPを未判別のGOPとも呼ぶ。
なお、受信部304が映像データ一時格納部301に、GOPを格納する際、当該GOPのGOP IDを、解析フレーム判別部302に供給する構成であってもよい。このとき、解析フレーム判別部302は、供給されたGOP IDで示されるGOPが映像データ一時格納部301に蓄積されると、当該GOPを映像データ一時格納部301から取得する。このように、解析フレーム判別部302が映像データ一時格納部301から未判別のGOPを取得する方法は特に限定されない。
ステップS83:解析フレーム判別部302が、管理サーバ20の解析サーバ管理情報格納部204を参照し、ステップS82で取得したGOPを示すGOP IDのひとつ前のGOP IDで示されるGOPが解析中か否かを確認する。例えば、映像データ一時格納部301に格納されたGOPのGOP IDが「541」のとき、ひとつ前のGOP IDである「540」で示されるGOPが解析中であるか否かを確認する。図7に示す通り、解析中GOP IDの欄に「540」があるため、解析フレーム判別部302は、当該GOP IDで示されるGOPが解析中であると確認する。解析中の場合(YESの場合)、このGOPが解析中でなくなる(解析中GOP IDから当該GOP IDが含まれなくなる)まで、ステップS83を繰り返す。解析中ではない場合(NOの場合)、ステップS84に進む。
ステップS84:解析フレーム判別部302が、ステップS82で取得したGOPを示すGOP IDに関連付けられたカメラIDと、一致する映像管理情報格納部203のカメラIDの行を参照し、当該行に含まれる動体検知状態情報が、「検知中」か否かを確認する。動体検知状態情報が「検知中」の場合(YESの場合)、ステップS86に進む。動体検知状態情報が「非検知」の場合(NOの場合)、ステップS85に進む。ここで、ステップS82で取得したGOPを示すGOP IDに関連付けられたカメラIDと、一致する映像管理情報格納部203のカメラIDの行には、判別完了GOP IDが含まれている。そして、当該判別完了GOP IDは、ステップS82で取得したGOPのひとつ前のGOPである。そのため、解析フレーム判別部302は、ステップS82で取得したGOPを示すGOP IDのひとつ前のGOP IDに関連付けられた動体検知状態情報を確認するともいえる。
ステップS85:解析フレーム判別部302が、ステップS82で取得したGOP内の差分フレームが所定の閾値以上のデータサイズか否かを確認する。なお、上述したとおり、解析フレーム判別部302は、差分フレームのうちのいずれかが所定の閾値以上であるかを確認する構成であってもよいし、当該GOPに含まれるすべての差分フレームに対する平均値が所定の閾値以上であるかを確認する構成であってもよい。取得したGOP内の差分フレームが所定の閾値以上のデータサイズである場合(YESの場合)、ステップS86に進む。取得したGOP内の差分フレームが所定の閾値以上のデータサイズでない場合(NOの場合)、ステップS89に進む。
ステップS86:解析フレーム判別部302が、映像管理情報格納部203の、上記カメラIDに関連付けられた判別完了GOP IDの更新指示を、管理サーバ20に対して送信する。この更新指示は、上記判別完了GOP IDを、ステップS82で取得したGOPのGOP IDに更新する指示である。これにより、映像管理情報格納部203に含まれる、判別対象のGOPを撮影した監視カメラ21のカメラIDに関連付けられた判別完了GOP IDが、判別対象のGOPのGOP IDに更新される。
ステップS87:解析フレーム振分部303が、管理サーバ20の解析サーバ管理情報格納部204を参照し、解析状態情報が「解析待ち」の解析サーバ40を特定する。
ステップS88:解析フレーム振分部303が、ステップS87で特定した解析サーバ40の何れかに対し、判別対象のGOPと、当該GOPのGOP IDと、当該GOPを撮影した監視カメラ21のカメラIDとを送信する。
ここで、判別対象のGOPのひとつ前のGOPの動体検知状態情報が「検知中」の場合、判別対象のGOP内の差分フレームが所定の閾値以上のデータサイズであるか否かを確認しない。つまり、判別対象のGOP内の差分フレームが所定の閾値以上のデータサイズでない場合であっても、解析フレーム振分部303は、解析サーバ40に当該判別対象のGOPを送信する。これは、映像データに含まれる人物などの動体が停止している場合を考慮に入れるからである。映像データに動体が含まれていても、当該動体が停止していると、前後のフレームの色素情報の差分が小さくなり、GOP内の差分フレームが所定の閾値以上にならない場合がある。これを、図9を用いて説明する。
図9は、解析フレーム振分部303が解析サーバ40に送信するGOPを説明するための図である。図9では、フレーム再生順(映像時間軸)に並べられた差分フレームに対し、所定の閾値以上のフレームサイズである差分フレームが存在する区間(A区間)を黒いブロックで示している。また、所定の閾値以上のフレームサイズである差分フレームが存在しない区間をB区間としている。また、図9において点線で区切った区間は、1つのGOPを示している。なお、A区間およびB区間に含まれる差分フレームは、全て動体が含まれるとする。
図9に示す通り、所定の閾値以上のフレームサイズの差分フレームが存在するA期間を含むGOPのうち、最初のGOP(G1)は、解析フレーム振分部303によって、解析サーバ40に送信される。このGOPは、解析サーバ40によって、動体が検出される最初のGOPである。その後、A期間を含むGOPは、解析フレーム振分部303によって、解析サーバ40に送信される。
G2は、図9に示す通り、A期間を含むGOPの間に存在するGOPであって、B期間のみを含むGOPである。このG2には、各フレームに動かない動体が含まれるが、所定の閾値以上のフレームサイズの差分フレームが存在しない。そのため、このGOPに含まれる差分フレームのフレームサイズで判断すると、当該GOPは、動体が含まれないフレームから構成されていると判定される可能性がある。ここで、G2のGOPのひとつ前のGOPは、A期間が含まれるため、解析サーバ40によって動体が検出される。そのため、図6に示す映像管理情報格納部203に含まれる、当該ひとつ前のGOPに対する動体検知状態情報は、「検知中」を示す。したがって、判別サーバ30は、このGOP(G2)には、動きがない動体が含まれると想定する。そして、解析フレーム振分部303は、このG2のGOPを解析サーバ40に送信する。これにより、解析サーバ40はこのようなGOPに対して、動体が含まれることを検知することができる。
同様の理由により、解析フレーム振分部303は、B期間のみを含むGOPであって、ひとつ前のGOPがA期間を含むGOPであるG3も解析サーバ40に送信する。ここで、G3の各フレームには動体が含まれない。したがって、解析サーバ40は、このようなGOPに対して、動体が含まれないと判定する。これにより、解析フレーム振分部303は、このG3以降のGOPを解析サーバ40に送信しない。
このように解析フレーム振分部303は、映像データに含まれる人物などの動体が停止している場合を考慮に入れ、動体が含まれる可能性のあるGOPを解析サーバ40に送信する。これにより、映像データ内に含まれる動体が、停止した状態でも、好適に動体を検知することができる。
ステップS88の終了後、処理は、ステップS91に進む。
ステップS89:取得したGOP内の差分フレームが所定の閾値以上のデータサイズでない場合(ステップS85にてNOの場合)、解析フレーム判別部302が、当該GOPを破棄する。
ステップS90:解析フレーム判別部302が、映像管理情報格納部203の、上記カメラIDに関連付けられた判別完了GOP IDを、ステップS88で破棄したGOPのGOP IDに更新する更新指示を、管理サーバ20に対して送信する。これにより、映像管理情報格納部203に含まれる、判別対象のGOPを撮影した監視カメラ21のカメラIDに関連付けられた判別完了GOP IDが、ステップS85で所定の閾値以上のデータサイズのフレームがないと確認されたGOPのGOP IDに更新される。
なお、ステップS89とステップS90とは同時に行われてもよいし、逆順で行われてもよい。
ステップS91:ステップS88の終了後または、ステップS90の終了後、解析フレーム振分部303は、映像データ一時格納部301に未判別のGOPが存在するか否かを確認する。具体的には、解析フレーム振分部303は、管理サーバ20の映像管理情報格納部203から判別完了GOP IDを取得し、取得したGOP IDの次のGOP IDで示されるGOPが映像データ一時格納部301にあるか否かを格納する。なお、解析フレーム振分部303は、ステップS86またはステップS90にて、更新した判別完了GOP IDを用いて、映像データ一時格納部301に未判別のGOPがあるか否かを確認する構成であってもよい。未判別のGOPが映像データ一時格納部301に存在する場合(YESの場合)、判別サーバ30の処理は、ステップS81に戻る。未判別のGOPが映像データ一時格納部301に存在しない場合(NOの場合)、判別サーバ30は、判別処理を終了する。
なお、判別処理終了後も、受信部304は、管理サーバ20から映像データが送信されると、映像データ一時格納部301に格納する(ステップS81)。そして、解析フレーム判別部302は、映像データ一時格納部301にGOPが蓄積されると、映像データ一時格納部301から判別対象のGOPを取得し(ステップS82)、ステップS83以降の処理を行う。
以上のように、判別サーバ30は、判別処理によって、動体が含まれる可能性のあるGOPを選別し、当該GOPを解析サーバ40に送信する。
(解析処理の流れ)
次に、図10を参照して、解析サーバ40が行う解析処理の流れについて説明する。図10は、本実施の形態に係る解析サーバ40における判別処理の流れの一例を示すフローチャートである。図10に示す通り、解析サーバ40は、以下のステップS101からステップS109の処理を行う。
ステップS101:デコード部401が判別サーバ30から送信されたGOP、GOP ID、カメラIDを受信する。
ステップS102:デコード部401が、解析サーバ管理情報格納部204の、自身の解析サーバ40を示す解析サーバIDに関連付けられた解析状態情報、解析中カメラIDおよび解析中GOP IDを更新する更新指示を、管理サーバ20に対して送信する。具体的には、デコード部401は、管理サーバ20の解析サーバ管理情報格納部204に対し、(1)自身の解析サーバ40を示す解析サーバIDに関連付けられた解析状態情報を「解析中」に更新する指示、(2)上記解析サーバIDに関連付けられた解析中カメラIDをステップS101で受信したカメラIDに更新する指示、(3)上記解析サーバIDに関連付けられた解析中GOP IDをステップS101で受信したGOP IDに更新する指示を、送信する。これにより、解析サーバ管理情報格納部204に含まれる、GOPの解析処理を行う解析サーバ40を示す解析サーバIDに関連付けられた解析状態情報が、当該解析サーバ40で解析が行われていることを示す情報に更新される。また、解析サーバ管理情報格納部204に含まれる上記解析サーバIDに関連付けられたカメラIDが、受信したGOPを撮影した監視カメラ21を示す情報に更新される。更に、解析サーバ管理情報格納部204に含まれる上記解析サーバIDに関連付けられたGOP IDが受信したGOPを示す情報に更新される。
ステップS103:デコード部401が、ステップS101で受信したGOPに対し、デコード処理を行う。
ステップS104:解析部402が、デコード処理が行われたGOPの各フレームに対し、映像解析(画像解析)を行う。
ステップS105:解析部402が、映像解析を行ったGOP内の少なくとも何れかのフレームに、動体が含まれるか否かを確認する。動体が含まれる場合(YESの場合)、ステップS107に進む。動体が含まれない場合(NOの場合)、ステップS106に進む。
ステップS106:映像解析を行ったGOP内の全てのフレームに、動体が含まれない場合、解析部402が、当該GOPで動体が検出されていないと判定する。そして、解析部402は、映像管理情報格納部203の、ステップS101でデコード部401が受信したカメラIDに関連付けられた動体検知状態情報を、「非検知」に更新する更新指示を管理サーバ20に送信する。これにより、映像管理情報格納部203に含まれる、当該GOPを撮影した監視カメラ21のカメラIDに関連付けられた動体検知状態情報が、動体が検出されていないことを示す情報に更新される。そして、ステップS109に進む。
ステップS107:映像解析を行ったGOP内の少なくとも何れかに、動体が含まれる場合、解析部402は、映像管理情報格納部203の、ステップS101でデコード部401が受信したカメラIDに関連付けられた動体検知状態情報を「検知中」に更新する、更新指示を管理サーバ20に送信する。これにより、映像管理情報格納部203に含まれる、当該GOPを撮影した監視カメラ21のカメラIDに関連付けられた動体検知状態情報が、動体が検出されたことを示す情報に更新される。
ステップS108:解析部402は、動体を検知したことを管理サーバ20に通知する。具体的には、解析部402が、動体を検知したGOPのGOP IDと、当該GOPを撮影した監視カメラ21を示すカメラIDと、を管理サーバ20に送信する。
なお、ステップS107とステップS108とは、同時に行われてもよい。
ステップS109:ステップS106またはステップS108終了後、解析部402が、解析サーバ管理情報格納部204の、自身の解析サーバ40を示す解析サーバIDに関連付けられた解析状態情報、解析中カメラIDおよび解析中GOP IDを更新する更新指示を、管理サーバ20に対して送信し、解析処理を終了する。具体的には、解析部402は、管理サーバ20の解析サーバ管理情報格納部204に対し、(1)自身の解析サーバ40を示す解析サーバIDに関連付けられた解析状態情報を「解析待ち」に更新する指示、(2)上記解析サーバIDに関連付けられた解析中カメラIDおよび解析中GOP IDを夫々、空にする(図7においては「−」にする)更新指示を送信する。これにより、解析サーバ管理情報格納部204に含まれる、GOPの解析処理を行う解析サーバ40を示す解析サーバIDに関連付けられた解析状態情報が、当該解析サーバ40で解析が行われていないことを示す情報に更新される。また、解析サーバ管理情報格納部204に含まれる上記解析サーバIDに関連付けられたカメラIDがおよびGOP IDが、夫々、何れの値も示していない状態を示す情報に更新される。
上記判別処理および解析処理が終了した後、管理サーバ20のアラート通知部202は、解析サーバ40から送信されたカメラIDとGOP IDとを受信する。そして、アラート通知部202は、時刻情報格納部201を参照し、受信したカメラIDおよびGOP IDに関連付けられたカメラ撮影時刻を取得する。そして、アラート通知部202は、アラートを表示する指示を、上記カメラIDと、取得したカメラ撮影時刻と共に、監視端末50に送信する。
監視端末50のアラート受信部502が、カメラIDとカメラ撮影時刻と共にアラートを表示する指示を、管理サーバ20から受信すると、アラート受信部502は、表示部501にアラートとしてカメラ撮影時刻を表示する。これにより、監視を行っている管理者に対し、いつ動体を検知したという情報を提供することができる。
また、上記管理者にカメラIDを提供することにより、当該カメラIDと、カメラ撮影時刻とを用いて、動体を検知した映像データのGOPを特定することができるため、この時刻の映像データが保存されている場合、当該保存データを容易に再生することも可能である。
(効果)
以上のように、本実施の形態に係る監視システム100によれば、より好適にコストが削減できる。
なぜならば、解析フレーム判別部302が解析対象の映像データのGOPに対し、GOP毎に、当該GOPが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別するからである。また、解析サーバ40のデコード部401が、解析フレーム判別部302によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたGOPに含まれる複数のフレームに対し、デコードを行い、解析部402が当該デコードした各フレームに対し、画像解析を行うことにより、動体を検出するからである。
このように、解析フレーム判別部302が符号化された映像データの状態で、画像解析を行うグループ(GOP)を選別する。上述したとおり、所定の閾値以上のデータサイズの差分フレームには、動体が含まれる可能性がある。解析フレーム判別部302は、動体が含まれる可能性のあるGOPの選別に、符号化された状態で取得できる各フレームのデータサイズを利用するため、より少ない処理量で高速に選別することができる。
また、解析フレーム判別部302が選別したGOPを解析サーバ40に送信するため、解析サーバ40は、管理サーバ20が受信した映像データを、常時解析する必要がない。よって、映像データの全てのGOPを解析する場合と比べ、本実施の形態に係る監視システム100は、より少ない台数の解析サーバ40で好適に、映像解析を行い、映像データに含まれる動体を検出することができる。
また、GOP単位で分散して処理を行うことができるため、判別処理や解析処理の並列処理が行いやすい。また、これらの処理を分散処理した場合、全体の負荷を分散でき、監視システム100全体の処理時間を短縮することができる。
また、判別サーバ30は、所定の閾値以上のデータサイズの差分フレームを含まないGOPを解析サーバ40に送信しない。したがって、このようなGOPに含まれるIフレームも解析サーバ40に送らない。これにより、例えば、Iフレームのみを解析サーバ40に送るような手法などと比べ、より処理量を削減できる。
このように、解析サーバ40に係る処理量を削減することができるため、多数のカメラ映像をリアルタイムに解析する監視システム100において、解析サーバ40の台数を削減することができる。よって、本実施の形態に係る監視システム100によれば、サーバの導入コスト、ランニングコスト、サーバの管理コストなどを好適に削減することができる。
また、判別サーバ30が、選別したGOPを解析サーバ40に送るため、判別サーバ30と解析サーバ40との間で使用するネットワークの帯域を削減することができる。
また、解析フレーム判別部302、解析フレーム振分部303は、処理量が小さいため、同一サーバ内で並列に処理させることができる。並列処理にした場合、複数のカメラ映像データを並列で処理することできる。したがって、解析対象の映像に対する判別処理の時間をより短くすることができる。
<第2の実施の形態>
次に、本発明の第2の実施の形態について、図面を参照して詳細に説明する。なお、説明の便宜上、前述した第1の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その詳細な説明を省略する。
図11は、本発明の第2の実施の形態に係る監視センタ4の機能構成の一例を示す機能ブロック図である。監視センタ4は、第1の実施の形態に係る監視センタ1と同様に、複数の監視カメラ21から映像データを受信する。
本実施の形態に係る監視センタ4が、第1の実施の形態に係る監視センタ1と異なる点は、デコード部が、解析サーバではなく、判別サーバに備えられている点である。図11に示す通り、監視センタ4は、管理サーバ20と、判別サーバ31と、1または複数の解析サーバ41と監視端末50と、を備えている。
判別サーバ31は、映像データ一時格納部301、解析フレーム判別部302、解析フレーム振分部303、受信部304およびデコード部305を備える。また、解析サーバ41は、解析部402を備える。
解析フレーム判別部302は、第1の実施の形態における解析フレーム判別部302と同様の機能を有する。解析フレーム判別部302は、動体が含まれる可能性があるGOPとして選別したGOPを、デコード部305に供給する。また、所定の閾値以上のデータサイズの差分フレームを特定する情報をデコード部305に供給する。
デコード部305は、動体が含まれる可能性があるGOPのうち、所定の閾値以上のデータサイズの差分フレームに対し、デコード処理を行う。デコード部305は、デコード処理を行った差分フレームを解析フレーム振分部303に供給する。
解析フレーム振分部303は、第1の実施の形態における解析フレーム振分部303と同様の機能を有する。解析フレーム振分部303は、動体が含まれる可能性があるGOPのうち、デコード処理がされた所定の閾値以上の差分フレームを当該差分フレームが含まれるGOPのGOP IDおよびカメラIDと共に、解析処理が行われていない解析サーバ41に供給する。
そして、解析サーバ41の解析部402は、解析フレーム振分部303から供給された差分フレームに対し、映像解析(画像解析)を行う。これにより、解析部402は、フレーム内に動体が含まれるか否か確認する。
このとき、解析部402は、第1の実施の形態において、デコード部401が行った、解析サーバ管理情報格納部204に対する更新指示(ステップS102)を、映像解析を行う前に行う。
本実施の形態によれば、例えば、Iフレーム間隔が非常に大きい映像データにおいても、判別サーバ31内で順次デコードする。そして、判別サーバ31が、所定の閾値以上のデータサイズの差分フレームを解析サーバ41に送信する。
これにより、判別サーバ31と解析サーバ41との間で使用するネットワークの帯域をより削減することができる。
なお、上述した第1の実施の形態と同様に、解析フレーム振分部303は、解析対象のGOPのひとつ前のGOP IDに対する動体検知状態情報が「検知中」のとき、当該GOPを解析サーバ41に送信する構成であってもよい。このとき、解析フレーム振分部303は、デコード部305に対し、当該GOPに対し、デコード処理を行うよう指示する。そして、解析フレーム振分部303は、デコード処理を行ったGOPをGOP ID、カメラIDと共に、特定した解析サーバ41の何れかに対し、送信する。
これにより、判別サーバ31は、第1の実施の形態と同様に、動体が含まれる可能性があるGOPをより好適に解析サーバ41に供給することができる。
<第3の実施の形態>
次に、本発明の第3の実施の形態について、図面を参照して詳細に説明する。なお、説明の便宜上、前述した第1および第2の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その詳細な説明を省略する。
図12は、本発明の第3の実施の形態に係る監視センタ5の機能構成の一例を示す機能ブロック図である。
本実施の形態に係る監視センタ5が、第2の実施の形態に係る監視センタ4と異なる点は、デコード処理を行うサーバが別個に設けられている点である。図12に示す通り、監視センタ5は、管理サーバ20と、判別サーバ32と、1または複数の解析サーバ41と監視端末50と1または複数のデコードサーバ60と、を備えている。デコードサーバ60は、デコード部601と、解析フレーム振分部602とを備えている。デコード部601は、第2の実施の形態におけるデコード部305に相当し、解析フレーム振分部602は、第2の実施の形態における解析フレーム振分部303に相当する。
判別サーバ32は、映像データ一時格納部301、解析フレーム判別部302および受信部304を備える。解析フレーム判別部302は、複数のデコードサーバ60の何れかに対し、動体が含まれる可能性があるGOPとして選別したGOPを供給する。ここで、解析フレーム判別部302がGOPを供給するデコードサーバ60を特定する方法は、解析フレーム振分部303が解析サーバ40を特定する方法と同様の方法であってもよい。つまり、管理サーバ20が、デコードサーバ60の状態を管理し、解析フレーム判別部302が当該管理された情報を参照することにより、デコード処理を行っていないデコードサーバ60を特定する構成であってもよい。
このように、デコード部601を、判別サーバ32とは異なるサーバに配置することで、デコード処理における負荷の分散と、デコード処理の高速化を図ることができる。
<第4の実施の形態>
次に、本発明の第4の実施の形態について、図面を参照して説明する。前述した第1から第3の実施の形態では、監視センタに含まれる各サーバが別個の構成であることについて説明を行った。しかし、監視センタに含まれる複数のサーバは1つの装置で実現されるものであってもよい。本実施の形態では監視センタの各サーバが1つの装置で実現されることについて説明を行う。
図13は、本発明の第4の実施の形態に係る監視装置10の構成の一例を示す図である。なお、説明の便宜上、前述した第1の実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。また、図13に示す監視装置10の構成は、第1の実施の形態に係る監視センタ1を1つの装置で実現する場合を示しているが、第2の実施の形態に係る監視センタ4および第3の実施の形態に係る監視センタ5も本実施の形態と同様に、1つの装置で実現することができる。
図13に示す通り、監視装置10は、判定部11、アラート通知部12、表示部13、解析フレーム判別部14、解析フレーム振分部15、1または複数の映像解析部16、時刻情報格納部201、映像管理情報格納部203、解析サーバ管理情報格納部204および映像データ一時格納部301を備えている。
なお、本実施の形態においては、解析サーバ管理情報格納部204における解析サーバIDの代わりに、複数の映像解析部16の何れかを特定する映像解析部IDが含まれているとする。
判定部11は、上述した判定部205に相当する。判定部11は、ネットワーク3を介して、被監視拠点2から送信された映像データを、MPEG規格で圧縮された状態で受信する。判定部11は、映像データを受信すると、映像管理情報格納部203のうち、当該映像データを撮影した監視カメラ21を示すカメラIDに関連付けられた解析対象情報を参照し、当該映像データが解析対象であるか否かを判定する。
また、判定部11は、受信した映像データに対し、GOPごとにGOP IDを割り当てる。そして、判定部11は、受信した映像データが解析対象である場合、当該映像データを、カメラID、GOP IDと関連付けて、映像データ一時格納部301に格納する。
また、判定部11は、GOPごとに、当該GOPに含まれるフレーム(映像データ)を撮影した監視カメラ21を示すカメラIDと、当該GOPを示すGOP IDと、当該GOPに含まれるフレームを撮影した時刻(カメラ撮影時刻)とを、互いに関連付けて、時刻情報格納部201に格納する。
アラート通知部12は、上述したアラート通知部202に相当する。アラート通知部12は、時刻情報格納部201を参照し、映像解析部16から供給されたカメラIDおよびGOP IDと、時刻情報格納部201に格納されているカメラIDおよびGOP IDと、が夫々一致する、カメラ撮影時刻を取得する。これにより、アラート通知部12は、動体を検知した監視カメラ21の映像撮影時の実時刻を取得することができる。そして、アラート通知部12は、表示部13に、アラートを表示するよう指示する。
表示部13は、上述した表示部501に相当する。表示部13は、アラート通知部12からの指示に従い、アラートを表示する。
解析フレーム判別部14は、上述した解析フレーム判別部302に相当する。また、解析フレーム振分部15は、上述した解析フレーム振分部303に相当する。解析フレーム判別部14と解析フレーム振分部15の機能は図8のフローチャートを参照して詳細に説明する。
図8に示す通り、まず、判定部11が監視カメラ21から映像データを受信すると、判定部11が、当該映像データをカメラIDとGOP IDと共に映像データ一時格納部301に格納する(ステップS81)。
解析フレーム判別部14が、映像管理情報格納部203を参照し、判別完了GOP IDを取得する。そして、解析フレーム判別部14は、取得したGOP IDの次のGOP IDで示されるGOPに含まれるフレームが映像データ一時格納部301に蓄積されると、当該GOP(未判別のGOP)を、映像データ一時格納部301から取得する(ステップS82)。
解析フレーム判別部14が、解析サーバ管理情報格納部204を参照し、ステップS82で取得したGOPを示すGOP IDのひとつ前のGOP IDで示されるGOPが解析中か否かを確認する(ステップS83)。解析中の場合(ステップS83にてYES)、このGOPが解析中でなくなる(解析中GOP IDから当該GOP IDが含まれなくなる)まで、ステップS83を繰り返す。解析中ではない場合(ステップS83にてNO)、解析フレーム判別部14は、ステップS82で取得したGOPを示すGOP IDに関連付けられたカメラIDと、一致する映像管理情報格納部203のカメラIDの行を参照し、当該行に含まれる動体検知状態情報が、「検知中」か否かを確認する(ステップS84)。
動体検知状態情報が「非検知」の場合(ステップS84にてNO)、解析フレーム判別部14は、ステップS82で取得したGOP内の差分フレームが所定の閾値以上のデータサイズか否かを確認する(ステップS85)。なお、解析フレーム判別部14は、上述した解析フレーム判別部302と同様に、差分フレームのうちのいずれかが所定の閾値以上であるかを確認する構成であってもよいし、当該GOPに含まれるすべての差分フレームの平均値が所定の閾値以上であるかを確認する構成であってもよい。
取得したGOP内の差分フレームが所定の閾値以上のデータサイズである場合(ステップS85にてYES)、または、動体検知状態情報が「検知中」の場合(ステップS84にてYES)、解析フレーム判別部14は、映像管理情報格納部203の、上記カメラIDに関連付けられた判別完了GOP IDを、ステップS82で取得したGOPのGOP IDに更新する(ステップS86)。
その後、解析フレーム振分部15は、解析サーバ管理情報格納部204を参照し、解析状態情報が「解析待ち」の映像解析部16を特定する(ステップS87)。
そして、解析フレーム振分部15は、特定した映像解析部16の何れかに対し、判別対象のGOPと、当該GOPのGOP IDと、当該GOPを撮影した監視カメラ21のカメラIDとを供給する(ステップS88)。
ステップS82にて取得したGOP内の差分フレームが所定の閾値以上のデータサイズでない場合(ステップS85にてNO)、解析フレーム判別部14は、当該GOPを破棄する(ステップS89)。そして、解析フレーム判別部14は、映像管理情報格納部203の、上記カメラIDに関連付けられた判別完了GOP IDを、ステップS88で破棄したGOPのGOP IDに更新する(ステップS90)。
なお、ステップS89とステップS90とは同時に行われてもよいし、逆順で行われてもよい。
ステップS88の終了後、または、ステップS90の終了後、解析フレーム振分部15は、映像データ一時格納部301に未判別のGOPが存在するか否かを確認する。具体的には、解析フレーム振分部15は、映像管理情報格納部203から判別完了GOP IDを取得し、取得したGOP IDの次のGOP IDで示されるGOPが映像データ一時格納部301にあるか否かを格納する(ステップS91)。なお、解析フレーム振分部15は、ステップS86またはステップS90にて、更新した判別完了GOP IDを用いて、映像データ一時格納部301に未判別のGOPがあるか否かを確認する構成であってもよい。
未判別のGOPが映像データ一時格納部301に存在する場合(ステップS91にてYES)、ステップS81に戻る。未判別のGOPが映像データ一時格納部301に存在しない場合(ステップS91にてNO)、監視装置10は、判別処理を終了する。
以上のように、監視装置10は、判別処理によって、動体が含まれる可能性のあるGOPを選別し、当該GOPを映像解析部16の何れかに供給する。
映像解析部16は、上述した解析サーバ40に相当する。なお、本実施の形態においては、図13に示す通り、映像解析部16の数を3つであるとして説明を行うが、本発明はこれに限定されるものではない。また、各映像解析部16は、同じ構成を有している。なお、本実施の形態では、各映像解析部をまとめて、映像解析部16と呼ぶ。
映像解析部16は、デコード部161と、解析部162とを備えている。デコード部161および解析部162は、夫々、デコード部401および解析部402に相当する。映像解析部16の解析処理については、図10のフローチャートを参照して説明する。
図10に示す通り、まず、映像解析部16のデコード部161は、解析フレーム振分部15からGOP、GOP ID、カメラIDを受け取り(ステップS101)、解析サーバ管理情報格納部204の、自身の映像解析部16を示す映像解析部IDに関連付けられた解析状態情報、解析中カメラIDおよび解析中GOP IDを更新する。具体的には、デコード部161は、解析サーバ管理情報格納部204に対し、(1)自身の映像解析部16を示す映像解析部IDに関連付けられた解析状態情報を「解析中」に更新し、(2)上記映像解析部IDに関連付けられた解析中カメラIDをステップS101で受け取ったカメラIDに更新し、(3)上記映像解析部IDに関連付けられた解析中GOP IDをステップS101で受け取ったGOP IDに更新する(ステップS102)。
そして、デコード部161は、ステップS101で受け取ったGOPに対し、デコード処理を行う(ステップS103)。その後、解析部162は、デコード処理が行われたGOPの各フレームに対し、映像解析(画像解析)を行う(ステップS104)。
そして、解析部162は、映像解析を行ったGOP内の少なくとも何れかのフレームに、動体が含まれるか否かを確認する(ステップS105)。動体が含まれない場合(ステップS105にてNO)、解析部162は、当該GOPで動体が検出されていないと判定する。そして、解析部162は、映像管理情報格納部203の、ステップS101でデコード部161が受け取ったカメラIDに関連付けられた動体検知状態情報を、「非検知」に更新する(ステップS106)。
動体が含まれる場合(ステップS105にてYES)、解析部162は、映像管理情報格納部203の、ステップS101でデコード部161が受け取ったカメラIDに関連付けられた動体検知状態情報を、「検知中」に更新する(ステップS107)。
ステップS107終了後、解析部162は、動体を検知したことをアラート通知部12に通知する。具体的には、解析部162は、動体を検知したGOPのGOP IDと、当該GOPを撮影した監視カメラ21を示すカメラIDと、アラート通知部12に供給する(ステップS108)。なお、ステップS107とステップS108とは、同時に行われてもよい。
ステップS106またはステップS108終了後、解析部162は、解析サーバ管理情報格納部204の、自身の映像解析部16を示す映像解析部IDに関連付けられた解析状態情報、解析中カメラIDおよび解析中GOP IDを更新し、解析処理を終了する。具体的には、解析部162は、解析サーバ管理情報格納部204に対し、(1)自身の映像解析部16を示す映像解析部IDに関連付けられた解析状態情報を「解析待ち」に更新し、(2)上記映像解析部IDに関連付けられた解析中カメラIDおよび解析中GOP IDを夫々、空にする(図7においては「−」にする)(ステップS109)。
上記判別処理および解析処理が終了した後、アラート通知部12は、映像解析部16からカメラIDとGOP IDとを受け取り、時刻情報格納部201を参照し、受け取ったカメラIDおよびGOP IDに関連付けられたカメラ撮影時刻を取得する。そして、アラート通知部12は、上記カメラIDと、取得したカメラ撮影時刻とを含んだアラートを表示する指示を表示部13に対して行う。
表示部13は、アラートを表示する指示に従い、アラートを表示する。これにより、監視装置10は、監視を行っている管理者に対し、いつ動体を検知したという情報を提供することができる。
また、上記管理者にカメラIDを提供することにより、当該カメラIDと、カメラ撮影時刻とを用いて、動体を検知した映像データのGOPを特定することができるため、この時刻の映像データが保存されている場合、当該保存データを容易に再生することも可能である。
以上のように、本実施の形態に係る監視装置10は、監視センタ1と同様の機能を有する。したがって、本実施の形態に係る監視装置10は、第1の実施の形態に係る監視センタ1と同様の効果を奏する。
また、本実施の形態における監視装置10は、監視センタ1に含まれるすべてのサーバを1つの装置で実現することを例に説明を行ったが、本発明はこれに限定されるものではない。監視センタ1の一部のサーバを1つの装置で実現する構成であってもよい。例えば、監視センタ1の解析サーバ40以外のサーバを1つの装置で実現してもよい。
<第5の実施の形態>
次に、本発明の第5の実施の形態について、図面を参照して説明する。本実施の形態では、上述した監視センタ1、4、5または監視装置10に含まれる映像解析装置について説明する。なお、本実施の形態に係る映像解析装置は、各機能を実行する部材が1つの装置内で実現されることを例に説明を行う。しかし、各機能を実行する部材は、第1〜第3の実施の形態と同様に、夫々、異なるサーバによって実現されてもよい。
図14は、本発明の第5の実施の形態に係る映像解析装置6の構成の一例を示す図である。図14に示す通り、本実施の形態に係る映像解析装置6は、判別部61と、復号部62と、検出部63と、を備えている。
判別部61は、上述した第1の実施の形態における判別サーバ30に相当する。判別部61は、被監視拠点を撮影した撮像装置(例えば、監視カメラ)から受信した映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データを受信する。上記時系列順の複数のフレームで構成されるグループとは、例えばGOPである。
判別部61は、上記分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する。そして、判別部61は、上記グループが所定の閾値以上のデータサイズの差分フレームを含むと判別すると、当該グループに含まれる複数のフレームを復号部62に供給する。
復号部62は、第1の実施の形態に係るデコード部401に相当する。復号部62は、判別部61から供給された、所定の閾値以上のデータサイズの差分フレームが含まれると判別されたグループの複数のフレームに対し、復号処理を行う。復号部62は、復号した複数のフレームからなる上記グループを検出部63に供給する。
検出部63は、第1の実施の形態に係る解析部402に相当する。検出部63は、復号部62によって復号された各フレームに対し、画像解析を行う。これにより、上記各フレームに動体が含まれる場合、検出部63は、当該動体を検出する。
このように、判別部61が圧縮された映像データの状態で、画像解析を行うグループ(時系列順の複数のフレームからなる映像区間)を選別するため、復号部62で行う復号処理および検出部63で行う画像解析の処理量を削減することができる。
これにより、検出部63はより少ない処理量で、映像データに含まれる動体を検出することができる。したがって、より少ない数の検出部63で、好適に映像データに含まれる動体を検出することができる。したがって、本実施の形態に係る映像解析装置6によれば、より好適にコストを削減した映像解析装置6を実現することができる。
(ハードウェア構成について)
なお、図4、図11、図12に示した監視センタの各サーバに含まれる各部、図13に示した監視装置の各部、または、図14に示した映像解析装置の各部は、図15に例示するハードウェア資源で実現してもよい。すなわち、図15に示す構成は、RAM(Random Access Memory)101、ROM(Read Only Memory)102、通信インタフェース103、記憶媒体104およびCPU105を備える。CPU105は、ROM102または記憶媒体104に記憶された各種ソフトウェアプログラム(コンピュータプログラム)を、RAM101に読み出して実行することにより、監視センタの各サーバまたは監視装置の全体的な動作を司る。すなわち、上記各実施形態において、CPU105は、ROM102または記憶媒体104を適宜参照しながら、監視センタの各サーバ、監視装置が備える各機能(各部)、または映像解析装置が備える各機能(各部)を実行するソフトウェアプログラムを実行する。
また、各実施形態を例に説明した本発明は、監視センタの各サーバ、監視装置、または、映像解析装置に対して、上記説明した機能を実現可能なコンピュータプログラムを供給した後、そのコンピュータプログラムを、CPU105がRAM101に読み出して実行することによって達成される。
また、係る供給されたコンピュータプログラムは、読み書き可能なメモリ(一時記憶媒体)またはハードディスク装置等のコンピュータ読み取り可能な記憶デバイスに格納すればよい。そして、このような場合において、本発明は、係るコンピュータプログラムを表すコード或いは係るコンピュータプログラムを格納した記憶媒体によって構成されると捉えることができる。
上述した各実施形態では、図4、図11、図12に示した監視センタの各サーバ、図13に示した監視装置、または、図14に示した映像解析装置における各ブロックに示す機能を、図15に示すCPU105が実行する一例として、ソフトウェアプログラムによって実現する場合について説明した。しかしながら、図4、図11〜図14に示した各ブロックに示す機能は、一部または全部を、ハードウェアの回路として実現してもよい。
なお、上述した各実施の形態は、本発明の好適な実施の形態であり、上記各実施の形態にのみ本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
本発明の各実施の形態に係る監視装置、監視センタ、映像解析装置を含む監視システムによれば、人通りが少ないような動きのあまりない地点を撮影しているカメラ映像の解析処理を行うシステムにより好適に適用することができる。
また、各実施の形態に係る監視装置、監視センタ、映像解析装置を含む監視システムによれば、例えば、人通りや行列が途切れた、渋滞が途切れたといった、動体を検出しなくなった場合に、管理者にアラートを上げるように構成することも可能である。これは、例えば、判別部が、圧縮符号化映像データの差分フレームのデータサイズの大きさが一定値以下となった場合に、映像内の人通りや行列が途切れた、渋滞が途切れたと判別することによって実現することができる。
また、差分フレームのデータ量が大きい場合はより混雑していると判断し、一定以上混雑している場合のみ解析することもできる。したがって、本発明の各実施の形態に係る監視システムによれば、圧縮符号化映像データの差分フレームのデータサイズの大きさにより、映像内の動きの大きさ(動体が多く含まれるか)や、映像内の人や物の混雑状況、動体自体の大きさなどを判別することができる。
また、本発明の各実施の形態に係る監視システムは、映像監視、映像解析によるマーケティング分析などの分野で利用することもできる。例えば、上記監視システムは、多数の監視カメラ映像で人や自動車などの動体をリアルタイムに検知し管理者に知らせるシステムや、店舗内での多数のカメラ映像から人の行動を分析しレポートするようなシステムなどに適用することができる。これにより、システム全体の処理量を削減できる。また、保存された映像データから、動体が含まれる可能性のある映像区間を簡易的に抽出したい場合などにおいても、上記監視システムを適用することができる。
また、本発明の各実施の形態に係る監視システムは、動体が含まれている可能性ある映像区間を選別し、選別した映像区間の中から学習データを探すといった、機械学習の学習データ収集の一時選別に利用することができる。これにより、人手で学習データを選別する際の作業負荷を軽減することができる。
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、を備えることを特徴とする映像解析装置。
(付記2)前記判別手段は、前記グループが、(a)データサイズが前記所定の閾値以上の差分フレームを少なくとも1つ以上含むか、(b)当該グループに含まれる差分フレームのデータサイズの平均値が、所定の閾値以上であるか、(c)前記所定の閾値以上のデータサイズの差分フレームが所定の数以上連続するか、の少なくとも何れかを満たすか否かを判別する、ことを特徴とする付記1に記載の映像解析装置。
(付記3)前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段と、前記復号処理の対象となるグループを前記復号手段に供給する供給手段と、を更に備え、前記供給手段は、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記復号手段に供給し、動体が検出されていないことを示す情報であるとき、前記判別手段によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループを前記復号手段に供給する、ことを特徴とする付記1または2に記載の映像解析装置。
(付記4)前記復号手段および前記検出手段を含む複数の映像解析手段と、前記映像解析手段が前記復号処理または前記画像解析を行っているか否かを管理する解析情報格納手段と、を更に備え、前記供給手段は、前記複数の映像解析手段のうち、前記復号処理または前記画像解析を行っていない映像解析手段を特定し、当該特定した映像解析手段に含まれる前記復号手段に対し、前記復号処理の対象となるグループを供給する、ことを特徴とする付記3に記載の映像解析装置。
(付記5)前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段と、前記画像解析の対象となるグループを前記検出手段に供給する供給手段と、を更に備え、前記供給手段は、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記復号手段に供給し、当該復号手段によって復号されたグループを前記検出手段に供給し、動体が検出されていないことを示す情報であるとき、前記判別手段によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループのうち、前記復号手段によって復号された差分フレームを前記検出手段に供給する、ことを特徴とする付記1または2に記載の映像解析装置。
(付記6)前記検出手段を含む複数の映像解析手段と、前記映像解析手段が前記画像解析を行っているか否かを管理する解析情報格納手段と、を更に備え、前記供給手段は、前記複数の映像解析手段のうち、前記画像解析を行っていない映像解析手段を特定し、当該特定した映像解析手段に対し、前記画像解析の対象となるグループを供給する、ことを特徴とする付記5に記載の映像解析装置。
(付記7)前記被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された前記映像データが、前記画像解析を行う対象のデータであるか否かを判定する判定手段を更に備え、前記判定手段は、前記画像解析を行う対象のデータであると判定した映像データを前記判別手段に供給する、ことを特徴とする付記1から6の何れかに記載の映像解析装置。
(付記8)被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、前記検出手段が動体を検出したとき、当該動体を検出したことを示す情報を表示部に表示させる通知手段と、を備えることを特徴とする監視装置。
(付記9)前記判別手段は、前記グループが、(a)データサイズが前記所定の閾値以上の差分フレームを少なくとも1つ以上含むか、(b)当該グループに含まれる差分フレームのデータサイズの平均値が、所定の閾値以上であるか、(c)前記所定の閾値以上のデータサイズの差分フレームが所定の数以上連続するか、の少なくとも何れかを満たすか否かを判別する、ことを特徴とする付記8に記載の監視装置。
(付記10)前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段と、前記復号処理の対象となるグループを前記復号手段に供給する供給手段と、を更に備え、前記供給手段は、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記復号手段に供給し、動体が検出されていないことを示す情報であるとき、前記判別手段によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループを前記復号手段に供給する、ことを特徴とする付記8または9に記載の監視装置。
(付記11)前記復号手段および前記検出手段を含む複数の映像解析手段と、前記映像解析手段が前記復号処理または前記画像解析を行っているか否かを管理する解析情報格納手段と、を更に備え、前記供給手段は、前記複数の映像解析手段のうち、前記復号処理または前記画像解析を行っていない映像解析手段を特定し、当該特定した映像解析手段に含まれる前記復号手段に対し、前記復号処理の対象となるグループを供給する、ことを特徴とする付記10に記載の監視装置。
(付記12)前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段と、前記画像解析の対象となるグループを前記検出手段に供給する供給手段と、を更に備え、前記供給手段は、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記復号手段に供給し、当該復号手段によって復号されたグループを前記検出手段に供給し、動体が検出されていないことを示す情報であるとき、前記判別手段によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループのうち、復号手段によって復号された差分フレームを前記検出手段に供給する、ことを特徴とする付記8または9に記載の監視装置。
(付記13)前記検出手段を含む複数の映像解析手段と、前記映像解析手段が前記画像解析を行っているか否かを管理する解析情報格納手段と、を更に備え、前記供給手段は、前記複数の映像解析手段のうち、前記画像解析を行っていない映像解析手段を特定し、当該特定した映像解析手段に対し、前記画像解析の対象となるグループを供給する、ことを特徴とする付記12に記載の監視装置。
(付記14)前記被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された前記映像データが、前記画像解析を行う対象のデータであるか否かを判定する判定手段を更に備え、前記判定手段は、前記画像解析を行う対象のデータであると判定した映像データを前記判別手段に供給する、ことを特徴とする付記8から13の何れかに記載の監視装置。
(付記15)被監視拠点を監視するための監視システムであって、被監視拠点を撮影した撮像装置から、符号化された映像データを受信し、当該受信した映像データを、時系列順の複数のフレームで構成されるグループ単位に分割して管理する管理サーバと、当該分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別サーバと、前記判別サーバで前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行い、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する解析サーバと、前記解析サーバが動体を検出したとき、前記管理サーバからの指示により、動体を検出したことを示す情報を表示する表示部を備えた監視端末と、を備えることを特徴とする監視システム。
(付記16)前記判別サーバは、前記グループが、(a)データサイズが前記所定の閾値以上の差分フレームを少なくとも1つ以上含むか、(b)当該グループに含まれる差分フレームのデータサイズの平均値が、所定の閾値以上であるか、(c)前記所定の閾値以上のデータサイズの差分フレームが所定の数以上連続するか、の少なくとも何れかを満たすか否かを判別する、ことを特徴とする付記15に記載の監視システム。
(付記17)前記管理サーバは、前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段を備え、前記判別サーバは、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記解析サーバに供給し、動体が検出されていないことを示す情報であるとき、当該判別サーバによって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループを前記解析サーバに供給する、ことを特徴とする付記15または16に記載の監視システム。
(付記18)前記監視システムには、複数の解析サーバが含まれており、前記管理サーバは、前記解析サーバが前記復号処理または前記画像解析を行っているか否かを管理する解析情報格納手段を更に備え、前記判別サーバは、前記複数の解析サーバのうち、前記復号処理または前記画像解析を行っていない解析サーバを特定し、当該特定した解析サーバに対し、前記復号処理の対象となるグループを供給する、ことを特徴とする付記17に記載の監視システム。
(付記19)被監視拠点を監視するための監視システムであって、被監視拠点を撮影した撮像装置から、符号化された映像データを受信し、当該受信した映像データを、時系列順の複数のフレームで構成されるグループ単位に分割して管理する管理サーバと、当該分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段、および、前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段を備えた判別サーバと、前記復号した各フレームに対し、画像解析を行うことにより、動体を検出する解析サーバと、前記解析サーバが動体を検出したとき、前記管理サーバからの指示により、動体を検出したことを示す情報を表示する表示部を備えた監視端末と、を備えることを特徴とする監視システム。
(付記20)前記判別サーバは、前記グループが、(a)データサイズが前記所定の閾値以上の差分フレームを少なくとも1つ以上含むか、(b)当該グループに含まれる差分フレームのデータサイズの平均値が、所定の閾値以上であるか、(c)前記所定の閾値以上のデータサイズの差分フレームが所定の数以上連続するか、の少なくとも何れかを満たすか否かを判別する、ことを特徴とする、付記19に記載の監視システム。
(付記21)前記管理サーバは、前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段を備え、前記判別サーバは、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記復号手段に供給し、当該復号手段によって復号されたグループを前記解析サーバに供給し、動体が検出されていないことを示す情報であるとき、前記判別手段によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループのうち、前記復号手段によって復号された差分フレームを前記解析サーバに供給する供給手段を更に備える、ことを特徴とする付記19または20に記載の監視システム。
(付記22)前記監視システムには、複数の解析サーバが含まれており、前記管理サーバは、前記解析サーバが前記画像解析を行っているか否かを管理する解析情報格納手段、を更に備え、前記供給手段は、前記複数の解析サーバのうち、前記画像解析を行っていない解析サーバを特定し、当該特定した解析サーバに対し、前記画像解析の対象となるグループを供給する、ことを特徴とする付記21に記載の監視システム。
(付記23)被監視拠点を監視するための監視システムであって、被監視拠点を撮影した撮像装置から、符号化された映像データを受信し、当該受信した映像データを、時系列順の複数のフレームで構成されるグループ単位に分割して管理する管理サーバと、当該分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別サーバと、前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号サーバと、前記復号した各フレームに対し、画像解析を行うことにより、動体を検出する解析サーバと、前記解析サーバが動体を検出したとき、前記管理サーバからの指示により、動体を検出したことを示す情報を表示する表示部を備えた監視端末と、を備えることを特徴とする監視システム。
(付記24)前記判別サーバは、前記グループが、(a)データサイズが前記所定の閾値以上の差分フレームを少なくとも1つ以上含むか、(b)当該グループに含まれる差分フレームのデータサイズの平均値が、所定の閾値以上であるか、(c)前記所定の閾値以上のデータサイズの差分フレームが所定の数以上連続するか、の少なくとも何れかを満たすか否かを判別する、ことを特徴とする、ことを特徴とする、付記23に記載の監視システム。
(付記25)前記監視システムには、複数の解析サーバが含まれており、前記管理サーバは、前記解析サーバが前記画像解析を行っているか否かを管理する解析情報格納手段、を更に備え、前記デコードサーバは、前記複数の解析サーバのうち、前記画像解析を行っていない解析サーバを特定し、当該特定した解析サーバに対し、前記画像解析の対象となる、デコードされたフレームを供給する、ことを特徴とする付記24に記載の監視システム。
(付記26)前記管理サーバは、前記被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された前記映像データが、前記画像解析を行う対象のデータであるか否かを判定し、前記画像解析を行う対象のデータであると判定した映像データを前記判別サーバに供給する、ことを特徴とする付記15から25の何れかに記載の監視システム。
(付記27)被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別し、前記所定の閾値以上のデータサイズの差分フレームが含まれると判別された前記グループの前記複数のフレームに対し、復号処理を行い、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する、ことを特徴とする映像解析方法。
(付記28)被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する処理と、前記所定の閾値以上のデータサイズの差分フレームが含まれると判別された前記グループの前記複数のフレームに対し復号を行う処理と、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する処理と、をコンピュータに実行させることを特徴とするプログラム。
(付記29)付記28に記載のプログラムを記憶する、ことを特徴とするコンピュータ読み取り可能な記録媒体。
100 監視システム
1 監視センタ
2 被監視拠点
3 ネットワーク
4 監視センタ
5 監視センタ
20 管理サーバ
21 監視カメラ
201 時刻情報格納部
202 アラート通知部
203 映像管理情報格納部
204 解析サーバ管理情報格納部
205 判定部
206 情報管理部
30 判別サーバ
31 判別サーバ
32 判別サーバ
301 映像データ一時格納部
302 解析フレーム判別部
303 解析フレーム振分部
304 受信部
305 デコード部
40 解析サーバ
41 解析サーバ
401 デコード部
402 解析部
50 監視端末
501 表示部
502 アラート受信部
60 デコードサーバ
601 デコード部
602 解析フレーム振分部
10 監視装置
11 判定部
12 アラート通知部
13 表示部
14 解析フレーム判別部
15 解析フレーム振分部
16 映像解析部
161 デコード部
162 解析部
6 映像解析装置
61 判別部
62 復号部
63 検出部

Claims (11)

  1. 被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、
    前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、
    当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、を備え、
    前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段と、
    前記復号処理の対象となるグループを前記復号手段に供給する供給手段と、を更に備え、
    前記供給手段は、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記復号手段に供給し、動体が検出されていないことを示す情報であるとき、前記判別手段によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループを前記復号手段に供給する
    ことを特徴とする映像解析装置。
  2. 被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データが、画像解析を行う対象のデータであるか否かを判定する判定手段と、
    前記判定手段が前記画像解析を行う対象のデータであると判定した映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、
    前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、
    当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、を備える
    ことを特徴とする映像解析装置。
  3. 前記判別手段は、前記グループが、
    (a)データサイズが前記所定の閾値以上の差分フレームを少なくとも1つ以上含むか、
    (b)当該グループに含まれる差分フレームのデータサイズの平均値が、所定の閾値以上であるか、
    (c)前記所定の閾値以上のデータサイズの差分フレームが所定の数以上連続するか、
    の少なくとも何れかを満たすか否かを判別する、ことを特徴とする請求項1または2に記載の映像解析装置。
  4. 前記復号手段および前記検出手段を含む複数の映像解析手段と、
    前記映像解析手段が前記復号処理または前記画像解析を行っているか否かを管理する解析情報格納手段と、を更に備え、
    前記供給手段は、前記複数の映像解析手段のうち、前記復号処理または前記画像解析を行っていない映像解析手段を特定し、当該特定した映像解析手段に含まれる前記復号手段に対し、前記復号処理の対象となるグループを供給する、ことを特徴とする請求項に記載の映像解析装置。
  5. 被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、
    前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、
    当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、
    前記検出手段が動体を検出したとき、当該動体を検出したことを示す情報を表示部に表示させる通知手段と、を備え、
    前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納する映像管理情報格納手段と、
    前記復号処理の対象となるグループを前記復号手段に供給する供給手段と、を更に備え、
    前記供給手段は、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記復号手段に供給し、動体が検出されていないことを示す情報であるとき、前記判別手段によって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループを前記復号手段に供給する
    ことを特徴とする監視装置。
  6. 被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データが、画像解析を行う対象のデータであるか否かを判定する判定手段と、
    前記判定手段が前記画像解析を行う対象のデータであると判定した映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別手段と、
    前記判別手段によって前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行う復号手段と、
    当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する検出手段と、
    前記検出手段が動体を検出したとき、当該動体を検出したことを示す情報を表示部に表示させる通知手段と、を備える
    ことを特徴とする監視装置。
  7. 被監視拠点を監視するための監視システムであって、
    被監視拠点を撮影した撮像装置から、符号化された映像データを受信し、当該受信した映像データを、時系列順の複数のフレームで構成されるグループ単位に分割して管理する管理サーバと、
    当該分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別サーバと、
    前記判別サーバで前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行い、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する解析サーバと、
    前記解析サーバが動体を検出したとき、前記管理サーバからの指示により、動体を検出したことを示す情報を表示する表示部を備えた監視端末と、を備え、
    前記管理サーバは、前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納し、
    前記判別サーバは、前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループを前記解析サーバに供給し、動体が検出されていないことを示す情報であるとき、当該判別サーバによって所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループを前記解析サーバに供給する
    ことを特徴とする監視システム。
  8. 被監視拠点を監視するための監視システムであって、
    被監視拠点を撮影した撮像装置から、符号化された映像データを受信し、当該受信した映像データを、時系列順の複数のフレームで構成されるグループ単位に分割して管理し、前記グループ単位に分割された前記映像データが、画像解析を行う対象のデータであるか否かを判定する管理サーバと、
    前記管理サーバが前記画像解析を行う対象のデータであると判定した映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別する判別サーバと、
    前記判別サーバで前記所定の閾値以上のデータサイズの差分フレームを含むと判別された前記グループの前記複数のフレームに対し、復号処理を行い、当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する解析サーバと、
    前記解析サーバが動体を検出したとき、前記管理サーバからの指示により、動体を検出したことを示す情報を表示する表示部を備えた監視端末と、を備える
    ことを特徴とする監視システム。
  9. 前記判別サーバは、前記グループが、
    (a)データサイズが前記所定の閾値以上の差分フレームを少なくとも1つ以上含むか、
    (b)当該グループに含まれる差分フレームのデータサイズの平均値が、所定の閾値以上であるか、
    (c)前記所定の閾値以上のデータサイズの差分フレームが所定の数以上連続するか、
    の少なくとも何れかを満たすか否かを判別する、ことを特徴とする請求項8に記載の監視システム。
  10. 被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別し、
    前記所定の閾値以上のデータサイズの差分フレームが含まれると判別された前記グループの前記複数のフレームに対し、復号処理を行い、
    当該復号した各フレームに対し、画像解析を行うことにより、動体を検出し、
    前記グループを示すグループ識別子と、当該グループ識別子で示されるグループに含まれる少なくとも何れかのフレームから動体が検出されたか否かを示す検出情報と、を関連付けて格納し、ここで、
    前記撮像装置から受信した前記映像データの前記分割されたグループに対し、時系列順で当該グループの直前のグループのグループ識別子に関連づけられた前記検出情報が、動体が検出されたことを示す情報であるとき、前記受信したグループに対し、前記復号処理を行い、動体が検出されていないことを示す情報であるとき、前記所定の閾値以上のデータサイズの差分フレームを含むと判別されたグループに対し、前記復号処理を行う
    ことを特徴とする映像解析方法。
  11. 被監視拠点を撮影した撮像装置から受信した、符号化された映像データであって、時系列順の複数のフレームで構成されるグループ単位に分割された映像データが、画像解析を行う対象のデータであるか否かを判定し、
    前記画像解析を行う対象のデータであると判定した映像データに対し、分割されたグループごとに、当該グループが所定の閾値以上のデータサイズの差分フレームを含むか否かを判別し、
    前記所定の閾値以上のデータサイズの差分フレームが含まれると判別された前記グループの前記複数のフレームに対し、復号処理を行い、
    当該復号した各フレームに対し、画像解析を行うことにより、動体を検出する
    ことを特徴とする映像解析方法。
JP2014042282A 2014-03-05 2014-03-05 映像解析装置、監視装置、監視システムおよび映像解析方法 Active JP6421422B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014042282A JP6421422B2 (ja) 2014-03-05 2014-03-05 映像解析装置、監視装置、監視システムおよび映像解析方法
US14/628,866 US10037606B2 (en) 2014-03-05 2015-02-23 Video analysis apparatus, monitoring system, and video analysis method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014042282A JP6421422B2 (ja) 2014-03-05 2014-03-05 映像解析装置、監視装置、監視システムおよび映像解析方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018195499A Division JP6665913B2 (ja) 2018-10-17 2018-10-17 映像解析装置、監視装置、監視システムおよび映像解析方法

Publications (2)

Publication Number Publication Date
JP2015170874A JP2015170874A (ja) 2015-09-28
JP6421422B2 true JP6421422B2 (ja) 2018-11-14

Family

ID=54018732

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014042282A Active JP6421422B2 (ja) 2014-03-05 2014-03-05 映像解析装置、監視装置、監視システムおよび映像解析方法

Country Status (2)

Country Link
US (1) US10037606B2 (ja)
JP (1) JP6421422B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112016003903T5 (de) 2015-08-31 2018-05-30 Asahi Glass Company, Limited Lichtdurchlässige Struktur, Verfahren zu deren Herstellung und Gegenstand
JP6238255B2 (ja) * 2016-05-25 2017-11-29 株式会社Nexpoint 監視カメラシステムによる監視方法及び動画分割装置
JP7255841B2 (ja) * 2016-08-22 2023-04-11 日本電気株式会社 情報処理装置、情報処理システム、制御方法、及びプログラム
EP3340105A1 (en) * 2016-12-21 2018-06-27 Axis AB Method for and apparatus for detecting events
US10506196B2 (en) * 2017-04-01 2019-12-10 Intel Corporation 360 neighbor-based quality selector, range adjuster, viewport manager, and motion estimator for graphics
CN110019932A (zh) * 2017-10-31 2019-07-16 北京国双科技有限公司 数据处理的方法及装置
JP7085846B2 (ja) * 2018-01-15 2022-06-17 株式会社キッズウェイ 映像表示システム
TWI660325B (zh) * 2018-02-13 2019-05-21 大猩猩科技股份有限公司 一種分佈式的影像分析系統
CN110149355A (zh) * 2018-02-13 2019-08-20 大猩猩科技股份有限公司 一种分布式的影像分析系统
US12056922B2 (en) * 2019-04-26 2024-08-06 Samsara Inc. Event notification system
US11787413B2 (en) 2019-04-26 2023-10-17 Samsara Inc. Baseline event detection system
US11080568B2 (en) 2019-04-26 2021-08-03 Samsara Inc. Object-model based event detection system
JP7322541B2 (ja) * 2019-06-21 2023-08-08 株式会社アイシン 物体検出装置
KR102243049B1 (ko) * 2019-08-13 2021-04-20 건국대학교 산학협력단 Cctv 영상으로부터 클립 영상을 제공하는 장치 및 방법
CN112487854A (zh) * 2019-09-12 2021-03-12 苏州天亿达科技有限公司 一种边海防视频处理的应用方法
KR102263071B1 (ko) * 2019-12-06 2021-06-08 이정무 영상 관제 방법, 영상 관제 장치 및 컴퓨터 프로그램
JP7335424B2 (ja) * 2020-03-31 2023-08-29 日本電気株式会社 管理装置、管理システム、監視システム、推定方法、およびプログラム
US11574461B2 (en) 2020-04-07 2023-02-07 Nec Corporation Time-series based analytics using video streams
US11482049B1 (en) 2020-04-14 2022-10-25 Bank Of America Corporation Media verification system
CN111988563B (zh) * 2020-07-15 2021-08-31 浙江大华技术股份有限公司 多场景视频监测方法及装置
US11594032B1 (en) 2021-02-17 2023-02-28 Bank Of America Corporation Media player and video verification system
US11790694B1 (en) 2021-02-17 2023-10-17 Bank Of America Corporation Video player for secured video stream
US11928187B1 (en) 2021-02-17 2024-03-12 Bank Of America Corporation Media hosting system employing a secured video stream
US11527106B1 (en) 2021-02-17 2022-12-13 Bank Of America Corporation Automated video verification
US11526548B1 (en) 2021-06-24 2022-12-13 Bank Of America Corporation Image-based query language system for performing database operations on images and videos
US11941051B1 (en) 2021-06-24 2024-03-26 Bank Of America Corporation System for performing programmatic operations using an image-based query language
US12028319B1 (en) 2021-07-06 2024-07-02 Bank Of America Corporation Image-based firewall for synthetic media prevention
US11784975B1 (en) 2021-07-06 2023-10-10 Bank Of America Corporation Image-based firewall system
CN113569770B (zh) * 2021-07-30 2024-06-11 北京市商汤科技开发有限公司 视频检测方法及装置、电子设备和存储介质
US11849186B1 (en) * 2022-06-14 2023-12-19 Western Digital Technologies, Inc. Data storage device and method for enabling metadata-based seek points for media access
CN115278004B (zh) * 2022-07-06 2023-10-31 杭州海康汽车软件有限公司 监控视频数据的传输方法、装置、设备及存储介质
CN115379206A (zh) * 2022-08-22 2022-11-22 四川九州电子科技股份有限公司 8k超高清音视频测试系统及测试方法
US20240129497A1 (en) * 2022-10-18 2024-04-18 Microsoft Technology Licensing, Llc Reduced Video Stream Resource Usage

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6985172B1 (en) * 1995-12-01 2006-01-10 Southwest Research Institute Model-based incident detection system with motion classification
JP3948596B2 (ja) * 2000-03-06 2007-07-25 Kddi株式会社 動画像内の移動物体検出追跡装置
JP2003111061A (ja) * 2001-10-02 2003-04-11 Yozan Inc 動体検出装置、動体検出システムおよび動体検出方法
JP3085003U (ja) * 2001-10-03 2002-04-05 株式会社鷹山 動体検出装置および動体検出システム
US9474968B2 (en) * 2002-07-27 2016-10-25 Sony Interactive Entertainment America Llc Method and system for applying gearing effects to visual tracking
JP2008131611A (ja) * 2006-11-27 2008-06-05 Victor Co Of Japan Ltd 監視装置、監視画像の記録方法、監視画像の送信方法、監視画像の記録制御プログラム、及び監視画像の送信制御プログラム
EP2077672B1 (en) 2007-08-22 2014-06-25 Nippon Telegraph and Telephone Corporation Video quality estimation device, video quality estimation method, frame type judgment method, and recording medium
JP4930364B2 (ja) 2007-12-26 2012-05-16 日本電気株式会社 映像文字検出方法、装置、およびプログラム
JP2010231615A (ja) * 2009-03-27 2010-10-14 Toshiba Tec Corp 情報処理装置
JP5654223B2 (ja) * 2009-09-11 2015-01-14 古野電気株式会社 画像処理装置、これを搭載したレーダ装置、画像処理方法及び画像処理プログラム
US9704393B2 (en) * 2011-01-11 2017-07-11 Videonetics Technology Private Limited Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs
JP5713797B2 (ja) * 2011-05-24 2015-05-07 三菱電機株式会社 映像監視装置
JP5702269B2 (ja) 2011-12-13 2015-04-15 日本電信電話株式会社 並列映像解析装置、並列映像解析方法及び並列映像解析プログラム
US20160234523A1 (en) * 2013-09-06 2016-08-11 Mitsubishi Electric Corporation Video encoding device, video transcoding device, video encoding method, video transcoding method, and video stream transmission system

Also Published As

Publication number Publication date
US20150256835A1 (en) 2015-09-10
US10037606B2 (en) 2018-07-31
JP2015170874A (ja) 2015-09-28

Similar Documents

Publication Publication Date Title
JP6421422B2 (ja) 映像解析装置、監視装置、監視システムおよび映像解析方法
JP6753902B2 (ja) ビデオソースデバイスからストリーム配信されるデータの格納管理
JP4893649B2 (ja) 帯域制御サーバ及び帯域制御プログラム並びに監視システム
CN105100748B (zh) 一种视频监控系统及方法
US7933333B2 (en) Method and apparatus for detecting motion in MPEG video streams
CN109155840B (zh) 运动图像分割装置及监视方法
CN105323657B (zh) 提供视频摘要的成像设备和方法
JP2008022556A (ja) 改良アラーム前映像バッファ
CN108924574B (zh) 录播系统中的丢包处理方法、装置、设备及存储介质
US20200322639A1 (en) Syntax-based method of detecting object intrusion in compressed video
CN105979189A (zh) 一种视频信号处理与存储方法与系统
KR20200071886A (ko) 딥러닝 이미지 분석과 연동하는 신택스 기반의 선별 관제 제공 방법
KR101178886B1 (ko) 고해상도 디지털 ptz 카메라, 이를 포함하는 감시 시스템 및 고해상도 디지털 ptz 카메라의 데이터 전송 방법
JP4611042B2 (ja) 映像出力システムおよび映像を出力するための制御プログラム
JP6665913B2 (ja) 映像解析装置、監視装置、監視システムおよび映像解析方法
KR102263071B1 (ko) 영상 관제 방법, 영상 관제 장치 및 컴퓨터 프로그램
CN114173087A (zh) 视频数据获取及处理方法、边缘网关及存储介质
US20200221115A1 (en) Syntax-based Method of Extracting Region of Moving Object in Compressed Video
JP2009200757A (ja) 映像データ処理装置、プログラム及び方法
CN107734278B (zh) 一种视频回放方法及相关装置
CN111104080B (zh) 一种文本远程预览方法及装置
JP2005037273A (ja) 映像揺れ検出装置、その方法及びそのプログラム、並びに、カメラ映像選択装置
US11398091B1 (en) Repairing missing frames in recorded video with machine learning
CN109886234B (zh) 目标检测方法、装置、系统、电子设备、存储介质
KR20230023359A (ko) 감시카메라 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171030

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181001

R150 Certificate of patent or registration of utility model

Ref document number: 6421422

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150