JP4140202B2 - 移動物体検出装置 - Google Patents
移動物体検出装置 Download PDFInfo
- Publication number
- JP4140202B2 JP4140202B2 JP2001054019A JP2001054019A JP4140202B2 JP 4140202 B2 JP4140202 B2 JP 4140202B2 JP 2001054019 A JP2001054019 A JP 2001054019A JP 2001054019 A JP2001054019 A JP 2001054019A JP 4140202 B2 JP4140202 B2 JP 4140202B2
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- macroblock
- effective
- macroblocks
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19667—Details realated to data compression, encryption or encoding, e.g. resolution modes for reducing data volume to lower transmission bandwidth or memory requirements
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、符号化パラメータを用いて画面中の移動物体を検出する移動物体検出装置と、この移動物体検出装置を備えた画像監視システムに関する。
【０００２】
【従来の技術】
監視カメラを用いた防犯や防災などの画像監視システムでは、監視員が常駐し、監視モニタ等を四六時中チェックしなければならないので、監視員の負担が大きく、また、常に符号化ストリームが伝送路に流れるため伝送路の負荷が大きく、さらには、常に符号化ストリームを蓄積していたため、蓄積媒体の使用量が多かった。
このため、画像監視システムでは、移動物体の自動検出を行う移動物体検出装置を採用するようになってきており、このような移動物体検出装置として、例えば、図１１に示す特開平９−２５２４６７号公報に記載の装置がある。
【０００３】
この図１１に示す従来の移動物体検出装置は、復号化装置側にもうけられたもので、復号化装置に入力される符号化ストリームから動きの大きさと方向をマクロブロック単位で示す動きベクトルを抽出する動きベクトル抽出部１１０２を備え、動きベクトル抽出部１１０２により抽出された動きベクトルの大きさや方向および、動きベクトルに対応するマクロブロックの位置や数を移動物体判定部１１０３において統計処理することによって、移動物体の検出および追従を行うようにしている。
【０００４】
【発明が解決しようとする課題】
しかし、上述の従来の移動物体検出装置では、動画像符号化においてマクロブロックごとに決定される符号化モードによっては、移動物体を含むマクロブロックから動きベクトルが必ずしも抽出されるとは限らないため、動きベクトルのみを用いた移動物体の検出を行う場合には、移動物体を正確に検出できない、という問題があった。特に、ＭＰＥＧ−４ビデオ符号化方式により符号化した場合には、低ビットレートや、低解像度で符号化を行う場合が多いので、移動物体を含むマクロブロックから動きベクトルが必ずしも抽出されない場合が想定される。
【０００５】
また、従来の画像監視システムでは、監視員が常駐し監視モニタ等を四六時中チェックしたり、映像を常時記憶することを前提として、移動物体が監視地点に存在しない場合にも符号化ストリームを伝送したり、符号化ストリームを蓄積するようにしていたため、伝送路の負荷が大きく蓄積媒体の使用量が多い、という問題もあった。
【０００６】
さらに、蓄積された符号化ストリームから移動物体が検出された時のデータを検索する場合に時間がかかる、という問題もあった。
【０００７】
そこで、本発明は、このような問題を解決するためになされたものであり、符号化モードに応じて移動物体の検出基準を変更することにより、動きベクトルが発生しない符号化モードが含まれる場合にも、正確に移動物体を検出することのできる移動物体検出装置、およびこの移動物体検出装置を用いた画像監視システムを提供することを目的とする。
【０００８】
また、本発明は、移動物体が監視地点に存在しない場合には、符号化ストリームを送信せず、または符号化ストリームを蓄積しないことによって、伝送路の負荷を軽くすることのできる移動物体検出装置、およびこの移動物体検出装置を用いた画像監視システムを提供することを目的とする。
【０００９】
さらに、本発明は、移動物体が監視地点に存在すると検出された場合には、イントラ符号化フレームからはじまる符号化ストリームをメタデータと共に蓄積することによって、移動物体が検出された際のフレームの検索を容易にすることのできる移動物体検出装置、およびこの移動物体検出装置を用いた画像監視システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明では、マクロブロック単位およびブロック単位の動き補償予測符号化を行うとともに、マクロブロック単位のフレーム内符号化を行う動画像符号化方式における各マクロブロックの符号化パラメータに基づき、画面内の移動物体に含有されるマクロブロックを特定する移動物体検出装置であり、前記マクロブロックの符号化パラメータに含まれるマクロブロック単位の符号化モードがイントラ符号化モードであるか、あるいは、前記マクロブロックの符号化パラメータに含まれるマクロブロック単位の符号化モードが前記ブロック単位の動き補償予測モードである場合に当該マクロブロックを移動物体に含有されるマクロブロックの候補である有効マクロブロックとして特定する有効マクロブロック特定部と、前記有効マクロブロック特定部によって特定された有効マクロブロックについて、互い隣接している有効マクロブロックをグループとし、各グループに含まれる有効マクロブロック数と予め定められた閾値とを比較し、含まれる有効マクロブロック数が前記閾値より大きいグループに含まれる全マクロブロックを移動物体に含有されるマクロブロックであると判定する移動物体判定部とを備えることを特徴とする。
【００３２】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１における移動物体検出装置１０１の構成を示す図である。
図１において、１０２は符号化装置（図示せず）によって符号化された符号化ストリームを入力し、入力された符号化ストリームを解析し、マクロブロック単位に符号化パラメータを抽出する符号化ストリーム解析部である。１０３は符号化ストリーム解析部１０２において抽出された符号化パラメータを用いて画面中の移動物体に含有されるマクロブロックの候補となるマクロブロックを特定する有効マクロブロック特定部である。１０４は有効マクロブロック特定部１０３によって特定されたマクロブロックが移動物体に含有されるマクロブロックであるか否かを判定する移動物体判定部である。
【００３３】
次に動作について説明する。
動画像符号化ストリームが移動物体検出装置１０１に入力されると、符号化ストリーム解析部１０２は、符号化ストリームの可変長復号を行い、マクロブロック単位の符号化モード、ＤＣＴ係数の値、ＤＣＴ係数の符号量、マクロブロックの符号量、動きベクトルなどの符号化パラメータを抽出する。ここで、移動物体検出装置１０１に入力される符号化ストリームとしては、ＩＴＵ−Ｔ勧告Ｈ．２６１符号化方式、Ｈ．２６３符号化方式や、ＭＰＥＧ−１ビデオ符号化方式、ＭＰＥＧ−２ビデオ符号化方式、ＭＰＥＧ−４ビデオ符号化方式などの動き補償予測と直交変換を用いた既存のあらゆる動画像符号化方式、また今後新たに考案される動画像符号化方式であってもよい。
【００３４】
すると、有効マクロブロック特定部１０３は、符号化ストリーム解析部１０２で抽出された符号化パラメータを用いて移動物体に含有される可能性のあるマクロブロックを有効マクロブロックとして特定して、特定した有効マクロブロックの画面内座標を出力する。有効マクロブロックを特定する手段としては、例えば、符号化パラメータから抽出したマクロブロックの符号化モードがイントラ符号化モードである場合には動きが激しいために前フレームとの相関が小さいイントラ符号化モードが選択されたと考えられるため、移動物体候補として特定する。また、その符号化モードがＭＰＥＧ−４などにおける８画素×８画素ブロック単位の動き補償予測を行う符号化モードである場合にも、動きが激しいマクロブロックであるために８画素×８画素ブロック単位の動き補償予測を行う符号化モードが選択されたと考えられるため、移動物体候補として特定するとしてもよい。また、動きベクトルのノルム（最大値）を算出し、その結果が予め定めてある閾値以上である場合に移動物体候補として特定するとしてもよい。また、発生する非零のＤＣＴ係数の個数が予め定めてある閾値以上であるマクロブロックを移動物体候補として特定してもよいし、ＤＣＴ係数のＡＣ成分の符号量の総和が予め定めてある閾値以上であるマクロブロックを移動物体候補としてもよい。また、マクロブロックに対するＤＣＴ係数や符号化パラメータの符号量が予め定めてある閾値より大きい場合にも移動物体候補としてよい。また、これらの特定手段を複数組み合わせてもよい。つまり、符号化パラメータを用いて移動物体候補を特定できる手段であればいかなる手法でもよい。
【００３５】
図２に、有効マクロブロック特定部１０３によって特定された有効マクロブロックの一例を示す図である。図において、３１は画面、３０１〜３２９は有効マクロブロックである。
【００３６】
次に、移動物体判定部１０４では、有効マクロブロック特定部１０３によって特定されたマクロブロックの位置情報に基づいて、当該マクロブロックが移動物体に含有されるか否かを、例えば次の図３に示すようにして判定する。
【００３７】
図３は、移動物体判定部１０４における有効マクロブロックが移動物体に含有されるか否かの判定処理の流れの一例を示すものである。
まず、ステップＳＴ１により、当該有効マクロブロックに隣接する有効マクロブロックの個数をカウントし、続くステップＳＴ２により、ステップＳＴ１でカウントした個数にプラスして、さらに隣接するマクロブロックでカウントされていない有効マクロブロックをカウントする。
【００３８】
そしてこのような隣接有効マクロブロックのカウントを、隣接するすべての有効マクロブロックをカウントするまで繰り返す（ステップＳＴ３"Ｙｅｓ"→ステップＳＴ２）。
【００３９】
ここで、図２に示す例の場合であれば、有効マクロブロック３０１〜３０３の場合は、それぞれ、隣接する有効マクロブロックがないので隣接有効マクロブロック数が０となる。また、有効マクロブロック３０４の場合はステップＳＴ１,２により隣接およびさらに隣接する有効マクロブロック３２３までをカウントするので、隣接有効マクロブロック数は１９となり、有効マクロブロック３２４の場合は隣接する有効マクロブロック３２５をステップＳＴ１によりカウントして隣接有効マクロブロック数は１となる。
【００４０】
そして、隣接有効マクロブロック数のカウントが終了すると（ステップＳＴ３"Ｎｏ"）、移動物体判定部１０４は、次のステップＳＴ４により、ステップＳＴ１，２においてカウントされた隣接有効マクロブロックの総数と、予め定めてある閾値とを比較して、隣接有効マクロブロックの総数が閾値より大きいと判定した場合には（ステップＳＴ４"Yes"）、カウントされた隣接有効マクロブロックをすべて含む領域を移動物体の領域に包含されていると判定する。つまり、隣接有効マクロブロックの総数が予め定めてある閾値より大きい場合には、当該隣接有効マクロブロックのグループまたは固まりの領域を１つの移動物体と判定することになる。
【００４１】
これに対し、隣接有効マクロブロックの総数が閾値より小さいと判定した場合には（ステップＳＴ４"No"）、カウントされた隣接有効マクロブロックをすべて含む領域を移動物体の領域に包含されていないと判定する。つまり、隣接有効マクロブロックの総数が予め定めてある閾値より小さい場合には、当該隣接有効マクロブロックのグループの領域は、伝送ノイズ等により検出されてしまったもので、移動物体とは判定しないことにする。
【００４２】
例えば、図２に示す例の場合において、予め定めてある閾値が５である場合は、有効マクロブロック３０４〜３２５の領域のみ、移動物体の領域に包含されている、すなわち当該隣接有効マクロブロック３０４〜３２７のグループの領域を移動物体と判定することになる。尚、図２に示す例では、説明の便宜上、隣接有効マクロブロック３０４〜３２７の１つのグループのみ移動物体と判定されるように説明しているが、２以上のグループが移動物体と判定されることも勿論あり得る。
【００４３】
以上、図３に示す移動物体判定処理を、画面内の全ての隣接有効マクロブロックがカウントされるまで、繰り返して行うようにする。
【００４４】
従って、本発明の実施の形態１によれば、符号化ストリームを解析して得た動きベクトルやその他の符号化パラメータに基づき、まず有効マクロブロックを特定し、その特定した有効マクロブロック同士が隣接して所定の閾値より大きいグループを形成するか否かによって移動体の有無を判定するようにしたため、動きベクトルが発生しない符号化モードが含まれる場合にも正確に移動物体を検出できると共に、伝送ノイズ等により大きな動きベクトルが画面内で散点して現れた場合でも無視することができ、高速で精度の高い移動物体の検出を行うことができる。
【００４５】
尚、本手法で説明した図３に示す移動物体領域判定手法は、ただの一例にすぎず、有効マクロブロックを用いて移動物体領域を判定する手法であればいかなる手法でもよい。
【００４６】
また、本実施の形態１の説明では、図１に示すように符号化ストリーム解析部１０２が動画像符号化装置（図示せず）から符号化ストリームを受信してその符号化ストリームを解析することによって符号化パラメータを抽出するように構成したが、これに限らず、本発明では、図４に示す移動物体検出装置３０１のように、動画像符号化装置（図示せず）から直接符号化パラメータ入力部３０２を介して符号化パラメータを入力して、符号化パラメータを得るように構成しても良い。つまり、図１に示す移動物体検出装置１０１は、動画像符号化装置から伝送路（図示せず）等を介して符号化ストリームを受信する動画像復号装置側に設けられる場合の移動物体検出装置の一例である一方、図４に示す移動物体検出装置３０１は、動画像符号化装置側に設けられ、その動画像符号化装置から符号化の際に用いた符号化パラメータを直接入力する場合の移動物体検出装置の一例を示すものである。
【００４７】
実施の形態２．
図５は、本発明の実施の形態２における移動物体検出装置４０１の構成を示す図である。図５において、４０２は移動物体判定部１０４によって移動物体に含有されるマクロブロックであると判定された有効マクロブロックの画面内座標を記憶する移動物体座標記憶部である。４０３は移動物体判定部１０４によって移動物体に含有されるマクロブロックであると判定された有効マクロブロックに付随する動きベクトルを記憶する動きベクトル記憶部である。４０４は移動物体座標記憶部４０２に記憶されているマクロブロックの画面内座標と、動きベクトル記憶部４０３に記憶されている該当する動きベクトルとから移動後の移動物体の位置を算出する移動後座標算出部である。尚、図１に示す実施の形態１の構成と同じ構成には、同一符号を付してその説明は省略するものとする。
【００４８】
次に動作について説明する。尚、以下では、実施の形態１の動作と比較して、本実施の形態２特有の動作を中心に説明する。
【００４９】
実施の形態１の場合と同様にして、移動物体判定部１０４にて移動物体あり、すなわち移動物体に含有される有効マクロブロックありと判定されると、本実施の形態２では、まず移動物体座標記憶部４０２が、移動物体判定部１０４によって移動物体に含有されると判定された有効マクロブロックの画面内座標を各有効マクロブロック毎に記憶する。ここで、マクロブロックの画面内座標とは、各マクロブロックに共通した定義であればどのように決定しても構わない。例えば、マクロブロックの中心位置の画面左上からの横方向および縦方向の画素数をマクロブロックの画面内座標とする。
【００５０】
またこれと同時に、動きベクトル記憶部４０３は、移動物体判定部１０４によって移動物体に含有されると判定されたマクロブロックに付随する動きベクトルを記憶する。
【００５１】
そして、移動後座標算出部４０４は、移動物体座標記憶部４０２に記憶された移動物体に含有されると判定された有効マクロブロックの画面内座標と、動きベクトル記憶部４０３に記憶された該当する動きベクトルとに基づいて、移動物体に含有されると判定された有効マクロブロックの次のフレームでの画面内座標の予測値を算出して、移動物体判定部１０４へ出力する。
【００５２】
ここで、移動後座標算出部４０４における画面内座標算出の方法としては、例えば現フレームの移動物体座標記憶部４０２に記憶された移動物体に含有されると判定された有効マクロブロックの画面内座標と、動きベクトル記憶部４０３に記憶された該当する動きベクトルとを加算することによって、次フレームにおける当該マクロブロックの画面内座標を得る方法がある。また、移動物体判定部１０４によって移動物体に含有されると判定されたマクロブロックに該当する動きベクトルの平均値を当該マクロブロックの画面内座標に加算することによって、次フレームにおける有効マクロブロックの画面内座標を算出するようにしてもよい。つまり、移動物体に含有されると判定されたマクロブロックの画面内座標と該当する動きベクトルの値から次フレームにおける有効マクロブロックの画面内座標を得る手法であればどのような手法を用いてもよい。
【００５３】
このようにして算出された画面内座標は、移動物体が非常に急激な変化を伴う運動をしない限り、次フレームにおける移動物体の存在する位置の有力な候補となる。つまり、前フレームにおいて移動後座標算出部４０４によって得られた移動後座標に含有される現フレームにおけるマクロブロックは、移動物体に含有される有効マクロブロックである可能性がある。
【００５４】
このため、本実施の形態２の移動物体判定部１０４では、移動後座標算出部４０４によって予測された画面内座標の有効マクロブロックと、実施の形態１と同様に有効マクロブロック特定部１０３が特定した有効マクロブロックとに基づいて、移動物体の有無の判定を行う。
【００５５】
例えば、移動後座標算出部４０４によって予測された画面内座標を有する有効マクロブロックと、有効マクロブロック特定部１０３が特定した有効マクロブロックとのアンド（論理積）をとって、得られた有効マクロブロックについてのみ実施の形態１の場合と同様に図３に示す移動物体判定処理を行うようにすれば、図３に示す移動物体判定処理を行うべき有効マクロブロックの対象を減らすことになり、移動物体判定処理を迅速化することが可能となる。
【００５６】
具体的には、図６に示すように、移動物体判定部１０４は、例えば図２に示す１つ前のフレームの有効マクロブロック３０４〜３２７から推定した有効マクロブロック３０４’〜３２７’の画面内座標の予測値と、有効マクロブロック特定部１０３が現在フレームにて特定した有効マクロブロック４０２〜４２５の画面内座標とのアンドをとった重複する有効マクロブロック４０２〜４１６についてのみ図２に示す移動体判定処理は行い、有効マクロブロック４０１，４２６〜４２８については、図３に示す移動体判定処理は行わないようにすることにより、移動物体判定処理を迅速化することができる。その結果、この判定処理の場合、有効マクロブロック４０２〜４２５が隣接またはさらに隣接する有効マクロブロックとカウントされることになる。
【００５７】
また、移動後座標算出部４０４によって予測された画面内座標を有する有効マクロブロックと、有効マクロブロック特定部１０３が特定した有効マクロブロックとのアンド（論理積）をとったマクロブロックのみをカウントの対象とするようにすれば、１つ前のフレームの有効マクロブロックの動きも加味しての有効マクロブロックのカウントとなり、移動物体判定処理をより高精度化することが可能となる。
【００５８】
具体的には、図３に示すように、移動物体判定部１０４は、例えば図２に示す１つ前のフレームの有効マクロブロック３０４〜３２３から推定した有効マクロブロック３０４’〜３２７’の画面内座標の予測値と、有効マクロブロック特定部１０３が現在フレームにて特定した有効マクロブロック４０２〜４２５の画面内座標とのアンドをとった重複する有効マクロブロック４０２〜４１６のみ図３に示す移動体判定処理の際に、隣接またはさらに隣接する有効マクロブロックとしてカウントすることにより、移動物体判定処理を過去のフレームを参照しより高精度化することができる。尚、この判定処理の場合、有効マクロブロック４０２〜４１６のみが隣接またはさらに隣接する有効マクロブロックとしてカウントされることになる。
【００５９】
従って、本発明の実施の形態２によれば、実施の形態１と同様に、まず有効マクロブロックを特定し、その特定した有効マクロブロック同士の隣接数に基づいて移動体の有無を判定するようにしたので、動きベクトルが発生しない符号化モードが含まれる場合にも正確に移動物体を検出できると共に、伝送ノイズ等により大きな動きベクトルが画面内で散点して現れた場合でも無視することができ、高速で精度の高い移動物体の検出を行うことができる。
【００６０】
また、特に、本実施の形態２では、移動物体判定部１０４は、移動後座標算出部４０４からの1つ前のフレームでの移動物体に含有されると判定された有効マクロブロックの画面内座標の予測値と、有効マクロブロック特定部１０３が特定した有効マクロブロックの画面内座標の値とに基づき、移動物体の判定を行うため、移動物体判定処理を迅速化や、より高精度化することができる。
【００６１】
尚、本実施の形態２の説明では、符号化ストリームを解析することによって符号化パラメータを抽出するように構成したが、図７に示す移動物体検出装置５０１のように、動画像符号化部（図示せず。）から直接符号化パラメータ入力部５０２を介して符号化パラメータを入力するように構成しても良い。これは、実施の形態１における図１に示す構成と、図４に示す構成との関係と同じである。
【００６２】
また、本実施の形態２の説明では、図５，７に示すように、移動後座標算出部４０４からの1つ前のフレームでの移動物体に含有されると判定された有効マクロブロックの画面内座標の予測値は、移動物体判定部１０４に入力するように構成しているが、これに限らず、本発明では、有効マクロブロック特定部１０３に入力して、有効マクロブロック特定部１０３にて、移動後座標算出部４０４によって予測された画面内座標を有する有効マクロブロックと、有効マクロブロック特定部１０３が特定した有効マクロブロックとのアンド（論理積）をとって、その結果を移動物体判定部１０４へ出力するように構成しても勿論よい。
【００６３】
実施の形態３．
図８は，本発明の実施の形態３における画像監視システムの構成を示す図である。図において、６０１は監視点を撮影するカメラである。６０２はカメラ６０１によって得られた撮影画像を符号化する動画像符号化部である。６０３は動画像符号化部６０２によって符号化されたストリームを監視室に伝送するインターネット等の伝送路である。６０４は上記実施の形態１，２において説明した移動物体検出装置である。６０５は伝送路より受け取ったストリームを復号化する動画像復号化部である。６０６は動画像復号化部６０５によって復号化された画像を表示するモニタである。６０７は移動物体検出装置６０４によって移動物体が検出された場合に警告音または警告光、あるいは警告信号などを発する警告器である。６０８は符号化ストリームを蓄積する蓄積部である。
【００６４】
次に動作について説明する。
まず、カメラ６０１は、監視しようとする場所に固定的にまたは制御されて可動的に向けられており、監視点を常時カメラで捕捉し撮影した画像を動画像符号化部６０２へ供給する。
【００６５】
動画像符号化部６０２では、カメラ６０１より供給された画像を符号化しその符号化ストリームを伝送路６０３を介して伝送する。伝送路６０３を介して伝送された符号化ストリームは、受信装置側、すなわち復号装置側の移動物体検出装置６０４および動画像復号化部６０５および蓄積部６０８に入力される。
【００６６】
移動物体検出装置６０４では、入力された符号化ストリームを解析し、移動物体の有無を判定を行い、判定結果を警告器６０７へ出力する。つまり、この図８に示す画像監視システムの構成の場合には、移動物体検出装置６０４は符号化ストリームの解析が必要なので、図１に示す実施の形態１の移動物体検出装置１０１や、図５に示す実施の形態２に示す移動物体検出装置４０１の構成となる。
【００６７】
すると、警告器６０７は、移動物体検出装置６０４によって移動物体が検出された場合には、警告音または警告光、あるいは警告信号などを発して、監視者へ報知する。
【００６８】
また、動画像復号化部６０５では、伝送路６０３を介し伝送されてきた符号化ストリームを復号し、画像信号としてモニタ６０６へ出力して表示させて、監視者にその様子を監視させる。
【００６９】
また、蓄積部６０８では、符号化ストリームを常時蓄積し、いつでもモニタ６０６等で再生できるようにする。
【００７０】
従って、以上の実施の形態３によれば、監視員は四六時中モニタ６０６を監視しなくても、警告器６０７からの通報があった場合に、モニタ６０６を観察することによって監視点への侵入者を発見することができ、監視員の負担を大幅に軽減することができる。
【００７１】
また、図９に示すように、移動体検出装置６０４は、侵入者等を移動体として発見した場合、伝送路６０３を介し動画像符号化部６０２に対しイントラ符号化要求信号を発信するようにし、動画像符号化部６０２は、そのイントラ符号化要求信号を受信した場合には、次のフレームをイントラ符号化するように動作させるようにしても良い。このようにすれば、移動体検出装置６０４によって侵入者が発見された場合、蓄積部７０１には、イントラフレームから始まる符号化ストリームが蓄積され、侵入者が発見された時点からそのフレームのみを取り出すことが簡単にできることになる。
【００７２】
また、動画像符号化部６０２に対しイントラ符号化要求信号を送信する代わりに、あるいはそれに加えて、量子化ステップ等の符号化パラメータ変更要求信号を送信するようにして、侵入者等の移動物体を発見した場合には、通常時より、より圧縮率の低い、すなわち高解像度、高精細な画像を蓄積部７０１に蓄積するようにしても勿論良い。このようにすれば、侵入者が発見されたフレームを簡単に取り出すことできる代わりに、あるいはそれに加えて、侵入者等の移動物体が発見されない場合は圧縮率の高い画像を蓄積しておき、侵入者等の移動物体が発見された場合には、圧縮率の低い、鮮明な画像で侵入者を確認することが可能になる。
【００７３】
また、図９に示すように、移動物体が検出された場合に、イントラフレームから始まる符号化ストリームを蓄積すると同時に、移動物体検出装置６０４より時刻や画像の特徴などの情報をメタデータとして蓄積部７０１に出力させて、蓄積部７０１に前記イントラフレームから始まる符号化ストリームと共に前記メタデータを蓄積するよう構成してもよい。このように、符号化ストリームがイントラフレームから始まり、前記メタデータと共に記録されるように構成すれば、前記メタデータを参照することにより、移動物体が検出された際の画像を再生する際に頭出し等がし易くなり、検索が容易となり、侵入者が発見された時点のフレームを検索することが簡単にできるという効果がある。尚、メタデータは、移動物体検出装置６０４からではなく、動画像符号化部６０２より伝送路６０３を介して蓄積部７０１に蓄積するように構成してもよい。
【００７４】
また、蓄積部７０１は、常に動画像符号化部６０２からの符号化ストリームを蓄積するのではなく、移動物体検出装置６０４または動画像符号化部６０２からの前記メタデータの入力をトリガとして、動画像符号化部６０２からの符号化ストリームを蓄積するようにしても良い。このようにすれば、蓄積部７０１には、移動物体が検出されている間以降、あるいは移動物体が検出されている間のみ符号化ストリームが蓄積されるため、従来の手法に比べて、蓄積部７０１における記録媒体の使用量を軽減することができる、テープ切れや、記録容量不足等を防止することが可能となる。
【００７５】
実施の形態４．
図１０は、本発明の実施の形態４における画像監視システムの構成を示す図である。図において、８０１は本発明の実施の形態１，２で説明した移動物体検出装置である。８０２はカメラ６０１からの撮影画像と移動物体検出装置８０１からの検出結果に基づいて動作する動画像符合化部である。尚、その他の構成は、図８，図９に示す実施の形態３のものと同一なので、同一構成には、同一符号を付して説明は省略する。
【００７６】
次に動作について説明する。
まず、カメラ６０１は監視しようとする場所に固定的または制御されて可動的に向けられており、監視点を常時カメラで捕捉し撮影した画像を動画像符号化部６０２へ供給し、動画像符号化部６０２では、カメラ６０１より供給された画像を符号化した際の符号化パラメータを移動物体検出装置８０１へ出力すると共に、伝送路６０３を介し動画像復号化部６０５側へ伝送する。
【００７７】
移動物体検出装置８０１では、動画像符号化部６０２より入力された符号化パラメータを解析し、上記実施の形態１，２の場合と同様に、移動物体の有無を判定し、その判定結果を動画像符号化部８０２に出力する。つまり、この図１０に示す画像監視システムの構成の場合には、移動物体検出装置８０１は符号化装置側に設けられ符号化ストリームの解析が不要となるので、図４に示す実施の形態１の移動物体検出装置３０１や、図７に示す実施の形態２に示す移動物体検出装置５０１の構成となる。
【００７８】
動画像符号化部８０２では、移動物体検出装置６０４から移動物体が検出されたことを示す判定結果が入力すると、移動物体が検出されたことを示す警告信号を、符号化ストリームと共に伝送路６０３を介して動画像復号化部６０５側へ伝送する。
【００７９】
すると、動画像復号化部６０５側では、動画像復号化部６０５が符号化ストリームを復号してモニタ６０６に再生表示すると共に、蓄積部７０１がその符号化ストリームを蓄積し、さらには警告器６０７が動画像符号化部８０２からの警告信号に基づき警告音または警告光、あるいは警告信号を発するようにする。
【００８０】
従って、本実施の形態４によれば、上記実施の形態３の場合と同様に、監視員は四六時中モニタ６０６を監視しなくても、警告器６０７からの通報があった場合に、モニタ６０６を観察することによって監視点への侵入者を発見することができ、監視員の負担を大幅に軽減することができる。
【００８１】
また、本実施の形態４の動画像符号化部８０２では、移動物体検出装置８０１が移動物体を存在しないと判定した場合には、符号化ストリームを伝送路６０３を介し動画像復号化部６０５側へ伝送しないように構成したので、侵入者等の移動物体を検出した必要な場合のみ伝送路６０３に符号化ストリームが流れることになり、伝送路６０３の負荷を軽くすることができるという効果がある。
【００８２】
また、本実施の形態４でも、移動物体検出装置８０１によって監視地点に移動物体が存在すると判定された場合に、動画像符号化部６０２がイントラフレームで符号化するように動作して、蓄積部７０１に移動物体が検出された場合にイントラフレームから始まる符号化ストリームを蓄積するように構成するようにしてもよい。
【００８３】
また、移動物体が検出された場合に、イントラフレームから始まる符号化ストリームを蓄積すると同時に、移動物体検出装置８０１より時刻や画像の特徴などの情報をメタデータとして蓄積部７０１に出力し、蓄積部７０１に前記イントラフレームから始まる符号化ストリームと共に前記メタデータを蓄積するよう構成してもよい。このようにすれば、実施の形態３のところでも説明したように、移動体検出装置８０１によって侵入者が発見された場合、蓄積部７０１には、イントラフレームから始まる符号化ストリームが蓄積され、侵入者が発見された時点からそのフレームのみを取り出すことが簡単にできることになる。尚、移動物体検出装置８０１が侵入者等の移動物体を発見した場合、動画像符号化部８０２は、移動物体を発見する前より量子化ステップ等の符号化パラメータを変更して通常の符号化時より圧縮率の低い、すなわち高解像度、高精細に符号化を行って符号化ストリームを生成し、伝送路６０３を介し復号装置側へ伝送するように構成しても勿論良い。このようにすれば、侵入者が発見されたフレームを簡単に取り出すことできるだけでなく、鮮明な画像で侵入者を確認することが可能になる。
【００８４】
また、メタデータは移動物体検出装置８０１からではなく、動画像符号化部６０２より伝送路６０３を介して伝送して蓄積部７０１に蓄積するように構成してもよい。この場合には、蓄積部７０１には移動物体が検出されている間のみ符号化ストリームが蓄積されるため、従来の手法に比べて記録媒体の使用量を軽減することができるため効果的である。また、符号化ストリームがイントラフレームをから始まり、メタデータと共に記録される場合には、移動物体が検出された際の画像を再生する際に検索しやすく、頭出ししやすいという効果がある。
【００８５】
【発明の効果】
以上説明したように、この発明では、符号化パラメータに基づき有効マクロブロックを特定し、特定した有効マクロブロックの隣接数に基づき移動体の有無を判定するようにしたため、動きベクトルが発生しない符号化モードが含まれる場合にも正確に移動物体を検出できると共に、伝送ノイズ等により大きな動きベクトルが画面内で散点して現れた場合でも無視することができ、高速で精度の高い移動物体の検出を行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における移動物体検出装置１０１の構成を示す図である。
【図２】 有効マクロブロック特定部１０３によって特定された有効マクロブロックの一例を示す図である。
【図３】 実施の形態１におけるマクロブロックが移動物体に含有されるか否かの判定処理の流れの一例を示すフローチャートである。
【図４】 実施の形態１における移動物体検出装置１０１の他の構成例を示す図である。
【図５】 本発明の実施の形態２における移動物体検出装置４０１の構成を示す図である。
【図６】 １つ前のフレームの有効マクロブロックから推定した有効マクロブロックの画面内座標と、有効マクロブロック特定部が現在フレームにて特定した有効マクロブロックの画面内座標とのアンドをとる状態を示す図である。
【図７】 本発明の実施の形態２における移動物体検出装置４０１の他の構成例を示す図である。
【図８】 本発明の実施の形態３における画像監視システムの構成を示す図である。
【図９】 本発明の実施の形態３における画像監視システムの他の構成例を示す図である。
【図１０】 本発明の実施の形態４における画像監視システムの構成を示す図である。
【図１１】 従来の移動物体検出装置の構成を示す図である。
【符号の説明】
１０１ 移動物体検出装置、１０２ 符号化ストリーム解析部、１０３ 有効マクロブロック特定部、１０４ 移動物体判定部、３０１ 移動物体検出装置、３０２ 符号化パラメータ入力部、４０１ 移動物体検出装置、４０２ 移動物体座標記憶部、４０３ 動きベクトル記憶部、４０４ 移動後座標算出部、６０１ カメラ、６０２ 動画像符号化部、６０３ 伝送路、６０４ 移動物体検出装置、６０５ 動画像復号化部、６０６ モニタ、６０７ 警告器。
【発明の属する技術分野】
この発明は、符号化パラメータを用いて画面中の移動物体を検出する移動物体検出装置と、この移動物体検出装置を備えた画像監視システムに関する。
【０００２】
【従来の技術】
監視カメラを用いた防犯や防災などの画像監視システムでは、監視員が常駐し、監視モニタ等を四六時中チェックしなければならないので、監視員の負担が大きく、また、常に符号化ストリームが伝送路に流れるため伝送路の負荷が大きく、さらには、常に符号化ストリームを蓄積していたため、蓄積媒体の使用量が多かった。
このため、画像監視システムでは、移動物体の自動検出を行う移動物体検出装置を採用するようになってきており、このような移動物体検出装置として、例えば、図１１に示す特開平９−２５２４６７号公報に記載の装置がある。
【０００３】
この図１１に示す従来の移動物体検出装置は、復号化装置側にもうけられたもので、復号化装置に入力される符号化ストリームから動きの大きさと方向をマクロブロック単位で示す動きベクトルを抽出する動きベクトル抽出部１１０２を備え、動きベクトル抽出部１１０２により抽出された動きベクトルの大きさや方向および、動きベクトルに対応するマクロブロックの位置や数を移動物体判定部１１０３において統計処理することによって、移動物体の検出および追従を行うようにしている。
【０００４】
【発明が解決しようとする課題】
しかし、上述の従来の移動物体検出装置では、動画像符号化においてマクロブロックごとに決定される符号化モードによっては、移動物体を含むマクロブロックから動きベクトルが必ずしも抽出されるとは限らないため、動きベクトルのみを用いた移動物体の検出を行う場合には、移動物体を正確に検出できない、という問題があった。特に、ＭＰＥＧ−４ビデオ符号化方式により符号化した場合には、低ビットレートや、低解像度で符号化を行う場合が多いので、移動物体を含むマクロブロックから動きベクトルが必ずしも抽出されない場合が想定される。
【０００５】
また、従来の画像監視システムでは、監視員が常駐し監視モニタ等を四六時中チェックしたり、映像を常時記憶することを前提として、移動物体が監視地点に存在しない場合にも符号化ストリームを伝送したり、符号化ストリームを蓄積するようにしていたため、伝送路の負荷が大きく蓄積媒体の使用量が多い、という問題もあった。
【０００６】
さらに、蓄積された符号化ストリームから移動物体が検出された時のデータを検索する場合に時間がかかる、という問題もあった。
【０００７】
そこで、本発明は、このような問題を解決するためになされたものであり、符号化モードに応じて移動物体の検出基準を変更することにより、動きベクトルが発生しない符号化モードが含まれる場合にも、正確に移動物体を検出することのできる移動物体検出装置、およびこの移動物体検出装置を用いた画像監視システムを提供することを目的とする。
【０００８】
また、本発明は、移動物体が監視地点に存在しない場合には、符号化ストリームを送信せず、または符号化ストリームを蓄積しないことによって、伝送路の負荷を軽くすることのできる移動物体検出装置、およびこの移動物体検出装置を用いた画像監視システムを提供することを目的とする。
【０００９】
さらに、本発明は、移動物体が監視地点に存在すると検出された場合には、イントラ符号化フレームからはじまる符号化ストリームをメタデータと共に蓄積することによって、移動物体が検出された際のフレームの検索を容易にすることのできる移動物体検出装置、およびこの移動物体検出装置を用いた画像監視システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明では、マクロブロック単位およびブロック単位の動き補償予測符号化を行うとともに、マクロブロック単位のフレーム内符号化を行う動画像符号化方式における各マクロブロックの符号化パラメータに基づき、画面内の移動物体に含有されるマクロブロックを特定する移動物体検出装置であり、前記マクロブロックの符号化パラメータに含まれるマクロブロック単位の符号化モードがイントラ符号化モードであるか、あるいは、前記マクロブロックの符号化パラメータに含まれるマクロブロック単位の符号化モードが前記ブロック単位の動き補償予測モードである場合に当該マクロブロックを移動物体に含有されるマクロブロックの候補である有効マクロブロックとして特定する有効マクロブロック特定部と、前記有効マクロブロック特定部によって特定された有効マクロブロックについて、互い隣接している有効マクロブロックをグループとし、各グループに含まれる有効マクロブロック数と予め定められた閾値とを比較し、含まれる有効マクロブロック数が前記閾値より大きいグループに含まれる全マクロブロックを移動物体に含有されるマクロブロックであると判定する移動物体判定部とを備えることを特徴とする。
【００３２】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１における移動物体検出装置１０１の構成を示す図である。
図１において、１０２は符号化装置（図示せず）によって符号化された符号化ストリームを入力し、入力された符号化ストリームを解析し、マクロブロック単位に符号化パラメータを抽出する符号化ストリーム解析部である。１０３は符号化ストリーム解析部１０２において抽出された符号化パラメータを用いて画面中の移動物体に含有されるマクロブロックの候補となるマクロブロックを特定する有効マクロブロック特定部である。１０４は有効マクロブロック特定部１０３によって特定されたマクロブロックが移動物体に含有されるマクロブロックであるか否かを判定する移動物体判定部である。
【００３３】
次に動作について説明する。
動画像符号化ストリームが移動物体検出装置１０１に入力されると、符号化ストリーム解析部１０２は、符号化ストリームの可変長復号を行い、マクロブロック単位の符号化モード、ＤＣＴ係数の値、ＤＣＴ係数の符号量、マクロブロックの符号量、動きベクトルなどの符号化パラメータを抽出する。ここで、移動物体検出装置１０１に入力される符号化ストリームとしては、ＩＴＵ−Ｔ勧告Ｈ．２６１符号化方式、Ｈ．２６３符号化方式や、ＭＰＥＧ−１ビデオ符号化方式、ＭＰＥＧ−２ビデオ符号化方式、ＭＰＥＧ−４ビデオ符号化方式などの動き補償予測と直交変換を用いた既存のあらゆる動画像符号化方式、また今後新たに考案される動画像符号化方式であってもよい。
【００３４】
すると、有効マクロブロック特定部１０３は、符号化ストリーム解析部１０２で抽出された符号化パラメータを用いて移動物体に含有される可能性のあるマクロブロックを有効マクロブロックとして特定して、特定した有効マクロブロックの画面内座標を出力する。有効マクロブロックを特定する手段としては、例えば、符号化パラメータから抽出したマクロブロックの符号化モードがイントラ符号化モードである場合には動きが激しいために前フレームとの相関が小さいイントラ符号化モードが選択されたと考えられるため、移動物体候補として特定する。また、その符号化モードがＭＰＥＧ−４などにおける８画素×８画素ブロック単位の動き補償予測を行う符号化モードである場合にも、動きが激しいマクロブロックであるために８画素×８画素ブロック単位の動き補償予測を行う符号化モードが選択されたと考えられるため、移動物体候補として特定するとしてもよい。また、動きベクトルのノルム（最大値）を算出し、その結果が予め定めてある閾値以上である場合に移動物体候補として特定するとしてもよい。また、発生する非零のＤＣＴ係数の個数が予め定めてある閾値以上であるマクロブロックを移動物体候補として特定してもよいし、ＤＣＴ係数のＡＣ成分の符号量の総和が予め定めてある閾値以上であるマクロブロックを移動物体候補としてもよい。また、マクロブロックに対するＤＣＴ係数や符号化パラメータの符号量が予め定めてある閾値より大きい場合にも移動物体候補としてよい。また、これらの特定手段を複数組み合わせてもよい。つまり、符号化パラメータを用いて移動物体候補を特定できる手段であればいかなる手法でもよい。
【００３５】
図２に、有効マクロブロック特定部１０３によって特定された有効マクロブロックの一例を示す図である。図において、３１は画面、３０１〜３２９は有効マクロブロックである。
【００３６】
次に、移動物体判定部１０４では、有効マクロブロック特定部１０３によって特定されたマクロブロックの位置情報に基づいて、当該マクロブロックが移動物体に含有されるか否かを、例えば次の図３に示すようにして判定する。
【００３７】
図３は、移動物体判定部１０４における有効マクロブロックが移動物体に含有されるか否かの判定処理の流れの一例を示すものである。
まず、ステップＳＴ１により、当該有効マクロブロックに隣接する有効マクロブロックの個数をカウントし、続くステップＳＴ２により、ステップＳＴ１でカウントした個数にプラスして、さらに隣接するマクロブロックでカウントされていない有効マクロブロックをカウントする。
【００３８】
そしてこのような隣接有効マクロブロックのカウントを、隣接するすべての有効マクロブロックをカウントするまで繰り返す（ステップＳＴ３"Ｙｅｓ"→ステップＳＴ２）。
【００３９】
ここで、図２に示す例の場合であれば、有効マクロブロック３０１〜３０３の場合は、それぞれ、隣接する有効マクロブロックがないので隣接有効マクロブロック数が０となる。また、有効マクロブロック３０４の場合はステップＳＴ１,２により隣接およびさらに隣接する有効マクロブロック３２３までをカウントするので、隣接有効マクロブロック数は１９となり、有効マクロブロック３２４の場合は隣接する有効マクロブロック３２５をステップＳＴ１によりカウントして隣接有効マクロブロック数は１となる。
【００４０】
そして、隣接有効マクロブロック数のカウントが終了すると（ステップＳＴ３"Ｎｏ"）、移動物体判定部１０４は、次のステップＳＴ４により、ステップＳＴ１，２においてカウントされた隣接有効マクロブロックの総数と、予め定めてある閾値とを比較して、隣接有効マクロブロックの総数が閾値より大きいと判定した場合には（ステップＳＴ４"Yes"）、カウントされた隣接有効マクロブロックをすべて含む領域を移動物体の領域に包含されていると判定する。つまり、隣接有効マクロブロックの総数が予め定めてある閾値より大きい場合には、当該隣接有効マクロブロックのグループまたは固まりの領域を１つの移動物体と判定することになる。
【００４１】
これに対し、隣接有効マクロブロックの総数が閾値より小さいと判定した場合には（ステップＳＴ４"No"）、カウントされた隣接有効マクロブロックをすべて含む領域を移動物体の領域に包含されていないと判定する。つまり、隣接有効マクロブロックの総数が予め定めてある閾値より小さい場合には、当該隣接有効マクロブロックのグループの領域は、伝送ノイズ等により検出されてしまったもので、移動物体とは判定しないことにする。
【００４２】
例えば、図２に示す例の場合において、予め定めてある閾値が５である場合は、有効マクロブロック３０４〜３２５の領域のみ、移動物体の領域に包含されている、すなわち当該隣接有効マクロブロック３０４〜３２７のグループの領域を移動物体と判定することになる。尚、図２に示す例では、説明の便宜上、隣接有効マクロブロック３０４〜３２７の１つのグループのみ移動物体と判定されるように説明しているが、２以上のグループが移動物体と判定されることも勿論あり得る。
【００４３】
以上、図３に示す移動物体判定処理を、画面内の全ての隣接有効マクロブロックがカウントされるまで、繰り返して行うようにする。
【００４４】
従って、本発明の実施の形態１によれば、符号化ストリームを解析して得た動きベクトルやその他の符号化パラメータに基づき、まず有効マクロブロックを特定し、その特定した有効マクロブロック同士が隣接して所定の閾値より大きいグループを形成するか否かによって移動体の有無を判定するようにしたため、動きベクトルが発生しない符号化モードが含まれる場合にも正確に移動物体を検出できると共に、伝送ノイズ等により大きな動きベクトルが画面内で散点して現れた場合でも無視することができ、高速で精度の高い移動物体の検出を行うことができる。
【００４５】
尚、本手法で説明した図３に示す移動物体領域判定手法は、ただの一例にすぎず、有効マクロブロックを用いて移動物体領域を判定する手法であればいかなる手法でもよい。
【００４６】
また、本実施の形態１の説明では、図１に示すように符号化ストリーム解析部１０２が動画像符号化装置（図示せず）から符号化ストリームを受信してその符号化ストリームを解析することによって符号化パラメータを抽出するように構成したが、これに限らず、本発明では、図４に示す移動物体検出装置３０１のように、動画像符号化装置（図示せず）から直接符号化パラメータ入力部３０２を介して符号化パラメータを入力して、符号化パラメータを得るように構成しても良い。つまり、図１に示す移動物体検出装置１０１は、動画像符号化装置から伝送路（図示せず）等を介して符号化ストリームを受信する動画像復号装置側に設けられる場合の移動物体検出装置の一例である一方、図４に示す移動物体検出装置３０１は、動画像符号化装置側に設けられ、その動画像符号化装置から符号化の際に用いた符号化パラメータを直接入力する場合の移動物体検出装置の一例を示すものである。
【００４７】
実施の形態２．
図５は、本発明の実施の形態２における移動物体検出装置４０１の構成を示す図である。図５において、４０２は移動物体判定部１０４によって移動物体に含有されるマクロブロックであると判定された有効マクロブロックの画面内座標を記憶する移動物体座標記憶部である。４０３は移動物体判定部１０４によって移動物体に含有されるマクロブロックであると判定された有効マクロブロックに付随する動きベクトルを記憶する動きベクトル記憶部である。４０４は移動物体座標記憶部４０２に記憶されているマクロブロックの画面内座標と、動きベクトル記憶部４０３に記憶されている該当する動きベクトルとから移動後の移動物体の位置を算出する移動後座標算出部である。尚、図１に示す実施の形態１の構成と同じ構成には、同一符号を付してその説明は省略するものとする。
【００４８】
次に動作について説明する。尚、以下では、実施の形態１の動作と比較して、本実施の形態２特有の動作を中心に説明する。
【００４９】
実施の形態１の場合と同様にして、移動物体判定部１０４にて移動物体あり、すなわち移動物体に含有される有効マクロブロックありと判定されると、本実施の形態２では、まず移動物体座標記憶部４０２が、移動物体判定部１０４によって移動物体に含有されると判定された有効マクロブロックの画面内座標を各有効マクロブロック毎に記憶する。ここで、マクロブロックの画面内座標とは、各マクロブロックに共通した定義であればどのように決定しても構わない。例えば、マクロブロックの中心位置の画面左上からの横方向および縦方向の画素数をマクロブロックの画面内座標とする。
【００５０】
またこれと同時に、動きベクトル記憶部４０３は、移動物体判定部１０４によって移動物体に含有されると判定されたマクロブロックに付随する動きベクトルを記憶する。
【００５１】
そして、移動後座標算出部４０４は、移動物体座標記憶部４０２に記憶された移動物体に含有されると判定された有効マクロブロックの画面内座標と、動きベクトル記憶部４０３に記憶された該当する動きベクトルとに基づいて、移動物体に含有されると判定された有効マクロブロックの次のフレームでの画面内座標の予測値を算出して、移動物体判定部１０４へ出力する。
【００５２】
ここで、移動後座標算出部４０４における画面内座標算出の方法としては、例えば現フレームの移動物体座標記憶部４０２に記憶された移動物体に含有されると判定された有効マクロブロックの画面内座標と、動きベクトル記憶部４０３に記憶された該当する動きベクトルとを加算することによって、次フレームにおける当該マクロブロックの画面内座標を得る方法がある。また、移動物体判定部１０４によって移動物体に含有されると判定されたマクロブロックに該当する動きベクトルの平均値を当該マクロブロックの画面内座標に加算することによって、次フレームにおける有効マクロブロックの画面内座標を算出するようにしてもよい。つまり、移動物体に含有されると判定されたマクロブロックの画面内座標と該当する動きベクトルの値から次フレームにおける有効マクロブロックの画面内座標を得る手法であればどのような手法を用いてもよい。
【００５３】
このようにして算出された画面内座標は、移動物体が非常に急激な変化を伴う運動をしない限り、次フレームにおける移動物体の存在する位置の有力な候補となる。つまり、前フレームにおいて移動後座標算出部４０４によって得られた移動後座標に含有される現フレームにおけるマクロブロックは、移動物体に含有される有効マクロブロックである可能性がある。
【００５４】
このため、本実施の形態２の移動物体判定部１０４では、移動後座標算出部４０４によって予測された画面内座標の有効マクロブロックと、実施の形態１と同様に有効マクロブロック特定部１０３が特定した有効マクロブロックとに基づいて、移動物体の有無の判定を行う。
【００５５】
例えば、移動後座標算出部４０４によって予測された画面内座標を有する有効マクロブロックと、有効マクロブロック特定部１０３が特定した有効マクロブロックとのアンド（論理積）をとって、得られた有効マクロブロックについてのみ実施の形態１の場合と同様に図３に示す移動物体判定処理を行うようにすれば、図３に示す移動物体判定処理を行うべき有効マクロブロックの対象を減らすことになり、移動物体判定処理を迅速化することが可能となる。
【００５６】
具体的には、図６に示すように、移動物体判定部１０４は、例えば図２に示す１つ前のフレームの有効マクロブロック３０４〜３２７から推定した有効マクロブロック３０４’〜３２７’の画面内座標の予測値と、有効マクロブロック特定部１０３が現在フレームにて特定した有効マクロブロック４０２〜４２５の画面内座標とのアンドをとった重複する有効マクロブロック４０２〜４１６についてのみ図２に示す移動体判定処理は行い、有効マクロブロック４０１，４２６〜４２８については、図３に示す移動体判定処理は行わないようにすることにより、移動物体判定処理を迅速化することができる。その結果、この判定処理の場合、有効マクロブロック４０２〜４２５が隣接またはさらに隣接する有効マクロブロックとカウントされることになる。
【００５７】
また、移動後座標算出部４０４によって予測された画面内座標を有する有効マクロブロックと、有効マクロブロック特定部１０３が特定した有効マクロブロックとのアンド（論理積）をとったマクロブロックのみをカウントの対象とするようにすれば、１つ前のフレームの有効マクロブロックの動きも加味しての有効マクロブロックのカウントとなり、移動物体判定処理をより高精度化することが可能となる。
【００５８】
具体的には、図３に示すように、移動物体判定部１０４は、例えば図２に示す１つ前のフレームの有効マクロブロック３０４〜３２３から推定した有効マクロブロック３０４’〜３２７’の画面内座標の予測値と、有効マクロブロック特定部１０３が現在フレームにて特定した有効マクロブロック４０２〜４２５の画面内座標とのアンドをとった重複する有効マクロブロック４０２〜４１６のみ図３に示す移動体判定処理の際に、隣接またはさらに隣接する有効マクロブロックとしてカウントすることにより、移動物体判定処理を過去のフレームを参照しより高精度化することができる。尚、この判定処理の場合、有効マクロブロック４０２〜４１６のみが隣接またはさらに隣接する有効マクロブロックとしてカウントされることになる。
【００５９】
従って、本発明の実施の形態２によれば、実施の形態１と同様に、まず有効マクロブロックを特定し、その特定した有効マクロブロック同士の隣接数に基づいて移動体の有無を判定するようにしたので、動きベクトルが発生しない符号化モードが含まれる場合にも正確に移動物体を検出できると共に、伝送ノイズ等により大きな動きベクトルが画面内で散点して現れた場合でも無視することができ、高速で精度の高い移動物体の検出を行うことができる。
【００６０】
また、特に、本実施の形態２では、移動物体判定部１０４は、移動後座標算出部４０４からの1つ前のフレームでの移動物体に含有されると判定された有効マクロブロックの画面内座標の予測値と、有効マクロブロック特定部１０３が特定した有効マクロブロックの画面内座標の値とに基づき、移動物体の判定を行うため、移動物体判定処理を迅速化や、より高精度化することができる。
【００６１】
尚、本実施の形態２の説明では、符号化ストリームを解析することによって符号化パラメータを抽出するように構成したが、図７に示す移動物体検出装置５０１のように、動画像符号化部（図示せず。）から直接符号化パラメータ入力部５０２を介して符号化パラメータを入力するように構成しても良い。これは、実施の形態１における図１に示す構成と、図４に示す構成との関係と同じである。
【００６２】
また、本実施の形態２の説明では、図５，７に示すように、移動後座標算出部４０４からの1つ前のフレームでの移動物体に含有されると判定された有効マクロブロックの画面内座標の予測値は、移動物体判定部１０４に入力するように構成しているが、これに限らず、本発明では、有効マクロブロック特定部１０３に入力して、有効マクロブロック特定部１０３にて、移動後座標算出部４０４によって予測された画面内座標を有する有効マクロブロックと、有効マクロブロック特定部１０３が特定した有効マクロブロックとのアンド（論理積）をとって、その結果を移動物体判定部１０４へ出力するように構成しても勿論よい。
【００６３】
実施の形態３．
図８は，本発明の実施の形態３における画像監視システムの構成を示す図である。図において、６０１は監視点を撮影するカメラである。６０２はカメラ６０１によって得られた撮影画像を符号化する動画像符号化部である。６０３は動画像符号化部６０２によって符号化されたストリームを監視室に伝送するインターネット等の伝送路である。６０４は上記実施の形態１，２において説明した移動物体検出装置である。６０５は伝送路より受け取ったストリームを復号化する動画像復号化部である。６０６は動画像復号化部６０５によって復号化された画像を表示するモニタである。６０７は移動物体検出装置６０４によって移動物体が検出された場合に警告音または警告光、あるいは警告信号などを発する警告器である。６０８は符号化ストリームを蓄積する蓄積部である。
【００６４】
次に動作について説明する。
まず、カメラ６０１は、監視しようとする場所に固定的にまたは制御されて可動的に向けられており、監視点を常時カメラで捕捉し撮影した画像を動画像符号化部６０２へ供給する。
【００６５】
動画像符号化部６０２では、カメラ６０１より供給された画像を符号化しその符号化ストリームを伝送路６０３を介して伝送する。伝送路６０３を介して伝送された符号化ストリームは、受信装置側、すなわち復号装置側の移動物体検出装置６０４および動画像復号化部６０５および蓄積部６０８に入力される。
【００６６】
移動物体検出装置６０４では、入力された符号化ストリームを解析し、移動物体の有無を判定を行い、判定結果を警告器６０７へ出力する。つまり、この図８に示す画像監視システムの構成の場合には、移動物体検出装置６０４は符号化ストリームの解析が必要なので、図１に示す実施の形態１の移動物体検出装置１０１や、図５に示す実施の形態２に示す移動物体検出装置４０１の構成となる。
【００６７】
すると、警告器６０７は、移動物体検出装置６０４によって移動物体が検出された場合には、警告音または警告光、あるいは警告信号などを発して、監視者へ報知する。
【００６８】
また、動画像復号化部６０５では、伝送路６０３を介し伝送されてきた符号化ストリームを復号し、画像信号としてモニタ６０６へ出力して表示させて、監視者にその様子を監視させる。
【００６９】
また、蓄積部６０８では、符号化ストリームを常時蓄積し、いつでもモニタ６０６等で再生できるようにする。
【００７０】
従って、以上の実施の形態３によれば、監視員は四六時中モニタ６０６を監視しなくても、警告器６０７からの通報があった場合に、モニタ６０６を観察することによって監視点への侵入者を発見することができ、監視員の負担を大幅に軽減することができる。
【００７１】
また、図９に示すように、移動体検出装置６０４は、侵入者等を移動体として発見した場合、伝送路６０３を介し動画像符号化部６０２に対しイントラ符号化要求信号を発信するようにし、動画像符号化部６０２は、そのイントラ符号化要求信号を受信した場合には、次のフレームをイントラ符号化するように動作させるようにしても良い。このようにすれば、移動体検出装置６０４によって侵入者が発見された場合、蓄積部７０１には、イントラフレームから始まる符号化ストリームが蓄積され、侵入者が発見された時点からそのフレームのみを取り出すことが簡単にできることになる。
【００７２】
また、動画像符号化部６０２に対しイントラ符号化要求信号を送信する代わりに、あるいはそれに加えて、量子化ステップ等の符号化パラメータ変更要求信号を送信するようにして、侵入者等の移動物体を発見した場合には、通常時より、より圧縮率の低い、すなわち高解像度、高精細な画像を蓄積部７０１に蓄積するようにしても勿論良い。このようにすれば、侵入者が発見されたフレームを簡単に取り出すことできる代わりに、あるいはそれに加えて、侵入者等の移動物体が発見されない場合は圧縮率の高い画像を蓄積しておき、侵入者等の移動物体が発見された場合には、圧縮率の低い、鮮明な画像で侵入者を確認することが可能になる。
【００７３】
また、図９に示すように、移動物体が検出された場合に、イントラフレームから始まる符号化ストリームを蓄積すると同時に、移動物体検出装置６０４より時刻や画像の特徴などの情報をメタデータとして蓄積部７０１に出力させて、蓄積部７０１に前記イントラフレームから始まる符号化ストリームと共に前記メタデータを蓄積するよう構成してもよい。このように、符号化ストリームがイントラフレームから始まり、前記メタデータと共に記録されるように構成すれば、前記メタデータを参照することにより、移動物体が検出された際の画像を再生する際に頭出し等がし易くなり、検索が容易となり、侵入者が発見された時点のフレームを検索することが簡単にできるという効果がある。尚、メタデータは、移動物体検出装置６０４からではなく、動画像符号化部６０２より伝送路６０３を介して蓄積部７０１に蓄積するように構成してもよい。
【００７４】
また、蓄積部７０１は、常に動画像符号化部６０２からの符号化ストリームを蓄積するのではなく、移動物体検出装置６０４または動画像符号化部６０２からの前記メタデータの入力をトリガとして、動画像符号化部６０２からの符号化ストリームを蓄積するようにしても良い。このようにすれば、蓄積部７０１には、移動物体が検出されている間以降、あるいは移動物体が検出されている間のみ符号化ストリームが蓄積されるため、従来の手法に比べて、蓄積部７０１における記録媒体の使用量を軽減することができる、テープ切れや、記録容量不足等を防止することが可能となる。
【００７５】
実施の形態４．
図１０は、本発明の実施の形態４における画像監視システムの構成を示す図である。図において、８０１は本発明の実施の形態１，２で説明した移動物体検出装置である。８０２はカメラ６０１からの撮影画像と移動物体検出装置８０１からの検出結果に基づいて動作する動画像符合化部である。尚、その他の構成は、図８，図９に示す実施の形態３のものと同一なので、同一構成には、同一符号を付して説明は省略する。
【００７６】
次に動作について説明する。
まず、カメラ６０１は監視しようとする場所に固定的または制御されて可動的に向けられており、監視点を常時カメラで捕捉し撮影した画像を動画像符号化部６０２へ供給し、動画像符号化部６０２では、カメラ６０１より供給された画像を符号化した際の符号化パラメータを移動物体検出装置８０１へ出力すると共に、伝送路６０３を介し動画像復号化部６０５側へ伝送する。
【００７７】
移動物体検出装置８０１では、動画像符号化部６０２より入力された符号化パラメータを解析し、上記実施の形態１，２の場合と同様に、移動物体の有無を判定し、その判定結果を動画像符号化部８０２に出力する。つまり、この図１０に示す画像監視システムの構成の場合には、移動物体検出装置８０１は符号化装置側に設けられ符号化ストリームの解析が不要となるので、図４に示す実施の形態１の移動物体検出装置３０１や、図７に示す実施の形態２に示す移動物体検出装置５０１の構成となる。
【００７８】
動画像符号化部８０２では、移動物体検出装置６０４から移動物体が検出されたことを示す判定結果が入力すると、移動物体が検出されたことを示す警告信号を、符号化ストリームと共に伝送路６０３を介して動画像復号化部６０５側へ伝送する。
【００７９】
すると、動画像復号化部６０５側では、動画像復号化部６０５が符号化ストリームを復号してモニタ６０６に再生表示すると共に、蓄積部７０１がその符号化ストリームを蓄積し、さらには警告器６０７が動画像符号化部８０２からの警告信号に基づき警告音または警告光、あるいは警告信号を発するようにする。
【００８０】
従って、本実施の形態４によれば、上記実施の形態３の場合と同様に、監視員は四六時中モニタ６０６を監視しなくても、警告器６０７からの通報があった場合に、モニタ６０６を観察することによって監視点への侵入者を発見することができ、監視員の負担を大幅に軽減することができる。
【００８１】
また、本実施の形態４の動画像符号化部８０２では、移動物体検出装置８０１が移動物体を存在しないと判定した場合には、符号化ストリームを伝送路６０３を介し動画像復号化部６０５側へ伝送しないように構成したので、侵入者等の移動物体を検出した必要な場合のみ伝送路６０３に符号化ストリームが流れることになり、伝送路６０３の負荷を軽くすることができるという効果がある。
【００８２】
また、本実施の形態４でも、移動物体検出装置８０１によって監視地点に移動物体が存在すると判定された場合に、動画像符号化部６０２がイントラフレームで符号化するように動作して、蓄積部７０１に移動物体が検出された場合にイントラフレームから始まる符号化ストリームを蓄積するように構成するようにしてもよい。
【００８３】
また、移動物体が検出された場合に、イントラフレームから始まる符号化ストリームを蓄積すると同時に、移動物体検出装置８０１より時刻や画像の特徴などの情報をメタデータとして蓄積部７０１に出力し、蓄積部７０１に前記イントラフレームから始まる符号化ストリームと共に前記メタデータを蓄積するよう構成してもよい。このようにすれば、実施の形態３のところでも説明したように、移動体検出装置８０１によって侵入者が発見された場合、蓄積部７０１には、イントラフレームから始まる符号化ストリームが蓄積され、侵入者が発見された時点からそのフレームのみを取り出すことが簡単にできることになる。尚、移動物体検出装置８０１が侵入者等の移動物体を発見した場合、動画像符号化部８０２は、移動物体を発見する前より量子化ステップ等の符号化パラメータを変更して通常の符号化時より圧縮率の低い、すなわち高解像度、高精細に符号化を行って符号化ストリームを生成し、伝送路６０３を介し復号装置側へ伝送するように構成しても勿論良い。このようにすれば、侵入者が発見されたフレームを簡単に取り出すことできるだけでなく、鮮明な画像で侵入者を確認することが可能になる。
【００８４】
また、メタデータは移動物体検出装置８０１からではなく、動画像符号化部６０２より伝送路６０３を介して伝送して蓄積部７０１に蓄積するように構成してもよい。この場合には、蓄積部７０１には移動物体が検出されている間のみ符号化ストリームが蓄積されるため、従来の手法に比べて記録媒体の使用量を軽減することができるため効果的である。また、符号化ストリームがイントラフレームをから始まり、メタデータと共に記録される場合には、移動物体が検出された際の画像を再生する際に検索しやすく、頭出ししやすいという効果がある。
【００８５】
【発明の効果】
以上説明したように、この発明では、符号化パラメータに基づき有効マクロブロックを特定し、特定した有効マクロブロックの隣接数に基づき移動体の有無を判定するようにしたため、動きベクトルが発生しない符号化モードが含まれる場合にも正確に移動物体を検出できると共に、伝送ノイズ等により大きな動きベクトルが画面内で散点して現れた場合でも無視することができ、高速で精度の高い移動物体の検出を行うことができる。
【図面の簡単な説明】
【図１】 本発明の実施の形態１における移動物体検出装置１０１の構成を示す図である。
【図２】 有効マクロブロック特定部１０３によって特定された有効マクロブロックの一例を示す図である。
【図３】 実施の形態１におけるマクロブロックが移動物体に含有されるか否かの判定処理の流れの一例を示すフローチャートである。
【図４】 実施の形態１における移動物体検出装置１０１の他の構成例を示す図である。
【図５】 本発明の実施の形態２における移動物体検出装置４０１の構成を示す図である。
【図６】 １つ前のフレームの有効マクロブロックから推定した有効マクロブロックの画面内座標と、有効マクロブロック特定部が現在フレームにて特定した有効マクロブロックの画面内座標とのアンドをとる状態を示す図である。
【図７】 本発明の実施の形態２における移動物体検出装置４０１の他の構成例を示す図である。
【図８】 本発明の実施の形態３における画像監視システムの構成を示す図である。
【図９】 本発明の実施の形態３における画像監視システムの他の構成例を示す図である。
【図１０】 本発明の実施の形態４における画像監視システムの構成を示す図である。
【図１１】 従来の移動物体検出装置の構成を示す図である。
【符号の説明】
１０１ 移動物体検出装置、１０２ 符号化ストリーム解析部、１０３ 有効マクロブロック特定部、１０４ 移動物体判定部、３０１ 移動物体検出装置、３０２ 符号化パラメータ入力部、４０１ 移動物体検出装置、４０２ 移動物体座標記憶部、４０３ 動きベクトル記憶部、４０４ 移動後座標算出部、６０１ カメラ、６０２ 動画像符号化部、６０３ 伝送路、６０４ 移動物体検出装置、６０５ 動画像復号化部、６０６ モニタ、６０７ 警告器。
Claims (2)
- マクロブロック単位およびブロック単位の動き補償予測符号化を行うとともに、マクロブロック単位のフレーム内符号化を行う動画像符号化方式における各マクロブロックの符号化パラメータに基づき、画面内の移動物体に含有されるマクロブロックを特定する移動物体検出装置であり、
前記マクロブロックの符号化パラメータに含まれるマクロブロック単位の符号化モードがイントラ符号化モードであるか、あるいは、前記マクロブロックの符号化パラメータに含まれるマクロブロック単位の符号化モードが前記ブロック単位の動き補償予測モードである場合に当該マクロブロックを移動物体に含有されるマクロブロックの候補である有効マクロブロックとして特定する有効マクロブロック特定部と、
前記有効マクロブロック特定部によって特定された有効マクロブロックについて、互い隣接している有効マクロブロックをグループとし、各グループに含まれる有効マクロブロック数と予め定められた閾値とを比較し、含まれる有効マクロブロック数が前記閾値より大きいグループに含まれる全マクロブロックを移動物体に含有されるマクロブロックであると判定する移動物体判定部と
を備えることを特徴とする移動物体検出装置。 - 請求項１記載の移動物体検出装置において、
移動物体判定部によって移動物体に含有されると判定されたマクロブロックの画面内座標を記憶する移動物体座標記憶部と、移動物体に含有されると判定されたマクロブロックにおける動きベクトルを記憶する動きベクトル記憶部と、前記移動物体座標記憶部に記憶されているマクロブロック画面内座標と前記動きベクトル記憶部に記憶されている動きベクトルとに基づき、次フレームにおける有効マクロブロックの画面内座標の予測値を算出する移動後座標算出部とを備え、
前記移動物体判定部は、前記有効マクロブロック特定部によって特定された有効マクロブロックと、前記移動後座標算出部によって算出された画面内座標予測値によって特定される座標を含むマクロブロックとの間で重複する有効マクロブロックについて、
互い隣接している有効マクロブロックをグループとし、各グループに含まれる有効マクロブロック数と予め定められた閾値とを比較し、含まれる有効マクロブロック数が前記閾値より大きいグループに含まれる全マクロブロックを移動物体に含有されるマクロブロックであると判定することを特徴とする移動物体検出装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001054019A JP4140202B2 (ja) | 2001-02-28 | 2001-02-28 | 移動物体検出装置 |
| GB0204024A GB2374751B (en) | 2001-02-28 | 2002-02-20 | Moving object detector and image monitoring system |
| US10/080,691 US7082210B2 (en) | 2001-02-28 | 2002-02-25 | Moving object detector and image monitoring system |
| HK03101751.4A HK1049759B (zh) | 2001-02-28 | 2003-03-11 | 移動目標檢測器和圖象監視系統 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001054019A JP4140202B2 (ja) | 2001-02-28 | 2001-02-28 | 移動物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002262296A JP2002262296A (ja) | 2002-09-13 |
| JP4140202B2 true JP4140202B2 (ja) | 2008-08-27 |
Family
ID=18914417
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001054019A Expired - Fee Related JP4140202B2 (ja) | 2001-02-28 | 2001-02-28 | 移動物体検出装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US7082210B2 (ja) |
| JP (1) | JP4140202B2 (ja) |
| GB (1) | GB2374751B (ja) |
| HK (1) | HK1049759B (ja) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002165210A (ja) * | 2000-08-04 | 2002-06-07 | Matsushita Electric Ind Co Ltd | データ送信端末及びデータ送受信装置 |
| US7595817B1 (en) * | 2003-02-12 | 2009-09-29 | The Research Foundation Of State University Of New York | Linear system based, qualitative independent motion detection from compressed MPEG surveillance video |
| WO2005029833A2 (en) * | 2003-09-21 | 2005-03-31 | Servision Ltd. | Deriving motion detection information from motion-vector-search type video encoders |
| US20050285941A1 (en) * | 2004-06-28 | 2005-12-29 | Haigh Karen Z | Monitoring devices |
| JP2006059252A (ja) * | 2004-08-23 | 2006-03-02 | Denso Corp | 動き検出方法及び装置，プログラム，車両用監視システム |
| WO2006109217A2 (en) * | 2005-04-14 | 2006-10-19 | Koninklijke Philips Electronics N.V. | Video apparatus having an edition function |
| US20070110951A1 (en) * | 2005-07-20 | 2007-05-17 | Frank Hoefflin | Thermally expansible material substantially free of tackifier |
| JP2008035096A (ja) * | 2006-07-27 | 2008-02-14 | Sony Corp | 監視装置、監視方法及びプログラム |
| JP2008182456A (ja) * | 2007-01-24 | 2008-08-07 | Sony Corp | 監視装置、検知設定方法および監視カメラシステム |
| JP2008269471A (ja) * | 2007-04-24 | 2008-11-06 | Sony Corp | 類似画像判定装置と類似画像判定方法およびプログラムと記録媒体 |
| JP4873488B2 (ja) * | 2007-07-18 | 2012-02-08 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP2009033369A (ja) * | 2007-07-26 | 2009-02-12 | Sony Corp | 記録装置、再生装置、記録再生装置、撮像装置、記録方法およびプログラム |
| JP2009246935A (ja) * | 2008-03-14 | 2009-10-22 | Sanyo Electric Co Ltd | 画像処理装置およびそれを搭載した撮像装置 |
| JP5268433B2 (ja) * | 2008-06-02 | 2013-08-21 | キヤノン株式会社 | 撮像装置、及び撮像装置の制御方法 |
| US20100027663A1 (en) * | 2008-07-29 | 2010-02-04 | Qualcomm Incorporated | Intellegent frame skipping in video coding based on similarity metric in compressed domain |
| KR101200491B1 (ko) * | 2008-12-22 | 2012-11-16 | 한국전자통신연구원 | 사람 검출 장치 및 방법 |
| JP2010245807A (ja) * | 2009-04-06 | 2010-10-28 | Mitsubishi Electric Corp | 監視映像記録装置 |
| JP5523027B2 (ja) * | 2009-09-02 | 2014-06-18 | キヤノン株式会社 | 情報送信装置及び情報送信方法 |
| US8982209B2 (en) * | 2009-10-30 | 2015-03-17 | Verint Systems Inc. | Method and apparatus for operating a video system |
| US9082278B2 (en) | 2010-03-19 | 2015-07-14 | University-Industry Cooperation Group Of Kyung Hee University | Surveillance system |
| JP2012133759A (ja) * | 2010-11-29 | 2012-07-12 | Canon Inc | 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体 |
| KR101666397B1 (ko) * | 2010-12-21 | 2016-10-14 | 한국전자통신연구원 | 객체 영상 획득 장치 및 방법 |
| CA2850066C (en) | 2011-10-05 | 2020-03-24 | Panasonic Corporation | An image coding and decoding method using prediction information candidates for prediction unit sub-blocks |
| EP2658255A1 (en) * | 2012-04-27 | 2013-10-30 | Siemens Aktiengesellschaft | Methods and devices for object detection in coded video data |
| GB2509056B (en) * | 2012-12-12 | 2019-06-19 | Snell Advanced Media Ltd | Method and apparatus for modifying a video stream |
| JP6270111B2 (ja) * | 2013-10-17 | 2018-01-31 | 株式会社熊平製作所 | 移動体表示システムおよび移動体表示プログラム |
| WO2015063537A1 (en) * | 2013-11-01 | 2015-05-07 | Intel Corporation | Vido modification for content protection |
| US9988047B2 (en) | 2013-12-12 | 2018-06-05 | Magna Electronics Inc. | Vehicle control system with traffic driving control |
| US9925980B2 (en) | 2014-09-17 | 2018-03-27 | Magna Electronics Inc. | Vehicle collision avoidance system with enhanced pedestrian avoidance |
| US10144419B2 (en) | 2015-11-23 | 2018-12-04 | Magna Electronics Inc. | Vehicle dynamic control system for emergency handling |
| KR101752848B1 (ko) * | 2015-12-30 | 2017-06-30 | 씨제이포디플렉스 주식회사 | 영상 움직임 검출을 이용한 모션 제어 시스템 및 방법 |
| US10419511B1 (en) | 2016-10-04 | 2019-09-17 | Zoom Video Communications, Inc. | Unique watermark generation and detection during a conference |
| KR102090775B1 (ko) * | 2017-08-24 | 2020-03-18 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 |
| KR102444054B1 (ko) * | 2017-09-14 | 2022-09-19 | 삼성전자주식회사 | 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체 |
| KR102090782B1 (ko) * | 2017-12-20 | 2020-03-18 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 월담 감지 방법 |
| KR102015078B1 (ko) * | 2017-12-20 | 2019-08-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 배회 감지 방법 |
| KR102015082B1 (ko) * | 2017-12-20 | 2019-08-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 추적 방법 |
| KR102015084B1 (ko) * | 2017-12-20 | 2019-08-27 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 도로 역주행 감지 방법 |
| KR102090785B1 (ko) * | 2018-07-30 | 2020-03-18 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 영상분석 시스템과 연동 처리 방법 |
| KR102080456B1 (ko) * | 2018-07-30 | 2020-02-24 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법 |
| KR102061915B1 (ko) * | 2018-11-26 | 2020-01-02 | 이노뎁 주식회사 | 압축영상에 대한 신택스 기반의 객체 분류 방법 |
| KR102153093B1 (ko) * | 2018-11-26 | 2020-09-07 | 이노뎁 주식회사 | 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 |
| KR102177494B1 (ko) * | 2019-02-18 | 2020-11-11 | 이노뎁 주식회사 | 모션벡터의 궤적 및 패턴을 이용한 압축영상의 이상모션 객체 식별 방법 |
| JP7269134B2 (ja) * | 2019-08-28 | 2023-05-08 | Kddi株式会社 | 映像ストリームに影響した外的要因情報を推定するプログラム、サーバ、システム、端末及び方法 |
| KR102345258B1 (ko) * | 2020-03-13 | 2021-12-31 | 주식회사 핀텔 | 객체영역 검출방법, 장치 및 이에 대한 컴퓨터 프로그램 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2964593B2 (ja) | 1990-09-10 | 1999-10-18 | ブラザー工業株式会社 | カラー画像記録装置 |
| JPH04181872A (ja) | 1990-11-16 | 1992-06-29 | Canon Inc | カラー画像処理装置 |
| JPH09252467A (ja) * | 1996-03-18 | 1997-09-22 | Toshiba Corp | 移動体検出装置 |
| US5796434A (en) * | 1996-06-07 | 1998-08-18 | Lsi Logic Corporation | System and method for performing motion estimation in the DCT domain with improved efficiency |
| JP4250214B2 (ja) | 1997-04-18 | 2009-04-08 | 富士フイルム株式会社 | 色変換方法 |
| JPH11113002A (ja) | 1997-10-07 | 1999-04-23 | Toyo Commun Equip Co Ltd | マクロブロック別移動物体検出方法及び装置 |
| JP3962496B2 (ja) | 1998-01-29 | 2007-08-22 | キヤノン株式会社 | 画像処理方法、装置および記録媒体 |
| US6470050B1 (en) * | 1999-04-09 | 2002-10-22 | Matsushita Electric Industrial Co., Ltd. | Image coding apparatus and its motion vector detection method |
| JP2001145109A (ja) * | 1999-11-11 | 2001-05-25 | Nec Corp | 動きベクトル検出装置 |
| JP3880759B2 (ja) * | 1999-12-20 | 2007-02-14 | 富士通株式会社 | 移動物体検出方法 |
| JP3873554B2 (ja) * | 1999-12-27 | 2007-01-24 | 株式会社日立製作所 | 監視装置、監視プログラムが記録された記録媒体 |
| JP2001197501A (ja) * | 2000-01-07 | 2001-07-19 | Fujitsu Ltd | 動きベクトル探索器及び動きベクトル探索方法並びに動画像符号化装置 |
| US6901110B1 (en) * | 2000-03-10 | 2005-05-31 | Obvious Technology | Systems and methods for tracking objects in video sequences |
| KR100782800B1 (ko) * | 2000-07-28 | 2007-12-06 | 삼성전자주식회사 | 움직임 추정 방법 |
| US6842483B1 (en) * | 2000-09-11 | 2005-01-11 | The Hong Kong University Of Science And Technology | Device, method and digital video encoder for block-matching motion estimation |
-
2001
- 2001-02-28 JP JP2001054019A patent/JP4140202B2/ja not_active Expired - Fee Related
-
2002
- 2002-02-20 GB GB0204024A patent/GB2374751B/en not_active Expired - Fee Related
- 2002-02-25 US US10/080,691 patent/US7082210B2/en not_active Expired - Fee Related
-
2003
- 2003-03-11 HK HK03101751.4A patent/HK1049759B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| GB2374751A (en) | 2002-10-23 |
| GB2374751B (en) | 2003-03-26 |
| HK1049759A1 (en) | 2003-05-23 |
| US7082210B2 (en) | 2006-07-25 |
| JP2002262296A (ja) | 2002-09-13 |
| GB0204024D0 (en) | 2002-04-03 |
| HK1049759B (zh) | 2004-03-05 |
| US20020118862A1 (en) | 2002-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4140202B2 (ja) | 移動物体検出装置 | |
| US7933333B2 (en) | Method and apparatus for detecting motion in MPEG video streams | |
| US9681125B2 (en) | Method and system for video coding with noise filtering | |
| CN101389029B (zh) | 一种视频图像编码和检索的方法及装置 | |
| WO2003052951A1 (en) | Method and apparatus for motion detection from compressed video sequence | |
| JP4456867B2 (ja) | ビデオ中の異常イベントを検出する方法およびシステム | |
| US9497479B2 (en) | System and method for detecting motion in compressed video | |
| US7280596B2 (en) | Apparatus detecting motion of image data and detecting method thereof | |
| JP5713797B2 (ja) | 映像監視装置 | |
| JP3779494B2 (ja) | 動き検出装置及び記録媒体 | |
| JPH09252467A (ja) | 移動体検出装置 | |
| US20070230576A1 (en) | Deriving Motion Detection Information From Motion-Vector-Search Type Video Encoders | |
| Kim et al. | A scene change detection in H. 264/AVC compression domain | |
| Savcı et al. | Fire detection in H. 264 compressed video | |
| JP2007180970A (ja) | 映像処理装置及び監視カメラシステム | |
| CN110324636B (zh) | 用于对视频流中的帧序列进行编码的方法、设备和系统 | |
| JP3711022B2 (ja) | 動画像内の特定物体認識方法及び装置 | |
| JP4157661B2 (ja) | 動画像内の移動物体検出方法および装置 | |
| CN105931274B (zh) | 一种基于运动向量轨迹的快速物体分割和追踪方法 | |
| JPH11266459A (ja) | 動画像符号化装置、移動物体検出装置およびこれら装置に適用される動き予測装置 | |
| JP2003157440A (ja) | 動画像内の物体識別装置及び方法及びこれを用いた監視システム | |
| KR102557904B1 (ko) | 동적프레임이 존재하는 구간의 검출방법 | |
| JP2003111061A (ja) | 動体検出装置、動体検出システムおよび動体検出方法 | |
| KR100584537B1 (ko) | Ｍｐｅｇ4를 이용한 감시용 카메라 정보 저장 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040702 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070316 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080520 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080602 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110620 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |