JP4157234B2 - 動画像内の移動物体検出装置 - Google Patents
動画像内の移動物体検出装置 Download PDFInfo
- Publication number
- JP4157234B2 JP4157234B2 JP24885199A JP24885199A JP4157234B2 JP 4157234 B2 JP4157234 B2 JP 4157234B2 JP 24885199 A JP24885199 A JP 24885199A JP 24885199 A JP24885199 A JP 24885199A JP 4157234 B2 JP4157234 B2 JP 4157234B2
- Authority
- JP
- Japan
- Prior art keywords
- background
- image signal
- moving object
- moving
- correlation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像内の移動物体検出装置に係り、特に動画像復号化装置の出力から動画像内の移動物体を検出する装置に関する。
【０００２】
【従来の技術】
動画像内に存在する移動物体を検出するためには、一般に画素毎の動きを調べる必要がある。しかし、画素毎の動きを調べる処理は実際には非常に多くの計算量を必要とする。例えば、動画像圧縮の国際標準であるＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素×縦２８８画素の１０１，３７６画素という非常に多くの画素について、動きを検出する必要がある。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があり、コスト面でも大きな問題があった。
【０００３】
そこで、特開平９−２５２４６７号公報「移動物体検出装置」では、動画像符号化装置で作られた動きベクトルから、移動物体を検出する手法が考案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを移動物体の検出に流用できるので、移動物体検出のために特別に画素の動きを調べる必要がなく、必要な計算量を大幅に減らすことができる。
【０００４】
しかし、このような動きベクトルを利用した移動物体検出方法では、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また移動物体の内部のブロックでも、書き換わっていないブロックが存在することがあるため、移動物体の監視などに適用することを考えた場合、必ずしも必要な映像が得ることができなかった。
【０００５】
【発明が解決しようとする課題】
上述したように、従来技術によると移動物体を検出するためには、多くの計算量を必要とするという問題点があり、動画像符号化データを用いた方法では精度に問題があった。
【０００６】
本発明は、高速かつ安定に精度よく移動物体を検出することのできる動画像移動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係る動画像内の移動物体検出方法は、動画像信号を圧縮した符号化データを復号して得られた再生画像信号から、所定の単位領域（例えば、マクロブロック）内の画像信号が背景領域か非背景領域かを判定し、この背景領域か非背景領域かの判定結果から移動物体の領域を判定することを基本的な特徴とする。また、このようにして判定された移動物体の領域を示す情報を再生画像信号の表示画面上に表示することを特徴とする。
【０００８】
本発明に係る動画像内の移動物体検出装置は、動画像信号を圧縮した符号化データを復号する動画像復号化手段から得られた再生画像信号の所定の単位領域内の画像信号が背景領域か非背景領域かを判定する背景／非背景判定手段と、この背景／非背景判定手段による単位領域毎の判定結果から移動物体の領域を判定する移動物体判定手段とを有することを基本的な特徴とする。また、移動物体判定手段により判定された移動物体の領域を示す情報を再生画像信号の表示画面上に表示する手段をさらに有することを特徴とする。
【０００９】
より具体的には、本発明に係る動画像内の移動物体検出装置は、再生画像信号の現フレームと１フレーム前の信号の相関値を単位領域毎に計算する第１の相関計算手段と、再生画像信号の背景部分である背景画像信号を記憶する記憶手段と、再生画像信号の現フレームと記憶手段に記憶されている背景画像信号との相関値を単位領域毎に計算する第２の相関計算手段とをさらに有し、背景／非背景判定手段では、動画像復号化手段から得られた符号化モードを示すモード情報と第１及び第２の相関計算手段により得られた相関値に基づいて、再生画像信号の所定の単位領域内の画像信号が背景領域か非背景領域かを判定する。
【００１０】
また、背景／非背景判定手段により、再生画像信号の所定の単位領域内の画像信号が背景領域であると判定された場合に、記憶手段に記憶されている背景画像信号を該背景領域と判定された単位領域の画像信号によって更新する更新手段をさらに有する。
【００１１】
移動物体判定手段では、例えば背景／非背景判定手段により非背景領域と判定された単位領域が隣接して複数個存在する領域を移動物体の領域と判定する。
【００１２】
このように本発明では、動画像復号化技術に移動物体の検出を組み合わせ、さらに移動物体の内部や移動物体に隠されていた背景などを判定できるようになるため、少ない計算量で高速に、かつ安定して精度よく動画像内の移動物体検出が可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る動画像移動物体検出装置の構成を示すブロック図である。この動画像移動物体検出装置は、大きく動画像復号化部１００と移動物体検出部２００から構成されている。以下、動画像復号化部１００および移動物体検出部２００について順次説明する。なお、以下の説明はＭＰＥＧ方式に基づく動画像復号化装置に本発明を適用した場合であり、再生画像信号の単位領域はＭＰＥＧ方式でいうマクロブロックに相当する。
【００１４】
（動画像復号化部１００について）
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１５】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、モード情報および動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００１６】
可変長復号化部１０３において、注目マクロブロックのモードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力されるモード選択情報に従って、モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、移動物体検出部２００内の移動物体合成表示部２０７に入力される。
【００１７】
一方、可変長復号化部１０３において、注目マクロブロックのモードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化ブロック）ならば、可変長復号化部１０３から出力されるモード情報に従って、モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００１８】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、移動物体検出部２００内の移動物体合成表示部２０７に入力される。
【００１９】
（移動物体検出部２００について）
一方、移動物体検出部２００は、マクロブロック背景判定部２０１、第１の相関計算器２０２、移動物体判定部２０３、第２の相関計算器２０４、背景メモリ２０５、スイッチ２０６および移動物体合成表示部２０７からなる。
【００２０】
移動物体検出部２００では、図２のフローチャートに示されるように、１フレーム毎に注目マクロブロックが背景マクロブロックか非背景マクロブロックかを判定するマクロブロック背景判定処理（ステップＳ１０１）、このマクロブロック背景判定結果に基づく移動物体判定処理（ステップＳ１０２）および判定された移動物体と復号された再生画像信号を合成表示する移動物体合成表示処理（ステップＳ１０３）の３つの処理をマクロブロック背景判定部２０１、移動物体判定部２０３および移動物体合成表示部２０７でそれぞれ行う。
【００２１】
マクロブロック背景判定部２０１では、可変長復号部１０３で復号されたモード情報と、第１の相関計算器２０２で求められた、加算器１０６より出力される再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値と、第２の相関計算器２０４で求められた、加算器１０６より出力される再生画像信号と背景メモリ２０５に保持されている背景画像信号との相関値から、フレーム内のマクロブロック毎の背景／非背景の判定を行う。
【００２２】
背景メモリ２０５に保持されている背景画像信号は、マクロブロック背景判定部２０１の判定結果に応じてオン・オフされる背景メモリ更新スイッチ２０６を介して、再生画像信号により更新される。
【００２３】
（マクロブロック背景判定処理ステップＳ１０１について）
次に、図３に示すフローチャートを参照して、図２中のマクロブロック背景判定処理ステップＳ１０１の具体的な処理手順について説明する。図３において、ｉ，ｊはフレーム内の垂直方向、水平方向のマクロブロックアドレスをそれぞれ表し、Ｖ＿ＮＭＢ，Ｈ＿ＮＭＢはフレーム内の垂直方向、水平方向のマクロブロック数をそれぞれ表している。Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブロックか非背景マクロブロックかの情報を蓄える２次元配列であり、ＴＲＵＥならば非背景マクロブロック、ＦＡＬＳＥならば背景マクロブロックをそれぞれ表す。
【００２４】
まず、マクロブロック背景判定部２０１において、２次元配列Ｍ［ｉ］［ｊ］の初期値をＦＡＬＳＥにセットする（ステップＳ２００）。次に、マクロブロック背景判定部２０１はマクロブロック毎に可変長復号化部１０３からのモード情報ＭＯＤＥの判定を行う（ステップＳ２０３）。
【００２５】
ステップＳ２０３による判定の結果、注目マクロブロックのモード情報ＭＯＤＥがＣＯＤＥＤ（符号化ブロック）ならば、第１の相関計算器２０２により加算器１０６を介して得られるＣＯＤＥＤマクロブロックの再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値を計算し、この相関値と閾値ＴＨ１との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０４）。
【００２６】
この比較の結果、もし第１の相関計算器２０２で計算された相関値が閾値ＴＨ１よりも大きい場合、マクロブロック背景判定部２０１は注目マクロブロックが非背景マクロブロックであると判定し、２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入する（ステップＳ２０８）。第１の相関計算器２０２で計算された相関値が閾値ＴＨ１以下の場合、さらに注目マクロブロックが背景マクロブロックか非背景マクロブロックかを判定するためにステップＳ２０６へ移行する。
【００２７】
一方、ステップＳ２０３による判定の結果、注目マクロブロックのモード情報ＭＯＤＥがＮＯＴ＿ＣＯＤＥＤ（符号化不要）ならば、マクロブロック背景判定部２０１は注目マクロブロックと同じ位置の１フレーム前のマクロブロックの判定結果が背景マクロブロックであったかどうか、つまり２次元配列Ｍ［ｉ］［ｊ］がＦＡＬＳＥかどうかを判定する（ステップＳ２０５）。このステップＳ２０５による判定の結果、注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックだったならば、注目マクロブロックも背景マクロブロックであると判定し、２次元配列Ｍ［ｉ］［ｊ］にＦＡＬＳＥを代入する（ステップＳ２０９）。
【００２８】
ステップＳ２０５による判定の結果、もし注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックでない場合は、次に注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０５内に存在するかのチェックを行う（ステップＳ２０６）。
【００２９】
ここで、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０５に存在しない場合、注目マクロブロックを新たな背景マクロブロックであると判定してステップＳ２０９へ移行する。また、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０５内に存在する場合は、第２の相関計算器２０４により注目マクロブロックの画像信号と背景メモリ２０５内の注目マクロブロックに対応する位置の背景画像信号との相関値を計算し、その相関値と閾値ＴＨ２との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０７）。
【００３０】
ステップＳ２０７での比較の結果、第２の相関計算器２０４より計算された相関値が閾値ＴＨ２よりも大きい場合、注目マクロブロックは非背景マクロブロックであると判定して２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入し（ステップＳ２０８）、相関値が閾値ＴＨ２以下の場合は、注目マクロブロックは背景マクロブロックであると判定し、ステップＳ２０９へ移行する。背景マクロブロックと判定した注目マクロブロックについては、背景メモリ２０５内の注目マクロブロックに対応する位置の背景画像信号の更新を行う（ステップＳ２１０）。
【００３１】
本実施形態では、第１、第２の相関計算器２０２，２０４での相関値の計算として、正規化相関値を用いる方法を例として示す。正規化相関値は、次式によって求められる。
【００３２】
【数１】
【００３３】
ここで、Ｆc （ｉ，ｊ）は注目マクロブロックの再生画像信号の各画素の輝度値、Ｆr （ｉ，ｊ）は相関演算の対象となるフレームの同一位置のマクロブロックの各画素の輝度値である。また、μc ，μr ，σc ，σr はそれぞれのマクロブロック内の各画素の輝度の平均値及び標準偏差である。
【００３４】
なお、第１の相関計算器２０２での加算器１０６より出力される再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値の計算に当たっては、再生画像信号と１フレーム前の参照画像信号との相関値を直接計算してもよいが、可変長復号化部１０３からの動きベクトル情報およびＤＣＴ係数情報から、注目マクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜およびＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値と比較を行う方法であってもよい。この場合、動きベクトルの絶対値和Σ｜ＭＶ｜およびＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜が閾値よりも大きい場合、非背景マクロブロックと判定する。
【００３５】
［背景メモリ更新ステップＳ２０９について］
図４に示すフローチャートは、図３中の背景メモリ更新ステップＳ２０９の処理手順を示している。図４において、Ｆc （ｉ，ｊ）は加算器１０６から出力される注目マクロブロックの再生画像信号の各画素の輝度値、Ｂ（ｉ，ｊ）は背景メモリ２０５内の背景画像信号の各画素の輝度値をそれぞれ表す。
【００３６】
まず、既に背景メモリ２０５に注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれているか否かを判定し（ステップＳ７０１）、書き込まれている場合にはステップＳ７０２〜Ｓ７０６のループにより、注目マクロブロックの再生画像信号の各画素の輝度値Ｆc （ｉ，ｊ）を重み係数ｗ（０以上、１以下の実数）で重み付け平均して、背景メモリ２０５内のＢ（ｉ，ｊ）に足し込む（ステップＳ７０４）。
【００３７】
一方、背景メモリ２０５にまだ注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれていない場合には、ステップＳ７０７〜Ｓ７１１のループにより、注目マクロブロックの再生画像信号Ｆc （ｉ，ｊ）を背景メモリ２０５内のＢ（ｉ，ｊ）に書き込む（ステップＳ７０９）。
【００３８】
（移動物体判定処理ステップＳ１０２について）
次に、図５に示すフローチャートを参照して、図２中の移動物体判定処理ステップＳ１０２の具体的な処理手順について説明する。移動物体判定部２０３においては、マクロブロック背景判定部２０２からのマクロブロック毎の背景／非背景判定結果から移動物体の判定を行う。図５に示すように、移動物体判定処理は雑音除去処理（ステップＳ３０１）と移動物体包含処理（ステップＳ３０２）の２つから成り立っている。
【００３９】
雑音除去処理ステップＳ３０１では、背景画像内の小物体の揺らぎや画像取り込み時の雑音によって注目マクロブロックが非背景マクロブロックと誤検出されてしまうのを防止するために、周囲８マクロブロックが全て静止している非背景マクロブロックを雑音とみなして取り除く処理を行う。
【００４０】
移動物体包含処理ステップＳ３０２では、雑音除去処理ステップＳ３０１で雑音を取り除いた後の背景／非背景判定結果から、非背景マクロブロックが隣接して存在する領域（すなわち、複数の非背景マクロブロックが連結している領域）を包含する最小の長方形、すなわち移動物体を包含する長方形を検出する処理を行う。
【００４１】
［雑音除去処理ステップＳ３０１について］
図６に示すフローチャートは、図５中の雑音除去処理ステップＳ３０１の具体的な処理手順を示している。図３と同様に、ｉ，ｊはフレーム内の垂直方向、水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢ，Ｈ＿ＮＭＢはフレーム内の垂直方向、水平方向のマクロブロック数をそれぞれ表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが非背景マクロブロックか否かの情報を蓄える配列であり、ＴＲＵＥならば非背景マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。
【００４２】
まず、ステップＳ４０１〜Ｓ４０２を経てマクロブロック毎の背景判定結果である２次元配列Ｍ［ｉ］［ｊ］をみる（ステップＳ４０３）。ここで、２次元配列Ｍ［ｉ］［ｊ］の値がＦＡＬＳＥ、つまり背景マクロブロックならば、そのマクロブロックでは何も行わず、次のマクロブロックに移る。
【００４３】
また、２次元配列Ｍ［ｉ］［ｊ］の値がＴＵＲＥ、つまり非背景マクロブロックならば、そのマクロブロックの周囲８マクロブロックの背景判定結果をチェックし（ステップＳ４０５）、全てＦＡＬＳＥ、つまり背景マクロブロックならば、そのマクロブロックは雑音であると判定し、背景マクロブロックに書き換える（ステップＳ４０６）。周囲８マクロブロックのうち一つでもＴＵＲＥがあれば、雑音とは判定せず、次のマクロブロックに移る。なお、画面の外側については背景マクロブロックとして仮定している。
【００４４】
［移動物体包含処理ステップＳ３０２について］
図７〜図１１は、図５中の移動物体包含処理ステップＳ３０２の具体的な処理手順を示すフローチャートである。ここで、ｎは移動物体の数を示すカウンタ値である。Ｓ１〜Ｓ４は移動物体を包含する長方形を探索する範囲を示すパラメータであり、Ｓ１，Ｓ２は垂直方向のアドレスの始点と終点、Ｓ３，Ｓ４は水平方向のアドレスの始点と終点である。
【００４５】
図７に示すように、まず探索範囲としてフレーム全体を指定するように、初期化を行う（ステップＳ５０１）。次に、指定された探索範囲で移動物体を包含する最小の長方形を探索する関数Rectangularを呼び出す（ステップＳ５０２）。
【００４６】
図８〜図１１は、関数Rectangularの処理内容を示している。関数Rectangularは、探索範囲Ｓ１〜Ｓ４、移動物体の数ｎ、各マクロブロックの背景判定結果が格納された２次元配列Ｍを入力とし、探索結果の長方形のアドレスを格納した１次元配列Ｂ１〜Ｂ４と移動物体の数ｎを出力とする。
【００４７】
ここで、１次元配列ＨＶは垂直方向の非背景マクロブロックの数のヒストグラムを作成するための作業配列であり、１次元配列ＨＨは水平方向の非背景マクロブロックの数のヒストグラムを作成するための作業配列である。また、変数ＶＦＬＡＧは水平方向のヒストグラムの値が０でない状態のときにＴＲＵＥとなり、値が０のときにＦＡＬＳＥとなるように変更されるフラグであり、変数ＨＦＬＡＧは垂直方向のヒストグラムの値が０でない状態のときにＴＲＵＥとなり、値が０のときにＦＡＬＳＥとなるように変更されるフラグである。
【００４８】
まず、垂直方向の非背景マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ１〜Ｓ２の範囲を値０で初期化する（ステップＳ６０１）。次のＬＯＯＰ１とＬＯＯＰ２の２重ループ（Ｓ６０２〜Ｓ６０７）内では、探索範囲での垂直方向の非背景マクロブロックの数のヒストグラムＨＶ［ｉ］を作成している。すなわち、マクロブロック毎の背景判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ６０４）、値がＴＵＲＥ、つまり非背景物体マクロブロックならばＨＶ［ｉ］をプラス１し（ステップＳ６０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。
【００４９】
次に、上記のようにして作成された垂直方向のヒストグラムＨＶ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＶＦＬＡＧをＦＡＬＳＥにセットする（ステップＳ６０８）。
次に、探索範囲Ｓ１→Ｓ２の順序で、ヒストグラムＨＶ［ｉ］が０でなく、フラグＶＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ６１０）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の垂直方向の始点の候補となるので、１次元配列Ｂ１［ｎ］にアドレスｉを格納し、フラグＶＦＬＡＧをＴＵＲＥにセットする（ステップＳ６１１）。
【００５０】
次に、ヒストグラムＨＶ［ｉ］が０あるいは探索範囲の始点で、フラグＶＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ６１２）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の垂直方向の終点の候補となるので、もしヒストグラムＨＶ［ｉ］が０の場合、１次元配列Ｂ２［ｎ］にアドレスｉ−１を格納し（ステップＳ６１４）、そうでない場合は１次元配列Ｂ２［ｎ］にアドレスｉを格納する（６１５）。そして、フラグＶＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ６１１）。
【００５１】
次に、今度は水平方向の非背景マクロブロックの数のヒストグラムＨＨ［ｉ］を作成するための作業配列ＨＶの探索範囲であるＳ３〜Ｓ４の範囲を値０で初期化する（ステップＳ６１７）。次のＬＯＯＰ４とＬＯＯＰ５の２重ループ（Ｓ６１８〜Ｓ６２３）では、探索範囲での水平方向の非背景マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の背景判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ６０４）、値がＴＵＲＥ、つまり非背景マクロブロックならばＨＨ［ｉ］をプラス１し（ステップＳ６０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。
【００５２】
次に、作成された水平方向のヒストグラムＨＨ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＨＦＬＡＧをＦＡＬＳＥにセットする（ステップＳ６２４）。
次に、探索範囲Ｓ３→Ｓ４の順序で、ヒストグラムＨＨ［ｉ］が０でなく、フラグＨＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ６２６）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の水平方向の始点の候補となるので、１次元配列Ｂ３［ｎ］にアドレスｊを格納し、フラグＨＦＬＡＧをＴＵＲＥにセットする（ステップＳ６２７）。
【００５３】
次に、ヒストグラムＨＨ［ｉ］が０あるいは探索範囲の終点で、フラグＨＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ６２８）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の水平方向の終点の候補となるので、ヒストグラムＨＨ［ｉ］が０の場合は１次元配列Ｂ４［ｎ］にアドレスｊ−１を格納し（ステップＳ６３０）、そうでない場合は１次元配列Ｂ４［ｎ］にアドレスｊを格納する（ステップＳ６３１）。そして、フラグＨＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ６３２）。
【００５４】
ここで、一通りの垂直方向のヒストグラムＨＶ［ｉ］と水平方向のヒストグラムＨＨ［ｉ］による探索が終了したので、次に探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致するかをチェックし（ステップＳ６３３）、一致する場合はこれ以上探索する範囲がないので、最小の長方形が求まっていると判定する（ステップＳ６３４）。そして、移動物体の数を表すｎをプラス１し（ステップＳ６３５）、次の移動物体の探索に移る。
【００５５】
探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致しない場合、探索結果の範囲にまだ複数の移動物体が存在するということなので、探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］を探索範囲Ｓ１〜Ｓ４に移し替え（ステップＳ６３７）、再び関数Rectangularを呼び出す（ステップＳ６３７）。
【００５６】
図１２は、このような処理手順によって移動物体判定部２０３で得られる判定結果の例である。ここでは、２つの移動物体を判定している。それぞれの判定結果は、この例では図１２に示されるようにマクロブロックのアドレスの原点はフレームの左上であり、Ｂ１［０］〜Ｂ４［０］とＢ１［１］〜Ｂ４［１］のような配置で移動物体を判定している。
【００５７】
（移動物体合成表示処理ステップＳ１０３について）
図１３は、図２中の移動物体合成表示処理ステップＳ１０３の具体的な処理手順を示している。移動物体合成表示部２０４では、移動物体判定部２０３で判定された移動物体の領域を示す情報と再生動画像信号を合成した画像を作成する。ここで、ｎは移動物体判定部２０３で求めたフレーム内の移動物体数を示している。処理の流れとしては、移動物体毎にＢ１［ｉ］〜Ｂ４［ｉ］が移動物体の４角のマクロブロックを表しているので、それを囲むような長方形の白い線を描いて再生画像と合成する（ステップＳ６０２）。
【００５８】
図１４は、このようにして移動物体合成表示部２０４によって作成され表示される画像の例であり、再生画像中に存在する二つの移動物体（この例では人間）を囲むように白い線が表示されている。
【００５９】
なお、この例では再生画像信号の表示画面上に、移動物体の領域を示す情報として移動物体の領域を囲む線を表示するようにしたが、例えば移動物体の領域全体を他の領域と色や輝度を異ならせて表示するなどにより移動物体の領域を示すようにしてもよく、要するに移動物体の領域が他の領域と区別できるように表示を行えばよい。その他、本発明は種々変形して実施が可能である。
【００６０】
【発明の効果】
以上説明したように、本発明によれば高速かつ安定して精度よく動画像内の移動物体を検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る動画像内の移動物体検出装置の構成を示すブロック図
【図２】同実施形態における移動物体検出部の概略的な処理手順を示すフローチャート
【図３】同実施形態におけるマクロブロック背景判定部の処理手順を示すフローチャート
【図４】同実施形態における背景メモリの更新手順を示すフローチャート
【図５】同実施形態における移動物体判定部の概略的な処理手順を示すフローチャート
【図６】同実施形態における移動物体判定部での雑音除去処理手順を示すフローチャート
【図７】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図８】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図９】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図１０】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図１１】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図１２】同実施形態における移動物体判定部の判定結果の例を示す図
【図１３】同実施形態における移動物体合成表示部の処理手順を示すフローチャート
【図１４】同実施形態における移動物体合成表示部の表示結果の例を示す図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
２００…移動物体検出部
２０１…マクロブロック背景判定部
２０２…第１の相関計算器
２０３…移動物体判定部
２０４…第２の相関計算器
２０５…背景メモリ
２０６…スイッチ
２０７…移動物体合成表示部
【発明の属する技術分野】
この発明は、動画像内の移動物体検出装置に係り、特に動画像復号化装置の出力から動画像内の移動物体を検出する装置に関する。
【０００２】
【従来の技術】
動画像内に存在する移動物体を検出するためには、一般に画素毎の動きを調べる必要がある。しかし、画素毎の動きを調べる処理は実際には非常に多くの計算量を必要とする。例えば、動画像圧縮の国際標準であるＩＴＵ−Ｔ Ｈ．２６１，Ｈ．２６３，ＩＳＯ／ＩＥＣ ＭＰＥＧ−４等でよく用いられるＣＩＦフォーマットの場合、横３５２画素×縦２８８画素の１０１，３７６画素という非常に多くの画素について、動きを検出する必要がある。このような計算量の多い処理に対しては、専用のハードウェアを用意する必要があり、コスト面でも大きな問題があった。
【０００３】
そこで、特開平９−２５２４６７号公報「移動物体検出装置」では、動画像符号化装置で作られた動きベクトルから、移動物体を検出する手法が考案されている。この方法によれば、動画像符号化装置で作成されるブロック毎の動きベクトルを移動物体の検出に流用できるので、移動物体検出のために特別に画素の動きを調べる必要がなく、必要な計算量を大幅に減らすことができる。
【０００４】
しかし、このような動きベクトルを利用した移動物体検出方法では、動きベクトルが大きいブロックや書き換わっているブロックが必ずしも移動物体とは限らず、また移動物体の内部のブロックでも、書き換わっていないブロックが存在することがあるため、移動物体の監視などに適用することを考えた場合、必ずしも必要な映像が得ることができなかった。
【０００５】
【発明が解決しようとする課題】
上述したように、従来技術によると移動物体を検出するためには、多くの計算量を必要とするという問題点があり、動画像符号化データを用いた方法では精度に問題があった。
【０００６】
本発明は、高速かつ安定に精度よく移動物体を検出することのできる動画像移動物体検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係る動画像内の移動物体検出方法は、動画像信号を圧縮した符号化データを復号して得られた再生画像信号から、所定の単位領域（例えば、マクロブロック）内の画像信号が背景領域か非背景領域かを判定し、この背景領域か非背景領域かの判定結果から移動物体の領域を判定することを基本的な特徴とする。また、このようにして判定された移動物体の領域を示す情報を再生画像信号の表示画面上に表示することを特徴とする。
【０００８】
本発明に係る動画像内の移動物体検出装置は、動画像信号を圧縮した符号化データを復号する動画像復号化手段から得られた再生画像信号の所定の単位領域内の画像信号が背景領域か非背景領域かを判定する背景／非背景判定手段と、この背景／非背景判定手段による単位領域毎の判定結果から移動物体の領域を判定する移動物体判定手段とを有することを基本的な特徴とする。また、移動物体判定手段により判定された移動物体の領域を示す情報を再生画像信号の表示画面上に表示する手段をさらに有することを特徴とする。
【０００９】
より具体的には、本発明に係る動画像内の移動物体検出装置は、再生画像信号の現フレームと１フレーム前の信号の相関値を単位領域毎に計算する第１の相関計算手段と、再生画像信号の背景部分である背景画像信号を記憶する記憶手段と、再生画像信号の現フレームと記憶手段に記憶されている背景画像信号との相関値を単位領域毎に計算する第２の相関計算手段とをさらに有し、背景／非背景判定手段では、動画像復号化手段から得られた符号化モードを示すモード情報と第１及び第２の相関計算手段により得られた相関値に基づいて、再生画像信号の所定の単位領域内の画像信号が背景領域か非背景領域かを判定する。
【００１０】
また、背景／非背景判定手段により、再生画像信号の所定の単位領域内の画像信号が背景領域であると判定された場合に、記憶手段に記憶されている背景画像信号を該背景領域と判定された単位領域の画像信号によって更新する更新手段をさらに有する。
【００１１】
移動物体判定手段では、例えば背景／非背景判定手段により非背景領域と判定された単位領域が隣接して複数個存在する領域を移動物体の領域と判定する。
【００１２】
このように本発明では、動画像復号化技術に移動物体の検出を組み合わせ、さらに移動物体の内部や移動物体に隠されていた背景などを判定できるようになるため、少ない計算量で高速に、かつ安定して精度よく動画像内の移動物体検出が可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係る動画像移動物体検出装置の構成を示すブロック図である。この動画像移動物体検出装置は、大きく動画像復号化部１００と移動物体検出部２００から構成されている。以下、動画像復号化部１００および移動物体検出部２００について順次説明する。なお、以下の説明はＭＰＥＧ方式に基づく動画像復号化装置に本発明を適用した場合であり、再生画像信号の単位領域はＭＰＥＧ方式でいうマクロブロックに相当する。
【００１４】
（動画像復号化部１００について）
動画像復号化部１００は、例えばＭＰＥＧ方式に基づく動画像復号化装置、いわゆるＭＰＥＧデコーダであり、この動画像復号化部１００には図示しないＭＰＥＧエンコーダのような動画像符号化部により動画像信号を圧縮符号化して得られた符号化データが伝送路または蓄積系を介して入力される。
【００１５】
入力された符号化データは、入力バッファ１０１に一度蓄えられる。入力バッファ１０１から読み出された符号化データは、多重化分離部１０２により１フレーム毎にシンタクスに基づいて分離された後、可変長復号化部１０３に入力される。可変長復号化部１０３では、可変長符号化されている量子化ＤＣＴ係数情報、モード情報および動きベクトル情報などの各シンタクスの情報がマクロブロック毎に復号される。なお、以降の説明で処理対象となっている単位領域であるマクロブロックを注目マクロブロックという。
【００１６】
可変長復号化部１０３において、注目マクロブロックのモードがＩＮＴＲＡ（フレーム内符号化）ならば、可変長復号化部１０３から出力されるモード選択情報に従って、モード切替スイッチ１０９がオフ状態とされる。この場合、可変長符号化部１０３で復号化された量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、再生画像信号が生成される。この再生画像信号は、加算器１０６を経由してフレームメモリ１０７に参照画像信号として蓄積されると共に、移動物体検出部２００内の移動物体合成表示部２０７に入力される。
【００１７】
一方、可変長復号化部１０３において、注目マクロブロックのモードがＩＮＴＥＲ（フレーム間符号化）及びＮＯＴ＿ＣＯＤＥＤ（非符号化ブロック）ならば、可変長復号化部１０３から出力されるモード情報に従って、モード切替スイッチ１０９がオン状態とされる。この場合は、可変長復号化部１０３で復号された予測誤差信号についての量子化ＤＣＴ係数情報が逆量子化部１０４で逆量子化され、さらにＩＤＣＴ部１０５で逆離散コサイン変換されることにより、予測誤差信号が生成される。
【００１８】
そして、可変長復号化部１０３で復号化された動きベクトル情報に基づいて、動き補償部１０８においてフレームメモリ１０７からの参照画像信号について動き補償がなされ、この動き補償後の参照画像信号とＩＤＣＴ部１０５からの予測誤差信号が加算器１０６で加算されることにより、再生画像信号が生成される。この再生画像信号は、フレームメモリ１０７に参照画像信号として蓄積されると共に、移動物体検出部２００内の移動物体合成表示部２０７に入力される。
【００１９】
（移動物体検出部２００について）
一方、移動物体検出部２００は、マクロブロック背景判定部２０１、第１の相関計算器２０２、移動物体判定部２０３、第２の相関計算器２０４、背景メモリ２０５、スイッチ２０６および移動物体合成表示部２０７からなる。
【００２０】
移動物体検出部２００では、図２のフローチャートに示されるように、１フレーム毎に注目マクロブロックが背景マクロブロックか非背景マクロブロックかを判定するマクロブロック背景判定処理（ステップＳ１０１）、このマクロブロック背景判定結果に基づく移動物体判定処理（ステップＳ１０２）および判定された移動物体と復号された再生画像信号を合成表示する移動物体合成表示処理（ステップＳ１０３）の３つの処理をマクロブロック背景判定部２０１、移動物体判定部２０３および移動物体合成表示部２０７でそれぞれ行う。
【００２１】
マクロブロック背景判定部２０１では、可変長復号部１０３で復号されたモード情報と、第１の相関計算器２０２で求められた、加算器１０６より出力される再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値と、第２の相関計算器２０４で求められた、加算器１０６より出力される再生画像信号と背景メモリ２０５に保持されている背景画像信号との相関値から、フレーム内のマクロブロック毎の背景／非背景の判定を行う。
【００２２】
背景メモリ２０５に保持されている背景画像信号は、マクロブロック背景判定部２０１の判定結果に応じてオン・オフされる背景メモリ更新スイッチ２０６を介して、再生画像信号により更新される。
【００２３】
（マクロブロック背景判定処理ステップＳ１０１について）
次に、図３に示すフローチャートを参照して、図２中のマクロブロック背景判定処理ステップＳ１０１の具体的な処理手順について説明する。図３において、ｉ，ｊはフレーム内の垂直方向、水平方向のマクロブロックアドレスをそれぞれ表し、Ｖ＿ＮＭＢ，Ｈ＿ＮＭＢはフレーム内の垂直方向、水平方向のマクロブロック数をそれぞれ表している。Ｍ［ｉ］［ｊ］は、各マクロブロックが背景マクロブロックか非背景マクロブロックかの情報を蓄える２次元配列であり、ＴＲＵＥならば非背景マクロブロック、ＦＡＬＳＥならば背景マクロブロックをそれぞれ表す。
【００２４】
まず、マクロブロック背景判定部２０１において、２次元配列Ｍ［ｉ］［ｊ］の初期値をＦＡＬＳＥにセットする（ステップＳ２００）。次に、マクロブロック背景判定部２０１はマクロブロック毎に可変長復号化部１０３からのモード情報ＭＯＤＥの判定を行う（ステップＳ２０３）。
【００２５】
ステップＳ２０３による判定の結果、注目マクロブロックのモード情報ＭＯＤＥがＣＯＤＥＤ（符号化ブロック）ならば、第１の相関計算器２０２により加算器１０６を介して得られるＣＯＤＥＤマクロブロックの再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値を計算し、この相関値と閾値ＴＨ１との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０４）。
【００２６】
この比較の結果、もし第１の相関計算器２０２で計算された相関値が閾値ＴＨ１よりも大きい場合、マクロブロック背景判定部２０１は注目マクロブロックが非背景マクロブロックであると判定し、２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入する（ステップＳ２０８）。第１の相関計算器２０２で計算された相関値が閾値ＴＨ１以下の場合、さらに注目マクロブロックが背景マクロブロックか非背景マクロブロックかを判定するためにステップＳ２０６へ移行する。
【００２７】
一方、ステップＳ２０３による判定の結果、注目マクロブロックのモード情報ＭＯＤＥがＮＯＴ＿ＣＯＤＥＤ（符号化不要）ならば、マクロブロック背景判定部２０１は注目マクロブロックと同じ位置の１フレーム前のマクロブロックの判定結果が背景マクロブロックであったかどうか、つまり２次元配列Ｍ［ｉ］［ｊ］がＦＡＬＳＥかどうかを判定する（ステップＳ２０５）。このステップＳ２０５による判定の結果、注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックだったならば、注目マクロブロックも背景マクロブロックであると判定し、２次元配列Ｍ［ｉ］［ｊ］にＦＡＬＳＥを代入する（ステップＳ２０９）。
【００２８】
ステップＳ２０５による判定の結果、もし注目マクロブロックと同じ位置の１フレーム前のマクロブロックが背景マクロブロックでない場合は、次に注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０５内に存在するかのチェックを行う（ステップＳ２０６）。
【００２９】
ここで、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０５に存在しない場合、注目マクロブロックを新たな背景マクロブロックであると判定してステップＳ２０９へ移行する。また、注目マクロブロックの位置に対応する背景画像信号が背景メモリ２０５内に存在する場合は、第２の相関計算器２０４により注目マクロブロックの画像信号と背景メモリ２０５内の注目マクロブロックに対応する位置の背景画像信号との相関値を計算し、その相関値と閾値ＴＨ２との比較をマクロブロック背景判定部２０１で行う（ステップＳ２０７）。
【００３０】
ステップＳ２０７での比較の結果、第２の相関計算器２０４より計算された相関値が閾値ＴＨ２よりも大きい場合、注目マクロブロックは非背景マクロブロックであると判定して２次元配列Ｍ［ｉ］［ｊ］にＴＲＵＥを代入し（ステップＳ２０８）、相関値が閾値ＴＨ２以下の場合は、注目マクロブロックは背景マクロブロックであると判定し、ステップＳ２０９へ移行する。背景マクロブロックと判定した注目マクロブロックについては、背景メモリ２０５内の注目マクロブロックに対応する位置の背景画像信号の更新を行う（ステップＳ２１０）。
【００３１】
本実施形態では、第１、第２の相関計算器２０２，２０４での相関値の計算として、正規化相関値を用いる方法を例として示す。正規化相関値は、次式によって求められる。
【００３２】
【数１】
ここで、Ｆc （ｉ，ｊ）は注目マクロブロックの再生画像信号の各画素の輝度値、Ｆr （ｉ，ｊ）は相関演算の対象となるフレームの同一位置のマクロブロックの各画素の輝度値である。また、μc ，μr ，σc ，σr はそれぞれのマクロブロック内の各画素の輝度の平均値及び標準偏差である。
【００３４】
なお、第１の相関計算器２０２での加算器１０６より出力される再生画像信号とフレームメモリ１０７に保持されている１フレーム前の参照画像信号との相関値の計算に当たっては、再生画像信号と１フレーム前の参照画像信号との相関値を直接計算してもよいが、可変長復号化部１０３からの動きベクトル情報およびＤＣＴ係数情報から、注目マクロブロックの動きベクトルの絶対値和Σ｜ＭＶ｜およびＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜を計算し、それぞれの閾値と比較を行う方法であってもよい。この場合、動きベクトルの絶対値和Σ｜ＭＶ｜およびＤＣＴ係数の絶対値和Σ｜ＣＯＦ｜が閾値よりも大きい場合、非背景マクロブロックと判定する。
【００３５】
［背景メモリ更新ステップＳ２０９について］
図４に示すフローチャートは、図３中の背景メモリ更新ステップＳ２０９の処理手順を示している。図４において、Ｆc （ｉ，ｊ）は加算器１０６から出力される注目マクロブロックの再生画像信号の各画素の輝度値、Ｂ（ｉ，ｊ）は背景メモリ２０５内の背景画像信号の各画素の輝度値をそれぞれ表す。
【００３６】
まず、既に背景メモリ２０５に注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれているか否かを判定し（ステップＳ７０１）、書き込まれている場合にはステップＳ７０２〜Ｓ７０６のループにより、注目マクロブロックの再生画像信号の各画素の輝度値Ｆc （ｉ，ｊ）を重み係数ｗ（０以上、１以下の実数）で重み付け平均して、背景メモリ２０５内のＢ（ｉ，ｊ）に足し込む（ステップＳ７０４）。
【００３７】
一方、背景メモリ２０５にまだ注目マクロブロックと同一位置のマクロブロックの背景画像信号が書き込まれていない場合には、ステップＳ７０７〜Ｓ７１１のループにより、注目マクロブロックの再生画像信号Ｆc （ｉ，ｊ）を背景メモリ２０５内のＢ（ｉ，ｊ）に書き込む（ステップＳ７０９）。
【００３８】
（移動物体判定処理ステップＳ１０２について）
次に、図５に示すフローチャートを参照して、図２中の移動物体判定処理ステップＳ１０２の具体的な処理手順について説明する。移動物体判定部２０３においては、マクロブロック背景判定部２０２からのマクロブロック毎の背景／非背景判定結果から移動物体の判定を行う。図５に示すように、移動物体判定処理は雑音除去処理（ステップＳ３０１）と移動物体包含処理（ステップＳ３０２）の２つから成り立っている。
【００３９】
雑音除去処理ステップＳ３０１では、背景画像内の小物体の揺らぎや画像取り込み時の雑音によって注目マクロブロックが非背景マクロブロックと誤検出されてしまうのを防止するために、周囲８マクロブロックが全て静止している非背景マクロブロックを雑音とみなして取り除く処理を行う。
【００４０】
移動物体包含処理ステップＳ３０２では、雑音除去処理ステップＳ３０１で雑音を取り除いた後の背景／非背景判定結果から、非背景マクロブロックが隣接して存在する領域（すなわち、複数の非背景マクロブロックが連結している領域）を包含する最小の長方形、すなわち移動物体を包含する長方形を検出する処理を行う。
【００４１】
［雑音除去処理ステップＳ３０１について］
図６に示すフローチャートは、図５中の雑音除去処理ステップＳ３０１の具体的な処理手順を示している。図３と同様に、ｉ，ｊはフレーム内の垂直方向、水平方向のマクロブロックのアドレスをそれぞれ表し、Ｖ＿ＮＭＢ，Ｈ＿ＮＭＢはフレーム内の垂直方向、水平方向のマクロブロック数をそれぞれ表している。２次元配列Ｍ［ｉ］［ｊ］は、各マクロブロックが非背景マクロブロックか否かの情報を蓄える配列であり、ＴＲＵＥならば非背景マクロブロック、ＦＡＬＳＥならば背景マクロブロックを表す。
【００４２】
まず、ステップＳ４０１〜Ｓ４０２を経てマクロブロック毎の背景判定結果である２次元配列Ｍ［ｉ］［ｊ］をみる（ステップＳ４０３）。ここで、２次元配列Ｍ［ｉ］［ｊ］の値がＦＡＬＳＥ、つまり背景マクロブロックならば、そのマクロブロックでは何も行わず、次のマクロブロックに移る。
【００４３】
また、２次元配列Ｍ［ｉ］［ｊ］の値がＴＵＲＥ、つまり非背景マクロブロックならば、そのマクロブロックの周囲８マクロブロックの背景判定結果をチェックし（ステップＳ４０５）、全てＦＡＬＳＥ、つまり背景マクロブロックならば、そのマクロブロックは雑音であると判定し、背景マクロブロックに書き換える（ステップＳ４０６）。周囲８マクロブロックのうち一つでもＴＵＲＥがあれば、雑音とは判定せず、次のマクロブロックに移る。なお、画面の外側については背景マクロブロックとして仮定している。
【００４４】
［移動物体包含処理ステップＳ３０２について］
図７〜図１１は、図５中の移動物体包含処理ステップＳ３０２の具体的な処理手順を示すフローチャートである。ここで、ｎは移動物体の数を示すカウンタ値である。Ｓ１〜Ｓ４は移動物体を包含する長方形を探索する範囲を示すパラメータであり、Ｓ１，Ｓ２は垂直方向のアドレスの始点と終点、Ｓ３，Ｓ４は水平方向のアドレスの始点と終点である。
【００４５】
図７に示すように、まず探索範囲としてフレーム全体を指定するように、初期化を行う（ステップＳ５０１）。次に、指定された探索範囲で移動物体を包含する最小の長方形を探索する関数Rectangularを呼び出す（ステップＳ５０２）。
【００４６】
図８〜図１１は、関数Rectangularの処理内容を示している。関数Rectangularは、探索範囲Ｓ１〜Ｓ４、移動物体の数ｎ、各マクロブロックの背景判定結果が格納された２次元配列Ｍを入力とし、探索結果の長方形のアドレスを格納した１次元配列Ｂ１〜Ｂ４と移動物体の数ｎを出力とする。
【００４７】
ここで、１次元配列ＨＶは垂直方向の非背景マクロブロックの数のヒストグラムを作成するための作業配列であり、１次元配列ＨＨは水平方向の非背景マクロブロックの数のヒストグラムを作成するための作業配列である。また、変数ＶＦＬＡＧは水平方向のヒストグラムの値が０でない状態のときにＴＲＵＥとなり、値が０のときにＦＡＬＳＥとなるように変更されるフラグであり、変数ＨＦＬＡＧは垂直方向のヒストグラムの値が０でない状態のときにＴＲＵＥとなり、値が０のときにＦＡＬＳＥとなるように変更されるフラグである。
【００４８】
まず、垂直方向の非背景マクロブロックの数のヒストグラムを作成するための作業配列ＨＶの探索範囲であるＳ１〜Ｓ２の範囲を値０で初期化する（ステップＳ６０１）。次のＬＯＯＰ１とＬＯＯＰ２の２重ループ（Ｓ６０２〜Ｓ６０７）内では、探索範囲での垂直方向の非背景マクロブロックの数のヒストグラムＨＶ［ｉ］を作成している。すなわち、マクロブロック毎の背景判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ６０４）、値がＴＵＲＥ、つまり非背景物体マクロブロックならばＨＶ［ｉ］をプラス１し（ステップＳ６０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。
【００４９】
次に、上記のようにして作成された垂直方向のヒストグラムＨＶ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＶＦＬＡＧをＦＡＬＳＥにセットする（ステップＳ６０８）。
次に、探索範囲Ｓ１→Ｓ２の順序で、ヒストグラムＨＶ［ｉ］が０でなく、フラグＶＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ６１０）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の垂直方向の始点の候補となるので、１次元配列Ｂ１［ｎ］にアドレスｉを格納し、フラグＶＦＬＡＧをＴＵＲＥにセットする（ステップＳ６１１）。
【００５０】
次に、ヒストグラムＨＶ［ｉ］が０あるいは探索範囲の始点で、フラグＶＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ６１２）。この条件に当てはまるのは、ヒストグラムＨＶ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の垂直方向の終点の候補となるので、もしヒストグラムＨＶ［ｉ］が０の場合、１次元配列Ｂ２［ｎ］にアドレスｉ−１を格納し（ステップＳ６１４）、そうでない場合は１次元配列Ｂ２［ｎ］にアドレスｉを格納する（６１５）。そして、フラグＶＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ６１１）。
【００５１】
次に、今度は水平方向の非背景マクロブロックの数のヒストグラムＨＨ［ｉ］を作成するための作業配列ＨＶの探索範囲であるＳ３〜Ｓ４の範囲を値０で初期化する（ステップＳ６１７）。次のＬＯＯＰ４とＬＯＯＰ５の２重ループ（Ｓ６１８〜Ｓ６２３）では、探索範囲での水平方向の非背景マクロブロックの数のヒストグラムを作成している。つまり、マクロブロック毎の背景判定結果Ｍ［ｉ］［ｊ］の値を比較し（ステップＳ６０４）、値がＴＵＲＥ、つまり非背景マクロブロックならばＨＨ［ｉ］をプラス１し（ステップＳ６０５）、ＦＡＬＳＥの場合は何もしないという動作をとっている。
【００５２】
次に、作成された水平方向のヒストグラムＨＨ［ｉ］の中から、０でない連続した部分を探索する。まず、フラグＨＦＬＡＧをＦＡＬＳＥにセットする（ステップＳ６２４）。
次に、探索範囲Ｓ３→Ｓ４の順序で、ヒストグラムＨＨ［ｉ］が０でなく、フラグＨＦＬＡＧがＦＡＬＳＥであるかをチェックする（ステップＳ６２６）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の始点の部分である。従って、探索している長方形の水平方向の始点の候補となるので、１次元配列Ｂ３［ｎ］にアドレスｊを格納し、フラグＨＦＬＡＧをＴＵＲＥにセットする（ステップＳ６２７）。
【００５３】
次に、ヒストグラムＨＨ［ｉ］が０あるいは探索範囲の終点で、フラグＨＦＬＡＧがＴＵＲＥであるかをチェックする（ステップＳ６２８）。この条件に当てはまるのは、ヒストグラムＨＨ［ｉ］が０でない連続した部分の終点の部分である。従って、探索している長方形の水平方向の終点の候補となるので、ヒストグラムＨＨ［ｉ］が０の場合は１次元配列Ｂ４［ｎ］にアドレスｊ−１を格納し（ステップＳ６３０）、そうでない場合は１次元配列Ｂ４［ｎ］にアドレスｊを格納する（ステップＳ６３１）。そして、フラグＨＦＬＡＧを再びＦＡＬＳＥにセットする（ステップＳ６３２）。
【００５４】
ここで、一通りの垂直方向のヒストグラムＨＶ［ｉ］と水平方向のヒストグラムＨＨ［ｉ］による探索が終了したので、次に探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致するかをチェックし（ステップＳ６３３）、一致する場合はこれ以上探索する範囲がないので、最小の長方形が求まっていると判定する（ステップＳ６３４）。そして、移動物体の数を表すｎをプラス１し（ステップＳ６３５）、次の移動物体の探索に移る。
【００５５】
探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］が探索範囲Ｓ１〜Ｓ４と一致しない場合、探索結果の範囲にまだ複数の移動物体が存在するということなので、探索結果Ｂ１［ｎ］〜Ｂ４［ｎ］を探索範囲Ｓ１〜Ｓ４に移し替え（ステップＳ６３７）、再び関数Rectangularを呼び出す（ステップＳ６３７）。
【００５６】
図１２は、このような処理手順によって移動物体判定部２０３で得られる判定結果の例である。ここでは、２つの移動物体を判定している。それぞれの判定結果は、この例では図１２に示されるようにマクロブロックのアドレスの原点はフレームの左上であり、Ｂ１［０］〜Ｂ４［０］とＢ１［１］〜Ｂ４［１］のような配置で移動物体を判定している。
【００５７】
（移動物体合成表示処理ステップＳ１０３について）
図１３は、図２中の移動物体合成表示処理ステップＳ１０３の具体的な処理手順を示している。移動物体合成表示部２０４では、移動物体判定部２０３で判定された移動物体の領域を示す情報と再生動画像信号を合成した画像を作成する。ここで、ｎは移動物体判定部２０３で求めたフレーム内の移動物体数を示している。処理の流れとしては、移動物体毎にＢ１［ｉ］〜Ｂ４［ｉ］が移動物体の４角のマクロブロックを表しているので、それを囲むような長方形の白い線を描いて再生画像と合成する（ステップＳ６０２）。
【００５８】
図１４は、このようにして移動物体合成表示部２０４によって作成され表示される画像の例であり、再生画像中に存在する二つの移動物体（この例では人間）を囲むように白い線が表示されている。
【００５９】
なお、この例では再生画像信号の表示画面上に、移動物体の領域を示す情報として移動物体の領域を囲む線を表示するようにしたが、例えば移動物体の領域全体を他の領域と色や輝度を異ならせて表示するなどにより移動物体の領域を示すようにしてもよく、要するに移動物体の領域が他の領域と区別できるように表示を行えばよい。その他、本発明は種々変形して実施が可能である。
【００６０】
【発明の効果】
以上説明したように、本発明によれば高速かつ安定して精度よく動画像内の移動物体を検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る動画像内の移動物体検出装置の構成を示すブロック図
【図２】同実施形態における移動物体検出部の概略的な処理手順を示すフローチャート
【図３】同実施形態におけるマクロブロック背景判定部の処理手順を示すフローチャート
【図４】同実施形態における背景メモリの更新手順を示すフローチャート
【図５】同実施形態における移動物体判定部の概略的な処理手順を示すフローチャート
【図６】同実施形態における移動物体判定部での雑音除去処理手順を示すフローチャート
【図７】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図８】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図９】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図１０】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図１１】同実施形態における移動物体判定部での移動物体包含処理手順を示すフローチャート
【図１２】同実施形態における移動物体判定部の判定結果の例を示す図
【図１３】同実施形態における移動物体合成表示部の処理手順を示すフローチャート
【図１４】同実施形態における移動物体合成表示部の表示結果の例を示す図
【符号の説明】
１００…動画像復号化部
１０１…入力バッファ
１０２…多重化分離部
１０３…可変長復号化部
１０４…逆量子化部
１０５…ＩＤＣＴ部
１０６…加算器
１０７…フレームメモリ
１０８…動き補償部
１０９…モード切替スイッチ
２００…移動物体検出部
２０１…マクロブロック背景判定部
２０２…第１の相関計算器
２０３…移動物体判定部
２０４…第２の相関計算器
２０５…背景メモリ
２０６…スイッチ
２０７…移動物体合成表示部
Claims (4)
- 動画像信号を圧縮した符号化データを復号する動画像復号化手段から得られた再生画像信号の所定の単位領域内の画像信号が背景領域か非背景領域かを判定する背景／非背景判定手段と、
前記背景／非背景判定手段による前記単位領域毎の判定結果から移動物体の領域を判定する移動物体判定手段と、
前記再生画像信号の現フレームと１フレーム前の信号の相関値を前記単位領域毎に計算する第１の相関計算手段と、
前記再生画像信号の背景部分である背景画像信号を記憶する記憶手段と、
前記再生画像信号の現フレームと前記記憶手段に記憶されている背景画像信号との相関値を前記単位領域毎に計算する第２の相関計算手段とを有し、
前記背景／非背景判定手段は、前記動画像復号化手段から得られた符号化モードがＣＯＤＥＤ及びＮＯＴ＿ＣＯＤＥＤのいずれであるかを示すモード情報が、
前記ＣＯＤＥＤを示す場合には、（ａ）前記第１の相関計算手段により得られた相関値が第１の閾値より大きければ前記再生画像信号の所定の単位領域内の画像信号が非背景領域であると判定し、（ｂ）前記第１の相関計算手段により得られた相関値が前記第１の閾値以下であれば前記第２の相関計算手段により得られた相関値が第２の閾値より大きいか否かに基づいて非背景領域／背景領域を判定し、
前記ＮＯＴ＿ＣＯＤＥＤを示す場合には、（ｃ）前記第２の相関計算手段により得られた相関値が前記第２の閾値より大きいか否かに基づいて非背景領域／背景領域を判定する
ことを特徴とする動画像内の移動物体検出装置。 - 動画像信号を圧縮した符号化データを復号する動画像復号化手段から得られた再生画像信号の所定の単位領域内の画像信号が背景領域か非背景領域かを判定する背景／非背景判定手段と、
前記背景／非背景判定手段による前記単位領域毎の判定結果から移動物体の領域を判定する移動物体判定手段と、
前記移動物体判定手段により判定された移動物体の領域を示す情報を前記再生画像信号の表示画面上に表示する手段と、
前記再生画像信号の現フレームと１フレーム前の信号の相関値を前記単位領域毎に計算する第１の相関計算手段と、
前記再生画像信号の背景部分である背景画像信号を記憶する記憶手段と、
前記再生画像信号の現フレームと前記記憶手段に記憶されている背景画像信号との相関値を前記単位領域毎に計算する第２の相関計算手段とを有し、
前記背景／非背景判定手段は、前記動画像復号化手段から得られた符号化モードがＣＯＤＥＤ及びＮＯＴ＿ＣＯＤＥＤのいずれであるかを示すモード情報が、
前記ＣＯＤＥＤを示す場合には、（ａ）前記第１の相関計算手段により得られた相関値が第１の閾値より大きければ前記再生画像信号の所定の単位領域内の画像信号が非背景領域であると判定し、（ｂ）前記第１の相関計算手段により得られた相関値が前記第１の閾値以下であれば前記第２の相関計算手段により得られた相関値が第２の閾値より大きいか否かに基づいて非背景領域／背景領域を判定し、
前記ＮＯＴ＿ＣＯＤＥＤを示す場合には、（ｃ）前記第２の相関計算手段により得られた相関値が前記第２の閾値より大きいか否かに基づいて非背景領域／背景領域を判定する
ことを特徴とする動画像内の移動物体検出装置。 - 前記背景／非背景判定手段により、前記前記再生画像信号の所定の単位領域内の画像信号が背景領域であると判定された場合に、前記記憶手段に記憶されている背景画像信号を該背景領域と判定された単位領域の画像信号によって更新する更新手段をさらに有することを特徴とする請求項１または２のいずれか１項記載の動画像内の移動物体検出装置。
- 前記移動物体判定手段は、前記背景／非背景判定手段により非背景領域と判定された単位領域が隣接して複数個存在する領域を移動物体の領域と判定することを特徴とする請求項１または２のいずれか１項記載の動画像内の移動物体検出装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24885199A JP4157234B2 (ja) | 1999-09-02 | 1999-09-02 | 動画像内の移動物体検出装置 |
| US09/654,871 US6876701B1 (en) | 1999-09-02 | 2000-09-01 | Method for detecting a moving object in motion video and apparatus therefor |
| US10/937,774 US7292633B2 (en) | 1999-09-02 | 2004-09-10 | Method for detecting a moving object in motion video and apparatus therefor |
| US10/937,859 US7394852B2 (en) | 1999-09-02 | 2004-09-10 | Method for detecting a moving object in motion video and apparatus |
| US12/036,966 US20080159406A1 (en) | 1999-09-02 | 2008-02-25 | Method for detecting a moving object in motion video and apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24885199A JP4157234B2 (ja) | 1999-09-02 | 1999-09-02 | 動画像内の移動物体検出装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001076155A JP2001076155A (ja) | 2001-03-23 |
| JP4157234B2 true JP4157234B2 (ja) | 2008-10-01 |
Family
ID=17184378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24885199A Expired - Fee Related JP4157234B2 (ja) | 1999-09-02 | 1999-09-02 | 動画像内の移動物体検出装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (4) | US6876701B1 (ja) |
| JP (1) | JP4157234B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3732760B2 (ja) * | 2001-06-29 | 2006-01-11 | 株式会社東芝 | 物体認識装置及び物体認識方法 |
| KR100504808B1 (ko) * | 2002-11-14 | 2005-07-29 | 엘지전자 주식회사 | 동영상 코덱의 ｒｇｂ칼라 변환방법 |
| JP4155118B2 (ja) * | 2003-06-13 | 2008-09-24 | カシオ計算機株式会社 | 静止画合成装置、及び動画像からの静止画合成方法 |
| US8331445B2 (en) * | 2004-06-01 | 2012-12-11 | Qualcomm Incorporated | Method, apparatus, and system for enhancing robustness of predictive video codecs using a side-channel based on distributed source coding techniques |
| US8077769B2 (en) * | 2006-03-28 | 2011-12-13 | Sony Corporation | Method of reducing computations in transform and scaling processes in a digital video encoder using a threshold-based approach |
| JP4939890B2 (ja) * | 2006-10-02 | 2012-05-30 | 株式会社東芝 | 映像符号化装置、映像復号化装置及び映像復号化方法 |
| US8126063B2 (en) * | 2007-06-21 | 2012-02-28 | Samsung Electronics Co., Ltd. | System and method for still object detection based on normalized cross correlation |
| US8144247B2 (en) * | 2007-06-21 | 2012-03-27 | Samsung Electronics Co., Ltd. | Detection and interpolation of still objects in a video sequence |
| JP5567413B2 (ja) * | 2010-06-29 | 2014-08-06 | 国立大学法人電気通信大学 | 輪郭抽出システム、復号化装置及び輪郭抽出プログラム |
| PL411602A1 (pl) * | 2015-03-17 | 2016-09-26 | Politechnika Poznańska | System do estymacji ruchu na obrazie wideo i sposób estymacji ruchu na obrazie wideo |
| US9712828B2 (en) | 2015-05-27 | 2017-07-18 | Indian Statistical Institute | Foreground motion detection in compressed video data |
| US20180376212A1 (en) * | 2017-06-23 | 2018-12-27 | Sony Corporation | Modifying display region for people with vision impairment |
| US10650702B2 (en) | 2017-07-10 | 2020-05-12 | Sony Corporation | Modifying display region for people with loss of peripheral vision |
| US10805676B2 (en) | 2017-07-10 | 2020-10-13 | Sony Corporation | Modifying display region for people with macular degeneration |
| US10845954B2 (en) | 2017-07-11 | 2020-11-24 | Sony Corporation | Presenting audio video display options as list or matrix |
| CN110324721B (zh) * | 2019-08-05 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 一种视频数据处理方法、装置及存储介质 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3160848A (en) * | 1960-05-16 | 1964-12-08 | Jr Carroll L Key | Magnetostrictive transducer |
| GB9019538D0 (en) * | 1990-09-07 | 1990-10-24 | Philips Electronic Associated | Tracking a moving object |
| JP3258840B2 (ja) * | 1994-12-27 | 2002-02-18 | シャープ株式会社 | 動画像符号化装置および領域抽出装置 |
| US5886743A (en) * | 1994-12-28 | 1999-03-23 | Hyundai Electronics Industries Co. Ltd. | Object-by information coding apparatus and method thereof for MPEG-4 picture instrument |
| US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
| JPH09252467A (ja) | 1996-03-18 | 1997-09-22 | Toshiba Corp | 移動体検出装置 |
| JP3363039B2 (ja) * | 1996-08-29 | 2003-01-07 | ケイディーディーアイ株式会社 | 動画像内の移動物体検出装置 |
| US6208693B1 (en) * | 1997-02-14 | 2001-03-27 | At&T Corp | Chroma-key for efficient and low complexity shape representation of coded arbitrary video objects |
| US6249613B1 (en) * | 1997-03-31 | 2001-06-19 | Sharp Laboratories Of America, Inc. | Mosaic generation and sprite-based coding with automatic foreground and background separation |
| US6160848A (en) * | 1998-01-22 | 2000-12-12 | International Business Machines Corp. | Conditional replenishment device for a video encoder |
| US6301370B1 (en) * | 1998-04-13 | 2001-10-09 | Eyematic Interfaces, Inc. | Face recognition from video images |
| US6392694B1 (en) * | 1998-11-03 | 2002-05-21 | Telcordia Technologies, Inc. | Method and apparatus for an automatic camera selection system |
| US6952484B1 (en) * | 1998-11-30 | 2005-10-04 | Canon Kabushiki Kaisha | Method and apparatus for mark detection |
| US6618439B1 (en) * | 1999-07-06 | 2003-09-09 | Industrial Technology Research Institute | Fast motion-compensated video frame interpolator |
| US6545706B1 (en) * | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
-
1999
- 1999-09-02 JP JP24885199A patent/JP4157234B2/ja not_active Expired - Fee Related
-
2000
- 2000-09-01 US US09/654,871 patent/US6876701B1/en not_active Expired - Fee Related
-
2004
- 2004-09-10 US US10/937,859 patent/US7394852B2/en not_active Expired - Fee Related
- 2004-09-10 US US10/937,774 patent/US7292633B2/en not_active Expired - Fee Related
-
2008
- 2008-02-25 US US12/036,966 patent/US20080159406A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| US6876701B1 (en) | 2005-04-05 |
| US7292633B2 (en) | 2007-11-06 |
| US20080159406A1 (en) | 2008-07-03 |
| US20050031040A1 (en) | 2005-02-10 |
| JP2001076155A (ja) | 2001-03-23 |
| US20050031041A1 (en) | 2005-02-10 |
| US7394852B2 (en) | 2008-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4157234B2 (ja) | 動画像内の移動物体検出装置 | |
| WO2003052951A1 (en) | Method and apparatus for motion detection from compressed video sequence | |
| US20070092007A1 (en) | Methods and systems for video data processing employing frame/field region predictions in motion estimation | |
| KR20030093023A (ko) | 영상의 움직임 보정 장치 및 방법 | |
| JP4688462B2 (ja) | 予測符号化を用いて画像ブロックの差分符号化を行う方法及び装置 | |
| KR100727795B1 (ko) | 모션 추정 | |
| JP4796696B2 (ja) | ディジタル化された画像のコンピュータ支援動き補償のための方法及び装置ならびにコンピュータ読み取り可能な記録媒体 | |
| US20110129012A1 (en) | Video Data Compression | |
| US7224842B2 (en) | Object recognition apparatus and object recognition method | |
| JPH08294129A (ja) | 動きベクトル検出装置および検出方法 | |
| JP3548028B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JP3873000B2 (ja) | 動画像移動物体検出装置及び検出方法 | |
| JP3711022B2 (ja) | 動画像内の特定物体認識方法及び装置 | |
| JP3886784B2 (ja) | 動画像内の物体識別装置及び方法 | |
| JP3253595B2 (ja) | 動画像特定色検出装置及び検出方法 | |
| JP3677165B2 (ja) | 動画像符号化装置および動画像符号化方法 | |
| KR0185841B1 (ko) | 영상 부호기에서의 움직임 추정 장치 | |
| JP2006236063A (ja) | 移動物体抽出装置 | |
| JP3407872B2 (ja) | 付加情報検出方法及び装置 | |
| JP3641219B2 (ja) | 動画像内の特定物体検出方法及び装置 | |
| JP3595238B2 (ja) | 動画像解析方法及び装置 | |
| JPH10191347A (ja) | 動き検出装置、動き検出方法、及び、記憶媒体 | |
| JP2007129335A (ja) | 画面動き検出装置 | |
| KR0170678B1 (ko) | 움직임 추정방법 | |
| JP2000069481A (ja) | 動きベクトル検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050311 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080319 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080415 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080711 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110718 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |