JPH11266459A - Moving image coder, moving object detector and motion prediction device employed for the devices - Google Patents

Moving image coder, moving object detector and motion prediction device employed for the devices

Info

Publication number
JPH11266459A
JPH11266459A JP6666498A JP6666498A JPH11266459A JP H11266459 A JPH11266459 A JP H11266459A JP 6666498 A JP6666498 A JP 6666498A JP 6666498 A JP6666498 A JP 6666498A JP H11266459 A JPH11266459 A JP H11266459A
Authority
JP
Japan
Prior art keywords
motion vector
screen
global motion
input
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6666498A
Other languages
Japanese (ja)
Inventor
Hirokazu Kawakatsu
裕和 川勝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP6666498A priority Critical patent/JPH11266459A/en
Publication of JPH11266459A publication Critical patent/JPH11266459A/en
Pending legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To correct a motion of an entire input image by predicting a global motion vector denoting a motion of the entire input image and using the predicted value. SOLUTION: A statistic calculation/prediction section 124 of the moving image coder applies storage processing to global motion vectors of each scene detected by a global motion vector detection section 122 and checks statistic properties as to a change in a motion of the entire image to discriminate the property of the change such as linearity and periodicity based on the statistic property. Then the statistic calculation/prediction section 124 predicts a global motion vector as to received images which follow present image, based on the statistic property and correction and performs the correction processing by using the predicted value. The calculation with respect to all blocks to obtain a motion of the entire image is omitted by predicting the entire motion of the succeeding input image based on the statistic property in this way, and the motion of the entire image is corrected by a small arithmetic operation.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、動画像符号化装
置、移動物体検出装置および動き予測装置に関し、特に
映像監視システムなどに使用される動画像符号化装置、
およびこれを用いた移動物体検出装置、並びにこれら装
置に適用される動き予測装置を提供することを目的とす
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding apparatus, a moving object detecting apparatus and a motion estimating apparatus, and more particularly to a moving picture coding apparatus used for a video monitoring system and the like.
It is another object of the present invention to provide a moving object detection device using the same, and a motion prediction device applied to these devices.

【0002】[0002]

【従来の技術】一般に、道路交通網の監視システムにお
いては、ある領域内を撮像するようにディジタルビデオ
カメラを設置し、このカメラで撮像した映像を、遠隔の
監視室においてモニタ画面により監視したり、記録する
ことが行われている。この様な画像監視を行う場合は、
道路上に数多く設置されたカメラからの情報を遠隔の監
視室に送る必要があるので、通常は、伝送帯域確保の為
に、それらカメラからの入力画面はそれぞれ圧縮符号化
され、さらにそれら符号化データは多重処理されて伝送
される。このような監視システムで使用される一般的な
動画像符号化装置の構成を図11に示す。
2. Description of the Related Art In general, in a road traffic network monitoring system, a digital video camera is installed so as to capture an image of a certain area, and an image captured by this camera is monitored on a monitor screen in a remote monitoring room. Recording has been done. When performing such image monitoring,
Since it is necessary to send information from a large number of cameras installed on the road to a remote monitoring room, input screens from these cameras are usually compressed and coded to secure transmission bandwidth, and then these codes are coded. The data is multiplexed and transmitted. FIG. 11 shows a configuration of a general moving picture encoding device used in such a monitoring system.

【0003】図11に示されているように、ディジタル
ビデオカメラ70で撮影された画面はブロック分割部7
1で特定のブロック(例えば8画素×8ライン)に分割
され、このブロック単位の情報を、直交変換及び量子化
部72、さらに可変長符号化部73を通す事により符号
化処理が行われる。また直交変換及び量子化されたブロ
ックデータは逆処理部74において逆処理をされて元の
画像情報に戻され後に蓄積処理され、時間的に異なる画
面間の予測の為の参照画面情報としてメモリ75に蓄積
される。
As shown in FIG. 11, a picture taken by a digital video camera 70 is divided by a block dividing section 7.
The information is divided into a specific block (for example, 8 pixels × 8 lines) at 1, and the encoding process is performed by passing the information in block units through an orthogonal transform and quantization unit 72 and a variable length encoding unit 73. The orthogonally transformed and quantized block data is subjected to inverse processing in the inverse processing unit 74, returned to the original image information, and then stored and processed. The memory 75 is used as reference screen information for prediction between temporally different screens. Is accumulated in

【0004】蓄積された画面と時間的に異なる画面のブ
ロックデータが入力された時点で、動きベクトル検出部
76では、入力ブロックと蓄積された参照画面とを比較
をする事により、マクロブロックと称される複数ブロッ
ク単位(例えば2×2ブロック単位)で動きベクトルが
検出され、この動きベクトルを用いて予測画が作成され
る。入力されたブロックデータとこの予測画との差分の
みを、直交変換及び量子化部72、および可変長符号化
部73を通して符号化することで、フレーム間予測符号
化が行われ、符号化効率が高められる。
When block data of a screen temporally different from the stored screen is input, the motion vector detecting section 76 compares the input block with the stored reference screen, and is referred to as a macro block. A motion vector is detected in units of a plurality of blocks (for example, 2 × 2 blocks), and a predicted image is created using the motion vector. By encoding only the difference between the input block data and the predicted image through the orthogonal transform and quantization unit 72 and the variable length encoding unit 73, inter-frame prediction encoding is performed, and the encoding efficiency is reduced. Enhanced.

【0005】以上の処理により、ブロック単位の符号化
データと、複数ブロック単位の動きを示す動きベクトル
と、符号化モードなどの各種パラメータとが動画像信号
の符号化ビットストリームとして伝送され、復号側で元
のデータに戻してモニタ等に写し出される。
[0005] Through the above processing, encoded data in units of blocks, motion vectors indicating motion in units of a plurality of blocks, and various parameters such as an encoding mode are transmitted as an encoded bit stream of a moving image signal. To restore the original data and display it on a monitor or the like.

【0006】ところで、このようなシステムにおいて
は、例えばトラック等の通過によってカメラが振動する
と、画面全体が揺れてしまい、実際は静止している部分
も動きがあると認識されてしまうという問題がある。こ
の場合、動画像符号化装置側では動きベクトルを持つブ
ロックが数多く検出されてしまい、これによって発生符
号量の増加が引き起こされることになる。
By the way, in such a system, there is a problem that, for example, when the camera vibrates due to passage of a truck or the like, the whole screen is shaken, and the part which is actually still is recognized as moving. In this case, a large number of blocks having motion vectors are detected on the moving image encoding device side, which causes an increase in the amount of generated codes.

【0007】[0007]

【発明が解決しようとする課題】そこで、画面全体の動
きを求めてそれをグローバル動きベクトルとして入力画
面全体の動きを補正することにより無駄な動きベクトル
の数を減らし、発生符号量の増加を防ぐことが必要とな
る。グローバル動きベクトルを求める方法としては、画
面内の全部のブロックの動きベクトルを蓄積し、その二
乗平均値の偏差を調べる手法等が考えられる。
Therefore, the motion of the entire screen is obtained and the motion of the entire input screen is corrected using the global motion vector as a global motion vector, thereby reducing the number of useless motion vectors and preventing an increase in the generated code amount. It is necessary. As a method of obtaining the global motion vector, a method of accumulating the motion vectors of all the blocks in the screen and examining the deviation of the root mean square value can be considered.

【0008】しかし、この場合には、まず揺れ等による
動きを含んだ動きベクトルをすべてのブロックに対して
求めてからそれを用いて画面全体のグローバル動きベク
トルを算出し、さらにその後に、入力画面全体の動き補
正のための演算を行うといった処理が必要とされる。こ
のため、入力画面毎に多くの演算を行うことが必要とさ
れることになる。
However, in this case, first, a motion vector including a motion due to shaking or the like is obtained for all the blocks, and then a global motion vector for the entire screen is calculated using the motion vector. Processing such as performing an operation for overall motion correction is required. Therefore, it is necessary to perform many calculations for each input screen.

【0009】本発明はこのような点に鑑みてなされたも
のであり、入力画面の画面全体の動きを示すグローバル
動きベクトルを予測できるようにし、その予測値を用い
て入力画面全体の動き補正を行うことで各画面毎のグロ
ーバル動きベクトルの計算を大幅に削減することが可能
な動画像符号化装置、およびこれを用いた移動物体検出
装置、並びにこれら装置に適用される動き予測装置を提
供することを目的とする。
SUMMARY OF THE INVENTION The present invention has been made in view of the above points, and enables a global motion vector indicating the motion of the entire screen of an input screen to be predicted, and uses the predicted value to correct the motion of the entire input screen. Provided are a moving image encoding device capable of greatly reducing the calculation of a global motion vector for each screen by performing the operation, a moving object detection device using the same, and a motion prediction device applied to these devices. The purpose is to:

【0010】[0010]

【課題を解決するための手段】上述の課題を解決するた
め、本発明の動画像符号化装置は、入力動画像信号の所
定の画像領域毎に動きベクトルを検出し、その検出した
動きベクトルを用いてフレーム間予測符号化を行う符号
化手段と、前記入力動画像信号の画面全体の動きを示す
グローバル動きベクトルを検出する検出手段と、この検
出手段によって検出されたグローバル動きベクトルを蓄
積処理して画面全体の動きの変化についての統計的性質
を抽出し、この統計的性質に基づいて後続する入力画面
のグローバル動きベクトルを予測する予測手段と、この
予測手段によるグローバル動きベクトルの予測値を用い
て前記入力動画像信号の画面全体の動きを補正する動き
補正手段とを具備することを特徴とする。
In order to solve the above-mentioned problems, a moving picture coding apparatus according to the present invention detects a motion vector for each predetermined image area of an input moving picture signal, and converts the detected motion vector. Coding means for performing inter-frame predictive coding using the same; detecting means for detecting a global motion vector indicating the motion of the entire screen of the input moving image signal; and accumulating and processing the global motion vector detected by the detecting means. A prediction unit that extracts a statistical property of a change in motion of the entire screen and predicts a global motion vector of a subsequent input screen based on the statistical property, and a predicted value of the global motion vector by the prediction unit. Motion correcting means for correcting the motion of the input moving image signal on the entire screen.

【0011】この動画像符号化装置においては、検出し
たグローバル動きベクトルを蓄積処理して画面全体の動
きの変化についての統計的性質を調べることにより、そ
の統計的性質から線形性や周期性といった変化の性質が
判断される。そして、この統計的性質を基に次画面以降
の入力画面についてグローバル動きベクトルの値が予測
され、その予測値を用いた補正処理が行われる。したが
って、入力画面毎に画面内の全ブロックの動きベクトル
の二乗平均値の偏差を調べるといった演算処理は、実際
のグローバル動きベクトルを検出するために最初の何画
面かについてのみ行うだけで良く、入力画面毎に個々に
行う必要がなくなる。よって、少ない演算量で、画面全
体の動きによる発生符号量の増加の問題を解決すること
が可能となる。
In this moving picture coding apparatus, the detected global motion vector is accumulated, and the statistical property of the change in the motion of the entire screen is examined. Is determined. Then, the value of the global motion vector is predicted for the input screens subsequent to the next screen based on this statistical property, and correction processing using the predicted value is performed. Therefore, arithmetic processing such as checking the deviation of the mean square value of the motion vectors of all blocks in the screen for each input screen need only be performed for the first few screens in order to detect the actual global motion vector. This eliminates the need to perform each screen individually. Therefore, it is possible to solve the problem of an increase in the generated code amount due to the movement of the entire screen with a small amount of calculation.

【0012】また、本発明は、所定の時間毎にグローバ
ル動きベクトルの再検出を行い、この再検出されたグロ
ーバル動きベクトルを蓄積処理して統計的性質を再抽出
することにより、前記予測手段によるグローバル動きベ
クトルの予測値を修正することを特徴とする。このよう
に実際の入力画面の画面全体の動きを再検出して統計的
性質を抽出し直すことにより、実際の入力画面全体の動
きの変化に追従したグローバル動きベクトルの最適な予
測処理が可能となる。
Further, according to the present invention, the global motion vector is re-detected at a predetermined time interval, and the re-detected global motion vector is stored and statistical properties are re-extracted, whereby the prediction means The method is characterized in that a predicted value of a global motion vector is corrected. In this way, by re-detecting the movement of the entire screen of the actual input screen and re-extracting the statistical properties, it is possible to perform the optimal prediction processing of the global motion vector that follows the change in the movement of the entire actual input screen. Become.

【0013】また、前記予測手段は、同一の参照画面を
用いてフレーム間予測符号化が行われる複数の画面の中
にグローバル動きベクトルが既知の画面が存在するとき
は、そのグローバル動きベクトルの値と、前記複数の画
面相互間の前記参照画面からの時間差とに基づいて、前
記複数の画面中の他の画面のグローバル動きベクトルを
予測することを特徴とする。
[0013] Further, when a picture whose global motion vector is known is present among a plurality of pictures on which inter-frame prediction coding is performed using the same reference picture, the prediction means sets the value of the global motion vector. And estimating a global motion vector of another of the plurality of screens based on the time difference from the reference screen between the plurality of screens.

【0014】一般に、時間的に連続する数画面が同一の
画面を参照画面としているような場合には、それら画面
間では画面全体の動きの変化は線形的な特性を持つ。こ
のため、それら画面の中のいずれかの画面についてグロ
ーバル動きベクトルが既知であれば、そのグローバル動
きベクトルの値を参照画面からの時間差に対応する分だ
け増減することで、他の各画面のグローバル動きベクト
ルを容易に予測することが可能となる。
In general, when several temporally consecutive screens use the same screen as a reference screen, a change in the motion of the entire screen between the screens has a linear characteristic. For this reason, if the global motion vector is known for any of the screens, the global motion vector value is increased or decreased by an amount corresponding to the time difference from the reference screen, so that the global A motion vector can be easily predicted.

【0015】また、前記動き補正手段としては、前記入
力動画像信号の画面を複数の画像領域に分割するための
画像領域の切り出し位置を、前記予測手段によるグロー
バル動きベクトルの予測値を用いて修正する手段、ある
いは、各画像領域毎に検出される動きベクトルの値をグ
ローバル動きベクトルの予測値を用いて修正する手段に
よって実現できる。
The motion correcting means may correct a cut-out position of an image area for dividing the screen of the input moving image signal into a plurality of image areas using a predicted value of a global motion vector by the predicting means. Or a means for correcting the value of the motion vector detected for each image region using the predicted value of the global motion vector.

【0016】[0016]

【発明の実施の形態】(第1の実施形態)以下、図面を
参照して本発明の第1実施形態に係る動画像符号化装置
を説明する。図1は、第1実施形態に係る動画像符号化
装置を用いた映像監視システムの構成例であり、ディジ
タルビデオカメラ11から入力される動画像信号は動画
像符号化装置12の符号化器121で動き補償を用いた
フレーム間予測符号化によりディジタル圧縮符号化され
た後に、伝送路を通って復号化装置13に伝送され、そ
こで復号されてモニタ14に写し出される。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) Hereinafter, a moving picture coding apparatus according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a configuration example of a video surveillance system using the video encoding device according to the first embodiment. A video signal input from the digital video camera 11 is encoded by an encoder 121 of the video encoding device 12. After being digitally compressed and coded by inter-frame predictive coding using motion compensation, the data is transmitted to a decoding device 13 through a transmission path, where it is decoded and displayed on a monitor 14.

【0017】動画像符号化装置12には、ディジタルビ
デオカメラ11の揺れなどによる入力画面の画面全体の
動きを補正するための機能を実現するために、前述の符
号化器121に加え、図示のように、グローバル動きベ
クトル検出部122、グローバル動きベクトル蓄積メモ
リ123、統計量計算/予測部124、および動き補正
部125が設けられている。
In order to realize a function for correcting the movement of the entire input screen due to the shaking of the digital video camera 11 and the like, the moving picture coding apparatus 12 has an arrangement shown in FIG. As described above, the global motion vector detection unit 122, the global motion vector storage memory 123, the statistic calculation / prediction unit 124, and the motion correction unit 125 are provided.

【0018】グローバル動きベクトル検出部122で
は、符号化器121にて入力画面のマクロブロック毎に
検出された動きベクトルを用いて、画面内の全部のマク
ロブロックの動きベクトルを蓄積し、その二乗平均値の
偏差を調べることによって入力画面の画面全体の動きを
示すグローバル動きベクトルを検出する。このグローバ
ル動きベクトル(GMV)の値は、以下の式(数1)か
ら求められる。
The global motion vector detection unit 122 accumulates the motion vectors of all the macroblocks in the screen using the motion vectors detected for each macroblock of the input screen by the encoder 121, and calculates the mean squared value. By examining the value deviation, a global motion vector indicating the motion of the entire input screen is detected. The value of this global motion vector (GMV) is obtained from the following equation (Equation 1).

【0019】[0019]

【数1】 (Equation 1)

【0020】ここで、Nは1画面中の全マクロブロック
数、MVk はk番目のマクロブロックの動きベクトルで
ある。グローバル動きベクトル検出部122で検出され
たグローバル動きベクトルは、グローバル動きベクトル
蓄積メモリ123に数画面分連続的に蓄積される。統計
量計算/予測部124では、蓄積処理されたグローバル
動きベクトルを基に画面全体の動きの変化の周期性や線
形性などの統計的性質が求められ、この統計的性質を基
に、後続する時間的に異なる画面のグローバル動きベク
トルの予測が行われる。
Here, N is the total number of macroblocks in one screen, and MVk is the motion vector of the kth macroblock. The global motion vectors detected by the global motion vector detecting unit 122 are continuously stored in the global motion vector storage memory 123 for several screens. In the statistic calculation / prediction unit 124, statistical properties such as periodicity and linearity of a change in motion of the entire screen are obtained based on the accumulated global motion vectors, and subsequent statistical properties are determined based on the statistical properties. The prediction of the global motion vector of the screen different in time is performed.

【0021】この予測値を使用することにより、動き補
正部125では、入力画面からブロックを切り出す座標
位置の補正、あるいは各マクロブロック毎に検出された
動きベクトルの補正などが行われる。これによって、入
力画面の画面全体の動きが補正される。
By using the predicted value, the motion correction unit 125 corrects a coordinate position at which a block is cut out from the input screen, or corrects a motion vector detected for each macroblock. As a result, the movement of the entire input screen is corrected.

【0022】図2には、グローバル動きベクトルの予測
値を用いてブロック切り出し位置を補正する場合におけ
る動画像符号化装置12の具体的な構成例が示されてい
る。ここでは、前述の動き補正部125として、ブロッ
ク切り出し位置補正部125aが設けられている。ブロ
ック切り出し位置補正部125aでは、グローバル動き
ベクトルの予測値を基に、各マクロブロック毎にそのブ
ロック切り出し位置を補正するための座標値が求められ
る。
FIG. 2 shows a specific configuration example of the moving picture coding apparatus 12 in the case where the block cutout position is corrected using the predicted value of the global motion vector. Here, a block cutout position correction unit 125a is provided as the motion correction unit 125 described above. The block cutout position correcting unit 125a calculates a coordinate value for correcting the block cutout position for each macroblock based on the predicted value of the global motion vector.

【0023】すなわち、入力動画像信号の画面はまずブ
ロック分割部201でマクロブロックに分割されるが、
この場合、入力画面からの各ブロックの切り出し位置の
座標は、ブロック切り出し位置補正部125aからの座
標情報によって補正される。ここで、各マクロブロック
の本来の切り出し位置の座標を(x,y)とし、グロー
バル動きベクトルのx,y成分をそれぞれGx,Gyと
すると、補正された位置座標(x´,y´)は、以下の
式で与えられる。
That is, the screen of the input moving image signal is first divided into macroblocks by the block dividing unit 201.
In this case, the coordinates of the cutout position of each block from the input screen are corrected by the coordinate information from the block cutout position correction unit 125a. Here, assuming that the coordinates of the original cutout position of each macroblock are (x, y) and the x, y components of the global motion vector are Gx, Gy, respectively, the corrected position coordinates (x ′, y ′) are , Given by:

【0024】x´=x − Gx y´=y − Gy マクロブロックに分割された入力動画像信号は、減算器
202に入力され、ここで後述するようにして生成され
る予測画像信号との差分がとられて、予測残差信号が生
成される。この予測残差信号はDCT変換部203にて
離散コサイン変換される。DCT変換部203で得られ
たDCT係数データは量子化部204で量子化された
後、可変長符号化部205に送られて可変長符号化され
ると共に、逆量子化部207および逆DCT変換部20
8に送られ、そこで量子化部204およびDCT変換部
203の処理と逆の処理を順次受けた後、加算器209
で予測画像信号と加算されることにより、局部復号信号
が生成される。この局部復号信号は、フレームメモリ2
10に蓄えられ、動き検出部211に入力される。
X ′ = x−Gxy ′ = y−Gy The input video signal divided into macroblocks is input to a subtractor 202, where the difference from a predicted image signal generated as described later is obtained. Is taken to generate a prediction residual signal. This prediction residual signal is subjected to discrete cosine transform by DCT transform section 203. The DCT coefficient data obtained by the DCT transformer 203 is quantized by the quantizer 204, and then sent to the variable-length encoder 205 for variable-length encoding. The inverse quantizer 207 and the inverse DCT transform Part 20
8, where they are sequentially subjected to the processing opposite to the processing of the quantization section 204 and the DCT transform section 203, and then to the adder 209.
Is added to the predicted image signal to generate a local decoded signal. This local decoded signal is stored in the frame memory 2
10 and input to the motion detection unit 211.

【0025】動き検出部211では、入力動画像信号と
フレームメモリ210に蓄えられた前フレームの画像と
の相関から動き検出が行われることにより各マクロブロ
ック毎に動きベクトルが調べられ、そして、この動きベ
クトルを使用して予測画像信号が生成される。ここで検
出された動きベクトルは前述のグローバル動きベクトル
の検出のためにグローバル動きベクトル検出部122に
も送られる。
The motion detector 211 detects a motion vector for each macroblock by performing motion detection from the correlation between the input moving image signal and the image of the previous frame stored in the frame memory 210. A predicted image signal is generated using the motion vector. The motion vector detected here is also sent to the global motion vector detection unit 122 for detecting the above-mentioned global motion vector.

【0026】可変長符号化部205では、動きベクトル
情報と共に、DCT係数情報が符号化され、この符号化
された画像データは伝送路に送られる。なお、ブロック
切り出し位置補正部125aの機能はブロック分割部2
01内に組み込むこともできる。
In the variable length coding section 205, DCT coefficient information is coded together with the motion vector information, and the coded image data is sent to the transmission path. The function of the block cutout position correction unit 125a is the same as that of the block division unit 2
01 can also be incorporated.

【0027】図3には、グローバル動きベクトルの予測
値を用いて各マクロブロックの動きベクトルを補正する
場合における動画像符号化装置12の具体的な構成例が
示されている。
FIG. 3 shows a specific configuration example of the moving picture coding apparatus 12 in the case where the motion vector of each macroblock is corrected using the predicted value of the global motion vector.

【0028】ここでは、図1の動き補正部125とし
て、動きベクトル補正部125bが設けられている。こ
の動きベクトル補正部125bでは、グローバル動きベ
クトルの予測値を基に各マクロブロック毎に動きベクト
ルの補正が行われ、その補正結果が動き検出部211に
戻されると共に、可変長符号化部205に送られる。
Here, a motion vector correction unit 125b is provided as the motion correction unit 125 in FIG. In the motion vector correction unit 125b, the motion vector is corrected for each macroblock based on the predicted value of the global motion vector, and the correction result is returned to the motion detection unit 211 and the variable length coding unit 205 Sent.

【0029】動き検出部211で検出された各マクロブ
ロックの動きベクトルのx,y成分をそれぞれMVx,
MVyとし、それらマクロブロックが属する画面のグロ
ーバル動きベクトルのx,y成分をそれぞれGx,Gy
とすると、補正された動きベクトルMVx´,MVy´
は、以下の式で与えられる。
The x and y components of the motion vector of each macroblock detected by the motion detection unit 211 are respectively MVx,
MVy, and the x and y components of the global motion vector of the screen to which these macroblocks belong are Gx and Gy, respectively.
Then, the corrected motion vectors MVx ′ and MVy ′
Is given by the following equation.

【0030】MVx´=MVx − Gx MVy´=MVy − Gy なお、図3においては、動きベクトル補正部125bを
動き検出部211と独立して設けたが、動きベクトル補
正部125bの機能を動き検出部211内に設け、グロ
ーバル動きベクトルの予測値を用いて動きベクトル補正
部125bが自ら動きベクトル値を補正するようにして
もよい。
MVx '= MVx-Gx MVy' = MVy-Gy In FIG. 3, the motion vector correcting section 125b is provided independently of the motion detecting section 211, but the function of the motion vector correcting section 125b is The motion vector correction unit 125b may be provided in the unit 211 and correct the motion vector value by itself using the predicted value of the global motion vector.

【0031】次に、本実施形態におけるグローバル動き
ベクトル予測方法について具体的に説明する。図4は、
ある1画面についての動きベクトルの分布状態を示して
いる。
Next, the global motion vector prediction method according to the present embodiment will be specifically described. FIG.
This shows a distribution state of motion vectors for a certain screen.

【0032】図4において、実線はカメラの揺れなどに
よる画面全体の動きがない場合の通常の1画面内の動き
ベクトルの分布状態を示しており、動き量が零となる近
傍にマクロブロック数のピーク値が存在することにな
る。これに対し、例えば橋上におかれたカメラがトラッ
クの通過や風等によって揺れなどによって画面全体の動
きが生ずると、破線で示すように、マクロブロック数の
ピーク値は、動き量が零となる位置よりも動き量がプラ
ス方向、あるいはマイナス方向に変動することになる。
このような画面全体の動きの偏差が前述の(数1)で求
められることになる。
In FIG. 4, the solid line shows the distribution state of the motion vector in one normal screen when there is no movement of the whole screen due to camera shake or the like. There will be a peak value. On the other hand, for example, when a camera placed on a bridge moves over the entire screen due to the passage of a track, the wind, and the like, the movement of the entire macro screen becomes zero, as indicated by the dashed line. The movement amount fluctuates in the plus or minus direction rather than the position.
Such a deviation of the motion of the entire screen is obtained by the above (Equation 1).

【0033】図5は、統計量計算/予測部124へ入力
されるグローバル動きベクトル値の統計量の一例であ
る。図5(a)は、連続する数画面にわたるグローバル
動きベクトルの垂直方向(V)の変化、つまりグローバ
ル動きベクトルのy成分の変化の様子を示し、また、図
5(b)は、連続する数画面にわたるグローバル動きベ
クトルの水平方向(H)の変化、つまりグローバル動き
ベクトルのx成分の変化の様子を示している。
FIG. 5 shows an example of the statistic of the global motion vector value input to the statistic calculation / prediction unit 124. FIG. 5A shows a change in the vertical direction (V) of the global motion vector over several consecutive screens, that is, how the y component of the global motion vector changes. FIG. It shows how the global motion vector changes in the horizontal direction (H) over the screen, that is, how the x component of the global motion vector changes.

【0034】この図5から分かるように、画面全体の動
きの変化にはある程度の周期性を持つ場合が多い。従っ
て自己相関を求めることにより振動の周期を求め、その
周期に基づいて次画面以降のグローバル動きベクトルを
予測する事が可能となる。画面全体の動きの変化の周期
は、次のようにして求められる。
As can be seen from FIG. 5, changes in the movement of the entire screen often have a certain degree of periodicity. Therefore, the period of the vibration is obtained by obtaining the autocorrelation, and it is possible to predict the global motion vector for the next and subsequent screens based on the period. The cycle of the change in the motion of the entire screen is obtained as follows.

【0035】すなわち、時刻tにおける入力画面のグロ
ーバル動きベクトルをG(t)とし、t=0からTまで
の各画面のグローバル動きベクトルが蓄積処理されてい
るとすると、以下の式(数2)において、
That is, assuming that the global motion vector of the input screen at time t is G (t) and the global motion vector of each screen from t = 0 to T is accumulated, the following equation (Equation 2) is obtained. At

【0036】[0036]

【数2】 (Equation 2)

【0037】F(τ)の値が最大となるτを求め、その
時のF(τ)の値がある基準値(例えば25)を越えれ
ば、蓄積されている画面間の動きに周期性があると判定
し、そのτを周期として決定することができる。このよ
うにして求められた周期τからグローバル動きベクトル
の予測値が求められる。
Τ at which the value of F (τ) becomes maximum is obtained. If the value of F (τ) at that time exceeds a certain reference value (for example, 25), there is periodicity in the motion between the stored pictures. And τ can be determined as a cycle. The predicted value of the global motion vector is obtained from the period τ thus obtained.

【0038】すなわち、ある時刻tにおける入力画面の
グローバル動きベクトルG(t)は、周期算出時までに
蓄積されたグローバル動きベクトルの値をG(T)と
し、Tは0≦T<τであるとすると、以下の式で予測す
ることができる。
That is, as for the global motion vector G (t) of the input screen at a certain time t, the value of the global motion vector accumulated up to the time of calculating the cycle is G (T), and T is 0 ≦ T <τ. Then, it can be predicted by the following equation.

【0039】 G(t)=G(T + Nτ)、 N=0,1,2,… つまり、周期τ内における既知のグローバル動きベクト
ル値G(T)の中から、予測値を求めるべき入力画面と
同一位相のG(T)がグローバル動きベクトルの予測値
として使用されることになる。
G (t) = G (T + Nτ), N = 0, 1, 2,... That is, an input for which a predicted value is to be obtained from the known global motion vector values G (T) within the period τ G (T) having the same phase as the screen is used as the predicted value of the global motion vector.

【0040】以下、図6を参照して、入力画面の動きの
変化と予測値との関係を説明する。図6においては、フ
レームN+1で1マクロブロック分だけ画面全体が上方
向に動き、続くフレームN+2で1マクロブロック分だ
け画面全体が下方向に動くといった上下変動が繰り返さ
れている様子が示されている。フレームNからN+2に
ついてのグローバル動きベクトルが蓄積されているとす
ると、フレームN+3では、再び画面全体が上方向に1
マクロブロック分だけ動くことが予想されるので、それ
と対応するフレームN+1のグローバル動きベクトルが
フレームN+3のグローバル動きベクトルの予測値とし
て使用される。同様に、フレームN+4については、そ
れと対応するフレームN+2のグローバル動きベクトル
が予測値として使用される。
The relationship between the change in the motion of the input screen and the predicted value will be described below with reference to FIG. FIG. 6 shows a state in which vertical movement is repeated such that the entire screen moves upward by one macroblock in frame N + 1, and the entire screen moves downward by one macroblock in the subsequent frame N + 2. I have. Assuming that global motion vectors for frames N to N + 2 are accumulated, in frame N + 3, the entire screen is again shifted upward by 1
Since it is expected to move by a macroblock, the corresponding global motion vector of frame N + 1 is used as the predicted value of the global motion vector of frame N + 3. Similarly, for frame N + 4, the corresponding global motion vector of frame N + 2 is used as the predicted value.

【0041】また、画面全体の動きの変化についての周
期性は一定時間間隔で再検出し、これによって予測値を
実際の画面の変化に基づいて定期的に修正することが好
ましい。この場合において、周期性の再検出のためにグ
ローバル動きベクトルを蓄積処理している期間の入力画
面(例えば、図6のフレームN+8、N+9、…)につ
いての画面全体の動き補正は、フレームNからN+2に
ついてのグローバル動きベクトルの蓄積データを引き続
き使用することにより継続して行われる。そして、新た
に周期性が検出された時点で、それ以降の入力画面から
は、予測に使用する周期性が修正されることになる。こ
れにより、符号化処理のリアルタイム性を損なうことな
く、より確かな予測処理が可能となる。
It is preferable that the periodicity of the change in the motion of the entire screen is re-detected at regular time intervals, whereby the predicted value is periodically corrected based on the actual change in the screen. In this case, the motion correction of the entire screen for the input screen (for example, frames N + 8, N + 9,... In FIG. This is continuously performed by continuously using the accumulated data of the global motion vector for N + 2. When a new periodicity is detected, the periodicity used for prediction is corrected from the subsequent input screen. This enables more reliable prediction processing without impairing the real-time performance of the encoding processing.

【0042】また、フレームNからN+2についてのグ
ローバル動きベクトルの蓄積データを引き続き使用する
のではなく、図6のフレームN+8、N+9、…につい
ての画面全体の動き補正については、グローバル動きベ
クトル検出部122で実際に検出したそれらフレームN
+8、N+9、…それぞれのグローバル動きベクトル値
を用いて行うことも可能である。
Further, instead of continuously using the accumulated data of the global motion vectors for frames N to N + 2, the global motion vector detection unit 122 performs the motion correction of the entire screen for frames N + 8, N + 9,. Those frames N actually detected by
+8, N + 9,... Can be performed using respective global motion vector values.

【0043】次に、図7のフローチャートを参照して、
グローバル動きベクトル検出・予測処理の手順について
説明する。まず、グローバル動きベクトル検出部122
にて入力画面のグローバル動きベクトルが求められ(ス
テップS101)、そのグローバル動きベクトルがグロ
ーバル動きベクトル蓄積メモリ123に蓄積される(ス
テップS102)。そして、統計量計算/予測部124
により、グローバル動きベクトル蓄積メモリ123にこ
れまでに蓄積された連続する数画面間のグローバル動き
ベクトルの自己相関が前述の式(数2)により計算され
(ステップS103)、相関値がしきい値以上であるか
否かによって画面間でグローバル動きベクトルの相関が
あるか否かが判断される(ステップS104)。
Next, referring to the flowchart of FIG.
The procedure of the global motion vector detection / prediction process will be described. First, the global motion vector detection unit 122
, A global motion vector of the input screen is obtained (step S101), and the global motion vector is stored in the global motion vector storage memory 123 (step S102). Then, the statistic calculation / prediction unit 124
Thus, the auto-correlation of the global motion vector between several consecutive screens stored so far in the global motion vector storage memory 123 is calculated by the above-described equation (Equation 2) (step S103), and the correlation value is equal to or larger than the threshold value. It is determined whether or not there is a correlation of global motion vectors between screens (step S104).

【0044】画面間でグローバル動きベクトルに相関が
ないと判断されたならば、ステップS101〜S102
にて新たな入力画面についてのグローバル動きベクトル
の検出および蓄積処理がなされ、再びグローバル動きベ
クトルの相関の有無が調べられる。
If it is determined that there is no correlation between the global motion vectors between the screens, steps S101 to S102
, A global motion vector is detected and stored for a new input screen, and the presence or absence of a correlation between the global motion vectors is checked again.

【0045】画面間でグローバル動きベクトルに相関が
あると判断されると、画面全体の動きの変化についての
周期が求められ(ステップS105)、その周期と蓄積
データを使用して次画面以降の入力画面についてその入
力の毎にグローバル動きベクトルの予測値が求められる
(ステップS106)。そして、周期計算が行われたか
ら一定時間経過すると(ステップ107)、ステップS
101からの処理が再実行されることにより、周期性の
再検出、およびその再検出された周期に基づく予測値の
修正処理が行われる。
When it is determined that there is a correlation between the global motion vectors between the screens, a cycle for the change in motion of the entire screen is obtained (step S105), and the input of the next and subsequent screens is performed using the cycle and the accumulated data. A predicted value of the global motion vector is obtained for each input of the screen (step S106). Then, when a predetermined time has elapsed since the cycle calculation was performed (step 107), step S
By re-executing the process from 101, re-detection of the periodicity and correction of the predicted value based on the re-detected period are performed.

【0046】なお、本例では動きの変化の周期を自己相
関関数から求めているが、例えば図5に示すようなグロ
ーバル動きベクトル値の変化のグラフのゼロクロスの点
を抽出し、その時間間隔から周期を求めてもよい事は無
論である。
In the present embodiment, the period of the change of the motion is obtained from the autocorrelation function. For example, a zero-cross point of the graph of the change of the global motion vector value as shown in FIG. Needless to say, the period may be obtained.

【0047】図8は、グローバル動きベクトルの予測の
別の例を示している。一般に、画像符号化における動き
予測処理においては、入力画面から見て時間的に2枚以
上離れた画面を参照画面として使用し、その参照画面か
ら入力画面の動きベクトルを検出するというフレーム間
予測符号化を行う場合がある。例えば、図8における画
面(41)を参照画面として使用し、その画面(41)
から画面(43)の動きベクトルを探索する場合であ
る。このため、同一画面を参照画面として使用してフレ
ーム間予測符号化される画面は複数存在することにな
る。
FIG. 8 shows another example of the prediction of the global motion vector. Generally, in motion prediction processing in image coding, an inter-frame prediction code is used in which a screen that is temporally separated from an input screen by two or more frames is used as a reference screen and a motion vector of the input screen is detected from the reference screen. In some cases. For example, the screen (41) shown in FIG.
This is a case where a motion vector of the screen (43) is searched from. Therefore, there are a plurality of screens to be subjected to inter-frame predictive coding using the same screen as a reference screen.

【0048】図8の画面(42)と画面(43)の双方
が画面(41)から予測される場合は、もし、画面(4
1)から画面(42)へのグローバル動きベクトルの値
が既に検出されているとすると、画面(41)から画面
(43)へのグローバル動きベクトルの値は、画面(4
1)から画面(42)へのグローバル動きベクトルの値
から予測することができる。すなわち、画面全体の動き
の周期を局所的に見ると、通常、時間的に近接した画面
間では画面全体の動きの変化は線形的な特性を持つ。こ
のような線形的な特性を有する期間が存在することが蓄
積処理されたグローバル動きベクトルから検出された場
合、その期間内においてもし同一の画面を参照画面とし
ている画面が数画面存在しているならば、それら画面間
では、それら画面の中のいずれかの画面についてグロー
バル動きベクトルが既知であれば、そのグローバル動き
ベクトルの値を参照画面からの時間差に対応する分だけ
増減することで、他の画面のグローバル動きベクトルを
容易に予測することが可能となる。
If both the screen (42) and the screen (43) in FIG. 8 are predicted from the screen (41), if the screen (4)
Assuming that the value of the global motion vector from 1) to the screen (42) has already been detected, the value of the global motion vector from the screen (41) to the screen (43) is
It can be predicted from the value of the global motion vector from 1) to the screen (42). That is, when the period of the movement of the entire screen is locally viewed, the change in the movement of the entire screen usually has a linear characteristic between screens that are temporally close to each other. If it is detected from the accumulated global motion vector that there is a period having such a linear characteristic, if there are several screens that use the same screen as a reference screen during that period, For example, between the screens, if the global motion vector is known for any of the screens, the value of the global motion vector is increased or decreased by the amount corresponding to the time difference from the reference screen, and the other It is possible to easily predict the global motion vector of the screen.

【0049】例えば、図8では、画面(43)は、画面
(42)に比べて参照画面(41)からの時間的な間隔
が2倍であるため、画面(41)から画面(42)への
グローバル動きベクトルの値がVであるとして既に検出
されていれば、画面(41)から画面(43)へのグロ
ーバル動きベクトルの値は、例えば、その画面(42)
へのグローバル動きベクトルの値Vの2倍の2Vである
と予想することができる。逆に、画面(43)のグロー
バル動きベクトルの値が既に検出されている場合には、
例えば、その値を半分にした値を、画面(42)のグロ
ーバル動きベクトルの予測値として使用することができ
る。
For example, in FIG. 8, the screen (43) is shifted from the screen (41) to the screen (42) because the time interval from the reference screen (41) is twice as long as the screen (42). If the value of the global motion vector from the screen (41) to the screen (43) has already been detected as V,
To 2V, which is twice the value V of the global motion vector. Conversely, if the value of the global motion vector on the screen (43) has already been detected,
For example, a value obtained by halving the value can be used as a predicted value of the global motion vector of the screen (42).

【0050】このような予測処理を用いた場合の処理の
流れを図9に示す。まず、入力画面についてグローバル
動きベクトルが計算され、それが蓄積処理される(ステ
ップS201)。そして、次の画面が入力されると、そ
の入力画面が参照画面から見て時間的に2枚以上離れた
画面であるか否かが判断される(ステップS202)。
入力画面が参照画面から見て時間的に2枚以上離れた画
面である場合には、その入力画面と参照画面との間に、
同一画面を参照画面として使用しており、且つグローバ
ル動きベクトルが既に検出されて既知となっている画面
が存在するか否かが検出される(ステップS203)。
存在する場合には、その検出された画面についてのグロ
ーバル動きベクトルの値と、入力画面と検出画面間の参
照画面からの時間差とに基づき、入力画面のグローバル
動きベクトルの予測値が求められる(ステップS20
4)。
FIG. 9 shows a flow of processing when such a prediction processing is used. First, a global motion vector is calculated for the input screen, and the resultant is stored (step S201). Then, when the next screen is input, it is determined whether or not the input screen is a screen that is separated from the reference screen by two or more temporally (step S202).
If the input screen is a screen that is separated from the reference screen by two or more in time, the input screen and the reference screen
It is detected whether or not there is a screen that uses the same screen as a reference screen, and for which a global motion vector has already been detected and is already known (step S203).
If there is, a predicted value of the global motion vector of the input screen is obtained based on the value of the global motion vector for the detected screen and the time difference from the reference screen between the input screen and the detected screen (step). S20
4).

【0051】一方、入力画面が参照画面から見て時間的
に2枚以上離れた画面でない場合には、参照画面から見
て時間的に2枚以上先の画面の中で、入力画面と同じ画
面を参照画面として使用しており、且つグローバル動き
ベクトルが既に検出されて既知となっている画面が存在
するか否かが検出される(ステップS205)。存在す
る場合には、その検出された画面についてのグローバル
動きベクトルの値と、入力画面と検出画面間の参照画面
からの時間差とに基づき、入力画面のグローバル動きベ
クトルの予測値が求められる(ステップS204)。
On the other hand, if the input screen is not two or more pages temporally apart from the reference screen, the same screen as the input screen is selected from among the screens two or more temporally ahead from the reference screen. Is used as a reference screen, and it is detected whether or not there is a screen whose global motion vector has already been detected and known (step S205). If there is, a predicted value of the global motion vector of the input screen is obtained based on the value of the global motion vector for the detected screen and the time difference from the reference screen between the input screen and the detected screen (step). S204).

【0052】以上のように、第1実施形態によれば、画
面全体の動きの変化についての統計的性質から線形性や
周期性といった変化の性質を抽出し、それに基づいて次
画面以降のグローバル動きベクトルの値を予測している
ので、入力画面毎に画面内の全ブロックの動きベクトル
の二乗平均値の偏差を調べるといった演算処理は実際の
グローバル動きベクトルを検出するために最初の何画面
かについてのみ行うだけで良く、入力画面毎に個々に行
う必要がなくなる。よって、少ない演算量で、且つ符号
化処理のリアルタイム性を損なうことなく、画面全体の
動きによる発生符号量の増加の問題を解決することがで
きる。
As described above, according to the first embodiment, the nature of the change such as linearity and periodicity is extracted from the statistical property of the change in the motion of the entire screen, and the global motion of the next screen and thereafter is extracted based on the extracted property. Since the value of the vector is predicted, the arithmetic processing such as checking the deviation of the mean square value of the motion vectors of all the blocks in the screen for each input screen is performed only for the first few screens in order to detect the actual global motion vector. Only need to be performed, and it is not necessary to individually perform each input screen. Therefore, it is possible to solve the problem of an increase in the generated code amount due to the motion of the entire screen with a small amount of calculation and without impairing the real-time property of the encoding process.

【0053】また、特に予測値は定期的に修正している
ので、実際の入力画面全体の動きの変化に追従したグロ
ーバル動きベクトルの最適な予測処理が可能となる。な
お、以上の説明では、専用のハードウェアを用いる場合
を想定して説明したが、符号化器121、グローバル動
きベクトル検出部122、グローバル動きベクトル蓄積
メモリ123、統計量計算/予測部124、および動き
補正部125の一部または全てをコンピュータプログラ
ムにて実現することもできる。この場合、そのコンピュ
ータプログラムを記録媒体からコンピュータにインスト
ールして実行させるだけで、第1実施形態と同様の機能
を実現することができる。
In particular, since the predicted value is regularly corrected, it is possible to perform an optimal prediction process of the global motion vector that follows the actual change in the motion of the entire input screen. Although the above description has been made on the assumption that dedicated hardware is used, the encoder 121, the global motion vector detection unit 122, the global motion vector storage memory 123, the statistic calculation / prediction unit 124, and Part or all of the motion correction unit 125 can be realized by a computer program. In this case, the same function as that of the first embodiment can be realized only by installing the computer program from the recording medium to the computer and executing the computer program.

【0054】(第2の実施形態)次に、本発明の第2実
施形態として、第1実施形態の動画像符号化装置の適用
して構成される移動体検出装置について説明する。
(Second Embodiment) Next, as a second embodiment of the present invention, a moving object detection device configured by applying the moving picture coding device of the first embodiment will be described.

【0055】図10は、移動体検出装置全体のシステム
構成を示している。この移動体検出装置は、例えば監視
対象領域への侵入者等を自動検出するために使用される
ものであり、動画像符号化装置と復号化装置とから構成
されている。符号化側は、図1で説明した動画像符号化
装置12を用いて実現されており、カメラ11、符号化
器121、グローバル動きベクトル検出部122、グロ
ーバル動きベクトル蓄積メモリ123、統計量計算/予
測部124、および動き補正部125を備えている。ま
た、復号化側には、図示のように、復号化器131、動
きベクトル抽出部132、統計量演算部133、移動体
検出部134、およびモニタ14が設けられている。
FIG. 10 shows the system configuration of the whole moving object detecting device. This moving object detection device is used, for example, for automatically detecting an intruder or the like in a monitoring target area, and includes a moving image encoding device and a decoding device. The encoding side is realized by using the video encoding device 12 described in FIG. 1, and includes a camera 11, an encoder 121, a global motion vector detecting unit 122, a global motion vector storage memory 123, a statistic calculation / A prediction unit 124 and a motion correction unit 125 are provided. On the decoding side, a decoder 131, a motion vector extraction unit 132, a statistic calculation unit 133, a moving object detection unit 134, and a monitor 14 are provided as shown.

【0056】復号化側では、符号化側から送られてきた
符号化データが復号化器によって復号化されて、その復
号結果の画像がモニタ14に表示される。また、動きベ
クトル抽出部132では、符号化データから動きベクト
ルが抽出され、これにより動きのあるブロックが検出さ
れる。この動きのあるブロックに対して統計量演算部1
33においては周囲ブロックの動きとの比較が行われ、
動きの向き、大きさについて同じ性質を持つブロック群
が検出される。そして、移動体検出部134では、これ
らブロック群の大きさを監視対象の物体の大きさと比較
することなどにより、それが目的とする移動物体である
か否かの判定が行われる。同じ動き特性を持つブロック
群の大きさが目的とする移動物体の大きさと近似してい
る場合には、侵入者の発見を通知する警告が発せられる
と共に、該当するブロック群の動きが追跡される。
On the decoding side, the encoded data sent from the encoding side is decoded by the decoder, and the decoded image is displayed on the monitor 14. In addition, the motion vector extracting unit 132 extracts a motion vector from the encoded data, and detects a moving block. The statistic calculation unit 1 for this moving block
At 33, a comparison with the motion of the surrounding blocks is made,
A block group having the same property in the direction and magnitude of the motion is detected. Then, the moving object detection unit 134 determines whether or not the block group is the target moving object by comparing the size of the block group with the size of the monitoring target object. If the size of a group of blocks having the same motion characteristics is similar to the size of the target moving object, a warning is issued to notify the discovery of an intruder, and the movement of the corresponding block group is tracked. .

【0057】さて、このような移動物体検出システムに
おいては、監視用のカメラ11の振動等によって画面全
体に動きが生じた場合、全てのブロックに動きの成分が
生じてしまうため、復号側で動きを持つブロックの抽出
が正確にできなくなる。しかし、本例においては、符号
化側では画面全体の動きが補正された状態で符号化が行
われているので、監視用のカメラ11の振動等によって
画面全体に動きが生じた場合であっても、復号側では、
正確に移動物体を検出することができる。
In such a moving object detection system, if a motion occurs on the entire screen due to the vibration of the monitoring camera 11 or the like, a motion component occurs in all blocks. Blocks with cannot be accurately extracted. However, in this example, since the encoding is performed in a state where the motion of the entire screen is corrected on the encoding side, the motion occurs on the entire screen due to vibration of the monitoring camera 11 or the like. On the decryption side,
A moving object can be detected accurately.

【0058】[0058]

【発明の効果】以上説明したように、本発明によれば、
次の入力画面の全体の動きを統計的性質から予測するこ
とが可能となり、画面全体の動きを求めるための全ブロ
ックに対する計算を省略でき、少ない演算量で画面全体
の動きを補正する事が可能となる。
As described above, according to the present invention,
It is possible to predict the whole movement of the next input screen from statistical properties, it is possible to omit the calculation for all blocks to obtain the movement of the whole screen, and it is possible to correct the movement of the whole screen with a small amount of calculation Becomes

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1実施形態に係る動画像符号化装置
を用いた映像監視システムの構成を示すブロック図。
FIG. 1 is a block diagram showing a configuration of a video surveillance system using a video encoding device according to a first embodiment of the present invention.

【図2】同第1実施形態の動画像符号化装置に設けられ
た動き補正部と符号化器との具体的な接続関係の一例を
示すブロック図。
FIG. 2 is a block diagram showing an example of a specific connection relationship between a motion correction unit and an encoder provided in the video encoding device of the first embodiment.

【図3】同第1実施形態の動画像符号化装置に設けられ
た動き補正部と符号化器との具体的な接続関係の他の例
を示すブロック図。
FIG. 3 is a block diagram showing another example of a specific connection relationship between a motion correction unit and an encoder provided in the video encoding device of the first embodiment.

【図4】同第1実施形態の動画像符号化装置に入力され
る入力画面の動きベクトルの分布状態を示す図。
FIG. 4 is a view showing a distribution state of motion vectors on an input screen input to the video encoding device of the first embodiment.

【図5】同第1実施形態の動画像符号化装置に設けられ
た統計量計算/予測部に入力されるグローバル動きベク
トル値の統計量の一例を示す図。
FIG. 5 is a diagram showing an example of a statistic of a global motion vector value input to a statistic calculation / prediction unit provided in the video encoding device of the first embodiment.

【図6】同第1実施形態の動画像符号化装置に入力され
る入力画面の動きの変化と予測値との関係を説明するた
めの図。
FIG. 6 is an exemplary view for explaining a relationship between a change in motion of an input screen input to the video encoding device of the first embodiment and a predicted value;

【図7】同第1実施形態の動画像符号化装置によるグロ
ーバル動きベクトル検出・予測処理の手順を説明するフ
ローチャート。
FIG. 7 is an exemplary flowchart for explaining the procedure of global motion vector detection / prediction processing by the video encoding device of the first embodiment.

【図8】同第1実施形態の動画像符号化装置で用いられ
るグローバル動きベクトルの予測の別の例を説明するた
めの図。
FIG. 8 is an exemplary view for explaining another example of prediction of a global motion vector used in the video encoding device of the first embodiment.

【図9】同第1実施形態の動画像符号化装置によるグロ
ーバル動きベクトル予測処理動作の他の例を説明するた
めのフローチャート。
FIG. 9 is a flowchart for explaining another example of the global motion vector prediction processing operation by the video encoding device of the first embodiment.

【図10】本発明の第2実施形態に係る移動物体検出装
置の構成を示すブロック図。
FIG. 10 is a block diagram showing a configuration of a moving object detection device according to a second embodiment of the present invention.

【図11】従来の動画像符号化装置の構成を示すブロッ
ク図。
FIG. 11 is a block diagram showing a configuration of a conventional video encoding device.

【符号の説明】[Explanation of symbols]

11…カメラ 12…動画像符号化装置 13…復号化装置 14…モニタ 121…符号化器 122…グローバル動きベクトル検出部 123…グローバル動きベクトル蓄積メモリ 124…統計量計算/予測部 125…動き補正部 125a…ブロック切出し位置補正部 125b…動きベクトル補正部 201…ブロック分割部 202…減算器 203…DCT変換部 204…量子化部 205…可変長符号化部 207…逆量子化部 208…逆DCT変換部 209…加算器 210…フレームメモリ 211…動き検出部 DESCRIPTION OF SYMBOLS 11 ... Camera 12 ... Video encoder 13 ... Decoder 14 ... Monitor 121 ... Encoder 122 ... Global motion vector detection part 123 ... Global motion vector accumulation memory 124 ... Statistic amount calculation / prediction part 125 ... Motion correction part 125a: block extraction position correction unit 125b: motion vector correction unit 201: block division unit 202: subtractor 203: DCT conversion unit 204: quantization unit 205: variable length coding unit 207: inverse quantization unit 208: inverse DCT conversion Unit 209 adder 210 frame memory 211 motion detector

Claims (8)

【特許請求の範囲】[Claims] 【請求項1】 入力動画像信号の所定の画像領域毎に動
きベクトルを検出し、その検出した動きベクトルを用い
てフレーム間予測符号化を行う符号化手段と、 前記入力動画像信号の画面全体の動きを示すグローバル
動きベクトルを検出する検出手段と、 この検出手段によって検出されたグローバル動きベクト
ルを蓄積処理して画面全体の動きの変化についての統計
的性質を抽出し、この統計的性質に基づいて後続する入
力画面のグローバル動きベクトルを予測する予測手段
と、 この予測手段によるグローバル動きベクトルの予測値を
用いて前記入力動画像信号の画面全体の動きを補正する
動き補正手段とを具備することを特徴とする動画像符号
化装置。
An encoding means for detecting a motion vector for each predetermined image area of an input video signal and performing inter-frame predictive coding using the detected motion vector, and an entire screen of the input video signal Detecting means for detecting a global motion vector indicating the movement of the image, and accumulating and processing the global motion vector detected by the detecting means to extract a statistical property of a change in motion of the entire screen, and based on the statistical property. Prediction means for predicting a global motion vector of a subsequent input screen, and motion correction means for correcting the motion of the input moving image signal over the entire screen using the predicted value of the global motion vector by the prediction means. A video encoding device characterized by the above-mentioned.
【請求項2】 前記検出手段は所定の時間毎に入力画面
のグローバル動きベクトルを再検出し、 この再検出されたグローバル動きベクトルを蓄積処理し
て統計的性質を再抽出することにより、前記予測手段に
よるグローバル動きベクトルの予測値が動的に修正され
ることを特徴とする請求項1記載の動画像符号化装置。
2. The prediction means re-detects a global motion vector of an input screen at predetermined time intervals, accumulates the re-detected global motion vector, and re-extracts the statistical properties to obtain the prediction. 2. The moving picture coding apparatus according to claim 1, wherein the prediction value of the global motion vector by the means is dynamically corrected.
【請求項3】 前記予測手段は、前記画面全体の動きに
ついての統計的性質として、前記蓄積処理されたグロー
バル動きベクトルから画面全体の動きの変化の周期性ま
たは線形性を抽出することを特徴とする請求項1記載の
動画像符号化装置。
3. The method according to claim 2, wherein the predicting unit extracts, as the statistical property of the motion of the entire screen, the periodicity or linearity of a change in the motion of the entire screen from the accumulated global motion vector. The moving picture coding apparatus according to claim 1.
【請求項4】 前記予測手段は、同一の参照画面を用い
てフレーム間予測符号化が行われる複数の入力画面の中
にグローバル動きベクトルが既知の入力画面が存在する
とき、そのグローバル動きベクトルの値と、前記複数の
入力画面相互間の前記参照画面からの時間差とに基づい
て、前記複数の入力画面中の他の画面のグローバル動き
ベクトルを予測することを特徴とする請求項1記載の動
画像符号化装置。
4. The method according to claim 1, wherein, when an input screen whose global motion vector is known is present among a plurality of input screens in which inter-frame prediction encoding is performed using the same reference screen, The moving picture according to claim 1, wherein a global motion vector of another screen in the plurality of input screens is predicted based on the value and a time difference from the reference screen between the plurality of input screens. Image coding device.
【請求項5】 前記動き補正手段は、前記入力動画像信
号の画面を複数の画像領域に分割するための各画像領域
の切り出し位置を、前記予測手段によるグローバル動き
ベクトルの予測値を用いて修正する手段を含むことを特
徴とする請求項1記載の動画像符号化装置。
5. The motion correcting unit corrects a cutout position of each image region for dividing a screen of the input moving image signal into a plurality of image regions using a predicted value of a global motion vector by the prediction unit. 2. The moving picture coding apparatus according to claim 1, further comprising means for performing the moving picture coding.
【請求項6】 前記動き補正手段は、前記各画像領域毎
に検出される動きベクトルの値を、前記予測手段による
グローバル動きベクトルの予測値を用いて修正する手段
を含むことを特徴とする請求項1記載の動画像符号化装
置。
6. The apparatus according to claim 1, wherein said motion correcting means includes means for correcting a value of a motion vector detected for each of said image areas using a predicted value of a global motion vector by said predicting means. Item 3. The video encoding device according to Item 1.
【請求項7】 動画像符号化装置から伝送される動画像
信号の符号化データから各画像領域の動きベクトルを抽
出し、この抽出した動きベクトルを解析することにより
前記符号化データから移動物体を検出する移動物体検出
装置において、 前記動画像符号化装置は、 入力動画像信号の所定の画像領域毎に動きベクトルを検
出し、その検出した動きベクトルを用いてフレーム間予
測符号化を行う符号化手段と、 前記入力動画像信号の画面全体の動きを示すグローバル
動きベクトルを検出する検出手段と、 この検出手段によって検出されたグローバル動きベクト
ルを蓄積処理して画面全体の動きの変化についての統計
的性質を抽出し、この統計的性質に基づいて後続する入
力画面のグローバル動きベクトルを予測する予測手段
と、 この予測手段によるグローバル動きベクトルの予測値を
用いて前記入力動画像信号の画面全体の動きを補正する
動き補正手段とを具備することを特徴とする移動物体検
出装置。
7. A moving object of each image area is extracted from encoded data of a moving image signal transmitted from a moving image encoding apparatus, and a moving object is extracted from the encoded data by analyzing the extracted motion vector. In the moving object detecting device for detecting, the moving image encoding device detects a motion vector for each predetermined image region of an input moving image signal, and performs inter-frame predictive encoding using the detected motion vector. Means for detecting a global motion vector indicating the motion of the entire screen of the input moving image signal; and storing and processing the global motion vector detected by the detecting means to statistically calculate a change in motion of the entire screen. Predicting means for extracting a property and predicting a global motion vector of a subsequent input screen based on the statistical property; Moving object detection apparatus characterized by comprising a motion compensation means for correcting the whole screen motion of the input moving image signal using the predicted value of the global motion vector by.
【請求項8】 入力動画像信号の画面全体の動きを示す
グローバル動きベクトルを検出する検出手段と、 この検出手段によって検出されたグローバル動きベクト
ルを蓄積処理して画面全体の動きの変化についての統計
的性質を抽出し、この統計的性質に基づいて入力動画像
信号のグローバル動きベクトルを予測する予測手段とを
具備することを特徴とする動き予測装置。
8. A detecting means for detecting a global motion vector indicating a motion of the entire screen of the input moving image signal, and a process for accumulating and processing a global motion vector detected by the detecting means to calculate a change in motion of the entire screen. A motion prediction device comprising: a prediction unit that extracts a statistical property and predicts a global motion vector of an input video signal based on the statistical property.
JP6666498A 1998-03-17 1998-03-17 Moving image coder, moving object detector and motion prediction device employed for the devices Pending JPH11266459A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6666498A JPH11266459A (en) 1998-03-17 1998-03-17 Moving image coder, moving object detector and motion prediction device employed for the devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6666498A JPH11266459A (en) 1998-03-17 1998-03-17 Moving image coder, moving object detector and motion prediction device employed for the devices

Publications (1)

Publication Number Publication Date
JPH11266459A true JPH11266459A (en) 1999-09-28

Family

ID=13322407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6666498A Pending JPH11266459A (en) 1998-03-17 1998-03-17 Moving image coder, moving object detector and motion prediction device employed for the devices

Country Status (1)

Country Link
JP (1) JPH11266459A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285093A (en) * 2005-04-04 2006-10-19 Nikon Vision Co Ltd Image blur correction signal processing circuit and optical observation device
US8149911B1 (en) * 2007-02-16 2012-04-03 Maxim Integrated Products, Inc. Method and/or apparatus for multiple pass digital image stabilization
US10375933B2 (en) 2014-12-12 2019-08-13 A&D Company, Limited Animal behavior monitoring system
CN111435535A (en) * 2019-01-14 2020-07-21 株式会社日立制作所 Method and device for acquiring joint point information
JP2021005906A (en) * 2020-10-15 2021-01-14 富士通株式会社 Video encoding device

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285093A (en) * 2005-04-04 2006-10-19 Nikon Vision Co Ltd Image blur correction signal processing circuit and optical observation device
JP4739797B2 (en) * 2005-04-04 2011-08-03 株式会社 ニコンビジョン Optical observation device
US8149911B1 (en) * 2007-02-16 2012-04-03 Maxim Integrated Products, Inc. Method and/or apparatus for multiple pass digital image stabilization
US10375933B2 (en) 2014-12-12 2019-08-13 A&D Company, Limited Animal behavior monitoring system
CN111435535A (en) * 2019-01-14 2020-07-21 株式会社日立制作所 Method and device for acquiring joint point information
CN111435535B (en) * 2019-01-14 2024-03-08 株式会社日立制作所 Method and device for acquiring joint point information
JP2021005906A (en) * 2020-10-15 2021-01-14 富士通株式会社 Video encoding device

Similar Documents

Publication Publication Date Title
KR100683849B1 (en) Decoder having digital image stabilization function and digital image stabilization method
US7171052B2 (en) Apparatus and method for correcting motion of image
US7933333B2 (en) Method and apparatus for detecting motion in MPEG video streams
KR100453714B1 (en) Apparatus and Method for Motion Detection in Digital Video Recording System Using MPEG Video Compression Technique
US6628711B1 (en) Method and apparatus for compensating for jitter in a digital video image
US7082210B2 (en) Moving object detector and image monitoring system
US20030112866A1 (en) Method and apparatus for motion detection from compressed video sequence
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
US10382780B2 (en) Method, a video encoder, and a video camera for encoding a video stream
JP5713797B2 (en) Video surveillance device
EP1333682A1 (en) Motion detection from an encoded image bit stream
JP3272466B2 (en) Moving image analyzer
JP3681784B2 (en) Video signal encoding device
JPH11266459A (en) Moving image coder, moving object detector and motion prediction device employed for the devices
Szczerba et al. Fast compressed domain motion detection in H. 264 video streams for video surveillance applications
JPH07231442A (en) Security monitor device
Fernandez et al. Integrated H. 264 region-of-interest detection, tracking and compression for surveillance scenes
JP2003032691A (en) Picture coding device corresponding to picture feature
WO2005029833A2 (en) Deriving motion detection information from motion-vector-search type video encoders
EP3989587A1 (en) Image processing device and method of pre-processing images of a video stream before encoding
JP2001275103A (en) Supervisory system and its motion detection method
JP2002344949A (en) Moving picture monitoring system
JP3658016B2 (en) Digital image communication / recording device, transmitting device, receiving device
JPH10191347A (en) Motion detector, motion detecting method and storage medium
JP2007336138A (en) Video recording apparatus and video recording program