JPH0984017A - Motion compensation prediction coding method for moving image - Google Patents
Motion compensation prediction coding method for moving imageInfo
- Publication number
- JPH0984017A JPH0984017A JP7236994A JP23699495A JPH0984017A JP H0984017 A JPH0984017 A JP H0984017A JP 7236994 A JP7236994 A JP 7236994A JP 23699495 A JP23699495 A JP 23699495A JP H0984017 A JPH0984017 A JP H0984017A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- motion
- vector field
- image
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/004—Predictors, e.g. intraframe, interframe coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像通信、画像記
録等に利用される画像信号のディジタル圧縮符号化方法
に関し、詳しくは動画像の動き補償予測符号化方法に関
する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital compression coding method for image signals used in image communication, image recording and the like, and more particularly to a motion compensation predictive coding method for moving images.
【０００２】[0002]
【従来の技術】動画像のディジタル圧縮符号化におい
て、動画像信号の時間冗長性を抑圧する手段として、動
き補償フレーム間予測がしばしば用いられる。このフレ
ーム間予測では、通常、符号化対象画像を１６画素×１
６ライン等の矩形の符号化単位（以下ブロックと称す）
に区切り、各ブロックごとに動きを求める対象となって
いるブロックを中心とする探索範囲を予測参照画像内に
設定し、その範囲内で対象ブロックを平行移動させなが
ら、対象ブロックと最も類似するブロックを、絶対値差
分や差分自乗和等を評価関数として使用することで探し
出し、参照画像との相対位置を動ベクトル（ｖx 、
ｖy ）として検出する。2. Description of the Related Art In digital compression coding of moving images, motion-compensated interframe prediction is often used as a means for suppressing temporal redundancy of moving image signals. In this inter-frame prediction, the encoding target image is usually 16 pixels × 1.
A rectangular coding unit such as 6 lines (hereinafter referred to as a block)
, A search range centered on the block for which motion is to be calculated for each block is set in the prediction reference image, and the block that is most similar to the target block is translated while the target block is translated within that range. By using the absolute value difference or the sum of squared differences as an evaluation function, and the relative position with respect to the reference image is calculated as a motion vector (v x ,
v y ).
【０００３】符号化対象画像の座標（ｘ、ｙ）上の画像
データと最もよくマッチングする画像は、予測参照画像
中の座標（ｘr 、ｙr ）上の画像データとして対応づけ
られる。The image that best matches the image data on the coordinates (x, y) of the image to be encoded is associated as the image data on the coordinates (x r , y r ) in the predicted reference image.
【０００４】[0004]
【数１】 このように、予測参照画像中の同じ位置（ｘ、ｙ）のブ
ロックではなく、この動ベクトル（ｖx 、ｖy ）分平行
移動した位置のブロックを予測画像とし、前記予測画像
と符号化対象画像との差分（動き補償予測誤差）信号を
符号化することにより、動画像のフレーム間相関は飛躍
的に向上し、フレーム間予測効率を大幅に向上すること
が可能となる。[Equation 1] Thus, not the block at the same position (x, y) in the prediction reference image, but the block at the position translated by this motion vector (v x , v y ) is used as the prediction image, and the prediction image and the encoding target By encoding the difference (motion compensation prediction error) signal with the image, the inter-frame correlation of the moving image is dramatically improved, and the inter-frame prediction efficiency can be significantly improved.
【０００５】[0005]
【発明が解決しようとする課題】 前記従来技術における
動き補償予測方法は、１６画索×１６ライン等の矩形ブ
ロックを１つの剛体とみなし、各ブロックの平行移動の
みを補償するものである。従って、被写体の拡大・縮小
・回転等の変形を補償することは不可能である。すなわ
ち、物体の変形を伴う場合には動き予測が当たらず、予
測効率が大幅に低下するのみならず、予測画像の品質が
劣化し、予測誤差画像の符号化に十分な符号量を割り当
てることのできない低レート符号化時には、視覚的に大
きな妨害となる。[Problems to be Solved by the Invention] In the prior art
The motion compensation prediction method is a rectangular block such as 16 picture lines × 16 lines.
Considering the lock as one rigid body,
It only compensates you. Therefore, enlargement / reduction of the subject
-It is impossible to compensate for deformation such as rotation. Sand
However, if the object is deformed, the motion prediction cannot
Not only will the measurement efficiency be significantly reduced, but the quality of
Deteriorate and allocate a sufficient amount of code to encode the prediction error image.
When encoding at low rate, which is impossible
It becomes a hindrance.
【０００６】上記問題点を解決する手段として、平行移
動のみならず、拡大・縮小・回転などを表現し得る線形
変換としてアフィン変換を動き補償に用いる手法が提案
されている。As a means for solving the above problems, there has been proposed a method of using affine transformation for motion compensation as a linear transformation capable of expressing not only parallel movement but also enlargement / reduction / rotation.
【０００７】[0007]
【数２】 ここで、ａ、ｂ、ｃ、ｄ、ｖx 、ｖy はアフィン変換係
数を表す。[Equation 2] Here, a, b, c, d, v x and v y represent affine transformation coefficients.
【０００８】平行移動に加えて動き補償予測にアフィン
変換を用いることにより、回転・拡大・縮小などの動き
を補償することが可能となり、従来平行移動補償に比べ
て予測画像の品質を一層向上することが可能となる。By using affine transformation for motion compensation prediction in addition to parallel movement, it is possible to compensate for movements such as rotation, enlargement and reduction, and to further improve the quality of the predicted image compared to conventional parallel movement compensation. It becomes possible.
【０００９】しかし、フレーム間の動きを記述するの
に、従来平行移動補償が（ｖx 、ｖy）の２パラメータ
であるのに対し、アフィン変換動き補償は（ａ、ｂ、
ｃ、ｄ、ｖx 、ｖy ）の６パラメータが必要であるの
で、予測画像を作成するのに（ａ、ｂ、ｃ、ｄ）の４パ
ラメータ分付加情報が必要であり、予測誤差信号の符号
化に、十分な符号量を割り当てることが不可能となり、
復号画像の品質が劣化してしまう。However, in order to describe the motion between frames, the conventional translation compensation has two parameters (v x , v y ), whereas the affine transformation motion compensation has (a, b,
Since 6 parameters of (c, d, v x , v y ) are required, additional information of 4 parameters of (a, b, c, d) is required to create a prediction image, and the prediction error signal It becomes impossible to allocate a sufficient amount of code for encoding,
The quality of the decoded image deteriorates.
【００１０】本発明の目的は、上記問題点を解決し、少
ない付加情報で、動き補償による予測効率の改善を行な
うことにある。An object of the present invention is to solve the above problems and improve the prediction efficiency by motion compensation with a small amount of additional information.
【００１１】[0011]
【課題を解決するための手段】本発明の動画像の動き補
償予測符号化方法は、符号化対象画像を複数個の符号化
単位に分割し、前記符号化単位内の画素単位の動ベクト
ル場を表すパターンを作成し、前記符号化単位ごとの動
ベクトルと、前記画素単位の動ベクトル場を表すパター
ンから、求められる符号化単位内の各画素ごとの動ベク
トルを用いて動き補償予測を行ない、各符号化単位ごと
に符号化対象画像と予測参照画像との間で動き補償予測
を行なう動画像の動き補償予測符号化方法において、前
記符号化単位の動ベクトルと、動ベクトル場パターンを
示す元になる予測参照画像の画素単位の動ベクトル場を
蓄積するステップと、前記符号化単位の動ベクトルと、
前記蓄積された前記予測参照画像のどの位置の動ベクト
ル場を動き補償予測に利用するかを示す動ベクトル場パ
ターン参照ベクトルを用いて画素単位の動ベクトルを算
出するステップを有する。A motion-compensated predictive coding method for a moving image according to the present invention divides an image to be coded into a plurality of coding units, and a moving vector field for each pixel in the coding unit. A motion vector for each coding unit and a motion vector field for each pixel are used to perform motion compensation prediction using the motion vector for each pixel in the coding unit. , A motion-compensated predictive coding method for a motion picture that performs motion-compensated prediction between a coding target picture and a prediction reference picture for each coding unit, showing a motion vector of the coding unit and a motion vector field pattern. Accumulating a pixel-based motion vector field of the original prediction reference image, and a motion vector of the coding unit,
There is a step of calculating a pixel-based motion vector using a motion vector field pattern reference vector indicating which position of the accumulated prediction reference image is to be used for motion compensation prediction.
【００１２】また、前記符号化単位の動ベクトルと、動
ベクトル場パターン参照ベクトルを用いて画素単位の動
ベクトルを算出するステップは、符号化対象の符号化単
位から動ベクトル場パターン参照ベクトルだけの相対位
置にある画素単位動ベクトル場パターンの各画素毎のベ
クトルに、前記符号化単位の動ベクトルを加算すること
で画素単位動ベクトルを算出するステップを有する。Further, the step of calculating the motion vector in pixel units using the motion vector in the coding unit and the motion vector field pattern reference vector includes only the motion vector field pattern reference vector from the coding unit to be coded. There is a step of calculating the pixel unit motion vector by adding the motion vector of the coding unit to the vector for each pixel of the pixel unit motion vector field pattern at the relative position.
【００１３】[0013]
【発明の実施の形態】動ベクトルを検出するにあたり、
予測参照画像の画素単位の動ベクトル場を動ベクトル場
パターンとして参照する。具体的には動き補償を行なう
対象となっているブロックを中心とする探索範囲を予測
参照画像内に設定し、ブロックの平行移動量
（Ｖmove）、および、動ベクトル場パターン参照ベクト
ル（Ｖvector）だけの相対位置にあるブロックの動ベク
トル場パターンから得られる画素単位の動ベクトルを用
い、対象ブロックと最も類似する参照画像の位置を絶対
値差分や差分自乗和等を評価関数として使用することで
探し出す。BEST MODE FOR CARRYING OUT THE INVENTION In detecting a motion vector,
The motion vector field in pixel units of the prediction reference image is referenced as a motion vector field pattern. Specifically, a search range centered on the block for which motion compensation is performed is set in the prediction reference image, and the parallel movement amount (V move ) of the block and the motion vector field pattern reference vector (V vector) are set. ), Using the pixel-based motion vector obtained from the motion vector field pattern of the block at the relative position, the position of the reference image that is most similar to the target block is used as an evaluation function such as absolute difference or sum of squared differences. Find out with.
【００１４】そして、評価関数値が最小となった参照画
像との相対位置（動ベクトル）、および、動ベクトル場
の相対位置（動ベクトル場パターン参照ベクトル）を出
力する。Then, the relative position (motion vector) with respect to the reference image having the smallest evaluation function value and the relative position of the motion vector field (motion vector field pattern reference vector) are output.
【００１５】また、ブロック内の各画素の予測値とし
て、前記画素単位の動ベクトルぶん平行移動した位置の
輝度値を用いることで、予測画像を作成する。A predicted image is created by using, as the predicted value of each pixel in the block, the brightness value at the position where the motion vector is moved in parallel in pixel units.
【００１６】[0016]
【実施例】以下、図面により本発明の実施例を詳細に説
明する。Embodiments of the present invention will now be described in detail with reference to the drawings.
【００１７】図１は、本発明の一実施例における動画像
の動き補償予測符号化方法の符号器の構成を示す図であ
り、１は符号化対象画像、２は予測画像の動ベクトル
場、３は動ベクトル・動ベクトル場パターン参照ベクト
ル検出部、４は動ベクトル場パターン参照ベクトル、５
は動ベクトル、６はブロック内動ベクトル場生成器、７
はブロック内動ベクトル場パターン、８は加算器、９は
画素単位動ベクトル、１０は予測画像の動ベクトル場蓄
積メモリ、１１は画素単位動き補償部、１２は予測画
像、１３は減算器、１４は動き補償予測誤差である。FIG. 1 is a diagram showing the configuration of an encoder of a motion compensation predictive coding method for a moving image according to an embodiment of the present invention, in which 1 is an image to be encoded, 2 is a motion vector field of the predicted image, 3 is a motion vector / motion vector field pattern reference vector detection unit, 4 is motion vector field pattern reference vector, 5
Is a motion vector, 6 is a motion vector field generator in a block, and 7
Is an intra-block motion vector field pattern, 8 is an adder, 9 is a pixel unit motion vector, 10 is a motion vector field accumulation memory of a prediction image, 11 is a pixel unit motion compensation unit, 12 is a prediction image, 13 is a subtractor, 14 Is a motion compensation prediction error.
【００１８】符号器では、まず始めに符号化対象画像１
が、予測参照画像の動ベクトル場２と共に動ベクトル・
動ベクトル場パターン参照ベクトル検出部３に入力さ
れ、各符号化対象ブロックごとに動ベクトル場パターン
参照ベクトル４と動ベクトル５が求められる。In the encoder, first, the image to be encoded 1
However, with the motion vector field 2 of the prediction reference image,
The motion vector field pattern reference vector detection unit 3 inputs the motion vector field pattern reference vector 4 and the motion vector 5 for each coding target block.
【００１９】動ベクトル場パターン参照ベクトル４と動
ベクトル５の検出方法に関しては後で詳しく述ベる。The method of detecting the motion vector field pattern reference vector 4 and the motion vector 5 will be described in detail later.
【００２０】求められた動ベクトル場パターン参照ベク
トル４は、予測参照画像の動ベクトル場２と共に、ブロ
ック内動ベクトル場生成器６に入力され、動ベクトル場
パターン７が決定され、この各画素単位の値（ベクト
ル）に動ベクトル５を加算器８で加算することにより、
画素単位の動ベクトル９が求められる。画素単位の動ベ
クトル９は、予測画像の動ベクトル場蓄積メモリ（フレ
ームメモリとも称す）１０に蓄積されると同時に、画素
単位動き補償部１１に入力され、画素単位動き補償を行
い、予測画像１２が求められる。The calculated motion vector field pattern reference vector 4 is input to the intra-block motion vector field generator 6 together with the motion vector field 2 of the prediction reference image, and the motion vector field pattern 7 is determined. By adding the motion vector 5 to the value (vector) of
The motion vector 9 for each pixel is obtained. The pixel-based motion vector 9 is stored in the motion vector field storage memory (also referred to as a frame memory) 10 of the prediction image, and at the same time, is input to the pixel unit motion compensation unit 11 to perform pixel unit motion compensation and to calculate the prediction image 12 Is required.
【００２１】復号器側には、動ベクトル５と、動ベクト
ル場パターン参照ベクトル４と、符号化対象画像１と予
測画像１２から減算器１３で求められる予測誤差１４が
多重化して伝送される。The motion vector 5, the motion vector field pattern reference vector 4, the prediction error 14 obtained by the subtractor 13 from the target image 1 and the predicted image 12 are multiplexed and transmitted to the decoder side.
【００２２】また、符号化参照画像に動ベクトル場が存
在しない場合がある。図２は、本発明の一実施例におけ
る動画像の動き補償予測符号化方法において、各符号化
対象画像（フレームとも称す）を符号化する際に、参照
する情報を示したものである。In addition, there may be no motion vector field in the encoded reference image. FIG. 2 shows information to be referred to when encoding each image to be encoded (also referred to as a frame) in the motion compensation predictive encoding method for a moving image according to an embodiment of the present invention.
【００２３】最初のフレーム（Ｉ）は符号化参照画像が
存在しないため、動き補償フレーム間予測を用いること
が不可能であり、フレーム内で符号化する。このため、
Ｉフレームは動きベクトル場情報を保持しておらず、次
のフレーム（Ｐ１）を符号化する際にＩフレームの動ベ
クトル場を参照することはできない。Since the first frame (I) does not have a coded reference image, it is impossible to use motion-compensated interframe prediction and is coded within a frame. For this reason,
The I frame does not hold the motion vector field information, and the motion vector field of the I frame cannot be referred to when the next frame (P1) is encoded.
【００２４】そこで、Ｐ１フレームを予測符号化する際
には、アフィン変換や、動ベクトル内挿など画素単位の
動き補償を行なえる手法を用いて符号化する。動ベクト
ル内挿はGary J. Sullivanらによる”Motion Compensat
ion for Video CompressionUsing Control Grid Interp
olation”（IEEE ICASSP '91, pp. 2713-2716, 1991
年）などに詳しい。これにより、３枚目のフレーム（Ｐ
２）を符号化する際に必要な画素単位の動ベクトル場を
得ることができる。Therefore, when the P1 frame is predictively coded, it is coded using a technique such as affine transformation or motion vector interpolation that can perform motion compensation in pixel units. Motion vector interpolation is performed by Gary J. Sullivan et al. “Motion Compensat
ion for Video CompressionUsing Control Grid Interp
olation ”(IEEE ICASSP '91, pp. 2713-2716, 1991
Details). As a result, the third frame (P
It is possible to obtain a pixel-based motion vector field required when encoding 2).
【００２５】したがって３枚目以降のフレームでは、動
ベクトルと、動ベクトル場パターン参照ベクトルを用い
て画素単位の動き補償を行なうので、画素単位の動ベク
トル場の情報を保持しており、次のフレームを符号化す
る際、符号化参照画像の動ベクトル場を参照することが
可能であり、本手法を用いることが可能である。Therefore, in the third and subsequent frames, the motion vector and the motion vector field pattern reference vector are used to perform motion compensation in pixel units, and therefore, the information of the motion vector field in pixel units is held. When encoding a frame, the motion vector field of the encoded reference image can be referred to, and this method can be used.
【００２６】動ベクトル場パターン参照ベクトル４と動
ベクトル５の検出方法を詳しく述べる。The method of detecting the motion vector field pattern reference vector 4 and the motion vector 5 will be described in detail.
【００２７】図３は、動ベクトル場パターン参照ベクト
ルにより予測参照画像の動ベクトル場からブロック内の
動ベクトル場パターンを参照することを示す図であり、
第１図の回路図における、動ベクトル・動ベクトル場パ
ターン参照ベクトル検出部３の一部分を示したものであ
る。FIG. 3 is a diagram showing that the motion vector field pattern in the block is referred to from the motion vector field of the prediction reference image by the motion vector field pattern reference vector.
2 is a diagram showing a part of a motion vector / motion vector field pattern reference vector detection unit 3 in the circuit diagram of FIG. 1.
【００２８】今、動ベクトル場パターン参照ベクトルの
探索範囲を（土Ｓvector, 士Ｓvect or）画素とする。符
号化対象ブロックを中心とする動ベクトル場パターン参
照ベクトル探索範囲を予測参照画像の画素単位の動ベク
トル場内に設定し、上記探索範囲内で符号化対象ブロッ
クを動ベクトル場パターン参照ベクトル（Ｖvector）だ
け平行移動した場所のブロックの動ベクトル場を動ベク
トル場パターンとして用いる。Now, the search range of the motion vector field pattern reference vector is set to (S vector S, vector S vect or ) pixels. A motion vector field pattern reference vector search range centered on the encoding target block is set in the pixel-based motion vector field of the prediction reference image, and the encoding target block is set to the motion vector field pattern reference vector (V vector ) Is used as the motion vector field pattern of the motion vector field of the block at the location translated in parallel.
【００２９】この時、図３で、求められたブロック内動
ベクトル場パターンは、簡単のため、５×５で考える
と、At this time, the intra-block motion vector field pattern obtained in FIG. 3 is 5 × 5 for simplicity,
【００３０】[0030]
【数３】 という動ベクトル場であり、これは、図４に示すよう
に、ブロックの拡大を表す動ベクトル場である。このよ
うな動ベクトル場は、（２Ｓvector）2 パターン参照す
ることができる。(Equation 3) Is a motion vector field, which is a motion vector field representing expansion of a block, as shown in FIG. Such a motion vector field can be referred to as a (2S vector ) 2 pattern.
【００３１】動ベクトルの探索範囲を（土Ｓmove, 土Ｓ
move）画素とし、検索の精度を一画素単位にすると、同
様に動ベクトルは、（２Ｓmove）2 パターン参照するこ
とができる。The search range of the motion vector is set to (Sat S move, Sat S
(move ) pixels and the accuracy of the search is in units of one pixel, the motion vector can similarly refer to (2S move ) 2 patterns.
【００３２】したがって、動ベクトル場パターン参照ベ
クトル４と動ベクトル５を検出する際には、動ベクトル
場パターン参照ベクトル４より定まるブロック内動ベク
トル場パターン７の各要素（各画素単位のベクトル）に
動ベクトル５を加算することで、画素単位動ベクトルを
求め、この画素単位動ベクトルを用いて（２Ｓvector）
2 ×（２Ｓvector）2 パターンのフルサーチを行ない、
両者を検出する。Therefore, when detecting the motion vector field pattern reference vector 4 and the motion vector 5, each element (vector of each pixel) of the intra-block motion vector field pattern 7 determined by the motion vector field pattern reference vector 4 is detected. A pixel unit motion vector is obtained by adding the motion vector 5, and using this pixel unit motion vector (2S vector )
2 × (2S vector ) 2 patterns full search,
Detect both.
【００３３】[0033]
【発明の効果】以上説明したように、本発明によれば、
符号化対象画像と予測参照画像より、動き補償を用いて
予測画像を作成するにあたり、動ベクトル場パターン参
照ベクトルにより予測参照画像の画素単位の動ベクトル
場から得られる動ベクトル場パターンと、ブロックごと
の動ベクトルから得られる画素単位の動ベクトルをもと
め、それを用いて動き予測をすることで、画素単位の被
写体の動きを記述することが可能となり、特に、従来法
の平行移動補償では非効率であるカメラのパン・ズーム
など複数のフレームに渡って同じ射影変換が行なわれる
場合などでは、効率的に予測できるという効果がある。As described above, according to the present invention,
When creating a predictive image using motion compensation from an encoding target image and a predictive reference image, a motion vector field pattern obtained from a pixel-by-pixel motion vector field of the predictive reference image by a motion vector field pattern reference vector and each block It is possible to describe the motion of the subject in pixel units by obtaining the motion vector in pixel units obtained from the motion vector of P. In the case where the same projective transformation is performed over a plurality of frames such as pan and zoom of a camera, it is possible to effectively predict.
【００３４】例としては図５は、参照フレームから符号
化対象画像にむけて、カメラがズームしながら右に移動
した場合、すなわち被写体が拡大しながら左に移動した
場合を示したものだが、これは従来の平行移動動き補償
では動きが予測できなかった。As an example, FIG. 5 shows a case in which the camera moves to the right while zooming from the reference frame to the image to be encoded, that is, the case where the object moves to the left while enlarging. The motion cannot be predicted by the conventional parallel motion compensation.
【００３５】図６に示すように、本手法を用いることに
より、これを平行移動と拡大の二つの段階に分け、平行
移動ベクトルと、動ベクトル場パターン参照ベクトルに
より定まる動ベクトルパターンを用いることで物体の画
素単位の動ベクトルで、予測することが可能になる。さ
らに、動ベクトルパターンは前フレームの動ベクトル場
を用いる。したがって、復号器側に動ベクトルパターン
を伝送する必要はなく、どの位相位置の前フレームの動
ベクトル場パターンを用いれば良いかの示す符号のみを
伝送すれば良い。As shown in FIG. 6, by using this method, this is divided into two stages of parallel movement and enlargement, and a parallel vector and a motion vector pattern determined by the motion vector field pattern reference vector are used. It is possible to make predictions by using a pixel-based motion vector of the object. Further, the motion vector pattern uses the motion vector field of the previous frame. Therefore, it is not necessary to transmit the motion vector pattern to the decoder side, and only the code indicating which phase position of the motion vector field pattern of the previous frame should be used may be transmitted.
【００３６】従来法の平行移動動き補償方法では効率的
に予測できない、被写体の拡大・縮小・回転などの物体
の変形のように、ブロックの動きが平行移動で表されな
い場合、従来の平行移動に加え、付加情報として予測参
照画像の動ベクトル場を表す動ベクトル場パターン参照
ベクトルを用いることで、被写休の動きをより正確に記
述することが可能になり、予測画像の品質を向上するこ
とが可能となり、フレーム間差分信号の符号化に要する
符号量を大幅に削減することができる。If the movement of a block is not represented by parallel movement, such as deformation of an object such as enlargement / reduction / rotation of an object, which cannot be predicted efficiently by the conventional parallel movement motion compensation method, the conventional parallel movement is used. In addition, by using the motion vector field pattern reference vector that represents the motion vector field of the predicted reference image as additional information, it is possible to describe the motion of the subject frame more accurately and improve the quality of the predicted image. It is possible to significantly reduce the code amount required for encoding the inter-frame difference signal.
【００３７】このように、少ない付加情報量で予測画像
の品質が向上するため、予測誤差信号の符号化に必要な
符号量を抑圧することができ、符号化効率が改普する。Since the quality of the predicted image is improved with a small amount of additional information in this way, the code amount necessary for coding the prediction error signal can be suppressed, and the coding efficiency is improved.
【００３８】また、復号器側に付加情報として２パラメ
ータのみを伝送するので、アフィン変換動き補償に比
べ、付加情報量も低減され、予測効率が改善する。Since only two parameters are transmitted as additional information to the decoder side, the amount of additional information is reduced and the prediction efficiency is improved as compared with affine transformation motion compensation.
【図１】本発明の実施例における動き補償予測符号化方
式の符号器の構成を示す図である。FIG. 1 is a diagram showing a configuration of an encoder of a motion compensation predictive coding system according to an embodiment of the present invention.
【図２】本発明の一実施例における動画像の動き補償予
測符号化方法において、各フレームを符号化する際に、
参照する情報を示したものである。FIG. 2 is a diagram illustrating a motion compensation predictive encoding method for a moving image according to an embodiment of the present invention, in which each frame is encoded,
It shows the information to be referred to.
【図３】符号化対象ブロックから動ベクトル場パターン
参照ベクトルだけの相対位置にあるブロック内動ベクト
ル場パターンを参照することを示す図である。FIG. 3 is a diagram showing that an intra-block motion vector field pattern at a relative position of only a motion vector field pattern reference vector is referenced from an encoding target block.
【図４】ブロックの拡大を表す動ベクトル場である。実
線は符号化対象画像であり、点線は予測参照画像であ
る。ます目は画素を表す。FIG. 4 is a motion vector field representing block expansion. The solid line is the encoding target image, and the dotted line is the prediction reference image. The squares represent pixels.
【図５】被与体が拡大しながら移動した場合な示してお
り、従来平行移動補償では、予測できないことを示す図
である。FIG. 5 is a diagram showing a case where the subject moves while expanding, and is a diagram showing that it cannot be predicted by conventional parallel movement compensation.
【図６】動ベクトル場パターンから求められる、動ベク
トル場パターン参照ベクトルにより一意に定まるブロッ
ク内動ベクトル場パターンと、物休の画素単位の動ベク
トルを用いて、物体の動きを予測する方法を示す図であ
る。FIG. 6 shows a method of predicting a motion of an object using a motion vector field pattern in a block uniquely determined by a motion vector field pattern reference vector, which is obtained from a motion vector field pattern, and a motion vector on a pixel-by-pixel basis. FIG.
１ 符号化対象画像 ２ 予測画像の動ベクトル場 ３ 動ベクトル・動ベクトル場パターン参照ベクトル
検出部 ４ 動ベクトル場パターン参照ベクトル ５ 動ベクトル ６ ブロック内動ベクトル場生成器 ７ ブロック内動ベクトル場パターン ８ 加算器 ９ 画素単位動ベクトル １０ 予測画像の動ベクトル場蓄積メモリ １１ 画素単位動き補償部 １２ 予測画像 １３ 減算器 １４ 動き補償予測誤差1 image to be encoded 2 motion vector field of predicted image 3 motion vector / motion vector field pattern reference vector detection unit 4 motion vector field pattern reference vector 5 motion vector 6 intra-block motion vector field generator 7 intra-block motion vector field pattern 8 Adder 9 Pixel unit motion vector 10 Motion vector field storage memory of prediction image 11 Pixel unit motion compensation unit 12 Prediction image 13 Subtractor 14 Motion compensation prediction error
Claims (2)
分割し、前記符号化単位内の画素単位の動ベクトル場を
表すパターンを作成し、前記符号化単位ごとの動ベクト
ルと、前記画素単位の動ベクトル場を表すパターンか
ら、求められる符号化単位内の各画素ごとの動ベクトル
を用いて動き補償予測を行ない、各符号化単位ごとに符
号化対象画像と予測参照画像との間で動き補償予測を行
なう動画像の動き補償予測符号化方法において、 前記符号化単位の動ベクトルと、動ベクトル場パターン
を示す元になる予測参照画像の画素単位の動ベクトル場
を蓄積するステップと、 前記符号化単位の動ベクトルと、前記蓄積された前記予
測参照画像のどの位置の動ベクトル場を動き補償予測に
利用するかを示す動ベクトル場パターン参照ベクトルを
用いて画素単位の動ベクトルを算出するステップを有す
ることを特徴とする動画像の動き補償予測符号化方法。1. An image to be coded is divided into a plurality of coding units, a pattern representing a motion vector field in pixel units within the coding unit is created, and a motion vector for each coding unit and Motion-compensated prediction is performed using the motion vector for each pixel in the coding unit that is obtained from the pattern that represents the motion vector field in pixel units, and between the coding target image and the prediction reference image for each coding unit. In a motion-compensated predictive coding method for a motion picture that performs motion-compensated prediction with, a step of accumulating a motion vector of the coding unit and a motion vector field of a pixel unit of a prediction reference image which is a source of a motion vector field pattern , A motion vector of the coding unit and a motion vector field pattern reference vector indicating at which position of the accumulated prediction reference image the motion vector field is used for motion compensation prediction Motion compensated prediction coding method of moving image, characterized by the step of calculating a motion vector of a pixel unit Te.
トル場パターン参照ベクトルを用いて画素単位の動ベク
トルを算出するステップが、 符号化対象の符号化単位から動ベクトル場パターン参照
ベクトルだけの相対位置にある画素単位動ベクトル場パ
ターンの各画素毎のベクトルに、前記符号化単位の動ベ
クトルを加算することで画素単位動ベクトルを算出する
ステップを有する請求項１に記載の動画像の動き補償予
測符号化方法。2. The step of calculating a motion vector of a pixel unit using the motion vector of the coding unit and the motion vector field pattern reference vector includes only the motion vector field pattern reference vector from the coding unit to be coded. The motion of a moving image according to claim 1, further comprising a step of calculating a pixel unit motion vector by adding a motion vector of the coding unit to a vector for each pixel of a pixel unit motion vector field pattern at a relative position. Compensation predictive coding method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7236994A JPH0984017A (en) | 1995-09-14 | 1995-09-14 | Motion compensation prediction coding method for moving image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7236994A JPH0984017A (en) | 1995-09-14 | 1995-09-14 | Motion compensation prediction coding method for moving image |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0984017A true JPH0984017A (en) | 1997-03-28 |
Family
ID=17008819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7236994A Pending JPH0984017A (en) | 1995-09-14 | 1995-09-14 | Motion compensation prediction coding method for moving image |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0984017A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998059496A1 (en) * | 1997-06-25 | 1998-12-30 | Nippon Telegraph And Telephone Corporation | Moving vector predictive coding method and moving vector decoding method, predictive coding device and decoding device, and storage medium stored with moving vector predictive coding program and moving vector decoding program |
| JP2009510929A (en) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | Frame interpolation using more accurate motion information |
| US9154789B2 (en) | 1997-06-25 | 2015-10-06 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding and decoding method using prediction of motion vector of target block based on representative motion vector |
| JP2018529270A (en) * | 2015-08-24 | 2018-10-04 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Motion vector field encoding method, decoding method, encoding device, and decoding device |
-
1995
- 1995-09-14 JP JP7236994A patent/JPH0984017A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998059496A1 (en) * | 1997-06-25 | 1998-12-30 | Nippon Telegraph And Telephone Corporation | Moving vector predictive coding method and moving vector decoding method, predictive coding device and decoding device, and storage medium stored with moving vector predictive coding program and moving vector decoding program |
| US9154789B2 (en) | 1997-06-25 | 2015-10-06 | Nippon Telegraph And Telephone Corporation | Motion vector predictive encoding and decoding method using prediction of motion vector of target block based on representative motion vector |
| JP2009510929A (en) * | 2005-09-27 | 2009-03-12 | クゥアルコム・インコーポレイテッド | Frame interpolation using more accurate motion information |
| JP2012010381A (en) * | 2005-09-27 | 2012-01-12 | Qualcomm Inc | Frame interpolation using more accurate motion information |
| JP2018529270A (en) * | 2015-08-24 | 2018-10-04 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Motion vector field encoding method, decoding method, encoding device, and decoding device |
| US11102501B2 (en) | 2015-08-24 | 2021-08-24 | Huawei Technologies Co., Ltd. | Motion vector field coding and decoding method, coding apparatus, and decoding apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2801559B2 (en) | Motion compensation coding method and apparatus adapted to the magnitude of motion | |
| JP4373702B2 (en) | Moving picture encoding apparatus, moving picture decoding apparatus, moving picture encoding method, moving picture decoding method, moving picture encoding program, and moving picture decoding program | |
| KR100658181B1 (en) | Video decoding method and apparatus | |
| JP4724459B2 (en) | Motion vector detection using adaptive time prediction | |
| US6628711B1 (en) | Method and apparatus for compensating for jitter in a digital video image | |
| JP3351705B2 (en) | Motion compensation coding apparatus, motion compensation coding method, and recording method on recording medium | |
| KR101383612B1 (en) | Method for the compression of data in a video sequence | |
| JPH08265781A (en) | Method and apparatus for determining movement vector | |
| KR19990073648A (en) | Fast Motion Vector Estimation Method for Real-Time Video Coding | |
| JPS61114677A (en) | Adaptability prediction coding decoding system and device for animation signal | |
| KR100204478B1 (en) | Method of and apparatus for compensating the vacant space of image frames incurred by global motion | |
| JPH10322705A (en) | Motion detection and motion compensation prediction circuit | |
| JP2914448B2 (en) | Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program | |
| GB2348559A (en) | Motion vector estimation using multi-resolution techniques | |
| JP3681784B2 (en) | Video signal encoding device | |
| JPH0984017A (en) | Motion compensation prediction coding method for moving image | |
| JP2009290889A (en) | Motion picture encoder, motion picture decoder, motion picture encoding method, motion picture decoding method, motion picture encoding program, and motion picture decoding program | |
| JP3618783B2 (en) | Image encoding method and image encoding apparatus | |
| JPH06165164A (en) | Dynamic picture processor | |
| KR0185841B1 (en) | A motion extimator for a video coder | |
| JPH11122619A (en) | Moving image coding and decoding method | |
| KR100228675B1 (en) | Method and apparatus for predictive encoding | |
| JPH0974568A (en) | Movement compensation prediction coding method for moving image | |
| JP2002344949A (en) | Moving picture monitoring system | |
| JP2765528B2 (en) | Half-pixel accuracy motion vector search device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040106 |