JP2914448B2 - Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program - Google Patents

Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program

Info

Publication number
JP2914448B2
JP2914448B2 JP17929698A JP17929698A JP2914448B2 JP 2914448 B2 JP2914448 B2 JP 2914448B2 JP 17929698 A JP17929698 A JP 17929698A JP 17929698 A JP17929698 A JP 17929698A JP 2914448 B2 JP2914448 B2 JP 2914448B2
Authority
JP
Japan
Prior art keywords
motion vector
motion
vector
small block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP17929698A
Other languages
Japanese (ja)
Other versions
JPH1188888A (en
Inventor
淳 清水
裕尚 如沢
一人 上倉
裕 渡辺
淳 嵯峨田
誠之 高村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP17929698A priority Critical patent/JP2914448B2/en
Publication of JPH1188888A publication Critical patent/JPH1188888A/en
Application granted granted Critical
Publication of JP2914448B2 publication Critical patent/JP2914448B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】この発明は、動画像符号化の
動き補償フレーム間予測に用いられる動きベクトルの予
測符号化方法および復号方法、予測符号化装置および復
号装置、並びに、動きベクトルの予測符号化プログラム
および復号プログラムを記録した記録媒体に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a motion vector predictive encoding method and decoding method used for motion compensation inter-frame prediction in video coding, a predictive encoding apparatus and a decoding apparatus, and a motion vector predictive code. The present invention relates to a recording medium on which an encrypted program and a decryption program are recorded.

【0002】[0002]

【従来の技術】従来より、動画像符号化において、時間
方向の冗長性を削減するために、符号化済みのフレーム
を予測信号とするフレーム間予測符号化が知られてい
る。この時間方向予測の予測効率を高めるため、動き補
償を行った画像信号を予測信号として予測を行う動き補
償フレーム間予測方法が用いられる。動き補償に用いる
動きベクトルは、想定している動きモデルに応じて、そ
の成分の数や種類が異なる。例えば、平行移動のみの動
きモデルを想定した場合、その動きベクトルは、水平移
動成分と垂直移動成分からなる。また、平行移動に加え
て拡大や縮小を考慮した動きモデルの動きベクトルは、
水平/垂直移動成分と拡大縮小成分の3つからなる。
2. Description of the Related Art Hitherto, in video coding, interframe prediction coding using a coded frame as a prediction signal has been known in order to reduce redundancy in the time direction. In order to increase the prediction efficiency of the temporal direction prediction, a motion-compensated inter-frame prediction method of performing prediction using a motion-compensated image signal as a prediction signal is used. The number and type of components of the motion vector used for motion compensation differ depending on the assumed motion model. For example, assuming a motion model of only translation, the motion vector is composed of a horizontal movement component and a vertical movement component. In addition, the motion vector of a motion model that takes into account enlargement and reduction in addition to translation is
It consists of three components, a horizontal / vertical movement component and a scaling component.

【0003】通常、動き補償は、1画面を複数に分割し
た小ブロックなどの分割領域単位で行うため、それぞれ
の分割領域は、個別の動きベクトルをもっている。それ
ら各動きベクトルは、隣接した分割領域同士における近
傍領域間の相関が高いことが知られている。そこで、符
号化対象領域の近傍領域の動きベクトルから符号化対象
領域の動きベクトルを予測し、その予測誤差を可変長符
号化することで動きベクトルの冗長性を削減する手法が
用いられる。
Normally, motion compensation is performed in units of divided areas such as small blocks obtained by dividing one screen into a plurality of screens. Therefore, each divided area has an individual motion vector. It is known that each of these motion vectors has a high correlation between neighboring regions in adjacent divided regions. Therefore, a method is used in which a motion vector of a coding target region is predicted from a motion vector of a region near the coding target region, and the prediction error is variable-length coded to reduce the redundancy of the motion vector.

【0004】また、動画像符号化方式ISO/IEC
11172−2(MPEG−1)では、符号化対象画像
を複数の小ブロックに区切り、各小ブロック単位で動き
補償を行い、符号化の対象となる小ブロック(以下、符
号化対象小ブロックという)の、符号化済みの小ブロッ
クの動きベクトルから、符号化対象小ブロックの動きベ
クトルを予測している。
[0004] The moving picture coding system ISO / IEC
In 11172-2 (MPEG-1), an encoding target image is divided into a plurality of small blocks, motion compensation is performed for each small block, and a small block to be encoded (hereinafter, referred to as an encoding target small block). The motion vector of the small block to be encoded is predicted from the motion vector of the encoded small block.

【0005】上述したMPEG−1では、補償できる動
きは平行移動のみである。MPEG−1の様に動きベク
トルの成分が少ない単純な動きモデルでは、動きが補償
できないことがある。そこで、動きベクトルの成分の数
が多い、より複雑な動きモデルに対応した動き補償方法
を用いることで、フレーム間の予測効率を向上させるこ
とができる。ただし、その様な動き補償方法を用いて複
雑な動きモデルに対して各小ブロックの動き補償を行う
と、動きベクトルを符号化する際に発生する符号量が増
加してしまう。
In the above-described MPEG-1, the only motion that can be compensated is translation. In a simple motion model having a small number of motion vector components such as MPEG-1, the motion cannot be compensated in some cases. Therefore, the prediction efficiency between frames can be improved by using a motion compensation method corresponding to a more complex motion model having a large number of motion vector components. However, if motion compensation of each small block is performed on a complex motion model using such a motion compensation method, the amount of codes generated when coding a motion vector increases.

【0006】したがって、その様な場合、符号量の増加
を避けるために、従来より、複数の動き補償方法の中か
ら、符号化対象小ブロックの予測誤差が最小となる動き
補償方法を選択して動きベクトルの符号化を行う方法が
知られている。ここで、そのような符号化方法の例とし
て、平行移動モデルと、平行移動+拡大/縮小モデル
の、異なる2種類の動きモデルをそれぞれ想定した2つ
の動き補償方法をもち、いずれか一方の動き補償方法を
選択して符号化を行う符号化方法をあげる。
Therefore, in such a case, in order to avoid an increase in the code amount, a motion compensation method that minimizes the prediction error of the small block to be encoded has been conventionally selected from a plurality of motion compensation methods. A method of encoding a motion vector is known. Here, as an example of such an encoding method, there are two motion compensation methods that respectively assume two different types of motion models, a translation model and a translation + enlargement / reduction model. An encoding method for selecting a compensation method and performing encoding will be described.

【0007】ここで、図9(a)および(b)に、それ
ぞれ、平行移動動きモデルと、平行移動+拡大/縮小動
きモデルの例を示す。図9(a)に示す平行移動動きモ
デルは、被写体の動きを平行移動成分(x,y)で表現
する動きモデルである。また、図9(b)に示す平行移
動+拡大/縮小動きモデルは、被写体の動きを平行移動
成分(x,y)だけでなく、被写体の拡大または縮小し
た量を示すパラメータzを加えて、(x,y,z)で表
現する動きモデルである。図9(b)に示す平行移動+
拡大/縮小動きモデルの例では、動きベクトルのパラメ
ータzは、縮小を表す値となる。
FIGS. 9A and 9B show examples of a parallel movement model and a parallel movement + enlargement / reduction movement model, respectively. The parallel movement model shown in FIG. 9A is a movement model that expresses the movement of a subject by a parallel movement component (x, y). Further, the parallel movement + enlargement / reduction movement model shown in FIG. 9B adds the parameter z indicating the amount of enlargement or reduction of the object as well as the parallel movement component (x, y). This is a motion model represented by (x, y, z). The parallel movement shown in FIG.
In the example of the enlargement / reduction motion model, the parameter z of the motion vector is a value representing reduction.

【0008】よって、平行移動モデルの動きベクトル
は、
Therefore, the motion vector of the translation model is

【数1】 で表され、また、平行移動+拡大/縮小モデルの動きベ
クトルは、
(Equation 1) , And the motion vector of the parallel movement + enlargement / reduction model is

【数2】 で表される。なお、上記の各式において、xは水平方向
成分、yは垂直方向成分、zは拡大縮小成分である。ま
た、動き補償を行う単位は小ブロックとし、予測効率に
応じて小ブロック毎に動き補償方法を切り替え、動きベ
クトルの予測は、符号化済み小ブロックの動きベクトル
から行うものとする。
(Equation 2) It is represented by In each of the above equations, x is a horizontal component, y is a vertical component, and z is a scaling component. Also, the unit for performing motion compensation is a small block, and the motion compensation method is switched for each small block according to the prediction efficiency, and the prediction of the motion vector is performed from the motion vector of the encoded small block.

【0009】また、符号化済み小ブロックに対する動き
補償方法と、符号化対象小ブロックの動き補償方法が同
じ場合、次式により動きベクトルの予測誤差を算出す
る。
When the motion compensation method for the coded small block is the same as the motion compensation method for the small block to be coded, the prediction error of the motion vector is calculated by the following equation.

【0010】 ・平行移動モデルの場合、 d1x,y=v1x,y(i)−v1x,y(i−1) ……(1) ・平行移動+拡大/縮小モデルの場合、 d2x,y,z=v2x,y,z(i)−v2x,y,z(i−1) ……(2)In the case of the parallel movement model, d1x, y = v1x, y (i) −v1x, y (i-1) (1) In the case of the parallel movement + enlargement / reduction model, d2x, y, z = V2x, y, z (i) -v2x, y, z (i-1) (2)

【0011】ここで、v1x,y(i)とv2x,y,z(i)
は、符号化対象小ブロックの動きべクトルの成分、v1
x,y(i−1)とv2x,y,z(i−1)は、1フレーム前
の小ブロックの動きベクトルの成分である。
Here, v1x, y (i) and v2x, y, z (i)
Is the motion vector component of the encoding target small block, v1
x, y (i-1) and v2x, y, z (i-1) are components of the motion vector of the small block one frame before.

【0012】上記のように、動きベクトルの予測誤差d
x,yとdx,y,zを算出して符号化し、復号側に伝送する。
なお、各小ブロックのサイズなどが異なる動き補償方法
であっても、動きモデルが同じであれば同様の動きベク
トル予測符号化を行う。
As described above, the prediction error d of the motion vector
x, y and dx, y, z are calculated and encoded, and transmitted to the decoding side.
Note that, even if the motion compensation method is different in the size of each small block or the like, the same motion vector predictive encoding is performed as long as the motion model is the same.

【0013】また、符号化済み小ブロックの動き補償方
法と、符号化対象小ブロックの動き補償方法とが異なる
場合、および、フレーム内符号化の場合は、各成分の予
測値を0とし、符号化対象小ブロックの動きベクトルの
各成分をそのまま復号側に伝送する。
When the motion compensation method of the coded small block is different from the motion compensation method of the small block to be coded, and in the case of intra-frame coding, the prediction value of each component is set to 0, Each component of the motion vector of the small block to be converted is transmitted to the decoding side as it is.

【0014】このような符号化方法によれば、動き補償
フレーム間予測符号化における動きベクトルの冗長性を
削減でき、よって、動きベクトルの発生符号量を抑える
ことができる。
According to such an encoding method, the redundancy of the motion vector in the motion compensation inter-frame predictive encoding can be reduced, and therefore, the generated code amount of the motion vector can be suppressed.

【0015】一方、上述した符号化方法により符号化さ
れた動きベクトルの復号は、次式に示すように、符号化
データ列から予測誤差を取り出し、復号済み小ブロック
の動きベクトルと予測誤差を加えて復号対象小ブロック
の動きべクトルを復号する。
On the other hand, to decode a motion vector encoded by the above-described encoding method, a prediction error is extracted from the encoded data sequence and the motion vector of the decoded small block and the prediction error are added as shown in the following equation. To decode the motion vector of the small block to be decoded.

【0016】 ・平行移動モデルの場合、 v1x,y(i)=v1x,y(i−1)+d1x,y ……(3) ・平行移動+拡大/縮小モデルの場合、 v2x,y,z(i)=v2x,y,z(i−1)+d2x,y,z ……(4)In the case of the translation model, v1x, y (i) = v1x, y (i-1) + d1x, y (3) In the case of the translation + enlargement / reduction model, v2x, y, z ( i) = v2x, y, z (i-1) + d2x, y, z (4)

【0017】ここで、v1x,y(i)とv2x,y,z(i)
は復号対象小ブロックの動きベクトルの成分、v1x,y
(i−1)とv2x,y,z(i−1)は、復号済み小ブロ
ックの動きベクトルの成分である。
Here, v1x, y (i) and v2x, y, z (i)
Is the motion vector component of the small block to be decoded, v1x, y
(I-1) and v2x, y, z (i-1) are motion vector components of the decoded small block.

【0018】また、1999年1月の国際規格化を目指
して作業を進めているIS0/IEC 14496−2
(MPEG−4)の検証モデルにも、同様の動き補償方
法が採用されている。MPEG−4では、カメラのパニ
ング、チルトやズームに起因する画面全体の動きを予測
するグローバル動き補償が採用されている(MPEG Vide
o Group,”MPEG-4 Video Verification Model Versio
n 7.0,”IS0/IEC JTC1/SC29/WG11N1682,April,199
7.)。以下、グローバル動き補償を用いた符号化器の
構成および処理の流れを図11により簡単に説明する。
[0018] Also, ISO / IEC 14496-2 is working on international standardization in January 1999.
The same motion compensation method is adopted in the (MPEG-4) verification model. MPEG-4 employs global motion compensation which predicts the motion of the entire screen due to panning, tilt and zoom of the camera (MPEG Vide
o Group, “MPEG-4 Video Verification Model Versio
n 7.0, “IS0 / IEC JTC1 / SC29 / WG11N1682, April, 199
7. ). Hereinafter, the configuration and processing flow of an encoder using global motion compensation will be briefly described with reference to FIG.

【0019】始めに、符号化対象画像31はグローバル
動き検出器34に入力され、ここで画面全体に対するグ
ローバル動きパラメータ35が求められる。MPEG−
4では、動きモデルに射影変換やアフィン変換を用いる
ことができる。現在の点の座標を(x,y)、対応点の
座標を(x’,y’)とした時、射影変換は以下の式
(5),(6)で表される。
First, the encoding target image 31 is input to a global motion detector 34, where a global motion parameter 35 for the entire screen is obtained. MPEG-
In No. 4, projective transformation and affine transformation can be used for the motion model. Assuming that the coordinates of the current point are (x, y) and the coordinates of the corresponding point are (x ′, y ′), the projective transformation is represented by the following equations (5) and (6).

【0020】 x’=(ax+by+tx)/(px+qy+s) ……(5) y’=(cx+dy+ty)/(px+qy+s) ……(6)X ′ = (ax + by + tx) / (px + qy + s) (5) y ′ = (cx + dy + ty) / (px + qy + s) (6)

【0021】一般にはs=1としたものも射影変換と呼
ばれることが多い。射影変換は二次元変換の一般表現で
あり、p=q=0、s=1とした、以下に示す式
(7),(8)がアフィン変換である。
In general, the case where s = 1 is often called a projective transformation. The projective transformation is a general expression of two-dimensional transformation, and the following equations (7) and (8), where p = q = 0 and s = 1, are affine transformations.

【0022】x’=ax+by+tx ……(7) y’=cx+dy+ty ……(8)X '= ax + by + tx (7) y' = cx + dy + ty (8)

【0023】以上の式において、tx,tyはそれぞれ
水平、垂直方向の平行移動量を表す。パラメータaは水
平方向の拡大/縮小または反転を表現し、パラメータd
は垂直方向の拡大/縮小または反転を表現する。また、
パラメータbは水平方向のせん断、パラメータcは垂直
方向のせん断を表す。さらに、a=cosθ、b=si
nθ、c=−sinθ、d=cosθの場合は角度θの
回転を表す。なお、a=d=1で、かつ、b=c=0の
場合は従来の平行移動モデルと等価である。
In the above equations, tx and ty represent the horizontal and vertical translation amounts, respectively. The parameter a represents horizontal enlargement / reduction or inversion, and the parameter d
Represents vertical enlargement / reduction or inversion. Also,
Parameter b represents horizontal shear, and parameter c represents vertical shear. Further, a = cos θ, b = si
In the case of nθ, c = −sin θ, and d = cos θ, it represents rotation of the angle θ. The case where a = d = 1 and b = c = 0 is equivalent to a conventional parallel movement model.

【0024】以上のように、動きモデルにアフィン変換
を用いることにより、平行移動、拡大/縮小、反転、せ
ん断、回転等の様々な動きと、これらの自在な組み合わ
せを表現できる。パラメータ数が8または9の射影変換
ではさらに複雑な動きや変形を表現し得る。
As described above, by using the affine transformation for the motion model, various motions such as parallel movement, enlargement / reduction, inversion, shearing, rotation, and any combination thereof can be expressed. The projective transformation with eight or nine parameters can express more complicated movements and deformations.

【0025】さて、グローバル動き検出器34で求めら
れたグローバル動きパラメータ35は、フレームメモリ
32に蓄積された参照画像33と共にグローバル動き補
償器36に入力される。グローバル動き補償器36は、
グローバル動きパラメータ35から求められる画素毎の
動きベクトルを参照画像33に作用させ、グローバル動
き補償予測画像37を生成する。
The global motion parameter 35 obtained by the global motion detector 34 is input to the global motion compensator 36 together with the reference image 33 stored in the frame memory 32. The global motion compensator 36
A motion vector for each pixel obtained from the global motion parameter 35 is applied to the reference image 33 to generate a global motion compensation prediction image 37.

【0026】一方、フレームメモリ32に蓄積された参
照画像33は、入力画像31と共にローカル動き検出器
38に入力される。ローカル動き検出器38では、16
画素×16ラインのマクロブロック毎に、入力画像31
と参照画像33との間の動きベクトル39を検出する。
ローカル動き補償器40は、マクロブロック毎の動きベ
クトル39と参照画像33からローカル動き補償予測画
像41を生成する。これは従来のMPEG等で用いられ
ている動き補償方法そのものである。
On the other hand, the reference image 33 stored in the frame memory 32 is input to the local motion detector 38 together with the input image 31. In the local motion detector 38, 16
For each macroblock of pixels × 16 lines, the input image 31
A motion vector 39 between the image and the reference image 33 is detected.
The local motion compensator 40 generates a local motion compensated prediction image 41 from the motion vector 39 for each macroblock and the reference image 33. This is the motion compensation method itself used in conventional MPEG and the like.

【0027】次に、符号化モード選択器42では、グロ
ーバル動き補償予測画像37とローカル動き補償予測画
像41のうち、入力画像31との誤差が小さくなる方を
マクロブロック毎に選択する。グローバル動き補償が選
択されたマクロブロックでは、ローカル動き補償を行わ
ないため、動きベクトル39は符号化されない。符号化
モード選択器42で選択された予測画像43は減算器4
4に入力され、入力画像31と予測画像43と間の差分
画像45はDCT部46でDCT係数47に変換され
る。
Next, the coding mode selector 42 selects, for each macroblock, one of the global motion compensation predicted image 37 and the local motion compensated predicted image 41 whose error from the input image 31 is small. In a macroblock for which global motion compensation has been selected, no local motion compensation is performed, and thus the motion vector 39 is not encoded. The predicted image 43 selected by the encoding mode selector 42 is subtracted by the subtractor 4
The difference image 45 between the input image 31 and the prediction image 43 is converted into a DCT coefficient 47 by the DCT unit 46.

【0028】次に、DCT係数47は、量子化器48で
量子化インデックス49に変換される。量子化インデッ
クス49は量子化インデックス符号化器57、符号化モ
ード選択情報56は符号化モード符号化器58、動きベ
クトル39は動きベクトル符号化器59、グローバル動
きパラメータ35はグローバル動きパラメータ符号化器
60で個別に符号化された後、多重化されて符号化器出
力となる。
Next, the DCT coefficient 47 is converted into a quantization index 49 by a quantizer 48. The quantization index 49 is a quantization index encoder 57, the encoding mode selection information 56 is an encoding mode encoder 58, the motion vector 39 is a motion vector encoder 59, and the global motion parameter 35 is a global motion parameter encoder. After being individually encoded at 60, they are multiplexed to provide encoder output.

【0029】また、復号器と同じ復号画像を符号化器内
でも得るため、量子化インデックス49は、逆量子化器
50にて量子化代表値51に戻され、さらに逆DCT部
52で差分画像53に逆変換される。差分画像53と予
測画像43は加算器54で加算され、局部復号画像55
となる。この局部復号画像55はフレームメモリ32に
蓄積され、次のフレームの符号化時に参照画像として用
いられる。
Further, in order to obtain the same decoded image as that of the decoder in the encoder, the quantization index 49 is returned to the quantization representative value 51 by the inverse quantizer 50, and further the difference image is converted by the inverse DCT unit 52. It is converted back to 53. The difference image 53 and the prediction image 43 are added by an adder 54, and a local decoded image 55
Becomes The local decoded image 55 is stored in the frame memory 32 and used as a reference image when encoding the next frame.

【0030】次に、対応するMPEG−4復号器の動作
を図12により説明する。多重化された符号化ビットス
トリームは分離され、個々に復号される。量子化インデ
ックス復号器61では量子化インデックス49を、符号
化モード復号器62では符号化モード選択情報56を、
動きベクトル復号器63では動きベクトル39を、グロ
ーバル動きパラメータ復号器64ではグローバル動きパ
ラメータ35を復号する。
Next, the operation of the corresponding MPEG-4 decoder will be described with reference to FIG. The multiplexed coded bit streams are separated and individually decoded. The quantization index decoder 61 stores the quantization index 49, the coding mode decoder 62 stores the coding mode selection information 56,
The motion vector decoder 63 decodes the motion vector 39, and the global motion parameter decoder 64 decodes the global motion parameter 35.

【0031】フレームメモリ68に蓄積された参照画像
33は、グローバル動きパラメータ35と共にグローバ
ル動き補償器69に入力され、グローバル動き補償画像
37が生成される。また、参照画像33は、動きベクト
ル39と共にローカル動き補償器70に入力され、ロー
カル動き補償予測画像41が生成される。符号化モード
選択情報56は切り替え器71を動作させ、マクロブロ
ック毎にグローバル動き補償画像37かローカル動き補
償画像41のいずれかを予測画像43として出力する。
The reference image 33 stored in the frame memory 68 is input to the global motion compensator 69 together with the global motion parameter 35, and a global motion compensated image 37 is generated. In addition, the reference image 33 is input to the local motion compensator 70 together with the motion vector 39, and a local motion compensation prediction image 41 is generated. The encoding mode selection information 56 causes the switch 71 to operate, and outputs either the global motion compensation image 37 or the local motion compensation image 41 as the prediction image 43 for each macroblock.

【0032】一方、量子化インデックス49は、逆量子
化器65にて量子化代表値51に戻され、さらに逆DC
T部66で差分画像53に逆変換される。差分画像53
と予測画像43は加算器67で加算され、局部復号画像
55となる。この局部復号画像55はフレームメモリ6
8に蓄積され、次のフレームの符号化時に参照画像とし
て用いられる。
On the other hand, the quantization index 49 is returned to the quantization representative value 51 by the inverse quantizer 65, and further the inverse DC
In the T unit 66, the image is inversely converted into the difference image 53. Difference image 53
And the predicted image 43 are added by the adder 67 to become the local decoded image 55. The local decoded image 55 is stored in the frame memory 6
8 is used as a reference image when encoding the next frame.

【0033】上述したMPEG−4におけるグローバル
動き補償予測方法は、グローバル動き補償による予測画
像とローカル動き補償による予測画像のうち、マクロブ
ロック毎に予測誤差の小さい方を選択し、フレーム全体
の予測効率を高めるものである。また、グローバル動き
補償が選択されたマクロブロックでは、動きベクトルを
符号化しないため、従来動きベクトルの符号化に要して
いた符号量を削減することができる。
The above-described global motion compensation prediction method in MPEG-4 selects the smaller prediction error for each macroblock from the prediction image based on global motion compensation and the prediction image based on local motion compensation, and predicts the prediction efficiency of the entire frame. Is to increase. Also, in a macroblock for which global motion compensation has been selected, since a motion vector is not coded, the amount of code conventionally required for coding a motion vector can be reduced.

【0034】[0034]

【発明が解決しようとする課題】ところで、従来、動き
モデルが異なる複数の動き補償方法を切り替える符号化
方法では、異なる動きモデルの動きベクトル間の予測は
行っていない。これは、例えば、平行移動動きモデルを
想定した動き補償方法と、平行移動+拡大/縮小動きモ
デルを想定した動き補償方法とを切り替える符号化方法
について考えた場合、両者の動きベクトルにおけるパラ
メータ数の違いから、単なる差分によって平行移動+拡
大/縮小動きモデルの動きベクトルから平行移動動きモ
デルの動きベクトルの予測をすることができないためで
ある。
Conventionally, in an encoding method for switching between a plurality of motion compensation methods having different motion models, prediction between motion vectors of different motion models is not performed. For example, when considering a coding method for switching between a motion compensation method assuming a parallel motion model and a motion compensation method assuming a parallel motion + enlargement / reduction motion model, the number of parameters in both motion vectors is considered. Because of the difference, it is not possible to predict the motion vector of the parallel motion model from the motion vector of the parallel motion + enlargement / reduction motion model by a simple difference.

【0035】しかし、動きモデルが異なることで、動き
ベクトルに冗長性がないとは言えない。そこで、平行移
動動きモデルの動きベクトルと、平行移動+拡大/縮小
動きモデルの動きベクトルの間の相関について、図10
に示す動きベクトルを参照して考える。図10におい
て、符号化対象小ブロックBoaとBobの動き補償を行う
にあたり、符号化対象小ブロックBoaは、参照フレーム
に含まれる小ブロックBraを参照して、平行移動動きモ
デルを想定した動き補償方法により動き補償を行い、符
号化対象小ブロックBobは、参照フレームに含まれる小
ブロックBrbを参照して、平行移動+拡大/縮小動きモ
デルを想定した動き補償方法により動き補償を行うもの
とする。
However, since the motion models are different, it cannot be said that the motion vectors have no redundancy. FIG. 10 shows the correlation between the motion vector of the parallel movement model and the motion vector of the parallel movement + enlargement / reduction movement model.
Consider the motion vector shown in FIG. In FIG. 10, in performing motion compensation of the encoding target small blocks Boa and Bob, the encoding target small block Boa refers to the small block Bra included in the reference frame, and a motion compensation method assuming a parallel motion model. , And the encoding target small block Bob performs motion compensation by a motion compensation method assuming a parallel movement + enlargement / reduction motion model with reference to the small block Brb included in the reference frame.

【0036】この場合、図10の動きベクトルIn this case, the motion vector shown in FIG.

【数3】 は平行移動動きモデル、(Equation 3) Is a parallel movement model,

【数4】 は平行移動+拡大/縮小動きモデルとなる。この時、符
号化対象小ブロックBobの動き補償では、参照フレーム
に含まれる小ブロックBrbを拡大して参照している。し
たがって、図10に示す動きベクトル
(Equation 4) Is a parallel movement + enlargement / reduction movement model. At this time, in the motion compensation of the encoding target small block Bob, the small block Brb included in the reference frame is enlarged and referred to. Therefore, the motion vector shown in FIG.

【外1】 では、平行移動成分がほぼ同じ値となり、冗長性がある
ことを示している。
[Outside 1] In, the translation components have substantially the same value, indicating that there is redundancy.

【0037】しかしながら従来の方法では、ある動きモ
デルの動きベクトルから、その動きベクトルとは異なる
動きモデルの動きベクトルを予測していないため、動き
モデルが異なる動きベクトル間における冗長性を削減で
きなかった。
However, in the conventional method, since a motion vector of a motion model different from the motion vector of a certain motion model is not predicted, the redundancy between the motion vectors of the motion models cannot be reduced. .

【0038】また、前述したMPEG−4では、動きベ
クトルを効率良く符号化するため、予測符号化が用いら
れている。例えば、図11の動きベクトル符号化器59
の動作は次のようになっている。すなわち、図13に示
すように、現在ブロックのベクトルMVは、左ブロック
の動きベクトルMV1、真上ブロックの動きベクトルM
V2、右斜め上ブロックのMV3の3つを参照し、これ
らの中央値(メディアン)を予測値としている。現左ブ
ロックのベクトルMVの予測値をPMVとすると、PM
Vは次式(7)で定義される。 PMV=median(MV1,MV2,MV3) ……(9)
In the above-described MPEG-4, predictive coding is used to efficiently code a motion vector. For example, the motion vector encoder 59 shown in FIG.
The operation of is as follows. That is, as shown in FIG. 13, the vector MV of the current block is the motion vector MV1 of the left block, and the motion vector M
V2 and MV3 of the upper right diagonal block are referred to, and the median (median) of them is used as the predicted value. If the predicted value of the vector MV of the current left block is PMV, PM
V is defined by the following equation (7). PMV = median (MV1, MV2, MV3) (9)

【0039】ただし、参照ブロックがフレーム内符号化
モードの場合には動きベクトルが存在しないので、該当
位置のベクトル値を0として中央値を求める。また、参
照ブロックがグローバル動き補償で予測されている場合
にも動きベクトルが存在しないので、該当位置のベクト
ル値を0として中央値を計算する。たとえば、左ブロッ
クがローカル動き補償、真上ブロックがグローバル動き
補償、右斜め上ブロックがフレーム内の場合、MV2=
MV3=0とする。また、3つの参照ブロックが全てグ
ローバル動き補償の場合、MV1=MV2=MV3=0
となり、これらの中央値も0であるので予測値は0とな
る。この場合、現在ブロックの動きベクトルは予測符号
化しないことと等価であり、符号化効率が低下してしま
う。
However, when the reference block is in the intra-frame encoding mode, there is no motion vector, so the vector value at the corresponding position is set to 0 and the median value is obtained. Further, even when the reference block is predicted by global motion compensation, there is no motion vector, so that the median value is calculated by setting the vector value at the corresponding position to 0. For example, if the left block is local motion compensation, the block directly above is global motion compensation, and the upper right block is within a frame, MV2 =
MV3 = 0. When all three reference blocks are global motion compensated, MV1 = MV2 = MV3 = 0
And the median is also 0, so the predicted value is 0. In this case, the motion vector of the current block is equivalent to not performing predictive coding, and the coding efficiency is reduced.

【0040】また、MPEG−4では、ローカル動きベ
クトルの大きさの範囲(レンジ)として[表1]の7通
りが定義されており、それぞれfcodeというビット
ストリーム中の符号語でどのレンジを用いたかを復号器
に指示する。
In MPEG-4, seven ranges in Table 1 are defined as the range (range) of the magnitude of the local motion vector, and which range is used for each codeword in the bit stream called fcode. To the decoder.

【表1】 [Table 1]

【0041】ところが、MPEG−4におけるグローバ
ル動きパラメータは−2048〜+2047.5の広い
範囲を取り得るため、グローバル動きベクトルから求め
られる動きベクトルも−2048〜+2047.5の値
を取り得る。しかし、ローカル動きベクトルのレンジは
それよりも小さく、予測が大きくはずれる場合が起こ
る。例えば、fcode=3で、現在ブロックの動きベ
クトルが(Vx,Vy)=(+48,+36.5)、グロ
ーバル動きベクトルから求められた予測べクトルが(P
Vx,PVy)=(+102,+75)の場合、予測誤差
は(MVDx,MVDy)=(−54,−38.5)とな
り、その絶対値は元の(Vx,Vy)より大きくなってし
まう。予測誤差(MVDx,MVDy)に割り当てられる
符号語の語長は、絶対値が小さいほど短い。したがっ
て、動きベクトル予測により符号量が逆に増大してしま
うという欠点があった。
However, since the global motion parameters in MPEG-4 can take a wide range from -2048 to +2047.5, the motion vectors obtained from the global motion vectors can also take values from -2048 to +2047.5. However, the range of the local motion vector is smaller than that, and a case occurs in which the prediction deviates greatly. For example, if fcode = 3, the motion vector of the current block is (Vx, Vy) = (+ 48, +36.5), and the prediction vector obtained from the global motion vector is (Px
When (Vx, PVy) = (+ 102, +75), the prediction error is (MVDx, MVDy) = (− 54, −38.5), and its absolute value is larger than the original (Vx, Vy). The word length of the code word assigned to the prediction error (MVDx, MVDy) is shorter as the absolute value is smaller. Therefore, there is a disadvantage that the code amount is increased by the motion vector prediction.

【0042】よって、本発明の目的は、動きベクトルの
発生符号量を抑え、動きベクトル予測の効率を向上させ
る動きベクトル予測符号化方法および動きベクトル復号
方法、予測符号化装置および復号装置、並びに、動きベ
クトルの予測符号化プログラムおよび復号プログラムを
記録したコンピュータ読み取り可能な記録媒体を提供す
ることにある。
Accordingly, an object of the present invention is to provide a motion vector prediction encoding method and a motion vector decoding method, a prediction encoding apparatus and a decoding apparatus, and a motion vector prediction method for suppressing the amount of generated motion vectors and improving the efficiency of motion vector prediction. It is an object of the present invention to provide a computer-readable recording medium on which a motion vector predictive encoding program and a motion vector decoding program are recorded.

【0043】[0043]

【課題を解決するための手段】本発明の動きベクトル予
測符号化方法、予測符号化装置、および、コンピュータ
で読取可能な記録媒体に記録された動きベクトルの予測
符号化プログラムは、符号化対象フレームを小ブロック
に分割し、符号化対象小ブロック毎に複数の動き補償方
法から1つの動き補償方法を選択可能な動きベクトル予
測符号化方法において、符号化対象小ブロックの動きベ
クトルを符号化済み小ブロックの動きベクトルから予測
する際、符号化対象小ブロックの動き補償方法が局所的
動き補償方法で、予測に用いる符号化済みの小ブロック
の動き補償方法が大局的動き補償である場合、大局的な
動きベクトルから符号化済み小ブロックの局所的な動き
ベクトルを算出し、符号化対象小ブロックの動きベクト
ルの予測ベクトルを求め、動きベクトルの予測誤差を符
号化する。
According to the present invention, there is provided a motion vector predictive coding method, a predictive coding apparatus, and a motion vector predictive coding program recorded on a computer-readable recording medium. Is divided into small blocks, and a motion vector of the small block to be encoded is encoded into small blocks in a motion vector prediction encoding method in which one motion compensation method can be selected from a plurality of motion compensation methods for each small block to be encoded. When predicting from the motion vector of a block, the motion compensation method of the encoding target small block is locally
Encoded small blocks used for prediction in the motion compensation method
If the motion compensation method is global motion compensation,
Local motion of coded small block from motion vector
Calculate the vector and calculate the motion vector of the encoding target small block.
The prediction error of the motion vector is obtained, and the prediction error of the motion vector is encoded.

【0044】また、上記の動きベクトル予測符号化方法
により符号化された動きベクトルを復号する復号方法、
復号装置、および、コンピュータで読取可能な記録媒体
に記録された動きベクトルの復号プログラムは、復号対
象小ブロックの動き補償方法が局所的動き補償方法で、
予測に用いる復号済み小ブロックの動き補償方法が大局
的動き補償である場合、大局的な動きベクトルから復号
済み小ブロックの局所的な動きベクトルを算出し、復号
対象小ブロックの動きべクトルの予測ベクトルを求め、
予測ベクトルに予測誤差を加算して動きべクトルを復号
する。
A decoding method for decoding a motion vector encoded by the above-described motion vector predictive encoding method,
Decoder, and the decoding program of motion vectors recorded in a computer-readable recording medium is decoded pairs
The motion compensation method of the elephant small block is a local motion compensation method,
Motion compensation method for decoded small blocks used for prediction is global
Decoding from global motion vectors
Calculates and decodes local motion vector of already-completed small block
Find the motion vector prediction vector of the target small block ,
The motion vector is decoded by adding the prediction error to the prediction vector.

【0045】[0045]

【0046】[0046]

【0047】[0047]

【0048】また、上述した動きベクトル予測符号化方
法、予測符号化装置、および、コンピュータで読取可能
な記録媒体に記録された動きベクトルの予測符号化プロ
グラムにおいて、ローカル動き補償が選択された符号化
対象小ブロックの動きベクトルをグローバル動きパラメ
ータから予測するにあたり、該予測ベクトルの大きさが
予め規定された範囲を超える場合に、該予測ベクトルを
その予め規定された範囲内にクリップする。もしくは、
ローカル動き補償が選択されたブロックの動きベクトル
をグローバル動きパラメータから予測するにあたり、該
予測ベクトルの大きさが予め規定された範囲を超える場
合に、該予測ベクトルを0とする。
The above-described motion vector predictive encoding method
Method, predictive coding device and computer readable
Prediction coding of motion vectors recorded on various recording media
In the gram, when local motion compensation predicts the motion vector of the selected small block to be encoded from the global motion parameters, if the size of the predicted vector exceeds a predetermined range, the predicted vector is Clip within specified range. Or
In predicting the motion vector of the block selected by the local motion compensation from the global motion parameter, if the magnitude of the predicted vector exceeds a predetermined range, the predicted vector is set to 0.

【0049】一方、上述した一連の動きベクトル予測符
号化方法、予測符号化装置、および、コンピュータで読
取可能な記録媒体に記録された動きベクトルの予測符号
化プログラムにより符号化された動きベクトルを復号す
る、復号方法、復号装置、および、コンピュータで読取
可能な記録媒体に記録された復号プログラムでは、復号
対象小ブロックの動き補償方法が局所的動き補償であ
り、予測に用いる復号済み小ブロックの動き補償方法が
大局的動き補償である場合、大局的な動きベクトルから
復号済み小ブロックの局所的な動きベクトルを算出し、
復号対象小ブロックの動きベクトルの予測ベクトルを求
め、予測ベクトルに予測誤差を加算して動きベクトルを
復号する。
On the other hand, the above-described series of motion vector predictive coding methods, predictive coding apparatuses, and motion vector predictive coding programs for motion vectors recorded on a computer-readable recording medium are decoded. to process the decoding, decoding device, and, in the decoding program recorded in a computer-readable recording medium, decoding
The motion compensation method for the target small block is local motion compensation.
Therefore, the motion compensation method of the decoded small block used for prediction is
In the case of global motion compensation, from the global motion vector
Calculate the local motion vector of the decoded small block,
A prediction vector of a motion vector of a small block to be decoded is obtained, and a prediction error is added to the prediction vector to decode the motion vector.

【0050】[0050]

【0051】そして、上記の動きベクトル符号化または
復号方法、予測符号化装置または復号装置、もしくは、
動きベクトルの予測符号化プログラムまたは復号プログ
ラムにおいて、小ブロックの任意の動きモデルの動きベ
クトルを平行移動動きモデルの動きベクトルに変換する
際、小ブロック内の画素毎に求まる平行移動動きモデル
の動きベクトルから、該小ブロックの代表動きベクトル
を算出する。また、上記の代表動きベクトルを算出する
際、小ブロック内の画素毎の平行移動動きモデルの動き
ベクトルの各成分について、統計的に算出される値(平
均値、中間値、中央値、最頻値、最大値、最小値)を代
表動きベクトルの各成分の値とする。
Then, the above-described motion vector coding or decoding method, predictive coding apparatus or decoding apparatus, or
When a motion vector predictive encoding program or decoding program converts a motion vector of an arbitrary motion model of a small block into a motion vector of a parallel motion model, a motion vector of a parallel motion model obtained for each pixel in the small block. , A representative motion vector of the small block is calculated. When calculating the above-described representative motion vector, a value (an average value, an intermediate value, a median value, a most frequent value) that is statistically calculated for each component of the motion vector of the parallel motion model for each pixel in the small block (Value, maximum value, minimum value) are the values of the components of the representative motion vector.

【0052】さらに、復号する際、グローバル動きパラ
メータから求められるローカル動きベクトルの予測値
が、予め規定された範囲を超える場合に、該予測ベクト
ルをその予め規定された範囲内にクリップする。もしく
は、グローバル動きパラメータから求められるローカル
動きベクトルの予測値が、予め規定された範囲を超える
場合に、該予測ベクトルを0とする。
Further, at the time of decoding, if the predicted value of the local motion vector obtained from the global motion parameter exceeds a predetermined range, the predicted vector is clipped within the predetermined range. Alternatively, when the predicted value of the local motion vector obtained from the global motion parameter exceeds a predetermined range, the predicted vector is set to 0.

【0053】本発明の動きベクトル予測符号化方法およ
び復号方法、予測符号化装置および復号装置、並びに、
動きベクトルの予測符号化プログラムおよび復号プログ
ラムによれば、動きモデルが異なる動きベクトル間での
動きベクトルの予測が可能となり、また、グローバル動
き補償とローカル動き補償間の動きベクトルについても
動きベクトルの予側が可能となるため、動きべクトルの
発生符号量を低減できる。
The motion vector prediction encoding method and decoding method of the present invention, the prediction encoding apparatus and the decoding apparatus, and
According to the motion vector predictive encoding and decoding programs, it is possible to predict a motion vector between motion vectors having different motion models, and to predict a motion vector between global motion compensation and local motion compensation. Since it is possible to perform this operation, it is possible to reduce the generated code amount of the motion vector.

【0054】また、グローバル動きパラメータから得ら
れる予測ベクトルが、ローカル動きベクトルのレンジを
超えた場合にその最小値または最大値にクリップするた
め、たとえば、fcode=3(動きベクトルのレンジ
は−64〜+63.5画素)で、現在ブロックの動きベ
クトルが(Vx,Vy)=(+48,+36.5)、グロ
ーバル動きパラメータから求められた予測ベクトルが
(PVx,PVy)=(+102,+75)の場合、予測
ベクトルは(PVx,PVy)=(+63.5,+63.
5)にクリップされる。予測誤差(MVDx,MVDy
=(−15.5,−27)となり、従来の方法の(−5
4,−38.5)に比べ絶対値は小さくなる。動きベク
トルの差分に割り当てられる符号語は、絶対値が小さい
ほど短い語長であるので、トータルの符号量は削減する
ことができる。
When the prediction vector obtained from the global motion parameter exceeds the range of the local motion vector and clips to the minimum or maximum value, for example, fcode = 3 (the range of the motion vector is -64 to in Tasu63.5 pixels), motion vector of the current block is (V x, V y) = (+ 48, + 36.5), the predicted vector obtained from the global motion parameters (PVx, PVy) = (+ 102, + 75) , The predicted vector is (PVx, PVy) = (+ 63.5, +63.
Clipped to 5). Prediction error (MVD x , MVD y )
= (-15.5, -27), which is (-5) of the conventional method.
4, -38.5). Since the smaller the absolute value of the code word assigned to the motion vector difference is, the shorter the word length is, the total code amount can be reduced.

【0055】また、予測ベクトルを0クリアしてしまう
方法の場合、たとえば、fcode=3(動きベクトル
のレンジは−64〜+63.5画素)で、現在ブロック
の動きベクトルが(Vx,Vy)=(+48,+36.
5)、グローバル動きパラメータから求められた予測ベ
クトルが(PVx,PVy)=(+102,+75)の場
合、予測ベクトルは(PVx,PVy)=(0,0)にク
リアされる。予測誤差は(MVDx,MVDy)=(+4
8,+36.5)となり、クリップ方式の(−15.
5,−27)よりは絶対値が大きくなるものの、従来の
方法の(−54,−38.5)に比べ絶対値は小さくな
る。
In the case where the prediction vector is cleared to 0, for example, if fcode = 3 (the range of the motion vector is −64 to +63.5 pixels) and the motion vector of the current block is (V x , V y) ) = (+ 48, +36.
5) If the predicted vector obtained from the global motion parameters is (PVx, PVy) = (+ 102, +75), the predicted vector is cleared to (PVx, PVy) = (0, 0). The prediction error is (MVD x , MVD y ) = (+ 4
8, +36.5), which is (-15.
Although the absolute value is larger than (5, -27), the absolute value is smaller than (-54, -38.5) of the conventional method.

【0056】さらに他の例として、fcode=1(動
きベクトルのレンジは−16〜+15.5画素)で、現
在ブロックの動きベクトルが(Vx,Vy)=(+3,+
1.5)、グローバル動きパラメークから求められた予
測ベクトルが(PVx,PVy)=(+102,+75)
の場合を考える。クリップ方式では、予測ベクトルは
(PVx,PVy)=(+15.5,+15.5)とな
り、予測誤差(MVDx,MVDy)=(−12.5,−
14)となる。一方、0クリア方式では、予測ベクトル
は(PVx,PVy)=(0,0)となり、予測誤差(M
VDx,MVDy)=(+3,+1.5)となる。この例
では、クリップ方式よりも0クリア方式の方が、絶対値
を小さくすることができる。
As still another example, if fcode = 1 (the range of the motion vector is −16 to +15.5 pixels), and the motion vector of the current block is (V x , V y ) = (+ 3, +
1.5), the predicted vector obtained from the global motion parameter is (PVx, PVy) = (+ 102, +75)
Consider the case The clip method, prediction vector (PVx, PVy) = (+ 15.5, + 15.5) , and the prediction error (MVD x, MVD y) = (- 12.5, -
14). On the other hand, in the 0 clear method, the prediction vector becomes (PVx, PVy) = (0, 0), and the prediction error (M
VD x, MVD y) = ( + 3, a + 1.5). In this example, the absolute value can be smaller in the 0 clear method than in the clip method.

【0057】[0057]

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。なお、本実施形態では、グロ
ーバル動き補償方法(GMC)とローカル動き補償方怯
(LMC)を小ブロック毎に切り替え可能とする。グロ
ーバル動き補償方法の動きモデルは、平行移動および拡
大/縮小を考慮した動きモデルとし、ローカル動き補償
方法の動きモデルは、平行移動動きモデルを用いる。
Next, embodiments of the present invention will be described with reference to the drawings. In this embodiment, the global motion compensation method (GMC) and the local motion compensation method (LMC) can be switched for each small block. The motion model of the global motion compensation method is a motion model in consideration of parallel movement and enlargement / reduction, and the motion model of the local motion compensation method uses a translation motion model.

【0058】また、グローバル動き補償方法は、小ブロ
ック毎に動きベクトルをもたないので、動きベクトルの
予測を行うのは、ローカル動き補償に用いる動きベクト
ルとする。動きベクトルの予測を行う際、動きベクトル
の形式は、平行移動動きモデルの動きベクトルに変換す
る。グローバル動き補償の動きベクトルを平行移動動き
モデルの動きベクトルに変換する際、小ブロックの代表
ベクトルを算出する。小ブロックの代表ベクトルの算出
は、小ブロックの画素毎に算出される動きベクトルの平
均値とする。小ブロックのサイズはM×N画素とする。
Further, since the global motion compensation method does not have a motion vector for each small block, the motion vector is predicted based on the motion vector used for local motion compensation. When predicting a motion vector, the format of the motion vector is converted into a motion vector of a parallel motion model. When converting a motion vector for global motion compensation into a motion vector for a parallel motion model, a representative vector of a small block is calculated. The representative vector of the small block is calculated as the average value of the motion vectors calculated for each pixel of the small block. The size of the small block is M × N pixels.

【0059】[第1の実施形態][First Embodiment]

【0060】(1)動きベクトル予測符号化方法および
復号方法:次に、本発明の第1の実施形態における動き
ベクトル予測符号化方法および復号方法について、図1
および図2に示すフローチャートを参照して説明する。
(1) Motion vector prediction encoding method and decoding method: Next, a motion vector prediction encoding method and a decoding method according to the first embodiment of the present invention will be described with reference to FIG.
This will be described with reference to the flowchart shown in FIG.

【0061】(1−1)動きベクトル予測符号化方法:
まず、図1のステップS1において、符号化対象小ブロ
ックの動き補償モードを判定する。ここで、符号化対象
小ブロックの動き補償モードがGMCであった場合、動
きベクトルの予測符号化は行わず、動きベクトル符号化
処理を終了する。
(1-1) Motion vector predictive encoding method:
First, in step S1 of FIG. 1, the motion compensation mode of the small block to be encoded is determined. Here, when the motion compensation mode of the small block to be coded is GMC, the prediction coding of the motion vector is not performed, and the motion vector coding process ends.

【0062】一方、ステップS1において、符号化対象
小ブロックの動き補償モードがLMCであった場合は、
ステップS2へ進み、符号化済み小ブロックの符号化モ
ードを判定する。符号化済み小ブロックの符号化モード
がフレーム内符号化モードと判定された場合は、ステッ
プS3へ進み、予測ベクトルvpを0、すなわち、vp
=(0,0)とした後、ステップS7(後述する)へ進
む。
On the other hand, if the motion compensation mode of the small block to be coded is LMC in step S1,
Proceeding to step S2, the encoding mode of the encoded small block is determined. If the coding mode of the coded small block is determined to be the intra-frame coding mode, the process proceeds to step S3, and the prediction vector vp is set to 0, that is, vp
= (0, 0), and the process proceeds to step S7 (described later).

【0063】また、ステップS2において、符号化済み
小ブロックの符号化モードがフレーム間符号化モードと
判定された場合は、ステップS4へ進み、符号化済み小
ブロックの動き補償モードを判定する。そして、符号化
済み小ブロックの動き補償モードがLMCと判定された
場合、小ブロックの動きベクトルvi-1=(xi-1,y
i-1)を予測ベクトルvpとして、ステップS7へ進
む。
In step S2, the encoded
The coding mode of the small block is the inter-frame coding mode.
If it is determined, the process proceeds to step S4, and the encoded small
Determine the motion compensation mode of the block. And encoding
The motion compensation mode of the completed small block is determined to be LMC
The motion vector v of the small blocki-1= (Xi-1, Y
i-1) As the prediction vector vp and proceed to step S7.
No.

【0064】一方、ステップS4において、符号化済み
小ブロックの動き補償モードがGMCと判定された場合
は、ステップS5へ進み、そのグローバル動きベクトル
GMV=(X,Y,Z)から、符号化済み小ブロックの
画素毎の平行移動動きモデルの動きベクトルv
i-1(m,n)=(xi-1(m,n),yi-1(m,
n))を求める。ここで、m,nは、小ブロック内の画
素の位置を表す。
On the other hand, if it is determined in step S4 that the motion compensation mode of the coded small block is GMC, the process proceeds to step S5, where the global motion vector GMV = (X, Y, Z) The motion vector v of the parallel motion model for each pixel of the small block
i-1 (m, n) = (x i-1 (m, n), y i-1 (m, n
n)). Here, m and n represent the positions of the pixels in the small block.

【0065】そして、ステップS6へ進み、ステップ1
5において求められた、符号化済み小ブロックの画素毎
の動きベクトルvi-1(m,n)から、代表動きベクト
ルを算出し、予測ベクトルvp=(xvp,yvp)とす
る。ここで、代表動きベクトルは、画素毎の動きベクト
ルvi-1(m,n)の平均値から算出する。
Then, the process proceeds to a step S6, wherein a step 1
5, a representative motion vector is calculated from the motion vector vi -1 (m, n) for each pixel of the coded small block, and the predicted vector is set as vp = ( xvp , yvp ). Here, the representative motion vector is calculated from the average value of the motion vector vi -1 (m, n) for each pixel.

【0066】[0066]

【数5】 (Equation 5)

【0067】次にステップS7へ進み、以下の式によ
り、動きベクトルの成分毎に符号化対象小ブロックの動
きベクトルvi=(xi,yi)と、予測ベクトルvpと
から、予測誤差dxiおよびdyiを算出する。すなわ
ち、 dxi=xi−xvp ……(12); dyi=yi−yvp ……(13)
Then, the process proceeds to a step S7, wherein the prediction error dx is calculated from the motion vector v i = (x i , y i ) of the small block to be encoded and the prediction vector vp according to the following equation. Calculate i and dy i . That, dx i = x i -x vp ...... (12); dy i = y i -y vp ...... (13)

【0068】なお、ステップS2で、符号化済み小ブロ
ックの符号化モードがフレーム内符号化モードと判定さ
れた場合は、ステップS3で予測ベクトルvp=(0,
0)となるので、予測誤差dxi,dyiは、 dxi=xi−0 ……(14); dyi=yi−0 ……(15) となる。
If it is determined in step S2 that the coding mode of the coded small block is the intra-frame coding mode, in step S3 the prediction vector vp = (0,
0) and since the prediction error dx i, dy i is, dx i = x i -0 ...... (14); dy i = y i -0 becomes ... (15).

【0069】また、ステップS4で、符号化済み小ブロ
ックの動き補償モードがLMCと判定された場合、符号
化済み小ブロックの動きベクトルvi-1=(xi-1,y
i-1)が予測ベクトルvpとされるので、予測誤差d
i,dyiは、 dxi=xi−xi-1 ……(16); dyi=yi−yi-1 ……(17) となる。
If it is determined in step S4 that the motion compensation mode of the coded small block is LMC, the motion vector v i-1 of the coded small block = (x i−1 , y
i-1 ) is used as the prediction vector vp, so that the prediction error d
x i, dy i is, dx i = x i -x i -1 ...... (16); and become dy i = y i -y i- 1 ...... (17).

【0070】次にステップS8へ進み、ステップS7で
算出された予測誤差dxiおよびdyiを、可逆符号化
(例えばハフマン符号化等)し、動きベクトル符号化処
理を終了する。
Next, the process proceeds to step S8, in which the prediction errors dx i and dy i calculated in step S7 are losslessly encoded (for example, Huffman encoding), and the motion vector encoding process is terminated.

【0071】(1−2)動きベクトル復号方法:次に、
図2を参照して上述した符号化方法により符号化された
動きベクトルの復号方法について説明する。
(1-2) Motion vector decoding method:
A method of decoding a motion vector encoded by the above-described encoding method will be described with reference to FIG.

【0072】まず、ステップS11において、復号対象
小ブロックの動き補償モードを判定する。ここで、復号
対象小ブロックの動き補償モードがGMCと判定された
場合は、動きベクトルの予測符号化が行われていないも
のとして、復号処理を終了する。
First, in step S11, the motion compensation mode of the small block to be decoded is determined. Here, when the motion compensation mode of the small block to be decoded is determined to be GMC, it is determined that the prediction encoding of the motion vector has not been performed, and the decoding process ends.

【0073】一方、復号対象小ブロックの動き補償モー
ドがLMCと判定された場合は、ステップS12へ進
み、可逆符号化された予測誤差dxiおよびdyiを復号
する。
[0073] On the other hand, when the motion compensation mode of the decoded sub-block is determined to LMC, the process proceeds to step S12, decodes the prediction error dx i and dy i is lossless coding.

【0074】そして、ステップS13へ進み、復号済み
小ブロックの符号化モードを判定する。ここで、復号済
み小ブロックの符号化モードが、フレーム内符号化モー
ドであると判定された場合、ステップS14で、予測ベ
クトルをvp=(0,0)として、ステップS18(後
述する)へ進む。
Then, the process proceeds to a step S13, wherein the coding mode of the decoded small block is determined. Here, when it is determined that the encoding mode of the decoded small block is the intra-frame encoding mode, in step S14, the prediction vector is set to vp = (0, 0), and the process proceeds to step S18 (described later). .

【0075】また、ステップS13で、復号済み小ブロ
ックの符号化モードが、フレーム間符号化モードである
と判定された場合は、ステップS15へ進み、復号済み
小ブロックの動き補償モードを判定する。そして、復号
済み小ブロックの動き補償モードがLMCと判定された
場合は、復号済み小ブロックの動きベクトルvi-1
(xi-1,yi-1)を予測ベクトルvpとして、ステップ
S18へ進む。
If it is determined in step S13 that the coding mode of the decoded small block is the inter-frame coding mode, the flow advances to step S15 to determine the motion compensation mode of the decoded small block. Then, when the motion compensation mode of the decoded small block is determined to be LMC, the motion vector v i-1 of the decoded small block is calculated.
The process proceeds to step S18, using (x i−1 , y i−1 ) as the prediction vector vp.

【0076】一方、ステップS15で、復号済み小ブロ
ックの動き補償モードがGMCと判定された場合は、ス
テップS16へ進み、グローバル動きベクトルGMV=
(X,Y,Z)から、復号済み小ブロックの画素毎に平
行移動動きモデルの動きベクトルvi-1(m,n)=
(xi-1(m,n),yi-1(m,n))を求める。ここ
で、m,nは、小ブロック内の画素の位置を表す。
On the other hand, if it is determined in step S15 that the motion compensation mode of the decoded small block is GMC, the process proceeds to step S16, where the global motion vector GMV =
From (X, Y, Z), the motion vector v i-1 (m, n) = of the parallel motion model for each pixel of the decoded small block
(X i-1 (m, n), y i-1 (m, n)) is obtained. Here, m and n represent the positions of the pixels in the small block.

【0077】そして、ステップS17へ進み、復号済み
小ブロックの画素毎の動きベクトルVi-1(m,n)か
ら代表動きベクトルを算出し、予測ベクトルvp=(x
vp,yvp)とする。ここで、代表動きベクトルは、画素
毎の動きベクトルvi-1(m,n)の平均値から算出す
る。
Then, the process proceeds to a step S17, wherein a representative motion vector is calculated from the motion vector V i-1 (m, n) for each pixel of the decoded small block, and the predicted vector vp = (x
vp , yvp ). Here, the representative motion vector is calculated from the average value of the motion vector vi -1 (m, n) for each pixel.

【0078】[0078]

【数6】 (Equation 6)

【0079】次にステップS18へ進み、予測ベクトル
vpの各成分xvpおよびyvpと、予測誤差dxiおよび
dyiとをそれぞれ加算し、復号対象小ブロックの動き
ベクトルvi=(xii)を算出する。すなわち、 xi=xvp+dxi ……(20); yi=yvp+dyi ……(21)
[0079] then proceeds to step S18, the prediction and each element x vp and y vp vector vp, the prediction error dx i and dy i and were respectively added, the motion vector of the decoded small block v i = (x i y i ) is calculated. That is, x i = x vp + d x i (20); y i = y vp + d i i (21)

【0080】なお、ステップS13で、復号済み小ブロ
ックの符号化モードがフレーム内符号化モードと判定さ
れた場合は、ステップS14で予測ベクトルvp=
(0,0)となるので、復号対象小ブロックの動きベク
トルvi=(xii)は、 xi=0+dxi ……(22); yi=0+dyi ……(23) となる。
If it is determined in step S13 that the encoding mode of the decoded small block is the intra-frame encoding mode, the prediction vector vp =
(0, 0), the motion vector v i = (x i y i ) of the small block to be decoded is x i = 0 + dx i (22); y i = 0 + dy i (23) .

【0081】また、ステップS15で、復号済み小ブロ
ックの動き補償モードがLMCと判定された場合、復号
済み小ブロックの動きベクトルvi-1=(xi-1
i-1)が予測ベクトルvpとされるので、復号対象小
ブロックの動きベクトルvi=(xii)は、 xi=xi-1+dxi ……(24); yi=yi-1+dyi ……(25) となる。
If it is determined in step S15 that the motion compensation mode of the decoded small block is LMC, the motion vector v i-1 of the decoded small block = (x i−1 ,
y i−1 ) is used as the prediction vector vp, so that the motion vector v i = (x i y i ) of the small block to be decoded is x i = x i−1 + dxi i (24); y i = y i-1 + dy i (25)

【0082】そして、ステップS18の処理が終わると
動きベクトル復号処理を終了する。
When the processing in step S18 ends, the motion vector decoding processing ends.

【0083】なお、上述した実施形態の図1のステップ
S6および図2のステップS17では、代表動きベクト
ルの算出を平均値で算出しているが、以下の統計量を用
いることもできる。ここでは、画素毎の動きベクトルの
成分xi-j(m,n),yi-1(m,n)の集合をそれぞ
れXi-1,Yi-1とする。
In the above-described embodiment, in step S6 of FIG. 1 and step S17 of FIG. 2, the calculation of the representative motion vector is calculated by the average value. However, the following statistic may be used. Here, a set of motion vector components x ij (m, n) and y i-1 (m, n) for each pixel is defined as X i-1 and Y i-1 , respectively.

【0084】・最大値 代表動きベクトルは、次式から算出する。 xvp=max(Xi-1) ……(26); yvp=max(Yi-1) ……(27)The maximum value The representative motion vector is calculated from the following equation. xvp = max (Xi -1 ) (26); yvp = max ( Yi -1 ) (27)

【0085】・最小値 代表動きベクトルは、次式から算出する。 xvp=min(Xi-1) ……(28); yvp=min(Yi-1) ……(29)The minimum value The representative motion vector is calculated from the following equation. x vp = min (X i-1 ) (28); y vp = min (Y i-1 ) (29)

【0086】・中間値 代表動きベクトルは、次式から算出する。 xvp={max(Xi-1)+min(Xi-1)}/2 ……(30); yvp={max(Yi-1)+min(Yi-1)}/2 ……(31)Intermediate value The representative motion vector is calculated from the following equation. xvp = {max (Xi -1 ) + min (Xi -1 )} / 2 (30); yvp = {max ( Yi -1 ) + min (Yi -1 )} / 2 ... (31)

【0087】・最頻値動きベクトルの成分毎に度数分布
を調べ、最も度数の大きい値を代表動きべクトルの成分
とする。
The frequency distribution is examined for each component of the mode motion vector, and the value having the highest frequency is determined as the component of the representative motion vector.

【0088】・中央値 まず、動きベクトルの各成分を大小順に並べる。 xs1≦xs2≦………≦xsn-1≦xsn ……(32); ys1≦ys2≦………≦ysn-1≦ysn ……(33) ここで、nは小ブロックの画素数、xs,ysは画素毎
の動きベクトルの成分Xi-1,Yi-1を大小順に並べ替え
たものである。そして、代表動きべクトルは、並べ替え
た動きベクトルの成分の順番から算出する。すなわち、
Median First, the components of the motion vector are arranged in descending order. xs 1 ≤xs 2 ≤ ... ≤xs n-1 ≤xs n ... (32); ys 1 ≤ys 2 ≤ ......... ≤ys n-1 ≤ys n ... (33) where n is The number of pixels in the small block, xs and ys, are obtained by rearranging the motion vector components Xi -1 and Yi -1 for each pixel in descending order. Then, the representative motion vector is calculated from the order of the components of the rearranged motion vectors. That is,

【0089】−画素数nが奇数の場合 xvp=xs(n+1)/2 ……(34); yvp=ys(n+1)/2 ……(35) −画素数nが偶数の場合 xvp=(xsn/2+xsn/2+1)/2 ……(36); yvp=(ysn/2+ysn/2+1)/2 ……(37)X vp = xs (n + 1) / 2 (34); y vp = ys (n + 1) / 2 (35)-Pixel number n is even Xvp = (xsn / 2 + xsn / 2 + 1 ) / 2 (36); yvp = (ysn / 2 + ysn / 2 + 1 ) / 2 (37)

【0090】また、上述した実施形態において、符号化
済み小ブロックの動きベクトルとしては、直前に符号化
した小ブロックの動きベクトルを含め、符号化対象小ブ
ロックより以前に符号化した小ブロックであれば、その
動きベクトルを用いることも可能である。さらに、複数
の符号化済み小ブロックの動きベクトルから予測ベクト
ルを算出することも可能である。
In the above-described embodiment, the motion vector of the coded small block may be a small block coded before the current small block, including the motion vector of the previously coded small block. For example, the motion vector can be used. Further, it is also possible to calculate a prediction vector from motion vectors of a plurality of encoded small blocks.

【0091】(2)動きベクトル予測符号化装置および
復号装置:次に図3および図4を参照して、上述した動
きベクトル符号化方法および復号方法に従って、動きベ
クトルの符号化および復号を行う符号化装置および復号
装置について説明する。
(2) Motion vector predictive coding apparatus and decoding apparatus: Next, referring to FIGS. 3 and 4, a code for performing coding and decoding of a motion vector according to the above-described motion vector coding method and decoding method. The decoding device and the decoding device will be described.

【0092】(2−1)動きベクトル予測符号化装置 上述した動きベクトル符号化方法に従って動きベクトル
の符号化を行う符号化装置の構成を図3に示す。ここ
で、この図において、グローバル動きベクトルは1画面
に1回入力され、ローカル動きベクトルは、符号化対象
小ブロックがローカル補償の場合にのみ入力される。
(2-1) Motion Vector Prediction Coding Apparatus FIG. 3 shows the configuration of a coding apparatus that performs motion vector coding according to the above-described motion vector coding method. Here, in this figure, a global motion vector is input once per screen, and a local motion vector is input only when the small block to be coded is local compensation.

【0093】まず、動きベクトルメモリ1は、入力され
た符号化対象小ブロックのローカル動きベクトルmvを
記憶し、次に符号化対象小ブロックのローカル動きベク
トルmvが入力されると、記憶しているローカル動きベ
クトルを、符号化済み小ブロックのローカル動きベクト
ルmvt-1 として出力する。
First, the motion vector memory 1 stores the input local motion vector mv of the encoding target small block, and then stores the input local motion vector mv of the encoding target small block. The local motion vector is output as the local motion vector mv t−1 of the coded small block.

【0094】代表動きベクトル算出部2は、内部にメモ
リを有し、入力された符号化対象小ブロックの動き補償
方法がローカル動き補償であり、符号化済み小ブロック
の動き補償方法がグローバル動き補償の時、既に符号化
されたグローバル動きベクトルgmvを内部のメモリか
ら読み出し、そのグローバル動きベクトルgmvから上
記小ブロック毎に代表動きベクトルを算出し、次に符号
化対象小ブロックのローカル動きベクトルmvが入力さ
れた時に、符号化済み小ブロックの代表動きベクトルと
して出力する。
The representative motion vector calculation unit 2 has a memory therein, the local motion compensation is used for the input small block to be coded, and the global motion compensation is used for the small coded block. At this time, the already coded global motion vector gmv is read from the internal memory, a representative motion vector is calculated for each of the small blocks from the global motion vector gmv, and then the local motion vector mv of the coding target small block is calculated. When input, it is output as a representative motion vector of the encoded small block.

【0095】選択部3は、符号化対象小ブロックの動き
補償モード、符号化済み小ブロックの符号化モード、お
よび、符号化済み小ブロックの動き補償モードに応じ
て、動きベクトルメモリ1から出力される符号化済み小
ブロックの動きベクトルmvt- 1 、または、代表動きベ
クトル算出部2から出力される代表動きベクトルのいず
れか一方を出力するか、もしくは、双方のベクトルを選
択していない状態(以下、中立状態という)となって、
双方の動きベクトルを出力しない。
The selection unit 3 outputs the data from the motion vector memory 1 according to the motion compensation mode of the small block to be coded, the coding mode of the coded small block, and the motion compensation mode of the coded small block. Either the motion vector mv t- 1 of the encoded small block or the representative motion vector output from the representative motion vector calculation unit 2 is output, or both vectors are not selected ( Hereinafter, it will be called neutral state)
Do not output both motion vectors.

【0096】また、減算器4は、符号化対象小ブロック
のローカル動きベクトルmvt から、選択部3の出力を
減算し、予測誤差dmvt を出力する。動きベクトル符
号化部5は、減算器4から出力される予測誤差dmvt
を可変長符号化し、ローカル動きベクトル情報として出
力する。動きベクトル符号化部6は、グローバル動きベ
クトルgmvを可変長符号化し、グローバル動きベクト
ル情報として出力する。
[0096] Further, the subtractor 4, the local motion vector mv t of the encoding target small block subtracts the output of the selector 3, and outputs a prediction error dmv t. The motion vector encoding unit 5 calculates the prediction error dmv t output from the subtractor 4
Is variable-length coded and output as local motion vector information. The motion vector coding unit 6 performs variable length coding on the global motion vector gmv, and outputs it as global motion vector information.

【0097】上述した構成の符号化装置の動作について
説明する。まず、外部からグローバル動きベクトルが供
給された場合、供給されたグローバル動きベクトルgm
vは、代表動きベクトル算出部2および動きベクトル符
号化部6へそれぞれ入力される。そして、動きベクトル
符号化部6において、可変長符号化された後、外部へ出
力される。また、代表動きベクトル算出部2では、上記
グローバル動きベクトルgmvが内部のメモリに記憶さ
れる。
The operation of the coding apparatus having the above configuration will be described. First, when a global motion vector is supplied from outside, the supplied global motion vector gm
v is input to the representative motion vector calculator 2 and the motion vector encoder 6, respectively. Then, after being subjected to variable-length coding in the motion vector coding unit 6, the data is output to the outside. In the representative motion vector calculation unit 2, the global motion vector gmv is stored in an internal memory.

【0098】この時、外部からはローカル動きベクトル
が供給されず、また、選択部3は、供給された動きベク
トルがグローバル動きベクトルであることを認識して中
立状態となるため、動きベクトル符号化部5からローカ
ル動きベクトル情報が出力されることはない。
At this time, no local motion vector is supplied from the outside, and the selecting unit 3 recognizes that the supplied motion vector is a global motion vector and enters a neutral state. No local motion vector information is output from the unit 5.

【0099】次に上述した処理が行われた後、外部から
ローカル動きベクトルmvt が供給されると、供給され
たローカル動きベクトルmvt は、動きベクトルメモリ
1および減算器4へそれぞれ入力される。また、この場
合、符号化対象小ブロックの動き補償方法がローカル動
き補償で、かつ、符号化済み小ブロックの動き補償方法
がグローバル動き補償となるので、代表動きベクトル算
出部2において、内部のメモリに記憶されているグロー
バル動きベクトルgmvから、符号化済み小ブロックの
画素毎に、平行移動動きモデルの動きベクトルv
t-1(m,n)=(xt -1(m,n),yt-1(m,
n))が求められる(図1,ステップS5の処理に相
当)。ここで、m,nは、小ブロック内の画素の位置を
表す。
Next, after the above processing is performed, when the local motion vector mv t is supplied from the outside, the supplied local motion vector mv t is input to the motion vector memory 1 and the subtractor 4 respectively. . In this case, the motion compensation method for the small block to be coded is local motion compensation, and the motion compensation method for the coded small block is global motion compensation. From the global motion vector gmv stored in the parallel motion model for each pixel of the coded small block.
t-1 (m, n) = (x t -1 (m, n), y t-1 (m,
n)) is obtained (corresponding to the processing of step S5 in FIG. 1). Here, m and n represent the positions of the pixels in the small block.

【0100】そして、代表動きベクトル算出部2におい
て、求めた動きベクトルvt-1(m,n)から、代表動
きベクトルが算出され、符号化済み小ブロックの動きベ
クトルとして出力される(図1,ステップS6の処理に
相当)。ここで、代表動きベクトルは、画素毎の動きベ
クトルvt-1(m,n)の平均値から算出する。また、
選択部3は、符号化済み小ブロックの符号化モードを判
定し、フレーム内符号化モードであれば、中立状態とな
って何ら信号を出力せず(図1,ステップS3の処理に
相当)、供給されたローカル動きベクトルmvt は、そ
のまま減算器4を通過して(図1,ステップS7の処理
において、前述した(14)式,(15)式による演算
処理に相当)、動きベクトル符号化部5において可変長
符号化された後(図1,ステップS8の処理に相当)、
外部へ出力される。
Then, the representative motion vector calculation section 2 calculates a representative motion vector from the obtained motion vector v t-1 (m, n) and outputs it as a motion vector of the coded small block (FIG. 1). , Step S6). Here, the representative motion vector is calculated from the average value of the motion vector v t-1 (m, n) for each pixel. Also,
The selecting unit 3 determines the coding mode of the coded small block, and if the coding mode is the intra-frame coding mode, the selection unit 3 enters a neutral state and does not output any signal (corresponding to the processing in step S3 in FIG. 1). supplied local motion vector mv t is directly passed through the subtracter 4 (FIG. 1, in the processing of step S7, the aforementioned (14), corresponds to the arithmetic processing by the equation (15)), the motion vector coding After being subjected to the variable-length encoding in the unit 5 (corresponding to the processing in step S8 in FIG. 1),
Output to the outside.

【0101】一方、選択部3が、符号化済み小ブロック
の符号化モードがフレーム間符号化モードであると判定
した場合は、符号化済み小ブロックの動き補償モードを
判定する(図1,ステップS4の処理に相当)。ここで
は、符号化済み小ブロックの動き補償モードは、グロー
バル動き補償モードであるため、選択部3は、代表動き
ベクトル算出部2から出力された代表動きベクトルを選
択して減算器4へ出力する。
On the other hand, when the selecting unit 3 determines that the coding mode of the coded small block is the inter-frame coding mode, it determines the motion compensation mode of the coded small block (FIG. 1, step (Corresponds to the processing of S4). Here, since the motion compensation mode of the encoded small block is the global motion compensation mode, the selection unit 3 selects the representative motion vector output from the representative motion vector calculation unit 2 and outputs the selected motion vector to the subtractor 4. .

【0102】これにより、減算器4では、符号化対象小
ブロックから代表動きベクトルが減算され(図1,ステ
ップS7の処理において、前述した(12)式,(1
3)式による演算処理に相当)、その減算結果が予測誤
差dmvt として動きベクトル符号化部5へ出力され、
可変長符号化された後(図1,ステップS8の処理に相
当)、外部へ出力される。
As a result, the subtractor 4 subtracts the representative motion vector from the small block to be encoded (FIG. 1, in the process of step S7, the expression (12), (1)
3) corresponds to the arithmetic processing by formula), the subtraction result is outputted to the motion vector coding unit 5 as a prediction error dmv t,
After being subjected to variable-length coding (corresponding to the processing in step S8 in FIG. 1), the data is output to the outside.

【0103】次に、上述した処理が行われた後、外部か
らさらにローカル動きベクトルmv t が供給された場
合、供給されたローカル動きベクトルmvt は、動きベ
クトルメモリ1および減算器4へそれぞれ入力され、ま
た、動きベクトルメモリ1は、前回入力されたローカル
動きベクトルmvt-1 を出力する。
Next, after the above-described processing is performed,
And the local motion vector mv t Where was supplied
If the supplied local motion vector mvt Is a movement
Input to the vector memory 1 and the subtractor 4, respectively.
In addition, the motion vector memory 1 stores the previously input local
Motion vector mvt-1 Is output.

【0104】また、選択部3は、符号化済み小ブロック
の符号化モードを判定し、フレーム内符号化モードであ
れば、中立状態となって何ら信号を出力せず(図1,ス
テップS3の処理に相当)、供給されたローカル動きベ
クトルmvt は、そのまま減算器4を通過して(図1,
ステップS7の処理において、前述した(14)式,
(15)式による演算処理に相当)、動きベクトル符号
化部5において可変長符号化された後(図1,ステップ
S8の処理に相当)、外部へ出力される。
The selecting section 3 determines the coding mode of the coded small block. If the coding mode is the intra-frame coding mode, the selection section 3 enters a neutral state and does not output any signal (FIG. 1, step S3). The supplied local motion vector mv t passes through the subtractor 4 as it is (FIG. 1, FIG. 1).
In the processing of step S7, the above-described equation (14),
After being subjected to variable-length coding in the motion vector coding unit 5 (corresponding to the processing of step S8 in FIG. 1), it is output to the outside.

【0105】一方、選択部3が、符号化済み小ブロック
の符号化モードがフレーム間符号化モードであると判定
した場合は、符号化済み小ブロックの動き補償モードを
判定する(図1,ステップS4の処理に相当)。ここで
は、符号化済み小ブロックの動き補償モードが、ローカ
ル動き補償モードであるため、選択部3は、動きベクト
ルメモリ1から出力された符号化済みのローカル動きベ
クトルmvt-1 を、減算器4へ出力する。
On the other hand, when the selecting unit 3 determines that the coding mode of the coded small block is the inter-frame coding mode, it determines the motion compensation mode of the coded small block (FIG. 1, step (Corresponds to the processing of S4). Here, since the motion compensation mode of the coded small block is the local motion compensation mode, the selecting unit 3 subtracts the coded local motion vector mv t−1 output from the motion vector memory 1 by the subtractor Output to 4.

【0106】これにより、減算器4では、符号化対象小
ブロックの動きベクトルmvt から符号化済みのローカ
ル動きベクトルmvt-1 が減算され(図1,ステップS
7の処理において、前述した(16)式,(17)式に
よる演算処理に相当)、その減算結果が予測誤差dmv
t として動きベクトル符号化部5へ出力され、可変長符
号化された後(図1,ステップS8の処理に相当)、外
部へ出力される。
Thus, the subtracter 4 subtracts the encoded local motion vector mv t−1 from the motion vector mv t of the small block to be encoded (FIG. 1, step S
7, the subtraction result is the prediction error dmv
It is output to the motion vector encoding unit 5 as t , and after being subjected to variable length encoding (corresponding to the processing in step S8 in FIG. 1), it is output to the outside.

【0107】(2−2)動きベクトル復号装置:次に前
述した動きベクトル復号方法に従って動きベクトルの復
号を行う復号装置の構成を図4に示す。この図におい
て、動きベクトル復号部10は、図3に示す動きベクト
ル予測符号化装置から出力されたグローバル動きベクト
ル情報を復号し、グローバル動きベクトルgmvとして
代表動きベクトル算出部12と、外部へ出力する。動き
ベクトル復号部11は、図3の動きベクトル予測符号化
装置から出力されたローカル動きベクトル情報を復号
し、予測誤差dmvt として加算器15へ出力する。
(2-2) Motion vector decoding device: FIG. 4 shows the configuration of a decoding device for decoding a motion vector according to the above-described motion vector decoding method. In this figure, the motion vector decoding unit 10 decodes the global motion vector information output from the motion vector predictive coding apparatus shown in FIG. 3, and outputs it as a global motion vector gmv to the representative motion vector calculation unit 12 and the outside. . Motion vector decoding unit 11 decodes the local motion vector information outputted from the motion vector prediction encoding device of FIG. 3, and outputs to the adder 15 as a prediction error dmv t.

【0108】代表動きベクトル算出部12は、内部にメ
モリを有し、復号対象小ブロックの動き補償方法がロー
カル動き補償であり、復号済み小ブロックの動き補償方
法がグローバル動き補償の時、既に復号されたグローバ
ル動きベクトルgmvを内部のメモリから読み出し、そ
のグローバル動きベクトルgmvから上記小ブロック毎
に代表動きベクトルを算出し、次に動きベクトル復号部
11によってローカル動きベクトル情報が復号され予測
誤差dmvt が出力された時に、復号済み小ブロックの
代表動きベクトルとして出力する。
The representative motion vector calculation unit 12 has a memory inside, and when the motion compensation method of the small block to be decoded is local motion compensation and the motion compensation method of the decoded small block is global motion compensation, the motion is already decoded. The global motion vector gmv thus read out is read out from an internal memory, a representative motion vector is calculated for each of the small blocks from the global motion vector gmv, and then the local motion vector information is decoded by the motion vector decoding unit 11, and the prediction error dmv t Is output as the representative motion vector of the decoded small block.

【0109】選択部13は、復号対象小ブロックの動き
補償モード、復号済み小ブロックの符号化モード、およ
び、復号済み小ブロックの動き補償モードに応じて、代
表動きベクトル算出部12から出力される代表動きベク
トル、または、動きベクトルメモリ14から出力される
復号済み小ブロックの動きベクトルmvt-1 のいずれか
一方を出力するか、もしくは、中立状態となって、いず
れの動きベクトルも出力しない。
The selecting section 13 is output from the representative motion vector calculating section 12 according to the motion compensation mode of the small block to be decoded, the coding mode of the decoded small block, and the motion compensation mode of the decoded small block. Either the representative motion vector or the motion vector mv t−1 of the decoded small block output from the motion vector memory 14 is output, or the state becomes neutral, and no motion vector is output.

【0110】動きベクトルメモリ14は、加算器15か
ら出力される復号した小ブロックのローカル動きベクト
ルmvを記憶する。そして、次に動きベクトル復号部1
1から予測誤差dmvt が出力されると、記憶している
ローカル動きベクトルを、復号済み小ブロックのローカ
ル動きベクトルmvt-1 として出力する。また、加算器
15は、動きベクトル復号部11から出力される予測誤
差dmvt に、選択部13の出力を加算し、ローカル動
きベクトルmvt として動きベクトルメモリ14および
外部へ出力する。
The motion vector memory 14 stores the local motion vector mv of the decoded small block output from the adder 15. Then, the motion vector decoding unit 1
When the prediction error dmv t is output from 1, the stored local motion vector is output as the local motion vector mv t−1 of the decoded small block. The adder 15, the prediction error dmv t output from the motion vector decoding unit 11 adds the output of the selector 13, and outputs it to the motion vector memory 14 and the external as a local motion vector mv t.

【0111】次に上述した構成の動きベクトル復号装置
の動作について説明する。まず、図3に示す動きベクト
ル予測符号化装置から、グローバル動きベクトル情報が
供給された場合、供給されたグローバル動きベクトル情
報は、動きベクトル復号部10でグローバル動きベクト
ルgmvに復号され、代表動きベクトル算出部12と、
外部とへそれぞれ出力される。これにより、代表動きベ
クトル算出部12において、上記グローバル動きベクト
ルgmvが内部のメモリに記憶される。
Next, the operation of the motion vector decoding device having the above configuration will be described. First, when global motion vector information is supplied from the motion vector predictive coding apparatus shown in FIG. 3, the supplied global motion vector information is decoded into a global motion vector gmv by the motion vector decoding unit 10, and the representative motion vector A calculating unit 12,
It is output to the outside. As a result, the global motion vector gmv is stored in the internal memory in the representative motion vector calculation unit 12.

【0112】この時、図3の動きベクトル予測符号化装
置から、ローカル動きベクトル情報が供給されることは
なく、また、選択部13は、供給された動きベクトル情
報がグローバル動きベクトル情報であることを認識して
中立状態となるため、加算器15からローカル動きベク
トルmvt が出力されることはない。
At this time, the local motion vector information is not supplied from the motion vector predictive coding apparatus of FIG. 3, and the selecting unit 13 determines that the supplied motion vector information is global motion vector information. since the recognition to a neutral state, never local motion vector mv t is output from the adder 15.

【0113】次に上述した処理が行われた後、図3の動
きベクトル予測符号化装置からローカル動きベクトル情
報が供給されると、供給されたローカル動きベクトル情
報は、動きベクトル復号部11において予測誤差dmv
t に復号され(図2,ステップS12の処理に相当)、
加算器15へ出力される。また、この場合、復号対象小
ブロックの動き補償方法がローカル動き補償であり、復
号済み小ブロックの動き補償方法がグローバル動き補償
となるので、代表動きベクトル算出部12において、内
部に記憶されているグローバル動きベクトルgmvか
ら、復号済み小ブロックの画素毎に、平行移動動きモデ
ルの動きベクトル vt-1(m,n)=(x t-1(m,
n),yt-1(m,n))が求められる(図2,ステッ
プS16の処理に相当)。ここで、m,nは、小ブロッ
ク内の画素の位置を表す。
Next, after the above-described processing is performed, the operation shown in FIG.
Local motion vector information from
Information, the supplied local motion vector information
The report is a prediction error dmv in the motion vector decoding unit 11.
t (Corresponding to the process of step S12 in FIG. 2),
It is output to the adder 15. In this case, the decryption target small
Block motion compensation is local motion compensation, and
Global motion compensation
In the representative motion vector calculation unit 12,
Is the global motion vector gmv stored in the
Then, for each pixel of the decoded small block,
Motion vector vt-1(M, n) = (x t-1(M,
n), yt-1(M, n)) (FIG. 2, step
Step S16). Here, m and n are small blocks.
Represents the position of the pixel within the box.

【0114】そして、この求めた動きベクトル v
t-1(m,n)から、代表動きベクトルが算出され、復
号済み小ブロックの動きベクトルとして出力される(図
2,ステップS17の処理に相当)。ここで、代表動き
ベクトルは、画素毎の動きベクトルvt-1(m,n)の
平均値から算出される。
Then, the obtained motion vector v
A representative motion vector is calculated from t-1 (m, n) and output as a motion vector of the decoded small block (corresponding to the process of step S17 in FIG. 2). Here, the representative motion vector is calculated from the average value of the motion vector v t-1 (m, n) for each pixel.

【0115】また、この時、選択部13は、復号済み小
ブロックの符号化モードを判定し、フレーム内符号化モ
ードであれば、中立状態となって何ら信号を出力しない
(図2,ステップS14の処理に相当)。よって、復号
された予測誤差dmvt は、加算器15において何等加
算されることなく、そのままローカル動きベクトルmv
t として、動きベクトルメモリ14と外部とへ、それぞ
れ出力される(図2,ステップS18の処理において、
前述した(22)式,(23)式による演算処理に相
当)。
At this time, the selecting unit 13 determines the coding mode of the decoded small block, and if the coding mode is the intra-frame coding mode, the selecting unit 13 enters a neutral state and does not output any signal (FIG. 2, step S14). ). Therefore, the decoded prediction error dmv t is directly added to the local motion vector mvt without any addition in the adder 15.
t , which is output to the motion vector memory 14 and the outside (in the process of FIG. 2, step S18,
(Equivalent to the arithmetic processing by the aforementioned equations (22) and (23)).

【0116】一方、選択部13が、復号済み小ブロック
の符号化モードがフレーム間符号化モードであると判定
した場合は、復号済み小ブロックの動き補償モードを判
定する(図2,ステップS15の処理に相当)。ここで
は、復号済み小ブロックの動き補償モードが、グローバ
ル動き補償モードであるため、選択部13は、代表動き
ベクトル算出部12から出力された代表動きベクトルを
選択して、加算器15へ出力する。
On the other hand, when the selecting section 13 determines that the coding mode of the decoded small block is the inter-frame coding mode, it determines the motion compensation mode of the decoded small block (FIG. 2, step S15). Processing equivalent). Here, since the motion compensation mode of the decoded small block is the global motion compensation mode, the selector 13 selects the representative motion vector output from the representative motion vector calculator 12 and outputs the selected motion vector to the adder 15. .

【0117】これにより、加算器15では、動きベクト
ル復号部11により復号された予測誤差dmvt と、代
表動きベクトルとが加算され(図2,ステップS12の
処理において、前述した(20)式,(21)式による
演算処理に相当)、その加算結果がローカル動きベクト
ルmvt として、動きベクトルメモリ14と外部とへ、
それぞれ出力される。
[0117] Thus, the adder 15, the prediction error dmv t decoded by the motion vector decoding unit 11, a representative motion vector and is added (Fig. 2, in the process of step S12, described above (20), (21) corresponds to the arithmetic processing by the formula), to result of the addition as a local motion vector mv t, the motion vector memory 14 and the outside,
Each is output.

【0118】次に、上述した処理が行われた後、図3の
動きベクトル予測符号化装置からさらにローカル動きベ
クトル情報が供給された場合、動きベクトル復号部11
において予測誤差dmvt に復号されて、加算器15へ
出力される。そして、選択部13は、再び、復号済み小
ブロックの符号化モードを判定し、フレーム内符号化モ
ードであれば、中立状態となって何ら信号を出力せず
(図2,ステップS14の処理に相当)、復号された予
測誤差dmvt は、加算器15において何等加算される
ことなく、そのままローカル動きベクトルmvt とし
て、動きベクトルメモリ14と外部とへ、それぞれ出力
される(図2,ステップS18の処理において、前述し
た(22)式,(23)式による演算処理に相当)。
Next, after the above-described processing is performed, when the local motion vector information is further supplied from the motion vector predictive coding apparatus of FIG.
Is decoded into a prediction error dmv t and output to the adder 15. Then, the selecting unit 13 again determines the coding mode of the decoded small block, and if the coding mode is the intra-frame coding mode, the selecting unit 13 enters a neutral state and does not output any signal (FIG. 2, step S14). equivalent), the decoded prediction error dmv t, without being added any way in the adder 15, as it is the local motion vector mv t, to a motion vector memory 14 and external, are outputted (Fig. 2, step S18 (Corresponds to the arithmetic processing by the above-described equations (22) and (23)).

【0119】一方、選択部13で、復号済み小ブロック
の符号化モードがフレーム間符号化モードであると判定
された場合は、復号済み小ブロックの動き補償モードを
判定する(図2,ステップS15の処理に相当)。ここ
では、復号済み小ブロックの動き補償モードが、ローカ
ル動き補償モードであるため、選択部13は、動きベク
トルメモリ14から出力される復号済み小ブロックのロ
ーカル動きベクトルmvt-1 を、加算器15へ出力す
る。
On the other hand, when the selecting unit 13 determines that the coding mode of the decoded small block is the inter-frame coding mode, the motion compensation mode of the decoded small block is determined (step S15 in FIG. 2). ). Here, since the motion compensation mode of the decoded small block is the local motion compensation mode, the selecting unit 13 adds the local motion vector mv t-1 of the decoded small block output from the motion vector memory 14 to the adder 15 is output.

【0120】これにより、加算器15では、動きベクト
ルメモリ14から出力された復号済み小ブロックのロー
カル動きベクトルmvt-1 と予測誤差mvt とが加算さ
れ(図2,ステップ28の処理において、前述した(2
4)式,(25)式による演算処理に相当)、その加算
結果がローカル動きベクトルmvt として動きベクトル
メモリ14と外部とへ、それぞれ出力される。
As a result, the adder 15 adds the local motion vector mv t−1 of the decoded small block output from the motion vector memory 14 and the prediction error mv t (FIG. 2, processing in step 28). (2)
4), (25) corresponding to the arithmetic processing by the formula), to result of the addition to the motion vector memory 14 and the external as a local motion vector mv t, are output.

【0121】なお、図3,図4に示した動きベクトル予
測符号化装置および復号装置において、各代表ベクトル
算出部2,12で算出される代表動きベクトルとして
は、復号済み小ブロックの各画素毎における動きベクト
ルの平均値のみならず、(1−1)符号化方法および
(1−2)復号方法の項目で述べたように、最大値,最
小値,中間値,最頻値,中央値といった統計量を用いて
もよい。
In the motion vector predictive coding apparatus and decoding apparatus shown in FIGS. 3 and 4, the representative motion vector calculated by each of the representative vector calculation units 2 and 12 is, for each pixel of the decoded small block, , As described in (1-1) Encoding method and (1-2) Decoding method, the maximum value, minimum value, intermediate value, mode value, median value, etc. Statistics may be used.

【0122】[第2の実施形態][Second Embodiment]

【0123】(1)動きベクトル予測符号化方法および
復号方法:次に、本発明に係る動きベクトル予測符号化
方法および復号方法の、第2の実施形態について説明す
る。第2の実施形態における動きベクトル予測符号化方
法および復号方法が、上述した第1の実施形態と異なる
点は、グローバル動きパラメータから得られる予測ベク
トルが、ローカル動きベクトルのレンジを超えた場合、
その予測ベクトルを当該レンジの最小値または最大値に
クリップする処理を追加した点である。
(1) Motion vector prediction encoding method and decoding method: Next, a second embodiment of the motion vector prediction encoding method and decoding method according to the present invention will be described. The difference between the motion vector prediction encoding method and the decoding method in the second embodiment is that the prediction vector obtained from the global motion parameters exceeds the range of the local motion vector.
The point is that processing for clipping the prediction vector to the minimum value or the maximum value of the range is added.

【0124】(1−1)動きベクトル予測符号化方法:
以下、図5に示すフローチャートを参照して、第2の実
施形態における動きベクトル予測符号化方法について具
体的に説明する。図5は、第2の実施形態における動き
ベクトル予測符号化方法を示すフローチャートである。
この図において、図1に示す動きベクトル予測符号化方
法と同様の処理を行うステップについては、同一の符号
を付し、その詳しい説明を省略する。
(1-1) Motion vector predictive encoding method:
Hereinafter, the motion vector predictive encoding method according to the second embodiment will be specifically described with reference to the flowchart shown in FIG. FIG. 5 is a flowchart illustrating a motion vector predictive encoding method according to the second embodiment.
In this figure, steps for performing the same processing as the motion vector predictive encoding method shown in FIG. 1 are denoted by the same reference numerals, and detailed description thereof will be omitted.

【0125】図5に示す動きベクトル予測符号化方法
が、図1と異なる点は、ステップ16で代表動きベクト
ルを算出した後、この算出した代表動きベクトル値が予
め規定された範囲内にあるか否かを調べ、当該範囲を超
えた場合は、代表動きベクトルの値をクリッピングする
点である。
The difference between the motion vector predictive encoding method shown in FIG. 5 and FIG. 1 is that after the representative motion vector is calculated in step 16, whether the calculated representative motion vector value is within a predetermined range. It is checked whether or not the value is outside the range, and the value of the representative motion vector is clipped.

【0126】すなわち、第1の実施形態で説明したよう
に、ステップS1で符号化対象ブロックの動き補償モー
ドがローカル動き補償と判定され、ステップS2で符号
化済み小ブロックの符号化モードがフレーム間符号化と
判定され、さらに、ステップS4で動き補償モードがG
MCであったと判定された場合、ステップS5において
グローバル動きベクトルGMVから、符号化済み小ブロ
ックの画素毎に、平行移動動きモデルの動きベクトルが
算出される。
That is, as described in the first embodiment, in step S1, the motion compensation mode of the current block is determined to be local motion compensation, and in step S2, the coding mode of the coded small block is And the motion compensation mode is set to G in step S4.
If it is determined to be MC, a motion vector of a parallel motion model is calculated for each pixel of the coded small block from the global motion vector GMV in step S5.

【0127】そして、ステップS6において、ステップ
S5で算出された符号化済み小ブロックの各画素毎の動
きベクトルの平均値を求め、求まった平均値を代表動き
ベクトルとする。ここで、代表動きベクトルは、第1の
実施形態における動きベクトル予測符号化方法と同様、
符号化した小ブロックの各画素毎の動きベクトルの平均
値のみならず、最大値,最小値,中間値,最頻値,中央
値といった統計量を用いてもよい。
Then, in step S6, the average value of the motion vector for each pixel of the coded small block calculated in step S5 is obtained, and the obtained average value is used as a representative motion vector. Here, the representative motion vector is the same as the motion vector predictive encoding method in the first embodiment.
Not only the average value of the motion vector for each pixel of the encoded small block but also a statistic such as a maximum value, a minimum value, an intermediate value, a mode value, and a median value may be used.

【0128】次にステップS20へ進み、ステップS6
で求められた代表動きベクトルの値が、予め定められた
範囲内にあるかどうか判定する。そして、超えていた場
合は、ステップS21へ進み、上述した代表動きベクト
ルを、予め定められた範囲内にクリップする。
Then, the process proceeds to a step S20, wherein a step S6 is performed.
It is determined whether or not the value of the representative motion vector obtained in is within a predetermined range. If it has exceeded, the process proceeds to step S21, and the above-described representative motion vector is clipped within a predetermined range.

【0129】ここで、動きベクトルの表現可能な範囲
(例えば、[表1]に示したMPEG−4においてfc
odeによって規定される範囲)がMVmin以上MVmax
以下であった場合、代表動きベクトルがMVmin未満の
時は MVminに、また、MVmaxを超える時は MVmax
とする。例えば、動きベクトルの範囲がMPEG−4で
規定されたfcode=3(−64〜+63.5;[表
1]参照)で、グローバル動きパラメータから求められ
た予測ベクトルvpが(xPV,yPV)=(+102,+
75)であった場合、これらの値を強制的に(63.
5,63.5)とする。
Here, the expressible range of the motion vector (for example, fc in MPEG-4 shown in [Table 1])
mode) is MV min or more and MV max
If it is less than or equal to MV min , if the representative motion vector is less than MV min , and if it exceeds MV max , MV max
And For example, when the range of the motion vector is fcode = 3 (-64 to +63.5; see [Table 1]) defined by MPEG-4, the prediction vector vp obtained from the global motion parameters is (x PV , y PV ) = (+ 102, +
75), these values are forcibly applied (63.
5,63.5).

【0130】一方、ステップS20において、代表動き
ベクトルの値が予め定められた範囲内にあると判定され
た場合は、ステップS6で算出された代表動きベクトル
が、そのまま予測ベクトルvpとされる。
On the other hand, if it is determined in step S20 that the value of the representative motion vector is within the predetermined range, the representative motion vector calculated in step S6 is used as it is as the prediction vector vp.

【0131】そして、ステップS7へ進み、符号化対象
小ブロックの動きベクトルと、予測ベクトルの差分(予
測誤差)を計算する。ここで、MPEG−4では図14
で示したように、符号化対象ブロックの左、真上、右斜
め上の3つのブロックを参照する。このため、これら各
ブロックについて、ステップS2〜S6,S20,S2
1,S7の処理を個々に行った後、3つの候補ベクトル
の中央値を予測誤差とする。
Then, the process proceeds to a step S7, wherein a difference (prediction error) between the motion vector of the small block to be encoded and the prediction vector is calculated. Here, in MPEG-4, FIG.
As shown by, three blocks on the left, right above, and diagonally right above the current block are referred to. Therefore, for each of these blocks, steps S2 to S6, S20, S2
After individually performing the processes of S1 and S7, the median of the three candidate vectors is set as the prediction error.

【0132】次いで、ステップS8へ進み、ステップS
7で求められた予測誤差を符号化して、第2の実施形態
における符号化処理を終了する。
Next, the process proceeds to step S8, where
The prediction error obtained in step 7 is encoded, and the encoding process in the second embodiment ends.

【0133】(1−2)動きベクトル復号方法:次に、
図6に示すフローチャートを参照して、第2の実施形態
における動きベクトル復号方法について具体的に説明す
る。図6は、第2の実施形態における動きベクトル復号
方法を示すフローチャートである。この図において、図
2に示す動きベクトル復号方法と同様の処理を行うステ
ップについては、同一の符号を付し、その詳しい説明を
省略する。
(1-2) Motion vector decoding method:
The motion vector decoding method according to the second embodiment will be specifically described with reference to the flowchart shown in FIG. FIG. 6 is a flowchart illustrating a motion vector decoding method according to the second embodiment. In this figure, steps for performing the same processing as the motion vector decoding method shown in FIG. 2 are denoted by the same reference numerals, and detailed description thereof will be omitted.

【0134】図6に示す動きベクトル復号方法が、図2
と異なる点は、ステップ27で代表動きベクトルを算出
した後、この算出した代表動きベクトル値が予め規定さ
れた範囲内にあるか否かを調べ、当該範囲を超えた場合
は、代表動きベクトル値をクリッピングする点である。
The motion vector decoding method shown in FIG.
The difference is that after calculating the representative motion vector in step 27, it is checked whether or not the calculated representative motion vector value is within a predetermined range. The point is to clip

【0135】すなわち、第1の実施形態で説明したよう
に、ステップS11で復号対象ブロックの動き補償モー
ドがローカル動き補償と判定されると、ステップS12
で予測誤差が復号される。そして、ステップS13で復
号済み小ブロックの符号化モードがフレーム間符号化と
判定され、ステップS15で動き補償モードがGMCで
あったと判定された場合、ステップS16においてグロ
ーバル動きベクトルGMVから、復号済み小ブロックの
画素毎に、平行移動動きモデルの動きベクトルが算出さ
れる。
That is, as described in the first embodiment, when it is determined in step S11 that the motion compensation mode of the current block is local motion compensation, step S12 is performed.
Decodes the prediction error. Then, in step S13, it is determined that the coding mode of the decoded small block is the inter-frame coding, and in step S15, it is determined that the motion compensation mode is GMC, the decoded small block is decoded from the global motion vector GMV in step S16. A motion vector of the parallel motion model is calculated for each pixel of the block.

【0136】そして、ステップS17において、ステッ
プS16で算出された復号済み小ブロックの各画素毎の
動きベクトルの平均値を求め、求まった平均値を代表動
きベクトルとする。ここで、代表動きベクトルは、第1
の実施形態における復号方法と同様、復号済み小ブロッ
クの各画素毎の動きベクトルの平均値のみならず、最大
値,最小値,中間値,最頻値,中央値といった統計量を
用いてもよい。
In step S17, the average value of the motion vector for each pixel of the decoded small block calculated in step S16 is obtained, and the obtained average value is set as a representative motion vector. Here, the representative motion vector is the first motion vector.
Similarly to the decoding method of the embodiment, not only the average value of the motion vector for each pixel of the decoded small block but also a statistic such as a maximum value, a minimum value, an intermediate value, a mode value, and a median value may be used. .

【0137】次にステップS22へ進み、ステップS1
7で求められた代表動きベクトルが、予め定められた範
囲内にあるかどうか判定する。そして、超えていた場合
は、ステップS23へ進み、上述した代表動きベクトル
を、予め定められた範囲内にクリップする。
Then, the process proceeds to a step S22, wherein a step S1 is executed.
It is determined whether or not the representative motion vector obtained in step 7 is within a predetermined range. If it has exceeded, the process proceeds to step S23, and the above-described representative motion vector is clipped within a predetermined range.

【0138】ここで、動きベクトルの表現可能な範囲
(例えば、[表1]に示したMPEG−4においてfc
odeによって規定される範囲)がMVmin以上MVmax
以下であった場合、代表動きベクトルがMVmin未満の
時は MVminに、また、MVmaxを超える時は MVmax
とする。例えば、動きベクトルの範囲がMPEG−4で
規定されたfcode=3(−64〜+63.5;[表
1]参照)で、グローバル動きパラメータから求められ
た予測ベクトルvpが(xPV,yPV)=(+102,+
75)であった場合、これらの値を強制的に(63.
5,63.5)とする。
Here, the expressible range of the motion vector (for example, fc in MPEG-4 shown in [Table 1])
mode) is MV min or more and MV max
If it is less than or equal to MV min , if the representative motion vector is less than MV min , and if it exceeds MV max , MV max
And For example, when the range of the motion vector is fcode = 3 (-64 to +63.5; see [Table 1]) defined by MPEG-4, the prediction vector vp obtained from the global motion parameters is (x PV , y PV ) = (+ 102, +
75), these values are forcibly applied (63.
5,63.5).

【0139】一方、ステップS22において、代表動き
ベクトルの値が予め定められた範囲内にあると判定され
た場合は、ステップS17で算出された代表動きベクト
ルが、そのまま予測ベクトルvpとされる。
On the other hand, when it is determined in step S22 that the value of the representative motion vector is within the predetermined range, the representative motion vector calculated in step S17 is used as it is as the prediction vector vp.

【0140】次にステップS18へ進み、ステップS1
2で求められた復号対象小ブロックの予測誤差と、予測
ベクトルとを加算する。ここで、MPEG−4では、図
14に示すように符号化対象ブロックの左、真上、右斜
め上の3つのブロックを参照する。よって、これら各ブ
ロックにおいて、ステップS12〜S17,S22,S
23,S18の処理を個々に行った後、3つの候補ベク
トルの中央値を予測ベクトルとする。そして、第2の実
施形態における復号処理を終了する。
Then, the process proceeds to a step S18, and the step S1
The prediction error of the small block to be decoded obtained in step 2 and the prediction vector are added. Here, in MPEG-4, as shown in FIG. 14, three blocks on the left, right above, and diagonally right above the current block are referred to. Therefore, in each of these blocks, steps S12 to S17, S22, S
23, after performing the processes of S18 individually, the median value of the three candidate vectors is set as the prediction vector. Then, the decoding process in the second embodiment ends.

【0141】なお、上述した動きベクトル予測符号化方
法および復号方法において、図5のステップS21およ
び図6のステップS23で行われるクリップ処理は、予
め定められた範囲の最大値または最小値でクリップせ
ず、0でクリップしてもよい。
In the above-described motion vector predictive encoding method and decoding method, the clipping process performed in step S21 of FIG. 5 and step S23 of FIG. 6 is performed by clipping at a maximum value or a minimum value in a predetermined range. Instead, it may be clipped at 0.

【0142】すなわち、動きベクトルの表現可能な範囲
が、例えばMVmin以上、MVmax以下であった時、代表
動きベクトルがMVmin未満の場合は0に、また、MV
maxを超える場合にも0とする。例えば、動きベクトル
の表現可能な範囲が、MPEG−4で規定されたfco
de=3(−64〜+63.5;[表1]参照)で、グ
ローバル動きパラメータから求められた予測ベクトルv
pが(xPV,yPV)=(+102,+75)の場合、こ
れらを強制的に(0,0)とする。
That is, when the range in which a motion vector can be expressed is, for example, not less than MV min and not more than MV max , if the representative motion vector is less than MV min , it is set to 0.
It is set to 0 even when it exceeds max . For example, the range in which a motion vector can be expressed is fco defined by MPEG-4.
When de = 3 (−64 to +63.5; see [Table 1]), the prediction vector v obtained from the global motion parameter
When p is (x PV , y PV ) = (+ 102, +75), these are forcibly set to (0, 0).

【0143】(2)動きベクトル予測符号化装置および
復号装置:
(2) Motion vector predictive coding apparatus and decoding apparatus:

【0144】(2−1)動きベクトル予測符号化装置:
次に、第2の実施形態における動きベクトル予測符号化
方法(図5参照)に従って動きベクトルの予測符号化を
行う動きベクトル予測符号化装置について、図7を参照
して説明する。なお、図7において、図3に示す動きベ
クトル予測符号化装置と同じ構成については、同一の符
号を付し、その詳しい説明を省略する。
(2-1) Motion vector predictive coding apparatus:
Next, a motion vector predictive coding apparatus that performs predictive coding of a motion vector according to the motion vector predictive coding method according to the second embodiment (see FIG. 5) will be described with reference to FIG. In FIG. 7, the same components as those of the motion vector predictive coding apparatus shown in FIG. 3 are denoted by the same reference numerals, and detailed description thereof will be omitted.

【0145】図7に示す動きベクトル予測符号化装置が
図3と異なる点は、代表動きベクトル算出部2と選択部
3の一方の入力端との間に、代表動きベクトルクリッピ
ング部20が設けられている点である。この代表動きベ
クトルクリッピング部20は、代表動きベクトル算出部
2から出力された代表動きベクトルの値が、予め規定さ
れた範囲内にあるか否かを調べ、その範囲を超えた場合
は、代表動きベクトルの値をその範囲の最大値または最
小値にクリッピングする。
The difference between the motion vector predictive coding apparatus shown in FIG. 7 and FIG. 3 is that a representative motion vector clipping section 20 is provided between the representative motion vector calculating section 2 and one input end of the selecting section 3. That is the point. The representative motion vector clipping unit 20 checks whether or not the value of the representative motion vector output from the representative motion vector calculation unit 2 is within a predetermined range. Clips the value of a vector to the maximum or minimum value in the range.

【0146】上述した構成の動きベクトル予測符号化装
置によれば、代表動きベクトル算出部2から代表動きベ
クトルが算出された場合、すなわち、代表動きベクトル
算出部2において、図1および図5,ステップS5,S
6に相当する処理が行われた場合、代表動きベクトルク
リッピング部20において、代表動きベクトル算出部2
で算出された代表動きベクトル値が、予め定められた範
囲内にあるかどうか判定される(図5,ステップS20
の処理に相当)。
According to the motion vector predictive coding apparatus having the above-described configuration, when the representative motion vector is calculated by the representative motion vector calculating section 2, that is, in the representative motion vector calculating section 2, FIG. S5, S
6 is performed, the representative motion vector clipping unit 20 causes the representative motion vector calculation unit 2
It is determined whether or not the representative motion vector value calculated in is within a predetermined range (FIG. 5, step S20).
).

【0147】そして、代表動きベクトル値が予め定めら
れた範囲を超えていた場合は、代表動きベクトルの値
を、予め定められた範囲内にクリップし(図5,ステッ
プS21の処理に相当)、選択部3へ出力する。また、
代表動きベクトル値が予め定められた範囲内にある場合
は、代表動きベクトル算出部2で算出された代表動きベ
クトルを、そのまま選択部3へ出力する。
If the value of the representative motion vector is outside the predetermined range, the value of the representative motion vector is clipped within the predetermined range (FIG. 5, corresponding to the processing in step S21). Output to the selection unit 3. Also,
If the representative motion vector value is within a predetermined range, the representative motion vector calculated by the representative motion vector calculation unit 2 is output to the selection unit 3 as it is.

【0148】すなわち、動きベクトルの表現可能な範囲
(例えば、[表1]に示したMPEG−4においてfc
odeによって規定される範囲)がMVmin以上MVmax
以下であった場合、代表動きベクトルがMVmin未満の
時はMVminに、また、MVma xを超える時はMVmax
する。例えば、動きベクトルの範囲がMPEG−4で規
定されたfcode=3(−64〜+63.5;[表
1]参照)で、グローバル動きパラメータから求められ
た予測ベクトルvpが(xPV,yPV)=(+102,+
75)であった場合、これらの値を強制的に(63.
5,63.5)とする。
That is, a range in which a motion vector can be expressed (for example, fc in MPEG-4 shown in [Table 1])
mode) is MV min or more and MV max
If the it was the following representative motion vector in the MV min when less than MV min, also when more than MV ma x is the MV max. For example, when the range of the motion vector is fcode = 3 (-64 to +63.5; see [Table 1]) defined by MPEG-4, the prediction vector vp obtained from the global motion parameters is (x PV , y PV ) = (+ 102, +
75), these values are forcibly applied (63.
5,63.5).

【0149】なお、代表動きベクトルクリッピング部2
0で行うクリップ処理は、予め定められた範囲の最大値
または最小値でクリップせず、0でクリップしてもよ
い。すなわち、動きベクトルの表現可能な範囲が、例え
ばMVmin以上、MVmax以下であった時、代表動きベク
トルがMVmin未満の場合は0に、また、MVmaxを超え
る場合にも0とする。例えば、動きベクトルの表現可能
な範囲が、MPEG−4で規定されたfcode=3
(−64〜+63.5;[表1]参照)で、グローバル
動きパラメータから求められた予測ベクトルvpが(x
PV,yPV)=(+102,+75)の場合、これらを強
制的に(0,0)とする。
It should be noted that the representative motion vector clipping unit 2
In the clipping process performed at 0, clipping may be performed at 0 instead of clipping at a maximum or minimum value in a predetermined range. That is, when the range in which the motion vector can be expressed is, for example, MV min or more and MV max or less, the value is set to 0 when the representative motion vector is less than MV min , and is set to 0 when the representative motion vector exceeds MV max . For example, the range in which a motion vector can be represented is fcode = 3 defined by MPEG-4.
(−64 to +63.5; see [Table 1]), the prediction vector vp obtained from the global motion parameters is (x
PV, y PV) = (+ 102, if the + 75), forcing the (0,0) them.

【0150】これにより、図5のフローチャートに示し
た動きベクトル予測符号化方法に従って符号化を行う動
きベクトル予測符号化装置を実現することができる。
As a result, it is possible to realize a motion vector predictive coding apparatus which performs coding according to the motion vector predictive coding method shown in the flowchart of FIG.

【0151】(2−2)動きベクトル復号装置:次に、
第2の実施形態における動きベクトル復号方法(図6参
照)に従って動きベクトルの復号を行う動きベクトル復
号装置について、図8を参照して説明する。なお、図8
において、図4に示す動きベクトル復号装置と同じ構成
については、同一の符号を付し、その詳しい説明を省略
する。
(2-2) Motion vector decoding device:
A motion vector decoding device that decodes a motion vector according to the motion vector decoding method according to the second embodiment (see FIG. 6) will be described with reference to FIG. FIG.
, The same components as those of the motion vector decoding device shown in FIG. 4 are denoted by the same reference numerals, and detailed description thereof will be omitted.

【0152】図8に示す動きベクトル復号装置が図4と
異なる点は、代表動きベクトル算出部12と選択部13
の一方の入力端との間に、代表動きベクトルクリッピン
グ部21が設けられている点である。この代表動きベク
トルクリッピング部21は、代表動きベクトル算出部1
2から出力された代表動きベクトルの値が、予め規定さ
れた範囲内にあるか否かを調べ、その範囲を超えた場合
は、代表動きベクトルの値をその範囲の最大値または最
小値にクリッピングする。
The difference between the motion vector decoding apparatus shown in FIG. 8 and FIG.
The representative motion vector clipping unit 21 is provided between the input terminal and the one input terminal. This representative motion vector clipping unit 21
2 is checked to see if the value of the representative motion vector is within a predetermined range. If the value exceeds the range, the value of the representative motion vector is clipped to the maximum value or the minimum value of the range. I do.

【0153】上述した構成の動きベクトル復号装置によ
れば、代表動きベクトル算出部12から代表動きベクト
ルが算出された場合、すなわち、代表動きベクトル算出
部12において、図2および図6,ステップS16,S
17に相当する処理が行われた場合、代表動きベクトル
クリッピング部21において、代表動きベクトル算出部
12で算出された代表動きベクトル値が、予め定められ
た範囲内にあるかどうか判定される(図6,ステップS
22の処理に相当)。
According to the motion vector decoding apparatus having the above-described configuration, when the representative motion vector is calculated by the representative motion vector calculating unit 12, that is, in the representative motion vector calculating unit 12, the process shown in FIGS. S
17 is performed, the representative motion vector clipping unit 21 determines whether or not the representative motion vector value calculated by the representative motion vector calculation unit 12 is within a predetermined range (FIG. 6, Step S
22).

【0154】そして、代表動きベクトル値が予め定めら
れた範囲を超えていた場合は、代表動きベクトルの値
を、予め定められた範囲内にクリップし(図6,ステッ
プS22の処理に相当)、選択部13へ出力する。ま
た、代表動きベクトル値が予め定められた範囲内にある
場合は、代表動きベクトル算出部12で算出された代表
動きベクトルを、そのまま選択部13へ出力する。
If the value of the representative motion vector exceeds the predetermined range, the value of the representative motion vector is clipped within the predetermined range (corresponding to the processing in step S22 in FIG. 6). Output to the selection unit 13. If the representative motion vector value is within a predetermined range, the representative motion vector calculated by the representative motion vector calculation unit 12 is output to the selection unit 13 as it is.

【0155】すなわち、動きベクトルの表現可能な範囲
(例えば、[表1]に示したMPEG−4においてfc
odeによって規定される範囲)がMVmin以上MVmax
以下であった場合、代表動きベクトルがMVmin未満の
時はMVminに、また、MVma xを超える時はMVmax
する。例えば、動きベクトルの範囲がMPEG−4で規
定されたfcode=3(−64〜+63.5;[表
1]参照)で、グローバル動きパラメータから求められ
た予測ベクトルvpが(xPV,yPV)=(+102,+
75)であった場合、これらの値を強制的に(63.
5,63.5)とする。
That is, the expressible range of the motion vector (for example, fc in MPEG-4 shown in [Table 1])
mode) is MV min or more and MV max
If the it was the following representative motion vector in the MV min when less than MV min, also when more than MV ma x is the MV max. For example, when the range of the motion vector is fcode = 3 (-64 to +63.5; see [Table 1]) defined by MPEG-4, the prediction vector vp obtained from the global motion parameters is (x PV , y PV ) = (+ 102, +
75), these values are forcibly applied (63.
5,63.5).

【0156】また、代表動きベクトルクリッピング部2
1で行うクリップ処理は、予め定められた範囲の最大値
または最小値でクリップせず、0でクリップしてもよ
い。すなわち、動きベクトルの表現可能な範囲が、例え
ばMVmin以上、MVmax以下であった時、代表動きベク
トルがMVmin未満の場合は0に、また、MVmaxを超え
る場合にも0とする。例えば、動きベクトルの表現可能
な範囲が、MPEG−4で規定されたfcode=3
(−64〜+63.5;[表1]参照)で、グローバル
動きパラメータから求められた予測ベクトルvpが(x
PV,yPV)=(+102,+75)の場合、これらを強
制的に(0,0)とする。
The representative motion vector clipping unit 2
The clipping process performed at 1 may be clipped at 0 instead of clipping at the maximum or minimum value in a predetermined range. That is, when the range in which the motion vector can be expressed is, for example, MV min or more and MV max or less, the value is set to 0 when the representative motion vector is less than MV min , and is set to 0 when the representative motion vector exceeds MV max . For example, the range in which a motion vector can be represented is fcode = 3 defined by MPEG-4.
(−64 to +63.5; see [Table 1]), the prediction vector vp obtained from the global motion parameters is (x
PV, y PV) = (+ 102, if the + 75), forcing the (0,0) them.

【0157】これにより、図6のフローチャートに示し
た動きベクトル復号方法に従って復号を行う復号装置を
実現することができる。
Thus, it is possible to realize a decoding device that performs decoding according to the motion vector decoding method shown in the flowchart of FIG.

【0158】なお、第1の実施形態および第2実施形態
において、図1または図5のフローチャートに示した動
きベクトル予測符号化手順、もしくは、図3のブロック
図に示した動きベクトルメモリ1,代表動きベクトル算
出部2,選択部3,減算器4,動きベクトル符号化部5
・6、さらに、図7のブロック図に示した代表動きベク
トルクリッピング部20の動作を実現するためのプログ
ラムを、CD−ROM、フロッピーディスク等のコンピ
ュータ読み取り可能な記録媒体に記録し、この記録媒体
に記録されたプログラムを上記コンピュータに読み込ま
せ、実行することにより動きベクトルの予測符号化を行
ってもよい。
In the first and second embodiments, the motion vector predictive coding procedure shown in the flowchart of FIG. 1 or FIG. 5, or the motion vector memory 1 shown in the block diagram of FIG. Motion vector calculator 2, selector 3, subtractor 4, motion vector encoder 5
6. Further, a program for realizing the operation of the representative motion vector clipping unit 20 shown in the block diagram of FIG. 7 is recorded on a computer-readable recording medium such as a CD-ROM or a floppy disk, and May be read by the computer and executed to perform predictive coding of the motion vector.

【0159】また同様に、図2または図6のフローチャ
ートに示した動きベクトル復号手順、もしくは、図4の
ブロック図に示した動きベクトル復号部10・11,代
表動きベクトル算出部12,選択部13,動きベクトル
メモリ14,加算器15、さらに、図8のブロック図に
示した代表動きベクトルクリッピング部21の動作を実
現するためのプログラムをコンピュータ読み取り可能な
記録媒体に記録し、この記録媒体に記録されたプログラ
ムを上記コンピュータに読み込ませ、実行することによ
り動きベクトルの復号を行ってもよい。
Similarly, the motion vector decoding procedure shown in the flowchart of FIG. 2 or FIG. 6, or the motion vector decoding sections 10 and 11, the representative motion vector calculation section 12, and the selection section 13 shown in the block diagram of FIG. , A motion vector memory 14, an adder 15, and a program for realizing the operation of the representative motion vector clipping unit 21 shown in the block diagram of FIG. 8 are recorded on a computer-readable recording medium, and are recorded on this recording medium. The computer may load and execute the program so as to decode the motion vector.

【0160】なお、本発明は、上記の実施形態に限定さ
れることなく、請求の範囲内で種々変更・応用が可能で
ある。
The present invention is not limited to the above embodiments, but can be variously modified and applied within the scope of the claims.

【0161】[0161]

【発明の効果】以上説明したように、本発明の動きベク
トル予測符号化方法および復号方法、予測符号化装置お
よび復号装置、並びに、動きベクトルの予測符号化プロ
グラムおよび復号プログラムによれば、動きモデルが異
なる動きベクトル間での動きベクトルの予測が可能とな
り、また、グローバル動き補償とローカル動き補償間の
動きベクトルについても動きベクトルの予側が可能とな
るので、動きべクトルの発生符号量を低減できる。ま
た、動きベクトル予測の効率を向上させる効果が得られ
る。
As described above, according to the motion vector prediction encoding method and decoding method, the prediction encoding device and the decoding device, and the motion vector prediction encoding program and the decoding program of the present invention, a motion model Can be predicted between motion vectors different from each other, and the prediction of a motion vector can be performed for a motion vector between global motion compensation and local motion compensation, so that the amount of generated codes of a motion vector can be reduced. . Further, an effect of improving the efficiency of motion vector prediction can be obtained.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の第1の実施形態における動きベクト
ル予測符号化方法を示すフローチャートである。
FIG. 1 is a flowchart illustrating a motion vector predictive encoding method according to a first embodiment of the present invention.

【図2】 本発明の第1の実施形態における動きベクト
ル復号方法を示すフローチャートである。
FIG. 2 is a flowchart illustrating a motion vector decoding method according to the first embodiment of the present invention.

【図3】 本発明の第1の実施形態における動きベクト
ル予測符号化装置の構成を示すブロック図である。
FIG. 3 is a block diagram illustrating a configuration of a motion vector predictive encoding device according to the first embodiment of the present invention.

【図4】 本発明の第1の実施形態における動きベクト
ル復号装置の構成を示すブロック図である。
FIG. 4 is a block diagram illustrating a configuration of a motion vector decoding device according to the first embodiment of the present invention.

【図5】 本発明の第2の実施形態における動きベクト
ル予測符号化方法を示すフローチャートである。
FIG. 5 is a flowchart illustrating a motion vector predictive encoding method according to the second embodiment of the present invention.

【図6】 本発明の第2の実施形態における動きベクト
ル復号方法を示すフローチャートである。
FIG. 6 is a flowchart illustrating a motion vector decoding method according to the second embodiment of the present invention.

【図7】 本発明の第2の実施形態における動きベクト
ル予測符号化装置の構成を示すブロック図である。
FIG. 7 is a block diagram illustrating a configuration of a motion vector predictive encoding device according to a second embodiment of the present invention.

【図8】 本発明の第2の実施形態における動きベクト
ル復号装置の構成を示すブロック図である。
FIG. 8 is a block diagram illustrating a configuration of a motion vector decoding device according to a second embodiment of the present invention.

【図9】 動きモデルの一例を示す図であり、(a)は
平行移動動きモデルを、(b)は平行移動+拡大/縮小
動きモデルを示す図である。
9A and 9B are diagrams illustrating an example of a motion model, in which FIG. 9A illustrates a parallel motion model, and FIG. 9B illustrates a parallel motion + enlargement / reduction motion model.

【図10】 動きモデルの動きベクトルを示す図であ
る。
FIG. 10 is a diagram showing a motion vector of a motion model.

【図11】 動画像符号化方法の符号化器の構成の一例
(MPEG−4符号化器)を示す図である。
FIG. 11 is a diagram illustrating an example (MPEG-4 encoder) of an encoder of a moving image encoding method.

【図12】 図11の符号化器に対応する復号器(MP
EG−4復号器)の構成を示す図である。
FIG. 12 shows a decoder (MP) corresponding to the encoder of FIG.
It is a figure showing the composition of EG-4 decoder).

【図13】 MPEG−4の動きベクトル予測における
参照ブロックの配置を示す図である。
FIG. 13 is a diagram showing an arrangement of reference blocks in MPEG-4 motion vector prediction.

【符号の説明】[Explanation of symbols]

1,14 動きベクトルメモリ 2,12 代表動きベクトル算出部 3,13 選択部 4 減算器 5,6 動きベクトル符号化部 10,11 動きベクトル復号部 15 加算器 20,21 代表動きベクトルクリッピング部 1,14 motion vector memory 2,12 representative motion vector calculation unit 3,13 selection unit 4 subtractor 5,6 motion vector encoding unit 10,11 motion vector decoding unit 15 adder 20,21 representative motion vector clipping unit

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 裕 東京都新宿区西新宿三丁目19番2号 日 本電信電話株式会社内 (72)発明者 嵯峨田 淳 東京都新宿区西新宿三丁目19番2号 日 本電信電話株式会社内 (72)発明者 高村 誠之 東京都新宿区西新宿三丁目19番2号 日 本電信電話株式会社内 (56)参考文献 特開 平10−136374(JP,A) (58)調査した分野(Int.Cl.6,DB名) H04N 7/24 - 7/68 ──────────────────────────────────────────────────続 き Continuing on the front page (72) Inventor Hiroshi Watanabe 3-19-2 Nishishinjuku, Shinjuku-ku, Tokyo Nippon Telegraph and Telephone Corporation (72) Inventor Jun Sagata 3-19, Nishishinjuku, Shinjuku-ku, Tokyo No. 2 Nippon Telegraph and Telephone Corporation (72) Inventor Masayuki Takamura 3-19-2 Nishi-Shinjuku, Shinjuku-ku, Tokyo Nippon Telegraph and Telephone Corporation (56) References JP-A-10-136374 (JP, A) (58) Field surveyed (Int. Cl. 6 , DB name) H04N 7/ 24-7/68

Claims (40)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 符号化対象フレームを小ブロックに分割
し、符号化対象小ブロック毎に大局的動き補償方法と局
所的動き補償方法を切り替え可能な動きべクトル予測符
号化方法において、 符号化対象小ブロックの動きベクトルを符号化済み小ブ
ロックの動きベクトルから予測する際、符号化対象小ブ
ロックの動き補償方法が局所的動き補償方法で、予測に
用いる符号化済みの小ブロックの動き補償方法が大局的
動き補償である場合、大局的な動きベクトルから符号化
済み小ブロックの局所的な動きベクトルを算出し、符号
化対象小ブロックの動きベクトルの予測ベクトルを求
め、動きベクトルの予測誤差を符号化することを特徴と
する動きベクトル予測符号化方法。
1. A motion vector predictive encoding method which divides an encoding target frame into small blocks and switches between a global motion compensation method and a local motion compensation method for each encoding target small block. When predicting the motion vector of a small block from the motion vector of a coded small block, the motion compensation method of the small block to be coded is a local motion compensation method.
The motion compensation method of the coded small block to be used is global.
For motion compensation, encode from global motion vector
Calculate the local motion vector of the small block
Of the motion vector of the small block
Because, the motion vector predictive encoding method characterized by coding the prediction error of the motion vector.
【請求項2】 前記求めた符号化対象小ブロックにおけ
る動きベクトルの予測ベクトルの大きさが予め規定され
た範囲内にない場合、該求めた予測ベクトルの大きさ
を、前記規定範囲内にクリップする ことを特徴とする請
求項1記載の動きベクトル予測符号化方法。
2. The method according to claim 1, wherein said small block to be encoded is
The size of the prediction vector of the motion vector
If not, the magnitude of the obtained prediction vector
Is clipped within the specified range.
The motion vector predictive encoding method according to claim 1.
【請求項3】 前記求めた符号化対象小ブロックにおけ
る動きベクトルの予測ベクトルの大きさが予め規定され
た範囲内にない場合、該求めた予測ベクトルの大きさを
0とすることを特徴とする請求項記載の動きベクトル
予測符号化方法。
[Claim 3] put before Symbol obtained coded small block
The size of the prediction vector of the motion vector
If not, the magnitude of the obtained prediction vector is
2. The motion vector predictive encoding method according to claim 1 , wherein 0 is set.
【請求項4】 請求項1に記載の動きベクトル予測符号
化方法を用いて符号化された動きベクトルを復号する動
きベクトル復号方法において、 復号対象小ブロックの動き補償方法が局所的動き補償方
法で、予測に用いる復号済み小ブロックの動き補償方法
が大局的動き補償である場合、大局的な動きベクトルか
ら復号済み小ブロックの局所的な動きベクトルを算出
し、復号対象小ブロックの動きべクトルの予測ベクトル
を求め、予測ベクトルに予測誤差を加算して動きベクト
ルを復号する ことを特徴とする動きベクトル復号方法。
4. The motion vector prediction code according to claim 1,
Of decoding a motion vector encoded using the encoding method
In the vector decoding method, the motion compensation method for the decoding target small block is a local motion compensation method.
Compensation method for decoded small blocks used for prediction
If is global motion compensation, the global motion vector
Calculate local motion vector of decoded small block from
And the prediction vector of the motion vector of the decoding target small block
Is calculated by adding the prediction error to the prediction vector.
The motion vector decoding method comprising decoding the Le.
【請求項5】 前記求められた予測ベクトルの大きさが
予め規定された範囲内にない場合、該予測ベクトルの大
きさを、前記規定範囲内にクリップすることを特徴とす
請求項4記載の動きベクトル復号方法
5. The size of the obtained prediction vector is
If the value is not within the predetermined range, the size of the prediction vector is large.
The method according to claim 4 , wherein the magnitude is clipped within the specified range .
【請求項6】 前記求められた予測ベクトルの大きさが
予め規定された範囲内にない場合、該予測ベクトルの大
きさを0とすることを特徴とする請求項4記載の動きベ
クトル復号方法。
6. The motion vector decoding method according to claim 4, wherein when the size of the obtained prediction vector is not within a predetermined range, the size of the prediction vector is set to 0.
【請求項7】 小ブロックの任意の動きモデルの動きベ
クトルを、動きベクトルのパラメータ数がより少ない動
きモデルの動きベクトルに変換する際、小ブロック内の
画素毎に求まる該動きモデルの動きベクトルから、小ブ
ロックの代表動きベクトルを算出する ことを特徴とする
請求項1から3のいずれか1項記載の記載の動きベクト
ル予測符号化方法
7. A motion vector of an arbitrary motion model of a small block.
A vector with a smaller number of motion vector parameters.
When converting to the motion vector of the model
From the motion vector of the motion model obtained for each pixel,
And calculating a representative motion vector of the lock
The motion vector according to any one of claims 1 to 3.
Prediction encoding method .
【請求項8】 小ブロックの任意の動きモデルの動きベ
クトルを、動きベクトルのパラメータ数がより少ない動
きモデルの動きベクトルに変換する際、小ブロック内の
画素毎に求まる該動きモデルの動きベクトルから、小ブ
ロックの代表動きベクトルを算出することを特徴とする
請求項4から6のいずれか1項記載の動きベクトル復号
方法。
8. The motion vector of an arbitrary motion model of a small block.
A vector with a smaller number of motion vector parameters.
When converting to the motion vector of the model
From the motion vector of the motion model obtained for each pixel,
Calculating a representative motion vector of a lock
The motion vector decoding method according to claim 4 .
【請求項9】 小ブロックの任意の動きモデルの動きベ
クトルを平行移動動きモデルの動きベクトルに変換する
際、小ブロック内の画素毎に求まる平行移動動きモデル
の動きベクトルから、該小ブロックの代表動きベクトル
を算出することを特徴とする請求項1から3のいずれか
1項記載の動きベクトル予測符号化方法
9. The motion vector of an arbitrary motion model of a small block.
Convert a vector to a motion vector of a parallel motion model
At the same time, a translational motion model obtained for each pixel in a small block
From the motion vector of the small block,
4. The method according to claim 1, wherein
The motion vector predictive encoding method according to claim 1 .
【請求項10】 小ブロックの任意の動きモデルの動き
ベクトルを平行移動動きモデルの動きベクトルに変換す
る際、小ブロック内の画素毎に求まる平行移動動きモデ
ルの動きベクトルから、該小ブロックの代表動きベクト
ルを算出することを特徴とする請求項4から6のいずれ
か1項記載の動きベクトル復号方法。
10. The motion of an arbitrary motion model of a small block.
Convert vector to parallel motion model motion vector
When moving, the parallel motion model determined for each pixel in the small block
From the motion vector of the small block, the representative motion vector of the small block
7. The motion vector decoding method according to claim 4, wherein a motion vector is calculated .
【請求項11】 代表動きベクトルを算出する際、小ブ
ロック内の画素毎の平行移動動きモデルの動きベクトル
の各成分について、成分毎に算出される値である、平均
値、中間値、中央値、最頻値、最大値、最小値のいずれ
かを代表動き ベクトルの各成分の値とすることを特徴と
する請求項9記載の動きベクトル予測符号化方法。
11. When calculating a representative motion vector, a small
Motion vector of parallel motion model for each pixel in lock
For each component of, the value calculated for each component, the average
Value, median, median, mode, maximum, or minimum
10. The motion vector predictive encoding method according to claim 9 , wherein? Is set as a value of each component of the representative motion vector .
【請求項12】 代表動きベクトルを算出する際、小ブ
ロック内の画素毎の平行移動動きモデルの動きベクトル
の各成分について、成分毎に算出される値である、平均
値、中間値、中央値、最頻値、最大値、最小値のいずれ
かを代表動きベクトルの各成分の値とすることを特徴と
する請求項10記載の動きベクトル復号方法。
12. When calculating a representative motion vector, a small
Motion vector of parallel motion model for each pixel in lock
For each component of, the value calculated for each component, the average
Value, median, median, mode, maximum, or minimum
11. The method according to claim 10 , wherein? Is set as a value of each component of the representative motion vector .
【請求項13】 フレーム全体の大局的な動きや変形を
予測するグローバル動き補償と、ブロック毎の局所的な
動きを予測するローカル動き補償のいずれかを用いてフ
レーム間予測を行う動きベクトルの予測符号化方法であ
って、 符号化対象小ブロックの動き補償モードを判定する段階
と、 符号化対象小ブロックの動き補償モードがローカル動き
補償の場合、符号化済み小ブロックの符号化モードを判
定する段階と、 前記符号化済み小ブロックの符号化モードがフレーム内
符号化の場合、当該ブロックの動きベクトルを0とする
段階と、 前記符号化済み小ブロックの符号化モードがフレーム間
符号化の場合、該符号化済み小ブロックの動き補償モー
ドを判定する段階と、 前記符号化済み小ブロックの動き補償モードがグローバ
ル動き補償の場合、グローバル動きパラメータから、該
符号化済み小ブロックの画素毎の動きベクトルを計算す
る段階と、 前記画素毎の動きベクトルから予め決められた方法で前
記符号化済み小ブロックの代表動きベクトルを計算する
段階と、 前記代表動きベクトルが規定範囲内にあるかどうか判定
する段階と、 前記代表動きベクトルが規定範囲内にないとき、前記代
表ベクトルを前記規定範囲内にクリッピングするか、0
とする段階と、 前記符号化対象小ブロックの動きベクトルと予測ベクト
ルの差分である予測誤差を計算する段階と、 前記計算された予測誤差を符号化する段階と を有する
とを特徴とする動きベクトル予測符号化方法。
13. A global motion or deformation of the entire frame.
Predict global motion compensation and block-by-block local
Use any of the local motion compensation to predict motion
A motion vector predictive coding method for performing inter-frame prediction.
I, step of determining the motion compensation mode of the encoding target small block
And the motion compensation mode of the small block to be coded is
For compensation, determine the coding mode of the coded small block.
Setting the encoding mode of the encoded small block in a frame.
In the case of encoding, the motion vector of the block is set to 0
And the encoding mode of the encoded small block is between frames.
In the case of encoding, the motion compensation mode of the encoded small block is used.
A step of determining de, motion compensation mode of the encoded small blocks global
In the case of motion compensation, the global motion parameters
Calculate the motion vector for each pixel of the encoded small block
In a predetermined manner from the motion vector for each pixel.
Calculate the representative motion vector of a coded small block
And determining whether the representative motion vector is within a specified range.
And when the representative motion vector is not within a specified range,
Clip the table vector within the specified range, or
And a motion vector and a prediction vector of the encoding target small block.
Phase and the dynamic-out vector prediction encoding method you; and a step of encoding the calculated prediction error to calculate a prediction error that is a difference Le.
【請求項14】 請求項13に記載の動きベクトルの予
測符号化方法に対応する動きベクトルの復号方法であっ
て、 復号対象ブロックの動き補償モードを判定する段階と、 復号対象ブロックの動き補償モードがローカル動き補償
の場合、動きベクトルの予測誤差を復号する段階と、 復号済み小ブロックの符号化モードを判定する段階と、 前記復号済み小ブロックの符号化モードがフレーム内符
号化モードの場合、当該ブロックの動きベクトルを0と
する段階と、 前記復号済み小ブロックの符号化モードがフレーム間符
号化モードの場合、該復号済み小ブロックの動き補償モ
ードを判定する段階と、 前記復号済み小ブロックの動き補償モードがグローバル
動き補償の場合、グローバル動きパラメータから参照ブ
ロックの画素毎の動きベクトルを計算する段階と、 前記画素毎の動きベクトルから予め決められた方法でブ
ロックの代表動きベクトルを計算する段階と、 前記代表動きベクトルが規定範囲内にあるかどうか判定
する段階と、 前記代表動きベクトルが前記規定範囲にないとき、前記
代表動きベクトルを前記規定範囲内にクリッピングする
か、0にする段階と、 前記復号済み小ブロックの予測誤差と予測ベクトルを加
算する段階と を有する 動きベクトル復号方法。
14. A motion vector predictor according to claim 13, wherein
A motion vector decoding method corresponding to the measurement coding method.
Te, the step of determining the motion compensation mode of the current block, the motion compensation mode of the current block LMC
Decoding the prediction error of the motion vector, determining the coding mode of the decoded small block, and setting the coding mode of the decoded small block to the intra-frame code.
In the case of the encoding mode, the motion vector of the block is set to 0.
And the encoding mode of the decoded small block is an interframe code.
In the case of the encoding mode, the motion compensation mode of the decoded small block is used.
A step of determining over de, motion compensation mode of the decoded sub-block is a global
In the case of motion compensation, the reference
Calculating a motion vector for each pixel of the lock; and blocking the motion vector in a predetermined manner from the motion vector for each pixel.
Calculating a representative motion vector of the lock; and determining whether the representative motion vector is within a specified range.
And when the representative motion vector is not in the specified range,
Clip the representative motion vector within the specified range
Or adding a prediction error and a prediction vector of the decoded small block.
The motion vector decoding method with the steps of calculation.
【請求項15】 符号化対象フレームを小ブロックに分
割し、符号化対象小ブロック毎に大局的動き補償方法と
局所的動き補償方法を切り替え可能な動きべクトル予測
符号化装置において、 入力された符号化対象小ブロックの局所的な動きベクト
ルを記憶し、次に符号化対象小ブロックの局所的な動き
ベクトルが入力された時に、符号化済み小ブロックの局
所的動きベクトルとして出力する符号化済み小ブロック
記憶手段と、 入力された大局的な動きベクトルを、前記小ブロック毎
に、前記局所的な動きベクトルの形式に変換して、前記
符号化対象小ブロックにおける動きベクトルの予測ベク
トルを求め、次に符号化対象小ブロックの局所的な動き
ベクトルが入力 された時に、符号化対象小ブロックの予
測ベクトルとして出力する予測ベクトル算出手段と、 前記符号化対象小ブロックの動き補償方法が局所的動き
補償方法であり、予測に用いる符号化済み小ブロックの
動き補償方法が大局的動き補償方法である場合、前記予
測ベクトル算出手段により算出された予測ベクトルを選
択し、双方の動き補償方法が局所的動き補償方法であっ
た場合、前記符号化済み小ブロック記憶手段から出力さ
れる符号化済み小ブロックの局所的動きベクトルを予測
ベクトルとして選択する予測ベクトル選択手段と、 前記予測ベクトル選択手段により選択された予測ベクト
ルと、入力された符号化対象小ブロックの動きベクトル
とから、該符号化対象小ブロックにおける動きベクトル
の予測誤差を出力する予測誤差出力手段と、 前記予測誤差出力手段から出力された予測誤差、およ
び、前記入力された大局的な動きベクトルを符号化する
符号化手段と を有する ことを特徴とする動きべクトル予
測符号化装置
15. An encoding target frame is divided into small blocks.
Global motion compensation method for each small block to be encoded.
Motion vector prediction with switchable local motion compensation method
In the encoding device, the local motion vector of the input small block to be encoded
And then the local motion of the small block to be encoded
When a vector is input, the station of the coded small block
Encoded small block output as local motion vector
Storage means for storing the input global motion vector for each of the small blocks;
Then, by converting to the form of the local motion vector,
Prediction vector of motion vector in encoding target small block
And then the local motion of the small block to be coded
When a vector is input , a small block
Prediction vector calculation means for outputting as a measurement vector, and the motion compensation
This is a compensation method that uses the small encoded block used for prediction.
If the motion compensation method is a global motion compensation method,
The prediction vector calculated by the measurement vector calculation means is selected.
And both motion compensation methods are local motion compensation methods.
Output from the encoded small block storage means.
Predict local motion vectors of encoded small blocks
A prediction vector selecting means for selecting as a vector, the prediction said selected by the prediction vector selecting means vector
And the motion vector of the input small block to be encoded
From the motion vector in the encoding target small block
Prediction error output means for outputting a prediction error of, a prediction error output from the prediction error output means,
And encodes the input global motion vector
; And a coding unit dynamic xylem vector predictive encoding apparatus.
【請求項16】 前記予測ベクトル算出手段により算出
された予測ベクトルの大きさが、予め規定された範囲内
にない場合、該予測ベクトルの大きさを、該予め規定さ
れた範囲内にクリップするクリップ手段 を有することを
特徴とする請求項15記載の動きベクトル予測符号化装
16. A calculation by the prediction vector calculation means.
The size of the predicted vector is within a predetermined range.
If not, the magnitude of the prediction vector is
16. The motion vector predictive coding apparatus according to claim 15, further comprising clip means for clipping within a set range.
Place .
【請求項17】 前記予測ベクトル算出手段により算出
された予測ベクトルの大きさが、予め規定された範囲内
にない場合、該変換された符号化済み小ブロックの局所
的な動きベクトルの大きさを0にするクリップ手段を有
することを特徴とする請求項15記載の動きベクトル予
測符号化装置
17. Calculation by the prediction vector calculation means.
The size of the predicted vector is within a predetermined range.
, The locality of the transformed coded small block
16. The motion vector predictive coding apparatus according to claim 15 , further comprising clip means for setting a dynamic motion vector magnitude to zero .
【請求項18】 請求項15に記載の動きベクトル予測
符号化装置により符号化された動きベクトルを復号する
動きベクトル復号装置において、 符号化された復号対象小ブロックにおける動きベクトル
の予測誤差および大局的動きベクトルを復号する復号手
段と、 前記動きベクトル復号装置により復号された復号済み小
ブロックの局所的な動きベクトルを記憶し、次に前記予
測誤差が前記復号手段によって復号された時に出力する
復号済み小ブロック記憶手段と、 前記復号手段により大局的な動きベクトルが復号された
場合、該大局的な動きベクトルを、小ブロック毎に局所
的な動きベクトルに変換して前記復号対象小ブロックに
おける動きベクトルの予測ベクトルを算出し、次に前記
予測誤差が前記復号手段によって復号された時に出力す
る予測ベクトル算出手段と、 前記復号手段により復号された予測誤差の動き補償方法
が局所的動き補償方法であり、予測に用いる復号済み小
ブロックにおける動きベクトルの動き補償方法が大局的
動き補償である場合、前記予測ベクトル算出手段から出
力される予測ベクトルを選択し、双方の動き補償方法が
局所的動き補償方法であった場合、前記復号済み小ブロ
ック記憶手段から出力される復号済み小ブロックの局所
的動きベクトルを予測ベクトルとして選択する予測ベク
トル選択手段と、 前記予測ベクトル選択手段により選択された予測ベクト
ルに、前記復号手段により復号された予測誤差を加算し
て動きベクトルを復号する動きベクトル復号手段と を有
することを特徴とする動きベクトル復号装置
18. The motion vector prediction according to claim 15 ,
Decode the motion vector coded by the coding device
In the motion vector decoding device, the motion vector in the encoded small block to be decoded
Decoding method for decoding prediction error and global motion vector
And a decoded small decoded by the motion vector decoding device.
The local motion vector of the block is stored and then
Output when the measurement error is decoded by the decoding means.
A global motion vector is decoded by the decoded small block storage unit and the decoding unit.
In this case, the global motion vector is
Into a dynamic motion vector,
Calculate the predicted motion vector in
Output when the prediction error is decoded by the decoding means.
Prediction vector calculation means, and a motion compensation method for a prediction error decoded by the decoding means
Is the local motion compensation method, and the decoded small
Global motion compensation method for motion vectors in blocks
In the case of motion compensation, the prediction
The prediction vector to be applied, and both motion compensation methods
If the local motion compensation method, the decoded small block
Of the decoded small block output from the block storage means
Prediction vector that selects dynamic motion vectors as prediction vectors
And a prediction vector selected by the prediction vector selection means.
And the prediction error decoded by the decoding means.
Motion vector decoding apparatus characterized by having a motion vector decoding means for decoding motion vector Te.
【請求項19】 前記予測ベクトル算出手段により算出
された予測ベクトルの大きさが、予め規定された範囲内
にない場合、該予測ベクトルの大きさを、該予め規定さ
れた範囲内にクリップするクリップ手段を有することを
特徴とする請求項18記載の動きベクトル復号装置
19. A calculation by the prediction vector calculation means.
The size of the predicted vector is within a predetermined range.
If not, the magnitude of the prediction vector is
19. The motion vector decoding device according to claim 18, further comprising clip means for clipping within a set range .
【請求項20】 前記予測ベクトル算出手段により算出
された予測ベクトルの大きさが、予め規定された範囲内
にない場合、該変換された符号化済み小ブロックの局所
的な動きベクトルの大きさを0にするクリップ手段を有
することを特徴とする請求項18記載の動きベクトル復
号装置。
20. If the magnitude of the prediction vector calculated by the prediction vector calculation means is not within a predetermined range, the magnitude of the local motion vector of the converted coded small block is calculated. 19. The motion vector decoding device according to claim 18, further comprising a clip unit for setting to 0.
【請求項21】 前記予測ベクトル算出手段は、 小ブロックの任意の動きモデルの動きベクトルを、動き
ベクトルのパラメータ数がより少ない動きモデルの動き
ベクトルに変換する際、小ブロック内の画素毎に求まる
該動きモデルの動きベクトルから、小ブロックの代表動
きベクトルを算出するこ とを特徴とする請求項15から
17のいずれか1項記載の動きベクトル予測符号化装
置。
21. The prediction vector calculating means calculates a motion vector of an arbitrary motion model of a small block as a motion vector.
Motion of motion model with less number of vector parameters
Calculated for each pixel in a small block when converting to a vector
From the motion vector of the motion model, the representative motion of the small block
From claim 15, characterized that you calculate the vector can
18. The motion vector predictive encoding device according to any one of items 17 to 17 .
【請求項22】 前記予測ベクトル算出手段は、 小ブロックの任意の動きモデルの動きベクトルを、動き
ベクトルのパラメータ数がより少ない動きモデルの動き
ベクトルに変換する際、小ブロック内の画素毎に求まる
該動きモデルの動きベクトルから、小ブロックの代表動
きベクトルを算出するこ とを特徴とする請求項18から
20のいずれか1項記載の動きベクトル復号装置。
22. The prediction vector calculating means calculates a motion vector of an arbitrary motion model of a small block as a motion vector.
Motion of motion model with less number of vector parameters
Calculated for each pixel in a small block when converting to a vector
From the motion vector of the motion model, the representative motion of the small block
From claim 18, wherein that you calculate the vector can
21. The motion vector decoding device according to any one of 20 .
【請求項23】 前記予測ベクトル算出手段は、 小ブロックの任意の動きモデルの動きベクトルを平行移
動動きモデルの動きベクトルに変換する際、小ブロック
内の画素毎に求まる平行移動動きモデルの動きベクトル
から、該小ブロックの代表動きベクトルを算出するこ
を特徴とする請求項15から17のいずれか1項記載の
動きベクトル予測符号化装置
23. The predictive vector calculating means performs parallel shift of a motion vector of an arbitrary motion model of a small block.
When converting to the motion vector of the motion model, small blocks
Motion vector of the parallel motion model obtained for each pixel in
From any one of claims 15, characterized that you calculate a representative motion vector of the small block 17
Motion vector predictive coding device .
【請求項24】 前記予測ベクトル算出手段は、 小ブロックの任意の動きモデルの動きベクトルを平行移
動動きモデルの動きベクトルに変換する際、小ブロック
内の画素毎に求まる平行移動動きモデルの動きベクトル
から、該小ブロックの代表動きベクトルを算出するこ
を特徴とする請求項18から20のいずれか1項記載の
動きベクトル復号装置。
24. The predictive vector calculating means performs parallel shift of a motion vector of an arbitrary motion model of a small block.
When converting to the motion vector of the motion model, small blocks
Motion vector of the parallel motion model obtained for each pixel in
From the motion vector decoding apparatus according to any one of claims 18, characterized that you calculate a representative motion vector of the small block 20.
【請求項25】 前記予測ベクトル算出手段は、予測ベクトルを算出する際、小ブロック内の画素毎の平
行移動動きモデルの動きベクトルの各成分について、成
分毎に算出される値である、平均値、中間値、中央値、
最頻値、最大値、最小値のいずれかを該予測ベクトルの
各成分の値とする ことを特徴とする請求項23記載の動
きベクトル予測符号化装置。
25. The predictive vector calculating means, when calculating a predictive vector, calculates a flat vector for each pixel in a small block.
For each component of the motion vector of the line movement motion model,
Average, median, median,
Either the mode, the maximum, or the minimum is
24. The motion vector predictive coding apparatus according to claim 23, wherein a value of each component is used.
【請求項26】 前記予測ベクトル算出手段は、予測ベクトルを算出する際、小ブロック内の画素毎の平
行移動動きモデルの動きベクトルの各成分について、成
分毎に算出される値である、平均値、中間値、中央値、
最頻値、最大値、最小値のいずれかを代表動きベクトル
の各成分の値と する ことを特徴とする請求項24記載の
動きベクトル復号装置。
26. The predictive vector calculating means, when calculating a predictive vector, calculates the average of each pixel in a small block.
For each component of the motion vector of the line movement motion model,
Average, median, median,
One of the mode, maximum, or minimum value is a representative motion vector
Motion vector decoding apparatus according to claim 24, wherein the a value of each component of.
【請求項27】 符号化対象フレームを小ブロックに分
割し、符号化対象小ブロック毎に大局的動き補償方法と
局所的動き補償方法を切り替え可能な動きべクトル予測
符号化プログラムを記録したコンピュータにより読み取
り可能な記録媒体であって、 符号化対象小ブロックの動きベクトルを符号化済み小ブ
ロックの動きベクトルから予測する際、符号化対象小ブ
ロックの動き補償方法が局所的動き補償方法であり、予
測に用いる符号化済みの小ブロックの動き補償方法が大
局的動き補償である場合、大局的な動きベクトルから符
号化済み小ブロックの局所的な動きベクトルを算出する
ステップと、 前記算出した符号化済み小ブロックの局所的な動きベク
トルにより、符号化対象小ブロックの動きベクトルの予
測ベクトルを求め、動きベクトルの予測誤差を符号化す
るステップと を有する ことを特徴とする動きベクトル予
測符号化プログラムを記録したコンピュータ読み取り可
能な記録媒体
27. An encoding target frame is divided into small blocks.
Global motion compensation method for each small block to be encoded.
Motion vector prediction with switchable local motion compensation method
Read by the computer which recorded the encoding program
The recording medium is a recordable medium, and the motion vector of the encoding target small block is
When predicting from the lock motion vector,
The lock motion compensation method is a local motion compensation method, and
Motion compensation method for coded small blocks used for
In the case of local motion compensation, the code
Calculate local motion vector of encoded small block
Step, the local motion vector of the calculated encoded small block
The motion vector of the small block to be encoded.
Calculate motion vector and encode prediction error of motion vector
That step a computer readable friendly recording the motion-out vector predictive encoding program that is characterized by having a
Recording media .
【請求項28】 前記求めた符号化対象小ブロックにお
ける動きベクトルの予測ベクトルの大きさが予め規定さ
れた範囲内にない場合、該求めた予測ベクトルの大きさ
を、前記規定範囲内にクリップするステップ を有する
とを特徴とする請求項27記載の動きベクトル予測符号
化プログラムを記録したコンピュータ読み取り可能な記
録媒体
28. The encoding-target small block obtained as described above
The size of the predicted motion vector
If not, the magnitude of the obtained prediction vector
28. The motion vector prediction code according to claim 27 , further comprising the step of:
Computer-readable record of the
Recording medium .
【請求項29】 前記求めた符号化対象小ブロックにお
ける動きベクトルの予測ベクトルの大きさが予め規定さ
れた範囲内にない場合、該求めた予測ベクトルの大きさ
を0とするステップ を有することを特徴とする請求項2
7記載の動きベクトル予測符号化プログラムを記録した
コンピュータ読み取り可能な記録媒体
29. The obtained small block to be encoded is
The size of the predicted motion vector
If not, the magnitude of the obtained prediction vector
The characterized by having a step of 0. claim 2
The motion vector predictive coding program described in No. 7 was recorded.
Computer readable recording medium .
【請求項30】 請求項27に記載の動きベクトル予測
符号化プログラムを実行することにより符号化された動
きベクトルを復号する動きベクトル復号プログラムを記
録したコンピュータにより読み取り可能な記録媒体であ
って、 復号対象小ブロックの動き補償方法が局所的動き補償方
法で、予測に用いる復号済み小ブロックの動き補償方法
が大局的動き補償である場合、大局的な動きベクトルか
ら復号済み小ブロックの局所的な動きベクトルを算出
し、復号対象小ブロックの動きべクトルの予測ベクトル
を求めるステップと、 該求めた予測ベクトルに予測誤差を加算して動きベクト
ルを復号するステップと を有する ことを特徴とする動
ベクトル復号プログラムを記録したコンピュータにより
読み取り可能な記録媒体
30. A motion vector predictor according to claim 27.
The behavior encoded by executing the encoding program
A motion vector decoding program that decodes
Computer-readable recording medium
Therefore, the motion compensation method for the decoding target small block is a local motion compensation method.
Compensation method for decoded small blocks used for prediction
If is global motion compensation, the global motion vector
Calculate local motion vector of decoded small block from
And the prediction vector of the motion vector of the decoding target small block
Determining a motion by adding the prediction error to the predicted vector obtained the vector
A computer which records the motion-out vector decoding program that is characterized in that a step of decoding the Le
A readable recording medium .
【請求項31】 前記求められた予測ベクトルの大きさ
が予め規定された範囲内にない場合、該予測ベクトルの
大きさを、前記規定範囲内にクリップするステップを有
することを特徴とする請求項30記載の動きベクトル
プログラムを記録したコンピュータ読み取り可能な記
録媒体。
31. The magnitude of the obtained prediction vector
Is not within the predetermined range, the prediction vector
The size, the motion vector restored in claim 30, characterized in that it comprises a step of clipping within the prescribed range
Computer readable recording medium recording the degree programs.
【請求項32】 前記求められた予測ベクトルの大きさ
が予め規定された範囲内にない場合、該予測ベクトルの
大きさを0とするステップを有することを特徴とする
求項30記載の動きベクトル復号プログラムを記録した
コンピュータ読み取り可能な記録媒体。
32. The size of the previous SL predicted vector obtained
Is not within the predetermined range, the prediction vector
characterized in that it comprises a step of size 0
31. A computer-readable recording medium recording the motion vector decoding program according to claim 30 .
【請求項33】 小ブロックの任意の動きモデルの動き
ベクトルを、動きベクトルのパラメータ数がより少ない
動きモデルの動きベクトルに変換する際、小ブロック内
の画素毎に求まる該動きモデルの動きベクトルから、小
ブロックの代表動きベクトルを算出するステップを有す
ることを特徴とする請求項27から29のいずれか1項
記載の動きベクトル予測符号化プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。
33. Motion of an arbitrary motion model of a small block
Vectors with fewer motion vector parameters
When converting to a motion model motion vector,
From the motion vector of the motion model obtained for each pixel of
A computer-readable recording medium storing a motion vector predictive coding program according to any one of claims 27 to 29, comprising a step of calculating a representative motion vector of a block .
【請求項34】 小ブロックの任意の動きモデルの動き
ベクトルを、動きベクトルのパラメータ数がより少ない
動きモデルの動きベクトルに変換する際、小ブロック内
の画素毎に求まる該動きモデルの動きベクトルから、小
ブロックの代表動きベクトルを算出するステップを有す
ることを特徴とする請求項30から32のいずれか1項
記載の動きベクトル復号プログラムを記録したコンピュ
ータ読み取り可能な記録媒体。
34. Motion of an arbitrary motion model of a small block
Vectors with fewer motion vector parameters
When converting to a motion model motion vector,
From the motion vector of the motion model obtained for each pixel of
33. A computer-readable recording medium recording a motion vector decoding program according to claim 30, further comprising a step of calculating a representative motion vector of a block .
【請求項35】 小ブロックの任意の動きモデルの動き
ベクトルを平行移動動きモデルの動きベクトルに変換す
る際、小ブロック内の画素毎に求まる平行移動動きモデ
ルの動きベクトルから、該小ブロックの代表動きベクト
ルを算出するステップを有することを特徴とする請求項
27から29のいずれか1項記載の動きベクトル予測符
号化プログラムを記録したコンピュータ読み取り可能な
記録媒体。
35. Motion of an arbitrary motion model of a small block
Convert vector to parallel motion model motion vector
When moving, the parallel motion model determined for each pixel in the small block
From the motion vector of the small block, the representative motion vector of the small block
Calculating the number of files.
30. A computer-readable recording medium recording the motion vector predictive encoding program according to any one of 27 to 29 .
【請求項36】 小ブロックの任意の動きモデルの動き
ベクトルを平行移動動きモデルの動きベクトルに変換す
る際、小ブロック内の画素毎に求まる平行移動動きモデ
ルの動きベクトルから、該小ブロックの代表動きベクト
ルを算出するステップを有することを特徴とする請求項
30から32のいずれか1項記載の動きベクトル復号プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体。
36. Motion of an arbitrary motion model of a small block
Convert vector to parallel motion model motion vector
When moving, the parallel motion model determined for each pixel in the small block
From the motion vector of the small block, the representative motion vector of the small block
Calculating the number of files.
33. A computer-readable recording medium recording the motion vector decoding program according to any one of 30 to 32 .
【請求項37】 代表動きベクトルを算出する際、小ブ
ロック内の画素毎の平行移動動きモデルの動きベクトル
の各成分について、成分毎に算出される値である、平均
値、中間値、中央値、最頻値、最大値、最小値のいずれ
かを代表動きベクトルの各成分の値とするステップを有
することを特徴とする請求項35記載の動きベクトル
測符号化プログラムを記録したコンピュータ読み取り可
能な記録媒体。
37. When calculating a representative motion vector, a small
Motion vector of parallel motion model for each pixel in lock
For each component of, the value calculated for each component, the average
Value, median, median, mode, maximum, or minimum
36. The motion vector predictor according to claim 35, further comprising the step of: setting a value of each component of the representative motion vector to
A computer-readable recording medium on which an encoding measurement program is recorded.
【請求項38】 代表動きベクトルを算出する際、小ブ
ロック内の画素毎の平行移動動きモデルの動きベクトル
の各成分について、成分毎に算出される値である、平均
値、中間値、中央値、最頻値、最大値、最小値のいずれ
かを代表動きベクトルの各成分の値とするステップを有
することを特徴とする請求項36記載の動きベクトル復
号プログラムを記録したコンピュータ読み取り可能な記
録媒体。
38. When calculating a representative motion vector, a small
Motion vector of parallel motion model for each pixel in lock
For each component of, the value calculated for each component, the average
Value, median, median, mode, maximum, or minimum
37. A computer-readable recording medium recording a motion vector decoding program according to claim 36, further comprising the step of: setting the value of each component of the representative motion vector .
【請求項39】 フレーム全体の大局的な動きや変形を
予測するグローバル動き補償と、ブロック毎の局所的な
動きを予測するローカル動き補償のいずれかを用いてフ
レーム間予測を行う動きベクトルの予測符号化プログラ
ムを記録したコンピュータにより読み取り可能な記録媒
体であって、 符号化対象小ブロックの動き補償モードを判定するステ
ップと、 符号化対象小ブロックの動き補償モードがローカル動き
補償の場合、符号化済み小ブロックの符号化モードを判
定するステップと、 前記符号化済み小ブロックの符号化モードがフレーム内
符号化の場合、当該ブロックの動きベクトルを0とする
ステップと、 前記符号化済み小ブロックの符号化モードがフレーム間
符号化の場合、該符号化済み小ブロックの動き補償モー
ドを判定するステップと、 前記符号化済み小ブロックの動き補償モードがグローバ
ル動き補償の場合、グローバル動きパラメータから、該
符号化済み小ブロックの画素毎の動きベクトルを計算す
るステップと、 前記画素毎の動きベクトルから予め決められた方法で前
記符号化済み小ブロックの代表動きベクトルを計算する
ステップと、 前記代表動きベクトルが規定範囲内にあるかどうか判定
するステップと、 前記代表動きベクトルが規定範囲内にないとき、前記代
表ベクトルを前記規定範囲内にクリッピングするか、0
とするステップと、 前記符号化対象小ブロックの動きベクトルと予測ベクト
ルの差分である予測誤差を計算するステップと、 前記計算された予測誤差を符号化するステップと を有す
ることを特徴とする動きベクトル予測符号化プログラム
を記録したコンピュータ読み取り可能な記録媒体。
39. Global movement and deformation of the entire frame
Predict global motion compensation and block-by-block local
Use any of the local motion compensation to predict motion
A motion vector predictive coding program that performs inter-frame prediction.
Computer readable recording medium
The motion compensation mode of the encoding target small block.
And the motion compensation mode of the encoding target small block is local motion.
For compensation, determine the coding mode of the coded small block.
Setting the encoding mode of the encoded small block in a frame.
In the case of encoding, the motion vector of the block is set to 0
Step and the encoding mode of the encoded small block is between frames.
In the case of encoding, the motion compensation mode of the encoded small block is used.
Determining a de, motion compensation mode of the encoded small blocks global
In the case of motion compensation, the global motion parameters
Calculate the motion vector for each pixel of the encoded small block
And a previous step from the motion vector for each pixel in a predetermined manner.
Calculate the representative motion vector of a coded small block
A step, determining whether the representative motion vector is within the prescribed range
And when the representative motion vector is not within a specified range,
Clip the table vector within the specified range, or
And a motion vector and a prediction vector of the encoding target small block.
Steps and, the calculated computer readable recording medium recording a moving-out vector predictive encoding program that is characterized in that a step of encoding the prediction error calculating a prediction error which is the difference Le.
【請求項40】 請求項39に記載の動きベクトル予測
符号化プログラムより符号化された動きベクトルを復号
する動きベクトルの復号プログラムを記録したコンピュ
ータにより読み取り可能な記録媒体であって、 復号対象ブロックの動き補償モードを判定するステップ
と、 復号対象ブロックの動き補償モードがローカル動き補償
の場合、動きベクトルの予測誤差を復号するステップ
と、 復号済み小ブロックの符号化モードを判定するステップ
と、 前記復号済み小ブロックの符号化モードがフレーム内符
号化モードの場合、当該ブロックの動きベクトルを0と
するステップと、 前記復号済み小ブロックの符号化モードがフレーム間符
号化モードの場合、該 復号済み小ブロックの動き補償モ
ードを判定するステップと、 前記復号済み小ブロックの動き補償モードがグローバル
動き補償の場合、グローバル動きパラメータから参照ブ
ロックの画素毎の動きベクトルを計算するステップと、 前記画素毎の動きベクトルから予め決められた方法でブ
ロックの代表動きベクトルを計算するステップと、 前記代表動きベクトルが規定範囲内にあるかどうか判定
するステップと、 前記代表動きベクトルが前記規定範囲にないとき、前記
代表動きベクトルを前記規定範囲内にクリッピングする
か、0にするステップと、 前記復号対象小ブロックの予測誤差と予測ベクトルを加
算するステップと を有する動きベクトル復号プログラム
を記録したコンピュータ読み取り可能な記録媒体。
40. A motion vector predictor according to claim 39.
Decodes the motion vector encoded by the encoding program
Computer that records the motion vector decoding program
Determining a motion compensation mode of a decoding target block on a recording medium readable by a data
And the motion compensation mode of the current block is local motion compensation.
Decoding the prediction error of the motion vector if
Determining the encoding mode of the decoded small block
And the encoding mode of the decoded small block is an intra-frame code.
In the case of the encoding mode, the motion vector of the block is set to 0.
And the encoding mode of the decoded small block is an inter-frame code.
For-coding mode, the motion compensation mode of the decoded sub-block
Determining the over-de, motion compensation mode of the decoded sub-block is a global
In the case of motion compensation, the reference
Calculating a motion vector for each pixel of the lock; and blocking the motion vector in a predetermined manner from the motion vector for each pixel.
Calculating a representative motion vector of the lock; and determining whether the representative motion vector is within a specified range.
And when the representative motion vector is not within the specified range,
Clip the representative motion vector within the specified range
Or adding a prediction error and a prediction vector of the decoding target small block.
Calculation steps and moving-out computer-readable recording medium recording a vector decoding program that have a.
JP17929698A 1997-06-25 1998-06-25 Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program Expired - Lifetime JP2914448B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17929698A JP2914448B2 (en) 1997-06-25 1998-06-25 Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP16894797 1997-06-25
JP18998597 1997-07-15
JP9-189985 1997-07-15
JP9-168947 1997-07-15
JP17929698A JP2914448B2 (en) 1997-06-25 1998-06-25 Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program

Publications (2)

Publication Number Publication Date
JPH1188888A JPH1188888A (en) 1999-03-30
JP2914448B2 true JP2914448B2 (en) 1999-06-28

Family

ID=27323094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17929698A Expired - Lifetime JP2914448B2 (en) 1997-06-25 1998-06-25 Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program

Country Status (1)

Country Link
JP (1) JP2914448B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142169A1 (en) * 2010-05-13 2011-11-17 株式会社Jvcケンウッド Motion-vector correction device and method and video-signal processing device and method

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DK1181829T3 (en) * 2000-03-07 2012-01-16 Koninkl Philips Electronics Nv Resynchronization method for decoding video
KR100962759B1 (en) * 2002-01-24 2010-06-09 가부시키가이샤 히타치세이사쿠쇼 Moving picture signal coding method and decoding method
US7003035B2 (en) 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US20040001546A1 (en) 2002-06-03 2004-01-01 Alexandros Tourapis Spatiotemporal prediction for bidirectionally predictive (B) pictures and motion vector prediction for multi-picture reference motion compensation
KR101311402B1 (en) * 2006-03-23 2013-09-25 삼성전자주식회사 An video encoding/decoding method and apparatus
JP2007312425A (en) * 2007-07-30 2007-11-29 Nippon Telegr & Teleph Corp <Ntt> Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, image decoding program and recording medium with the programs recorded thereon
US9241160B2 (en) * 2010-07-21 2016-01-19 Dolby Laboratories Licensing Corporation Reference processing using advanced motion models for video coding
KR20120088488A (en) * 2011-01-31 2012-08-08 한국전자통신연구원 method for storing temporal motion vector and apparatus using the same
RU2628226C2 (en) * 2011-12-16 2017-08-15 Сан Пэтент Траст Method of coding video images, device for coding video images, method of decoding video images, device for decoding video images and device for coding / decoding video images
AU2019212951B2 (en) * 2018-01-29 2023-01-19 Vid Scale, Inc. Frame-rate up conversion with low complexity
KR20210046679A (en) * 2018-08-27 2021-04-28 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 Encoding device, decoding device, encoding method and decoding method

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011142169A1 (en) * 2010-05-13 2011-11-17 株式会社Jvcケンウッド Motion-vector correction device and method and video-signal processing device and method
JP2011239325A (en) * 2010-05-13 2011-11-24 Jvc Kenwood Corp Motion vector correction device and method, video signal processing device and method
KR101316612B1 (en) 2010-05-13 2013-10-15 가부시키가이샤 제이브이씨 켄우드 Motion vector correction device and method and video signal processing apparatus and method
US9288432B2 (en) 2010-05-13 2016-03-15 JVC Kenwood Corporation Motion vector correction device and method and video signal processing apparatus and method

Also Published As

Publication number Publication date
JPH1188888A (en) 1999-03-30

Similar Documents

Publication Publication Date Title
US9154789B2 (en) Motion vector predictive encoding and decoding method using prediction of motion vector of target block based on representative motion vector
JP5373626B2 (en) Method, apparatus, encoder, decoder, and decoding method for estimating a motion vector using a plurality of motion vector predictors
JP3863510B2 (en) Motion vector encoding / decoding method and apparatus
JP4955216B2 (en) Apparatus and method for encoding / decoding video including gray alpha channel
JP4752631B2 (en) Image coding apparatus and image coding method
JP2801559B2 (en) Motion compensation coding method and apparatus adapted to the magnitude of motion
JP4198206B2 (en) Video information compression method and apparatus using motion dependent prediction
JP5310614B2 (en) Moving picture coding apparatus, moving picture coding method, moving picture decoding apparatus, and moving picture decoding method
TWI647949B (en) Image prediction decoding method
JP2004336369A (en) Moving image encoder, moving image decoder, moving image encoding method, moving image decoding method, moving image encoding program and moving image decoding program
JP5216710B2 (en) Decryption processing method
KR101388902B1 (en) Techniques for motion estimation
WO2006035584A1 (en) Encoder, encoding method, program of encoding method and recording medium wherein program of encoding method is recorded
JP2914448B2 (en) Motion vector prediction encoding method and motion vector decoding method, prediction encoding device and decoding device, and recording medium recording motion vector prediction encoding program and decoding program
US20090028241A1 (en) Device and method of coding moving image and device and method of decoding moving image
EP1819173B1 (en) Motion vector predictive encoding apparatus and decoding apparatus
JP2006246277A (en) Re-encoding apparatus, re-encoding method, and re-encoding program
JP2007096479A (en) Inter-layer prediction coding method and apparatus, inter-layer prediction decoding method and apparatus, and program for them, and recording medium
KR20150028832A (en) Video prediction encoding device, video prediction encoding method, video prediction encoding program, video prediction decoding device, video prediction decoding method, and video prediction decoding program
JP2020053725A (en) Predictive image correction device, image encoding device, image decoding device, and program
JP4697802B2 (en) Video predictive coding method and apparatus
JP4561701B2 (en) Video encoding device
JP4533157B2 (en) Image decoding method
JP2007221202A (en) Moving picture encoder and moving picture encoding program
JPH09224252A (en) Motion compression predict coding method for dynamic image, decoding method, coder and decoder

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090416

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100416

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110416

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120416

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130416

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140416

Year of fee payment: 15

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term