JPH10150665A - Method for generating predictive image, and method and device for image encoding - Google Patents
Method for generating predictive image, and method and device for image encodingInfo
- Publication number
- JPH10150665A JPH10150665A JP25465397A JP25465397A JPH10150665A JP H10150665 A JPH10150665 A JP H10150665A JP 25465397 A JP25465397 A JP 25465397A JP 25465397 A JP25465397 A JP 25465397A JP H10150665 A JPH10150665 A JP H10150665A
- Authority
- JP
- Japan
- Prior art keywords
- block
- image
- motion compensation
- original image
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、ディジタル動画像
符号化技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital video coding technique.
【０００２】[0002]
【従来の技術】ディジタル動画像の高能率符号化におい
て、時間的に隣接するフレーム間の相関を利用する動き
補償は大きな圧縮効果を生むことが知られている。この
ため、現在の動画像符号化における国際標準方式Ｈ.２
６１，Ｈ.２６３，ＭＰＥＧ１，ＭＰＥＧ２などでは、
符号化対象の画像を正方形の複数のブロックに分割し、
各ブロック毎に動きベクトルを検出するブロックマッチ
ングと呼ばれる動き補償が用いられている。これらの国
際標準方式のアルゴリズムについては、例えば、藤原
洋 監修「最新ＭＰＥＧ教科書」(1994.8)などに解説さ
れている。2. Description of the Related Art In highly efficient coding of digital moving pictures, it is known that motion compensation using correlation between temporally adjacent frames produces a large compression effect. For this reason, the international standard system H.2 in the current video coding is used.
61, H.263, MPEG1, MPEG2, etc.
Divide the image to be encoded into square blocks,
Motion compensation called block matching for detecting a motion vector for each block is used. For the algorithm of these international standard methods, for example, Fujiwara
It is described in "The latest MPEG textbook" supervised by Hiroshi (1994.8).
【０００３】図１に、ブロックマッチングの一般的な概
念を示す。図１において、１０１は、これから符号化し
ようとするフレーム（現フレーム）の原画像を示してお
り、１０２は、既に符号化がなされた時間的に現フレー
ムに近いフレームの復号画像（参照画像）を示してい
る。FIG. 1 shows the general concept of block matching. In FIG. 1, reference numeral 101 denotes an original image of a frame to be coded (current frame), and reference numeral 102 denotes a decoded image (reference image) of a coded frame which is temporally close to the current frame. Is shown.
【０００４】ブロックマッチングでは、原画像１０１を
複数のブロックＧi,j（ｉ，ｊはそれぞれ横方向，縦方
向のブロック番号を示す）に分割する。通常用いられる
ブロックのサイズは、縦１６画素、横１６画素である。
その後、原画像１０１と参照画像１０２との間で、各ブ
ロック毎に動き推定を行う。ブロックマッチングにおけ
る動き推定では、ブロックＧi,jと対応する位置のブロ
ックＰi,j(０,０)を参照画像１０２上においてあらゆる
方向，移動量で平行移動し、原画像１０１におけるブロ
ックＧi,j内の画像と参照画像１０２における移動後の
ブロック内の画像の差が一番少なくなるような平行移動
を示す動きベクトルを検出する。１０３は分割されたブ
ロックの１個であり、図１ではこのブロック１０３の動
きベクトルを検出する場合を示している。このブロック
１０３をＧi,jと表わす。Ｐi,j(ｕ,ｖ)で示されるブロ
ック１０４は、上述した動き推定によって特定された、
上記差が最小となるブロックを示している。ブロックＰ
i,j(ｕ,ｖ)は、ブロックＧi,jと対応する位置のブロッ
クＰi,j(０,０)を、水平方向にｕ画素，垂直方向にｖ画
素で平行移動したものであり、矢印１０５は、動き推定
によって検出された、ブロックＧi,jに対する動きベク
トルＭＶi,j(ｕ,ｖ)である。ブロックマッチングでは、
原画像１０１上で分割された全てのブロックＧi,jに対
して上述の動き推定を行い、各ブロックＧi,j毎に動き
ベクトルＭＶi,j(ｕ,ｖ)を検出する。In block matching, an original image 101 is divided into a plurality of blocks Gi, j (i and j indicate block numbers in the horizontal and vertical directions, respectively). A commonly used block size is 16 pixels vertically and 16 pixels horizontally.
Thereafter, motion estimation is performed for each block between the original image 101 and the reference image 102. In the motion estimation in the block matching, the block Pi, j (0,0) at the position corresponding to the block Gi, j is translated in the reference image 102 in any direction and in any amount of movement. And a motion vector indicating a parallel movement such that the difference between the image of the reference image 102 and the image in the moved block in the reference image 102 is minimized. Reference numeral 103 denotes one of the divided blocks. FIG. 1 shows a case where a motion vector of the block 103 is detected. This block 103 is represented as Gi, j. The block 104 denoted by Pi, j (u, v) is identified by the motion estimation described above,
The block where the difference is minimum is shown. Block P
i, j (u, v) is obtained by translating a block Pi, j (0,0) at a position corresponding to the block Gi, j by u pixels in the horizontal direction and v pixels in the vertical direction. Reference numeral 105 denotes a motion vector MVi, j (u, v) for the block Gi, j detected by the motion estimation. In block matching,
The above-described motion estimation is performed on all the blocks Gi, j divided on the original image 101, and a motion vector MVi, j (u, v) is detected for each block Gi, j.
【０００５】さらに、原画像１０１上の各ブロックＧi,
jに対応する位置の参照画像１０２上の各ブロックＰi,j
(０,０)を、検出した各ブロックＧi,j毎の各動きベクト
ルＭＶi,j(ｕ,ｖ)に基づいて各々移動し、移動後の各ブ
ロックＰi,j(ｕ,ｖ)内の画像を移動前の位置のものとし
て寄せ集めて、予測画像１０６が合成される。Further, each block Gi,
Each block Pi, j on the reference image 102 at the position corresponding to j
(0,0) is moved based on each motion vector MVi, j (u, v) for each detected block Gi, j, and the image in each block Pi, j (u, v) after the movement is moved. Are combined as those before the movement, and the predicted image 106 is synthesized.
【０００６】尚、原画像を複数のブロックに分割し、原
画像と参照画像との間で、分割された各ブロック毎に動
き推定を行って各々の動きベクトルを検出し、検出され
た各ブロック毎の各動きベクトルと参照画像とから予測
画像を作成する動き補償を、ローカル動き補償と呼ぶ。
また、ローカル動き補償によって作成される予測画像
を、ローカル動き補償予測画像と呼ぶ。The original image is divided into a plurality of blocks, motion estimation is performed for each of the divided blocks between the original image and the reference image, and respective motion vectors are detected. Motion compensation for creating a predicted image from each motion vector and a reference image is called local motion compensation.
A prediction image created by local motion compensation is called a local motion compensation prediction image.
【０００７】上述したブロックマッチングは、ローカル
動き補償の一種であり、動き推定においてブロックの平
行移動のみを考慮した特殊な例であると位置づけられ
る。ローカル動き補償は、ブロックマッチングのみに限
定されるものではなく、動き推定においてブロックの平
行移動と変形の組み合わせを考慮した動き補償も含むも
のである。ブロックマッチングでは、平行移動のみを考
慮したものであるため、動き推定によって検出される動
きベクトルは、１つのブロックに対し１つであったが、
後者の動き補償では、平行移動と変形の組み合わせを考
慮したものであるため、動き推定によって検出される動
きベクトルは、１つのブロックに対し複数となる。尚、
ローカル動き補償における移動／変形後のブロック内の
画像を、ローカル動き補償ブロック画像と呼ぶ。[0007] The block matching described above is a kind of local motion compensation, and is regarded as a special example in which only parallel movement of blocks is considered in motion estimation. Local motion compensation is not limited to block matching only, but also includes motion compensation that takes into account a combination of block parallel movement and deformation in motion estimation. In the block matching, only the parallel movement is considered, and therefore, one motion vector is detected for one block by the motion estimation.
In the latter motion compensation, a combination of parallel movement and deformation is considered, so that a plurality of motion vectors are detected for one block by motion estimation. still,
The image in the block after the movement / deformation in the local motion compensation is called a local motion compensation block image.
【０００８】上述したローカル動き補償は、画像内の局
所的な動きを検出する動き補償である。これに対して、
スポーツ放送のようにカメラのパンやズーム操作を伴う
画像シーケンスに対しては、画像全体の総体的な動きを
補償する方法も効果的であることが報告されている（例
えば、上倉他、「動画像符号化におけるグローバル動き
補償法」、電子情報通信学会論文誌、Vol.J76-B-1、No.
12、pp944-952、平5-12参照）。この動き補償は、グロ
ーバル動き補償と呼ばれている。The above-described local motion compensation is a motion compensation for detecting a local motion in an image. On the contrary,
It has been reported that a method of compensating for the overall motion of an entire image is also effective for an image sequence involving a panning and zooming operation of a camera such as a sports broadcast (for example, Uekura et al. Global Motion Compensation Method in Image Coding, ”IEICE Transactions, Vol.J76-B-1, No.
12, pp944-952, pp. 5-12). This motion compensation is called global motion compensation.
【０００９】図２は、グローバル動き補償の例を示して
いる。２０１は現フレームの原画像、２０２は原画像２
０１に対する参照画像を示している。２０３は原画像２
０１全体を１つの領域と見た場合のパッチを示してお
り、２０４、２０５、２０６、２０７がその格子点の配
置を示している。グローバル動き補償では、原画像２０
１と参照画像２０２との間で、画像全体で動き推定を行
う。グローバル動き補償における動き推定では、参照画
像２０２上において、上記パッチ２０３を任意に平行移
動し、或いは、上記パッチ２０３を任意に変形し、又
は、その双方を行い、原画像１０１と参照画像２０２に
おける移動／変形後のパッチ内の画像の差が一番少なく
なるような移動／変形を示す動きベクトルを検出する。
図２において、パッチ２０８は、上記差が小さくなるよ
うに移動／変形した状態を示したものである。このと
き、格子点２０４，２０５，２０６及び２０７はそれぞ
れ２０９，２１０，２１１及び２１２に移動し、パッチ
２０３に対する動きベクトルとして図２中の矢印で示さ
れた格子点２０４〜２０７に対する４つの動きベクトル
が得られる。FIG. 2 shows an example of global motion compensation. 201 is the original image of the current frame, 202 is the original image 2
12 shows a reference image for 01. 203 is the original image 2
01 indicates a patch when the entire area is regarded as one area, and 204, 205, 206, and 207 indicate the arrangement of the grid points. In global motion compensation, the original image 20
1 and the reference image 202, motion estimation is performed for the entire image. In the motion estimation in global motion compensation, on the reference image 202, the patch 203 is arbitrarily translated, or the patch 203 is arbitrarily deformed, or both are performed. A motion vector indicating the movement / deformation that minimizes the difference between the images in the patch after the movement / deformation is detected.
In FIG. 2, the patch 208 shows a state where the patch 208 has been moved / deformed so as to reduce the difference. At this time, the grid points 204, 205, 206 and 207 move to 209, 210, 211 and 212, respectively, and the four motion vectors for the grid points 204 to 207 indicated by arrows in FIG. Is obtained.
【００１０】さらに、パッチ２０３の各格子点２０４〜
２０７を検出した各動きベクトルに基づいて各々移動す
ることによって、パッチ２０３を移動／変形し、参照画
像２０２における移動／変形後のパッチ２０８内の画像
を予測画像として合成する。Further, each of the grid points 204 to
By moving 207 based on each detected motion vector, the patch 203 is moved / deformed, and the image in the patch 208 after movement / deformation in the reference image 202 is synthesized as a predicted image.
【００１１】尚、上述したグローバル動き補償によって
作成される予測画像を、グローバル動き補償予測画像と
呼ぶ。このグローバル動き補償予測画像の作成方法に
は、「特願平８−６０５７２」に開示されているよう
な、高速アルゴリズムも存在する。The predicted image created by the above-described global motion compensation is called a global motion compensated predicted image. A high-speed algorithm as disclosed in Japanese Patent Application No. 8-60572 also exists as a method for creating the global motion compensation predicted image.
【００１２】ローカル動き補償及びグローバル動き補償
における予測画像の合成の手法は、従来良く知られてい
るが、ここで補足的に説明する。動き推定によって検出
された動きベクトルに基づく上記ブロック或いは上記パ
ッチの移動／変形に伴って、移動／変形前のブロック或
いはパッチ内の画素の位置は移動する。そのため、移動
／変形後のブロック或いはパッチ内の画素の位置を求め
る必要がある。ここでは、移動後の画素の位置を共１次
変換を用いて求める方法を例として挙げる。共１次変換
では、動き補償において平行移動の他に回転，変形等に
も対応できる。元の画素の位置を（ｘ,ｙ）とした場
合、移動後の画素の位置（ｔｘ(ｘ,ｙ),ｔｙ(ｘ,ｙ)）
は次式（数１）で表される。[0012] Techniques for synthesizing predicted images in local motion compensation and global motion compensation are well known in the art, but will be supplementarily described here. With the movement / deformation of the block or the patch based on the motion vector detected by the motion estimation, the position of the pixel in the block or patch before the movement / deformation moves. Therefore, it is necessary to find the position of the pixel in the block or patch after the movement / deformation. Here, a method of obtaining the position of a pixel after movement using bilinear transformation will be described as an example. The bilinear transformation can cope with rotation, deformation, and the like in addition to parallel movement in motion compensation. Assuming that the original pixel position is (x, y), the pixel position after movement (tx (x, y), ty (x, y))
Is represented by the following equation (Equation 1).
【００１３】[0013]
【数１】 (Equation 1)
【００１４】（数１）において、パラメータｂ1〜ｂ
8は、動き推定によって検出された各格子点に対する４
つの動きベクトルから一意に特定することができる。
尚、上述したブロックマッチングでは、動き推定におい
てブロックの平行移動のみを考慮したものであるため、
（数１）中のパラメータｂ1，ｂ3，ｂ5及びｂ6は０であ
り、パラメータｂ2及びｂ7は１である。そして、パラメ
ータｂ4及びｂ8は、各ブロック毎に、動き推定によって
検出されたブロックに対する１つの動きベクトルから一
意に特定することができる。In equation (1), parameters b 1 to b
8 is 4 for each grid point detected by motion estimation.
It can be uniquely specified from one motion vector.
In the above-described block matching, only the parallel movement of the block is considered in the motion estimation.
The parameters b 1 , b 3 , b 5 and b 6 in (Equation 1) are 0, and the parameters b 2 and b 7 are 1. Then, the parameters b 4 and b 8 can be uniquely specified for each block from one motion vector for the block detected by the motion estimation.
【００１５】移動／変形後のブロック或いはパッチ内の
画素の位置を算出した後、算出された位置での画素値を
参照画像上の画素を用いて特定して、ローカル動き補償
ブロック画像或いはグローバル動き補償予測画像を得
る。尚、移動後の画素の位置によっては、参照画像上に
おいて画素が存在しない場合がある。その場合には、算
出された画素の位置の周囲の画素を用いて画素値を算出
する。After calculating the position of the pixel in the block or patch after the movement / deformation, the pixel value at the calculated position is specified using the pixel on the reference image, and the local motion compensation block image or the global motion is calculated. Obtain a compensated prediction image. Note that, depending on the position of the pixel after the movement, the pixel may not exist on the reference image. In that case, a pixel value is calculated using pixels around the calculated pixel position.
【００１６】上述したグローバル動き補償は、画像全体
が統一的に同じ動きをしている場合には有効であるが、
画像内に異なる動きをする領域が存在する場合には、そ
のうちの１パターンの動きにしか対応できない。そこ
で、従来、グローバル・ローカル動き補償と呼ばれる動
き補償も考えられている。グローバル・ローカル動き補
償では、まず、上述したグローバル動き補償によってグ
ローバル動き補償予測画像を合成する。次に、図１にお
ける参照画像１０２を合成したグローバル動き補償予測
画像とし、原画像とグローバル動き補償予測画像との間
でローカル動き補償を行い、予測画像を合成する。尚、
グローバル・ローカル動き補償によって作成される予測
画像をグローバル・ローカル動き補償予測画像と呼ぶ。
また、グローバル・ローカル動き補償における移動／変
形後のブロック内の画像を、グローバル・ローカル動き
補償ブロック画像と呼ぶ。The above-described global motion compensation is effective when the entire image is uniformly moving in the same manner.
If there are regions in the image that move differently, only one of the patterns can be handled. Therefore, conventionally, motion compensation called global / local motion compensation has been considered. In the global / local motion compensation, first, a global motion compensation predicted image is synthesized by the above-described global motion compensation. Next, the reference image 102 in FIG. 1 is used as a synthesized global motion compensation predicted image, local motion compensation is performed between the original image and the global motion compensation predicted image, and the predicted image is synthesized. still,
A predicted image created by global / local motion compensation is called a global / local motion compensated predicted image.
An image in the block after the movement / deformation in the global / local motion compensation is called a global / local motion compensation block image.
【００１７】符号側では、現フレームの原画像と上述し
た各動き補償により合成した予測画像をそれぞれ複数の
ブロックに分割し、各ブロック毎に原画像のブロック内
の画像と予測画像のブロック内の画像との差を求めて予
測誤差信号とし、予測誤差信号をＤＣＴ変換し、さらに
量子化して伝送する。上述したローカル動き補償或いは
グローバル・ローカル動き補償では、一般的に、動き推
定における分割したブロックと同一サイズのブロックで
分割し、原画像のブロック内の画像とローカル動き補償
ブロック画像との間或いは原画像のブロック内の画像と
グローバル・ローカル動き補償ブロック画像との間の予
測誤差信号を用いる。尚、ブロックに分割されたグロー
バル動き補償予測画像の各ブロック内の画像を、グロー
バル動き補償ブロック画像と呼ぶ。On the code side, the original image of the current frame and the predicted image synthesized by the above-described motion compensation are divided into a plurality of blocks, and the image in the original image block and the predicted image in the predicted image block are divided into blocks. The difference from the image is obtained as a prediction error signal, and the prediction error signal is DCT-transformed, further quantized and transmitted. In the above-described local motion compensation or global local motion compensation, generally, a block is divided into blocks having the same size as the divided blocks in the motion estimation, and an image in a block of an original image and a local motion compensation block image or an original image is used. A prediction error signal between an image in a block of the image and the global local motion compensation block image is used. The image in each block of the global motion compensation predicted image divided into blocks is called a global motion compensation block image.
【００１８】上述したグローバル・ローカル動き補償を
用いた符号化の他にも、特開昭８−１４００９８に開示
されているような符号化も考えられている。この符号化
では、原画像と参照画像との間でローカル動き補償とグ
ローバル動き補償とをそれぞれ行ってローカル動き補償
予測画像とグローバル動き補償予測画像を合成し、分割
された原画像の各ブロックに対する予測誤差信号を求め
る際に、ローカル動き補償ブロック画像とグローバル動
き補償ブロック画像のいずれかを適応的に選択して使用
する。In addition to the encoding using the global / local motion compensation described above, an encoding as disclosed in Japanese Patent Application Laid-Open No. 8-140098 has been considered. In this encoding, the local motion compensation and the global motion compensation are performed between the original image and the reference image to synthesize the local motion compensated predicted image and the global motion compensated predicted image. When obtaining a prediction error signal, one of a local motion compensation block image and a global motion compensation block image is adaptively selected and used.
【００１９】[0019]
【発明が解決しようとする課題】ローカル動き補償とグ
ローバル動き補償をそれぞれ用いて作成される２種類の
予測画像からブロック毎に１種類のブロック画像（ロー
カル動き補償ブロック画像或いはグローバル動き補償ブ
ロック画像）を選択する場合には、選択されなかったブ
ロック画像は予測誤差信号を得る際に全く用いられず、
そのブロック画像を求めるための演算処理が無駄となっ
てしまうという問題があった。One type of block image (local motion compensation block image or global motion compensation block image) for each block from two types of prediction images created by using local motion compensation and global motion compensation, respectively. Is selected, the unselected block images are not used at all in obtaining the prediction error signal,
There is a problem that the calculation processing for obtaining the block image is wasted.
【００２０】[0020]
【発明を解決するための手段】本発明では、ローカル動
き補償とグローバル動き補償を用いて作成される２種類
のブロック画像（ローカル動き補償ブロック画像，グロ
ーバル動き補償ブロック画像）と両ブロック画像を平均
化した平均ブロック画像との３種類の中から、ブロック
毎に１種類を選択することにより、符号化効率をより向
上させるとともに、無駄となってしまう演算処理をでき
るだけ少なくする。According to the present invention, two types of block images (local motion compensation block image and global motion compensation block image) created using local motion compensation and global motion compensation are averaged. By selecting one type for each block from the three types of the averaged block image, the encoding efficiency is further improved, and the useless arithmetic processing is reduced as much as possible.
【００２１】また、本発明では、ローカル動き補償とグ
ローバル・ローカル動き補償を用いて作成される２種類
のブロック画像（ローカル動き補償ブロック画像，グロ
ーバル・ローカル動き補償ブロック画像）と両ブロック
画像を平均化した平均ブロック画像との３種類の中か
ら、ブロック毎に１種類を選択することにより、符号化
効率をより向上させるとともに、無駄となってしまう演
算処理をできるだけ少なくする。Further, according to the present invention, two types of block images (local motion compensation block images and global local motion compensation block images) created using local motion compensation and global local motion compensation are averaged. By selecting one type for each block from the three types of the averaged block image, the encoding efficiency is further improved, and the useless arithmetic processing is reduced as much as possible.
【００２２】また、本発明では、ローカル動き補償とグ
ローバル・ローカル動き補償を用いて作成される２種類
のブロック画像（ローカル動き補償ブロック画像，グロ
ーバル・ローカル動き補償ブロック画像）と、ローカル
動き補償ブロック画像とグローバル動き補償ブロック画
像とを平均化した平均ブロック画像との、３種類の中か
ら、ブロック毎に１種類を選択することにより、符号化
効率をより向上させるとともに、無駄となってしまう演
算処理をできるだけ少なくする。Further, according to the present invention, two types of block images (local motion compensation block image and global local motion compensation block image) created using local motion compensation and global local motion compensation, and a local motion compensation block By selecting one type for each block from among three types of an average block image obtained by averaging the image and the global motion compensation block image, the encoding efficiency is further improved and the calculation is wasted. Use as little processing as possible.
【００２３】[0023]
【発明の実施の形態】先に説明した３種類の動き補償予
測画像（ローカル動き補償予測画像，グローバル動き補
償予測画像，グローバル・ローカル動き補償画像予測画
像）を有効的に活用して、予測誤差信号を得る際に用い
る最終的な予測画像を作成する方法はいくつか考えられ
るが、ここでは３通りの方法について説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The three types of motion-compensated predicted images described above (local motion-compensated predicted image, global motion-compensated predicted image, and global / local motion-compensated predicted image) are effectively used to generate prediction errors. There are several methods for creating a final predicted image used for obtaining a signal. Here, three methods will be described.
【００２４】まず、１つ目は、ブロック毎に予測誤差信
号を求める際に用いるブロック画像の候補として、ロー
カル動き補償ブロック画像とグローバル動き補償ブロッ
ク画像の他に、ローカル動き補償ブロック画像とグロー
バル動き補償ブロック画像の間で平均処理を施した平均
ブロック画像を加えた方法である。First, as a candidate of a block image used for obtaining a prediction error signal for each block, in addition to a local motion compensation block image and a global motion compensation block image, a local motion compensation block image and a global motion compensation block image are used. This is a method in which an average block image subjected to averaging processing between compensation block images is added.
【００２５】図３に、この方法を用いた、予測誤差符号
化が行われる予測画像作成の手順を示す。４０１は、現
フレームの原画像にブロック分割（一般的なブロックサ
イズは縦１６画素，横１６画素の正方形ブロック）を施
した図である。ここでは、その中の１ブロック４０２に
注目することにする。図３中、i,jは原画像４０１内で
のブロック位置を、Ｇi,jはブロック４０２を、４１０
は既に符号化がなされた時間的に現フレームに近いフレ
ームの復号画像である参照画像を示している。また、参
照画像４１０上のブロック４１１は、参照画像４１０上
において原画像４０１上のブロック４０２と空間的に同
一位置にあるブロックを示している。FIG. 3 shows a procedure for creating a predicted image in which prediction error encoding is performed using this method. Reference numeral 401 denotes a diagram in which the original image of the current frame is divided into blocks (a general block size is a square block of 16 pixels vertically and 16 pixels horizontally). Here, attention will be paid to one block 402 therein. In FIG. 3, i, j indicates a block position in the original image 401, Gi, j indicates a block 402, 410
Indicates a reference image which is a decoded image of a frame which has already been encoded and is temporally close to the current frame. A block 411 on the reference image 410 indicates a block located at the same spatial position as the block 402 on the original image 401 on the reference image 410.
【００２６】まず、原画像４０１と参照画像４１０との
間でローカル動き補償を行い、原画像４０１上のブロッ
ク４０２に対するローカル動き補償ブロック画像４１２
を求める。図３中、４１３は、ローカル動き補償の動き
推定によって検出されたブロック４０２に対する動きベ
クトルMVnである。First, local motion compensation is performed between the original image 401 and the reference image 410, and the local motion compensation block image 412 for the block 402 on the original image 401 is obtained.
Ask for. In FIG. 3, reference numeral 413 denotes a motion vector MVn for the block 402 detected by the motion estimation using local motion compensation.
【００２７】また同時に、原画像４０１と参照画像４１
０との間でグローバル動き補償を行い、グローバル動き
補償予測画像４２０を合成し、合成したグローバル動き
補償予測画像４２０上において原画像４０１上のブロッ
ク４０２と空間的に同一位置にあるブロック内の画像を
グローバル動き補償ブロック画像４２１として求める。At the same time, the original image 401 and the reference image 41
0, the global motion compensation prediction image 420 is synthesized, and the image in the block spatially co-located with the block 402 on the original image 401 on the synthesized global motion compensation prediction image 420 As the global motion compensation block image 421.
【００２８】次に、ローカル動き補償ブロック画像４１
２とグローバル動き補償ブロック画像４２１との対応す
る位置の各画素を平均化することにより、平均ブロック
画像４４０を作成する。この平均化処理を数式で表す
と、次式（数２）のようになる。Next, the local motion compensation block image 41
The average block image 440 is created by averaging each pixel at the position corresponding to the position 2 and the global motion compensation block image 421. When this averaging process is represented by a mathematical expression, the following expression (Expression 2) is obtained.
【００２９】[0029]
【数２】 (Equation 2)
【００３０】ここで、ｎは各ブロック画像内の画素番
号、Ｐi,j(ｎ)はローカル動き補償ブロック画像Ｐi,j内
の画素を表し、Ｂi,j(ｎ)はグローバル動き補償ブロッ
ク画像Ｂi,j内においてＰi,j(ｎ)と空間的に同一位置に
存在する画素を示す。また、Ａi,j(ｎ)は、Ｐi,j(ｎ)と
Ｂi,j(ｎ)の平均値であり、平均ブロック画像４４０内
の画素を表している。尚、（数２）におけるｎは、縦１
６画素，横１６画素のブロックを想定すると、０から２
５５までの整数ということになる。また、上記（数２）
では丸め演算を用いているが、四捨五入等の演算を用い
た場合も本技術に含まれる。Here, n is a pixel number in each block image, Pi, j (n) represents a pixel in the local motion compensation block image Pi, j, and Bi, j (n) is a global motion compensation block image Bi. , j indicate pixels that are spatially at the same position as Pi, j (n). Ai, j (n) is an average value of Pi, j (n) and Bi, j (n), and represents a pixel in the average block image 440. Note that n in (Equation 2) is 1 vertical.
Assuming a block of 6 pixels and 16 pixels in width, 0 to 2
That is an integer up to 55. In addition, the above (Equation 2)
In the present technology, a rounding operation is used, but a case where an operation such as rounding is used is also included in the present technology.
【００３１】最後に、この３個のブロック画像（ローカ
ル動き補償ブロック画像４１２，グローバル動き補償ブ
ロック画像４２１，平均ブロック画像４４０）の中から
符号化効率が最適となるものを選択する。Finally, one of the three block images (the local motion compensation block image 412, the global motion compensation block image 421, and the average block image 440) having the optimum coding efficiency is selected.
【００３２】上述した処理を、原画像４０１上のブロッ
ク４０２以外のブロックについても行い、原画像４０１
上の各ブロック毎に選択された各ブロック画像を寄せ集
めて、原画像４０１との間で予測誤差符号化が行われる
予測画像４６０が合成される。その後、原画像４０１上
の各ブロック毎に、予測画像４６０上の対応する位置の
ブロック画像との予測誤差信号が求められ、予測誤差信
号をＤＣＴ変換し、さらに量子化して復号側に伝送す
る。尚、グローバル動き補償の動き推定によって検出さ
れたパッチに対する動きベクトル（以下、グローバル動
きベクトルと呼ぶ）は、各フレーム毎に復号側に伝送さ
れる。また、ローカル動き補償の動き推定によって検出
されたブロックに対する動きベクトル（以下、ローカル
動きベクトルと呼ぶ）は、上述した３つのブロック画像
からローカル動き補償ブロック画像或いは平均ブロック
画像を選択した場合に予測誤差信号と共に復号側に伝送
される。尚、上述した３つのブロック画像からグローバ
ル動き補償ブロック画像を選択した場合には、ブロック
に対する動きベクトルは伝送されない。The above-described processing is performed on blocks other than the block 402 on the original image 401,
The block images selected for each of the above blocks are collected, and a predicted image 460 to be subjected to prediction error encoding with the original image 401 is synthesized. After that, for each block on the original image 401, a prediction error signal from a block image at a corresponding position on the prediction image 460 is obtained, and the prediction error signal is DCT-transformed, further quantized, and transmitted to the decoding side. A motion vector for a patch detected by global motion compensation motion estimation (hereinafter, referred to as a global motion vector) is transmitted to the decoding side for each frame. In addition, a motion vector (hereinafter, referred to as a local motion vector) for a block detected by the motion estimation of the local motion compensation is a prediction error when a local motion compensation block image or an average block image is selected from the above three block images. The signal is transmitted to the decoding side. When a global motion compensation block image is selected from the three block images described above, no motion vector is transmitted for the block.
【００３３】２つ目は、ブロック毎に予測誤差信号を求
める際に用いるブロック画像の候補として、ローカル動
き補償ブロック画像とグローバル・ローカル動き補償ブ
ロック画像の他に、ローカル動き補償ブロック画像とグ
ローバル・ローカル動き補償ブロック画像の間で平均処
理を施した平均ブロック画像を加えた方法である。Second, as a candidate of a block image used for obtaining a prediction error signal for each block, in addition to a local motion compensation block image and a global local motion compensation block image, a local motion compensation block image and a global This is a method in which an average block image subjected to averaging processing between local motion compensation block images is added.
【００３４】図４に、この方法を用いた、予測誤差符号
化が行われる予測画像作成の手順を示す。４０１は、現
フレームの原画像にブロック分割（一般的なブロックサ
イズは縦１６画素，横１６画素の正方形ブロック）を施
した図である。ここでは、その中の１ブロック４０２に
注目することにする。図４中、i,jは原画像４０１内で
のブロック位置を、Ｇi,jはブロック４０２を、４１０
は既に符号化がなされた時間的に現フレームに近いフレ
ームの復号画像である参照画像を示している。また、参
照画像４１０上のブロック４１１は、参照画像４１０上
において原画像４０１上のブロック４０２と空間的に同
一位置にあるブロックを示している。FIG. 4 shows a procedure for creating a predicted image in which prediction error encoding is performed using this method. Reference numeral 401 denotes a diagram in which the original image of the current frame is divided into blocks (a general block size is a square block of 16 pixels vertically and 16 pixels horizontally). Here, attention will be paid to one block 402 therein. In FIG. 4, i, j denotes a block position in the original image 401, Gi, j denotes a block 402, 410
Indicates a reference image which is a decoded image of a frame which has already been encoded and is temporally close to the current frame. A block 411 on the reference image 410 indicates a block located at the same spatial position as the block 402 on the original image 401 on the reference image 410.
【００３５】まず、原画像４０１と参照画像４１０との
間でローカル動き補償を行い、原画像４０１上のブロッ
ク４０２に対するローカル動き補償ブロック画像４１２
を求める。図４中、４１３は、ローカル動き補償の動き
推定によって検出されたブロック４０２に対する動きベ
クトルMVnである。First, local motion compensation is performed between the original image 401 and the reference image 410, and a local motion compensation block image 412 for the block 402 on the original image 401.
Ask for. In FIG. 4, reference numeral 413 denotes a motion vector MVn for the block 402 detected by the motion estimation using local motion compensation.
【００３６】また同時に、原画像４０１と参照画像４１
０との間でグローバル・ローカル動き補償を行い、原画
像４０１上のブロック４０２に対するグローバル・ロー
カル動き補償ブロック画像６２２を求める。より具体的
には、第１段階として、原画像４０１と参照画像４１０
との間でグローバル動き補償を行い、グローバル動き補
償予測画像４２０を合成する。次に、第２段階として、
原画像４０１と合成したグローバル動き補償予測画像４
２０との間でローカル動き補償を行い、原画像４０１上
のブロック４０２に対するグローバル・ローカル動き補
償ブロック画像６２２を求める。図４中、６２３は、グ
ローバル・ローカル動き補償における上記第２段階目の
ローカル動き補償の動き推定によって検出されたブロッ
ク４０２に対する動きベクトルMVgである。At the same time, the original image 401 and the reference image 41
Global / local motion compensation is performed between 0 and 0, and a global / local motion compensation block image 622 for the block 402 on the original image 401 is obtained. More specifically, as a first step, an original image 401 and a reference image 410
And global motion compensation prediction image 420 is synthesized. Next, as the second stage,
Global motion compensated predicted image 4 synthesized with original image 401
20 is performed, and a global / local motion compensation block image 622 for the block 402 on the original image 401 is obtained. In FIG. 4, reference numeral 623 denotes a motion vector MVg for the block 402 detected by the second-stage local motion compensation motion estimation in the global local motion compensation.
【００３７】次に、ローカル動き補償ブロック画像４１
２とグローバル・ローカル動き補償ブロック画像６２２
との対応する位置の各画素を平均化することにより、平
均ブロック画像６４０を作成する。この平均化処理を数
式で表すと、次式（数３）のようになる。Next, the local motion compensation block image 41
2 and the global / local motion compensation block image 622
The average block image 640 is created by averaging each pixel at the position corresponding to. When this averaging process is represented by a mathematical expression, it is as shown in the following expression (Formula 3).
【００３８】[0038]
【数３】 (Equation 3)
【００３９】ここで、ｎは各ブロック画像内の画素番
号、Ｐi,j(ｎ)はローカル動き補償ブロック画像Ｐi,j内
の画素を表し、ＢＰi,j(ｎ)はグローバル・ローカル動
き補償ブロック画像Ｂi,j内においてＰi,j(ｎ)と空間的
に同一位置に存在する画素を示す。また、Ａi,j(ｎ)
は、Ｐi,j(ｎ)とＢＰi,j(ｎ)の平均値であり、平均ブロ
ック画像６４０内の画素を表している。尚、（数３）に
おけるｎは、縦１６画素，横１６画素のブロックを想定
すると、０から２５５までの整数ということになる。ま
た、上記（数３）では丸め演算を用いているが、四捨五
入等の演算を用いた場合も本技術に含まれる。Here, n is a pixel number in each block image, Pi, j (n) represents a pixel in the local motion compensation block image Pi, j, and BPi, j (n) is a global local motion compensation block. Pixels present at the same spatial position as Pi, j (n) in image Bi, j are shown. Ai, j (n)
Is an average value of Pi, j (n) and BPi, j (n), and represents a pixel in the average block image 640. Note that n in (Equation 3) is an integer from 0 to 255, assuming a block of 16 pixels vertically and 16 pixels horizontally. Although the above (Equation 3) uses a rounding operation, a case where an operation such as rounding is used is also included in the present technology.
【００４０】最後に、この３個のブロック画像（ローカ
ル動き補償ブロック画像４１２，グローバル・ローカル
動き補償ブロック画像６２２，平均ブロック画像６４
０）の中から符号化効率が最適となるものを選択する。Finally, the three block images (local motion compensation block image 412, global / local motion compensation block image 622, average block image 64
0), the one with the optimum coding efficiency is selected.
【００４１】上述した処理を、原画像４０１上のブロッ
ク４０２以外のブロックについても行い、原画像４０１
上の各ブロック毎に選択された各ブロック画像を寄せ集
めて、原画像４０１との間で予測誤差符号化が行われる
予測画像４６０が合成される。その後、原画像４０１上
の各ブロック毎に、予測画像４６０上の対応する位置の
ブロック画像との予測誤差信号が求められ、予測誤差信
号をＤＣＴ変換し、さらに量子化して復号側に伝送す
る。尚、グローバル・ローカル動き補償における上記第
１段階目のグローバル動き補償の動き推定によって検出
されたパッチに対する動きベクトル（以下、グローバル
動きベクトルと呼ぶ）は、各フレーム毎に復号側に伝送
される。また、ローカル動き補償の動き推定によって検
出されたブロックに対する動きベクトル（以下、ローカ
ル動きベクトルと呼ぶ）は、上述した３つのブロック画
像からローカル動き補償ブロック画像或いは平均ブロッ
ク画像を選択した場合に予測誤差信号と共に復号側に伝
送される。さらに、グローバル・ローカル動き補償にお
ける上記第２段階目のローカル動き補償の動き推定によ
って検出されたブロックに対する動きベクトル（以下、
グローバル・ローカル動きベクトルと呼ぶ）は、上述し
た３つのブロック画像からグローバル・ローカル動き補
償ブロック画像或いは平均ブロック画像を選択した場合
に予測誤差信号と共に復号側に伝送される。即ち、上述
した３つのブロック画像から平均ブロック画像を選択し
た場合には、各ブロック毎の予測誤差信号と共に２つの
動きベクトル（ローカル動きベクトルとグローバル・ロ
ーカル動きベクトル）が伝送される。The above-described processing is performed on the blocks other than the block 402 on the original image 401 to obtain the original image 401.
The block images selected for each of the above blocks are collected, and a predicted image 460 to be subjected to prediction error encoding with the original image 401 is synthesized. After that, for each block on the original image 401, a prediction error signal from a block image at a corresponding position on the prediction image 460 is obtained, and the prediction error signal is DCT-transformed, further quantized, and transmitted to the decoding side. Note that a motion vector (hereinafter, referred to as a global motion vector) for a patch detected by the motion estimation of the first-stage global motion compensation in the global / local motion compensation is transmitted to the decoding side for each frame. In addition, a motion vector (hereinafter, referred to as a local motion vector) for a block detected by the motion estimation of the local motion compensation is a prediction error when a local motion compensation block image or an average block image is selected from the above three block images. The signal is transmitted to the decoding side. Further, a motion vector (hereinafter, referred to as a block) for a block detected by the motion estimation of the second-stage local motion compensation in the global local motion compensation.
The global / local motion vector) is transmitted to the decoding side together with a prediction error signal when a global / local motion compensation block image or an average block image is selected from the above three block images. That is, when an average block image is selected from the three block images described above, two motion vectors (a local motion vector and a global local motion vector) are transmitted together with a prediction error signal for each block.
【００４２】３つ目は、ブロック毎に予測誤差信号を求
める際に用いるブロック画像の候補として、ローカル動
き補償ブロック画像とグローバル・ローカル動き補償ブ
ロック画像の他に、ローカル動き補償ブロック画像とグ
ローバル動き補償ブロック画像の間で平均処理を施した
平均ブロック画像を加えた方法である。Third, as a candidate of a block image used for obtaining a prediction error signal for each block, in addition to the local motion compensation block image and the global / local motion compensation block image, a local motion compensation block image and a global motion compensation block image are used. This is a method in which an average block image subjected to averaging processing between compensation block images is added.
【００４３】図５に、この方法を用いた、予測誤差符号
化が行われる予測画像作成の手順を示す。４０１は、現
フレームの原画像にブロック分割（一般的なブロックサ
イズは縦１６画素，横１６画素の正方形ブロック）を施
した図である。ここでは、その中の１ブロック４０２に
注目することにする。図５中、i,jは原画像４０１内で
のブロック位置を、Ｇi,jはブロック４０２を、４１０
は既に符号化がなされた時間的に現フレームに近いフレ
ームの復号画像である参照画像を示している。また、参
照画像４１０上のブロック４１１は、参照画像４１０上
において原画像４０１上のブロック４０２と空間的に同
一位置にあるブロックを示している。FIG. 5 shows a procedure for creating a predicted image in which prediction error encoding is performed using this method. Reference numeral 401 denotes a diagram in which the original image of the current frame is divided into blocks (a general block size is a square block of 16 pixels vertically and 16 pixels horizontally). Here, attention will be paid to one block 402 therein. In FIG. 5, i, j denotes a block position in the original image 401, Gi, j denotes a block 402, 410
Indicates a reference image which is a decoded image of a frame which has already been encoded and is temporally close to the current frame. A block 411 on the reference image 410 indicates a block located at the same spatial position as the block 402 on the original image 401 on the reference image 410.
【００４４】まず、原画像４０１と参照画像４１０との
間でローカル動き補償を行い、原画像４０１上のブロッ
ク４０２に対するローカル動き補償ブロック画像４１２
を求める。図５中、４１３は、ローカル動き補償の動き
推定によって検出されたブロック４０２に対する動きベ
クトルMVnである。First, local motion compensation is performed between the original image 401 and the reference image 410, and the local motion compensation block image 412 for the block 402 on the original image 401 is obtained.
Ask for. In FIG. 5, reference numeral 413 denotes a motion vector MVn for the block 402 detected by the motion estimation using local motion compensation.
【００４５】また同時に、原画像４０１と参照画像４１
０との間でグローバル・ローカル動き補償を行い、原画
像４０１上のブロック４０２に対するグローバル動き補
償ブロック画像４２１とグローバル・ローカル動き補償
ブロック画像６２２とを求める。より具体的には、第１
段階として、原画像４０１と参照画像４１０との間でグ
ローバル動き補償を行い、グローバル動き補償予測画像
４２０を合成し、合成したグローバル動き補償予測画像
４２０上において原画像４０１上のブロック４０２と空
間的に同一位置にあるブロック内の画像をグローバル動
き補償ブロック画像４２１として求める。次に、第２段
階として、原画像４０１と合成したグローバル動き補償
予測画像４２０との間でローカル動き補償を行い、原画
像４０１上のブロック４０２に対するグローバル・ロー
カル動き補償ブロック画像６２２を求める。図５中、６
２３は、グローバル・ローカル動き補償における上記第
２段階目のローカル動き補償の動き推定によって検出さ
れたブロック４０２に対する動きベクトルMVgである。At the same time, the original image 401 and the reference image 41
Global and local motion compensation is performed between 0 and a global motion compensation block image 421 and a global local motion compensation block image 622 for the block 402 on the original image 401 are obtained. More specifically, the first
As a step, global motion compensation is performed between the original image 401 and the reference image 410, a global motion compensated predicted image 420 is synthesized, and the block 402 on the original image 401 is spatially combined with the block 402 on the synthesized global motion compensated predicted image 420. Is obtained as a global motion compensation block image 421. Next, as a second step, local motion compensation is performed between the original image 401 and the synthesized global motion compensated prediction image 420 to obtain a global local motion compensation block image 622 for the block 402 on the original image 401. In FIG. 5, 6
23 is a motion vector MVg for the block 402 detected by the motion estimation of the second-stage local motion compensation in the global local motion compensation.
【００４６】次に、ローカル動き補償ブロック画像４１
２とグローバル動き補償ブロック画像４２１との対応す
る位置の各画素を平均化することにより、平均ブロック
画像４０を作成する。この平均化処理は、上述した（数
１）と同様であるので、ここでは説明を省略する。Next, the local motion compensation block image 41
The average block image 40 is created by averaging each pixel at a position corresponding to the position 2 and the global motion compensation block image 421. Since this averaging process is the same as the above (Equation 1), the description is omitted here.
【００４７】最後に、この３個のブロック画像（ローカ
ル動き補償ブロック画像４１２，グローバル・ローカル
動き補償ブロック画像６２２，平均ブロック画像４０）
の中から符号化効率が最適となるものを選択する。Finally, these three block images (local motion compensation block image 412, global / local motion compensation block image 622, average block image 40)
Of the coding efficiency is selected.
【００４８】上述した処理を、原画像４０１上のブロッ
ク４０２以外のブロックについても行い、原画像４０１
上の各ブロック毎に選択された各ブロック画像を寄せ集
めて、原画像４０１との間で予測誤差符号化が行われる
予測画像４６０が合成される。その後、原画像４０１上
の各ブロック毎に、予測画像４６０上の対応する位置の
ブロック画像との予測誤差信号が求められ、予測誤差信
号をＤＣＴ変換し、さらに量子化して復号側に伝送す
る。尚、グローバル・ローカル動き補償における上記第
１段階目のグローバル動き補償の動き推定によって検出
されたパッチに対する動きベクトル（以下、グローバル
動きベクトルと呼ぶ）は、各フレーム毎に復号側に伝送
される。また、ローカル動き補償の動き推定によって検
出されたブロックに対する動きベクトル（以下、ローカ
ル動きベクトルと呼ぶ）は、上述した３つのブロック画
像からローカル動き補償ブロック画像或いは平均ブロッ
ク画像を選択した場合に予測誤差信号と共に復号側に伝
送される。さらに、グローバル・ローカル動き補償にお
ける上記第２段階目のローカル動き補償の動き推定によ
って検出されたブロックに対する動きベクトル（以下、
グローバル・ローカル動きベクトルと呼ぶ）は、上述し
た３つのブロック画像からグローバル・ローカル動き補
償ブロック画像を選択した場合に予測誤差信号と共に復
号側に伝送される。即ち、上述した３つのブロック画像
から何れを選択した場合にも、各ブロック毎の予測誤差
信号と共に伝送される動きベクトルは１つである。The above-described processing is performed on the blocks other than the block 402 on the original image 401 to obtain the original image 401.
The block images selected for each of the above blocks are collected, and a predicted image 460 to be subjected to prediction error encoding with the original image 401 is synthesized. After that, for each block on the original image 401, a prediction error signal from a block image at a corresponding position on the prediction image 460 is obtained, and the prediction error signal is DCT-transformed, further quantized, and transmitted to the decoding side. Note that a motion vector (hereinafter, referred to as a global motion vector) for a patch detected by the motion estimation of the first-stage global motion compensation in the global / local motion compensation is transmitted to the decoding side for each frame. In addition, a motion vector (hereinafter, referred to as a local motion vector) for a block detected by the motion estimation of the local motion compensation is a prediction error when a local motion compensation block image or an average block image is selected from the above three block images. The signal is transmitted to the decoding side. Further, a motion vector (hereinafter, referred to as a block) for a block detected by the motion estimation of the second-stage local motion compensation in the global local motion compensation.
The global / local motion vector) is transmitted to the decoding side together with the prediction error signal when a global / local motion compensation block image is selected from the above three block images. That is, no matter which of the three block images is selected, one motion vector is transmitted together with the prediction error signal for each block.
【００４９】図３，図４及び図５に基づいて説明したそ
れぞれの予測画像の作成方法において、符号化効率が最
適となるブロック画像の選択基準としては、(1)発生す
る予測誤差信号に対する符号化情報量がより少なくなる
ものを選択する、或いは、(2)発生する予測誤差信号と
動きベクトルに対するトータルの符号化情報量がより少
なくなるものを選択する、等が考えられる。上記(1),
(2)の何れの選択基準が適切かは、予測画像の作成方法
によって異なる。上述した図３，図４の予測画像の作成
方法では、選択するブロック画像によって伝送すべき各
ブロックに対する動きベクトルの数が異なるため、上記
(2)の選択基準に基づいてブロック画像の選択を行うほ
うが符号化効率の観点からいって望ましい。一方、上述
した図５の予測画像の作成方法では、選択するブロック
画像によって伝送すべき各ブロックに対する動きベクト
ルの数は変わらないため、上記(1),(2)の何れの選択基
準を用いても大差はないが、演算処理量の観点からいえ
ば上記(1)の選択基準のほうが好ましい。In each of the methods for creating a predicted image described with reference to FIGS. 3, 4 and 5, the selection criteria of the block image with the optimum encoding efficiency are as follows: It is conceivable to select a code with a smaller amount of encoded information, or (2) select a code with a smaller total encoded information amount for the generated prediction error signal and motion vector. (1) above,
Which selection criterion of (2) is appropriate depends on the method of creating the predicted image. In the above-described method of creating a predicted image in FIGS. 3 and 4, the number of motion vectors for each block to be transmitted differs depending on the selected block image.
It is more desirable to select a block image based on the selection criterion (2) from the viewpoint of coding efficiency. On the other hand, in the above-described method of creating a predicted image in FIG. 5, since the number of motion vectors for each block to be transmitted does not change depending on the block image to be selected, any one of the above selection criteria (1) and (2) Although there is no great difference, the selection criterion (1) is more preferable from the viewpoint of the amount of calculation processing.
【００５０】上述した３通りの予測画像の作成方法で
は、異なる予測画像のブロック画像を平均化することに
よるノイズ除去とローパスフィルタの効果が得られるた
め、予測誤差信号に対するＤＣＴ係数の交流成分の電力
スペクトルが小さくなり、予測特性の向上が期待でき
る。In the above-described three methods of creating a predicted image, the noise removal and the effect of the low-pass filter can be obtained by averaging block images of different predicted images, so that the power of the AC component of the DCT coefficient with respect to the prediction error signal is obtained. The spectrum becomes smaller, and improvement in prediction characteristics can be expected.
【００５１】図６は、本発明が適用される動画像符号化
装置の図である。FIG. 6 is a diagram of a moving picture coding apparatus to which the present invention is applied.
【００５２】図６において、３００は制御装置、３０２
は減算器、３０４はＤＣＴ変換器、３０５は量子化器、
３０７は逆量子化器、３０８は逆ＤＣＴ変換器、３１０
は加算器、３１３はフレームメモリ、３１５は動き補償
処理部、３１９はスイッチ、３２３は多重化装置であ
る。In FIG. 6, reference numeral 300 denotes a control device;
Is a subtractor, 304 is a DCT transformer, 305 is a quantizer,
307 is an inverse quantizer, 308 is an inverse DCT transformer, 310
Is an adder, 313 is a frame memory, 315 is a motion compensation processing unit, 319 is a switch, and 323 is a multiplexer.
【００５３】この動画像符号化装置は、フレーム間／フ
レーム内適応符号化方式を採用しているものであり、ス
イッチ３１９によって、フレーム間符号化とフレーム内
符号化を切り換える。尚、スイッチ３１９は制御装置３
００によってフレーム単位で制御される。また、フレー
ム毎にフレーム間符号化とフレーム内符号化の何れが行
われたかを示すフレームタイプ情報が、制御装置３００
から多重化装置３２３に送られる。This moving picture coding apparatus employs an inter-frame / intra-frame adaptive coding method, and switches between inter-frame coding and intra-frame coding by a switch 319. The switch 319 is connected to the control device 3
00 is controlled in frame units. Also, frame type information indicating whether inter-frame coding or intra-frame coding has been performed for each frame is stored in the control device 300.
To the multiplexer 323.
【００５４】フレーム内符号化符号化の場合の動作は、
以下の通りである。The operation in the case of intra-frame coding is as follows.
It is as follows.
【００５５】減算器３０２は、現フレームの原画像３０
１と０信号３１２（＝３２０）が入力され、ブロック毎
に現フレームの原画像３０３がそのまま出力される。こ
の原画像３０３は、ＤＣＴ変換器３０４でＤＣＴ係数に
変換された後に量子化器３０５で量子化され、量子化Ｄ
ＣＴ係数３０６となる。尚、量子化器で用いられる量子
化係数は、制御装置３００により制御され、量子化制御
情報３２２が、制御装置３００から多重化装置３２３に
送られる。この量子化ＤＣＴ係数３０６は、多重化装置
３２３に入力され、フレームタイプ情報３２１と量子化
制御情報３２２とともに多重化され、伝送される。The subtractor 302 calculates the original image 30 of the current frame.
The 1 and 0 signals 312 (= 320) are input, and the original image 303 of the current frame is output as it is for each block. This original image 303 is converted into DCT coefficients by a DCT transformer 304 and then quantized by a quantizer 305 to obtain a quantized D
It becomes the CT coefficient 306. The quantization coefficients used in the quantizer are controlled by the control device 300, and the quantization control information 322 is sent from the control device 300 to the multiplexing device 323. The quantized DCT coefficient 306 is input to the multiplexer 323, multiplexed with the frame type information 321 and the quantization control information 322, and transmitted.
【００５６】フレーム間符号化の場合の動作、以下の通
りである。The operation in the case of inter-frame coding is as follows.
【００５７】動き補償処理部３１５は、現フレームの原
画像３０１とフレームメモリ３１３から読み出された現
フレームに対する参照画像３１４とを用いて、図３，図
４或いは図５にて説明した予測画像の作成方法により現
フレームに対する予測画像３１６を合成し、出力する。
また、動き補償処理部３１５は、ブロック毎に何れのブ
ロック画像を選択したかを示すブロックタイプ情報３１
８と選択したブロック画像に応じた動き情報３１７とを
多重化装置３２３に送る。The motion compensation processing unit 315 uses the original image 301 of the current frame and the reference image 314 for the current frame read from the frame memory 313 to predict the predicted image described in FIG. 3, FIG. 4 or FIG. Is synthesized with the predicted image 316 for the current frame and output.
In addition, the motion compensation processing unit 315 generates the block type information 31 indicating which block image is selected for each block.
8 and the motion information 317 corresponding to the selected block image are sent to the multiplexer 323.
【００５８】減算器３０２は、ブロック毎に、入力され
た現フレームの原画像３０１と予測画像３１２（＝３１
６）との差を計算し、予測誤差信号３０３を出力する。
この予測誤差信号３０３は、ＤＣＴ変換器３０４でＤＣ
Ｔ係数に変換された後に量子化器３０５で量子化され、
量子化ＤＣＴ係数３０６となる。尚、量子化器で用いら
れる量子化係数は、制御装置３００により制御され、量
子化制御情報３２２が、制御装置３００から多重化装置
３２３に送られる。この量子化ＤＣＴ係数３０６は、多
重化装置３２３に入力されるとともに、逆量子化器３０
７に入力される。逆量子化器３０７に入力された量子化
ＤＣＴ係数３０６は逆量子化され、さらに、逆ＤＣＴ変
換器３０８で予測誤差信号３０９が復号される。この予
測誤差信号３０９は、加算器３１０で予測画像３１２が
加えられ、現フレームの復号画像３１１となる。この復
号画像３１１は、次フレームに対する参照画像としてフ
レームメモリ３１３に蓄えられる。The subtractor 302 outputs, for each block, the original image 301 and the predicted image 312 (= 31) of the input current frame.
6) is calculated, and a prediction error signal 303 is output.
The prediction error signal 303 is converted by the DCT
After being converted to a T coefficient, it is quantized by a quantizer 305,
It becomes the quantized DCT coefficient 306. The quantization coefficients used in the quantizer are controlled by the control device 300, and the quantization control information 322 is sent from the control device 300 to the multiplexing device 323. This quantized DCT coefficient 306 is input to the multiplexer 323, and the inverse quantizer 30
7 is input. The quantized DCT coefficient 306 input to the inverse quantizer 307 is inversely quantized, and the inverse DCT transformer 308 decodes the prediction error signal 309. The prediction image 312 is added to the prediction error signal 309 by the adder 310 to become a decoded image 311 of the current frame. This decoded image 311 is stored in the frame memory 313 as a reference image for the next frame.
【００５９】多重化装置３２３は、入力されたフレーム
タイプ情報，量子化制御情報，量子化ＤＣＴ係数，動き
情報及びブロックタイプ情報を、図７及び図８に示すフ
ォーマットに従って多重化し、伝送する。The multiplexer 323 multiplexes the input frame type information, quantization control information, quantized DCT coefficients, motion information and block type information according to the formats shown in FIGS.
【００６０】図７は、フレームデータのフォーマットを
示す図である。フレームデータは、フレームヘッダ情
報，フレームタイプ情報，グローバル動きベクトル，複
数のブロックデータ及びエンドコードから構成される。
また、図８は、上記フレームデータ中の各ブロックデー
タのフォーマットを示す図である。ブロックデータは、
基本的には、ブロックタイプ情報、量子化制御情報，ブ
ロックに対する動きベクトル及び量子化ＤＣＴ係数から
構成される。但し、ブロックに対する動きベクトルにつ
いては、図３，図４或いは図５の予測画像の作成方法に
おいて選択されたブロック画像によって、動きベクトル
がない場合（ａ）と動きベクトルが１つの場合（ｃ),
(ｄ）と動きベクトルが２つの場合（ｂ）とがある。FIG. 7 is a diagram showing a format of frame data. The frame data includes frame header information, frame type information, a global motion vector, a plurality of block data, and an end code.
FIG. 8 is a diagram showing a format of each block data in the frame data. The block data is
Basically, it is composed of block type information, quantization control information, motion vectors for blocks, and quantized DCT coefficients. However, regarding the motion vector for the block, the case where there is no motion vector (a) and the case where there is one motion vector (c), depending on the block image selected in the method of creating the predicted image of FIG. 3, FIG. 4 or FIG.
There are (d) and the case of two motion vectors (b).
【００６１】ブロックに対する動きベクトルがない図８
(ａ）は、図３で示した予測画像の作成方法においてグ
ローバル動き補償ブロック画像を選択した場合のブロッ
クデータのフォーマットである。FIG. 8 without a motion vector for a block
(a) is a block data format when a global motion compensation block image is selected in the method of creating a predicted image shown in FIG.
【００６２】ブロックに対する動きベクトルがローカル
動きベクトルとグローバル・ローカル動きベクトルであ
る図８(ｂ）は、図４で示した予測画像の作成方法にお
いて平均ブロック画像を選択した場合のブロックデータ
のフォーマットである。FIG. 8B, in which the motion vector for the block is a local motion vector and a global / local motion vector, is a block data format when an average block image is selected in the method of creating a predicted image shown in FIG. is there.
【００６３】ブロックに対する動きベクトルがローカル
動きベクトルのみである図８(ｃ）は、図３，図４及び
図５で示した予測画像の作成方法においてローカル動き
補償ブロック画像を選択した場合と図３及び図５で示し
た予測画像の作成方法において平均ブロック画像を選択
した場合のブロックデータのフォーマットである。FIG. 8C, in which the motion vector for the block is only the local motion vector, shows the case where the local motion compensation block image is selected in the method of producing the predicted image shown in FIGS. 3, 4 and 5, and FIG. 6 is a block data format when an average block image is selected in the method of creating a predicted image shown in FIG.
【００６４】ブロックに対する動きベクトルがグローバ
ル・ローカル動きベクトルのみである図８(ｄ）は、図
４及び図５で示した予測画像の作成方法においてグロー
バル・ローカル動き補償ブロック画像を選択した場合の
ブロックデータのフォーマットである。FIG. 8D, in which the motion vector for the block is only the global / local motion vector, is a block in the case where the global / local motion compensation block image is selected in the method of creating the predicted image shown in FIGS. This is the format of the data.
【００６５】[0065]
【発明の効果】以上説明してきた本発明によれば、簡単
な平均化の演算処理を加えることのみで、原画像との間
で予測誤差を求めるブロック画像の候補を増やすことが
でき、符号化効率を向上させることができる。According to the present invention described above, it is possible to increase the number of block image candidates for which a prediction error is to be obtained between the original image and the original image only by adding a simple averaging operation. Efficiency can be improved.
【図１】ブロックマッチングの原理を示した図である。FIG. 1 is a diagram showing the principle of block matching.
【図２】グローバル動き補償の原理を示した図である。FIG. 2 is a diagram illustrating the principle of global motion compensation.
【図３】予測画像の作成手順を示した図である。FIG. 3 is a diagram showing a procedure for creating a predicted image.
【図４】予測画像の他の作成手順を示した図である。FIG. 4 is a diagram showing another procedure for creating a predicted image.
【図５】予測画像の他の作成手順を示した図である。FIG. 5 is a diagram showing another procedure for creating a predicted image.
【図６】本発明が適用される符号化装置の図である。FIG. 6 is a diagram of an encoding device to which the present invention is applied.
【図７】フレームデータのフォーマットの図である。FIG. 7 is a diagram of a format of frame data.
【図８】ブロックデータのフォーマットの図である。FIG. 8 is a diagram of a format of block data.
１０１，２０１，４０１…現フレームの原画像、２０
２，１０２，４１０…参照画像、１０６…ローカル動き
補償予測画像、２０４〜２０７…現フレームの原画像の
格子点、２０９〜２１２…グローバル動き推定後の格子
点、４２０…グローバル動き補償予測画像、４１２…ロ
ーカル動き補償ブロック画像、４２１…グローバル動き
補償ブロック画像、４４０，６４０，４０…平均ブロッ
ク画像、４６０…予測画像、６２２…グローバル・ロー
カル動き補償ブロック画像、３００…制御装置、３０２
…減算器、３０４…ＤＣＴ変換器、３０５…量子化器、
３０７…逆量子化器、３０８…逆ＤＣＴ変換器、３１０
…加算器、３１３…フレームメモリ、３１５…動き補償
処理部、３１９…スイッチ、３２３…多重化装置。101, 201, 401... Original image of the current frame, 20
2, 102, 410: Reference image, 106: Local motion compensation predicted image, 204 to 207: Grid points of the original image of the current frame, 209 to 212: Grid points after global motion estimation, 420: Global motion compensated predicted image, 412: local motion compensation block image, 421: global motion compensation block image, 440, 640, 40: average block image, 460: prediction image, 622: global / local motion compensation block image, 300: control device, 302
... subtractor, 304 ... DCT converter, 305 ... quantizer,
307: inverse quantizer, 308: inverse DCT transformer, 310
.., An adder, 313, a frame memory, 315, a motion compensation processing unit, 319, a switch, 323, a multiplexer.
Claims (9)
成方法であって 原画像を複数のブロックに分割するステップと、 ローカル動き補償によって、原画像の各ブロックに対す
る複数のローカル動き補償ブロック画像を合成するステ
ップと、 グローバル動き補償によって、原画像の各ブロックに対
する複数のグローバル動き補償ブロック画像を合成する
ステップと、 原画像の１つのブロックに対して合成されたローカル動
き補償ブロック画像とグローバル動き補償ブロック画像
との平均化処理を、原画像の各ブロックに対して行い、
原画像の各ブロックに対する複数の平均ブロック画像を
合成するステップと、 原画像の各ブロック毎に、合成されたローカル動き補償
ブロック画像，グローバル動き補償ブロック画像或いは
平均ブロック画像の中から１つのブロック画像を選択す
るステップと、 原画像の各ブロック毎に選択された各ブロック画像を寄
せ集めて、予測画像を合成するステップとを有すること
を特徴とする予測画像の作成方法。1. A method for creating a predicted image for an original image of a current frame, comprising: dividing the original image into a plurality of blocks; and performing local motion compensation to generate a plurality of local motion compensation block images for each block of the original image. Combining, a plurality of global motion compensation block images for each block of the original image by global motion compensation, and a local motion compensation block image combined with one block of the original image and global motion compensation Averaging with the block image is performed for each block of the original image,
Synthesizing a plurality of average block images for each block of the original image; and for each block of the original image, one block image from the synthesized local motion compensation block image, global motion compensation block image, or average block image And a step of combining the block images selected for each block of the original image and synthesizing the predicted image.
て、 現フレームの原画像を複数のブロックに分割するステッ
プと、 ローカル動き補償によって、原画像の各ブロックに対す
る複数のローカル動き補償ブロック画像を合成するステ
ップと、 グローバル動き補償によって、原画像の各ブロックに対
する複数のグローバル動き補償ブロック画像を合成する
ステップと、 原画像の１つのブロックに対して合成されたローカル動
き補償ブロック画像とグローバル動き補償ブロック画像
との平均化処理を、原画像の各ブロックに対して行い、
原画像の各ブロックに対する複数の平均ブロック画像を
合成するステップと、 原画像の各ブロック毎に、合成されたローカル動き補償
ブロック画像，グローバル動き補償ブロック画像或いは
平均ブロック画像の中から１つのブロック画像を選択す
るステップと、 原画像の各ブロック毎に、原画像のブロック内の画像と
選択されたブロック画像との間の予測誤差信号を算出す
るステップと、 算出された原画像の各ブロック毎の各予測誤差信号をＤ
ＣＴ係数に変換するステップと、 原画像の各ブロック毎の各ＤＣＴ係数を量子化して、量
子化ＤＣＴ係数を求めるステップと、 原画像の各ブロック毎の各量子化ＤＣＴ係数を伝送する
ステップとを有することを特徴とする動画像符号化方
法。2. A video coding method using motion compensation, comprising: dividing an original image of a current frame into a plurality of blocks; and performing local motion compensation on each of the blocks of the original image. Combining a block image; combining global motion compensation block images for each block of the original image with global motion compensation; and local motion compensation block images combined for one block of the original image. Averaging with the global motion compensation block image is performed for each block of the original image,
Synthesizing a plurality of average block images for each block of the original image; and for each block of the original image, one block image from the synthesized local motion compensation block image, global motion compensation block image, or average block image Selecting, for each block of the original image, calculating a prediction error signal between the image in the block of the original image and the selected block image; and for each block of the calculated original image Let each prediction error signal be D
Converting to a CT coefficient, quantizing each DCT coefficient for each block of the original image to obtain a quantized DCT coefficient, and transmitting each quantized DCT coefficient for each block of the original image. A moving picture coding method comprising:
化装置であって、 現フレームの原画像と参照画像とを用いて動き補償を行
い、予測画像を合成する動き補償処理部と、 原画増を複数の領域に分割した各ブロック毎に、原画像
と合成された予測画像との間の予測誤差信号を出力する
減算器と、 上記各ブロック毎の各予測誤差信号をＤＣＴ係数に変換
するＤＣＴ変換器と、 上記各ブロック毎の各ＤＣＴ係数を量子化して、量子化
ＤＣＴ係数を出力する量子化器とを備え、 上記動き補償処理部が、原画像と参照画像とを用いて、
上記各ブロックに対するローカル動き補償ブロック画像
とグローバル動き補償ブロック画像とを合成し、さら
に、合成したローカル動き補償ブロック画像とグローバ
ル動き補償ブロック画像とを平均化することにより、上
記各ブロックに対する平均ブロック画像を合成し、 上記各ブロック毎に、合成されたローカル動き補償ブロ
ック画像，グローバル動き補償ブロック画像或いは平均
ブロック画像のいずれかを選択して、上記減算器に供給
することを特徴とする符号化装置。3. An encoding apparatus for performing moving image encoding using motion compensation, comprising: a motion compensation processing unit that performs motion compensation using an original image of a current frame and a reference image, and synthesizes a predicted image. A subtractor for outputting a prediction error signal between an original image and a synthesized prediction image for each block obtained by dividing the original image into a plurality of regions; and a DCT coefficient for converting each prediction error signal for each block into a DCT coefficient. A DCT converter for transforming, and a quantizer for quantizing each DCT coefficient of each of the blocks and outputting a quantized DCT coefficient, wherein the motion compensation processing unit uses an original image and a reference image. ,
By synthesizing the local motion compensation block image and the global motion compensation block image for each block and averaging the synthesized local motion compensation block image and global motion compensation block image, an average block image for each block is obtained. Encoding apparatus for selecting, for each of the blocks, one of the synthesized local motion compensation block image, global motion compensation block image, and average block image, and supplying the selected block to the subtracter. .
成方法であって、 原画像を複数のブロックに分割するステップと、 ローカル動き補償によって、原画像の各ブロックに対す
る複数のローカル動き補償ブロック画像を合成するステ
ップと、 グローバル・ローカル動き補償によって、原画像の各ブ
ロックに対する複数のグローバル・ローカル動き補償ブ
ロック画像を合成するステップと、 原画像の１つのブロックに対して合成されたローカル動
き補償ブロック画像とグローバル・ローカル動き補償ブ
ロック画像との平均化処理を、原画像の各ブロックに対
して行い、原画像の各ブロックに対する複数の平均ブロ
ック画像を合成するステップと、 原画像の各ブロック毎に、合成されたローカル動き補償
ブロック画像，グローバル・ローカル動き補償ブロック
画像或いは平均ブロック画像の中から１つのブロック画
像を選択するステップと、 原画像の各ブロック毎に選択された各ブロック画像を寄
せ集めて、予測画像を合成するステップとを有すること
を特徴とする予測画像の作成方法。4. A method for creating a predicted image for an original image of a current frame, comprising: dividing the original image into a plurality of blocks; and performing local motion compensation on the plurality of local motion compensated block images for each block of the original image. Synthesizing a plurality of global local motion compensation block images for each block of the original image by global local motion compensation; and a local motion compensation block synthesized for one block of the original image. Averaging the image and the global / local motion compensation block image for each block of the original image, and synthesizing a plurality of average block images for each block of the original image; , Synthesized local motion compensation block image, global local Selecting one block image from the motion compensated block image or the average block image; and combining the block images selected for each block of the original image to synthesize a predicted image. A method for creating a featured prediction image.
て、 現フレームの原画像を複数のブロックに分割するステッ
プと、 ローカル動き補償によって、原画像の各ブロックに対す
る複数のローカル動き補償ブロック画像を合成するステ
ップと、 グローバル・ローカル動き補償によって、原画像の各ブ
ロックに対する複数のグローバル・ローカル動き補償ブ
ロック画像を合成するステップと、 原画像の１つのブロックに対して合成されたローカル動
き補償ブロック画像とグローバル・ローカル動き補償ブ
ロック画像との平均化処理を、原画像の各ブロックに対
して行い、原画像の各ブロックに対する複数の平均ブロ
ック画像を合成するステップと、 原画像の各ブロック毎に、合成されたローカル動き補償
ブロック画像，グローバル・ローカル動き補償ブロック
画像或いは平均ブロック画像の中から１つのブロック画
像を選択するステップと、 原画像の各ブロック毎に、原画像のブロック内の画像と
選択されたブロック画像との間の予測誤差信号を算出す
るステップと、 算出された原画像の各ブロック毎の各予測誤差信号をＤ
ＣＴ係数に変換するステップと、 原画像の各ブロック毎の各ＤＣＴ係数を量子化して、量
子化ＤＣＴ係数を求めるステップと、 原画像の各ブロック毎の各量子化ＤＣＴ係数を伝送する
ステップとを有することを特徴とする動画像符号化方
法。5. A video coding method using motion compensation, comprising: dividing an original image of a current frame into a plurality of blocks; and performing local motion compensation on each of the blocks of the original image. Synthesizing a block image; synthesizing a plurality of global local motion compensation block images for each block of the original image by global local motion compensation; and local motion synthesized for one block of the original image Averaging the compensation block image and the global / local motion compensation block image for each block of the original image to synthesize a plurality of average block images for each block of the original image; In each case, synthesized local motion compensation block image, global local Selecting one block image from the motion-compensated block image or the average block image; and, for each block of the original image, calculating a prediction error signal between an image in the block of the original image and the selected block image. Calculating, and calculating each prediction error signal for each block of the calculated original image as D
Converting to a CT coefficient, quantizing each DCT coefficient for each block of the original image to obtain a quantized DCT coefficient, and transmitting each quantized DCT coefficient for each block of the original image. A moving picture coding method comprising:
化装置であって、 現フレームの原画像と参照画像とを用いて動き補償を行
い、予測画像を合成する動き補償処理部と、 原画増を複数の領域に分割した各ブロック毎に、原画像
と合成された予測画像との間の予測誤差信号を出力する
減算器と、 上記各ブロック毎の各予測誤差信号をＤＣＴ係数に変換
するＤＣＴ変換器と、 上記各ブロック毎の各ＤＣＴ係数を量子化して、量子化
ＤＣＴ係数を出力する量子化器とを備え、 上記動き補償処理部が、原画像と参照画像とを用いて、
上記各ブロックに対するローカル動き補償ブロック画像
とグローバル・ローカル動き補償ブロック画像とを合成
し、さらに、合成したローカル動き補償ブロック画像と
グローバル・ローカル動き補償ブロック画像とを平均化
することにより、上記各ブロックに対する平均ブロック
画像を合成し、 上記各ブロック毎に、合成されたローカル動き補償ブロ
ック画像，グローバル・ローカル動き補償ブロック画像
或いは平均ブロック画像のいずれかを選択して、上記減
算器に供給することを特徴とする符号化装置。6. An encoding apparatus for performing video encoding using motion compensation, comprising: a motion compensation processing unit that performs motion compensation using an original image of a current frame and a reference image, and synthesizes a predicted image. A subtractor for outputting a prediction error signal between an original image and a synthesized prediction image for each block obtained by dividing the original image into a plurality of regions; and a DCT coefficient for converting each prediction error signal for each block into a DCT coefficient. A DCT converter for transforming, and a quantizer for quantizing each DCT coefficient of each of the blocks and outputting a quantized DCT coefficient, wherein the motion compensation processing unit uses an original image and a reference image. ,
By synthesizing the local motion compensation block image and the global local motion compensation block image for each of the blocks, and averaging the synthesized local motion compensation block image and the global local motion compensation block image, And synthesizing an average block image for each of the blocks, selecting one of the synthesized local motion compensation block image, global local motion compensation block image and average block image for each block, and supplying the selected block to the subtractor. An encoding device characterized by the following.
成方法であって、 原画像を複数のブロックに分割するステップと、 ローカル動き補償によって、原画像の各ブロックに対す
る複数のローカル動き補償ブロック画像を合成するステ
ップと、 グローバル・ローカル動き補償によって、原画像の各ブ
ロックに対する複数のグローバル動き補償ブロック画像
と複数のグローバル・ローカル動き補償ブロック画像を
合成するステップと、 原画像の１つのブロックに対して合成されたローカル動
き補償ブロック画像とグローバル動き補償ブロック画像
との平均化処理を、原画像の各ブロックに対して行い、
原画像の各ブロックに対する複数の平均ブロック画像を
合成するステップと、 原画像の各ブロック毎に、合成されたローカル動き補償
ブロック画像，グローバル・ローカル動き補償ブロック
画像或いは平均ブロック画像の中から１つのブロック画
像を選択するステップと、 原画像の各ブロック毎に選択された各ブロック画像を寄
せ集めて、予測画像を合成するステップとを有すること
を特徴とする予測画像の作成方法。7. A method of creating a predicted image for an original image of a current frame, comprising: dividing the original image into a plurality of blocks; and performing local motion compensation on the plurality of local motion compensated block images for each block of the original image. Synthesizing a plurality of global motion compensation block images and a plurality of global local motion compensation block images for each block of the original image by global local motion compensation; Averaging processing of the local motion compensation block image and the global motion compensation block image synthesized by performing on each block of the original image,
Combining a plurality of average block images for each block of the original image; and, for each block of the original image, one of a combined local motion compensation block image, global local motion compensation block image, or average block image. A method for creating a predicted image, comprising: selecting a block image; and combining the block images selected for each block of the original image to synthesize a predicted image.
て、 現フレームの原画像を複数のブロックに分割するステッ
プと、 ローカル動き補償によって、原画像の各ブロックに対す
る複数のローカル動き補償ブロック画像を合成するステ
ップと、 グローバル・ローカル動き補償によって、原画像の各ブ
ロックに対する複数のグローバル動き補償ブロック画像
と複数のグローバル・ローカル動き補償ブロック画像を
合成するステップと、 原画像の１つのブロックに対して合成されたローカル動
き補償ブロック画像とグローバル動き補償ブロック画像
との平均化処理を、原画像の各ブロックに対して行い、
原画像の各ブロックに対する複数の平均ブロック画像を
合成するステップと、 原画像の各ブロック毎に、合成されたローカル動き補償
ブロック画像，グローバル・ローカル動き補償ブロック
画像或いは平均ブロック画像の中から１つのブロック画
像を選択するステップと、 原画像の各ブロック毎に、原画像のブロック内の画像と
選択されたブロック画像との間の予測誤差信号を算出す
るステップと、 算出された原画像の各ブロック毎の各予測誤差信号をＤ
ＣＴ係数に変換するステップと、 原画像の各ブロック毎の各ＤＣＴ係数を量子化して、量
子化ＤＣＴ係数を求めるステップと、 原画像の各ブロック毎の各量子化ＤＣＴ係数を伝送する
ステップとを有することを特徴とする動画像符号化方
法。8. A video coding method using motion compensation, comprising: dividing an original image of a current frame into a plurality of blocks; and performing local motion compensation on each of the blocks of the original image. Synthesizing a plurality of global motion compensation block images and a plurality of global local motion compensation block images for each block of the original image by global local motion compensation; and one block of the original image Averaging processing of the local motion compensation block image and the global motion compensation block image synthesized with respect to is performed on each block of the original image,
Combining a plurality of average block images for each block of the original image; and, for each block of the original image, one of a combined local motion compensation block image, global local motion compensation block image, or average block image. Selecting a block image; calculating, for each block of the original image, a prediction error signal between an image in the block of the original image and the selected block image; each block of the calculated original image Each prediction error signal for each
Converting to a CT coefficient, quantizing each DCT coefficient for each block of the original image to obtain a quantized DCT coefficient, and transmitting each quantized DCT coefficient for each block of the original image. A moving picture coding method comprising:
化装置であって、 現フレームの原画像と参照画像とを用いて動き補償を行
い、予測画像を合成する動き補償処理部と、 原画増を複数の領域に分割した各ブロック毎に、原画像
と合成された予測画像との間の予測誤差信号を出力する
減算器と、 上記各ブロック毎の各予測誤差信号をＤＣＴ係数に変換
するＤＣＴ変換器と、 上記各ブロック毎の各ＤＣＴ係数を量子化して、量子化
ＤＣＴ係数を出力する量子化器とを備え、 上記動き補償処理部が、原画像と参照画像とを用いて、
上記各ブロックに対するローカル動き補償ブロック画像
とグローバル動き補償ブロック画像とグローバル・ロー
カル動き補償ブロック画像とを合成し、さらに、合成し
たローカル動き補償ブロック画像とグローバル動き補償
ブロック画像とを平均化することにより、上記各ブロッ
クに対する平均ブロック画像を合成し、 上記各ブロック毎に、合成されたローカル動き補償ブロ
ック画像，グローバル・ローカル動き補償ブロック画像
或いは平均ブロック画像のいずれかを選択して、上記減
算器に供給することを特徴とする符号化装置。9. An encoding apparatus for performing moving image encoding using motion compensation, comprising: a motion compensation processing unit that performs motion compensation using an original image of a current frame and a reference image and synthesizes a predicted image. A subtractor for outputting a prediction error signal between an original image and a synthesized prediction image for each block obtained by dividing the original image into a plurality of regions; and a DCT coefficient for converting each prediction error signal for each block into a DCT coefficient. A DCT converter for transforming, and a quantizer for quantizing each DCT coefficient of each of the blocks and outputting a quantized DCT coefficient, wherein the motion compensation processing unit uses an original image and a reference image. ,
By synthesizing the local motion compensation block image, the global motion compensation block image, and the global local motion compensation block image for each block, and averaging the synthesized local motion compensation block image and global motion compensation block image. And synthesizing an average block image for each of the blocks, selecting one of the synthesized local motion compensation block image, global local motion compensation block image or average block image for each of the blocks, and An encoding device characterized by supplying.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25465397A JPH10150665A (en) | 1996-09-20 | 1997-09-19 | Method for generating predictive image, and method and device for image encoding |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24960296 | 1996-09-20 | ||
| JP8-249602 | 1996-09-20 | ||
| JP25465397A JPH10150665A (en) | 1996-09-20 | 1997-09-19 | Method for generating predictive image, and method and device for image encoding |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005289513A Division JP2006094539A (en) | 1996-09-20 | 2005-10-03 | Method for generating predictive image, and method and device for image encoding |
| JP2007227251A Division JP2008005546A (en) | 1996-09-20 | 2007-09-03 | Method for producing predictive image, and method and device for image encoding |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10150665A true JPH10150665A (en) | 1998-06-02 |
Family
ID=26539385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25465397A Pending JPH10150665A (en) | 1996-09-20 | 1997-09-19 | Method for generating predictive image, and method and device for image encoding |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10150665A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009081622A (en) * | 2007-09-26 | 2009-04-16 | Oki Semiconductor Co Ltd | Moving image compression encoder |
| JP2010147985A (en) * | 2008-12-22 | 2010-07-01 | Sony Corp | Image processing apparatus and method, and program |
| JP2012075088A (en) * | 2010-09-03 | 2012-04-12 | Pentax Ricoh Imaging Co Ltd | Image processing system and image processing method |
| JP2013537748A (en) * | 2010-07-30 | 2013-10-03 | トムソン ライセンシング | Method and apparatus for measuring video quality |
-
1997
- 1997-09-19 JP JP25465397A patent/JPH10150665A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009081622A (en) * | 2007-09-26 | 2009-04-16 | Oki Semiconductor Co Ltd | Moving image compression encoder |
| JP2010147985A (en) * | 2008-12-22 | 2010-07-01 | Sony Corp | Image processing apparatus and method, and program |
| JP4645736B2 (en) * | 2008-12-22 | 2011-03-09 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
| US8269843B2 (en) | 2008-12-22 | 2012-09-18 | Sony Corporation | Motion-compensation image processing apparatus, image processing method, and program |
| JP2013537748A (en) * | 2010-07-30 | 2013-10-03 | トムソン ライセンシング | Method and apparatus for measuring video quality |
| JP2012075088A (en) * | 2010-09-03 | 2012-04-12 | Pentax Ricoh Imaging Co Ltd | Image processing system and image processing method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100412622B1 (en) | Picture decoding apparatus and picture decoding method | |
| JP4815107B2 (en) | Lossless video encoding / decoding method and apparatus using color plane prediction | |
| JP3868017B2 (en) | Video processing system | |
| JP4198206B2 (en) | Video information compression method and apparatus using motion dependent prediction | |
| KR20080086771A (en) | Method and apparatus for image encoding, decoding | |
| US6205178B1 (en) | Method and synthesizing a predicted image, video coding device and video coding method | |
| JP3633159B2 (en) | Moving picture signal encoding method and apparatus, and moving picture signal transmission method | |
| JP2900998B2 (en) | Block interpolation predictive encoding apparatus, decoding apparatus, encoding method and decoding method | |
| JP3589480B2 (en) | Video signal encoding method | |
| JP3681784B2 (en) | Video signal encoding device | |
| EP2076050B1 (en) | Motion estimation apparatus and method for moving picture coding | |
| JPH10150665A (en) | Method for generating predictive image, and method and device for image encoding | |
| JP3235453B2 (en) | Image coding device | |
| JP2008005546A (en) | Method for producing predictive image, and method and device for image encoding | |
| JP2008109700A (en) | Method and device for converting digital signal | |
| Panchanathan et al. | Fast multiresolution motion estimation scheme for a wavelet transform video coder | |
| JP4361665B2 (en) | Transcoding method and transcoding apparatus for moving image encoded data | |
| JP3700801B2 (en) | Image coding apparatus and image coding method | |
| JP2006094539A (en) | Method for generating predictive image, and method and device for image encoding | |
| JP2005184525A (en) | Image processor | |
| JP4605212B2 (en) | Digital signal conversion method and digital signal conversion apparatus | |
| JP3186406B2 (en) | Image synthesis coding method and image synthesis apparatus | |
| JPH04213987A (en) | High-efficiency encoding device for image data | |
| JP2596352B2 (en) | Decimal precision motion vector search device | |
| JP2765528B2 (en) | Half-pixel accuracy motion vector search device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050802 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051003 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060411 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060417 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060612 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070903 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20071002 |