JP4645515B2 - Motion compensated image coding method and motion compensated image coding apparatus - Google Patents

Motion compensated image coding method and motion compensated image coding apparatus Download PDF

Info

Publication number
JP4645515B2
JP4645515B2 JP2006116660A JP2006116660A JP4645515B2 JP 4645515 B2 JP4645515 B2 JP 4645515B2 JP 2006116660 A JP2006116660 A JP 2006116660A JP 2006116660 A JP2006116660 A JP 2006116660A JP 4645515 B2 JP4645515 B2 JP 4645515B2
Authority
JP
Japan
Prior art keywords
image
motion
prescribed
motion vector
prediction residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006116660A
Other languages
Japanese (ja)
Other versions
JP2007288727A (en
Inventor
賢二 杉山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2006116660A priority Critical patent/JP4645515B2/en
Publication of JP2007288727A publication Critical patent/JP2007288727A/en
Application granted granted Critical
Publication of JP4645515B2 publication Critical patent/JP4645515B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、テレビジョン映像などの動画像信号を効率的かつ高画質に伝送、蓄積、表示するため、より少ない情報量で動画像信号を符号化する高能率符号化であって、動き補償を伴うフレーム間予測により、予測残差を符号化する動き補償画像符号化処理に属する。   The present invention is a high-efficiency encoding that encodes a moving image signal with a smaller amount of information in order to efficiently transmit, store, and display a moving image signal such as a television image with high image quality. It belongs to the motion compensated image encoding process for encoding the prediction residual by inter-frame prediction.

<動き補償フレーム間予測符号化>
動画像信号の符号化は、動き補償フレーム間予測符号化が一般的となっている。MPEGに代表される国際標準規格もこの方式となっている。入来する動画像信号は、入来信号に対応する予測信号が減算され、予測残差が符号化される。予測信号は動き補償により形成されるが、そのブロック形状やサイズ・精度は規格で定められている。なお、動き補償精度とは、どの程度細かな単位まで動き補償するかであり、動きベクトルの確からしさや、動き補償の総合的な性能(予測残差量)を指すものではない。
<Motion compensated interframe predictive coding>
As for coding of a moving image signal, motion compensation interframe predictive coding is generally used. This is also the case for international standards represented by MPEG. The incoming video signal is subtracted from the prediction signal corresponding to the incoming signal, and the prediction residual is encoded. The prediction signal is formed by motion compensation, and its block shape, size, and accuracy are determined by the standard. Note that the motion compensation accuracy refers to how finely the unit performs motion compensation, and does not indicate the accuracy of motion vectors or the overall performance of motion compensation (prediction residual amount).

標準方式においては、H.261が1画素精度、MPEG-1,2,4が0.5画素精度、MPEG-4
Advanced Simple Profile, H.264, SMPTEのVC-1が0.25画素精度と、新しく標準化されるものほど高精度になっている。ブロック形状はすべて方形である。ブロックサイズはMPEG-2までは16×16画素が基本で、MPEG-4,
VC-1で8×8画素、H.264では4×4画素となっており、より細かな変化まで対応している。動き補償精度が高いほど、またブロックサイズが小さいほど予測残差は少なくできるが、動きベクトルに関する情報は増加する。そこで、ブロックサイズは、予測残差量を観測しながら適応的に切替える。
In the standard system, H.261 is 1 pixel accuracy, MPEG-1, 2, 4 is 0.5 pixel accuracy, MPEG-4
Advanced Simple Profile, H.264, SMPTE VC-1 has 0.25 pixel accuracy, and new standardized ones have higher accuracy. All block shapes are square. The block size is basically 16x16 pixels up to MPEG-2, MPEG-4,
VC-1 is 8 × 8 pixels, and H.264 is 4 × 4 pixels, and even finer changes are supported. The higher the motion compensation accuracy and the smaller the block size, the smaller the prediction residual, but the information on the motion vector increases. Therefore, the block size is adaptively switched while observing the prediction residual amount.

これらの標準方式において、規格で定められているのは復号化処理であり、符号化においても局部復号化処理は規格に準拠したものとなる。ここで、共通の動き補償で得た予測画像を局部復号での加算と予測減算の両方に用いるのが一般的であるが、予測の方は本来自由であり、動き補償に関しても必ずしも局部復号と同一である必要は無い。そこで、予測と局部復号で動き補償精度を変えた符号化が提案されている。   In these standard systems, the standard defines the decoding process, and the local decoding process also complies with the standard in the encoding. Here, it is common to use a prediction image obtained by common motion compensation for both addition and prediction subtraction in local decoding, but prediction is inherently free, and motion compensation is not necessarily limited to local decoding. They do not have to be identical. Therefore, encoding with different motion compensation accuracy has been proposed for prediction and local decoding.

<予測と局部復号で動き補償精度を変えた画像符号化>
図3は、予測と局部復号で動き補償精度を変えた画像符号化の従来例構成を示したものである。この手法は、特許2897649(登録日:平成11年3月12日)「動き補償予測符号化装置」で示されている。また、類似する技術として予測と局部復号で動き補償のリサンプルフィルタを変えたものが、特開平11−164306(公開日:平成11年6月18日)「動き補償動画像符号化装置及びその方法」で示されている。
<Image coding with motion compensation accuracy changed by prediction and local decoding>
FIG. 3 shows a configuration of a conventional example of image coding in which motion compensation accuracy is changed between prediction and local decoding. This technique is shown in Japanese Patent No. 2897649 (registration date: March 12, 1999) “motion compensated prediction coding apparatus”. Another similar technique in which the motion compensation resample filter is changed between prediction and local decoding is disclosed in Japanese Patent Application Laid-Open No. 11-164306 (publication date: June 18, 1999) “Motion Compensated Video Encoding Device and Its It is shown in "Method".

動画像入力1から入来する動画像信号は、減算器2で微小動き補償器32から与えられる高精度予測信号が減算され、得られた予測残差信号がDCT3に与えられる。DCT3は、予測残差信号を8×8画素単位で離散コサイン変換(DCT)し、係数を得る。係数は量子化器4で所定ステップ幅にて量子化され固定長符号となり、可変長符号化器5で可変長符号化され、情報圧縮された予測残差となる。   The moving image signal coming from the moving image input 1 is subtracted from the high-precision prediction signal given from the minute motion compensator 32 by the subtracter 2, and the obtained prediction residual signal is given to the DCT 3. DCT3 performs discrete cosine transform (DCT) on the prediction residual signal in units of 8 × 8 pixels to obtain coefficients. The coefficient is quantized with a predetermined step width by the quantizer 4 to become a fixed-length code, variable-length coded by the variable-length coder 5 and information-compressed prediction residual.

固定長符号の係数は、逆量子化器9で逆量子化されて局部復号係数となり、IDCT15でDCT3の逆変換が行われ、局部復号予測残差となる。局部復号予測残差は、加算器14で動き補償器8から与えられる規定精度の動き補償予測信号が加算され、局部復号画像となって参照画像メモリ13に蓄えられる。   The coefficient of the fixed-length code is dequantized by the inverse quantizer 9 to become a local decoding coefficient, and the inverse transform of DCT3 is performed by the IDCT 15 to become a local decoding prediction residual. The local decoded prediction residual is added with a motion compensated prediction signal with a specified accuracy given from the motion compensator 8 by the adder 14 and is stored in the reference image memory 13 as a locally decoded image.

一方、動き推定器12は、入来画像信号と参照画像メモリ13から得た参照画像から動き推定を行う。動き推定の規定精度は、ブロックサイズが16×16画素の方形、動き補償精度が0.5画素であり、得られた動きベクトルの精度もこれと同一である。この規定精度の動きベクトルは、微小動き推定器31と、動き補償器8、可変長符号化器16に与えられる。動き補償器8は、規定精度の動きベクトルで、参照画像メモリ13に格納されている画像間予測の参照画像を動き補償し、得られた規定精度の予測信号を加算器14と微小動き補償器32に与える。   On the other hand, the motion estimator 12 performs motion estimation from the incoming image signal and the reference image obtained from the reference image memory 13. The prescribed accuracy of motion estimation is a square with a block size of 16 × 16 pixels, and the motion compensation accuracy is 0.5 pixel. The accuracy of the obtained motion vector is the same as this. The motion vector having the specified accuracy is supplied to the minute motion estimator 31, the motion compensator 8, and the variable length encoder 16. The motion compensator 8 motion-compensates the inter-picture prediction reference image stored in the reference image memory 13 with a motion vector with a specified accuracy, and an adder 14 and a minute motion compensator for the obtained specified accuracy prediction signal. 32.

微小動き推定器31は、規定精度の動きベクトルを元にして、その周辺について0.25画素精度で再探索を行う。得られた微小動きベクトルは微小動き補償器32に与えられる。微小動き補償器32は、規定精度の予測画像を、微小動きベクトルに従って微小に移動する。この移動は、1画素以下の処理なので、リサンプリングフィルタの係数を変更することで実現される。このようにして得られた高精度予測信号は減算器2に与えられる。   The minute motion estimator 31 performs a re-search with 0.25 pixel accuracy on the periphery of the motion vector based on the motion vector with the specified accuracy. The obtained minute motion vector is given to the minute motion compensator 32. The minute motion compensator 32 minutely moves the predicted image with the specified accuracy according to the minute motion vector. Since this movement is a process of one pixel or less, it is realized by changing the coefficient of the resampling filter. The high-precision prediction signal obtained in this way is given to the subtracter 2.

可変長符号化器5は、固定長符号となった予測残差を可変長符号化し、可変長符号化器16は、規定精度の動きベクトルを可変長符号化する。それぞれの可変長符号は多重化器10で、符号多重化され、符号列となって、符号列出力11から出力される。   The variable length encoder 5 performs variable length encoding on the prediction residual that has become a fixed length code, and the variable length encoder 16 performs variable length encoding on a motion vector with a specified accuracy. Each variable-length code is code-multiplexed by the multiplexer 10 to be a code string, which is output from the code string output 11.

このような符号化は、画像間予測と局部復号で同一の予測信号を用いる通常の画像間予測符号化と比較して、再生画質が大きく異なる。予測自体は高精度化されているので、微小な動き補償ずれの成分は削除され、レベル方向の変化や大きな変化は予測残差となる。従って、予測残差量は減り、転送ビットレートが同一なら量子化が細かくなる。復号化における動き補償は、規格精度のままなので、本来の予測残差の中で、微小な動き補償ずれの成分は無視され、レベル方向の変化や大きな変化は、逆に再現性が良くなる。その結果、再生画像は各フレーム微小に位置ずれを生じるが、ノイズや歪感の少ない再生画像となる。発生する微小な位置ずれは、規定の動き補償精度(MPEG2なら0.5画素)以下であり、フレームにより変化するので、視覚的に検知されにくい。なお、局部復号化の動き補償は規定精度で行うので、エンコーダとデコーダ間のミスマッチは無く、誤差が残留(蓄積)することは無い。
特許2897649号明細書 特開平11−164306号公報
Such encoding is greatly different in reproduction image quality compared to normal inter-picture prediction encoding using the same prediction signal in inter-picture prediction and local decoding. Since the prediction itself is highly accurate, a minute motion compensation deviation component is deleted, and a change in the level direction or a large change becomes a prediction residual. Therefore, the prediction residual amount is reduced, and if the transfer bit rate is the same, the quantization becomes fine. Since motion compensation in decoding remains at the standard accuracy, a minute motion compensation deviation component is ignored in the original prediction residual, and a change in the level direction or a large change is improved in reproducibility. As a result, the reproduced image is slightly displaced in each frame, but becomes a reproduced image with less noise and distortion. The minute positional deviation that occurs is less than the prescribed motion compensation accuracy (0.5 pixels for MPEG2) and varies depending on the frame, so it is difficult to detect visually. Note that since motion compensation for local decoding is performed with a specified accuracy, there is no mismatch between the encoder and the decoder, and no error remains (accumulates).
Japanese Patent No. 2897649 JP-A-11-164306

従来の動き補償画像符号化は、規定精度より高い精度で画像間予測の動き補償を行うので、予測残差を規定精度の場合より少なくすることが可能であったが、カメラのズーミングなどによる画像変化、画像の上と下での時間ずれで生じる菱形歪、画像内オブジェクトの回転など平行移動以外の動きによる変形などは、方形の平行移動を基本とする従来の動き補償では、精度を上げたとしても適切な予測ができず、予測残差は多いままであった。   Conventional motion-compensated image encoding performs motion compensation for inter-picture prediction with higher accuracy than specified accuracy, so it was possible to reduce the prediction residual compared to the case of specified accuracy. Even if the accuracy of the conventional motion compensation based on the parallel translation of the square is improved, the change, the rhombus distortion caused by the time difference between the top and bottom of the image, the deformation of the object in the image due to the movement other than the parallel movement, etc. There was no adequate prediction, and the prediction residual remained large.

本発明は以上の点に着目してなされたもので、局部復号化処理のための動き補償は規定のブロック形状で行い、画像間予測の動き補償は、規定外のブロック形状の変形を含めて動き補償することで、平行移動以外の動きによる変化についても予測残差を軽減することが可能であり、予測残差の量子化が細かくなるので高画質の再生画像が得られる動き補償画像符号化方法及び動き補償画像符号化装置を提供することを目的とする。   The present invention has been made paying attention to the above points, and motion compensation for local decoding processing is performed in a specified block shape, and motion compensation for inter-picture prediction includes deformation of an unspecified block shape. Motion compensation can reduce prediction residuals even for changes due to motion other than parallel movement, and the prediction residuals can be quantized finely, resulting in motion compensated image coding that provides high-quality playback images. It is an object to provide a method and a motion compensated image coding apparatus.

本発明は、復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化において、入来画像と参照画像から、規定された方形ブロックで規定の動きベクトルを求め、その動きベクトルにより、参照画像を規定通りに動き補償し、規定の予測画像を得る。続けて、規定の動きベクトルに基づいて、入来画像と参照画像から方形ブロック以外のブロック形状の変形を含めて再度動き推定し規定外の動きベクトルを得て、その動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る。そして、被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得て、それを逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る。最後に、前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る動き補償画像符号化方法及び動き補償画像符号化装置である。   The present invention obtains a specified motion vector in a specified square block from an incoming image and a reference image in motion compensation coding in which motion compensation processing of decoding and local decoding is specified in a square block. With the motion vector, the reference image is compensated for motion as specified to obtain a specified predicted image. Subsequently, based on the prescribed motion vector, the motion estimation is performed again from the incoming image and the reference image including the deformation of the block shape other than the rectangular block to obtain a motion vector that is not prescribed, and the reference image is obtained from the motion vector. Motion compensation is performed including deformation of the block shape other than the rectangular block to obtain an unpredicted predicted image. Then, the prediction image outside the specified range is subtracted from the encoded image, and the obtained prediction residual is quantized after predetermined processing to obtain a quantized prediction residual, which is then inversely quantized and subjected to predetermined processing. The prediction residual decoded in this way is obtained, and the prescribed prediction image is added to obtain a reference image for predicting the next encoded image. Finally, there is provided a motion compensated image coding method and a motion compensated image coding apparatus that perform variable length coding on the quantized prediction residual and the prescribed motion vector to obtain a code string.

また、復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化において、入来画像と参照画像から、規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、規定外の動きベクトルを得て、その動きベクトルから前記ブロック形状の変形に関する情報を削除して、規定された方形ブロックのみに対応する規定の動きベクトルを得て、参照画像を前記規定の動きベクトルにより動き補償し、規定の予測画像を得る。続けて、前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る。そして、被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得て、それを逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る。最後に、前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る動き補償画像符号化方法及び動き補償画像符号化装置である。   Also, in motion compensation coding where the motion compensation processing for decoding and local decoding is defined by a square block, motion estimation is performed from the incoming image and the reference image, including deformation of the block shape other than the prescribed rectangular block. Obtaining an unspecified motion vector, deleting information on the deformation of the block shape from the motion vector, obtaining a specified motion vector corresponding only to the specified square block, and converting the reference image to the specified motion Motion compensation is performed using vectors to obtain a prescribed predicted image. Subsequently, motion compensation is performed on the reference image including deformation of the block shape other than the rectangular block using the motion vector outside the specification to obtain a prediction image outside the specification. Then, the prediction image outside the specified range is subtracted from the encoded image, and the obtained prediction residual is quantized after predetermined processing to obtain a quantized prediction residual, which is then inversely quantized and subjected to predetermined processing. The prediction residual decoded in this way is obtained, and the prescribed prediction image is added to obtain a reference image for predicting the next encoded image. Finally, there is provided a motion compensated image coding method and a motion compensated image coding apparatus that perform variable length coding on the quantized prediction residual and the prescribed motion vector to obtain a code string.

<第1の実施例動き補償画像符号化>
本発明の第1の実施の形態の動き補償画像符号化について説明する。図1は、その構成を示したもので、図3の従来例と同一構成要素には同一付番を記してある。図1には、図3と比較して微小動き推定器31の代わりに形状変形推定器6、微小動き補償器32の代わりに変形動き補償器7がある。
<First Embodiment Motion Compensated Image Coding>
The motion compensation image coding according to the first embodiment of the present invention will be described. FIG. 1 shows the configuration, and the same reference numerals are given to the same components as those of the conventional example of FIG. Compared to FIG. 3, FIG. 1 includes a shape deformation estimator 6 instead of the minute motion estimator 31 and a deformation motion compensator 7 instead of the minute motion compensator 32.

本発明の第1の実施の形態において、従来例と異なるのは残差を得るための予測信号の形成方法で、予測残差の符号化方法や局部復号処理は基本的に従来例と同じである。   The first embodiment of the present invention differs from the conventional example in the prediction signal forming method for obtaining the residual, and the encoding method and the local decoding process of the prediction residual are basically the same as those in the conventional example. is there.

<符号化処理>
動画像入力1から入来する動画像信号は、減算器2で変形動き補償器7から与えられるブロック形状の変形を含めて動き補償された予測信号が減算され、得られた予測残差信号がDCT3に与えられる。DCT3は、予測残差信号を8×8画素単位で離散コサイン変換(DCT)し、係数を得る。係数は量子化器4で所定ステップ幅にて量子化され固定長符号となり、可変長符号化器5で可変長符号化され、情報圧縮された予測残差となる。これらの符号化処理は、予測信号以外従来例と同一であるが、予測信号の変化に伴って予測残差はより少なくなり、発生符号量は減少する。発生符号量が等価になるように量子化が制御された場合、量子化ステップ幅は細かくなり、量子化誤差は少なくなる。
<Encoding process>
The motion image signal coming from the motion image input 1 is subtracted from the motion compensated prediction signal including the deformation of the block shape given from the deformation motion compensator 7 by the subtractor 2, and the obtained prediction residual signal is subtracted. It is given to DCT3. DCT3 performs discrete cosine transform (DCT) on the prediction residual signal in units of 8 × 8 pixels to obtain coefficients. The coefficient is quantized with a predetermined step width by the quantizer 4 to become a fixed-length code, variable-length coded by the variable-length coder 5 and information-compressed prediction residual. These encoding processes are the same as those of the conventional example except for the prediction signal, but the prediction residual becomes smaller and the generated code amount decreases as the prediction signal changes. When the quantization is controlled so that the generated code amounts are equivalent, the quantization step width becomes fine and the quantization error decreases.

固定長符号の係数は、逆量子化器9で逆量子化されて局部復号係数となり、IDCT15でDCT3の逆変換が行われ、局部復号予測残差となる。局部復号予測残差は、加算器14で動き補償器8から与えられる標準精度の動き補償予測信号が加算され、局部復号画像となって参照画像メモリ13に蓄えられる。これらの局部復号化処理は、基本的に従来例と同一である。   The coefficient of the fixed-length code is dequantized by the inverse quantizer 9 to become a local decoding coefficient, and the inverse transform of DCT3 is performed by the IDCT 15 to become a local decoding prediction residual. The local decoded prediction residual is added to the standard-compensated motion compensated prediction signal given from the motion compensator 8 by the adder 14 and is stored in the reference image memory 13 as a locally decoded image. These local decoding processes are basically the same as in the conventional example.

一方、動き推定器12は、入来画像信号と参照画像メモリ13から得た参照画像から動き推定を行う。動き推定は、ブロック形状が方形、ブロックサイズが16×16画素、動き補償精度が0.5画素で行われ、得られた動きベクトルはこの規定に合致したものである。この規定の動きベクトルは、形状変形推定器6と、動き補償器8、可変長符号化器16に与えられる。動き補償器8は、規定の動きベクトルで、参照画像メモリ13に格納されている画像間予測の参照画像を動き補償し、得られた規定の予測信号を加算器14に与える。   On the other hand, the motion estimator 12 performs motion estimation from the incoming image signal and the reference image obtained from the reference image memory 13. The motion estimation is performed with the block shape being a square, the block size being 16 × 16 pixels, and the motion compensation accuracy being 0.5 pixels, and the obtained motion vector meets this rule. This prescribed motion vector is given to the shape deformation estimator 6, the motion compensator 8, and the variable length encoder 16. The motion compensator 8 performs motion compensation on the reference image for inter-picture prediction stored in the reference image memory 13 with a prescribed motion vector, and provides the obtained prescribed prediction signal to the adder 14.

形状変形推定器6は、規定の動きベクトルで形成される方形ブロックを元にして、画像の形状変形について再探索を行う。得られた形状変形に関する情報は、規定の動きベクトルと共に変形動き補償器7に与えられる。変形動き補償器7は、参照画像メモリ13から規定の動きベクトルに従って予測信号形成に必要な画素を読み出し、その画素を形状変形に関する情報(規定の動きベクトルの画素以下の位置情報を含む)を用いて変形する。このようにして得られたブロック形状の変形を含めて動き補償された予測信号は減算器2に与えられる。   The shape deformation estimator 6 performs a re-search on the shape deformation of the image based on the square block formed by the prescribed motion vector. Information about the obtained shape deformation is given to the deformed motion compensator 7 together with a prescribed motion vector. The deformed motion compensator 7 reads out a pixel necessary for forming a prediction signal from the reference image memory 13 according to a specified motion vector, and uses the information related to shape deformation (including position information below the pixel of the specified motion vector) for the pixel. And deform. The motion-compensated prediction signal including the block shape deformation obtained in this way is supplied to the subtractor 2.

可変長符号化器5は、固定長符号となった予測残差を可変長符号化し、可変長符号化器16は、規定の動きベクトル情報を可変長符号化する。それぞれの可変長符号は多重化器10で、符号多重化され、符号列となって、符号列出力11から出力される。これら可変長符号化処理は、従来例と同じである。   The variable length encoder 5 performs variable length encoding on the prediction residual that has become a fixed length code, and the variable length encoder 16 performs variable length encoding on the specified motion vector information. Each variable-length code is code-multiplexed by the multiplexer 10 to be a code string, which is output from the code string output 11. These variable length encoding processes are the same as in the conventional example.

<形状変形推定と変形動き補償>
形状変形推定器6及び変形動き補償器7の動作について詳細に説明する。これは、従来例の微小動き推定器31及び微小動き補償器32が単なる動き補償精度向上であったのに対し、ブロック内の画素単位で動き補償を変化させ、動きに伴う画像の変形に対応するものである。基本的な考えはアフィン変換に類似するが、アフィン変換による動き補償やグローバル動き補償と呼ばれる手法と異なるのは、形状変形の範囲を最大1画素程度に留め、必ずしも被予測画像に適合するまで変形させない点である。これは、局部復号の動き補償とのズレが大きくなると、再生画像の歪も大きくなってしまうためである。
<Shape deformation estimation and deformation motion compensation>
The operations of the shape deformation estimator 6 and the deformation motion compensator 7 will be described in detail. This is because the motion compensation accuracy of the conventional minute motion estimator 31 and the minute motion compensator 32 is merely improved, but the motion compensation is changed in units of pixels in the block to cope with the deformation of the image accompanying the motion. To do. Although the basic idea is similar to affine transformation, it is different from the technique called motion compensation or global motion compensation by affine transformation. It is a point not to let you. This is because when the deviation from the motion compensation of local decoding increases, the distortion of the reproduced image also increases.

形状変形の候補は、図4に示されるようなひし形や台形のもの、全体に縮小や拡大したもの、さらに直線でなく曲線を用いた糸巻き形状やタル形状もありうる。直線のみについて汎用化すると、図5(a)に示されるようブロックの4端の位置を2次元的に移動させることで各種形状が実現できる。この場合、端の移動量を±1画素のみとしても、水平と垂直で3×3で9通りあり、4端のすべての組み合わせでは、9×9×9×9で6561パターンとなる。さらに、±0.5画素も加えると5×5で25通りとなり、25×25×25×25で390625パターンとなる。これらをすべて探索するのは容易でない。   The candidate for shape deformation may be a rhombus or trapezoid as shown in FIG. 4, a reduced or enlarged whole, a pincushion shape using a curve instead of a straight line, or a tall shape. If only a straight line is generalized, various shapes can be realized by moving the positions of the four ends of the block two-dimensionally as shown in FIG. In this case, even if the amount of movement of the edge is only ± 1 pixel, there are 9 patterns of 3 × 3 in the horizontal and vertical directions, and in all combinations of 4 edges, there are 6561 patterns of 9 × 9 × 9 × 9. Furthermore, when ± 0.5 pixel is added, there are 25 patterns of 5 × 5, and 390625 patterns of 25 × 25 × 25 × 25. It is not easy to search for all of these.

より合理的な形状推定の方法としては、図6(a)に示されるように16×16画素ブロックを4分割した8×8画素ブロックで通常の動きベクトル探索を行う。8×8画素ブロックは方形のままで形状の変形は行わない。この探索は規定の動きベクトルを基準にして探索範囲0.75画素、探索精度0.25画素で行う。その結果確定した4個の動きベクトルを、それぞれの8×8画素ブロックの中心での移動量とみなし、推定される変形パターンを決定する。各8×8画素ブロックの探索は、通常の動き補償精度のみを向上させた再探索と同じで、垂直と水平で7×7の49パターンとなり、容易に実現できる。   As a more rational shape estimation method, a normal motion vector search is performed with an 8 × 8 pixel block obtained by dividing a 16 × 16 pixel block into four as shown in FIG. The 8 × 8 pixel block remains a square and is not deformed. This search is performed with a search range of 0.75 pixels and a search accuracy of 0.25 pixels with reference to a prescribed motion vector. The four motion vectors determined as a result are regarded as the movement amount at the center of each 8 × 8 pixel block, and an estimated deformation pattern is determined. The search for each 8 × 8 pixel block is the same as the re-search with only the normal motion compensation accuracy improved, and it becomes 49 patterns of 7 × 7 vertically and horizontally, and can be easily realized.

動き推定及び動き補償での各画素値の形成であるが、図5(b)に示されるようにブロックの形状が決まると、それを均等に分割することで各画素の位置が決まる。この位置は図7に示されるように0.25画素精度に丸められ、各画素は周辺画素から補間フィルタで形成される。なお、図5は四角形が画素位置であるが、図7は破線の交点が本来の仮想位置で、それに対して破線の丸印がフィルタ処理上の画素位置である。かなり位置がずれているようであるが、画素値として生じる誤差は大きくない。形成された画素は、動き推定では通常のブロックマッチングと同様に対象画像と差分が取られ、ブロックの平均二乗誤差または絶対値の合計により評価される。   Each pixel value is formed by motion estimation and motion compensation. When the shape of a block is determined as shown in FIG. 5B, the position of each pixel is determined by dividing it into equal parts. This position is rounded to 0.25 pixel accuracy as shown in FIG. 7, and each pixel is formed from surrounding pixels by an interpolation filter. In FIG. 5, the rectangle is the pixel position, but in FIG. 7, the intersection of the broken lines is the original virtual position, and the broken circle is the pixel position on the filter processing. Although the position seems to have shifted considerably, the error generated as a pixel value is not large. In the motion estimation, the formed pixels are differentiated from the target image in the same manner as in normal block matching, and are evaluated based on the mean square error of blocks or the sum of absolute values.

画素値形成のフィルタは、形状変形推定器6では線形補間など簡単なものでも良いが、変形動き補償器7では周辺画素を用いたさらに高次のフィルタが望まれる。図8にその例を示すが、0.5画素位置は周辺6画素を用いて形成し、0.25画素及び0.75画素位置は、元からの画素位置の画素と補間された0.5画素位置の画素の平均で与えられる。   The pixel value forming filter may be a simple filter such as linear interpolation in the shape deformation estimator 6, but a higher order filter using peripheral pixels is desired in the deformation motion compensator 7. An example is shown in FIG. 8, where the 0.5 pixel position is formed by using 6 peripheral pixels, and the 0.25 pixel and 0.75 pixel positions are interpolated with the original pixel position of 0.5. It is given by the average of the pixels at the pixel position.

<第2の実施の形態の動き補償画像符号化>
本発明の第2の動き補償画像符号化について説明する。図2は、その構成を示したもので、図1の第1の実施の形態と同一構成要素には同一付番を記してある。図2には、図1と比較して動き推定器12と形状変形推定器6の代わりに、動き変形推定器21と動き情報形成器22がある。処理動作として異なるのは、規定の動きベクトルの形成方法であり、第1の実施の形態は、規定の動きベクトルを先に決定するが、第1の実施の形態は、形状変形情報を踏まえた上で規定の動きベクトルを決定する。この場合、ブロック変形を含めた動きベクトルと規定の動きベクトルの両方を最適化でき、総合的な性能を向上させやすいと言える。
<Motion Compensated Image Coding of Second Embodiment>
The second motion compensated image coding according to the present invention will be described. FIG. 2 shows the configuration, and the same reference numerals are given to the same components as those of the first embodiment of FIG. 2 includes a motion deformation estimator 21 and a motion information former 22 instead of the motion estimator 12 and the shape deformation estimator 6 as compared with FIG. What is different as the processing operation is a method for forming a prescribed motion vector. In the first embodiment, a prescribed motion vector is determined first, but the first embodiment is based on shape deformation information. The prescribed motion vector is determined above. In this case, it can be said that both the motion vector including the block deformation and the specified motion vector can be optimized, and it is easy to improve the overall performance.

動画像入力1から符号列出力11までの予測符号処理と、逆量子化9から参照画像メモリ13までの局部復号処理、動き補償器8と変形動き補償器7の処理動作は、図1の第1の実施の形態と同一である。   The predictive code processing from the moving image input 1 to the code sequence output 11, the local decoding processing from the inverse quantization 9 to the reference image memory 13, and the processing operations of the motion compensator 8 and the modified motion compensator 7 are shown in FIG. This is the same as the first embodiment.

動き変形推定器21の動作は、図1の動き推定器12と形状変形推定器6の両方を行うのと類似する。ただし、必ずしも規定の動きベクトルを元にする必要は無く、動きと形状変化の両方を同時に探索して、最適な動きと形状変化を決定できる。得られた動きベクトルと形状変化の情報は、変形動き補償器7と動き情報形成器22に与えられる。   The operation of the motion deformation estimator 21 is similar to performing both the motion estimator 12 and the shape deformation estimator 6 of FIG. However, it is not always necessary to use a prescribed motion vector as a basis, and both motion and shape change can be searched simultaneously to determine the optimum motion and shape change. The obtained motion vector and shape change information are given to the deformed motion compensator 7 and the motion information generator 22.

動き情報形成器22は、規定の動きベクトルを形成するものであるが、確定している動きベクトルと形状変化から、最も誤差が少なくなる動きベクトルを求める。これは図6(b)に示されるように動きベクトルと形状変化で表される形状と重なり合う領域が最も多くなるようにすればよい。このようにして得た規定の動きベクトルは、図1の動き推定器12で得た動きベクトルと微妙に異なり、変形動き補償で得た画像とのずれはより少なくなっている。   The motion information generator 22 forms a prescribed motion vector, and obtains a motion vector with the smallest error from the determined motion vector and shape change. As shown in FIG. 6 (b), it is sufficient that the area overlapping with the shape represented by the motion vector and the shape change is maximized. The prescribed motion vector obtained in this way is slightly different from the motion vector obtained by the motion estimator 12 of FIG. 1, and is less shifted from the image obtained by the deformation motion compensation.

本発明は、局部復号化処理のための動き補償は規定の方形ブロックで行い、画像間予測の動き補償は、規定外の方形ブロック以外のブロック形状の変形を含めて動き補償することで、カメラのズーミングなどによる画像変化、画像の上と下での時間ずれで生じる菱形歪、画像内オブジェクトの回転など平行移動以外の動きによる変形についても予測残差を軽減することが可能であり、予測残差の量子化が細かくなるので高画質の再生画像が得られる。予測画像の変形量は、局部復号で用いる動き補償に対して最大1画素程度に限定されるので、予測残差として符号化されない成分は微小なずれであり、大きな変形やレベル変化は予測残差に残存するので、符号化され再生される。   In the present invention, motion compensation for local decoding processing is performed by a prescribed rectangular block, and motion compensation for inter-picture prediction is performed by compensating for motion including deformation of a block shape other than a non-regulated rectangular block. It is possible to reduce the prediction residual for image changes due to zooming, etc., rhombus distortion caused by time lag between the top and bottom of the image, and deformation due to movement other than parallel movement such as rotation of objects in the image. Since the quantization becomes finer, a high-quality reproduced image can be obtained. Since the deformation amount of the predicted image is limited to about one pixel at the maximum with respect to motion compensation used in local decoding, a component that is not encoded as a prediction residual is a minute shift, and a large deformation or level change is a prediction residual. Therefore, it is encoded and reproduced.

さらに、動きベクトルと共に規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、得られた規定外の動きベクトルからブロック形状の変形に関する情報を削除して、方形ブロックのみに対応する規定の動きベクトルを得ることで、規定の動きベクトルも好都合な値とでき、総合的に最適な動き補償を形成することが可能となる。   In addition, motion estimation including motion vector and block shape deformations other than the specified square block is performed, and information regarding block shape deformation is deleted from the obtained non-specified motion vector, and only the rectangular block is specified. By obtaining the motion vector, the prescribed motion vector can be set to an advantageous value, and it is possible to form an optimal motion compensation comprehensively.

本発明の第1の実施の形態の動き補償画像符号化の構成例を示す図。The figure which shows the structural example of the motion compensation image coding of the 1st Embodiment of this invention. 本発明の第2の実施の形態の例動き補償画像符号化の構成例を示す図。The figure which shows the structural example of the example motion compensation image coding of the 2nd Embodiment of this invention. 従来例の動き補償画像符号化の構成例を示す図。The figure which shows the structural example of the motion compensation image coding of a prior art example. ブロック変形の実施の形態を示す図。The figure which shows embodiment of block deformation | transformation. 2次元ブロック変形と画素の実施の形態を示す図。The figure which shows two-dimensional block deformation | transformation and embodiment of a pixel. 小ブロックからの形状推定と規定の動きベクトルの形成の実施の形態を示す図。The figure which shows embodiment of the shape estimation from a small block, and formation of a regular motion vector. 画素位置の丸めと画素移動の実施の形態を示す図。The figure which shows embodiment of rounding of a pixel position and pixel movement. 0.25画素精度動き補償の実施の形態を示す図。The figure which shows embodiment of 0.25 pixel precision motion compensation.

符号の説明Explanation of symbols

1…動画像入力、2…減算器、3…DCT、4…量子化器、5、16…可変長符号化器、6…形状変形推定器、7…変形動き補償器、8…動き補償器、9…逆量子化器、10…多重化器、11…符号列出力、12…動き推定器、13…参照画像メモリ、14…加算器、15…IDCT、21…動き変形推定器、22…動き情報形成器、31…微小動き推定器、32…微小動き補償器 DESCRIPTION OF SYMBOLS 1 ... Moving image input, 2 ... Subtractor, 3 ... DCT, 4 ... Quantizer, 5, 16 ... Variable length encoder, 6 ... Shape deformation | transformation estimator, 7 ... Deformation motion compensator, 8 ... Motion compensator , 9 ... Inverse quantizer, 10 ... Multiplexer, 11 ... Code stream output, 12 ... Motion estimator, 13 ... Reference image memory, 14 ... Adder, 15 ... IDCT, 21 ... Motion deformation estimator, 22 ... Motion information generator, 31 ... minute motion estimator, 32 ... minute motion compensator

Claims (4)

復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化方法であって、
入来画像と参照画像から、規定された方形ブロックで規定の動きベクトルを求める動き推定ステップと、
前記規定の動きベクトルにより、参照画像を規定通りに動き補償し、規定の予測画像を得る第1の動き補償ステップと、
前記規定の動きベクトルに基づいて、入来画像と参照画像から方形ブロック以外のブロック形状の変形を含めて再度動き推定を実行し、規定外の動きベクトルを得、前記規定外の動きベクトルを使用して、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第2の動き補償ステップと、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化ステップと、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化ステップと、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得るステップとを含む、動き補償画像符号化方法。
A motion compensation coding method in which motion compensation processing of decoding and local decoding is defined by a square block,
A motion estimation step for obtaining a prescribed motion vector in a prescribed rectangular block from an incoming image and a reference image;
A first motion compensation step for performing motion compensation on a reference image as prescribed by the prescribed motion vector to obtain a prescribed predicted image;
Based on the specified motion vector, the motion estimation is performed again including the deformation of the block shape other than the square block from the incoming image and the reference image to obtain an unspecified motion vector, and the unspecified motion vector is used. Then, a second motion compensation step for performing motion compensation on the reference image including deformation of the block shape other than the rectangular block to obtain an unpredicted predicted image;
A prediction residual quantization step of subtracting the unpredicted prediction image from the encoded image, quantizing the obtained prediction residual after predetermined processing, and obtaining a quantized prediction residual;
A reference image for inversely quantizing the quantized prediction residual, obtaining a decoded prediction residual by performing a predetermined process, and adding the prescribed prediction image to predict a next encoded image Obtaining a local decoding step;
A motion compensation image coding method comprising: variable length coding the quantized prediction residual and the prescribed motion vector to obtain a code string.
復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化方法であって、
入来画像と参照画像から、規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、規定外の動きベクトルを得る動き推定ステップと、
前記規定外の動きベクトルから前記ブロック形状の変形に関する情報を削除して、規定された方形ブロックのみに対応する規定の動きベクトルを得、参照画像を前記規定の動きベクトルにより動き補償し、規定の予測画像を得る第1の動き補償ステップと、
前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第2の動き補償ステップと、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化ステップと、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化ステップと、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得るステップとを含む、動き補償画像符号化方法。
A motion compensation coding method in which motion compensation processing of decoding and local decoding is defined by a square block,
A motion estimation step of estimating a motion including a deformation of a block shape other than a prescribed square block from an incoming image and a reference image, and obtaining a motion vector outside the specification;
The information on the deformation of the block shape is deleted from the non-prescribed motion vector to obtain a prescribed motion vector corresponding only to the prescribed rectangular block, the reference image is motion-compensated with the prescribed motion vector, A first motion compensation step for obtaining a predicted image;
A second motion compensation step of performing motion compensation on a reference image including deformation of a block shape other than a rectangular block by using the motion vector outside the specification to obtain a prediction image outside the specification;
A prediction residual quantization step for subtracting the unpredicted prediction image from the encoded image, quantizing the obtained prediction residual after predetermined processing, and obtaining a quantized prediction residual;
A reference image for dequantizing the quantized prediction residual, obtaining a decoded prediction residual by performing predetermined processing, and adding the prescribed prediction image to predict a next encoded image Obtaining a local decoding step;
A motion compensation image coding method comprising: variable length coding the quantized prediction residual and the prescribed motion vector to obtain a code string.
復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化装置であって、
入来画像と参照画像から、規定された方形ブロックで規定の動きベクトルを求める動き推定手段と、
前記規定の動きベクトルにより、参照画像を規定通りに動き補償し、規定の予測画像を得る第1の動き補償手段と、
前記規定の動きベクトルに基づいて、入来画像と参照画像から方形ブロック以外のブロック形状の変形を含めて再度動き推定し規定外の動きベクトルを得、前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第2の動き補償手段と、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化手段と、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化手段と、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る可変長符号化手段と
を含む、動き補償画像符号化装置。
A motion compensation encoding apparatus in which motion compensation processing for decoding and local decoding is defined by a square block,
A motion estimation means for obtaining a prescribed motion vector in a prescribed rectangular block from an incoming image and a reference image;
First motion compensation means for performing motion compensation on a reference image as prescribed by the prescribed motion vector to obtain a prescribed predicted image;
Based on the specified motion vector, the motion estimation is performed again from the incoming image and the reference image including the deformation of the block shape other than the rectangular block to obtain an unspecified motion vector, and the reference image is determined by the unspecified motion vector. A second motion compensation unit that performs motion compensation including deformation of a block shape other than a rectangular block and obtains an unpredicted predicted image;
A prediction residual quantization means for subtracting the unpredicted prediction image from the encoded image, quantizing the obtained prediction residual after predetermined processing, and obtaining a quantized prediction residual;
A reference image for inversely quantizing the quantized prediction residual, obtaining a decoded prediction residual by performing a predetermined process, and adding the prescribed prediction image to predict a next encoded image Local decoding means to obtain
A motion-compensated image coding apparatus comprising: variable-length coding means for variable-length coding the quantized prediction residual and the prescribed motion vector to obtain a code string.
復号化及び局部復号化の動き補償処理が方形ブロックで規定されている動き補償符号化装置であって、
入来画像と参照画像から、規定の方形ブロック以外のブロック形状の変形を含めて動き推定し、規定外の動きベクトルを得る動き推定手段と、
前記規定外の動きベクトルから前記ブロック形状の変形に関する情報を削除して、規定された方形ブロックのみに対応する規定の動きベクトルを得て、参照画像を前記規定の動きベクトルにより動き補償し、規定の予測画像を得る第1の動き補償手段と、
前記規定外の動きベクトルにより、参照画像を方形ブロック以外のブロック形状の変形を含めて動き補償し、規定外の予測画像を得る第2の動き補償手段と、
被符号化画像から前記規定外の予測画像を減算し、得られた予測残差を所定処理後に量子化し、量子化された予測残差を得る予測残差量子化手段と、
前記量子化された予測残差を逆量子化し、所定処理して復号化された予測残差を得て、前記規定の予測画像を加算して次の被符号化画像を予測するための参照画像を得る局部復号化手段と、
前記量子化された予測残差と前記規定の動きベクトルを可変長符号化し、符号列を得る可変長符号化手段と
を含む、動き補償画像符号化装置。
A motion compensation encoding apparatus in which motion compensation processing for decoding and local decoding is defined by a square block,
A motion estimation means for estimating a motion including a deformation of a block shape other than a prescribed square block from an incoming image and a reference image, and obtaining a motion vector outside the regulation;
Information relating to the deformation of the block shape is deleted from the non-prescribed motion vector to obtain a prescribed motion vector corresponding only to the prescribed rectangular block, the reference image is motion compensated with the prescribed motion vector, and prescribed First motion compensation means for obtaining a predicted image of
Second motion compensation means for performing motion compensation on a reference image including deformation of a block shape other than a square block by using the motion vector outside the specification, and obtaining a prediction image outside the specification;
A prediction residual quantization means for subtracting the unpredicted prediction image from the encoded image, quantizing the obtained prediction residual after predetermined processing, and obtaining a quantized prediction residual;
A reference image for inversely quantizing the quantized prediction residual, obtaining a decoded prediction residual by performing a predetermined process, and adding the prescribed prediction image to predict a next encoded image Local decoding means to obtain
A motion-compensated image coding apparatus comprising: variable-length coding means for variable-length coding the quantized prediction residual and the prescribed motion vector to obtain a code string.
JP2006116660A 2006-04-20 2006-04-20 Motion compensated image coding method and motion compensated image coding apparatus Active JP4645515B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006116660A JP4645515B2 (en) 2006-04-20 2006-04-20 Motion compensated image coding method and motion compensated image coding apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006116660A JP4645515B2 (en) 2006-04-20 2006-04-20 Motion compensated image coding method and motion compensated image coding apparatus

Publications (2)

Publication Number Publication Date
JP2007288727A JP2007288727A (en) 2007-11-01
JP4645515B2 true JP4645515B2 (en) 2011-03-09

Family

ID=38760047

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006116660A Active JP4645515B2 (en) 2006-04-20 2006-04-20 Motion compensated image coding method and motion compensated image coding apparatus

Country Status (1)

Country Link
JP (1) JP4645515B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0937258A (en) * 1995-07-19 1997-02-07 Casio Comput Co Ltd Hierarchical warp type motion compensation predict method and its device
JP2897649B2 (en) * 1994-08-08 1999-05-31 日本ビクター株式会社 Motion compensated predictive coding device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2897649B2 (en) * 1994-08-08 1999-05-31 日本ビクター株式会社 Motion compensated predictive coding device
JPH0937258A (en) * 1995-07-19 1997-02-07 Casio Comput Co Ltd Hierarchical warp type motion compensation predict method and its device

Also Published As

Publication number Publication date
JP2007288727A (en) 2007-11-01

Similar Documents

Publication Publication Date Title
JP5385291B2 (en) Method and apparatus for inter prediction encoding / decoding using subpixel motion estimation
JP2897763B2 (en) Motion compensation coding device, decoding device, coding method and decoding method
CN102396230B (en) Image processing apparatus and method
JP3861698B2 (en) Image information encoding apparatus and method, image information decoding apparatus and method, and program
TWI468017B (en) Advanced interpolation techniques for motion compensation in video coding
JP2006246474A (en) Prediction image generation method and apparatus using single coding mode for all color components, and image and video encoding and decoding methods and apparatuses using the same
KR101589334B1 (en) Compressed dynamic image encoding device, compressed dynamic image decoding device, compressed dynamic image encoding method and compressed dynamic image decoding method
JP2005506815A (en) Method and apparatus for spatially extensible compression
JP2007067731A (en) Coding method
KR101747122B1 (en) Method and apparatus for motion compensation prediction
JP2005184042A (en) Image decoding apparatus, image decoding method, and image decoding program
JP2004096757A (en) Interpolation method and its apparatus for move compensation
JP2006279573A (en) Encoder and encoding method, and decoder and decoding method
JP2006518568A (en) Video encoding
KR20090080452A (en) Apparatus and method of encoding/decoding video
WO2010090335A1 (en) Motion picture coding device and motion picture decoding device using geometric transformation motion compensating prediction
WO2008068623A2 (en) Adaptive interpolation method and system for motion compensated predictive video coding and decoding
JP5571542B2 (en) Video encoding method and video decoding method
TW201328362A (en) Video encoding method and apparatus, video decoding method and apparatus, and programs thereof
EP2076050B1 (en) Motion estimation apparatus and method for moving picture coding
JP2009027446A (en) Image processing method and image processor
JP2005244749A (en) Dynamic image encoding device
JP4645515B2 (en) Motion compensated image coding method and motion compensated image coding apparatus
JP2008042424A (en) Image matching apparatus, and image matching method
JP4021800B2 (en) Moving picture coding apparatus, method, and moving picture coding program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090410

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090423

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090423

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090423

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4645515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131217

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350