WO2006118114A1 - 画像復号方法、その装置及びプログラム - Google Patents

画像復号方法、その装置及びプログラム Download PDF

Info

Publication number
WO2006118114A1
WO2006118114A1 PCT/JP2006/308657 JP2006308657W WO2006118114A1 WO 2006118114 A1 WO2006118114 A1 WO 2006118114A1 JP 2006308657 W JP2006308657 W JP 2006308657W WO 2006118114 A1 WO2006118114 A1 WO 2006118114A1
Authority
WO
WIPO (PCT)
Prior art keywords
decoding
prediction
image
decoded image
pseudo
Prior art date
Application number
PCT/JP2006/308657
Other languages
English (en)
French (fr)
Inventor
Takahiro Kimoto
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2007514748A priority Critical patent/JP5019054B2/ja
Priority to EP06732317A priority patent/EP1876830A4/en
Priority to US11/919,399 priority patent/US8223840B2/en
Publication of WO2006118114A1 publication Critical patent/WO2006118114A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to an image decoding method and apparatus for decoding image data, and more particularly to an image decoding method, apparatus and program for decoding hierarchically encoded image data in each layer.
  • Hierarchical coding refers to a technique for hierarchically coding coarse information into fine information.
  • the block that is the unit of compensation processing can be subdivided up to 4x4.
  • the filter that interpolates the pixel value at the decimal point is as long as 6 taps.
  • H.264 I MPEG-4 AVC performs a diagonal direction that only requires copying the pixel value in the vertical direction or the horizontal direction.
  • the process of interpolating the pixel value is adopted.
  • FIG. 4 shows a configuration of a hierarchical image decoding apparatus in pyramid coding, which is a general technique of hierarchical coding that is also adopted in MPEG-2.
  • the entropy decoding unit 101, the inverse quantization unit 102, and the frequency inverse transform unit 103 process the lower layer data 1001 to generate a prediction error signal 1004.
  • the prediction decoding unit 105 performs prediction decoding processing with reference to the lower layer decoded image 1005 stored in the memory 104, and generates a prediction signal 1007. Add prediction signal 1007 and prediction error signal 1004 A decoded image 1009 is generated.
  • the lower layer decoded image 1009 is stored in the memory 104 and used for subsequent decoding.
  • the entropy decoding unit 201, the inverse quantization unit 202, and the frequency inverse transform unit 203 process the upper layer encoded data 2001 to generate a prediction error signal 2004.
  • the prediction decoding unit 205 performs prediction decoding processing with reference to the lower layer decoded image 1010 stored in the memory 104 and the upper layer decoded image 2005 stored in the memory 204, and generates a prediction signal 2007.
  • the prediction signal 2007 and the prediction error signal 2004 are added to generate an upper layer decoded image 2008.
  • the upper layer decoded image 2008 is stored in the memory 204 and used for subsequent decoding.
  • the problem with the prior art shown in FIG. 4 is the large amount of processing. That is, in the image decoding process, the predictive decoding process requires a large amount of processing. In the prior art, prediction decoding processing is performed not only in the upper layer but also in the lower layer when decoding the upper layer. For this reason, a larger amount of processing is required compared to decoding of non-hierarchical image data.
  • the present invention has been invented in view of the above problems, and an object thereof is to provide an image decoding method, an apparatus, and a program for a hierarchical image with a reduced processing amount when decoding an upper layer. There is to do.
  • a first invention for solving the above-mentioned problem is an image decoding method for decoding hierarchized image data.
  • a prediction decoding process is performed with reference to the decoded image data. And the generated prediction signal and the prediction error signal are added to generate a first lower layer decoded image.
  • the prediction decoding process is simplified by referring to the decoded image data.
  • the pseudo prediction decoding process is performed! After the generated pseudo prediction signal and the prediction error signal are added to generate the second lower layer decoded image, the upper layer is referenced with reference to the second layer decoded image.
  • the decryption data is decrypted.
  • the predictive decoding processing includes a reference frame that is a decoded image frame, a frame to be decoded, and the reference It is characterized in that motion compensation prediction decoding is performed with reference to motion information representing the amount of movement of each block between frames.
  • the predictive decoding process is performed between a reference frame that is a decoded image frame, a frame to be decoded, and the reference frame.
  • Motion compensation prediction decoding is performed with reference to the motion information representing the movement amount for each block, and the motion prediction prediction decoding is performed after the pseudo prediction decoding process rounds the motion information indicating the decimal pixel position to the integer pixel position. It is characterized by that.
  • a fourth invention for solving the above-described problem is that, in the first invention, the predictive decoding processing includes a reference frame that is a decoded image frame, a frame to be decoded, and a frame between the reference frame and the reference frame.
  • Motion-compensated prediction decoding is performed with reference to motion information representing the movement amount for each block, and the pseudo-prediction decoding process replaces the pixel value interpolation filter in motion-compensated prediction decoding with an interpolation filter with a shorter tap length. It is characterized by using.
  • the predictive decoding process performs a pixel value interpolation process on a block to be decoded with reference to a pixel adjacent to the block. And generating an interpolated pixel value, and copying the interpolated pixel value to the block.
  • the predictive decoding process performs a pixel value interpolation process on a block to be decoded with reference to a pixel adjacent to the block.
  • a pixel value interpolation process on a block to be decoded with reference to a pixel adjacent to the block.
  • copy the interpolated pixel value to the block and perform pseudo-predictive decoding processing with another pixel value interpolation processing with a smaller amount of calculation instead of the pixel value interpolation processing. It is characterized by using.
  • a seventh invention for solving the above-mentioned problem is a hierarchical image decoding method for decoding hierarchized image data, the step of storing a lower hierarchical decoded image in a first memory, and lower hierarchical data
  • Predictive decoding processing is performed with reference to a first frequency inverse transform step for transforming and generating a first prediction error signal, a lower layer decoded image stored in the first memory, and the first attached calorie information.
  • a pseudo-prediction signal is generated by performing a pseudo-prediction decoding process in which the prediction decoding process is simplified with reference to a step, a lower layer decoded image stored in the first memory, and the first additional information
  • a predictive decoding step and a decoding layer instruction signal indicating whether a higher layer or a lower layer is to be decoded
  • the step of storing the upper layer decoded image in the second memory, the second entropy decoding step for entropy decoding the upper layer data, and dequantizing the output of the second entropy decoding step A second inverse quantization step, a second frequency inverse transform step for inversely transforming the output of the second inverse quantization step to generate a second prediction error signal, and the first inverse quantization step, A predictive decoding process is performed with reference to the lower layer decoded image stored in the memory, the upper layer decoded image stored in the second memory, and the second additional information to generate a second predicted signal.
  • the first predictive decoding step is performed.
  • the pseudo predictive decoding step is performed to generate a lower layer pseudo decoded image, and the lower layer pseudo image is generated. It is characterized in that the decoded image is referred to in the upper layer decoding process.
  • An eighth invention for solving the above-mentioned problem is an image decoding apparatus for decoding hierarchized image data, and at the time of decoding in a lower layer, a prediction decoding process is performed with reference to the decoded image data to generate Means for generating the first lower layer decoded image by adding the predicted signal and the prediction error signal, and at the time of decoding the upper layer, the prediction decoding process is simplified by referring to the decoded image data Perform pseudo-predictive decoding! After adding the generated pseudo-predictive signal and the prediction error signal to generate a second lower-layer decoded image, refer to the second hierarchical decoded image and Means for decoding hierarchically decoded data. And features.
  • the predictive decoding process includes: a reference frame that is a decoded image frame; a frame to be decoded; and the reference frame It is characterized in that motion compensation prediction decoding is performed with reference to motion information representing the amount of movement for each block.
  • the predictive decoding processing includes a reference frame that is a decoded image frame, a frame to be decoded, and the reference frame.
  • Motion compensation prediction decoding is performed with reference to the motion information representing the movement amount for each block, and the motion prediction prediction decoding is performed after the pseudo prediction decoding process rounds the motion information indicating the decimal pixel position to the integer pixel position. It is characterized by that.
  • the predictive decoding process includes a reference frame that is a decoded image frame, a frame to be decoded, and the reference frame.
  • Motion-compensated prediction decoding is performed with reference to motion information representing the movement amount for each block, and the pseudo-prediction decoding process replaces the pixel value interpolation filter in motion-compensated prediction decoding with an interpolation filter with a shorter tap length. It is characterized by using.
  • the predictive decoding process performs a pixel value interpolation process on a block to be decoded with reference to a pixel adjacent to the block. And generating an interpolated pixel value, and copying the interpolated pixel value to the block.
  • the predictive decoding process performs a pixel value interpolation process on a block to be decoded with reference to a pixel adjacent to the block.
  • a pixel value interpolation process on a block to be decoded with reference to a pixel adjacent to the block.
  • copy the interpolated pixel value to the block and perform pseudo-predictive decoding processing with another pixel value interpolation processing with a smaller amount of calculation instead of the pixel value interpolation processing. It is characterized by using.
  • a fourteenth invention for solving the above-mentioned problem is a hierarchical image decoding device for decoding hierarchized image data, the first memory storing the lower hierarchical decoded image, and the lower hierarchical data
  • a frequency inverse transform is performed on the output to generate a first prediction error signal, a first frequency inverse transform means, a lower layer decoded image stored in the first memory, and a first additional information are referred to for prediction.
  • the first predictive decoding means for performing the measurement decoding process to generate the first prediction signal, the lower layer decoded image stored in the first memory, and the first additional information
  • the prediction Refer to the pseudo prediction decoding means for generating the pseudo prediction signal by performing the pseudo prediction decoding process that simplifies the decoding process, and the decoding layer instruction signal that indicates the key for decoding either the upper or lower layer, First switching means for inputting the lower layer decoded image to either the first predictive decoding means or the pseudo predictive decoding means, and referring to the decoding hierarchy instruction signal, and the additional information as the first prediction Decoding means and pseudo prediction decoding means!
  • a first switching unit that inputs the first prediction signal or the pseudo prediction signal and the first prediction error signal to generate a lower layer decoded image;
  • a second memory for storing a hierarchy decoded image;
  • a second entropy decoding means for entropy decoding upper hierarchy data; and
  • a second inverse quantization means for dequantizing the output of the second entropy decoding means.
  • Second frequency inverse transform means for frequency inverse transforming the output of the second inverse quantization means to generate a second prediction error signal, and a lower layer decoded image stored in the first memory
  • a second predictive decoding means for performing a predictive decoding process with reference to the upper layer decoded image stored in the second memory and the second additional information, and generating a second predictive signal
  • Add the second prediction signal and the second prediction error signal A second adding means for generating an upper layer decoded image, and when the lower layer image is an output image, the first predictive decoding unit performs the upper layer image as an output image.
  • a fifteenth aspect of the present invention for solving the above-described problem is a program for an image decoding device for decoding hierarchized image data.
  • the program is stored in the image decoding device when a lower layer is decoded.
  • Predictive decoding processing is performed with reference to the data, the generated prediction signal and the prediction error signal are added to generate the first lower layer decoded image, and at the time of decoding the upper layer, the decoded image
  • the pseudo-predictive decoding process in which the predictive decoding process is simplified with reference to data is performed!
  • the generated pseudo-predictive signal and the prediction error signal Are added to generate a second lower layer decoded image, and thereafter, a process of decoding upper layer decoded data with reference to the second layer decoded image is executed.
  • the object of the present invention can be achieved by simplifying the predictive decoding process in the lower layer.
  • the present invention when a decoded image of a lower layer is output, a normal predictive decoding process is performed, and when a decoded image of an upper layer is output, the predictive decoding process in the lower layer is simplified. To do. As a result, the amount of processing required for predictive decoding can be reduced in the decoding of higher layers.
  • FIG. 1 is a block diagram showing the configuration of the best mode for carrying out the present invention.
  • FIG. 2 is a flowchart showing the operation of the best mode for carrying out the present invention.
  • FIG. 3 is a block diagram showing a configuration of an image decoding apparatus as a specific embodiment of the present invention. 4] It is a block diagram showing a configuration of a conventional hierarchical image decoding apparatus.
  • FIG. 1 is a block diagram showing a configuration of an image decoding apparatus according to the first embodiment of the present invention.
  • the hierarchical image decoding apparatus includes a lower layer data decoder 100, an upper layer data decoder 200, prediction decoding units 105 and 205, a pseudo prediction decoding unit 106, and a switch 107. .
  • FIG. 2 is a flowchart showing the flow of processing until the decoded image is output in the image decoding apparatus shown in FIG. The entire operation of this embodiment will be described with reference to FIGS.
  • the lower layer decoder 100 decodes the lower layer data 1001 and generates a prediction error signal 1004 (S10 in FIG. 2).
  • the switch 107 receives a decoding layer instruction signal 1100 indicating which of the upper and lower layers is decoded by the hierarchical image decoding apparatus, and switches the prediction decoding process (Sll in FIG. 2).
  • the switch 107 inputs the lower decoded image 1009 to be output to the prediction decoding unit 105.
  • the prediction signal 1007 output from the prediction decoding unit 105 and the prediction error signal 1004 are added to generate a lower layer decoded image 1009 (S12 in FIG. 2).
  • the switch 107 When outputting the upper layer, the switch 107 inputs the lower decoded image 1009 to be output to the pseudo prediction decoding unit 106.
  • the pseudo prediction signal 1008 output from the pseudo prediction decoding unit 106 and the prediction error signal 1004 are added to generate a lower layer decoded image 1009 (S19 in FIG. 2).
  • Top The hierarchical decoder 200 receives the high-order image data 2001 and generates a prediction error signal 2004 (S20 in FIG. 2).
  • the predictive decoding unit 205 outputs the prediction signal 2007 with reference to the output upper decoded image 2008 and the lower hierarchical decoded image 1009, and then adds the prediction error signal 2004 to generate the upper hierarchical decoded image 2009 ( (S21 in Figure 2).
  • the pseudo prediction decoding unit 106 is operated instead of the prediction decoding unit 105, so that the processing amount can be reduced.
  • FIG. 3 is a block diagram showing the configuration of the image decoding apparatus according to the embodiment of the present invention.
  • the image decoding apparatus in FIG. 3 includes entropy decoding units 101 and 201, inverse quantization units 102 and 202, frequency inverse transformation units 103 and 203, memories 104 and 204, prediction decoding units 105 and 205, and pseudo prediction decoding unit 10 6. And switches 107 and 108.
  • the lower layer decoder 100 in FIG. 1 also has the power of the entropy decoding unit 101, the inverse quantization unit 102, and the frequency inverse transform unit 103.
  • the upper layer decoder 200 in FIG. 1 includes an entropy decoding unit 201, an inverse quantization unit 202, and a frequency inverse conversion unit 203.
  • the entropy decoding unit 101 performs entropy decoding on the lower layer data 1001 to generate a quantized coefficient signal 1002.
  • the inverse quantization unit 102 inversely quantizes the quantized coefficient signal 1002 to generate a coefficient signal 1003.
  • the frequency inverse transform unit 103 performs frequency inverse transform on the coefficient signal 1003 to generate a prediction error signal 1004.
  • the switch 107 refers to the decoded layer instruction signal 1100 and switches the output destination of the lower layer decoded image 1005 stored in the memory 104 according to the layer to be output.
  • switch 108 refers to decoding layer instruction signal 1100 and switches the output destination of additional information 1006 used for predictive decoding processing according to the layer to be output.
  • the switch 107 When outputting the lower layer, the switch 107 outputs the lower layer decoded image 1005 and the additional information 1006 to the prediction decoding unit 105.
  • the prediction decoding unit 105 performs prediction decoding processing to generate a prediction signal 1007.
  • the prediction signal 1007 and the prediction error signal 1004 are added to generate a lower layer decoded image 1009 that is output.
  • the lower layer decoded image 1009 is stored in the memory 104 and used for subsequent decoding.
  • the predictive decoding unit 105 performs any predictive decoding process.
  • additional information 1006 includes information specifying a frame to be referenced, small block division information that is a unit for performing motion compensation processing on the block, and motion of each small block. Refer to the motion information to represent.
  • the motion information has an accuracy of 1 pixel or less such as 1/2 or 1/4 unit. In that case, a prediction signal is generated by interpolating pixel values from neighboring pixels.
  • intra-frame prediction processing is performed as predictive decoding processing, as additional information 1006, reference is made to prediction direction information indicating the force of copying adjacent pixels in any direction such as horizontal, vertical, and diagonal to fill a block.
  • the switch 107 When outputting the upper layer, the switch 107 outputs the lower layer decoded image 1005 and the additional information 1006 to the pseudo prediction decoding unit 106.
  • the pseudo prediction decoding unit 106 performs a simplified prediction decoding process to generate a pseudo prediction signal 1007.
  • the pseudo prediction signal 1007 and the prediction error signal 1004 are added to generate a lower layer decoded image 1009 and stored in the memory 104.
  • a filter with a short tap length or a filter realized by integer arithmetic with respect to an interpolation filter corresponding to motion information in decimal pixel units is used. It is possible to replace it.
  • a process of rounding motion information in decimal pixel units to integer pixel positions can be considered.
  • the entropy decoding unit 201, the inverse quantization unit 202, and the frequency inverse transform unit 203 process the upper layer data 2001 to generate a prediction error signal 2004.
  • the prediction decoding unit 205 refers to the lower layer decoded image 1010 stored in the memory 104, the upper layer decoded image 2005 stored in the memory 204, and the additional information 2006, and performs a prediction decoding process to generate a prediction signal 2007. To do. As a predictive decoding process using a lower layer decoded image, there is up-sampling to the same resolution as the upper layer. Add the prediction signal 2007 and the prediction error signal 2004 to the upper floor A layer decoded image 2008 is generated. The upper layer decoded image 2008 is stored in the memory 204 and used for subsequent decoding.
  • the present invention can also be applied to cases where the number of hierarchies is three or more.
  • the high-quality filter is simplified in a layer below the output layer.
  • the lower layer predictive decoding processing is simplified or not performed when the upper layer is output.
  • various distortions in the decoded image affect the quality of the output image.
  • various distortions of the lower layer decoded image do not relatively affect the quality degradation of the output image.
  • the resolutions of the lower layer and the upper layer are different, distortion is attenuated by the enlargement process performed in the lower layer, and the effect on the image quality of the output image is reduced.
  • the present invention by applying the present invention to an encoding apparatus or method corresponding to a decoded image apparatus or method, the quality degradation of the output image can be further suppressed.
  • the lower layer decoded image referred to in the upper layer on the code side is used by using a simplified prediction decoding process for the lower layer decoding process locally performed in the code layer.
  • the lower layer decoded image referenced in the upper layer on the decoding side can be reduced without causing a large distortion in the upper layer decoded image.
  • the present invention can be configured with a nodeware, but can also be realized with a computer program.
  • the program memory stores a program that performs the same operation as each unit described above, and the processor operates by this program to perform the same processing as in the above-described embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　下位階層復号器100は下位階層データ1001を復号し、予測誤差信号1004を生成する。スイッチ107は階層画像復号装置が上位下位どちらの階層を復号するかを表す復号階層指示信号1100を受け取り、予測復号処理を切り替える。下位階層を復号する場合、スイッチ107は出力となる下位復号画像1009を予測復号部105に入力し下位階層復号画像1009を生成する。上位階層を出力する場合、スイッチ107は出力となる下位復号画像1009を擬似予測復号部106に入力し下位階層復号画像1009を生成する。上位階層復号器200は上位画像データ2001を入力とし下位階層復号画像1009とを参照して上位階層復号画像2009を生成する。  

Description

明 細 書
画像復号方法、その装置及びプログラム
技術分野
[0001] 本発明は画像データを復号する画像復号方法および装置に関し、特に階層符号 化された画像データをそれぞれの階層で復号する画像復号方法、その装置及びプ ログラムに関する。
背景技術
[0002] 階層符号化とは、粗い情報力も細かい情報へと階層的に符号ィ匕する技術をさす。
画像を階層的に符号ィ匕することで、 1本の圧縮データに対し一部の追加'削除のみで 表示解像度、伝送環境の異なる端末に対応することができる。インターネットの発達、 画像再生環境の多様ィ匕に伴い、画像の階層符号ィ匕技術はますます重要になると考 えられる。
[0003] 一方、高能率な画像符号化を実現するため、周囲の画素を参照して行う予測復号 処理はますます複雑になっている。最新の動画像符号化の国際標準規格 H.264 I MPEG-4 AVCにおける動き補償予測は MPEG-2と比べ次の点で異なる。
(1)補償処理の単位となるブロックは 4x4まで細分ィ匕できる。
(2)動き情報の精度は 1/4画素まで細力べできる。
(3)小数点位置の画素値を内挿するフィルタは 6タップと長くなつて 、る。
[0004] また、フレーム内符号ィ匕時にブロック内画素値を隣接画素から予測する処理では、 H.264 I MPEG-4 AVCは縦方向や横方向に画素値をコピーするだけでなぐ斜め方 向に画素値を内挿する処理を採用して 、る。
[0005] 図 4に、 MPEG-2でも採用されている階層符号ィ匕の一般的な手法であるピラミッド符 号化における、階層画像復号装置の構成を示す。
[0006] まず、下位階層データ 1001に対し、エントロピー復号部 101、逆量子化部 102、周波 数逆変換部 103が処理を行い、予測誤差信号 1004を生成する。予測復号部 105は、 メモリ 104に格納された下位階層復号画像 1005を参照して予測復号処理を行い、予 測信号 1007を生成する。予測信号 1007と予測誤差信号 1004とを加算し、下位階層 復号画像 1009を生成する。下位階層復号画像 1009はメモリ 104に格納され、後の復 号に用いる。
[0007] 次に、上位階層符号化データ 2001に対し、エントロピー復号部 201、逆量子化部 20 2、周波数逆変換部 203が処理を行い、予測誤差信号 2004を生成する。予測復号部 2 05は、メモリ 104に格納された下位階層復号画像 1010と、メモリ 204に格納された上位 階層復号画像 2005を参照して予測復号処理を行い、予測信号 2007を生成する。予 測信号 2007と予測誤差信号 2004とを加算し、上位階層復号画像 2008を生成する。 上位階層復号画像 2008はメモリ 204に格納され、後の復号に用いる。
発明の開示
発明が解決しょうとする課題
[0008] し力しながら、図 4に示す従来技術の課題は処理量の多さである。すなわち、画像 の復号処理において、予測復号処理は多くの処理量を要する。従来技術では、上位 階層の復号時に上位階層のみならず下位階層においても予測復号処理を行う。そ のため、階層化されていない画像データの復号に比べて、より多くの処理量を要する ことになる。
[0009] そこで、本発明は上記課題に鑑みて発明されたものであって、その目的は上位階 層の復号時の処理量を低減した階層画像の画像復号方法、その装置及びプロダラ ムを提供することにある。
課題を解決するための手段
[0010] 上記課題を解決する第 1の発明は、階層化された画像データを復号する画像復号 方法であって、下位階層の復号時には、復号済みの画像データを参照して予測復 号処理を行い、生成した予測信号と予測誤差信号とを加算して第 1の下位階層復号 画像を生成し、上位階層の復号時には、前記復号済みの画像データを参照して前 記予測復号処理を簡略化した擬似予測復号処理を行!ゝ、生成した擬似予測信号と 前記予測誤差信号とを加算して第 2の下位階層復号画像を生成した後、前記第 2の 階層復号画像を参照して上位階層復号データを復号することを特徴とする。
[0011] 上記課題を解決する第 2の発明は、上記第 1の発明において、予測復号処理が、 復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照 フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復 号を行うことを特徴とする。
[0012] 上記課題を解決する第 3の発明は、上記第 1の発明において、予測復号処理が、 復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照 フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復 号を行い、擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に 丸めた後、動き補償予測復号を行うことを特徴とする。
[0013] 上記課題を解決する第 4の発明は、上記第 1の発明において、予測復号処理が、 復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照 フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復 号を行い、擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに 代わり、よりタップ長の短い内挿フィルタを用いることを特徴とする。
[0014] 上記課題を解決する第 5の発明は、上記第 1の発明において、予測復号処理が、 復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿 処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーすること を特徴とする。
[0015] 上記課題を解決する第 6の発明は、上記第 1の発明において、予測復号処理が、 復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿 処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーし、擬似 予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素値内 挿処理を用いることを特徴とする。
[0016] 上記課題を解決する第 7の発明は、階層化された画像データを復号する階層画像 復号方法であって、下位階層復号画像を第 1のメモリに格納するステップと、下位階 層データをエントロピー復号する第 1のエントロピー復号ステップと、前記第 1のェント 口ピー復号ステップの出力を逆量子化する第 1の逆量子化ステップと、前記第 1の逆 量子化ステップの出力を周波数逆変換し第 1の予測誤差信号を生成する第 1の周波 数逆変換ステップと、前記第 1のメモリに格納された下位階層復号画像と第 1の付カロ 情報とを参照して予測復号処理を行い、第 1の予測信号を生成する第 1の予測復号 ステップと、前記第 1のメモリに格納された下位階層復号画像と前記第 1の付加情報 とを参照し、前記予測復号処理を簡略化した擬似予測復号処理を行って擬似予測 信号を生成する擬似予測復号ステップと、上位もしくは下位のいずれの階層を復号 するのかを指示する復号階層指示信号を参照し、前記下位階層復号画像を前記第
1の予測復号ステップと前記擬似予測復号ステップのいずれかを選択する第 1の切 替ステップと、前記復号階層指示信号を参照し、前記付加情報を前記第 1の予測復 号ステップと前記擬似予測復号ステップの 、ずれかを選択する第 2のステップと、前 記第 1の予測信号もしくは前記擬似予測信号と前記第 1の予測誤差信号とを加算し て、下位階層復号画像を生成する第 1の加算ステップと、上位階層復号画像を第 2 のメモリに格納するステップと、上位階層データをエントロピー復号する第 2のェントロ ピー復号ステップと、前記第 2のエントロピー復号ステップの出力を逆量子化する第 2 の逆量子化ステップと、前記第 2の逆量子化ステップの出力を周波数逆変換し、第 2 の予測誤差信号を生成する第 2の周波数逆変換ステップと、前記第 1のメモリに格納 された下位階層復号画像と前記第 2のメモリに格納された上位階層復号画像と第 2 の付加情報とを参照して予測復号処理を行 、、第 2の予測信号を生成する第 2の予 測復号ステップと、前記第 2の予測信号と前記第 2の予測誤差信号とを加算して、上 位階層復号画像を生成する第 2の加算ステップとを備え、下位階層画像を出力画像 とする場合には、前記第 1の予測復号ステップを行い、上位階層画像を出力画像と する場合には、前記擬似予測復号ステップを行って下位階層擬似復号画像を生成 し、前記下位階層擬似復号画像を上位階層復号処理にお!ヽて参照することを特徴と する。
上記課題を解決する第 8の発明は、階層化された画像データを復号する画像復号 装置であって、下位階層の復号時には、復号済みの画像データを参照して予測復 号処理を行い、生成した予測信号と予測誤差信号とを加算して第 1の下位階層復号 画像を生成する手段と、上位階層の復号時には、前記復号済みの画像データを参 照して前記予測復号処理を簡略化した擬似予測復号処理を行!ヽ、生成した擬似予 測信号と前記予測誤差信号とを加算して第 2の下位階層復号画像を生成した後、前 記第 2の階層復号画像を参照して上位階層復号データを復号する手段とを有するこ とを特徴とする。
[0018] 上記課題を解決する第 9の発明は、上記第 8の発明において、予測復号処理が、 復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照 フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復 号を行うことを特徴とする。
[0019] 上記課題を解決する第 10の発明は、上記第 8の発明において、予測復号処理が、 復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照 フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復 号を行い、擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に 丸めた後、動き補償予測復号を行うことを特徴とする。
[0020] 上記課題を解決する第 11の発明は、上記第 8の発明において、予測復号処理が、 復号済みの画像フレームである参照フレームと、復号対象となるフレームと前記参照 フレームとの間のブロックごとの移動量を表す動き情報とを参照して動き補償予測復 号を行い、擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに 代わり、よりタップ長の短い内挿フィルタを用いることを特徴とする。
[0021] 上記課題を解決する第 12の発明は、上記第 8の発明において、予測復号処理が、 復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿 処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーすること を特徴とする。
[0022] 上記課題を解決する第 13の発明は、上記第 8の発明において、予測復号処理が、 復号対象となるブロックに対し、前記ブロックに隣接する画素を参照して画素値内挿 処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブロックにコピーし、擬似 予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素値内 挿処理を用いることを特徴とする。
[0023] 上記課題を解決する第 14の発明は、階層化された画像データを復号する階層画 像復号装置であって、下位階層復号画像が格納される第 1のメモリと、下位階層デー タをエントロピー復号する第 1のエントロピー復号手段と、前記第 1のエントロピー復 号手段の出力を逆量子化する第 1の逆量子化手段と、前記第 1の逆量子化手段の 出力を周波数逆変換し、第 1の予測誤差信号を生成する第 1の周波数逆変換手段と 、前記第 1のメモリに格納された下位階層復号画像と第 1の付加情報とを参照して予 測復号処理を行い、第 1の予測信号を生成する第 1の予測復号手段と、前記第 1のメ モリに格納された下位階層復号画像と前記第 1の付加情報とを参照し、前記予測復 号処理を簡略化した擬似予測復号処理を行って擬似予測信号を生成する擬似予測 復号手段と、上位もしくは下位のいずれの階層を復号するのカゝを指示する復号階層 指示信号を参照し、前記下位階層復号画像を前記第 1の予測復号手段と前記擬似 予測復号手段のいずれかに入力する第 1の切替手段と、前記復号階層指示信号を 参照し、前記付加情報を前記第 1の予測復号手段と前記擬似予測復号手段の!/、ず れかに入力する第 2の切替手段と、前記第 1の予測信号もしくは前記擬似予測信号 と前記第 1の予測誤差信号とを加算して、下位階層復号画像を生成する第 1の加算 手段と、上位階層復号画像が格納される第 2のメモリと、上位階層データをエントロピ ー復号する第 2のエントロピー復号手段と、前記第 2のエントロピー復号手段の出力 を逆量子化する第 2の逆量子化手段と、前記第 2の逆量子化手段の出力を周波数逆 変換し、第 2の予測誤差信号を生成する第 2の周波数逆変換手段と、前記第 1のメモ リに格納された下位階層復号画像と前記第 2のメモリに格納された上位階層復号画 像と第 2の付加情報とを参照して予測復号処理を行 、、第 2の予測信号を生成する 第 2の予測復号手段と、前記第 2の予測信号と前記第 2の予測誤差信号とを加算し て、上位階層復号画像を生成する第 2の加算手段とを備え、下位階層画像を出力画 像とする場合には、前記第 1の予測復号手段が行い、上位階層画像を出力画像とす る場合には、前記擬似予測復号手段が行って下位階層擬似復号画像を生成し、前 記下位階層擬似復号画像を上位階層復号処理において参照することを特徴とする。 上記課題を解決する第 15の発明は、階層化された画像データを復号する画像復 号装置のプログラムであって、前記プログラムは、前記画像復号装置に、下位階層の 復号時には、復号済みの画像データを参照して予測復号処理を行い、生成した予 測信号と予測誤差信号とを加算して第 1の下位階層復号画像を生成する処理と、上 位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処理を 簡略化した擬似予測復号処理を行!ゝ、生成した擬似予測信号と前記予測誤差信号 とを加算して第 2の下位階層復号画像を生成した後、前記第 2の階層復号画像を参 照して上位階層復号データを復号する処理とを実行させることを特徴とする。
このような動作を採用し、上位階層の復号画像を出力する場合には、下位階層に おける予測復号処理を簡略ィ匕することにより、本発明の目的を達成することができる 発明の効果
[0025] 本発明によれば、下位階層の復号画像を出力する場合には通常の予測復号処理 を行い、上位階層の復号画像を出力する場合には、下位階層における予測復号処 理を簡略化する。これにより上位階層の復号にお ヽて予測復号処理に要する処理量 を低減できる。
図面の簡単な説明
[0026] [図 1]本発明を実施する最良の形態の構成を示すブロック図である。
[図 2]本発明を実施する最良の形態の動作を示すフロー図である。
[図 3]本発明の具体的な実施例となる画像復号装置の構成を示すブロック図である。 圆 4]従来の階層画像復号装置の構成を示すブロック図である。
符号の説明
[0027] 100 下位階層復号器
200 上位階層復号器
101,201 エントロピー復号部
102,202 逆量子化部
103,203 周波数逆変換部
104,204 メモリ
105,205 予測復号部
106 擬似予測復号部
107, 108 スィッチ
1001 下位階層データ
1002 量子化係数信号
1003 係数信号 1004, 2004 予測誤差信号
1005, 1009, 1010 下位階層復号画像
1006, 2006 付加情報
1007, 2007 予測信号
1008 予測信号
1100 復号階層指示信号
2001 上位階層データ
2008 上位階層復号画像
発明を実施するための最良の形態
[0028] 本発明の第 1の発明を実施するための最良の形態について図面を用いて説明する
[0029] 図 1は本発明の第 1の実施形態となる画像復号装置の構成を示すブロック図である
[0030] 本発明における階層画像復号装置は、下位階層データ復号器 100と、上位階層デ 一タ復号器 200と、予測復号部 105, 205と、擬似予測復号部 106と、スィッチ 107とから なる。
[0031] 図 2は図 1に示す画像復号装置において復号画像を出力するまでの処理の流れを 示すフロー図である。図 1および図 2を用い、本実施の形態の全動作について説明 する。
[0032] 下位階層復号器 100は下位階層データ 1001を復号し、予測誤差信号 1004を生成 する (図 2の S10)。スィッチ 107は階層画像復号装置が上位下位どちらの階層を復号 するかを表す復号階層指示信号 1100を受け取り、予測復号処理を切り替える (図 2の Sll)。下位階層を復号する場合、スィッチ 107は出力となる下位復号画像 1009を予測 復号部 105に入力する。予測復号部 105の出力する予測信号 1007と予測誤差信号 10 04とを加算して下位階層復号画像 1009が生成される (図 2の S12)。
[0033] 上位階層を出力する場合、スィッチ 107は出力となる下位復号画像 1009を擬似予 測復号部 106に入力する。擬似予測復号部 106の出力する擬似予測信号 1008と予測 誤差信号 1004とを加算して下位階層復号画像 1009が生成される (図 2の S19)。上位 階層復号器 200は上位画像データ 2001を入力とし予測誤差信号 2004を生成する (図 2の S20)。予測復号部 205は、出力となる上位復号画像 2008と下位階層復号画像 100 9とを参照し予測信号 2007を出力した後、予測誤差信号 2004と加算して上位階層復 号画像 2009を生成する (図 2の S21)。
[0034] 本実施の形態では、上位階層の復号において、予測復号部 105でなく擬似予測復 号部 106が動作するように構成されて 、るため処理量を低減できる。
実施例 1
[0035] 次に具体的な実施例を用いて本発明を実施する最良の形態の動作を説明する。
[0036] 図 3は本発明の実施例となる画像復号装置の構成を示すブロック図である。図 3に おける画像復号装置は、エントロピー復号部 101,201と、逆量子化部 102,202と、周波 数逆変換部 103, 203と、メモリ 104,204と、予測復号部 105, 205と、擬似予測復号部 10 6と、スィッチ 107, 108とからなる。尚、図 1における下位階層復号器 100は、エントロピ 一復号部 101と、逆量子化部 102と、周波数逆変換部 103と力もなる。また、図 1におけ る上位階層復号器 200は、エントロピー復号部 201と、逆量子化部 202、周波数逆変 換部 203からなる。
[0037] 次に、図 3を用いて本発明における実施例の詳細な動作を説明する。
[0038] エントロピー復号部 101は、下位階層データ 1001をエントロピー復号し、量子化係数 信号 1002を生成する。逆量子化部 102は量子化係数信号 1002を逆量子化し係数信 号 1003を生成する。周波数逆変換部 103は係数信号 1003を周波数逆変換し、予測 誤差信号 1004を生成する。
[0039] スィッチ 107は復号階層指示信号 1100を参照し、出力する階層に応じてメモリ 104に 格納された下位階層復号画像 1005の出力先を切り替える。
[0040] また、スィッチ 108は復号階層指示信号 1100を参照し、出力する階層に応じて予測 復号処理に用いる付加情報 1006の出力先を切り替える。下位階層を出力する場合、 スィッチ 107は下位階層復号画像 1005と付加情報 1006を予測復号部 105に出力する 。予測復号部 105は予測復号処理を行って予測信号 1007を生成する。予測信号 100 7と予測誤差信号 1004とを加算して出力となる下位階層復号画像 1009を生成する。 下位階層復号画像 1009はメモリ 104に格納され、後の復号に用いる。 [0041] 予測復号処理として、復号済みのフレームとを参照して行う動き補償処理、同一フ レーム内復号済みの隣接画素を参照して行うフレーム内挿入処理が用いられる。付 加情報 1006に含まれる判定信号に従い、予測復号部 105はいずれかの予測復号処 理を行う。予測復号処理として動き補償処理が行われる場合、付加情報 1006として、 参照するフレームを特定する情報、当該ブロックに対し動き補償処理を行う単位とな る小ブロック分割情報、各々の小ブロックの動きを表す動き情報を参照する。動き情 報は 1/2や 1/4単位といった 1画素以下の精度を持つ。その場合、近傍画素から画素 値を内挿し予測信号を生成する。予測復号処理としてフレーム内予測処理が行われ る場合、付加情報 1006として、水平や垂直や斜めなどどの方向の隣接画素をコピー してブロックを埋める力を表す予測方向情報を参照する。
[0042] 上位階層を出力する場合、スィッチ 107は下位階層復号画像 1005と付加情報 1006 を擬似予測復号部 106に出力する。擬似予測復号部 106は簡略化された予測復号処 理を行って擬似予測信号 1007を生成する。擬似予測信号 1007と予測誤差信号 1004 とを加算して下位階層復号画像 1009を生成し、メモリ 104に格納する。
[0043] 簡略化された予測復号処理として、動き補償予測の場合、小数画素単位の動き情 報に対応する内挿フィルタに対してタップ長の短いフィルタもしくは、整数演算で実 現されるフィルタに置き換えることが考えられる。あるいは、小数画素単位の動き情報 を整数画素位置に丸める処理が考えられる。
[0044] また、フレーム内予測処理の場合、斜め方向への隣接画素のコピーにおける内挿 処理に対してタップ長の短いフィルタもしくは、整数演算で実現されるフィルタに置き 換えることが考えられる。あるいは、より演算量の少ない他のフレーム内予測処理に 置き換えることが考えられる。
[0045] 次に、上位階層データ 2001に対し、エントロピー復号部 201、逆量子化部 202、周波 数逆変換部 203が処理を行い、予測誤差信号 2004を生成する。予測復号部 205は、 メモリ 104に格納された下位階層復号画像 1010と、メモリ 204に格納された上位階層 復号画像 2005と、付加情報 2006を参照し、予測復号処理を行って予測信号 2007を 生成する。下位階層復号画像を用いた予測復号処理として、上位階層と同じ解像度 へのアップサンプルがある。予測信号 2007と予測誤差信号 2004とを加算して上位階 層復号画像 2008を生成する。上位階層復号画像 2008はメモリ 204に格納され、後の 復号に用いられる。
[0046] なお、本実施例では階層数が 2の場合について説明したが、階層数が 3つ以上の 場合にも本発明は適用可能である。この場合、出力となる階層よりも下の階層におい て高画質ィ匕フィルタを簡略ィ匕する。
[0047] 以上説明した本発明の実施の形態では、上位階層を出力する際に下位階層の予 測復号処理を簡略化する、もしくは行わない。下位階層画像を出力する場合、復号 画像の各種歪みは出力画像の品質低下に影響する。しかし、上位階層の復号に参 照される場合、下位階層復号画像の各種歪みは出力画像の品質低下に比較的影 響しない。特に下位階層と上位階層の解像度が異なる場合、下位階層に行われる拡 大処理により歪みは減衰され、出力画像の画質に及ぼす影響は少なくなる。
[0048] また、復号画像装置もしくは方法に対応する符号化装置もしくは方式に本発明を適 用することで、出力画像の品質低下はさらに抑えられる。上位階層画像の符号化に おいて、符号ィヒ内でローカルに行う下位階層復号処理に簡略ィヒした予測復号処理 を用いることで、符号ィ匕側で上位階層において参照される下位階層復号画像と、復 号化側で上位階層にお ヽて参照される下位階層復号画像とがー致する。これにより 上位階層復号画像に大きな歪みをもたらすことなく復号画像装置の処理量低減を実 現できる。
[0049] さらには、上述した説明からも明らかなように、本発明をノヽードウ アで構成すること も可能であるが、コンピュータプログラムにより実現することも可能である。
[0050] この場合、プログラムメモリには、上述した各部と同様な動作をさせるプログラムが格 納され、このプログラムによりプロセッサは動作して上述した実施例と同様な処理を行
5o

Claims

請求の範囲
[1] 階層化された画像データを復号する画像復号方法であって、
下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行 、、 生成した予測信号と予測誤差信号とを加算して第 1の下位階層復号画像を生成し、 上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処 理を簡略化した擬似予測復号処理を行!ゝ、生成した擬似予測信号と前記予測誤差 信号とを加算して第 2の下位階層復号画像を生成した後、前記第 2の階層復号画像 を参照して上位階層復号データを復号する
ことを特徴とする画像復号方法。
[2] 予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となる フレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照 して動き補償予測復号を行うことを特徴とする請求項 1に記載の画像復号方法。
[3] 予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となる フレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照 して動き補償予測復号を行 ヽ、
擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に丸めた後
、動き補償予測復号を行うことを特徴とする請求項 1に記載の画像復号方法。
[4] 予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となる フレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照 して動き補償予測復号を行 ヽ、
擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに代わり、 よりタップ長の短い内挿フィルタを用いることを特徴とする請求項 1に記載の画像復 号方法。
[5] 予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を 参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブ ロックにコピーすることを特徴とする請求項 1に記載の画像復号方法。
[6] 予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を 参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブ ロックにコピーし、
擬似予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素 値内挿処理を用いることを特徴とする請求項 1に記載の画像復号方法。
階層化された画像データを復号する階層画像復号方法であって、
下位階層復号画像を第 1のメモリに格納するステップと、
下位階層データをエントロピー復号する第 1のエントロピー復号ステップと、 前記第 1のエントロピー復号ステップの出力を逆量子化する第 1の逆量子化ステツ プと、
前記第 1の逆量子化ステップの出力を周波数逆変換し第 1の予測誤差信号を生成 する第 1の周波数逆変換ステップと、
前記第 1のメモリに格納された下位階層復号画像と第 1の付加情報とを参照して予 測復号処理を行い、第 1の予測信号を生成する第 1の予測復号ステップと、 前記第 1のメモリに格納された下位階層復号画像と前記第 1の付加情報とを参照し
、前記予測復号処理を簡略化した擬似予測復号処理を行って擬似予測信号を生成 する擬似予測復号ステップと、
上位もしくは下位のいずれの階層を復号するのカゝを指示する復号階層指示信号を 参照し、前記下位階層復号画像を前記第 1の予測復号ステップと前記擬似予測復 号ステップのいずれかを選択する第 1の切替ステップと、
前記復号階層指示信号を参照し、前記付加情報を前記第 1の予測復号ステップと 前記擬似予測復号ステップのいずれかを選択する第 2のステップと、
前記第 1の予測信号もしくは前記擬似予測信号と前記第 1の予測誤差信号とをカロ 算して、下位階層復号画像を生成する第 1の加算ステップと、
上位階層復号画像を第 2のメモリに格納するステップと、
上位階層データをエントロピー復号する第 2のエントロピー復号ステップと、 前記第 2のエントロピー復号ステップの出力を逆量子化する第 2の逆量子化ステツ プと、
前記第 2の逆量子化ステップの出力を周波数逆変換し、第 2の予測誤差信号を生成 する第 2の周波数逆変換ステップと、 前記第 1のメモリに格納された下位階層復号画像と前記第 2のメモリに格納された 上位階層復号画像と第 2の付加情報とを参照して予測復号処理を行 ヽ、第 2の予測 信号を生成する第 2の予測復号ステップと、
前記第 2の予測信号と前記第 2の予測誤差信号とを加算して、上位階層復号画像 を生成する第 2の加算ステップと、
を備え、
下位階層画像を出力画像とする場合には、前記第 1の予測復号ステップを行い、 上位階層画像を出力画像とする場合には、前記擬似予測復号ステップを行って下 位階層擬似復号画像を生成し、前記下位階層擬似復号画像を上位階層復号処理 において参照することを特徴とする階層画像復号方法。
[8] 階層化された画像データを復号する画像復号装置であって、
下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行 ヽ、 生成した予測信号と予測誤差信号とを加算して第 1の下位階層復号画像を生成する 手段と、
上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処 理を簡略化した擬似予測復号処理を行!ゝ、生成した擬似予測信号と前記予測誤差 信号とを加算して第 2の下位階層復号画像を生成した後、前記第 2の階層復号画像 を参照して上位階層復号データを復号する手段と
を有することを特徴とする画像復号装置。
[9] 予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となる フレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照 して動き補償予測復号を行うことを特徴とする請求項 8に記載の画像復号装置。
[10] 予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となる フレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照 して動き補償予測復号を行 ヽ、
擬似予測復号処理が、小数画素位置を示す動き情報を整数画素位置に丸めた後 、動き補償予測復号を行うことを特徴とする請求項 8に記載の画像復号装置。
[11] 予測復号処理が、復号済みの画像フレームである参照フレームと、復号対象となる フレームと前記参照フレームとの間のブロックごとの移動量を表す動き情報とを参照 して動き補償予測復号を行 ヽ、
擬似予測復号処理が、動き補償予測復号における画素値内挿フィルタに代わり、 よりタップ長の短い内挿フィルタを用いることを特徴とする請求項 8に記載の画像復 号装置。
[12] 予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を 参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブ ロックにコピーすることを特徴とする請求項 8に記載の画像復号装置。
[13] 予測復号処理が、復号対象となるブロックに対し、前記ブロックに隣接する画素を 参照して画素値内挿処理を行い、内挿画素値を生成し、前記内挿画素値を前記ブ ロックにコピーし、
擬似予測復号処理が、画素値内挿処理に代わって、より演算量の少ない別の画素 値内挿処理を用いることを特徴とする請求項 8に記載の画像復号装置。
[14] 階層化された画像データを復号する階層画像復号装置であって、
下位階層復号画像が格納される第 1のメモリと、
下位階層データをエントロピー復号する第 1のエントロピー復号手段と、 前記第 1のエントロピー復号手段の出力を逆量子化する第 1の逆量子化手段と、 前記第 1の逆量子化手段の出力を周波数逆変換し、第 1の予測誤差信号を生成す る第 1の周波数逆変換手段と、
前記第 1のメモリに格納された下位階層復号画像と第 1の付加情報とを参照して予 測復号処理を行い、第 1の予測信号を生成する第 1の予測復号手段と、
前記第 1のメモリに格納された下位階層復号画像と前記第 1の付加情報とを参照し 、前記予測復号処理を簡略化した擬似予測復号処理を行って擬似予測信号を生成 する擬似予測復号手段と、
上位もしくは下位のいずれの階層を復号するのカゝを指示する復号階層指示信号を 参照し、前記下位階層復号画像を前記第 1の予測復号手段と前記擬似予測復号手 段のいずれかに入力する第 1の切替手段と、
前記復号階層指示信号を参照し、前記付加情報を前記第 1の予測復号手段と前 記擬似予測復号手段のいずれかに入力する第 2の切替手段と、
前記第 1の予測信号もしくは前記擬似予測信号と前記第 1の予測誤差信号とをカロ 算して、下位階層復号画像を生成する第 1の加算手段と、
上位階層復号画像が格納される第 2のメモリと、
上位階層データをエントロピー復号する第 2のエントロピー復号手段と、
前記第 2のエントロピー復号手段の出力を逆量子化する第 2の逆量子化手段と、 前記第 2の逆量子化手段の出力を周波数逆変換し、第 2の予測誤差信号を生成す る第 2の周波数逆変換手段と、
前記第 1のメモリに格納された下位階層復号画像と前記第 2のメモリに格納された 上位階層復号画像と第 2の付加情報とを参照して予測復号処理を行 ヽ、第 2の予測 信号を生成する第 2の予測復号手段と、
前記第 2の予測信号と前記第 2の予測誤差信号とを加算して、上位階層復号画像 を生成する第 2の加算手段と、
を備え、
下位階層画像を出力画像とする場合には、前記第 1の予測復号手段が行い、 上位階層画像を出力画像とする場合には、前記擬似予測復号手段が行って下位 階層擬似復号画像を生成し、前記下位階層擬似復号画像を上位階層復号処理に ぉ ヽて参照することを特徴とする階層画像復号装置。
階層化された画像データを復号する画像復号装置のプログラムであって、 前記プログラムは、前記画像復号装置に、
下位階層の復号時には、復号済みの画像データを参照して予測復号処理を行 ヽ、 生成した予測信号と予測誤差信号とを加算して第 1の下位階層復号画像を生成する 処理と、
上位階層の復号時には、前記復号済みの画像データを参照して前記予測復号処 理を簡略化した擬似予測復号処理を行!ゝ、生成した擬似予測信号と前記予測誤差 信号とを加算して第 2の下位階層復号画像を生成した後、前記第 2の階層復号画像 を参照して上位階層復号データを復号する処理と
を実行させることを特徴とする画像復号装置のプログラム。
PCT/JP2006/308657 2005-04-27 2006-04-25 画像復号方法、その装置及びプログラム WO2006118114A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007514748A JP5019054B2 (ja) 2005-04-27 2006-04-25 画像復号方法、その装置及びプログラム
EP06732317A EP1876830A4 (en) 2005-04-27 2006-04-25 IMAGE DECODING METHOD, DEVICE FOR IT AND PROGRAM
US11/919,399 US8223840B2 (en) 2005-04-27 2006-04-25 Image decoding method of decoding hierarchy-encoded image data in respective hierarchies, and a device thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-130410 2005-04-27
JP2005130410 2005-04-27

Publications (1)

Publication Number Publication Date
WO2006118114A1 true WO2006118114A1 (ja) 2006-11-09

Family

ID=37307914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308657 WO2006118114A1 (ja) 2005-04-27 2006-04-25 画像復号方法、その装置及びプログラム

Country Status (4)

Country Link
US (1) US8223840B2 (ja)
EP (1) EP1876830A4 (ja)
JP (1) JP5019054B2 (ja)
WO (1) WO2006118114A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2779655B1 (en) * 2010-01-06 2019-05-22 Dolby Laboratories Licensing Corporation Complexity-adaptive scalable decoding and streaming for multi-layered video systems
KR20150056679A (ko) * 2013-11-15 2015-05-27 광운대학교 산학협력단 다중 계층 비디오 코딩을 위한 계층 간 참조 픽쳐 생성 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203426A (ja) * 1993-12-28 1995-08-04 Toshiba Corp 階層符号化復号化装置
JPH0818965A (ja) * 1994-06-30 1996-01-19 Sony Corp 画像データ復号方法及びその装置
JPH0937260A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2001238210A (ja) * 2000-02-25 2001-08-31 Matsushita Electric Ind Co Ltd 階層型符号化装置、階層型復号化装置、映像信号伝送システム、媒体、および情報集合体
JP2002164790A (ja) * 2000-11-28 2002-06-07 Canon Inc 圧縮ストリーム復号化装置及び方法並びに記憶媒体
JP2002232881A (ja) * 2001-01-31 2002-08-16 Toshiba Corp 動画像復号化方法及び装置
JP2002325257A (ja) * 2001-02-20 2002-11-08 Sanyo Electric Co Ltd 画像復号方法および装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2005510150A (ja) * 2001-11-16 2005-04-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6798834B1 (en) * 1996-08-15 2004-09-28 Mitsubishi Denki Kabushiki Kaisha Image coding apparatus with segment classification and segmentation-type motion prediction circuit
JPH0927260A (ja) 1995-07-11 1997-01-28 Taise:Kk 温度ヒューズ及びそれを用いた自動車用送風機の制御装置
US6023301A (en) 1995-07-14 2000-02-08 Sharp Kabushiki Kaisha Video coding device and video decoding device
JP3824701B2 (ja) * 1996-04-01 2006-09-20 パイオニア株式会社 情報記録方法及び装置
JPH1023425A (ja) * 1996-07-01 1998-01-23 Sony Corp 画像符号化装置および方法、画像復号化装置および方法、並びに画像記録媒体
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
DE60020090T2 (de) * 1999-03-17 2006-01-19 Novatec S.A. Verfahren und vorrichtung zum auftragen von kugeln in die öffnungen eines kugelbehälters
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
US6618445B1 (en) 2000-11-09 2003-09-09 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder
JP3957460B2 (ja) * 2001-01-15 2007-08-15 沖電気工業株式会社 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム
TW567728B (en) 2001-02-20 2003-12-21 Sanyo Electric Co Method and apparatus for decoding graphic image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07203426A (ja) * 1993-12-28 1995-08-04 Toshiba Corp 階層符号化復号化装置
JPH0818965A (ja) * 1994-06-30 1996-01-19 Sony Corp 画像データ復号方法及びその装置
JPH0937260A (ja) * 1995-07-14 1997-02-07 Sharp Corp 動画像符号化装置及び動画像復号装置
JP2001238210A (ja) * 2000-02-25 2001-08-31 Matsushita Electric Ind Co Ltd 階層型符号化装置、階層型復号化装置、映像信号伝送システム、媒体、および情報集合体
JP2002164790A (ja) * 2000-11-28 2002-06-07 Canon Inc 圧縮ストリーム復号化装置及び方法並びに記憶媒体
JP2002232881A (ja) * 2001-01-31 2002-08-16 Toshiba Corp 動画像復号化方法及び装置
JP2002325257A (ja) * 2001-02-20 2002-11-08 Sanyo Electric Co Ltd 画像復号方法および装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2005510150A (ja) * 2001-11-16 2005-04-14 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ より大きな画素グリッド動き補償を利用した複雑さが減少されたビデオ復号化

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1876830A4 *

Also Published As

Publication number Publication date
JP5019054B2 (ja) 2012-09-05
EP1876830A1 (en) 2008-01-09
JPWO2006118114A1 (ja) 2008-12-18
EP1876830A4 (en) 2011-03-16
US8223840B2 (en) 2012-07-17
US20090304074A1 (en) 2009-12-10

Similar Documents

Publication Publication Date Title
RU2420915C2 (ru) Операции повторной дискретизации и изменения размера изображения для кодирования и декодирования видео с переменной разрешающей способностью
TWI285053B (en) Transcoder and transcoding method operating in a transform domain for video coding schemes possessing different transform kernels
KR101279755B1 (ko) 효율적인 통합 디지털 비디오 트랜스코딩
CN101467461B (zh) 基于多层的视频编码方法及其装置
JP5134001B2 (ja) 下層のフィルタリングを備えたスケーラブルビデオ符号化
CN109246436B (zh) 对图像进行编码或解码的方法和装置以及存储介质
US8340179B2 (en) Methods and devices for coding and decoding moving images, a telecommunication system comprising such a device and a program implementing such a method
CN101263717A (zh) 任意分辨率改变尺寸缩小解码器
JP2005507587A (ja) 空間的にスケーラブルな圧縮
JP2008541653A (ja) スムージング予測を用いた多階層基盤のビデオエンコーディング方法、デコーディング方法、ビデオエンコーダ及びビデオデコーダ
JP2014523695A (ja) スケーラブルビデオ符号化技法
KR100963424B1 (ko) 스케일러블 영상 복호화기 및 그 제어 방법
JP5019053B2 (ja) 画像復号方法、画像復号装置及びプログラム
JP5019054B2 (ja) 画像復号方法、その装置及びプログラム
JP4559811B2 (ja) 情報処理装置及び情報処理方法
KR100759870B1 (ko) Ｃｂｐ에 기초하여 선택된 보간 필터를 이용하여 공간 계층 간의 예측을 수행하는 ｈ.264 스케일러블 영상 부호화/복호화 방법 및 그 장치
KR20090097016A (ko) 영상 부호화장치 및 영상 복호화장치
JP5175813B2 (ja) 符号化装置、復号装置及び画像処理プログラム
JPWO2019017327A1 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラムが格納された記録媒体
KR20060094448A (ko) 영상블록을 확대하는 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 11919399

Country of ref document: US

Ref document number: 2007514748

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006732317

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006732317

Country of ref document: EP