WO2012090454A1 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Download PDF

Info

Publication number
WO2012090454A1
WO2012090454A1 PCT/JP2011/007204 JP2011007204W WO2012090454A1 WO 2012090454 A1 WO2012090454 A1 WO 2012090454A1 JP 2011007204 W JP2011007204 W JP 2011007204W WO 2012090454 A1 WO2012090454 A1 WO 2012090454A1
Authority
WO
WIPO (PCT)
Prior art keywords
planar
prediction
planar prediction
block
image
Prior art date
Application number
PCT/JP2011/007204
Other languages
English (en)
French (fr)
Inventor
慶一 蝶野
裕三 仙田
啓史 青木
健太 先崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/976,308 priority Critical patent/US10021385B2/en
Priority to JP2012550718A priority patent/JP5812011B2/ja
Publication of WO2012090454A1 publication Critical patent/WO2012090454A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a video encoding device and a video decoding device to which a video encoding technology is applied.
  • a video encoding device digitizes a moving image signal input from the outside, and then performs encoding processing in accordance with a predetermined video encoding method to generate encoded data, that is, a bit stream.
  • Non-Patent Document 1 There is ISO / IEC 14496-10 Advanced Video Coding (AVC) described in Non-Patent Document 1 as a predetermined video encoding method.
  • AVC Advanced Video Coding
  • the Joint Model method is known (hereinafter referred to as a general video encoding device).
  • FIG. 8 the configuration and operation of a general video encoding apparatus that outputs a bit stream by inputting each frame of a digitized video will be described.
  • a transform / quantizer 102 includes a transform / quantizer 102, an entropy encoder 103, an inverse transform / inverse quantizer 104, a picture buffer 105, a decoded picture buffer 106, and a quantizer / inverse quantizer. 107, an adaptive linear interpolator 108, an inter-frame predictor (inter predictor) 110, an intra predictor 111, an encoding controller 112, a switch 121, and a switch 122.
  • inter predictor inter-frame predictor
  • a general video encoding apparatus divides each frame into blocks of 16 ⁇ 16 pixel size called MB (Macro Block), and further divides MB into 4 ⁇ 4 pixel size blocks.
  • the obtained 4 ⁇ 4 block is set as a minimum structural unit of encoding.
  • FIG. 9 is an explanatory diagram showing an example of block division when the spatial resolution of the frame is QCIF (Quarter Common Intermediate Format).
  • the input video divided into MB blocks is input to the transformer / quantizer 102 after the prediction signal supplied from the intra predictor 111 or the inter-frame predictor 110 is subtracted.
  • the prediction signal is an intra prediction signal or an inter-frame prediction signal.
  • the MB block from which the prediction signal is reduced is referred to as a prediction error image block.
  • the intra predictor 111 generates an intra prediction signal using a reconstructed image stored in the picture buffer 105 and having the same display time as the current frame.
  • an MB encoded using an intra prediction signal is referred to as an intra MB.
  • the inter-frame predictor 110 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 106 having a display time different from that of the current frame.
  • an MB encoded using an inter-frame prediction signal is referred to as an inter MB.
  • a frame encoded only with an intra MB is called an I frame.
  • a frame encoded including not only an intra MB but also an inter MB is called a P frame.
  • a frame encoded including an inter MB that uses not only one reference image but also two reference images at the same time for generating an inter-frame prediction signal is called a B frame.
  • the encoding control unit 112 compares the intra prediction signal and the inter-frame prediction signal with the input MB stored in the MB buffer 101, selects a prediction signal that reduces the energy of the prediction error image block, and switches the switch 122. Control.
  • Information related to the selected prediction signal is supplied to the entropy encoder 103.
  • the encoding control unit 112 selects an integer DCT (Discrete (Cosine Transform) base block size suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block.
  • the integer DCT means frequency conversion based on a base obtained by approximating a DCT base with an integer value in a general video encoding apparatus.
  • a larger base block size is selected.
  • Information regarding the base size of the selected integer DCT is supplied to the entropy encoder 103.
  • auxiliary information information related to the selected prediction signal, information related to the base size of the selected integer DCT, and the quantization parameter described later.
  • the inverse transform / inverse quantizer 104 inversely quantizes the transform quantized value with the quantization step width Qs. Further, the inverse transform / inverse quantizer 104 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization. The reconstructed prediction error image subjected to inverse frequency conversion is added with a prediction signal (intra prediction signal or inter prediction signal) and supplied to the picture buffer 105 via the switch 121.
  • a prediction signal intra prediction signal or inter prediction signal
  • the picture buffer 105 stores a reconstructed image block obtained by adding a prediction signal to a reconstructed prediction error image block until all MBs included in the current frame are encoded.
  • a picture constituted by the reconstructed image in the picture buffer 105 is referred to as a reconstructed image picture.
  • the entropy encoder 103 entropy-encodes the auxiliary information and the quantization index, and outputs the bit string, that is, a bit stream.
  • Non-patent document 1 discloses general intra prediction, but in Test Model under Consideration (TMuC method) of non-patent document 2, if 5.1.1.3.1 Specification of intra planar prediction is cited, Planar prediction The new concept of intra prediction has been introduced.
  • TMC method Test Model under Consideration
  • planar_qdelta_indicator a prediction error quantization index corresponding to a lower right image (see Fig. 10) of a block to be coded and its sign information (planar_sign) are video.
  • the data is transmitted from the encoding device to the video decoding device.
  • the planar_qdelta_indicator is a quantization index of the prediction error value (delta) of the lower right image predicted using the average value DCpred of pixels adjacent to the upper and left sides of the Planar prediction block.
  • linear quantization corresponding to the range is applied.
  • planar_sign is the sign information of delta (1: minus, 0: plus).
  • planar_qdelta_indicator and planar_sign is shown in the following equations (1) and (2).
  • the lower right image is reconstructed using the reference image around the Planar prediction block and the transmitted planar_qdelta_indicator and planar_sign.
  • a reconstruction prediction error value qdelta is calculated based on planar_qdelta_indicator and planar_sign, and the reconstruction pixel value of the lower right image is set to qdelta + Dcpred.
  • the calculation of qdelta is shown in the following equation (3).
  • the rightmost column of the Planar prediction block Is calculated (see FIG. 11).
  • the bottom row of the Planar prediction block based on the one-dimensional linear interpolation between the reconstructed pixel value of the lower right image (see FIG. 10) and the lower left pixel value of the reference image around the Planar prediction block. Is calculated (see FIG. 11).
  • the prediction image of the remaining region (the prediction image other than the rightmost column and the bottom row in FIG. 12, that is, the prediction image inside the Planar prediction block boundary) is calculated by two-dimensional linear interpolation.
  • a prediction error difference between an original signal and an interpolated image
  • Planar mode Planar prediction
  • Planar mode filter that interpolates the pixels of each adjacent block is applied to the block boundary of Planar intra instead of a normal deblocking filter.
  • a specific filtering process is described in Non-Patent Document 2 in 5.4.1 Deblocking filter process Planar mode filtering.
  • Planar mode filter block interpolation (see FIG. 13) between adjacent Planar mode blocks is subjected to one-way interpolation using images at predetermined positions on the left and right of the block boundary (see FIG. 14).
  • the M / 4th image on the left of the block boundary and the M / 4th image on the right are images at predetermined positions.
  • the M / 4th image above the block boundary and the M / 4th image below are the images at predetermined positions.
  • the quantizer / inverse quantizer 107 inputs a value obtained by subtracting the average value DCpred of adjacent pixels from the lower right pixel value of the input MB block as delta,
  • the planer_qdelta_indicator and the planer_sign are obtained by the calculation of the equations (1) and (2), and are supplied to the entropy encoder 103.
  • the entropy encoder 103 performs entropy encoding using planar_qdelta_indicator and planar_sign as auxiliary information.
  • the quantizer / inverse quantizer 107 calculates qdelta by the above equation (3) and supplies the qdelta to the adaptive linear interpolator 108.
  • the adaptive linear interpolator 108 performs one-dimensional linear interpolation between the reconstructed pixel value (qdelta + Dcpred) of the lower right image and the upper right pixel value of the reference image, so that the predicted image (see FIG. 11). Also, a predicted image in the lowermost row of the Planar prediction block is obtained by one-dimensional linear interpolation between qdelta + Dcpred and the pixel value at the bottom left of the reference image around the Planar prediction block.
  • the adaptive linear interpolator 108 obtains a prediction image inside the Planar prediction block boundary by two-dimensional linear interpolation (see FIG. 12).
  • the predicted image obtained by the adaptive linear interpolator 108 is stored in the picture buffer 105 via the switch 121 as a reconstructed image.
  • the dynamic range that expresses the signal that changes smoothly in the interval of the size of the Planar block is insufficient. Occurs.
  • the dynamic range necessary for expressing a smoothly changing signal for example, a signal that monotonously increases pixel by pixel
  • the absolute value of qdelta is 16 or more, it is possible to reproduce a signal that changes smoothly by simple linear interpolation, but if the absolute value of qdelta is less than 16, it changes smoothly. The signal cannot be reproduced by simple linear interpolation, and gradation distortion occurs.
  • the present invention effectively reduces the gradation distortion by using pseudo-random noise in linear interpolation for calculating a predicted image based on the conditions under which the gradation distortion occurs.
  • the purpose is to suppress.
  • a video encoding device is a video encoding device including Planar prediction means using Planar prediction, and the reconstruction prediction error value of Planar prediction is less than a threshold value determined by the size of the Planar prediction block.
  • it is characterized by comprising noise mixing means for mixing pseudo-random noise into the predicted image of the Planar prediction block.
  • the video decoding device is a video decoding device including Planar prediction means using Planar prediction, and the reconstruction prediction error value of Planar prediction is less than a threshold value determined by the size of the Planar prediction block. And a noise mixing means for mixing pseudo-random noise into the predicted image of the Planar prediction block.
  • the video encoding method according to the present invention is a video encoding method using Planar prediction, in which the reconstruction prediction error value of Planar prediction is less than a threshold value determined by the size of the Planar prediction block. Pseudorandom noise is mixed in the prediction image of the prediction block.
  • the video decoding method mixes pseudo-random noise in the predicted image of the Planar prediction block when the reconstruction prediction error value of the Planar prediction is less than a threshold value determined by the size of the Planar prediction block. It is characterized by.
  • the video encoding program according to the present invention predicts a Planar prediction block when the computer predicts the Planar prediction process and the reconstruction prediction error value of the Planar prediction is less than a threshold value determined by the size of the Planar prediction block. And a process of mixing pseudo-random noise in the image.
  • the video decoding program predicts a predicted image of a Planar prediction block when the reconstruction prediction error value of the Planar prediction process and the Planar prediction is less than a threshold determined by the size of the Planar prediction block. And a process of mixing pseudo-random noise into the system.
  • a condition for generating gradation distortion is detected, and pseudo-random noise is used for linear interpolation for calculating a predicted image, thereby effectively correcting gradation distortion. Can be suppressed.
  • Embodiment 1 a video encoding device that detects gradation conditions and generates pseudo-random noise for linear interpolation for calculating a predicted image to suppress gradation distortion will be described.
  • the video encoding apparatus includes a transform / quantizer 102, an entropy encoder 103, an inverse transform / inverse quantizer 104, a picture buffer 105, a decoded picture buffer 106, a quantization / Inverse quantizer 107, adaptive linear interpolator 108, pseudo random noise generator 109, inter-frame predictor (inter predictor) 110, intra predictor 111, encoding controller 112, switch 121, and switch 122 .
  • each unit shown in FIG. 1 will be described by focusing on only the luminance pixel value.
  • the intra predictor 111 generates an intra prediction signal using a reconstructed image stored in the picture buffer 105 and having the same display time as the current frame.
  • the inter-frame predictor 110 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 106 having a display time different from that of the current frame.
  • the encoding control unit 112 compares the intra prediction signal and the inter-frame prediction signal with the input MB stored in the MB buffer 101, selects a prediction signal that reduces the energy of the prediction error image block, and switches the switch 122. Control.
  • Information related to the selected prediction signal is supplied to the entropy encoder 103.
  • the encoding control unit 112 selects an integer DCT (Discrete (Cosine Transform) base block size suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block. Information regarding the base size of the selected integer DCT is supplied to the entropy encoder 103.
  • integer DCT Discrete (Cosine Transform) base block size suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block.
  • Information regarding the base size of the selected integer DCT is supplied to the entropy encoder 103.
  • the inverse transform / inverse quantizer 104 inversely quantizes the transform quantized value with the quantization step width Qs. Further, the inverse transform / inverse quantizer 104 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization. The reconstructed prediction error image subjected to inverse frequency conversion is added with a prediction signal (intra prediction signal or inter prediction signal) and supplied to the picture buffer 105 via the switch 121.
  • a prediction signal intra prediction signal or inter prediction signal
  • the picture buffer 105 stores a reconstructed image block obtained by adding a prediction signal to a reconstructed prediction error image block until all MBs included in the current frame are encoded.
  • the intra predictor 111 outputs the average value DCpred of pixels adjacent on the upper and left sides of the Planar prediction block.
  • the quantizer / inverse quantizer 107 inputs a value obtained by subtracting the average value DCpred of adjacent pixels from the lower right pixel value of the input MB block as delta, and the planer_qdelta_indicator according to the above equations (1) and (2). And planar_sign are calculated and supplied to the entropy encoder 103.
  • the quantizer / inverse quantizer 107 calculates qdelta (reconstructed prediction error value) by the above equation (3) and supplies the qdelta to the adaptive linear interpolator 108.
  • the adaptive linear interpolator 108 is also supplied with the reconstructed pixel value (qdelta + Dcpred).
  • the adaptive linear interpolator 108 obtains a predicted image (see FIG. 11) in the rightmost column of the Planar prediction block by one-dimensional linear interpolation between qdelta + Dcpred and the pixel value at the upper right of the reference image. Also, a predicted image in the lowermost row of the Planar prediction block is obtained by one-dimensional linear interpolation between qdelta + Dcpred and the pixel value at the bottom left of the reference image around the Planar prediction block.
  • the adaptive linear interpolator 108 obtains a prediction image inside the Planar prediction block boundary by two-dimensional linear interpolation (see FIG. 14).
  • the predicted image obtained by the adaptive linear interpolator 108 is stored in the picture buffer 105 via the switch 121 as a reconstructed image.
  • the entropy encoder 103 entropy-encodes the auxiliary information and the quantization index, and outputs the bit string, that is, a bit stream.
  • FIG. 1 shows that the pseudo-random noise generator 109 is added to the video encoding device of the present embodiment shown in FIG. 1 compared to the general video encoding device shown in FIG.
  • the pseudo-random noise generator 109 mixes pseudo-random noise into the predicted image of the Planar prediction block when the reconstruction prediction error value of the Planar prediction is less than a threshold value determined by the size of the Planar prediction block.
  • predPartL [x, y] Clip 0-255 (((PuPartSize-(y + 1)) * TR (x) + (y + 1) * BR (x) + (PuPartSize-(x + 1)) * LC (y) + (x + 1) * RC (y) + Dither [x, y]) / (PuPartSize * 2)) ... (4)
  • LC (j) ((PuPartSize-(j + 1)) * M (0, -1) + (j + 1) * BRS + (PuPartSize >> 1)) / PuPartSize
  • BR is expressed as follows.
  • BRS DC + planar_delta_y
  • Plant_delta_y is the luminance qdelta.
  • DC is a DC predicted value as described in 5.1.1.3.3.3 of Non-Patent Document 2.
  • Dither [x, y] in the equation (4) is set as follows.
  • Dither [x, y] PuPartSize
  • Dither [x, y] in the equation (4) is as follows.
  • Dither [x, y] NoiseTable [PuPartSize * y + x]
  • Dither [x, y] in the equation (4) is set as follows for predicted images other than the rightmost column and the bottom row.
  • Dither [x, y] PuPartSize
  • NoiseTable [PuPartSize * y + x] 0-2 * PuPartSize.
  • the predetermined encoding unit includes, for example, the first CU (Coding Unit) of each frame, and a plurality of CUs in each frame.
  • the uniformly distributed pseudo-random variable generator By resetting the uniformly distributed pseudo-random variable generator in a predetermined encoding unit, random accessibility for video decoding, parallel processing of video encoding and video decoding, and the like can be improved.
  • the initial value rv [0] may be reset to a predetermined value in a predetermined coding unit.
  • the threshold for determining whether or not to add pseudo-random noise is a value obtained by multiplying the size of the Planar block PuPartSize by 0.5. That is, if
  • FIG. 2 is a flowchart showing the operation of the adaptive linear interpolator 108 in this embodiment.
  • the value of qdelta (specifically, the absolute value of planar_delta_y) is less than 0.5 * PuPartSize. It is determined whether or not there is (step S102). If qdelta is equal to or greater than 0.5 * PuPartSize, the process of mixing pseudo-random noise is not executed, and planar prediction is executed in the same manner as in the case of the general video encoding device shown in FIG. 8 (step S103). ).
  • the adaptive linear interpolator 108 inputs the pseudo random noise (Dither [x, y]) generated by the pseudo random noise generator 109, and the above (4) A predicted image of the Planar prediction block mixed with pseudo-random noise is generated according to the equation (step S104).
  • the video encoding apparatus generates a bit stream by the above processing.
  • the threshold value is set to 0.5 * PuPartSize, but a threshold value obtained by multiplying PuPartSize by a value closer to 1.0 than 0.5 may be used.
  • the video encoding apparatus simulates the prediction image of the Planar prediction block when the reconstruction prediction error value of the Planar prediction is less than the threshold determined by the size of the Planar prediction block. Add random noise. Therefore, it is possible to suppress tone distortion caused by an insufficient dynamic range for expressing a signal that smoothly changes in the section of the size of the Planar block.
  • Embodiment 2 a video decoding apparatus that suppresses gradation distortion by detecting conditions under which gradation distortion occurs and using pseudo-random noise for linear interpolation for calculating a predicted image will be described. Note that the video decoding apparatus according to the present embodiment is a video decoding apparatus corresponding to the video encoding apparatus according to the first embodiment.
  • the video decoding apparatus includes an entropy decoder 201, an inverse transform / inverse quantizer 204, a picture buffer 205, a decoded picture buffer 206, an inverse quantizer 207, and an adaptive linear interpolator 208. , A pseudo random noise generator 209, an inter-frame predictor (inter predictor) 210, an intra predictor 211, a decoding controller 212, and a switch 222.
  • inter predictor inter predictor
  • the entropy decoder 201 entropy-decodes the bitstream and outputs information related to the prediction signal of the decoding target MB, the base size of the integer DCT, and the quantization index.
  • the entropy decoder 201 entropy-decodes planar_qdelta_indicator and planar_sign as auxiliary information.
  • the inverse quantization unit / inverse quantizer 204 inversely quantizes the quantization index supplied from the entropy decoder 201, inversely transforms the quantized representative value, and returns the original spatial domain.
  • the picture buffer 205 stores a reconstructed image block obtained by adding a prediction signal to the reconstructed prediction error image block returned to the original spatial region until all MBs included in the currently decoded frame are decoded. Is done.
  • the decoded picture buffer 206 stores the reconstructed image as a reference image picture.
  • the image of the reference image picture is used as a reference image for generating an inter-frame prediction signal. Further, the reference image picture is output as an expanded frame at an appropriate display timing.
  • the inter-frame predictor 210 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 206 that has a display time different from that of the currently decoded frame.
  • the intra predictor 211 generates an intra prediction signal using a reconstructed image stored in the picture buffer 205 whose display time is the same as that of the currently decoded frame.
  • the decoding controller 212 controls the switch 222 based on the entropy-decoded interframe prediction and supplies an intra prediction signal or an interframe prediction signal.
  • the inverse quantizer 207 calculates qdelta by the above equation (3) and supplies the qdelta to the adaptive linear interpolator 208.
  • the adaptive linear interpolator 208 is also supplied with the reconstructed pixel value (qdelta + Dcpred).
  • the intra predictor 211 outputs an average value DCpred of pixels adjacent to the upper and left sides of the Planar prediction block.
  • the adaptive linear interpolator 208 performs a one-dimensional linear interpolation between the reconstructed pixel value (qdelta + Dcpred) of the lower right image and the upper right pixel value of the reference image, so that the prediction image (see FIG. 11). Also, a predicted image in the lowermost row of the Planar prediction block is obtained by one-dimensional linear interpolation between qdelta + Dcpred and the pixel value at the lower left of the reference image around the Planar prediction block.
  • the adaptive linear interpolator 208 obtains a prediction image inside the Planar prediction block boundary by two-dimensional linear interpolation (see FIG. 14).
  • the predicted image obtained by the adaptive linear interpolator 208 is stored in the picture buffer 205 via the switch 221 as a reconstructed image.
  • FIG. 4 is a flowchart showing the operation of the adaptive linear interpolator 208. Similar to the adaptive linear interpolator 108 in the first embodiment, the adaptive linear interpolator 208 receives the reconstructed prediction error value (qdelta) (step S201), qdelta (specifically, the absolute value of the planer_delta_y) It is determined whether or not the value is less than 0.5 (step S202). When qdelta is 0.5 or more, the process of mixing pseudo-random noise is not executed, and planar prediction is executed as in the case of a general video decoding apparatus (step S203).
  • qdelta reconstructed prediction error value
  • step S201 the reconstructed prediction error value
  • qdelta specifically, the absolute value of the planer_delta_y
  • the adaptive linear interpolator 208 inputs the pseudo random noise (Dither [x, y]) generated by the pseudo random noise generator 209, and the above (4) A predicted image of the Planar prediction block mixed with pseudo random noise is generated according to the equation (step S204).
  • the pseudo random noise generator 209 generates pseudo random noise in the same manner as the pseudo random noise generator 109 in the first embodiment.
  • the video decoding apparatus decompresses the bit stream by the above processing.
  • the threshold value is set to 0.5 * PuPartSize, but a threshold value obtained by multiplying PuPartSize by a value closer to 1.0 than 0.5 may be used.
  • the video decoding device of the present embodiment when the reconstruction prediction error value of Planar prediction is less than the threshold determined by the size of the Planar prediction block, Pseudorandom noise is mixed in the prediction image of the Planar prediction block. Therefore, it is possible to suppress tone distortion caused by an insufficient dynamic range for expressing a signal that smoothly changes in the section of the size of the Planar block.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 5 includes a processor 1001, a program memory 1002, a storage medium 1003, and a storage medium 1004.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 stores a program for realizing the function of each block (excluding the buffer block) shown in FIG. 1 and FIG.
  • the processor 1001 implements the functions of the video encoding device or the video decoding device shown in FIGS. 1 and 3 by executing processing according to the program stored in the program memory 1002.
  • FIG. 6 is a block diagram showing the main part of the video encoding apparatus according to the present invention.
  • the video encoding apparatus according to the present invention includes a Planar prediction unit 11 (for example, an adaptive linear interpolator 108) that uses Planar prediction, and a reconstruction prediction error value of Planar prediction includes a Planar prediction block.
  • a noise mixing means 12 for example, an adaptive linear interpolator 108 and a pseudo random noise generator 109) that mixes pseudo random noise in the predicted image of the Planar prediction block when the size is less than a threshold determined by the size; Prepare.
  • FIG. 7 is a block diagram showing the main part of the video decoding apparatus according to the present invention.
  • the video decoding apparatus according to the present invention includes a Planar prediction unit 21 using Planar prediction (for example, an adaptive linear interpolator 208), and a reconstruction prediction error value of Planar prediction is the size of the Planar prediction block.
  • a noise mixing means 22 for example, an adaptive linear interpolator 208 and a pseudo random noise generator 209 for mixing pseudo random noise in the predicted image of the Planar prediction block when the threshold value is less than the threshold value determined in (1). .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　映像符号化装置は、Planar予測を用いるPlanar予測部と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入部とを備える。そして、映像符号化装置は、階調歪みが発生する条件に基づいて、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって階調歪みを抑制する。

Description

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
　本発明は、映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
　一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。
　所定の映像符号化方式として非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model 方式が知られている（以下、一般的な映像符号化装置という）。
　図８を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
　図８に示された映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、量子化／逆量子化器１０７、適応線形補間器１０８、フレーム間予測器（インター予測器）１１０、イントラ予測器１１１、符号化制御器１１２、スイッチ１２１、及びスイッチ１２２を備える。
　一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。
　図９は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。
　以下、図８に示された各部の動作を説明する。
　ＭＢブロックに分割された入力映像は、イントラ予測器１１１又はフレーム間予測器１１０から供給される予測信号が減じられて、変換／量子化器１０２に入力される。予測信号は、イントラ予測信号又はフレーム間予測信号である。以下、予測信号が減じられたＭＢブロックを予測誤差画像ブロックという。
　イントラ予測器１１１は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。
　フレーム間予測器１１０は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０６に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。
　なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測信号の生成に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。
　符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１２２を制御する。選択された予測信号に関連する情報（イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報）は、エントロピー符号化器１０３に供給される。
　また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴ（Discrete Cosine Transform ）の基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、エントロピー符号化器１０３に供給される。以下、選択された予測信号に関連する情報、選択された整数ＤＣＴの基底サイズなどに関する情報、および後述する量子化パラメータを補助情報と呼ぶ。
　逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（イントラ予測信号、又はインター予測信号）が加えられて、スイッチ１２１を介してピクチャバッファ１０５に供給される。なお、量子化／逆量子化器１０７および線形補間器１０８の動作については後述する。
　ピクチャバッファ１０５には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０５において再構築画像によって構成されるピクチャを再構築画像ピクチャという。
　エントロピー符号化器１０３は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
ISO/IEC　14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
　非特許文献１は、一般的なイントラ予測を開示しているが、非特許文献２のTest Model under Consideration （ＴＭｕＣ方式）においては、5.1.1.3.1 Specification of intra planar predictionを引用すると、Planar予測という新たな概念のイントラ予測が導入されている。
　Planar予測では、参照画像を用いた予測符号化に基づいて、符号化対象ブロックの右下画像（図１０参照）に対応する予測誤差量子化インデックス（planar_qdelta_indicator ）とその正負符号情報（planar_sign ）が映像符号化装置から映像復号装置に伝送される。planar_qdelta_indicator は、Planar予測ブロックの上と左側に隣接する画素の平均値DCpredを用いて予測された右下画像の予測誤差値（delta ）の量子化インデックスである。delta の量子化として、そのレンジに応じた線形量子化が適用される。なお、planar_sign は、delta の正負符号情報である（１： マイナス、0： プラス）。planar_qdelta_indicator とplanar_sign の計算を以下の（１）式及び（２）式に示す。
delta = p[PuPartSize - 1, PuPartSize - 1] - DCpred; 
planar_sign = (delta < 0)? 1 : 0; 
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
Adelta = |delta |;
if (Adelta > 63)
planar_qdelta_indicator = (Adelta >> 3) + 14; 
else if(Adelta > 9) 
planar_qdelta_indicator = (Adelta >> 2) + 6;
else if (Adelta > 3)
planar_qdelta_indicator = (Adelta >> 1) + 2;
else
planar_qdelta_indicator = Adelta; 
　　　　　　　　　　　　　　　　　　　　　　　　　・・・（２）
　ただし、p[PuPartSize - 1, PuPartSize - 1] は右下画像の画素である。また、Dcpredの詳細な計算方法が、非特許文献２の5.1.1.3.3.3 Specification of Intra_DC prediction modeに記載されている。
　続いて、Planar予測では、Planar予測ブロック周辺の参照画像、及び、伝送されたplanar_qdelta_indicator とplanar_sign を用いて、右下画像を再構築する。planar_qdelta_indicator とplanar_sign に基づいて再構築予測誤差値qdeltaを計算し、右下画像の再構築画素値をqdelta+Dcpred とする。qdeltaの計算を以下の（３）式に示す。
if (planar_qdelta_indicator > 21) 
qdelta = ((planar_qdelta_indicator - 14) << 3) + 4; 
else if(planar_qdelta_indicator > 9)
qdelta = ((planar_qdelta_indicator - 6) << 2) + 2;
else if (planar_qdelta_indicator > 3) 
qdelta = (planar_qdelta_indicator - 2) << 1;
else
qdelta = planar_qdelta_indicator; 
if(planar_sign == 1)
qdelta = -1*qdelta
　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（３）
　続いて、右下画像の再構築画素値（図１０参照）、及び、Planar予測ブロック周辺の参照画像の一番右上の画素値との１次元線形補間に基づいて、Planar予測ブロックの右端の列の予測画像（図１１参照）を計算する。同様に、右下画像の再構築画素値（図１０参照）、及び、Planar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間に基づいて、Planar予測ブロックの下端の行の予測画像（図１１参照）を計算する。
　最後に、図１２に示すように、残りの領域の予測画像（図１２における最右列及び最下行以外の予測画像、すなわち、Planar予測ブロック境界の内部の予測画像）を２次元線形補間で計算する。なお、Planar予測（以後、Planarモードとも呼ぶ）を用いたブロックにおいては、予測誤差（原信号と補間画像の差分）は伝送されない。つまり、予測画像がそのまま再構築画像になる。
　ゆえに、Planar intraのブロック境界には、通常のデブロックフィルタの代わりに、隣接ブロックそれぞれの画素を内挿するPlanarモードフィルタが適用される。具体的なフィルタ処理が、非特許文献２の5.4.1 Deblocking filter process のPlanar mode filtering に記載されている。Planarモードフィルタでは、隣接するPlanarモードブロックのブロック境界（図１３参照）を、ブロック境界左右の所定位置の画像を用いて一元内挿補間する（図１４参照）。水平方向のブロック境界では、ブロック境界の左にＭ／４番目と右にＭ／４番目が所定位置の画像となる。垂直方向のブロック境界では、ブロック境界の上にＭ／４番目と下にＭ／４番目が所定位置の画像となる。
　図８に示された映像符号化装置では、量子化／逆量子化器１０７は、入力ＭＢブロックの右下の画素値から隣接する画素の平均値DCpredを減じた値をdelta として入力し、上記の（１）式及び（２）式の計算によってplanar_qdelta_indicator とplanar_sign とを得て、エントロピー符号化器１０３に供給する。
　エントロピー符号化器１０３は、planar_qdelta_indicator とplanar_sign とを補助情報としてエントロピー符号化する。
　また、量子化／逆量子化器１０７は、上記の（３）式によってqdeltaを計算し、qdeltaを適応線形補間器１０８に供給する。
　適応線形補間器１０８は、右下画像の再構築画素値（qdelta+Dcpred ）と参照画像の一番右上の画素値との１次元線形補間によって、Planar予測ブロックの右端の列の予測画像（図１１参照）を得る。また、qdelta+Dcpred とPlanar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間によって、Planar予測ブロックの下端の行の予測画像を得る。
　また、適応線形補間器１０８は、２次元線形補間によって、Planar予測ブロック境界の内部の予測画像を得る（図１２参照）。適応線形補間器１０８が得た予測画像は、再構築画像として、スイッチ１２１を介してピクチャバッファ１０５に格納される。
　qdeltaの絶対値がPlanarブロックのサイズ未満である場合には、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であり、単純な線形補間では予測画像に階調歪みが発生する。例えば、Planarブロックのサイズが１６である場合、滑らかに変化する信号（例えば、１画素ずつ単調増加する信号）を表現するのに必要なダイナミックレンジは１６である。ゆえに、qdeltaの絶対値が１６以上であれば、単純な線形補間によって滑らかに変化する信号を再現することが可能であるが、qdeltaの絶対値が１６未満である場合には、滑らかに変化する信号を単純な線形補間では再現できず階調歪みが発生する。
　本発明は、上述した階調歪みの発生を防止するために、階調歪みが発生する条件に基づいて、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって効率的に階調歪みを抑制することを目的とする。
　本発明による映像符号化装置は、Planar予測を用いるPlanar予測手段を備える映像符号化装置であって、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする。
　本発明による映像復号装置は、Planar予測を用いるPlanar予測手段を備える映像復号装置であって、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする。
　本発明による映像符号化方法は、Planar予測を用いる映像符号化方法であって、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする。
　本発明による映像復号方法は、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする。
　本発明による映像符号化プログラムは、コンピュータに、Planar予測処理と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理とを実行させることを特徴とする。
　本発明による映像復号プログラムは、コンピュータに、Planar予測処理と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理とを実行させることを特徴とする。
　本発明によれば、Planar予測に基づいた映像符号化技術において、階調歪みが発生する条件を検出し、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって効率的に階調歪みを抑制できる。
第１の実施形態の映像符号化装置の構成を示すブロック図である。 映像符号化装置における適応線形補間器の動作を示すフローチャートである。 第２の実施形態の映像復号装置の構成を示すブロック図である。 映像符号化装置における適応線形補間器の動作を示すフローチャートである。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 一般的な映像符号化装置の構成を示すブロック図である。 ブロック分割の例を示す説明図である。 Planar予測を説明するための説明図である。 Planar予測を説明するための説明図である。 Planar予測を説明するための説明図である。 Planarモードフィルタを説明するための説明図である。 Planarモードフィルタを説明するための説明図である。
実施形態１．
　本実施形態においては、階調歪みが発生する条件を検出し、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって階調歪みを抑制する映像符号化装置を説明する。
　図１に示すように、本実施形態の映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、ピクチャバッファ１０５、デコードピクチャバッファ１０６、量子化／逆量子化器１０７、適応線形補間器１０８、擬似ランダム雑音発生器１０９、フレーム間予測器（インター予測器）１１０、イントラ予測器１１１、符号化制御器１１２、スイッチ１２１、及びスイッチ１２２を備える。
　以下、簡単のために、輝度の画素値のみに着目して、図１に示された各部の動作を説明する。
　イントラ予測器１１１は、ピクチャバッファ１０５に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。
　フレーム間予測器１１０は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０６に格納された参照画像を利用してフレーム間予測信号を生成する。
　符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１２２を制御する。選択された予測信号に関連する情報（イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報）は、エントロピー符号化器１０３に供給される。
　また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴ（Discrete Cosine Transform ）の基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズに関する情報は、エントロピー符号化器１０３に供給される。
　逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号（イントラ予測信号、又はインター予測信号）が加えられて、スイッチ１２１を介してピクチャバッファ１０５に供給される。
　ピクチャバッファ１０５には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
　本実施形態では、イントラ予測器１１１は、Planar予測ブロックの上と左側に隣接する画素の平均値DCpredを出力する。量子化／逆量子化器１０７は、入力ＭＢブロックの右下の画素値から隣接する画素の平均値DCpredを減じた値をdelta として入力し、上記の（１）式及び（２）式によってplanar_qdelta_indicator とplanar_sign とを計算し、エントロピー符号化器１０３に供給する。
　また、量子化／逆量子化器１０７は、上記の（３）式によってqdelta（再構築予測誤差値）を計算し、qdeltaを適応線形補間器１０８に供給する。適応線形補間器１０８には、再構築画素値（qdelta+Dcpred ）も供給される。
　適応線形補間器１０８は、qdelta+Dcpred と参照画像の一番右上の画素値との１次元線形補間によって、Planar予測ブロックの右端の列の予測画像（図１１参照）を得る。また、qdelta+Dcpred とPlanar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間によって、Planar予測ブロックの下端の行の予測画像を得る。
　また、適応線形補間器１０８は、２次元線形補間によって、Planar予測ブロック境界の内部の予測画像を得る（図１４参照）。適応線形補間器１０８が得た予測画像は、再構築画像として、スイッチ１２１を介してピクチャバッファ１０５に格納される。
　エントロピー符号化器１０３は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
　図１に示す本実施形態の映像符号化装置は、図８に示す一般的な映像符号化装置と比較すると、擬似ランダム雑音発生器１０９が追加されていることが分かる。
　擬似ランダム雑音発生器１０９は、Planar予測の再構築予測誤差値がPlanar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる。
　以下、擬似ランダム雑音を混入させる処理を具体的に説明する。
　非特許文献２の5.1.1.3.1 Specification of intra planar predictionを参照すると、擬似ランダム雑音を反映した予測信号predPartL[ x, y ]（ x, y = 0,…,PuPartSize - 1）を、以下のように生成する。（４）式において、PuPartSizeは、planarブロックのサイズである。
　predPartL[ x, y ] = Clip0-255(((PuPartSize - (y+1))*TR(x) + (y+1)*BR(x) + (PuPartSize - (x+1))*LC(y) + (x+1)*RC(y) + Dither [x, y] )/(PuPartSize*2))
                                                          ・・・（４）
　ＴＲは、以下のように表される。
　画素p[ x, -1 ]（x = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
　TR(i) = p[ x, -1 ]　（i = 0,…,PuPartSize - 1）
　画素p[ -1, y ]（y = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
　TR(i) = ((PuPartSize - (i+1))*M(-1,0) + (i+1)*BRS + (PuPartSize>>1))/PuPartSize （i = 0,…,PuPartSize - 1）
　その他の場合：
　TR(i) = 128 （i = 0,…,PuPartSize - 1）
　ＬＣは、以下のように表される。
　画素p[ -1, y ]（y = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
　LC(i) = p[ -1, i ]　（i = 0,…,PuPartSize - 1）
　画素p[ x, -1 ]（x = 0,…,PuPartSize - 1）がイントラ予測可能である場合：
　LC(j) = ((PuPartSize - (j+1))*M(0,-1) + (j+1)*BRS + (PuPartSize>>1))/PuPartSize
　その他の場合：
　LC(i) = 128 （i = 0,…,PuPartSize - 1）
　ＢＲは、以下のように表される。
　BR(i) = ((PuPartSize - (i+1)*LC[ PuPartSize-1 ] + (i+1)*BRS + (PuPartSize>>1))/PuPartSize i = 0,…,PuPartSize - 1）
　ＲＣは、以下のように表される。
　RC(i) = ((PuPartSize - (i+1))*TR[ PuPartSize-1 ] + (i+1)*BRS + (PuPartSize>>1))/PuPartSize
　ＢＲＳは、以下のように表される。
　BRS = DC + planar_delta_y 
　planar_delta_yは、輝度のqdeltaである。また、DCは、非特許文献２の5.1.1.3.3.3 に記載されているようなＤＣ予測値である。
　なお、（４）式は、非特許文献２の5.1.1.3.1 Specification of intra planar predictionに記載されている該当する式において、”PuPartSize”（右辺の分子における最後部のもの）を”Dither [x, y] ”に置き換えた式に相当する。
　よって、擬似ランダム雑音を混入させない場合には、（４）式におけるDither [x, y] を以下のようにする。
　Dither [x, y] = PuPartSize
　擬似ランダム雑音を混入させる場合には、内部の予測画像（図１２における最右列及び最下行以外の予測画像、すなわち、（ x,y = 1,…,PuPartSize - 2の座標の画素））に対して、（４）式におけるDither [x, y] を以下のようにする。
　Dither [x, y] = NoiseTable [PuPartSize*y + x] 
　また、最右列及び最下行以外の予測画像に対して、（４）式におけるDither [x, y] を以下のようにする。
　Dither [x, y] = PuPartSize
　ただし、NoiseTable [PuPartSize*y + x] の値は０～2*PuPartSizeである。NoiseTable [i]（i = 0,…,2*PuPartSize-1）は、一例として、2*PuPartSizeを変数とする擬似乱数を[0,1]に正規化した値である。
　なお、本実施形態では、NoiseTable [i]を決定するための[0,1]での一様分布擬似ランダム変数rv[i] (i=0, …, PuPartSize*PuPartSize - 1) の発生方法を限定しないが、一様分布擬似ランダム変数の発生器を所定の符号化単位でリセットできるとする。
　所定の符号化単位として、例えば、各フレームの先頭ＣＵ（Coding Unit ：符号化ユニット）、各フレーム内での複数個のＣＵ毎などがある。一様分布擬似ランダム変数の発生器を所定の符号化単位でリセットすることで、映像復号のためのランダムアクセス性、映像符号化および映像復号それぞれの並列処理性などを改善できる。例えば、線形合同法に基づく一様分布擬似ランダム変数の発生器では、所定の符号化単位で、その初期値rv[0] を所定値でリセットすればよい。
　また、本実施形態では、擬似ランダム雑音を混入させるか否かを決定するためのしきい値は、一例として、PlanarブロックのサイズPuPartSizeに0.5を乗じた値とする。すなわち、| planar_delta_y |が0.5*PuPartSize以上であれば擬似ランダム雑音を混入させないが、0.5*PuPartSize未満であれば擬似ランダム雑音を混入させる。なお、planar_delta_yがしきい値未満であることは、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であり、Dither [x, y] の混入なしでは、階調歪みが発生することを意味する。
　図２は、本実施形態における適応線形補間器１０８の動作を示すフローチャートである。本実施形態では、適応線形補間器１０８は、再構築予測誤差値（qdelta）が入力されると（ステップＳ１０１）、qdelta（具体的には、planar_delta_yの絶対値）の値が0.5*PuPartSize未満であるか否か判定する（ステップＳ１０２）。qdeltaが0.5*PuPartSize以上である場合には、擬似ランダム雑音を混入させる処理を実行せず、図８に示された一般的な映像符号化装置の場合と同様にplanar予測を実行する（ステップＳ１０３）。
　一方、適応線形補間器１０８は、qdeltaが0.5*PuPartSize未満である場合には、擬似ランダム雑音発生器１０９が発生する擬似ランダム雑音（Dither [x, y] ）を入力し、上記の（４）式によって、擬似ランダム雑音を混入させたPlanar予測ブロックの予測画像を生成する（ステップＳ１０４）。
　本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
　なお、本実施形態では、しきい値を0.5*PuPartSizeとしたが、０．５よりも１．０に近い値をPuPartSizeに乗じたしきい値を用いてもよい。
　上述したように、本実施形態の映像符号化装置は、Planar予測の再構築予測誤差値がPlanar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる。ゆえに、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であることに起因する階調歪みを抑制できる。
実施形態２．
　本実施形態においては、階調歪みが発生する条件を検出し、予測画像を計算する線形補間に擬似ランダム雑音を用いることによって階調歪みを抑制する映像復号装置を説明する。なお、本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。
　図３に示すように、本実施形態の映像復号装置は、エントロピー復号器２０１、逆変換／逆量子化器２０４、ピクチャバッファ２０５、デコードピクチャバッファ２０６、逆量子化器２０７、適応線形補間器２０８、擬似ランダム雑音発生器２０９、フレーム間予測器（インター予測器）２１０、イントラ予測部２１１、復号制御器２１２、及びスイッチ２２２を備える。
　エントロピー復号器２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。また、エントロピー復号器２０１は、補助情報としてのplanar_qdelta_indicator とplanar_sign とをエントロピー復号する。
　逆量子化部／逆量子化器２０４は、エントロピー復号器２０１から供給される量子化インデックスを逆量子化し、量子化代表値を逆周波数変換して元の空間領域に戻す。
　ピクチャバッファ２０５には、現在復号中のフレームに含まれるすべてのＭＢが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
　デコードピクチャバッファ２０６は、再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
　フレーム間予測器２１０は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
　イントラ予測器２１１は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０５に格納された再構築画像を利用してイントラ予測信号を生成する。
　復号制御器２１２は、エントロピー復号したフレーム間予測に基づいて、スイッチ２２２を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
　逆量子化器２０７は、上記の（３）式によってqdeltaを計算し、qdeltaを適応線形補間器２０８に供給する。適応線形補間器２０８には、再構築画素値（qdelta+Dcpred ）も供給される。
　本実施形態では、イントラ予測器２１１は、Planar予測ブロックの上と左側に隣接する画素の平均値DCpredを出力する。適応線形補間器２０８は、右下画像の再構築画素値（qdelta+Dcpred ）と参照画像の一番右上の画素値との１次元線形補間によって、Planar予測ブロックの右端の列の予測画像（図１１参照）を得る。また、qdelta+Dcpred とPlanar予測ブロック周辺の参照画像の一番左下の画素値との１次元線形補間によって、Planar予測ブロックの下端の行の予測画像を得る。
　また、適応線形補間器２０８は、２次元線形補間によって、Planar予測ブロック境界の内部の予測画像を得る（図１４参照）。適応線形補間器２０８が得た予測画像は、再構築画像として、スイッチ２２１を介してピクチャバッファ２０５に格納される。
　図４は、適応線形補間器２０８の動作を示すフローチャートである。適応線形補間器２０８は、第１の実施形態における適応線形補間器１０８と同様に、再構築予測誤差値（qdelta）が入力されると（ステップＳ２０１）、qdelta（具体的には、planar_delta_yの絶対値）の値が０．５未満であるか否か判定する（ステップＳ２０２）。qdeltaが０．５以上である場合には、擬似ランダム雑音を混入させる処理を実行せず、一般的な映像復号装置の場合と同様にplanar予測を実行する（ステップＳ２０３）。
　一方、適応線形補間器２０８は、qdeltaが0.5*PuPartSize未満である場合には、擬似ランダム雑音発生器２０９が発生する擬似ランダム雑音（Dither [x, y] ）を入力し、上記の（４）式によって、擬似ランダム雑音を混入させたPlanar予測ブロックの予測画像を生成する（ステップＳ２０４）。
　なお、擬似ランダム雑音発生器２０９は、第１の実施形態における擬似ランダム雑音発生器１０９と同様に、擬似ランダム雑音を発生する。
　本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
　なお、本実施形態では、しきい値を0.5*PuPartSizeとしたが、０．５よりも１．０に近い値をPuPartSizeに乗じたしきい値を用いてもよい。
　本実施形態の映像復号装置は、第１の実施形態の映像符号化装置と同様に、Planar予測の再構築予測誤差値がPlanar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる。ゆえに、Planarブロックのサイズの区間で滑らかに変化する信号を表現するダイナミックレンジが不十分であることに起因する階調歪みを抑制できる。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図５に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、記憶媒体１００３および記憶媒体１００４を備えている。記憶媒体１００３および記憶媒体１００４は、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図５に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図３のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１、図３のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
　図６は、本発明による映像符号化装置の主要部を示すブロック図である。図６に示すように、本発明による映像符号化装置は、Planar予測を用いるPlanar予測手段１１（一例として、適応線形補間器１０８）と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段１２（一例として、適応線形補間器１０８及び擬似ランダム雑音発生器１０９）とを備える。
　図７は、本発明による映像復号装置の主要部を示すブロック図である。図７に示すように、本発明による映像復号装置は、Planar予測を用いるPlanar予測手段２１（一例として、適応線形補間器２０８）と、Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段２２（一例として、適応線形補間器２０８及び擬似ランダム雑音発生器２０９）とを備える。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１０年１２月２７日に出願された日本特許出願２０１０－２８９９４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　　Planar予測手段
　１２　　雑音混入手段
　２１　　Planar予測手段
　２２　　雑音混入手段
　１０２　変換／量子化器
　１０３　エントロピー符号化器
　１０４　逆変換／逆量子化器
　１０５　ピクチャバッファ
　１０６　デコードピクチャバッファ
　１０７　量子化／逆量子化器
　１０８　適応線形補間器
　１０９　擬似ランダム雑音発生器
　１１０　フレーム間予測器
　１１１　イントラ予測部
　１１２　符号化制御器
　１２１　スイッチ
　１２２　スイッチ
　２０２　エントロピー復号器
　２０４　逆変換／逆量子化器
　２０５　ピクチャバッファ
　２０６　デコードピクチャバッファ
　２０７　逆量子化器
　２０８　適応線形補間器
　２０９　擬似ランダム雑音発生器
　２１０　フレーム間予測器
　２１１　イントラ予測部
　２１２　復号制御部
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体

Claims (6)

  1. 　Planar予測を用いるPlanar予測手段を備える映像符号化装置であって、
    　Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする映像符号化装置。
  2. 　Planar予測を用いるPlanar予測手段を備える映像復号装置であって、
    　Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる雑音混入手段を備えることを特徴とする映像復号装置。
  3. 　Planar予測を用いる映像符号化方法であって、
    　Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする映像符号化方法。
  4. 　Planar予測を用いる映像復号方法であって、
    　Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させることを特徴とする映像復号方法。
  5. 　コンピュータに、
    　Planar予測処理と、
    　Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理と
    　を実行させるための映像符号化プログラム。
  6. 　コンピュータに、
    　Planar予測処理と、
    　Planar予測の再構築予測誤差値が、Planar予測ブロックのサイズで決定されるしきい値未満となる場合に、前記Planar予測ブロックの予測画像に擬似ランダム雑音を混入させる処理と
    　を実行させるための映像復号プログラム。
PCT/JP2011/007204 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム WO2012090454A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/976,308 US10021385B2 (en) 2010-12-27 2011-12-22 Video encoding device, video decoding device, video encoding method, video decoding method, and program
JP2012550718A JP5812011B2 (ja) 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-289940 2010-12-27
JP2010289940 2010-12-27

Publications (1)

Publication Number Publication Date
WO2012090454A1 true WO2012090454A1 (ja) 2012-07-05

Family

ID=46382594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/007204 WO2012090454A1 (ja) 2010-12-27 2011-12-22 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Country Status (3)

Country Link
US (1) US10021385B2 (ja)
JP (1) JP5812011B2 (ja)
WO (1) WO2012090454A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3051309A1 (fr) * 2016-05-10 2017-11-17 Bcom Procedes et dispositifs de codage et de decodage d'un flux de donnees representatif d'au moins une image
US11070837B2 (en) 2018-04-02 2021-07-20 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050201629A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and system for scalable binarization of video data
JP4074868B2 (ja) * 2004-12-22 2008-04-16 株式会社東芝 画像符号化制御方法及びその装置
CN102084653B (zh) 2007-06-29 2013-05-08 弗劳恩霍夫应用研究促进协会 支持像素值细化可缩放性的可缩放视频编码
US9445110B2 (en) * 2007-09-28 2016-09-13 Dolby Laboratories Licensing Corporation Video compression and transmission techniques
RU2492586C2 (ru) 2008-10-27 2013-09-10 Ниппон Телеграф Энд Телефон Корпорейшн Способ автоматического формирования процедуры генерации прогнозируемого значения пикселя, способ кодирования изображений, способ декодирования изображений, соответствующее устройство, соответствующие программы и носители информации, которые хранят программы

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Test Model under Consideration, Output Document (draft000), Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11", JCTVC-B205, 2ND MEETING, vol. 58, July 2010 (2010-07-01), GENEVA, CH, pages 1 - 6, 104-105 *
GREG CONKLIN ET AL.: "Dithering 5- tap Filter for Inloop Deblocking, Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/ IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6)", JVT- C056, 3RD MEETING, May 2002 (2002-05-01), FAIRFAX, VIRGINIA, USA, pages 1 - 13 *
JANI LAINEMA ET AL.: "Intra picture coding with planar representations", PICTURE CODING SYMPOSIUM (PCS2010), 8 December 2010 (2010-12-08), pages 198 - 201, XP055100091, DOI: doi:10.1109/PCS.2010.5702460 *
KEIICHI CHONO ET AL.: "Description of video coding technology proposal by NEC Corporation, Joint Collaborative Team on Video Coding (JCT- VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/ WG11", JCTVC-A104_R1, 1ST MEETING, April 2010 (2010-04-01), DRESDEN, DE, pages 1 - 8, 14-18 *
KEMAL UGUR ET AL.: "Description of video coding technology proposal by Tandberg, Nokia, Ericsson", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, JCTVC-A119, 1ST MEETING, April 2010 (2010-04-01), DRESDEN, DE, pages 1, 5 - 7 *

Also Published As

Publication number Publication date
JPWO2012090454A1 (ja) 2014-06-05
US20130294510A1 (en) 2013-11-07
JP5812011B2 (ja) 2015-11-11
US10021385B2 (en) 2018-07-10

Similar Documents

Publication Publication Date Title
CN105144718B (zh) 当跳过变换时用于有损译码的帧内预测模式
KR101785666B1 (ko) 비디오 신호의 처리 방법 및 장치
TWI532382B (zh) 於視訊寫碼中判定用於寫碼轉換係數資料之上下文
KR101608426B1 (ko) 영상의 인트라 예측 부호화/복호화 방법 및 그 장치
KR20190055113A (ko) 비디오 코딩을 위한 가변 수의 인트라 모드들
KR20180063094A (ko) 인트라 블록 카피 병합 모드 및 이용가능하지 않는 ibc 참조 영역의 패딩
KR20160135226A (ko) 비디오 코딩에서 인트라 블록 카피를 위한 검색 영역 결정
KR20190029732A (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20160031496A (ko) 인트라 모션 보상 확장
KR20160016861A (ko) 잔차 차동 펄스 코드 변조 (dpcm) 확장들 및 변환 스킵, 회전 및 스캔들과의 조화
JP6376130B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
US20130121407A1 (en) Video encoding device and video decoding device
KR20100133006A (ko) 동화상 부호화/복호화 방법 및 장치
KR20130084296A (ko) 비디오 코딩을 위한 적응적 모션 벡터 레솔루션 시그널링
JP2013150323A (ja) 変換ユニット内の複数サインビット秘匿
KR102218696B1 (ko) 영상 변환 부호화/복호화 방법 및 장치
KR20150140848A (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
KR20140064972A (ko) 화상 부호화 및 복호 방법, 장치, 프로그램
JP2022539937A (ja) 画像成分予測方法、符号化器、復号化器、並びに記憶媒体
US20130121408A1 (en) Video image encoding device and video image decoding device
KR101377529B1 (ko) 적응적 움직임 벡터 부호화/복호화를 이용한 영상 부호화/복호화 방법 및 장치
JP5812011B2 (ja) 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
JP5574072B1 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
KR20180041833A (ko) 화면 내 예측에 대한 참조 모드 리스트를 사용하는 비디오 코딩 방법 및 장치
KR20180040827A (ko) 부호화 유닛의 그룹을 사용하는 비디오 코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11852750

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012550718

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13976308

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11852750

Country of ref document: EP

Kind code of ref document: A1