WO2011064944A1 - 映像符号化装置および映像復号装置 - Google Patents

映像符号化装置および映像復号装置 Download PDF

Info

Publication number
WO2011064944A1
WO2011064944A1 PCT/JP2010/006343 JP2010006343W WO2011064944A1 WO 2011064944 A1 WO2011064944 A1 WO 2011064944A1 JP 2010006343 W JP2010006343 W JP 2010006343W WO 2011064944 A1 WO2011064944 A1 WO 2011064944A1
Authority
WO
WIPO (PCT)
Prior art keywords
pseudo
image block
random noise
block
reconstructed
Prior art date
Application number
PCT/JP2010/006343
Other languages
English (en)
French (fr)
Inventor
蝶野慶一
仙田裕三
田治米純二
青木啓史
先崎健太
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US13/512,824 priority Critical patent/US20130114690A1/en
Priority to EP10832800.6A priority patent/EP2509317A4/en
Priority to CN2010800543807A priority patent/CN102640494A/zh
Priority to JP2011543087A priority patent/JPWO2011064944A1/ja
Publication of WO2011064944A1 publication Critical patent/WO2011064944A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to a video encoding device and a video decoding device to which a video encoding technique for reducing contours and staircase artifacts is applied.
  • a video encoding device digitizes a moving image signal input from the outside, and then performs encoding processing in accordance with a predetermined video encoding method to generate encoded data, that is, a bit stream.
  • Non-Patent Document 1 There is ISO / IEC 14496-10 Advanced Video Coding (AVC) described in Non-Patent Document 1 as a predetermined video encoding method.
  • a Joint Model method is known as a reference model for an AVC encoder (hereinafter referred to as a general video encoding device).
  • FIG. 28 the configuration and operation of a general video encoding apparatus that outputs a bit stream by inputting each frame of a digitized video will be described.
  • a general video encoding apparatus includes an MB buffer 101, a frequency conversion unit 102, a quantization unit 103, an entropy encoding unit 104, an inverse quantization unit 105, an inverse frequency conversion unit 106, a picture buffer. 107, a block distortion removal filter unit 108, a decoded picture buffer 109, an intra prediction unit 110, an inter-frame prediction unit 111, an encoding control unit 112, and a switch 100.
  • a general video encoding apparatus divides each frame into blocks of 16 ⁇ 16 pixel size called MB (Macro Block), and further divides MB into 4 ⁇ 4 pixel size blocks.
  • the obtained 4 ⁇ 4 block is set as a minimum structural unit of encoding.
  • FIG. 29 is an explanatory diagram showing an example of block division when the spatial resolution of a frame is QCIF (Quarter Common Intermediate Format).
  • QCIF Quadrater Common Intermediate Format
  • the MB buffer 101 stores the pixel value of the encoding target MB of the input image frame.
  • the encoding target MB is referred to as an input MB.
  • the prediction signal supplied from the intra prediction unit 110 or the inter-frame prediction unit 111 is reduced via the switch 100.
  • the input MB from which the prediction signal is reduced is referred to as a prediction error image block.
  • the intra prediction unit 110 generates an intra prediction signal using a reconstructed image stored in the picture buffer 107 and having the same display time as the current frame.
  • an MB encoded using an intra prediction signal is referred to as an intra MB.
  • the inter-frame prediction unit 111 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 109 that has a display time different from that of the current frame.
  • an MB encoded using an inter-frame prediction signal is referred to as an inter MB.
  • a frame encoded only with an intra MB is called an I frame.
  • a frame encoded including not only an intra MB but also an inter MB is called a P frame.
  • a frame encoded including an inter MB that uses not only one reference image but also two reference images at the same time for generating an inter-frame prediction signal is called a B frame.
  • the encoding control unit 112 compares the intra prediction signal and the inter-frame prediction signal with the input MB stored in the MB buffer 101, selects a prediction signal that reduces the energy of the prediction error image block, and switches the switch 100. Control. Information related to the selected prediction signal is supplied to the entropy encoding unit 104.
  • the encoding control unit 112 selects an integer DCT base block size suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block.
  • the integer DCT means frequency conversion based on a base obtained by approximating a DCT base with an integer value in a general video encoding apparatus.
  • a larger base block size is selected.
  • Information on the base size of the selected integer DCT is supplied to the frequency transform unit 102 and the entropy encoding unit 104.
  • auxiliary information information related to the selected prediction signal and information related to the base size of the selected integer DCT are referred to as auxiliary information.
  • the encoding control unit 112 monitors the number of bits of the bit stream output from the entropy encoding unit 104 in order to encode the frame with the target number of bits or less. If the number of bits of the output bit stream is larger than the target number of bits, a quantization parameter for increasing the quantization step size is output. Conversely, if the number of bits of the output bit stream is smaller than the target number of bits, A quantization parameter for reducing the quantization step size is output. As such, the output bitstream is encoded to approach the target number of bits.
  • the frequency conversion unit 102 performs frequency conversion on the prediction error image block with the base size of the selected integer DCT, and converts from the spatial domain to the frequency domain.
  • the prediction error converted to the frequency domain is called a conversion coefficient.
  • orthogonal transformation such as DCT (Discrete Cosine Transform) or Hadamard transformation can be used.
  • the quantization unit 103 quantizes the transform coefficient with a quantization step size corresponding to the quantization parameter supplied from the encoding control unit 112. Note that the quantization index of the quantized transform coefficient is also called a level.
  • the entropy encoding unit 104 entropy-encodes the auxiliary information and the quantization index, and outputs the bit string, that is, a bit stream.
  • the inverse quantization unit 105 and the inverse transform unit 106 dequantize the quantization index supplied from the quantization unit 103 for subsequent encoding to obtain a quantized representative value, and further perform inverse frequency conversion. Return to the original space area.
  • the prediction error image block returned to the original space area is referred to as a reconstructed prediction error image block.
  • the picture buffer 107 stores a reconstructed image block obtained by adding a prediction signal to a reconstructed prediction error image block until all MBs included in the current frame are encoded.
  • a picture constituted by the reconstructed image in the picture buffer 107 is referred to as a reconstructed image picture.
  • the block distortion removal filter unit 108 removes block distortion from the reconstructed image picture stored in the picture buffer 107.
  • the decoded picture buffer 109 stores the reconstructed image picture from which block distortion has been removed, supplied from the block distortion removal filter unit 108, as a reference image picture.
  • the image of the reference image picture is used as a reference image for generating an inter-frame prediction signal.
  • the video encoding apparatus shown in FIG. 28 generates a bitstream by the above-described processing.
  • Video that has been compressed and expanded at a low bit rate by the above-described technology generates artifacts that can be recognized by humans.
  • Block distortion and ringing distortion are typical artifacts that occur in video that is compressed and decompressed based on block-based coding.
  • Non-Patent Document 2 proposes reducing artifacts by mixing pseudo-random noise in an image in order to reduce human visual sensitivity to the artifacts.
  • Non-Patent Document 3 is a block distortion removal filter disclosed in Non-Patent Document 1 that is block-based coding, and adds a random noise dither according to the position of a pixel with respect to an image block boundary to a reconstructed image, and a block It has been proposed to change the order of image block boundaries to which the distortion removal filter is applied.
  • Patent Document 1 and Patent Document 2 it is proposed to mix an amount of additional noise related to the luminance of at least a part of the current image or an amount related to additional noise of pixels of the previous image. Yes.
  • each of the above documents considers a method for determining a pseudo-random noise mixture candidate position for efficiently reducing contours and staircase artifacts that are problematic in compression and decompression of high-resolution video based on block-based coding.
  • the techniques described in the above-mentioned documents cannot efficiently reduce the contours and staircase artifacts of high-resolution images.
  • the efficiency includes not only the reduction efficiency of contours and staircase artifacts but also the calculation efficiency.
  • an object of the present invention is to provide a video encoding device and a video decoding device that can efficiently reduce contours and staircase artifacts.
  • a video encoding apparatus includes a dequantization unit that inversely quantizes a quantization index to obtain a quantized representative value, and a reconstructed image obtained by inversely transforming the quantized representative value obtained by the dequantization unit.
  • Inverse frequency conversion means for obtaining a block
  • noise mixing means for determining a pseudo random noise mixing position based on decompression information of the reconstructed image block and mixing the pseudo random noise in the image of the pseudo random noise mixing position It is characterized by.
  • An image decoding apparatus includes an entropy decoding means for entropy decoding a bit string to obtain a quantization index, a prediction means for calculating an intra prediction signal or an inter-frame prediction signal for an image block, and dequantizing the quantization index.
  • An inverse quantization means for obtaining a quantized representative value, an inverse frequency transform means for inversely transforming the quantized representative value obtained by the inverse quantization means to obtain a reconstructed prediction error image block, an intra prediction signal or a frame Reconstructing means for obtaining a reconstructed image block by adding an inter-prediction signal to the reconstructed prediction error image block obtained by the inverse frequency transforming means, and a pseudo-random noise mixing position based on decompression information of the reconstructed image block Noise mixing to determine and mix pseudo-random noise into the image of the pseudo-random noise mixing position Characterized by comprising a stage.
  • the quantization index is inversely quantized to obtain a quantized representative value
  • the obtained quantized representative value is inversely transformed to obtain a reconstructed image block
  • the reconstructed image block The pseudo-random noise mixing position is determined based on the decompression information, and pseudo-random noise is mixed into the image at the pseudo-random noise mixing position.
  • the video decoding method obtains a quantization index by entropy decoding a bit string, calculates an intra prediction signal or an inter-frame prediction signal for an image block, and inversely quantizes the quantization index to obtain a quantized representative value.
  • the pseudo-random noise mixing position is determined based on the expansion information of the reconstructed image block, and pseudo-random noise is mixed into the image at the pseudo-random noise mixing position.
  • a video encoding program includes a computer that performs inverse quantization on a quantization index to obtain a quantized representative value, and inversely transforms the obtained quantized representative value to obtain a reconstructed image block; A process of determining a pseudo random noise mixing position based on the decompression information of the reconstructed image block and mixing the pseudo random noise into the image at the pseudo random noise mixing position.
  • the video decoding program includes a computer that performs entropy decoding on a bit string to calculate a quantization index, calculates an intra prediction signal or an inter-frame prediction signal for an image block, and performs inverse quantization on the quantization index. Processing for obtaining a quantized representative value, inverse transforming the obtained quantized representative value to obtain a reconstructed prediction error image block, and intra-prediction signal or inter-frame prediction signal as the reconstructed prediction error image block In addition to processing for obtaining a reconstructed image block, determining a pseudo-random noise mixing position based on the decompression information of the reconstructed image block, and mixing pseudo-random noise into the image at the pseudo-random noise mixing position Features.
  • the present invention it is possible to accurately detect the position where the contour and the staircase artifact are conspicuous without comparing all the pixel values of the expanded image and analyzing the fluctuation amount of the pixel value. Therefore, it is possible to provide a video encoding device and a video decoding device that can efficiently reduce the outline and staircase artifacts of high-resolution video.
  • the pseudo random noise is calculated based on the magnitude of the pixel value variation calculated by actually calculating the pixel value variation only for the reconstructed image block of the pseudo-random noise mixing candidate position with respect to the video decoding device of the fifth embodiment. It is a block diagram which shows the structure at the time of applying the noise mixer which determines a mixing position. Based on the magnitude of the fluctuation amount of the pixel value calculated by actually calculating the fluctuation amount of the pixel value only for the reconstructed image block of the pseudo-random noise mixture candidate position with respect to the video encoding device of the third embodiment. It is a block diagram which shows the structure at the time of applying the noise mixer which determines a noise mixing position.
  • Pseudorandom noise based on the magnitude of the pixel value variation calculated by actually calculating the pixel value variation only for the reconstructed image block of the pseudorandom noise mixture candidate position with respect to the video decoding device of the sixth embodiment
  • FIG. FIG. 1 is a block diagram of the first embodiment of the present invention, which determines pseudo-random noise mixing candidate positions based on information during expansion of a reconstructed image block, and adds pseudo-random noise to the reconstructed prediction error image block. It is a block diagram which shows the video coding apparatus which mixes.
  • the video encoding apparatus includes an MB buffer 101, a frequency conversion unit 102, a quantization unit 103, an entropy encoding unit 104, an inverse quantization unit 105, an inverse frequency conversion unit 106, a picture.
  • a noise mixer 113 is provided in addition to the buffer 107, the block distortion removal filter unit 108, the decoded picture buffer 109, the intra prediction unit 110, the interframe prediction unit 111, the encoding control unit 112, and the switch 100.
  • the video encoding apparatus has the general configuration shown in FIG. 28 in that the noise mixer 113 is provided and the output of the noise mixer 113 is supplied to the inverse frequency converter 106.
  • the noise mixer 113 is provided and the output of the noise mixer 113 is supplied to the inverse frequency converter 106.
  • the operations of the noise mixer 113 and the inverse frequency converter 106 which are the features of the video encoding device of the present embodiment, will be described in detail.
  • the MB buffer 101 stores the pixel value of the encoding target MB of the input image frame.
  • the prediction signal supplied from the intra prediction unit 110 or the inter-frame prediction unit 111 via the switch 100 is subtracted from the input MB supplied from the MB buffer 101.
  • the prediction signal supplied from the intra prediction unit 110 or the inter-frame prediction unit 111 via the switch 100 is subtracted from the input MB supplied from the MB buffer 101.
  • the intra prediction unit 110 generates an intra prediction signal using a reconstructed image stored in the picture buffer 107 and having the same display time as the current frame.
  • Information related to intra prediction includes an intra prediction mode indicating the block size of intra prediction and an intra prediction direction indicating direction.
  • Intra_4 ⁇ 4 Intra_8 ⁇ 8
  • Intra_16 16
  • Intra_4 ⁇ 4 and Intra_8 ⁇ 8 are intra predictions of 4 ⁇ 4 block size and 8 ⁇ 8 block size, respectively.
  • a circle ( ⁇ ) in the figure indicates a reference pixel for intra prediction, that is, a reconstructed image stored in the picture buffer 107.
  • Intra_4 ⁇ 4 intra prediction the surrounding pixels of the reconstructed image are directly used as reference pixels, and the prediction pixels are padded (extrapolated) in nine types of directions shown in FIG.
  • Intra_8 ⁇ 8 intra prediction the peripheral pixels of the reconstructed image are smoothed by the low-pass filter (1/2, 1/4, 1/2) described immediately below the right arrow in FIG. A prediction signal is formed by extrapolating the reference pixel in nine types of directions shown in FIG.
  • Intra — 16 ⁇ 16 is an intra prediction of 16 ⁇ 16 block size. Similar to the example shown in FIG. 2, in FIG. 3, a circle ( ⁇ ) in the figure indicates a reference pixel for intra prediction, that is, a reconstructed image stored in the picture buffer 107. In Intra_16 ⁇ 16 intra prediction, surrounding pixels of the reconstructed image are directly used as reference pixels, and prediction signals are formed by extrapolating reference pixels in the four types of directions shown in FIG.
  • intra prediction mode the block size of intra prediction
  • extrapolation direction is referred to as an intra prediction direction.
  • Non-Patent Document 4 As described in Non-Patent Document 4, DC (see “2” in FIGS. 2 and 3B), horizontal (see “1” in FIGS. 2 and 3B), and vertical (see FIG. 2).
  • a significant transform coefficient occurs only for a specific component.
  • DC intra prediction directions only DC significant transform coefficients, for horizontal intra prediction directions, only DC and vertical component AC significant transform coefficients, for vertical intra prediction directions, DC and horizontal It becomes a significant conversion coefficient of only the component AC.
  • the fact that a significant transform coefficient occurs only in a specific component is that the amount of fluctuation of the image is zero (that is, a flat prediction signal) in the DC intra prediction direction, and the horizontal direction of the image is horizontal.
  • the fluctuation amount is zero (that is, the prediction signal flat in the horizontal direction)
  • the vertical intra prediction direction indicates that the fluctuation amount of the image in the vertical direction is zero (that is, the prediction signal flat in the vertical direction).
  • the integer DCT of the prediction signal in the intra prediction direction has an image variation amount of zero in the DC intra prediction direction.
  • the horizontal image prediction amount is zero for the horizontal intra prediction direction
  • the vertical image variation amount is zero for the vertical intra prediction direction.
  • the block size is 4 ⁇ 4 or 16 ⁇ 16 and the 8 ⁇ 8 block size.
  • the image variation amount is zero for the DC intra prediction direction
  • the image variation amount in the horizontal direction is zero for the horizontal intra prediction direction
  • the amount of image fluctuation is zero.
  • the intra prediction directions of DC, horizontal, vertical and Plane are flat prediction types. That is, it can be seen that the amount of change in the reconstructed image can be estimated by the intra prediction direction.
  • the encoding control unit 112 normally compares a prediction signal that is a combination of each intra prediction mode and the intra prediction direction with the input MB, and performs intra prediction on a prediction signal in which the energy of the prediction error image block is reduced. Signal.
  • the inter-frame prediction unit 111 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 109 that has a display time different from that of the current frame.
  • Information related to inter-frame prediction includes information such as a reference picture index and a motion vector.
  • the encoding control unit 112 compares the intra prediction signal and the inter-frame prediction signal with the input MB stored in the MB buffer 101, selects a prediction signal that reduces the energy of the prediction error image block, and switches the switch 100. Control. Information related to the selected prediction signal is supplied to the entropy encoding unit 104.
  • the prediction signal with which the energy of a prediction error image block becomes small is an intra prediction signal
  • the information relevant to the selected prediction signal is an intra prediction mode and an intra prediction direction.
  • the encoding control unit 112 selects an integer DCT base block size suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block.
  • the base size of the selected integer DCT is supplied to the frequency transform unit 102 and the entropy coding unit 104.
  • a larger base block size is selected as the pixel value of the input MB or prediction error image block becomes flatter.
  • the reconstructed image is flat in a reconstructed image block having a large base block size.
  • the base size of the selected integer DCT is the same as the block size of the intra prediction mode.
  • the encoding control unit 112 monitors the number of bits of the bit stream output from the entropy encoding unit 104 in order to encode the frame with the target number of bits or less. If the number of bits of the output bit stream is larger than the target number of bits, a quantization parameter for increasing the quantization step size is output. Conversely, the number of bits of the output bit stream must be smaller than the target number of bits. For example, a quantization parameter for reducing the quantization step size is output. As such, the output bitstream is encoded to approach the target number of bits.
  • the frequency conversion unit 102 converts the prediction error image block by frequency conversion from the spatial domain to the frequency domain with the selected base size of the integer DCT.
  • the quantization unit 103 quantizes the transform coefficient with a quantization step size corresponding to the quantization parameter supplied from the encoding control unit 112.
  • the entropy encoding unit 104 entropy-encodes information related to the selected prediction signal, the base size of the integer DCT, and the quantization index, and outputs the bit string, that is, a bit stream.
  • the inverse quantization unit 105 inversely quantizes the quantization index supplied from the quantization unit 103 for subsequent encoding.
  • the inversely quantized quantization index is called a quantization representative value.
  • the noise mixer 113 monitors information related to the prediction signal, the base size of the integer DCT, and the quantization index for the prediction error image block supplied to the entropy encoding unit 104.
  • the noise mixer 113 does not compare the pixel values of all the reconstructed images based on the information related to the selected prediction signal, the base size of the integer DCT, the quantization index, or any combination thereof.
  • a variation amount of the pixel value is estimated, and a pseudo-random noise mixture candidate position is determined.
  • the pixel value variation amount of the corresponding reconstructed image block is Get smaller. Therefore, such a prediction error image block is determined as a pseudo random noise mixed candidate position, and a prediction error image block that is not so is determined as a pseudo random noise non-mixed candidate position.
  • a reconstructed image block corresponding to a prediction error image block of a flat prediction type, and a reconstructed image corresponding to a prediction error image block of a large integer DCT base size (a base size larger than a predetermined size determined in advance).
  • the noise mixer 113 generates pseudo-random noise n (i) for the pseudo-random noise mixture candidate position. That is, in the present embodiment, the pseudo-random noise mixing candidate position corresponds to the pseudo-random noise mixing position.
  • the pseudo random noise n (i) may be generated based on, for example, the linear congruential method according to the equation (1).
  • N (i) (a ⁇ n (i-1) + b)% c (1)
  • a, b and c are parameters for determining the period of pseudo-random noise, and a> 0, b> 0, a ⁇ c, b ⁇ c, and x% y is obtained by dividing x by y. Indicates the process of returning the remainder.
  • the noise mixer 113 generates zero pseudo random noise for the pseudo random noise non-mixing candidate positions. Generation of zero pseudo-random noise indicates that pseudo-random noise is not mixed in the prediction error image block.
  • the inverse transform unit 106 performs inverse frequency transform on the quantized representative value, further mixes the pseudo random noise supplied from the noise mixer 113, and returns it to the original space region.
  • specific processing for each block size in the intra prediction mode will be described.
  • the description includes the inverse quantization.
  • an integer DCT having a 16 ⁇ 16 block size is configured by combining an integer DCT having a 4 ⁇ 4 block size and a Hadamard transform having a 4 ⁇ 4 block size.
  • Inverse quantization of an Intra_16 ⁇ 16 4 ⁇ 4 DC block is defined by Equation (3), where qp is a quantization parameter and dcY ij is an output of inverse quantization.
  • LevelScale (m, i, j) is expressed by Expression (4), and M is expressed by Expression (5).
  • the output of inverse quantization becomes DC of Intra — 16 ⁇ 16 4 ⁇ 4 AC block as shown in FIG.
  • the 4 ⁇ 4 block inverse transform / inverse quantization described below is applied to each 4 ⁇ 4 AC block.
  • Intra_16 ⁇ 16 4 ⁇ 4 AC block inverse transform is applied after inverse quantization.
  • inverse transform coefficient C a reconstructed prediction error image block PD ⁇ pd 00 ... Pd 33 ⁇ . That is, the inverse transform coefficient is returned to the original space region.
  • Equation (8) the remainder divided by 64 is added so that the influence intensity of the pseudo-random noise is 1 pixel or less in absolute value.
  • pseudorandom noise N ⁇ n 00 ... N 33 ⁇ is added to the inverse transform coefficient C for normalization, and the reconstructed prediction error image block PD ⁇ pd 00. pd 33 ⁇ is obtained. That is, the inverse transform coefficient is returned to the original space region.
  • the picture buffer 107 stores a reconstructed image block obtained by adding a prediction signal to the reconstructed prediction error image block until all MBs included in the current frame are encoded.
  • the block distortion removal filter unit 108 removes block distortion from the reconstructed image picture stored in the picture buffer 107.
  • the decoded picture buffer 109 stores the reconstructed image picture from which the block distortion supplied from the block distortion removal filter 108 is removed as a reference image picture.
  • the image of the reference image picture is used as a reference image for generating an inter-frame prediction signal.
  • the video encoding apparatus generates a bit stream by the above processing.
  • the video encoding apparatus analyzes pseudo-random noise mixing candidate positions for efficiently reducing contours and staircase artifacts, and compares the pixel values of the reconstructed image picture to analyze the fluctuation amount of the pixel values. Instead, it is determined by estimating the amount of change in the pixel value in the reconstructed image based on the information during expansion. Therefore, the video encoding apparatus according to the present embodiment can efficiently reduce the outline and staircase artifacts of high-resolution video.
  • FIG. FIG. 8 is a block diagram of the second embodiment of the present invention, in which a pseudo-random noise mixture candidate position is determined based on information during expansion of a reconstructed image block, and not a reconstructed prediction error image block but a reconstructed prediction error image block. It is a block diagram which shows the video coding apparatus which mixes pseudorandom noise in a construction image block.
  • the video encoding apparatus includes an MB buffer 101, a frequency conversion unit 102, a quantization unit 103, an entropy encoding unit 104, an inverse quantization unit 105, an inverse frequency conversion unit 106, a picture.
  • a noise mixer 113 is provided in addition to the buffer 107, the block distortion removal filter unit 108, the decoded picture buffer 109, the intra prediction unit 110, the interframe prediction unit 111, the encoding control unit 112, and the switch 100.
  • the pseudo-random noise supplied from the noise mixer 113 is added to the output of the inverse frequency converter 106.
  • the processing of each unit in the video encoding device of the present embodiment is substantially the same as the processing of each unit in the video encoding device of the first embodiment shown in FIG. Omitted.
  • FIG. FIG. 9 is a block diagram of the third embodiment of the present invention, in which a pseudo-random noise mixture candidate position is determined based on information during expansion of a reconstructed image block, and pseudo-random noise is mixed in the reconstructed image picture It is a block diagram which shows the video coding apparatus made to do.
  • the video encoding apparatus includes an MB buffer 101, a frequency conversion unit 102, a quantization unit 103, an entropy encoding unit 104, an inverse quantization unit 105, an inverse frequency conversion unit 106, a picture.
  • a noise mixer 113 is provided in addition to the buffer 107, the block distortion removal filter unit 108, the decoded picture buffer 109, the intra prediction unit 110, the interframe prediction unit 111, the encoding control unit 112, and the switch 100.
  • the pseudo random noise output from the noise mixer 113 is supplied to the block distortion removal filter unit 108.
  • the video encoding apparatus of the present embodiment is shown in FIG. 28 in that the noise mixer 113 is provided and the output of the noise mixer 113 is supplied to the block distortion removal filter unit 108.
  • the noise mixer 113 is provided and the output of the noise mixer 113 is supplied to the block distortion removal filter unit 108.
  • the operation of the block distortion removal filter unit 108 which is a feature of the video encoding device of the present embodiment, will be described in detail.
  • the MB buffer 101 stores the pixel value of the encoding target MB of the input image frame.
  • the prediction signal supplied from the intra prediction unit 110 or the inter-frame prediction unit 111 via the switch 100 is subtracted from the input MB supplied from the MB buffer 101.
  • the intra prediction unit 110 generates an intra prediction signal using a reconstructed image stored in the picture buffer 107 and having the same display time as the current frame.
  • the inter-frame prediction unit 111 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 109 that has a display time different from that of the current frame.
  • the encoding control unit 112 compares the intra prediction signal and the inter-frame prediction signal with the input MB of the MB buffer 101, selects a prediction signal that reduces the energy of the prediction error image block, and controls the switch 100. Information related to the selected prediction signal is supplied to the entropy encoding unit 104.
  • the information related to the selected prediction signal is the intra prediction mode and the intra prediction direction.
  • the encoding control unit 112 selects an integer DCT base block size suitable for frequency conversion of the prediction error image block based on the input MB or the prediction error image block.
  • the base size of the selected integer DCT is supplied to the frequency transform unit 102 and the entropy coding unit 104.
  • the base size of the selected integer DCT is the same as the block size of the intra prediction mode.
  • the frequency conversion unit 102 converts the prediction error image block by frequency conversion from the spatial domain to the frequency domain with the selected base size of the integer DCT.
  • the quantization unit 103 quantizes the transform coefficient with a quantization step size corresponding to the quantization parameter supplied from the encoding control unit 112.
  • the entropy encoding unit 104 entropy-encodes information related to the selected prediction signal, the base size of the integer DCT, and the quantization index, and outputs the bit string, that is, a bit stream.
  • the inverse quantization unit 105 inversely quantizes the quantization index supplied from the quantization unit 103 for subsequent encoding.
  • the noise mixer 113 monitors information related to the prediction signal, the base size of the integer DCT, and the quantization index for the prediction error image block supplied to the entropy encoding unit 104.
  • the noise mixer 113 can detect the pixel value without directly analyzing the reconstructed image.
  • the fluctuation amount is estimated, and the pseudo-random noise mixture candidate position is determined.
  • the prediction error image block is determined as a pseudo-random noise mixed candidate position, and the other prediction error image block is determined as a pseudo-random noise non-mixed candidate position.
  • the noise mixer 113 generates pseudo-random noise n (i) for the pseudo-random noise mixture candidate position. That is, in the present embodiment, the pseudo-random noise mixing candidate position corresponds to the pseudo-random noise mixing position.
  • the pseudo random noise n (i) may be generated based on, for example, the linear congruence method according to the above equation (1).
  • the noise mixer 113 generates zero pseudo random noise for the pseudo random noise non-mixing candidate positions. Generation of zero pseudo-random noise indicates that pseudo-random noise is not mixed in the prediction error image block.
  • the inverse transform unit 106 performs inverse frequency transform on the quantized representative value, further mixes the pseudo random noise supplied from the noise mixer 113, and returns it to the original space region.
  • the picture buffer 107 stores a reconstructed image block obtained by adding a prediction signal to the reconstructed prediction error image block until all MBs included in the current frame are encoded.
  • the block distortion removal filter unit 108 applies a low-pass filter to each MB of the reconstructed image and the boundary between the internal blocks, and performs a process of removing block distortion on the reconstructed image stored in the picture buffer 107.
  • the block distortion removing filter unit 108 of the present embodiment mixes pseudo-random noise supplied from the noise mixer 113 into the intermediate data of the low-pass filter to reduce contours and staircase artifacts.
  • FIG. 10 and 11 are explanatory diagrams for explaining the operation of the block distortion removal filter unit 108.
  • FIG. 10 the block distortion removing filter unit 108 applies a low-pass filter in the horizontal direction to the horizontal block boundaries of the MB and its internal blocks. Further, as shown in FIG. 11, a low-pass filter is applied in the vertical direction to the block boundaries in the vertical direction of the MB and its internal blocks.
  • the horizontal block boundaries are the left block boundaries of 4 ⁇ 4 blocks 0, 4, 8, and 12, the left block boundaries of 4 ⁇ 4 blocks 1, 5, 9, and 13, 2, 6, 10, and 14 4 is a block boundary on the left side of the 4 ⁇ 4 block and a block boundary on the left side of the 4 ⁇ 4 block of 3, 7, 11, and 15.
  • the vertical block boundaries are the upper block boundaries of the 4 ⁇ 4 blocks 0, 1, 2 and 3, the upper block boundaries of the 4 ⁇ 4 blocks 4, 5, 6, and 7, 8, 9, 10 , 11 4 ⁇ 4 block upper block boundary and 12, 13, 14, 15 upper block boundary.
  • the block boundary on the left side of the 4 ⁇ 4 block of 1, 5, 9, 13 and the block boundary on the left side of the 4 ⁇ 4 block of 3, 7, 11, 15 The block boundaries on the upper side of the 4 ⁇ 4 blocks of 5, 6, and 7 and the block boundaries on the upper side of the 4 ⁇ 4 blocks of 12, 13, 14, and 15 do not become block boundaries for block distortion removal.
  • the base of the integer DCT having the 16 ⁇ 16 block size is a base obtained by approximating the DCT base having the 16 ⁇ 16 block size with an integer value
  • the block on the left side of the 4 ⁇ 4 block of 0, 4, 8, and 12 is used. Only the boundary and the block boundary on the upper side of the 4 ⁇ 4 block of 0, 1, 2, 3 are the block boundaries from which block distortion is to be removed.
  • the pixels before the low-pass filter on the left side around the block boundary are p3, p2, p1, p0, and the pixels after the low-pass filter are P3, P2, P1, P0,
  • the right pixels before the low-pass filter centered on the block boundary are q0, q1, q2, and q3, and the pixels after the low-pass filter are Q0, Q1, Q2, and Q3.
  • the pixels before the upper low-pass filter centered on the block boundary are p3, p2, p1, p0, and the pixels after the low-pass filter are P3, P2, P1, P0,
  • the lower pixels before the low-pass filter centered on the block boundary are q0, q1, q2, and q3, and the pixels after the low-pass filter are Q0, Q1, Q2, and Q3.
  • P3, P2, P1, P0, Q0, Q1, Q2, and Q3 are initialized with p3, p2, p1, p0, q0, q1, q2, and q3.
  • the low pass filter processing for the block boundary is the same in the horizontal and vertical directions. Therefore, hereinafter, the low-pass filter processing for the block boundary will be described without particularly distinguishing between the horizontal direction and the vertical direction.
  • FIG. 12 is a flowchart showing a process for determining bS.
  • step S101 it is determined whether or not the pixel p and the pixel q are the left and right pixels on the boundary of the MB (step S102). If the pixel p and the pixel q are the left and right pixels on the MB boundary, bS is determined to be 4, and if the pixel p and the pixel q are not the left and right pixels on the MB boundary, bS is determined to be 3.
  • the block distortion removal filter unit 108 determines whether or not a quantization index exists in either the pixel p or the pixel q (step S103). ).
  • the block distortion removal filter unit 108 determines bS to be 2 when a quantization index exists in either the pixel p or the pixel q. If there is no quantization index in both the pixel p and the pixel q, it is determined whether or not there is discontinuity in inter-frame prediction between the pixel p and the pixel q (step S104). If there is discontinuity in inter-frame prediction, bS is determined to be 1, and if there is no discontinuity in inter-frame prediction, bS is determined to be 0.
  • ⁇ and ⁇ are parameters that increase as the value of the quantization parameter Q increases.
  • pos is a position relative to the coordinates of the block position to be processed.
  • Equation (22) using pseudo-random noise (n (i) according to Equation (1)) Q0, Q1, and Q2 are updated by the low-pass filters expressed by the equations (23) and (24), respectively.
  • Equation (25) When the condition of
  • Q0 is updated with a low-pass filter.
  • Q1 and Q2 are not updated.
  • tc is a parameter that increases as the value of the quantization parameter Q increases.
  • the noise mixer 113 supports a prediction error image block having a flat prediction type, a large integer DCT base size, and a pattern with a small significant AC quantization index.
  • the block boundary that is determined to have a large fluctuation amount and is supplied with significant pseudo-random noise is only the reconstructed image of the intra MB. .
  • the block distortion removing filter unit 108 of this embodiment is equivalent to adopting the bS determination process shown in the flowchart of FIG. This indicates that the block distortion removal filter unit 108 can determine the pseudo-random noise mixture position based on the information during the expansion of the reconstructed image block in the bS determination process.
  • the block distortion removing filter unit 108 executes the processes of steps S101 to S104 shown in FIG. 12, and the pixel p and the pixel q are pixels on the left and right of the MB boundary.
  • a process of determining whether or not the variation amount between the pixel p and the pixel q is small is executed (step S105A). If the fluctuation amount is not small, bS is determined to be 4, and if the fluctuation amount is small, it is determined that pseudo random noise is mixed and bS is determined to be 4.
  • step S105B a process of determining whether or not the amount of variation between the pixel p and the pixel q is small is executed (step S105B).
  • bS is determined to be 3
  • bS is determined to be 3.
  • the block distortion removal filter unit 108 determines the pseudo-random noise mixture candidate position by the bS determination process, as can be seen from the bS determination flow shown in FIG. 13, the block determined as the pseudo-random noise mixture candidate position This means that pseudo-random noise is mixed only at the boundary.
  • the decoded picture buffer 109 stores the reconstructed image picture from which the block distortion supplied from the block distortion removal filter 108 is removed as a reference image picture.
  • the image of the reference image picture is used as a reference image for generating an inter-frame prediction signal.
  • the video encoding apparatus generates a bit stream by the above processing.
  • the video encoding apparatus can efficiently reduce the contours and staircase artifacts of a high-resolution video, similarly to the video encoding apparatus according to the first embodiment.
  • FIG. FIG. 14 is a block diagram of the fourth exemplary embodiment of the present invention, in which pseudo-random noise mixing candidate positions are determined based on information during expansion of a reconstructed image block, and pseudo-random noise is added to the reconstructed prediction error image block. It is a block diagram which shows the video decoding apparatus which mixes.
  • the video decoding apparatus according to the present embodiment is a video decoding apparatus corresponding to the video encoding apparatus according to the first embodiment.
  • the video decoding apparatus includes an entropy decoding unit 201, an inverse quantization unit 202, an inverse frequency conversion unit 203, a picture buffer 204, a block distortion removal filter unit 205, a decoded picture buffer 206, an intra
  • a noise mixer 210 is provided in addition to the prediction unit 207, the interframe prediction unit 208, the decoding control unit 209, and the switch 200.
  • the entropy decoding unit 201 performs entropy decoding on the bitstream, and outputs information related to the prediction signal of the decoding target MB, the base size of the integer DCT, and the quantization index.
  • the information related to the prediction signal is information related to the intra prediction mode, the intra prediction direction, and the inter-frame prediction as in the case of the first embodiment.
  • the intra prediction unit 207 generates an intra prediction signal using a reconstructed image stored in the picture buffer 204 having the same display time as the currently decoded frame.
  • the inter-frame prediction unit 208 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 206 having a display time different from that of the currently decoded frame.
  • the decoding control unit 209 controls the switch 200 based on the entropy-decoded interframe prediction and supplies an intra prediction signal or an interframe prediction signal.
  • the noise mixer 210 receives information related to the prediction signal of the decoding target MB supplied from the entropy decoding unit 201, the base size of the integer DCT, and the quantization index. Monitor.
  • the noise mixer 210 is based on information related to the prediction signal, the base size of the integer DCT, the quantization index, or any combination thereof. Then, the fluctuation amount of the pixel value is estimated without directly analyzing the reconstructed image, and the pseudo-random noise mixed candidate position is determined.
  • the noise mixer 210 generates significant pseudo random noise for the pseudo random noise mixture candidate position. That is, in the present embodiment, the pseudo-random noise mixing candidate position corresponds to the pseudo-random noise mixing position. For pseudo-random noise non-mixing candidate positions, zero pseudo-random noise is generated. Generation of zero pseudo-random noise indicates that pseudo-random noise is not mixed in the prediction error image block of the decoding target MB.
  • the inverse quantization unit 202 inversely quantizes the quantization index supplied from the entropy decoding unit 201.
  • the inverse transformation unit 203 performs inverse frequency transformation on the quantized representative value, and further mixes the pseudo random noise supplied from the noise mixer 210 to obtain the original spatial region.
  • the picture buffer 204 stores a reconstructed image block obtained by adding a prediction signal to the reconstructed prediction error image block returned to the original spatial region until all MBs included in the currently decoded frame are decoded. Is done.
  • the block distortion removal filter unit 205 removes block distortion from the reconstructed image stored in the picture buffer 204 after all MBs included in the current frame are decoded.
  • the decoded picture buffer 206 stores the reconstructed image from which the block distortion has been removed supplied from the block distortion removal filter unit 205 as a reference image picture.
  • the image of the reference image picture is used as a reference image for generating an inter-frame prediction signal. Further, the reference image picture is output as an expanded frame at an appropriate display timing.
  • the video decoding apparatus decompresses the bit stream by the above processing.
  • the video decoding apparatus reconstructs a pseudo-random noise mixture candidate position for efficiently reducing contours and staircase artifacts, which is a problem in compression / decompression of high-resolution video based on block-based encoding. This is determined by estimating the magnitude of the variation amount of the pixel value in the reconstructed image based on the information during the expansion without comparing all the pixel values and analyzing the variation amount of the pixel value. Therefore, the video decoding apparatus according to the present embodiment can efficiently reduce the contours and staircase artifacts of high-resolution video.
  • FIG. FIG. 15 is a block diagram of the fifth exemplary embodiment of the present invention, in which a pseudo-random noise mixture candidate position is determined based on information during decompression of a reconstructed image block, and not a reconstructed prediction error image block but a reconstructed prediction error image block. It is a block diagram which shows the video decoding apparatus which mixes pseudorandom noise in a construction image block.
  • the video decoding apparatus of this embodiment is a video decoding apparatus corresponding to the video encoding apparatus of the second embodiment.
  • the video decoding apparatus includes an entropy decoding unit 201, an inverse quantization unit 202, an inverse frequency conversion unit 203, a picture buffer 204, a block distortion removal filter unit 205, a decoded picture buffer 206, an intra
  • a noise mixer 210 is provided in addition to the prediction unit 207, the interframe prediction unit 208, the decoding control unit 209, and the switch 200.
  • the pseudo-random noise supplied from the noise mixer 210 is added to the output of the inverse frequency converter 203.
  • the processing of each unit in the video decoding device of the present embodiment is substantially the same as the processing of each unit in the video decoding device of the fourth embodiment shown in FIG. .
  • FIG. FIG. 16 is a block diagram of the sixth embodiment of the present invention, in which pseudo-random noise mixing candidate positions are determined based on information during expansion of a reconstructed image block, and pseudo-random noise is mixed in the reconstructed image picture It is a block diagram which shows the video decoding apparatus to be made.
  • the video decoding apparatus according to the present embodiment is a video decoding apparatus corresponding to the video encoding apparatus according to the third embodiment.
  • the video decoding apparatus includes an entropy decoding unit 201, an inverse quantization unit 202, an inverse frequency conversion unit 203, a picture buffer 204, a block distortion removal filter unit 205, a decoded picture buffer 206, an intra
  • a noise mixer 210 is provided in addition to the prediction unit 207, the interframe prediction unit 208, the decoding control unit 209, and the switch 200.
  • the pseudo random noise output from the noise mixer 210 is supplied to the block distortion removal filter unit 205.
  • the noise mixer 210 in the present embodiment is equivalent to the noise mixer 113 in the video encoding device of the first embodiment.
  • the block distortion removal filter unit 205 in the present embodiment is equivalent to the block distortion removal filter 108 that uses pseudo-random noise in the video encoding device in the third embodiment.
  • the entropy decoding unit 201 performs entropy decoding on the bitstream, and outputs information related to the prediction signal of the decoding target MB, the base size of the integer DCT, and the quantization index.
  • the information related to the prediction signal is information related to the intra prediction mode, the intra prediction direction, and the inter-frame prediction, as in the case of the first embodiment.
  • the intra prediction unit 207 generates an intra prediction signal using a reconstructed image stored in the picture buffer 204 having the same display time as the currently decoded frame.
  • the inter-frame prediction unit 208 generates an inter-frame prediction signal using a reference image stored in the decoded picture buffer 206 having a display time different from that of the currently decoded frame.
  • the decoding control unit 209 controls the switch 200 based on the entropy-decoded interframe prediction and supplies an intra prediction signal or an interframe prediction signal.
  • the noise mixer 210 monitors information related to the prediction signal of the decoding target MB supplied from the entropy decoding unit 201, the base size of the integer DCT, or the quantization index.
  • the noise mixer 210 may change the pixel value based on the information related to the prediction signal, the base size of the integer DCT, the quantization index, or any combination thereof without directly analyzing the reconstructed image.
  • the amount is estimated, and a pseudo-random noise mixture candidate position is determined.
  • the noise mixer 210 generates significant pseudo random noise for the pseudo random noise mixture candidate position. That is, in the present embodiment, the pseudo-random noise mixing candidate position corresponds to the pseudo-random noise mixing position. For pseudo-random noise non-mixing candidate positions, zero pseudo-random noise is generated. The occurrence of zero pseudorandom noise indicates that pseudorandom noise is not mixed in the prediction error image block of the decoding target MB.
  • the inverse quantization unit 202 inversely quantizes the quantization index supplied from the entropy decoding unit 201.
  • the inverse transform unit 203 performs inverse frequency transform on the quantized representative value and returns it to the original space region.
  • the picture buffer 204 stores a reconstructed image block obtained by adding a prediction signal to the reconstructed prediction error image block until all MBs included in the currently decoded frame are encoded.
  • the block distortion removal filter unit 205 removes block distortion from the reconstructed image stored in the picture buffer 204 using the pseudo random noise supplied from the noise mixer 210.
  • the block distortion removal filter unit 205 applies a low-pass filter to each MB of the reconstructed image and the boundary between the internal blocks, and removes block distortion from the reconstructed image stored in the picture buffer 204.
  • the block distortion removing filter unit 205 of the present embodiment mixes the pseudo random noise supplied from the noise mixer 210 into the intermediate data of the low-pass filter to reduce the contour and staircase artifacts.
  • the decoded picture buffer 206 stores the reconstructed image from which block distortion has been removed using the pseudo random noise supplied from the block distortion removal filter unit 205 as a reference image picture.
  • the image of the reference image picture is used as a reference image for generating an inter-frame prediction signal. Further, the reference image picture is output as an expanded frame at an appropriate display timing.
  • the video decoding apparatus decompresses the bit stream by the above processing.
  • the video decoding apparatus can efficiently reduce the contours and staircase artifacts of high-resolution video, similarly to the video decoding apparatus according to the fourth embodiment.
  • the video encoding apparatus determines a pseudo-random noise mixing position based on decompression information of the reconstructed image block, and directly mixes the pseudo-random noise into the reconstructed image block, thereby reconstructed image.
  • This is a video encoding device in which pseudo random noise is mixed into the video encoding device.
  • the video decoding apparatus according to the fifth embodiment corresponding to the video encoding apparatus according to the second embodiment determines a position where pseudorandom noise is mixed based on the decompression information of the reconstructed image block, and reconstructs the image block.
  • This is a video decoding device that mixes pseudo-random noise into a reconstructed image by directly mixing pseudo-random noise into the reconstructed image.
  • the noise mixer in the second and fifth embodiments is based on the information related to the prediction signal, the base size of the integer DCT, or the quantization index as the decompression information of the reconstructed image block. Then, the amount of variation of the pixel value of the reconstructed image block is estimated, and the reconstructed image block estimated to have a large amount of variation is determined as a pseudo random noise mixed position. Also in the video decoding apparatus, decompression information is information obtained by entropy decoding or the like before obtaining a reconstructed image, that is, an decompressed image.
  • a reconstructed image block having a pattern that has a flat prediction signal, a large integer DCT base size, and a small significant AC quantization index pattern
  • the expanded image has a small fluctuation amount of the pixel value at the block boundary.
  • the reconstructed image block estimated by the noise mixer as having a large amount of variation is set as a pseudo-random noise mixture candidate position, and the variation amount of the pixel value is set only for the reconstructed image block at the candidate position.
  • the pseudo-random noise mixing position is determined based on the actual amount of variation of the pixel value calculated in practice. When performing such processing, pseudo-random noise can be mixed into the reconstructed image at a more appropriate position, and the human visual sensitivity to contours and staircase artifacts can be further reduced.
  • the noise mixer is a pixel x ij of each position (i, j) ⁇ 0 ⁇ i ⁇ bsize-1, 0 ⁇ j ⁇ bsize-1 ⁇ of the reconstructed image block of the pseudo random noise mixture candidate position.
  • the fluctuation amount pV i, j of the peripheral pixel value (x i + m, j + n ⁇ w ⁇ m ⁇ w, ⁇ h ⁇ n ⁇ h ⁇ ) is calculated by the equation (28).
  • the pseudo random noise n i, j is mixed only in the pixel x ij at a position where pV i, j is smaller than the predetermined threshold th.
  • bsizeex is the horizontal size of the base size of the integer DCT
  • bsize is the vertical size of the base size of the integer DCT.
  • a reconstructed image block that is estimated to have a large amount of variation is set as a pseudo-random noise mixed candidate position, and the reconstructed image block at the candidate position Only when the noise mixer that actually calculates the fluctuation amount of the pixel value and determines the pseudo-random noise mixing position based on the magnitude of the fluctuation amount of the actually calculated pixel value is used.
  • the configuration of the encoding device is as shown in FIG. 17, and the configuration of the video decoding device is as shown in FIG.
  • the noise mixer 113 converts the information related to the selected prediction signal, the base size of the integer DCT, the quantization index, or any combination thereof. Based on this, the variation amount of the pixel value is estimated without directly analyzing the reconstructed image, and the pseudo-random noise mixed candidate position is determined based on the estimation result. Then, the fluctuation amount of the pixel value of the reconstructed image is calculated for the pseudo-random noise mixture candidate position.
  • the noise mixer 210 is based on information related to the selected prediction signal, the base size of the integer DCT, the quantization index, or any combination thereof.
  • the fluctuation amount of the pixel value is estimated without directly analyzing the reconstructed image, and the pseudo-random noise mixture candidate position is determined based on the estimation result. Then, the fluctuation amount of the pixel value of the reconstructed image is calculated for the pseudo-random noise mixture candidate position.
  • the reconstructed image block estimated by the noise mixer as having a large amount of variation is set as a pseudo-random noise mixed candidate position, and only for the reconstructed image block at the candidate position,
  • the fluctuation amount of the pixel value may be actually calculated, and the pseudo random noise mixing position may be determined based on the magnitude of the actually calculated fluctuation amount of the pixel value.
  • the block distortion removal filter apparatus determines the pseudo-random noise mixing position in the bS determination process, as can be seen from the bS determination process shown in FIG.
  • the adjacent pixel fluctuation amount npV is confirmed by comparing the pixels of the expanded image based on the following equation (30), and the adjacent pixel fluctuation amount npV is a predetermined threshold. Only when the value is equal to or smaller than the value th, pseudo-random noise may be mixed by low-pass filter processing.
  • NpV
  • the more appropriate pseudo-random noise mixing position can be determined with a small calculation amount as an expected value. it can.
  • a reconstructed image block that is estimated to have a large amount of variation is set as a pseudo-random noise mixed candidate position, and the reconstructed image block at the candidate position Only when the noise mixer that actually calculates the fluctuation amount of the pixel value and determines the pseudo-random noise mixing position based on the magnitude of the fluctuation amount of the actually calculated pixel value is used.
  • the configuration of the encoding device is as shown in FIG. 19, and the configuration of the video decoding device is as shown in FIG.
  • the noise mixer 113 converts the information related to the selected prediction signal, the base size of the integer DCT, the quantization index, or any combination thereof. Based on this, the variation amount of the pixel value is estimated without directly analyzing the reconstructed image, and the pseudo-random noise mixed candidate position is determined based on the estimation result. Then, the adjacent pixel fluctuation amount npV is confirmed only for the boundary of the pseudo-random noise mixture candidate position. Also, as shown in FIG. 20, in the video decoding apparatus, the noise mixer 210 is based on information related to the selected prediction signal, the base size of the integer DCT, the quantization index, or any combination thereof.
  • the fluctuation amount of the pixel value is estimated without directly analyzing the reconstructed image, and the pseudo-random noise mixture candidate position is determined based on the estimation result. Then, the adjacent pixel fluctuation amount npV is confirmed only for the boundary of the pseudo-random noise mixture candidate position.
  • the influence of the intra prediction of the subsequent flat region may be lowered due to the influence.
  • the noise mixer in each of the first, second, fourth, and fifth embodiments is referred to as a reference image of intra prediction (see from the following image block).
  • a reference image of intra prediction An embodiment in which pseudo-random noise is not mixed in the reconstructed image at the position of (image) is conceivable.
  • the referenced image for intra prediction corresponds to an L-shaped region in the explanatory diagram of FIG.
  • the intra predictor uses the stronger low-pass filter to surround the reconstructed image.
  • An embodiment in which a pixel having a smoothed pixel is used as a reference pixel is also conceivable.
  • any generation method can be used as the generation method of the pseudo random noise in the noise mixer, but the pseudo random noise generator is reset in a predetermined video encoding unit or video decoding unit. It is desirable to be able to
  • FIG. 22 is an explanatory diagram for explaining reset in another embodiment in which the pseudo random noise generator is reset in a predetermined video encoding unit or video decoding unit.
  • a predetermined video encoding unit or video decoding unit for example, the first MB of each frame (see FIG. 22A), a plurality of MBs in each frame (see FIG. 22B), a reconstructed image
  • the encoding control unit 112 resets the initial value n (0) of the pseudo random noise n (i) in the pseudo random noise generator based on the above-described linear congruence method to a predetermined value in a predetermined video encoding unit. do it.
  • the video encoding device may embed a predetermined value for resetting or information for identifying the predetermined value in the bitstream.
  • the video decoding device reads the reset predetermined value or information for identifying the predetermined value embedded in the bitstream, and generates pseudorandom noise based on the information, thereby generating the same pseudorandom as the video encoding side Since noise can be generated, image mismatch caused by pseudo-random noise between video encoding and video decoding can be avoided.
  • the noise mixer reconstructs only I frames that do not use inter-frame prediction.
  • An embodiment in which pseudo-random noise is mixed in an image is conceivable.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 23 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 realizes the function of each block (excluding the buffer block) shown in FIG. 1, FIG. 8, FIG. 9, and FIG. A program for storing is stored. Then, the processor 1001 executes processing according to the program stored in the program memory 1002, so that the video encoding device or the video decoding shown in each of FIGS. 1, 8, 9, and 14 to 20 is performed. Realize the function of the device.
  • FIG. 24 is a block diagram showing the main configuration of the video encoding apparatus according to the present invention.
  • the video encoding apparatus according to the present invention includes an inverse quantization unit 12 that inversely quantizes a quantization index to obtain a quantization representative value, and a quantization representative value obtained by the inverse quantization unit 12.
  • inverse frequency transforming means 13 for obtaining a reconstructed image block by determining the pseudo-random noise mixing position based on the decompression information of the reconstructed image block, and mixing the pseudo-random noise into the image of the pseudo-random noise mixed position Noise mixing means 14 to be included.
  • the noise mixing unit determines the pseudo random noise mixing position based on the type of prediction as the decompression information, the block size of the transform, the quantization index, or any combination thereof.
  • a video encoding device is also disclosed.
  • the noise mixing means determines a reconstructed image block having a pattern with a flat prediction type, a large transform block size, and a significant AC quantization index as a pseudo-random noise mixing position.
  • a video encoding device is also disclosed.
  • a video encoding device in which the noise mixing means mixes an amount of pseudo-random noise adjusted according to the quantization step size.
  • a video encoding device in which the noise mixing unit is configured not to mix pseudo-random noise into an image at a position serving as a reference image for intra prediction.
  • a video encoding device including a reset unit (for example, realized by the encoding control unit 112) that resets the noise mixing unit in a predetermined video encoding unit is also disclosed. .
  • FIG. 25 is a block diagram showing the main configuration of the video decoding apparatus according to the present invention.
  • the video decoding apparatus according to the present invention includes an entropy decoding unit 20 that entropy decodes a bit string to obtain a quantization index, and a prediction unit 21 that calculates an intra prediction signal or an interframe prediction signal for an image block.
  • Inverse quantization means 22 for inversely quantizing the quantization index to obtain a quantized representative value, and inverse frequency for obtaining a reconstructed prediction error image block by inversely transforming the quantized representative value obtained by the inverse quantization means 22 Transform means 23; reconstruction means 24 for obtaining a reconstructed image block by adding an intra prediction signal or an inter-frame prediction signal to a reconstructed prediction error image block obtained by an inverse frequency transform means; and decompression information of the reconstructed image block To determine the position of pseudo-random noise mixing, and pseudo-random noise is added to the image of the pseudo-random noise mixing position. And a noise-containing means 25 of mixing.
  • the noise mixing unit determines the pseudo random noise mixing position based on the type of prediction as the decompression information, the block size of the transform, the quantization index, or any combination thereof.
  • a video decoding device is also disclosed.
  • the noise mixing means determines a reconstructed image block having a pattern with a flat prediction type, a large transform block size, and a significant AC quantization index as a pseudo-random noise mixing position.
  • a video decoding device is also disclosed.
  • a video decoding device in which the noise mixing means mixes an amount of pseudo-random noise adjusted according to the quantization step size.
  • a video decoding device in which the noise mixing means is configured not to mix pseudo-random noise into an image at a position that is a reference image for intra prediction.
  • a video decoding apparatus including a reset unit (for example, realized by the decoding control unit 209) that resets the noise mixing unit in a predetermined video decoding unit is also disclosed.
  • FIG. 26 is a flowchart showing the main steps of the video encoding method according to the present invention.
  • the quantization index is inversely quantized to obtain a quantized representative value
  • the obtained quantized representative value is inversely transformed to obtain a reconstructed image block.
  • the pseudo random noise mixing position is determined based on the decompression information of the reconstructed image block, and the pseudo random noise is mixed into the image at the pseudo random noise mixing position.
  • FIG. 27 is a flowchart showing the main steps of the video decoding method according to the present invention.
  • a bit stream is entropy decoded to obtain a quantization index (step S20), and an intra prediction signal or an inter-frame prediction signal for an image block is calculated (step S21).
  • the quantization index is inversely quantized to obtain a quantized representative value (step S22), the obtained quantized representative value is inversely transformed to obtain a reconstructed prediction error image block (step S23), and an intra prediction signal Alternatively, an inter-frame prediction signal is added to the reconstructed prediction error image block to obtain a reconstructed image block (step S24), a pseudo-random noise mixture position is determined based on the decompression information of the reconstructed image block, and pseudo-random noise mixture Pseudorandom noise is mixed in the image at the position (step S25).

Abstract

【課題】輪郭および階段アーティファクトを効率的に低減する。 【解決手段】映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えている。

Description

映像符号化装置および映像復号装置
　本発明は、輪郭および階段アーティファクトを低減する映像符号化技術が適用された映像符号化装置および映像復号装置に関する。
　一般に、映像符号化装置は、外部から入力される動画像信号をディジタル化した後、所定の映像符号化方式に準拠した符号化処理を行うことで符号化データすなわちビットストリームを生成する。
　所定の映像符号化方式として非特許文献１に記載されたＩＳＯ／ＩＥＣ　14496-10 Advanced Video Coding（ＡＶＣ）がある。ＡＶＣ方式の符号化器の参照モデルとしてJoint Model方式が知られている（以下、一般的な映像符号化装置という）。
　図２８を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する一般的な映像符号化装置の構成と動作を説明する。
　図２８に示すように、一般的な映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００を備えている。
　一般的な映像符号化装置は、各フレームをＭＢ（Macro Block ：マクロブロック）とよばれる１６×１６画素サイズのブロックに分割し、さらにＭＢを４×４画素サイズのブロック分割し、分割して得られた４×４ブロックを符号化の最小構成単位とする。
　図２９は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、簡単のために、輝度の画素値のみに着目して、図２８に示された各部の動作を説明する。
　ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。以下、符号化対象ＭＢを入力ＭＢという。
　ＭＢバッファ１０１から供給される入力ＭＢは、スイッチ１００を介して、イントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。以下、予測信号が減じられた入力ＭＢを予測誤差画像ブロックという。
　イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。以下、イントラ予測信号を用いて符号化されるＭＢをイントラＭＢという。
　フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。以下、フレーム間予測信号を用いて符号化されるＭＢをインターＭＢという。
　なお、イントラＭＢのみで符号化されたフレームはＩフレームと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたフレームはＰフレームと呼ばれる。フレーム間予測信号の生成に１枚の参照画像だけでなく同時に２枚の参照画像を用いるインターＭＢを含めて符号化されたフレームはＢフレームと呼ばれる。
　符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
　また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。整数ＤＣＴは、一般的な映像符号化装置ではＤＣＴ基底を整数値で近似した基底による周波数変換を意味する。基底ブロックサイズの選択肢として、１６×１６、８×８、４×４の３つのブロックサイズがある。入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。選択された整数ＤＣＴの基底サイズに関する情報は、周波数変換部１０２およびエントロピー符号化部１０４に供給される。以下、選択された予測信号に関連する情報および選択された整数ＤＣＴの基底サイズに関する情報を補助情報という。
　さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
　周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して、空間領域から周波数領域に変換する。周波数領域に変換された予測誤差を変換係数という。周波数変換には、ＤＣＴ（Discrete Cosine Transform ）やアダマール変換などの直交変換を利用することができる。
　量子化部１０３は、符号化制御部１１２から供給される量子化パラメータに対応する量子化ステップサイズで、変換係数を量子化する。なお、量子化された変換係数の量子化インデックスはレベルとも呼ばれる。
　エントロピー符号化部１０４は、補助情報と量子化インデックスとをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
　逆量子化部１０５および逆変換部１０６は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化して量子化代表値を得て、さらに逆周波数変換して元の空間領域に戻す。以下、元の空間領域に戻された予測誤差画像ブロックを再構築予測誤差画像ブロックという。
　ピクチャバッファ１０７には、現在のフレームに含まれる全てのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。以下、ピクチャバッファ１０７において再構築画像によって構成されるピクチャを再構築画像ピクチャという。
　ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを除去する。
　デコードピクチャバッファ１０９は、ブロック歪み除去フィルタ部１０８から供給される、ブロック歪みが除去された再構築画像ピクチャを参照画像ピクチャとして格納する。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
　図２８に示された映像符号化装置は、上述した処理によって、ビットストリームを生成する。
特表２００７－５０３１６６号公報 特表２００７－５０７１６９号公報
ＩＳＯ／ＩＥＣ　14496-10 Advanced Video Coding L.G. Roberts，"Picture coding using pseudorandom noise "，IRE Trans. on Information Theory，vol. IT-8 ，pp145-154 ，1962年 2月 G. Conklin and N. Gokhale ，"Dithering 5-tap Filter for Inloop Deblocking"，Joint Video Team（JVT ） of ISO/IEC MPEG & ITU-T VCEG ，JVT-C056，2002年 5月 蝶野他，"アダマール変換の性質を利用したH.264 イントラ予測推定器の低演算量化方式"，電子情報通信学会大会講演論文集，D-11-52 ，2005年
　上述した技術によって低ビットレートで圧縮され伸張された映像は、人間が認識可能なアーティファクトを発生する。ブロック歪みやリンギング歪みは、ブロックベース符号化に基づいて圧縮され伸張された映像に発生する典型的なアーティファクトである。
　非特許文献２では、アーティファクトに対する人間の視覚感度を低下させるために、画像に擬似ランダム雑音を混入させることによってアーティファクトを低減することが提案されている。非特許文献３は、ブロックベース符号化である非特許文献１に開示されているブロック歪み除去フィルタにおいて、画像ブロック境界に対する画素の位置に従う量のランダムノイズディザを再構築画像に加えること、およびブロック歪み除去フィルタを適用する画像ブロック境界の順序を入れ替えることが提案されている。
　特許文献１および特許文献２では、現在の画像の少なくとも一部の輝度に関連づけられた量、または前の画像の画素の付加的ノイズに関連する量の付加的ノイズを混入させることが提案されている。
　しかし、上記の各文献には、ブロックベース符号化に基づく高解像度映像の圧縮および伸張において問題になる輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置の決定方法が考慮されていない。従って、上記の各文献に記載された技術では、特に、高解像度映像の輪郭および階段アーティファクトを効率的に低減できない。なお、効率には、輪郭および階段アーティファクトの低減効率だけでなく、計算効率も含まれる。
　そこで、本発明は、輪郭および階段アーティファクトを効率的に低減することができる映像符号化装置および映像復号装置を提供することを目的とする。
　本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。
　本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、前記量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段とを備えたことを特徴とする。
　本発明による映像符号化方法は、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させることを特徴とする。
　本発明による映像復号方法は、ビット列をエントロピー復号して量子化インデックスを得て、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、前記量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させることを特徴とする。
　本発明による映像符号化プログラムは、コンピュータに、量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理ことを特徴とする。
　本発明による映像復号プログラムは、コンピュータに、ビット列をエントロピー復号して量子化インデックスを計算する処理と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、前記量子化インデックスを逆量子化して量子化代表値を得る処理と、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理ことを特徴とする。
　本発明によれば、伸張画像のすべての画素値を比較して画素値の変動量を解析することなく、輪郭および階段アーティファクトが目立つ位置を正確に検出できる。従って、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる映像符号化装置および映像復号装置を提供できる。
第１の実施形態の映像符号化装置のブロック図である。 平坦な予測信号となる予測の種類を説明するための説明図である。 平坦な予測信号となる予測の種類を説明するための説明図である。 ８×８ブロックサイズのＤＣＴ基底を示す説明図である。 ４×４ブロックサイズのＤＣＴ基底を示す説明図である。 １６×１６ブロックサイズのＤＣＴ基底を示す説明図である。 １６×１６ブロックサイズの整数ＤＣＴの構成例を示す説明図である。 第２の実施形態の映像符号化装置のブロック図である。 第３の実施形態の映像符号化装置のブロック図である。 ブロック歪み除去フィルタ部の動作を説明するための説明図である。 ブロック歪み除去フィルタ部の動作を説明するための説明図である。 ｂＳを決定する処理を示すフローチャートである。 ｂＳを決定する処理を示すフローチャートである。 第４の実施形態の映像復号装置のブロック図である。 第５の実施形態の映像復号装置のブロック図である。 第６の実施形態の映像復号装置のブロック図である。 第２の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第２の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第５の実施形態の映像復号装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第３の実施形態の映像符号化装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 第６の実施形態の映像復号装置に対して擬似ランダム雑音混入候補位置の再構築画像ブロックについてのみ画素値の変動量を実際に計算し計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合の構成を示すブロック図である。 擬似ランダム雑音の発生器のリセットを説明するための説明図である。 本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要構成を示すブロック図である。 本発明による映像復号装置の主要構成を示すブロック図である。 本発明による映像符号化装置の処理を示すフローチャートである。 本発明による映像復号装置の処理を示すフローチャートである。 一般的な映像符号化装置の構成を示すブロック図である。 ブロック分割の例を示す説明図である。
実施形態１．
　図１は、本発明の第１の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
　図１に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。
　本実施形態の映像符号化装置は、雑音混入器１１３が設けられている点と、雑音混入器１１３の出力が逆周波数変換部１０６に供給されている点とにおいて、図２８に示された一般的な映像符号化装置と異なる。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴である雑音混入器１１３と逆周波数変換部１０６との動作を詳細に説明する。
　ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。
　ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
　ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
　イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。イントラ予測に関連する情報として、イントラ予測のブロックサイズを示すイントラ予測モード、および方向を示すイントラ予測方向がある。
　イントラ予測については、非特許文献１の8.3.1～8.3.3に記載されているように、３種類のブロックサイズのイントラ予測モードIntra_４×４、Intra_８×８、Intra_１６×１６がある。
　図２（ａ），（ｃ）を参照すると、Intra_４×４とIntra_８×８はそれぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることがわかる。ただし、図中の丸（○）はイントラ予測の参照画素、つまり、ピクチャバッファ１０７に格納された再構築画像を示す。
　Intra_４×４のイントラ予測では、再構築画像の周辺画素をそのまま参照画素とし、図２（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図２（ｃ）における右矢印の直下に記載されているローパスフィルタ（１／２、１／４、１／２）によって再構築画像の周辺画素が平滑化された画素を参照画素として、図２（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。
　図３（ａ）を参照すると、Intra_１６×１６は１６×１６ブロックサイズのイントラ予測であることがわかる。図２に示された例と同様に、図３において、図中の丸（○）はイントラ予測の参照画素、つまり、ピクチャバッファ１０７に格納された再構築画像を示す。Intra_１６×１６のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図３（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。
　以下、イントラ予測のブロックサイズをイントラ予測モードという。また、外挿の方向をイントラ予測方向という。
　非特許文献４に記載されているように、ＤＣ（図２および図３（ｂ）の「２」参照）、水平（図２と図３（ｂ）の「１」参照）および垂直（図２および図３（ｂ）の「０」参照）それぞれのイントラ予測方向の予測信号のアダマール変換については、有意な変換係数は特定の成分のみにしか発生しない。具体的には、ＤＣのイントラ予測方向についてはＤＣのみの有意な変換係数、水平のイントラ予測方向についてはＤＣおよび垂直成分のＡＣのみの有意な変換係数、垂直のイントラ予測方向についてはＤＣおよび水平成分のＡＣのみの有意な変換係数になる。
　有意な変換係数が特定の成分のみにしか発生しないことは、ＤＣのイントラ予測方向については画像の変動量がゼロ（すなわち、平坦な予測信号）、水平のイントラ予測方向については水平方向の画像の変動量がゼロ（すなわち、水平方向に平坦な予測信号）、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロ（すなわち、垂直方向に平坦な予測信号）であることを示している。
　イントラ予測方向の予測信号の整数ＤＣＴについても、一例として示す図４の説明図に示す８×８ブロックサイズのＤＣＴ基底から明らかなように、ＤＣのイントラ予測方向については画像の変動量がゼロ、水平のイントラ予測方向については水平方向の画像の変動量がゼロ、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロとなる。なお、図５と図６にそれぞれ示す４×４ブロックサイズのＤＣＴ基底と１６×１６ブロックサイズのＤＣＴ基底からわかるように、ブロックサイズが４×４または１６×１６についても、８×８ブロックサイズのＤＣＴ基底の場合と同様に、ＤＣのイントラ予測方向については画像の変動量がゼロ、水平のイントラ予測方向については水平方向の画像の変動量がゼロ、垂直のイントラ予測方向については垂直方向の画像の変動量がゼロとなる。
　以上のことから、ＤＣ、水平、垂直およびPlane （図３（ｂ）の「３」参照）のイントラ予測方向は平坦な予測の種類であることがわかる。つまり、イントラ予測方向によって、再構築画像の変動量の大小を推定できることがわかる。
　符号化制御部１１２は、通常、それぞれのイントラ予測モードとそのイントラ予測方向との組み合わせである予測信号と、入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号をイントラ予測信号とする。
　フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。フレーム間予測に関連する情報として、参照ピクチャインデックスや動きベクトルなどの情報がある。
　符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１に格納されている入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
　なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された予測信号に関連する情報は、イントラ予測モードとイントラ予測方向である。
　また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。通常、入力ＭＢまたは予測誤差画像ブロックの画素値が平坦になる程、より大きな基底ブロックサイズが選択される。換言すると、大きな基底ブロックサイズの再構築画像ブロックでは再構築画像は平坦である。なお、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合には、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
　さらに、符号化制御部１１２は、目標ビット数以下でフレームを符号化するために、エントロピー符号化部１０４が出力するビットストリームのビット数を監視する。そして、出力されるビットストリームのビット数が目標ビット数よりも多ければ量子化ステップサイズを大きくする量子化パラメータを出力し、逆に、出力されるビットストリームのビット数が目標ビット数よりも少なければ量子化ステップサイズを小さくする量子化パラメータを出力する。そのようにして、出力ビットストリームは目標のビット数に近づくように符号化される。
　周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
　量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
　ここで、図４に例示された８×８ブロックサイズのＤＣＴ基底からもわかるように、高周波数のＡＣの基底ほど（右矢印または下矢印の方向の基底ほど）変動量が大きいことに着目する。すると、有意なＡＣの量子化インデックスが少ないパターンの再構築画像では、その画素値の変動量が小さいと推定できることがわかる。つまり、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、その再構築画像が平坦であることがわかる。
　エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
　逆量子化部１０５は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化する。逆量子化された量子化インデックスを量子化代表値という。
　雑音混入器１１３は、エントロピー符号化部１０４に供給される予測誤差画像ブロックについて予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
　雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像すべての画素値を比較することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。例えば、上述した平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、対応する再構築画像ブロックの画素値の変動量が小さくなる。従って、そのような予測誤差画像ブロックを擬似ランダム雑音混入候補位置と決定し、そうでない予測誤差画像ブロックについては、擬似ランダム雑音非混入候補位置と決定する。
　なお、平坦な予測の種類の予測誤差画像ブロックに対応する再構築画像ブロック、大きな整数ＤＣＴの基底サイズ（あらかじめ定められた所定サイズよりも大きな基底サイズ）の予測誤差画像ブロックに対応する再構築画像ブロック、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロック、平坦な予測の種類および大きな整数ＤＣＴの基底サイズの予測誤差画像ブロックに対応する再構築画像ブロック、大きな整数ＤＣＴTの基底サイズおよび有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロック、または、平坦な予測および有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する再構築画像ブロックを、その画素値の変動量が小さいと推定してもよい（なお、前記有意なＡＣの量子化インデックスが少ないパターンには、あらかじめ定められた低周波数成分だけに有意なＡＣの量子化インデックスが存在するパターン、または、すべての周波数成分にわたって有意なＡＣの量子化インデックスが疎に存在するパターンが利用できる。）。
　雑音混入器１１３は、擬似ランダム雑音混入候補位置について、擬似ランダム雑音ｎ（ｉ）を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音ｎ（ｉ）を、例えば、式（１）による線形合同法などに基づいて発生すればよい。
　ｎ（ｉ）＝（ａ×ｎ（ｉ－１）＋ｂ）％ｃ　　　　　　　・・・（１）
　ただし、ａ，ｂおよびｃは擬似ランダム雑音の周期を決定するパラメータであり、ａ＞０，ｂ＞０，ａ≦ｃ，ｂ＜ｃである、また、ｘ％ｙは、ｘをｙで割った余りを返す処理を示す。
　雑音混入器１１３は、擬似ランダム雑音非混入候補位置について、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
　逆変換部１０６は、量子化代表値を逆周波数変換し、さらに雑音混入器１１３から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。以下、イントラ予測モードのブロックサイズ毎の具体的な処理を説明する。ただし、非特許文献１に記載されているＡＶＣでは、逆変換と逆量子化の処理が統合されているので、逆量子化を含めた説明になっている。
　まず、Intra_１６×１６の場合の逆変換と逆量子化を説明する。すなわち、Intra_１６×１６の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。本実施形態では、図７に示すように、１６×１６ブロックサイズの整数ＤＣＴが、４×４ブロックサイズの整数ＤＣＴと４×４ブロックサイズのアダマール変換とを組み合わせて構成されているとする。
　Intra_１６×１６の４×４ＤＣブロックの逆周波数変換は、量子化インデックスをＬ16＝｛ｌ16００・・・ｌ16３３｝、逆変換係数をＦ16＝｛ｆ16００・・・ｆ16３３｝とすると、式（２）で定義される。
Figure JPOXMLDOC01-appb-M000001
　Intra_１６×１６の４×４ＤＣブロックの逆量子化は、量子化パラメータをｑｐ、逆量子化の出力をｄｃＹｉｊとすると、式（３）で定義される。ただし、LevelScale（m,i,j ）は式（４）で表され、Ｍは式（５）で表される。
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
　さらに、逆量子化の出力は、図４に示すようにIntra_１６×１６の４×４ＡＣブロックのＤＣになる。各４×４ＡＣブロックに、以下に説明する４×４ブロック逆変換／逆量子化を適用する。
　Intra_１６×１６の４×４ＡＣブロックでは、逆量子化を行った後に、逆変換を適用する。ＭＢ内での４×４ブロック座標を（ｉ，ｊ）、量子化インデックスをＬ＝｛ｌ００・・・ｌ３３｝、量子化代表値をｄｉｊとすると、４×４ＡＣブロックの逆量子化は式（６）で定義される。
Figure JPOXMLDOC01-appb-M000005
　続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ３３｝とすると、４×４ブロックの逆変換は式（７）で定義される。
Figure JPOXMLDOC01-appb-M000006
　さらに、式（８）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ３３｝（式（１）のｎ（ｉ）を適当な法則で並び変えたとする）を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd３３｝を得る。すなわち逆変換係数を元の空間領域に戻す。
　pdｉｊ＝（ｃｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６　　　　　　　　　・・・（８）
　式（８）に示すように、擬似ランダム雑音の影響強度が絶対値で１画素以下になるように、６４で割った余りが加えられている。擬似ランダム雑音の影響強度を絶対値で１画素以下にすることによって、擬似ランダム雑音混入によるＰＳＮＲ（Peak Signal to Noise Ratio）の低下を抑制できる。
　次に、Intra_８×８の場合の逆変換と逆量子化を説明する。すなわち、Intra_８×８の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。
　量子化インデックスをＬ8 ＝｛ｌ8 ００・・・ｌ8 ７７｝、量子化代表値をＤ8 ＝｛ｄ8 ００・・・ｄ8 ７７｝とすると、Intra_８×８の逆量子化は式（９）で定義される。ただし、LevelScale8（m,i,j ）は式（１０）で表され、Ｍ8 は式（１１）で表される。
Figure JPOXMLDOC01-appb-M000007
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
　続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ７７｝とすると、Intra_８×８の逆変換は式（１２）で定義される。ただし、Ｔ８は、式（１３）のように表される。
　Ｃ８＝Ｔ８ｔＤ８Ｔ８　　　　　　　　　　　　　　　　　　　　　　・・・（１２）
Figure JPOXMLDOC01-appb-M000010
　さらに、式（１４）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ７７｝（式（１）のｎ（ｉ）を適当な法則で並び変えたとする）を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd７７｝を得る。すなわち逆変換係数を元の空間領域に戻す。
　pdｉｊ＝（ｃ8 ｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６　　　　　　　・・・（１４）
　次に、Intra_４×４の場合の逆変換と逆量子化を説明する。すなわち、Intra_４×４の場合の、量子化代表値を逆周波数変換して雑音混入器１１３から擬似ランダム雑音を混入させる動作を説明する。
　量子化インデックスをＬ＝｛ｌ００・・・ｌ３３｝、量子化代表値をｄｉｊとすると、Intra_４×４の逆量子化は式（１５）で定義される。
Figure JPOXMLDOC01-appb-M000011
　続いて、逆変換係数をＣ＝｛ｃ００・・・ｃ３３｝とすると、４×４ブロックの逆変換は式（１６）で定義される。
　さらに、式（１７）に示すように、逆変換係数Ｃに擬似ランダム雑音Ｎ＝｛ｎ００・・・ｎ３３｝を加えて正規化して、再構築予測誤差画像ブロックＰＤ｛pd００・・・pd３３｝を得る。すなわち逆変換係数を元の空間領域に戻す。
　pdｉｊ＝（ｃｉｊ＋（ｎｉｊ％６４）＋３２）＞＞６　　　　　　　　・・・（１７）
　ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
　ブロック歪み除去フィルタ部１０８は、ピクチャバッファ１０７に格納された再構築画像ピクチャに対してブロック歪みを除去する。
　デコードピクチャバッファ１０９には、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築画像ピクチャが参照画像ピクチャとして格納される。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
　本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
　本実施形態の映像符号化装置は、輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置を、再構築画像ピクチャのすべての画素値を比較して画素値の変動量を解析することなく、伸張途中の情報に基づいて再構築画像における画素値の変動量の大小を推定することで決定する。よって、本実施形態の映像符号化装置は、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
実施形態２．
　図８は、本発明の第２の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックではなく、再構築画像ブロックに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
　図８に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。
　第１の実施形態とは異なり、本実施形態では、雑音混入器１１３から供給される擬似ランダム雑音は、逆周波数変換部１０６の出力に加算される。しかし、本実施形態の映像符号化装置における各部の処理は、図１に示された第１の実施形態の映像符号化装置における各部の処理と実質的に同じであるから、各部の動作説明を省略する。
実施形態３．
　図９は、本発明の第３の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築画像ピクチャに擬似ランダム雑音を混入させる映像符号化装置を示すブロック図である。
　図９に示すように、本実施形態の映像符号化装置は、ＭＢバッファ１０１、周波数変換部１０２、量子化部１０３、エントロピー符号化部１０４、逆量子化部１０５、逆周波数変換部１０６、ピクチャバッファ１０７、ブロック歪み除去フィルタ部１０８、デコードピクチャバッファ１０９、イントラ予測部１１０、フレーム間予測部１１１、符号化制御部１１２およびスイッチ１００に加えて、雑音混入器１１３を備えている。本実施形態では、雑音混入器１１３から出力される擬似ランダム雑音は、ブロック歪み除去フィルタ部１０８に供給される。
　本実施形態の映像符号化装置は、雑音混入器１１３が設けられている点と、雑音混入器１１３の出力がブロック歪み除去フィルタ部１０８に供給されている点とにおいて、図２８に示された一般的な映像符号化装置と異なる。よって、以下の説明では、特に、本実施形態の映像符号化装置の特徴であるブロック歪み除去フィルタ部１０８の動作を詳細に説明する。
　ＭＢバッファ１０１には、入力画像フレームの符号化対象ＭＢの画素値が格納される。
　ＭＢバッファ１０１から供給される入力ＭＢから、スイッチ１００を介してイントラ予測部１１０またはフレーム間予測部１１１から供給される予測信号が減じられる。
　イントラ予測部１１０は、ピクチャバッファ１０７に格納された再構築画像であって現在のフレームと表示時刻が同一である再構築画像を利用してイントラ予測信号を生成する。
　フレーム間予測部１１１は、現在のフレームと表示時刻が異なる、デコードピクチャバッファ１０９に格納された参照画像を利用してフレーム間予測信号を生成する。
　符号化制御部１１２は、イントラ予測信号およびフレーム間予測信号とＭＢバッファ１０１の入力ＭＢとを比較して、予測誤差画像ブロックのエネルギーが小さくなる予測信号を選択し、スイッチ１００を制御する。選択された予測信号に関連する情報は、エントロピー符号化部１０４に供給される。
　予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された予測信号に関連する情報とは、イントラ予測モードとイントラ予測方向である。
　また、符号化制御部１１２は、入力ＭＢまたは予測誤差画像ブロックに基づいて、予測誤差画像ブロックの周波数変換に適した整数ＤＣＴの基底ブロックサイズを選択する。選択された整数ＤＣＴの基底サイズは、周波数変換部１０２およびエントロピー符号化部１０４に供給される。また、予測誤差画像ブロックのエネルギーが小さくなる予測信号がイントラ予測信号である場合、選択された整数ＤＣＴの基底サイズはイントラ予測モードのブロックサイズと同一である。
　周波数変換部１０２は、選択された整数ＤＣＴの基底サイズで、予測誤差画像ブロックを周波数変換して空間領域から周波数領域に変換する。
　量子化部１０３は、変換係数を、符号化制御部１１２が供給する量子化パラメータに対応する量子化ステップサイズで量子化する。
　エントロピー符号化部１０４は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスをエントロピー符号化して、そのビット列すなわちビットストリームとして出力する。
　逆量子化部１０５は、以後の符号化のために、量子化部１０３から供給される量子化インデックスを逆量子化する。
　雑音混入器１１３は、エントロピー符号化部１０４に供給される予測誤差画像ブロックについて予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
　雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。例えば、上述した平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および、有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックについては、対応する画像ブロックの再構築画像の画素値の変動量が小さくなる。従って、予測誤差画像ブロックを擬似ランダム雑音混入候補位置と決定し、そうでない予測誤差画像ブロックを擬似ランダム雑音非混入候補位置と決定する。
　雑音混入器１１３は、擬似ランダム雑音混入候補位置について、擬似ランダム雑音ｎ（ｉ）を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音ｎ（ｉ）を、例えば、上記の式（１）による線形合同法などに基づいて発生すればよい。
　雑音混入器１１３は、擬似ランダム雑音非混入候補位置について、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
　逆変換部１０６は、量子化代表値を逆周波数変換し、さらに雑音混入器１１３から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。
　ピクチャバッファ１０７には、現在のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
　ブロック歪み除去フィルタ部１０８は、再構築画像の各ＭＢおよびその内部ブロックの境界にローパスフィルタを適用し、ピクチャバッファ１０７に格納された再構築画像に対してブロック歪みを除去する処理を行う。ただし、本実施形態のブロック歪み除去フィルタ部１０８は、雑音混入器１１３から供給される擬似ランダム雑音をローパスフィルタの中間データに混入させて、輪郭および階段アーティファクトも低減させる。
　以下、ブロック歪み除去フィルタ部１０８の動作をより具体的に説明する。
　図１０および図１１は、ブロック歪み除去フィルタ部１０８の動作を説明するための説明図である。ブロック歪み除去フィルタ部１０８は、図１０に示すように、ＭＢおよびその内部ブロックの水平方向のブロック境界に対して水平方向にローパスフィルタを適用する。また、図１１に示すように、ＭＢおよびその内部ブロックの垂直方向のブロック境界に対して垂直方向にローパスフィルタを適用する。水平方向のブロック境界は、０，４，８，１２の４×４ブロックの左側のブロック境界、１，５，９，１３の４×４ブロックの左側のブロック境界、２，６，１０，１４の４×４ブロックの左側のブロック境界、および３，７，１１，１５の４×４ブロックの左側のブロック境界である。また、垂直方向のブロック境界は、０，１，２，３の４×４ブロックの上側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、８，９，１０，１１の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界である。
　ただし、８×８ブロックサイズの整数ＤＣＴでは、１，５，９，１３の４×４ブロックの左側のブロック境界、３，７，１１，１５の４×４ブロックの左側のブロック境界、４，５，６，７の４×４ブロックの上側のブロック境界、および１２，１３，１４，１５の４×４ブロックの上側のブロック境界は、ブロック歪み除去対象のブロック境界とはならない。また、１６×１６ブロックサイズの整数ＤＣＴの基底が１６×１６ブロックサイズのＤＣＴ基底を整数値で近似した基底である場合には、０，４，８，１２の４×４ブロックの左側のブロック境界、および、０，１，２，３の４×４ブロックの上側のブロック境界のみがブロック歪み除去対象のブロック境界になる。
　水平方向のブロック境界に対するローパスフィルタの処理については、ブロック境界を中心とする左側のローパスフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、ローパスフィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする右側のローパスフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、ローパスフィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。
　垂直方向のブロック境界に対するローパスフィルタの処理については、ブロック境界を中心とする上側のローパスフィルタ前の画素をｐ３，ｐ２，ｐ１，ｐ０、ローパスフィルタ後の画素をＰ３，Ｐ２，Ｐ１，Ｐ０とし、ブロック境界を中心とする下側のローパスフィルタ前の画素をｑ０，ｑ１，ｑ２，ｑ３、ローパスフィルタ後の画素をＱ０，Ｑ１，Ｑ２，Ｑ３とする。
　ただし、Ｐ３，Ｐ２，Ｐ１，Ｐ０，Ｑ０，Ｑ１，Ｑ２，Ｑ３は、ｐ３，ｐ２，ｐ１，ｐ０，ｑ０，ｑ１，ｑ２，ｑ３で初期化されているとする。
　水平方向と垂直方向とでブロック境界に対するローパスフィルタ処理では同じである。そこで、以下、水平方向と垂直方向とを特に区別をせずに、ブロック境界に対するローパスフィルタ処理を説明する。
　まず、ブロック境界のローパスフィルタ処理では、非特許文献１の8.7 Deblocking filter process を参照すると、ブロック境界強度ｂＳ（０≦ｂＳ≦４）を隣接ブロックに関連する伸張情報に基づいて決定する。図１２は、ｂＳを決定する処理を示すフローチャートである。
　図１２に示すように、ブロック歪み除去フィルタ部１０８は、ローパスフィルタ処理が施される前のブロック境界の左側の画素ｐとブロック境界の右側の画素ｑとのいずれかがイントラＭＢの画素である場合には（ステップＳ１０１）、画素ｐと画素ｑとがＭＢの境界の左右の画素であるか否か判定する（ステップＳ１０２）。画素ｐと画素ｑとがＭＢの境界の左右の画素である場合にはｂＳを４に決定し、ＭＢの境界の左右の画素ではない場合にはｂＳを３に決定する。
　ブロック歪み除去フィルタ部１０８は、画素ｐと画素ｑとのいずれもイントラＭＢの画素でない場合には、画素ｐと画素ｑとのいずれかに量子化インデックスが存在するか否か判定する（ステップＳ１０３）。ブロック歪み除去フィルタ部１０８は、画素ｐと画素ｑとのいずれかに量子化インデックスが存在する場合には、ｂＳを２に決定する。画素ｐと画素ｑとのいずれにも量子化インデックスが存在しない場合には、画素ｐと画素ｑとで、フレーム間予測に不連続があるか否か判定する（ステップＳ１０４）。フレーム間予測に不連続がある場合にはｂＳを１に決定し、フレーム間予測に不連続がない場合にはｂＳを０に決定する。
　なお、ｂＳを決定する処理のより詳細な説明が、非特許文献１の8.7.2 Filtering process for a set of samples across a horizontal or vertical block edge に記載されている。
　ｂＳが大きな値になるほど、ブロック境界の変動量が大きいと判定し、強度の高いローパスフィルタが適用される。ｂＳ＝０では、ローパスフィルタは適用されない。
　続いて、ｂＳ＞０のブロック境界についてのみ、ブロック境界での画素を比較して、ブロック境界での不連続性を解析する。ｂＳ＝４とｂＳ＜４の場合に分けて、ブロック境界での不連続性を解析と擬似ランダム雑音を用いたローパスフィルタを説明する。
　ｂＳ＝４の場合に、｜ｐ０－ｑ０｜＜α／４、かつ、｜ｐ１－ｐ０｜＜βのときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（１８）、式（１９）および式（２０）で表されるローパスフィルタでＰ０，Ｐ１，Ｐ２をそれぞれ更新する。
　Ｐ０＝（ｐ２＋２×ｐ１＋２×ｐ０＋２×ｑ０＋ｑ１＋（ｎ（ｐｏｓ－１）％８）＋４）／８　　　　　・・・（１８）
　Ｐ１＝（ｐ２＋ｐ１＋ｐ０＋ｑ０＋（ｎ（ｐｏｓ－２）％４）＋２）／４　　　　　　　　・・・（１９）
　Ｐ２＝（２×ｐ３＋３×ｐ２＋ｐ１＋ｑ０＋ｑ１＋（ｎ（ｐｏｓ－３）％８）＋４）／８　　　　　・・・（２０）
　｜ｐ０－ｑ０｜＜α／４、かつ、｜ｐ１－ｐ０｜＜βの条件が成立しないときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２１）で表されるローパスフィルタでＰ０を更新する。なお、Ｐ１およびＰ２は更新されない。
　Ｐ０＝（２×ｐ１＋ｐ０＋ｑ０＋（ｎ（ｐｏｓ－１）％４）＋２）／４　　　　　　　　・・・（２１）
　ただし、αおよびβはそれぞれ量子化パラメータＱの値が大きくなるほど大きな値になるパラメータである。ｐｏｓは処理対象のブロック位置の座標に対する位置である。
　ｂＳ＝４の場合に、｜ｐ０－ｑ０｜＜α／４、かつ、｜ｑ１－ｑ０｜＜βのときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２２）、式（２３）および式（２４）で表されるローパスフィルタでＱ０，Ｑ１，Ｑ２をそれぞれ更新する。
　Ｑ０＝（ｑ２＋２×ｑ１＋２×ｑ０＋２×ｐ０＋ｐ１＋（ｎ（ｐｏｓ）％８）＋４）／８　　　　　　・・・（２２）
　Ｑ１＝（ｑ２＋ｑ１＋ｑ０＋ｐ０＋（ｎ（ｐｏｓ＋１）％４）＋２）／４　　　　　　　　・・・（２３）
　Ｑ２＝（２×ｑ３＋３×ｑ２＋ｑ１＋ｐ０＋ｐ１＋（ｎ（ｐｏｓ＋２）％８）＋４）／８　　　　　・・・（２４）
　｜ｐ０－ｑ０｜＜α／４、かつ、｜ｑ１－ｑ０｜＜βの条件が成立しないときには、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する式（２５）で表されるローパスフィルタでＱ０を更新する。なお、Ｑ１およびＱ２は更新されない。
　Ｑ０＝（２×ｑ１＋ｑ０＋ｐ０＋（ｎ（ｐｏｓ）％４）＋２）／４　　・・・（２５）
　ｂＳ＝４の場合に、｜ｐ０－ｐ２｜＜βのときにのみ、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する以下の式（２６）で表されるローパスフィルタでＰ０を更新する。
　Ｐ０＝ｐ０＋Ｃｌｉｐ３｛－ｔｃ，ｔｃ，（２×（ｑ０－ｐ０）＋ｐ１－ｑ１＋（ｎ（ｐｏｓ－１）％８）＋４）／８｝　　　　　　・・・（２６）
　ただし、ｔｃは、量子化パラメータＱの値が大きくなるほど大きな値になるパラメータである。
　ｂＳ＝４の場合に、｜ｑ０－ｑ２｜＜βのときにのみ、擬似ランダム雑音（式（１）によるｎ（ｉ））を利用する以下の式（２７）で表されるローパスフィルタでＱ０を更新する。
　Ｑ０＝ｑ０－Ｃｌｉｐ３｛－ｔｃ，ｔｃ，（２×（ｑ０－ｐ０）＋ｐ１－ｑ１＋（ｎ（ｐｏｓ）％８）＋４）／８｝　　　　　　・・・（２７）
　上記の式（１８）～式（２７）において、擬似ランダム雑音の影響強度が１画素以下になるように４または８で割った余りが加えられている。擬似ランダム雑音の影響強度を１画素以下にすることによって、擬似ランダム雑音混入によるＰＳＮＲの低下を抑制できる。
　なお、第１の実施形態で説明したように、雑音混入器１１３は、平坦な予測の種類、大きな整数ＤＣＴの基底サイズ、および有意なＡＣの量子化インデックスが少ないパターンの予測誤差画像ブロックに対応する画像ブロックの再構築画像の画素値の変動量が小さくなると推定する場合、変動量が多いと判断されて有意な擬似ランダム雑音が供給されるブロック境界は、イントラＭＢの再構築画像だけになる。
　よって、本実施形態のブロック歪み除去フィルタ部１０８は、図１３のフローチャートに示すｂＳの決定処理を採用していることと等価である。このことは、ブロック歪み除去フィルタ部１０８がｂＳの決定処理で、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入位置を決定する実装形態も可能であることを示している。
　図１３に示す処理では、ブロック歪み除去フィルタ部１０８は、図１２に示されたステップＳ１０１～Ｓ１０４の処理を実行することに加えて、画素ｐと画素ｑとがＭＢの境界の左右の画素である場合に、画素ｐと画素ｑとの間で変動量が小さいか否か判定する処理を実行する（ステップＳ１０５Ａ）。変動量が小さくない場合にはｂＳを４に決定し、変動量が小さい場合は擬似ランダム雑音を混入させることに決定するとともにｂＳを４に決定する。また、画素ｐと画素ｑとがＭＢの境界の左右の画素でない場合に、画素ｐと画素ｑとの間で変動量が小さいか否か判定する処理を実行する（ステップＳ１０５Ｂ）。変動量が小さくない場合にはｂＳを３に決定し、変動量が小さい場合は擬似ランダム雑音を混入させることに決定するとともにｂＳを３に決定する。
　ブロック歪み除去フィルタ部１０８がｂＳの決定処理で擬似ランダム雑音混入候補位置を決定する実装形態においては、図１３に示すｂＳの決定フローから分かるように、擬似ランダム雑音混入候補位置と判定されたブロック境界のみに擬似ランダム雑音を混入させることを意味する。
　デコードピクチャバッファ１０９には、ブロック歪み除去フィルタ１０８から供給されるブロック歪みが除去された再構築画像ピクチャが参照画像ピクチャとして格納される。なお、参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。
　本実施形態の映像符号化装置は、上記のような処理によってビットストリームを生成する。
　本実施形態の映像符号化装置は、第１の実施形態の映像符号化装置と同様に、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
実施形態４．
　図１４は、本発明の第４の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第１の実施形態の映像符号化装置に対応する映像復号装置である。
　図１４に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。
　エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。予測信号に関連する情報は、第１の実施形態の場合と同様、イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報である。
　イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。
　フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
　復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
　雑音混入器２１０は、第１の実施形態の雑音混入器１１３と同様に、エントロピー復号部２０１から供給される復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを監視する。
　また、雑音混入器２１０は、第１の実施形態の雑音混入器１１３と同様に、予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。
　また、雑音混入器２１０は、擬似ランダム雑音混入候補位置については有意な擬似ランダム雑音を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音非混入候補位置については、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は復号対象ＭＢの予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
　逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。
　逆変換部２０３は、第１の実施形態の逆変換部１０６と同様に、量子化代表値を逆周波数変換し、さらに雑音混入器２１０から供給される擬似ランダム雑音を混入させて元の空間領域に戻す。
　ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＭＢが復号されるまで、元の空間領域に戻された再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
　ブロック歪み除去フィルタ部２０５は、現在のフレームに含まれるすべてのＭＢが復号された後、ピクチャバッファ２０４に格納された再構築画像に対してブロック歪みを除去する。
　デコードピクチャバッファ２０６は、ブロック歪み除去フィルタ部２０５から供給されるブロック歪み除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
　本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
　本実施形態の映像復号装置は、ブロックベース符号化に基づく高解像度映像の圧縮・伸張において問題となる、輪郭および階段アーティファクトを効率的に低減するための擬似ランダム雑音混入候補位置を、再構築画像のすべての画素値を比較して画素値の変動量を解析することなく、伸張途中の情報に基づいて再構築画像における画素値の変動量の大小を推定することで決定する。従って、本実施形態の映像復号装置は、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
実施形態５．
　図１５は、本発明の第５の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築予測誤差画像ブロックではなく、再構築画像ブロックに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第２の実施形態の映像符号化装置に対応する映像復号装置である。
　図１５に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。
　第４の実施形態とは異なり、本実施形態では、雑音混入器２１０から供給される擬似ランダム雑音は、逆周波数変換部２０３の出力に加算される。しかし、本実施形態の映像復号装置における各部の処理は、図１４に示された第４の実施形態の映像復号装置における各部の処理と実質的に同じであるから、各部の動作説明を省略する。
実施形態６．
　図１６は、本発明の第６の実施形態のブロック図であり、再構築画像ブロックの伸張途中の情報に基づいて擬似ランダム雑音混入候補位置を決定し、再構築画像ピクチャに擬似ランダム雑音を混入させる映像復号装置を示すブロック図である。本実施形態の映像復号装置は、第３の実施形態の映像符号化装置に対応する映像復号装置である。
　図１６に示すように、本実施形態の映像復号装置は、エントロピー復号部２０１、逆量子化部２０２、逆周波数変換部２０３、ピクチャバッファ２０４、ブロック歪み除去フィルタ部２０５、デコードピクチャバッファ２０６、イントラ予測部２０７、フレーム間予測部２０８、復号制御部２０９およびスイッチ２００に加えて、雑音混入器２１０を備えている。本実施形態では、雑音混入器２１０から出力される擬似ランダム雑音は、ブロック歪み除去フィルタ部２０５に供給される。
　本実施形態における雑音混入器２１０は、第１の実施形態の映像符号化装置における雑音混入器１１３と等価である。また、本実施形態におけるブロック歪み除去フィルタ部２０５は、第３の実施形態の映像符号化装置における擬似ランダム雑音を用いるブロック歪み除去フィルタ１０８と等価である。
　エントロピー復号部２０１は、ビットストリームをエントロピー復号して、復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、および量子化インデックスを出力する。予測信号に関連する情報とは、第１実施形態の場合と同様に、イントラ予測モード、イントラ予測方向、およびフレーム間予測に関連する情報である。
　イントラ予測部２０７は、現在復号中のフレームと表示時刻が同一である、ピクチャバッファ２０４に格納された再構築画像を利用してイントラ予測信号を生成する。
　フレーム間予測部２０８は、現在復号中のフレームと表示時刻が異なる、デコードピクチャバッファ２０６に格納された参照画像を利用してフレーム間予測信号を生成する。
　復号制御部２０９は、エントロピー復号したフレーム間予測に基づいて、スイッチ２００を制御し、イントラ予測信号またはフレーム間予測信号を供給する。
　雑音混入器２１０は、エントロピー復号部２０１から供給される復号対象ＭＢの予測信号に関連する情報、整数ＤＣＴの基底サイズ、または量子化インデックスを監視する。
　また、雑音混入器２１０は、予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、擬似ランダム雑音混入候補位置を決定する。
　また、雑音混入器２１０は、擬似ランダム雑音混入候補位置については有意な擬似ランダム雑音を発生する。すなわち、本実施形態では、擬似ランダム雑音混入候補位置が、擬似ランダム雑音混入位置に相当する。擬似ランダム雑音非混入候補位置については、ゼロの擬似ランダム雑音を発生する。ゼロの擬似ランダム雑音の発生は、復号対象ＭＢの予測誤差画像ブロックに擬似ランダム雑音を混入させないことを示す。
　逆量子化部２０２は、エントロピー復号部２０１から供給される量子化インデックスを逆量子化する。
　逆変換部２０３は、量子化代表値を逆周波数変換して元の空間領域に戻す。
　ピクチャバッファ２０４には、現在復号中のフレームに含まれるすべてのＭＢが符号化されるまで、再構築予測誤差画像ブロックに予測信号が加えられた再構築画像ブロックが格納される。
　ブロック歪み除去フィルタ部２０５は、雑音混入器２１０から供給される擬似ランダム雑音を用いてピクチャバッファ２０４に格納された再構築画像に対してブロック歪みを除去する。
　ブロック歪み除去フィルタ部２０５は、再構築画像の各ＭＢおよびその内部ブロックの境界にローパスフィルタを適用し、ピクチャバッファ２０４に格納された再構築画像に対してブロック歪みの除去を行う。ただし、本実施形態のブロック歪み除去フィルタ部２０５は、雑音混入器２１０から供給される擬似ランダム雑音をローパスフィルタの中間データに混入させて、輪郭および階段アーティファクトも低減させる。
　デコードピクチャバッファ２０６は、ブロック歪み除去フィルタ部２０５から供給される擬似ランダム雑音を用いてブロック歪みが除去された再構築画像を参照画像ピクチャとして格納する。参照画像ピクチャの画像は、フレーム間予測信号を生成するための参照画像として利用される。また、参照画像ピクチャは、適切な表示タイミングで伸張フレームとして出力される。
　本実施形態の映像復号装置は、上記のような処理によってビットストリームを伸張する。
　本実施形態の映像復号装置は、第４の実施形態の映像復号装置と同様に、効率的に高解像度映像の輪郭および階段アーティファクトを低減できる。
　第２の実施形態の映像符号化装置は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定し、再構築画像ブロックに直接擬似ランダム雑音を混入させることによって、再構築画像に擬似ランダム雑音を混入させる映像符号化装置である。また、第２の実施形態の映像符号化装置に対応する第５の実施形態の映像復号装置は、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音の混入位置を決定し、再構築画像ブロックに直接擬似ランダム雑音を混入させることによって、再構築画像に擬似ランダム雑音を混入させる映像復号装置である。
　上述したように、第２の実施形態および第５の実施形態における雑音混入器は、再構築画像ブロックの伸張情報として予測信号に関連する情報、整数ＤＣＴの基底サイズ、または量子化インデックスに基づいて、再構築画像ブロックの画素値の変動量の大小を推定し、変動量大と推定した再構築画像ブロックを擬似ランダム雑音混入位置と決定する。映像復号装置においても、伸張情報を、再構築画像すなわち伸張画像を求める前に、エントロピー復号などによって得られる情報である。
　例えば、平坦な予測信号となる予測の種類、大きな整数ＤＣＴの基底サイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックは、ブロック内における画素値の変動量が小さい伸張画像やブロック境界における画素値の変動量が小さい伸張画像となる。
　他の実施形態として、雑音混入器が、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する実施形態も考えられる。そのように処理を実行する場合には、より相応しい位置の再構築画像に擬似ランダム雑音を混入させて、輪郭および階段アーティファクトに対する人間の視覚感度をより低減できる。
　具体的には、雑音混入器は、擬似ランダム雑音混入候補位置の再構築画像ブロックの各位置（ｉ，ｊ）｛０≦ｉ≦ｂｓｉｚｅｘ－１，０≦ｊ≦ｂｓｉｚｅｙ－１｝の画素ｘｉｊについて、式（２８）によって周辺画素値（ｘｉ＋ｍ，ｊ＋ｎ｛－ｗ≦ｍ≦ｗ，－ｈ≦ｎ≦ｈ｝の変動量ｐＶｉ，ｊを計算する。
Figure JPOXMLDOC01-appb-M000013
　そして、例えば式（２９）に基づいて、所定のしきい値ｔｈよりもｐＶｉ，ｊが小さい位置の画素ｘｉｊのみに擬似ランダム雑音ｎｉ，ｊを混入させる。
Figure JPOXMLDOC01-appb-M000014
　ただし、ｂｓｉｚｅｘは整数ＤＣＴの基底サイズの水平方向のサイズ、ｂｓｉｚｅｙは整数ＤＣＴの基底サイズの垂直方向のサイズである。なお、候補位置ではない再構築画像ブロックの再構築画像には擬似ランダム雑音を混入させない。
　また、伸張情報として量子化パラメータを利用し、量子化ステップサイズが小さい再構築画像に対して、擬似ランダム雑音を小さく調整して擬似ランダム雑音を混入させないようにする実施形態も考えられる。そのように構成することによって、量子化ステップサイズが小さくなる高ビットレート符号化において、擬似ランダム雑音混入による悪影響を低減できる。
　第２および第５の実施形態の映像符号化装置および映像復号装置に対して、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合には、映像符号化装置の構成は図１７に示すようになり、映像復号装置の構成は図１８に示すようになる。
　すなわち、図１７に示すように、映像符号化装置において、雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置について再構築画像の画素値の変動量を計算する。また、図１８に示すように、映像復号装置において、雑音混入器２１０は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置について再構築画像の画素値の変動量を計算する。
　第３および第６の実施形態についても同様に、雑音混入器が、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定するようにしてもよい。
　具体的には、第３の実施形態において、ブロック歪み除去フィルタ装置がｂＳの決定処理で擬似ランダム雑音混入位置を決定する場合には、図１３に示すｂＳの決定処理からわかるように、擬似ランダム雑音混入候補位置と判定されたブロック境界のみについて、例えば、以下の式（３０）に基づいて伸張画像の画素を比較して隣接画素変動量ｎｐＶを確認し、隣接画素変動量ｎｐＶが所定しきい値ｔｈ以下の場合にのみ、ローパスフィルタ処理で擬似ランダム雑音を混入させてもよい。
　ｎｐＶ＝｜ｐ３－ｐ２｜＋｜ｐ２－ｐ１｜＋｜ｐ１－ｐ０｜＋｜ｐ０－ｑ０｜＋｜ｑ０－ｑ１｜＋｜ｑ１－ｑ２｜＋｜ｑ２－ｐ３｜　　　　・・・（３０）
　上記のような処理によれば、擬似ランダム雑音混入候補位置と判定されたブロック境界のみについて画素変動量を計算するだけで、期待値として少ない演算量で、より相応しい擬似ランダム雑音の混入位置を決定できる。
　第３および第６の実施形態の映像符号化装置および映像復号装置に対して、変動量が大きいと推定した再構築画像ブロックを擬似ランダム雑音混入候補位置とし、さらに、候補位置の再構築画像ブロックについてのみ、その画素値の変動量を実際に計算して、実際に計算した画素値の変動量の大小に基づいて擬似ランダム雑音混入位置を決定する雑音混入器を適用した場合には、映像符号化装置の構成は図１９に示すようになり、映像復号装置の構成は図２０に示すようになる。
　すなわち、図１９に示すように、映像符号化装置において、雑音混入器１１３は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置の境界のみについて隣接画素変動量ｎｐＶを確認する。また、図２０に示すように、映像復号装置において、雑音混入器２１０は、選択された予測信号に関連する情報、整数ＤＣＴの基底サイズ、量子化インデックス、または、それらの何れかの組み合わせに基づいて、再構築画像を直接解析することなく画素値の変動量を推定し、推定結果に基づいて擬似ランダム雑音混入候補位置を決定する。そして、擬似ランダム雑音混入候補位置の境界のみについて隣接画素変動量ｎｐＶを確認する。
　平坦領域において擬似ランダム雑音を混入させると、その影響によって、後続する平坦領域のイントラ予測の性能が低下する可能性がある。
　イントラ予測の性能の低下を防止するために、例えば、第１、第２、第４および第５の実施形態それぞれにおける雑音混入器が、イントラ予測の被参照画像(後続する画像ブロックから見ると参照画像)の位置の再構築画像に擬似ランダム雑音を混入させないようにする実施形態が考えられる。イントラ予測の被参照画像は、図２１の説明図ではＬ字型の領域に相当する。
　また、他の形態として、ブロック境界の変動量が大きいときに強度の高いローパスフィルタが適用される第３および第６の実施形態において、イントラ予測器が、より強いローパスフィルタによって再構築画像の周辺画素が平滑化された画素を参照画素として利用する実施形態も考えられる。
　上記の各実施形態において、雑音混入器における擬似ランダム雑音の発生方法としてどのような発生方法も使用可能であるが、擬似ランダム雑音の発生器は所定の映像符号化単位または映像復号単位でリセットされることが可能であることが望ましい。
　図２２は、擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットする他の実施形態におけるリセットを説明するための説明図である。
　所定の映像符号化単位または映像復号単位として、例えば、各フレームの先頭ＭＢ（図２２（ａ）参照）、各フレーム内での複数個のＭＢ毎（図２２（ｂ）参照）、再構築画像の画素の依存関係を利用したＭＢの組毎などがある。擬似ランダム雑音の発生器を所定の映像符号化単位または映像復号単位でリセットすることによって、例えば、図２２（ａ）に示された例では映像復号のためのランダムアクセス性を改善でき、図２２（ｂ）に示された例では映像符号化および映像復号それぞれの並列処理性を改善できる。
　例えば、符号化制御部１１２は、所定の映像符号化単位で、上述した線形合同法に基づく擬似ランダム雑音の発生器における擬似ランダム雑音ｎ（ｉ）の初期値ｎ（０）を所定値でリセットすればよい。また、映像符号化装置は、リセットの所定値または所定値を同定するための情報をビットストリームに埋め込んでもよい。映像復号装置は、ビットストリームに埋め込まれたリセットの所定値または所定値を同定するための情報を読み出し、その情報に基づいて擬似ランダム雑音を発生することによって、映像符号化側と同一の擬似ランダム雑音を発生できるので、映像符号化と映像復号間での擬似ランダム雑音に起因する画像のミスマッチを回避できる。
　静止や平行移動の領域では、フレーム間予測による予測誤差はほとんどゼロになる。しかし、擬似ランダム雑音を混入させることによって、静止や平行移動の領域における予測誤差が非ゼロとならないことが考えられる。そこで、さらに他の実施形態として、そのような事態が生ずることを防止するために、上記の各実施形態において、雑音混入器は、フレーム間予測を用いないＩフレームのみを対象として、その再構築画像に擬似ランダム雑音を混入させる実施形態が考えられる。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図２３に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備えている。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図２３に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図８，図９、図１４～図２０のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図８，図９、図１４～図２０のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。
　図２４は、本発明による映像符号化装置の主要構成を示すブロック図である。図２４に示すように、本発明による映像符号化装置は、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段１２と、逆量子化手段１２によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段１３と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段１４とを備えている。
　また、上記の各実施形態では、雑音混入手段が、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する映像符号化装置も開示されている。
　また、上記の各実施形態では、雑音混入手段が、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する映像符号化装置も開示されている。
　また、上記の各実施形態では、雑音混入手段が、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる映像符号化装置も開示されている。
　また、上記の各実施形態では、雑音混入手段が、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させないように構成された映像符号化装置も開示されている。
　また、上記の各実施形態では、雑音混入手段を所定の映像符号化単位でリセットするリセット手段（例えば、符号化制御部１１２で実現される。）を備えた映像符号化装置も開示されている。
　図２５は、本発明による映像復号装置の主要構成を示すブロック図である。図２５に示すように、本発明による映像復号装置は、ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段２０と、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段２１と、量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段２２と、逆量子化手段２２によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段２３と、イントラ予測信号またはフレーム間予測信号を逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段２４と、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段２５とを備えている。
　また、上記の各実施形態では、雑音混入手段が、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する映像復号装置も開示されている。
　また、上記の各実施形態では、雑音混入手段が、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する映像復号装置も開示されている。
　また、上記の各実施形態では、雑音混入手段が、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる映像復号装置も開示されている。
　また、上記の各実施形態では、雑音混入手段が、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させないように構成された映像復号装置も開示されている。
　また、上記の各実施形態では、雑音混入手段を所定の映像復号単位でリセットするリセット手段（例えば、復号制御部２０９で実現される。）を備えた映像復号装置も開示されている。
　図２６は、本発明による映像符号化方法の主要ステップを示すフローチャートである。図２６に示すように、本発明による映像符号化方法では、量子化インデックスを逆量子化して量子化代表値を得て、得られた量子化代表値を逆変換して再構築画像ブロックを得て、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる。
　図２７は、本発明による映像復号方法の主要ステップを示すフローチャートである。図２７に示すように、本発明による映像復号方法では、ビット列をエントロピー復号して量子化インデックスを得て（ステップＳ２０）、画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し（ステップＳ２１）、量子化インデックスを逆量子化して量子化代表値を得て（ステップＳ２２）、得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て（ステップＳ２３）、イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て（ステップＳ２４）、再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる（ステップＳ２５）。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２００９年１１月３０日に出願された日本特許出願２００９－２７２１７８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１２　　　逆量子化手段
　１３　　　逆周波数変換手段
　１４　　　雑音混入手段
　２０　　　量子化インデックス計算手段
　２１　　　予測手段
　２２　　　逆量子化手段
　２３　　　逆周波数変換手段
　２４　　　再構築手段
　２５　　　雑音混入手段
　１００　　スイッチ
　１０１　　ＭＢバッファ
　１０２　　周波数変換部
　１０３　　量子化部
　１０４　　エントロピー符号化部
　１０５　　逆量子化部
　１０６　　逆周波数変換部
　１０７　　ピクチャバッファ
　１０８　　ブロック歪み除去フィルタ部
　１０９　　デコードピクチャバッファ
　１１０　　イントラ予測部
　１１１　　フレーム間予測部
　１１２　　符号化制御部
　１１３　　雑音混入器
　２００　　スイッチ
　２０１　　エントロピー復号部
　２０２　　逆量子化部
　２０３　　逆周波数変換部
　２０４　　ピクチャバッファ
　２０５　　ブロック歪み除去フィルタ部
　２０６　　デコードピクチャバッファ
　２０７　　イントラ予測部
　２０８　　フレーム間予測部
　２０９　　復号制御部
　２１０　　雑音混入器
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体

Claims (45)

  1. 　量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
    　前記逆量子化手段によって得られた量子化代表値を逆変換して再構築画像ブロックを得る逆周波数変換手段と、
    　前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段と
    　を備えた映像符号化装置。
  2. 　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
    　画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
    　前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
    　前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを得る量子化手段と、
    　前記量子化手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
    　逆周波数変換手段は、量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る
    　請求項１記載の映像符号化装置。
  3. 　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
    　画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る予測誤差計算手段と、
    　前記予測誤差計算手段によって得られた予測誤差画像ブロックを変換して変換係数を得る周波数変換手段と、
    　前記周波数変換手段によって得られた変換係数を量子化して量子化インデックスを得る量子化手段と、
    　前記量子化手段によって得られた量子化インデックスをエントロピー符号化してそのビット列を出力するエントロピー符号化手段とを備え、
    　逆周波数変換手段は、量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
    　前記逆周波数変換手段によって得られた再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
    　前記再構築画像ピクチャのブロック歪みを除去するブロック歪み除去手段とを備え、
    　雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    　請求項１記載の映像符号化装置。
  4. 　雑音混入手段は、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    　請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
  5. 　雑音混入手段は、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    　請求項４記載の映像符号化装置。
  6. 　雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    　請求項１から請求項５のうちのいずれか１項に記載の映像符号化装置。
  7. 　雑音混入手段は、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    　請求項１から請求項６のうちのいずれか１項に記載の映像符号化装置。
  8. 　雑音混入手段を所定の映像符号化単位でリセットするリセット手段を備えた
    　請求項１から請求項７のうちのいずれか１項に記載の映像符号化装置。
  9. 　ビット列をエントロピー復号して量子化インデックスを得るエントロピー復号手段と、
    　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する予測手段と、
    　前記量子化インデックスを逆量子化して量子化代表値を得る逆量子化手段と、
    　前記逆量子化手段によって得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る逆周波数変換手段と、
    　イントラ予測信号またはフレーム間予測信号を前記逆周波数変換手段によって得られた再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る再構築手段と、
    　前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる雑音混入手段と
    　を備えた映像復号装置。
  10. 　再構築画像ブロックを再構築画像ピクチャとして格納する再構築画像格納手段と、
    　前記再構築画像ピクチャのブロック歪みを除去するブロック歪み除去手段とを備え、
    　雑音混入手段は、前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    　請求項９記載の映像復号装置。
  11. 　雑音混入手段は、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    　請求項９または請求項１０記載の映像復号装置。
  12. 　雑音混入手段は、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    　請求項１１記載の映像復号装置。
  13. 　雑音混入手段は、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    　請求項９から請求項１２のうちのいずれか１項に記載の映像復号装置。
  14. 　雑音混入手段は、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    　請求項９から請求項１３のうちのいずれか１項に記載の映像復号装置。
  15. 　雑音混入手段を所定の映像復号単位でリセットするリセット手段を備えた
    　請求項９から請求項１４のうちのいずれか１項に記載の映像復号装置。
  16. 　量子化インデックスを逆量子化して量子化代表値を得て、
    　得られた量子化代表値を逆変換して再構築画像ブロックを得て、
    　前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる
    　映像符号化方法。
  17. 　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
    　画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
    　得られた予測誤差画像ブロックを変換して変換係数を得て、
    　得られた変換係数を量子化して量子化インデックスを得て、
    　得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
    　量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る
    　請求項１６記載の映像符号化方法。
  18. 　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
    　画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得て、
    　得られた予測誤差画像ブロックを変換して変換係数を得て、
    　得られた変換係数を量子化して量子化インデックスを得て、
    　得られた量子化インデックスをエントロピー符号化してそのビット列を出力し、
    　量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
    　前記再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
    　前記再構築画像ピクチャのブロック歪みを除去し、
    　前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    　請求項１６記載の映像符号化方法。
  19. 　伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    　請求項１６から請求項１８のうちのいずれか１項に記載の映像符号化方法。
  20. 　平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    　請求項１９記載の映像符号化方法。
  21. 　量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    　請求項１６から請求項２０のうちのいずれか１項に記載の映像符号化方法。
  22. 　イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    　請求項１６から請求項２１のうちのいずれか１項に記載の映像符号化方法。
  23. 　擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生する
    　請求項１６から請求項２２のうちのいずれか１項に記載の映像符号化方法。
  24. 　ビット列をエントロピー復号して量子化インデックスを得て、
    　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算し、
    　前記量子化インデックスを逆量子化して量子化代表値を得て、
    　得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得て、
    　イントラ予測信号またはフレーム間予測信号を再構築予測誤差画像ブロックに加えて再構築画像ブロックを得て、
    　前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる
    　映像復号方法。
  25. 　再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納し、
    　前記再構築画像ピクチャのブロック歪みを除去し、
    　前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる
    　請求項２４記載の映像復号方法。
  26. 　伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する
    　請求項２４または請求項２５記載の映像復号方法。
  27. 　平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する
    　請求項２６記載の映像復号方法。
  28. 　量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    　請求項２４から請求項２７のうちのいずれか１項に記載の映像復号方法。
  29. 　イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    　請求項２４から請求項２８のうちのいずれか１項に記載の映像復号方法。
  30. 　擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生する
    　請求項２４から請求項２９のうちのいずれか１項に記載の映像復号方法。
  31. 　コンピュータに、
    　量子化インデックスを逆量子化して量子化代表値を得る処理と、
    　得られた量子化代表値を逆変換して再構築画像ブロックを得る処理と、
    　前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理と
    　を実行させるための映像符号化プログラム。
  32. 　コンピュータに、
    　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
    　画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
    　得られた予測誤差画像ブロックを変換して変換係数を得る処理と、
    　得られた変換係数を量子化して量子化インデックスを得る処理と、
    　得られた量子化インデックスをエントロピー符号化してそのビット列を出力する処理とを実行させ、
    　量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理を実行させる
    　請求項３１記載の映像符号化プログラム。
  33. 　コンピュータに、
    　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を得る処理と、
    　画像ブロックからイントラ予測信号またはフレーム間予測信号を減じて予測誤差画像ブロックを得る処理と、
    　得られた予測誤差画像ブロックを変換して変換係数を得る処理と、
    　得られた変換係数を量子化して量子化インデックスを得る処理と、
    　得られた量子化インデックスをエントロピー符号化してそのビット列を出力する処理とを実行させ、
    　量子化代表値を逆変換して再構築予測誤差画像ブロックを計算し、イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理を実行させ、
    　前記逆周波数変換手段によって得られた再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
    　前記再構築画像ピクチャのブロック歪みを除去する処理とを実行させ、
    　前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる処理を実行させる
    　請求項３１記載の映像符号化プログラム。
  34. 　コンピュータに、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する処理を実行させる
    　請求項３１から請求項３３のうちのいずれか１項に記載の映像符号化プログラム。
  35. 　コンピュータに、平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する処理を実行させる
    　請求項３４記載の映像符号化プログラム。
  36. 　コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    　請求項３１から請求項３５のうちのいずれか１項に記載の映像符号化プログラム。
  37. 　コンピュータに、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    　請求項３１から請求項３６のうちのいずれか１項に記載の映像符号化プログラム。
  38. 　コンピュータに、擬似ランダム雑音として、所定の映像符号化単位でリセットされる擬似ランダム雑音を発生させる
    　請求項３１から請求項３７のうちのいずれか１項に記載の映像符号化プログラム。
  39. 　コンピュータに、
    　ビット列をエントロピー復号して量子化インデックスを計算する処理と、
    　画像ブロックに対するイントラ予測信号またはフレーム間予測信号を計算する処理と、
    　前記量子化インデックスを逆量子化して量子化代表値を得る処理と、
    　得られた量子化代表値を逆変換して再構築予測誤差画像ブロックを得る処理と、
    　イントラ予測信号またはフレーム間予測信号を前記再構築予測誤差画像ブロックに加えて再構築画像ブロックを得る処理と、
    　前記再構築画像ブロックの伸張情報に基づいて擬似ランダム雑音混入位置を決定し、前記擬似ランダム雑音混入位置の画像に擬似ランダム雑音を混入させる処理と
    　を実行させるための映像復号プログラム。
  40. 　コンピュータに、
    　再構築画像ブロックを再構築画像ピクチャとして再構築画像格納手段に格納する処理と、
    　前記再構築画像ピクチャのブロック歪みを除去する処理とを実行させ、
    　前記ブロック歪みが除去された再構築画像ピクチャに擬似ランダム雑音を混入させる処理を実行させる
    　請求項３９記載の映像復号プログラム。
  41. 　コンピュータに、伸張情報としての予測の種類、変換のブロックサイズ、量子化インデックス、または、それらのいずれかの組み合わせに基づいて擬似ランダム雑音混入位置を決定する処理を実行させる
    　請求項３９または請求項４０記載の映像復号プログラム。
  42. 　コンピュータに、
    　平坦な予測の種類、大きな変換のブロックサイズ、および有意なＡＣの量子化インデックスが少ないパターンの再構築画像ブロックを擬似ランダム雑音混入位置として決定する処理を実行させる
    　請求項４１記載の映像復号プログラム。
  43. 　コンピュータに、量子化ステップサイズに従って調節された量の擬似ランダム雑音を混入させる
    　請求項３９から請求項４２のうちのいずれか１項に記載の映像復号プログラム。
  44. 　コンピュータに、イントラ予測の参照画像となる位置の画像には、擬似ランダム雑音を混入させない
    　請求項３９から請求項４３のうちのいずれか１項に記載の映像復号プログラム。
  45. 　コンピュータに、擬似ランダム雑音として、所定の映像復号単位でリセットされる擬似ランダム雑音を発生させる
    　請求項３９から請求項４４のうちのいずれか１項に記載の映像復号プログラム。
PCT/JP2010/006343 2009-11-30 2010-10-27 映像符号化装置および映像復号装置 WO2011064944A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/512,824 US20130114690A1 (en) 2009-11-30 2010-10-27 Video encoding device and video decoding device
EP10832800.6A EP2509317A4 (en) 2009-11-30 2010-10-27 VIDEO ENCODING DEVICE AND VIDEO DECODING DEVICE
CN2010800543807A CN102640494A (zh) 2009-11-30 2010-10-27 视频编码设备和视频解码设备
JP2011543087A JPWO2011064944A1 (ja) 2009-11-30 2010-10-27 映像符号化装置および映像復号装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009272178 2009-11-30
JP2009-272178 2009-11-30

Publications (1)

Publication Number Publication Date
WO2011064944A1 true WO2011064944A1 (ja) 2011-06-03

Family

ID=44066060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/006343 WO2011064944A1 (ja) 2009-11-30 2010-10-27 映像符号化装置および映像復号装置

Country Status (5)

Country Link
US (1) US20130114690A1 (ja)
EP (1) EP2509317A4 (ja)
JP (1) JPWO2011064944A1 (ja)
CN (1) CN102640494A (ja)
WO (1) WO2011064944A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013063784A1 (en) * 2011-11-03 2013-05-10 Thomson Licensing Video encoding and decoding based on image refinement

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US9872044B2 (en) * 2013-05-15 2018-01-16 Texas Instruments Incorporated Optimized edge order for de-blocking filter
CN105723711B (zh) 2013-11-12 2019-05-07 杜比实验室特许公司 高动态范围视频编码中的预抖动方法、装置及存储介质
US9877034B2 (en) * 2014-04-14 2018-01-23 Avago Technologies General Ip (Singapore) Pte. Ltd. Pipelined video decoder system
KR102631308B1 (ko) 2016-02-16 2024-01-30 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US9832351B1 (en) * 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6295084A (ja) * 1985-10-22 1987-05-01 Sony Corp テレビジョン信号の高能率符号化及び復号化方法
JPH06284096A (ja) * 1993-03-25 1994-10-07 Sharp Corp 予測符号化装置および予測復号化装置
JPH10313458A (ja) * 1997-05-12 1998-11-24 Sony Corp 画像データ変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体
JP2002204357A (ja) * 2000-12-28 2002-07-19 Nikon Corp 画像復号化装置、画像符号化装置、および記録媒体
JP2007503166A (ja) 2003-08-20 2007-02-15 トムソン ライセンシング アーティファクト低減方法及びデコーダ装置
JP2007507169A (ja) 2003-09-23 2007-03-22 トムソン ライセンシング ビデオ・コンフォートノイズ付加技術
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
JP2007324923A (ja) * 2006-05-31 2007-12-13 Sharp Corp Ｍｐｅｇ画質補正装置、及びｍｐｅｇ画質補正方法
JP2009272178A (ja) 2008-05-08 2009-11-19 Furukawa Electric Co Ltd:The 接続構造

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020071140A1 (en) * 1998-06-03 2002-06-13 Takashi Suzuki Threshold matrix, and method and apparatus of reproducing gray levels using threshold matrix
JP2002520917A (ja) * 1998-07-01 2002-07-09 イクエーター テクノロジーズ インコーポレイテッド 画素値を変更するための画像処理回路及び方法
WO2003084234A2 (en) * 2002-03-22 2003-10-09 Realnetworks, Inc. Video picture compression artifacts reduction via filtering and dithering
US7680356B2 (en) * 2003-10-14 2010-03-16 Thomson Licensing Technique for bit-accurate comfort noise addition
US8013888B2 (en) * 2005-02-14 2011-09-06 Broadcom Corporation Method and system for implementing film grain insertion
GB2432069A (en) * 2005-11-03 2007-05-09 Tandberg Television Asa Reducing block noise by applying a dither signal in areas of low spatial detail
US20070237237A1 (en) * 2006-04-07 2007-10-11 Microsoft Corporation Gradient slope detection for video compression
US8270498B2 (en) * 2009-03-26 2012-09-18 Apple Inc. Dynamic dithering for video compression

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6295084A (ja) * 1985-10-22 1987-05-01 Sony Corp テレビジョン信号の高能率符号化及び復号化方法
JPH06284096A (ja) * 1993-03-25 1994-10-07 Sharp Corp 予測符号化装置および予測復号化装置
JPH10313458A (ja) * 1997-05-12 1998-11-24 Sony Corp 画像データ変換装置及び方法、予測係数生成装置及び方法、予測係数格納媒体
JP2002204357A (ja) * 2000-12-28 2002-07-19 Nikon Corp 画像復号化装置、画像符号化装置、および記録媒体
JP2007503166A (ja) 2003-08-20 2007-02-15 トムソン ライセンシング アーティファクト低減方法及びデコーダ装置
JP2007507169A (ja) 2003-09-23 2007-03-22 トムソン ライセンシング ビデオ・コンフォートノイズ付加技術
JP2007508788A (ja) * 2003-10-14 2007-04-05 トムソン ライセンシング ビットの正確な快適ノイズの付加方法及び装置
JP2007324923A (ja) * 2006-05-31 2007-12-13 Sharp Corp Ｍｐｅｇ画質補正装置、及びｍｐｅｇ画質補正方法
JP2009272178A (ja) 2008-05-08 2009-11-19 Furukawa Electric Co Ltd:The 接続構造

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHONO ET AL.: "A complexity Reduction Method for H.264 Intra Prediction Estimator Using the Characteristics of Hadamard Transform", IEICE SOCIETY PAPERS, 2005
G. CONKLIN; N. GOKHALE: "Dithering 5-tap Filter for Inloop Deblocking", JOINT VIDEO TEAM (JVT) OF IOS/IEC MPEG & ITU-T VCEG, May 2002 (2002-05-01)
L. G. ROBERTS: "Picture coding using pseudorandom noise", IRE TRANS. ON INFORMATION THEORY, vol. IT-8, February 1962 (1962-02-01), pages 145 - 154
See also references of EP2509317A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013063784A1 (en) * 2011-11-03 2013-05-10 Thomson Licensing Video encoding and decoding based on image refinement
CN104025589A (zh) * 2011-11-03 2014-09-03 汤姆逊许可公司 基于图像细化的视频编码和解码
US9930329B2 (en) 2011-11-03 2018-03-27 Thomson Licensing Video encoding and decoding based on image refinement

Also Published As

Publication number Publication date
EP2509317A1 (en) 2012-10-10
CN102640494A (zh) 2012-08-15
EP2509317A4 (en) 2016-03-09
US20130114690A1 (en) 2013-05-09
JPWO2011064944A1 (ja) 2013-04-11

Similar Documents

Publication Publication Date Title
JP5454584B2 (ja) 映像符号化装置および映像復号装置
KR101246915B1 (ko) 동영상 부호화 또는 복호화 방법 및 장치
KR20150095232A (ko) 영상의 필터링 방법 및 장치와 그를 이용한 부호화/복호화를 위한 방법 및 장치
WO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
WO2011064944A1 (ja) 映像符号化装置および映像復号装置
WO2012035746A1 (ja) 映像符号化装置および映像復号装置
KR20130011878A (ko) 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
JPWO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
US8903184B2 (en) Image-encoding method, image-encoding device, and computer-readable recording medium storing image-encoding program
WO2012035749A1 (ja) 映像符号化装置および映像復号装置
JP2007013298A (ja) 画像符号化装置
KR20120010177A (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
KR20130044263A (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
JP7418152B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法
KR20170058870A (ko) 비선형 매핑을 통한 영상 부호화/복호화 방법 및 장치
KR101544379B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101575634B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
KR101537767B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
KR101483495B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
KR20120010097A (ko) 디블록킹 필터링 방법 및 장치 및 이를 이용한 부호화 및 복호화 방법과 장치
KR101379189B1 (ko) 움직임 보상 프레임의 필터링을 이용한 영상 부호화/복호화 방법 및 장치
KR101575638B1 (ko) 고해상도 동영상의 부호화/복호화 방법 및 장치
Choi et al. Macroblock-level adaptive dynamic resolution conversion technique
KR101464949B1 (ko) 서브블록 내 임의 화소를 이용한 영상 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080054380.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10832800

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011543087

Country of ref document: JP

REEP Request for entry into the european phase

Ref document number: 2010832800

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010832800

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13512824

Country of ref document: US