WO2010001999A1 - 動画像符号化／復号化方法及び装置 - Google Patents

動画像符号化／復号化方法及び装置 Download PDF

Info

Publication number
WO2010001999A1
WO2010001999A1 PCT/JP2009/062216 JP2009062216W WO2010001999A1 WO 2010001999 A1 WO2010001999 A1 WO 2010001999A1 JP 2009062216 W JP2009062216 W JP 2009062216W WO 2010001999 A1 WO2010001999 A1 WO 2010001999A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
color difference
image
luminance
signal
Prior art date
Application number
PCT/JP2009/062216
Other languages
English (en)
French (fr)
Inventor
隆志 渡辺
豪毅 安田
直史 和田
中條　健
昭行 谷沢
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to AU2009266719A priority Critical patent/AU2009266719A1/en
Priority to CN2009801212669A priority patent/CN102057680A/zh
Priority to EP09773577A priority patent/EP2299720A1/en
Priority to BRPI0915591A priority patent/BRPI0915591A2/pt
Priority to MX2010014289A priority patent/MX2010014289A/es
Priority to CA2729771A priority patent/CA2729771A1/en
Priority to JP2010519122A priority patent/JPWO2010001999A1/ja
Publication of WO2010001999A1 publication Critical patent/WO2010001999A1/ja
Priority to US12/983,691 priority patent/US20110150080A1/en
Priority to ZA2011/00316A priority patent/ZA201100316B/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Definitions

  • the present invention relates to a moving image encoding / decoding method and apparatus that improve the image quality of a locally decoded image and a decoded image using a filter.
  • orthogonal transformation is performed in units of pixel blocks on the prediction error image that is the difference between the input moving image and the predicted image, and the transform coefficient obtained thereby is quantized. And encoding.
  • the encoded moving image is received, and the moving image is obtained by performing decoding by a process reverse to the above encoding.
  • Non-Patent Document 1 There is a moving image encoding / decoding device that sets post-filter information on the encoding side and transmits it to the decoding side, and the decoding side performs post-filter processing using the received filter information (for example, (See Non-Patent Document 1.)
  • Non-Patent Document 1 a post filter is applied on the decoding side by setting filter information on the encoding side so that an error between the decoded image and the input image becomes small. It is possible to improve the image quality of the output image obtained in this way. Filter information is set and transmitted for each of the luminance signal and the color difference signal. However, it is not determined whether to apply a filter to each signal individually.
  • Non-Patent Document 1 even when the filter is applied to either the luminance signal or the color difference signal, even when the image quality is deteriorated due to the influence of a rounding error or the like, this is dealt with.
  • the filter information for the color difference signal is always transmitted to the decoding side together with the filter information for the luminance signal.
  • a step of generating a prediction error image by taking a difference between an input moving image and a prediction image, and performing conversion and quantization on the prediction error image to quantize transform coefficients Generating luminance filter information including switching information indicating whether or not to apply a luminance filter to a luminance signal of a locally decoded image corresponding to an encoded image of the moving images; Generating color difference filter information including switching information indicating whether or not to apply a color difference filter to a color difference signal of a locally decoded image corresponding to an encoded image of the moving image; and the luminance filter information And encoding the filter information including at least one of the color difference filter information and the quantized transform coefficient, and outputting encoded data.
  • luminance filter information including switching information indicating whether or not to apply a luminance filter to a luminance signal of a locally decoded image corresponding to an encoded image of the moving images.
  • a step of decoding input encoded data to generate quantized transform coefficients and filter information, and performing prediction by performing inverse quantization and inverse transform on the quantized transform coefficients A step of generating an error image, a step of generating a decoded image using the prediction error image and the prediction image, and applying a luminance filter to the luminance signal of the decoded image based on the luminance filter information Generating a luminance signal of the restored image; and applying a color difference filter to the color difference signal of the decoded image based on the color difference filter information to generate a color difference signal of the restored image.
  • a featured video decoding method is provided.
  • whether to apply a filter can be switched between the luminance signal and the color difference signal.
  • the filter to be applied may be transmitted with the filter coefficient set on the encoding side. In this case, optimum filtering considering the image quality improvement effect and the increase in the code amount is possible, and the encoding efficiency is improved.
  • the block diagram which shows the structure of the moving image encoder concerning embodiment The block diagram which shows the structure of the filter information generation part of FIG.
  • movement of the filter information generation part of FIG. The figure which shows the syntax structure concerning embodiment.
  • the figure which shows the loop filter data syntax (example with fixed filter size) concerning embodiment
  • the figure which shows the loop filter data syntax (The example of YUV4: 2: 0 which calculates
  • the figure which shows the loop filter data syntax (example of filter coefficient fixation) concerning embodiment
  • the figure which shows the loop filter data syntax (example of color difference filter coefficient common) concerning embodiment
  • FIG. 14 is a block diagram showing a configuration of a moving picture decoding apparatus corresponding to the encoding apparatus of FIG.
  • the moving image encoding apparatus 1000 includes a prediction signal generation unit 101, a subtracter (prediction error generation unit) 102, a transform / quantization unit 103, an entropy encoding unit 104, an inverse transform / inverse quantum.
  • the encoding unit 105, the adder 106, the filter information generation unit 107, and the reference image buffer 108 are controlled by the encoding control unit 109.
  • the prediction signal generation unit 101 acquires the already encoded reference image signal 18 stored in the reference image buffer 108, performs a predetermined prediction process, and outputs the prediction image signal 11.
  • a predetermined prediction process for example, motion prediction, prediction in the temporal direction by motion compensation, prediction in the spatial direction from the encoded pixels in the screen, or the like can be used.
  • the subtracter 102 calculates a difference between the input image signal 10 of the moving image and the predicted image signal 11 and generates a predicted error image signal 12.
  • the prediction error image signal 12 is input to the transform / quantization unit 103.
  • the transform / quantization unit 103 first performs a transform process on the prediction error image signal 12.
  • orthogonal transform such as discrete cosine transform (DCT) is performed to generate transform coefficients.
  • transform coefficients may be generated using a method such as wavelet transform or independent component analysis.
  • the transform / quantization unit 103 quantizes the generated transform coefficient based on a quantization parameter set in the encoding control unit 109 described later, and outputs a quantized transform coefficient 13.
  • the quantized transform coefficient 13 is input to the entropy encoding unit 104 (to be described later) and simultaneously input to the inverse transform / inverse quantization unit 105.
  • the inverse transform / inverse quantization unit 105 performs inverse quantization on the quantized transform coefficient 13 according to the quantization parameter set in the encoding control unit 109. Next, the transform coefficient obtained by the inverse quantization is subjected to an inverse transform corresponding to the transform in the transform / quantization unit 103, for example, an inverse orthogonal transform such as an inverse discrete cosine transform (IDCT), and a prediction error image signal 15 is generated.
  • IDCT inverse discrete cosine transform
  • the adder 106 adds the prediction error image signal 15 generated by the inverse transform / inverse quantization unit 105 and the prediction image signal 11 generated by the prediction signal generation unit 101, thereby adding the input image signal 10.
  • a locally decoded image signal 16 corresponding to the encoded image is generated.
  • the filter information generation unit 107 outputs filter information 17 based on the local decoded image signal 16 and the input image signal 10. Details of the filter information generation unit 107 will be described later.
  • the reference image buffer 108 temporarily stores the locally decoded image signal 16 as a reference image signal.
  • the reference image signal 18 stored in the reference image buffer 108 is referred to when the predicted image signal 11 is generated by the predicted signal generation unit 101.
  • the entropy encoding unit 104 performs entropy encoding on various encoding parameters such as the transform coefficient 13 after quantization, filter information 17, prediction mode information, block size switching information, motion vectors, and quantization parameters ( For example, Huffman encoding or arithmetic encoding is performed, and encoded data 14 is output.
  • the encoding control unit 109 performs overall control of encoding by performing feedback control, quantization control, mode control, and the like of the generated code amount.
  • the filter information generation unit 107 includes a luminance filter information generation unit 110 and a color difference filter information generation unit 111.
  • the luminance filter information generation unit 110 acquires luminance signals of the local decoded image signal 16 and the input image signal 10, and generates luminance filter information.
  • the color difference filter information generation unit 110 acquires the color difference signals of the local decoded image signal 16 and the input image signal 10 and generates color difference filter information.
  • the luminance filter information and the color difference filter information in the present embodiment are switching information indicating whether or not to apply a filter to the luminance signal and the color difference signal, respectively, and include filter coefficient information when the filter is applied.
  • the luminance filter information and the color difference filter information are multiplexed and input to the entropy encoding unit 104 as filter information 17.
  • the prediction error generation unit (subtracter) 102 subtracts the prediction image signal 11 generated by the prediction signal generation unit 101 from the input image signal 10.
  • a prediction error image signal 12 is generated.
  • the prediction error image signal 12 is transformed and quantized by the transform / quantization unit 103 to generate a quantized transform coefficient 13.
  • the quantized transform coefficient 13 is encoded by the entropy encoding unit 104.
  • the quantized transform coefficient 13 is also input to the inverse quantization / inverse transform unit 105, where the prediction error image signal 15 is generated by performing inverse transform and inverse quantization.
  • the prediction error image signal 15 is added to the prediction image signal 11 output from the prediction image generation unit 101 and the adder 106 to generate a local decoded image signal 16.
  • the process is performed separately for the luminance signal and the color difference signal.
  • the luminance signal is input to the luminance filter information generation unit 110, and setting of filter coefficients and switching information on whether to apply a filter to the luminance signal are performed.
  • the chrominance signal is input to the chrominance filter information generation unit 111, and setting of filter coefficients and switching information on whether to apply a filter to the chrominance signal are performed.
  • a two-dimensional Wiener filter generally used in image restoration is used, and the switching information is set based on the encoding cost represented by the following equation.
  • D the residual sum of squares
  • R the code amount
  • FIG. 3 is a flowchart showing the operation of the filter information generation unit 107.
  • the filter coefficient is set so that the mean square error between the image obtained by filtering the luminance signal of the locally decoded image signal 16 and the luminance signal of the input image signal 10 is minimized. Step S101).
  • step S106 to step S110 the color difference signal is processed.
  • the chrominance signal is input to the chrominance filter information generation unit 111, and the setting of the filter coefficient and the switching information on whether to apply the filter to the chrominance signal are performed.
  • filter coefficients are set so that the mean square error between the image obtained by filtering the color difference signal of the locally decoded image signal 16 and the color difference signal of the input image signal 10 is minimized (step S106).
  • the cost in the case of applying the cost Chroma_A and filter to the color difference signal is the cost of the case is not applied the filter (step S107).
  • chroma_flag 0
  • chroma_flag 1
  • chroma_flag and the filter coefficient information set in step S106 are used as color difference filter information.
  • the color difference filter information is generated for any one or more. And Further, common color difference filter information may be generated for a plurality of color difference signal components.
  • the filter information 17 generated by the filter information generation unit 107 is encoded by the entropy encoding unit 104, and the quantized transform coefficient 13, prediction mode information, block size switching information, motion vector, quantization parameter, etc. At the same time, it is multiplexed into a bit stream and transmitted to the moving picture decoding apparatus 2000 described later (step S111).
  • the syntax mainly consists of three parts: a high level syntax 1900, a slice level syntax 1903, and a macro block level syntax 1907.
  • the high level syntax 1900 is packed with syntax information of an upper layer higher than a slice.
  • the slice level syntax 1903 necessary information is specified for each slice.
  • the macro block level syntax 1907 transform coefficient data, prediction mode information, a motion vector, and the like required for each macro block are specified.
  • the high level syntax 1900, the slice level syntax 1903, and the macro block level syntax 1907 are each configured with more detailed syntax.
  • the high-level syntax 1900 includes sequence and picture level syntaxes such as a sequence parameter set syntax 1901 and a picture parameter set syntax 1902.
  • the slice level syntax 1903 includes a slice header syntax 1904, a slice data syntax 1905, a loop filter data syntax 1906, and the like.
  • the macroblock level syntax 1907 includes a macroblock layer syntax 1908, a macroblock prediction syntax 1909, and the like.
  • the loop filter data syntax 1906 describes filter information 17 that is a parameter related to the loop filter of the present embodiment.
  • luma_flag in FIG. 5 as the filter information 17 is switching information indicating whether or not to apply a filter to the luminance signal as described above.
  • filter_coeff_luma [y] [x] is a coefficient of a two-dimensional filter for the luminance signal
  • filter_size_y and filter_size_x are values that determine the filter size for the luminance signal.
  • chroma_flag is switching information indicating whether or not to apply a filter to the color difference signal
  • chroma_num is the number of components included in the color difference signal.
  • chroma_flag may be given to each component included in the color difference signal.
  • filter_coeff_chroma [c] [y] [x] is a coefficient of a two-dimensional filter for the c-th color difference signal component
  • filter_size_y_cr and filter_size_x_cr are values that determine the filter size for the color difference signal.
  • these luminance filters and color difference filters may use one-dimensional filters.
  • a predetermined fixed value may be used without describing in the syntax. At this time, the syntax of FIG. 5 is changed as shown in FIG. 6, for example.
  • the filter tap length for the color difference signal may be determined from characteristics such as the filter tap length for the luminance signal, the resolution of the color difference signal, and the dynamic range. For example, when dealing with an image such as YUV 4: 2: 2 or YUV 4: 2: 0 where the resolution in the color difference signal is smaller than that in the luminance signal, a filter having a smaller tap length is used in the color difference signal than in the luminance signal. Etc. can be considered. As a specific example, FIG. 7 shows a syntax conceivable for YUV 4: 2: 0. In FIG. 7, since the resolution of the color difference signal is half of the resolution of the luminance signal both horizontally and vertically, the filter tap length for the color difference signal is halved.
  • a predetermined fixed value may be used for the filter coefficient.
  • a fixed filter a plurality of filters may be selected, and index information for specifying the filter may be added at that time.
  • the syntax of FIG. 5 is changed as shown in FIG. 8, for example.
  • luma_filer_idx and chroma_filter_idx [c] in FIG. 8 indicate index information for specifying the filter.
  • the same filter information may be used for a plurality of color difference components.
  • FIG. 9 shows a syntax when a common filter coefficient is used in all color difference components.
  • the filter information 17 is transmitted by switching whether or not the filter is applied in units of slices.
  • the filter is applied at the sequence level, the picture level, and the macroblock level.
  • the filter information may be set and transmitted in such units.
  • the luminance signal may be divided into regions based on predetermined region division information, and the application and non-application of the filter may be switched for each region.
  • different filters may be switched and applied for each region.
  • the region division information and the switching information for each region are added to the luminance filter information.
  • the application of the filter may be switched for each region using the same region division information for the color difference filter.
  • different filters may be switched and applied for each region.
  • the area division information includes the block size when the screen is divided into blocks, the average value of absolute value differences from surrounding pixels and the maximum value of absolute value differences from surrounding pixels when area division is performed by image processing.
  • any one or more of the threshold values for the absolute value of the value after the high-pass filter processing, the absolute value of the pixel value change by performing the filter processing, and the like may be used. Note that the processing based on the region division may be performed by a moving picture decoding apparatus described later.
  • the moving picture decoding apparatus 2000 includes an entropy decoding unit 201, an inverse transform / inverse quantization unit 202, a prediction signal generation unit 203, an adder 204, a filter processing unit 205, and a reference image buffer 206. And is controlled by the decoding control unit 207.
  • the entropy decoding unit 201 sequentially decodes the code string of each syntax of the encoded data 14 for each of the high-level syntax, the slice level syntax, and the macroblock level syntax according to the syntax structure shown in FIG. The converted conversion coefficient 13, filter information 17 and the like are restored.
  • the inverse transform / inverse quantization unit 202 acquires the quantized transform coefficient 13, performs inverse quantization, performs inverse orthogonal transform (for example, inverse discrete cosine transform), and outputs the prediction error image signal 15.
  • inverse transform and inverse quantization corresponding to orthogonal transform and quantization performed by the moving image coding apparatus 1000 are performed.
  • the inverse transform / inverse quantization unit 202 performs the corresponding inverse wavelet transform and inverse quantization.
  • the prediction signal generation unit 203 acquires the already decoded reference image signal 18 stored in the reference image buffer 206, performs a predetermined prediction process, and outputs the prediction image signal 11.
  • the prediction processing may use, for example, prediction in the time direction by motion compensation, prediction in the spatial direction from pixels that have already been decoded in the screen, and the like. Note that it is executed.
  • the adder 204 adds the acquired prediction error image signal 15 and the prediction image signal 11 to generate a decoded image signal 21.
  • the filter processing unit 205 acquires the decoded image signal 21 and the filter information 17 and outputs the restored image signal 22. A detailed description of the filter processing unit 205 will be described later.
  • the reference image buffer 206 temporarily stores the restored image signal 22 acquired from the filter processing unit 205 as a reference image signal.
  • the reference image signal 18 stored in the reference image buffer 206 is referred to when the predicted image signal 11 is generated by the predicted signal generation unit 203.
  • the decoding control unit 207 controls the decoding timing and controls the entire decoding.
  • the filter processing unit 205 in the video decoding device 2000 includes a luminance filter switch 208, a luminance filter processing unit 209, a color difference filter switch 210, and a color difference filter processing unit 211.
  • the luminance filter processing unit 209 acquires the luminance signal of the decoded image signal 21 and the luminance filter information of the filter information 17 and applies a filter to the luminance signal.
  • the color difference filter processing unit 211 acquires the color difference signal of the decoded image signal 21 and the color difference filter information of the filter information 17 and applies a filter to the color difference signal.
  • the luminance filter switch 208 switches application / non-application of the filter to the luminance signal based on the luminance filter information, and determines the luminance signal of the restored image signal 22.
  • the color difference filter switch 210 switches application / non-application of the filter to the color difference signal based on the color difference filter information, and determines the color difference signal of the restored image signal 22.
  • the restored image signal 22 is output as an output image signal at a timing managed by the decoding control unit 207.
  • the entropy decoding unit 201 adds prediction mode information, block size switching information, motion vector, in addition to the transform coefficient 13 and the filter information 17. , Quantization parameters, etc. are decoded according to the syntax structure of FIG.
  • the transform coefficient 13 decoded by the entropy decoding unit 201 is input to the inverse transform / inverse quantization unit 202, and is inversely quantized according to the quantization parameter set by the decoding control unit 207.
  • An inverse orthogonal transform (for example, discrete cosine transform) is performed on the obtained transform coefficient to restore the prediction error image signal 15.
  • the prediction error image signal 15 is added by the adder 204 and the prediction image signal 11 output by the prediction signal generation unit 203, and the decoded image signal 21 is generated.
  • the filter processing unit 205 which is a characteristic process in the moving picture decoding apparatus 2000 according to the present embodiment, will be described in detail with reference to FIGS.
  • the entropy decoding unit 201 performs entropy decoding on the filter information 17 according to the syntax structure of FIG. 4 (step S101).
  • filter information 17 which is a parameter relating to the loop filter of the present embodiment is described as shown in FIG.
  • the luminance filter information in the filter information 17 is input to the luminance filter switch 208.
  • luma_flag 0 indicating filter switching information with respect to the luminance signal
  • no filter is applied to the luminance signal
  • the luminance signal of the decoded image 21 is used as the luminance signal of the restored image 22.
  • the luminance filter processing unit 209 applies a filter to the luminance signal based on the luminance filter information, and generates a luminance signal of the restored image 22 (steps S103 to S106).
  • the color difference filter information in the filter information 17 is input to the color difference filter switch 210.
  • the color difference signal of the decoded image 21 is used as the color difference signal of the restored image 22.
  • the color difference filter processing unit 209 applies a filter to the color difference signal based on the color difference filter information, and generates a color difference signal of the restored image 22 (steps S105 to S107).
  • the restored image signal 22 is output as an output image signal.
  • the filter information is set so that the error from the input image is minimized, and such a filter is adaptively applied.
  • the image quality of the output image can be improved. That is, by using switching information on whether or not to apply a filter to each of the luminance signal and the color difference signal, it is possible to perform optimum filtering with each signal.
  • the local decoded image signal 16 is subjected to filter processing, but a conventional deblocking filter is used as the local decoded image signal 16. An image after processing may be used.
  • the process according to the present invention is applied as a post filter.
  • the process according to the present invention is described. Can be applied as a loop filter, and the restored image 22 after the filter application may be used as a reference image.
  • the moving picture coding apparatus 1000 in FIG. 1 is changed to the moving picture coding apparatus 3000 in FIG.
  • the moving picture decoding apparatus 2000 in FIG. 11 is changed to the moving picture decoding apparatus 4000 in FIG.
  • the moving image coding apparatus 3000 adds a filter processing unit 205 to the moving image coding apparatus 1000, and inputs the input to the reference image buffer 108 from the local decoded image 16 output from the adder 106 by the filter processing unit 205. This is realized by changing to an output restored image signal 22.
  • the moving picture decoding apparatus 4000 changes the input to the reference picture buffer 206 from the decoded picture signal 21 output from the adder 204 to the restored picture signal 22 output from the filter processing unit 205. It is feasible.
  • the decoded image 22 filtered according to the present invention may be used only as a reference image, and the normal decoded image 21 may be used as an output image.
  • the moving image encoding apparatus may use the moving image encoding apparatus 3000, and the moving image decoding apparatus is changed to the moving image decoding apparatus 5000 shown in FIG.
  • the moving image decoding device 5000 in FIG. 16 is realized by changing the output image signal in the moving image decoding device 4000 in FIG. 15 from the restored image 22 to the decoded image 21.
  • the moving image encoding apparatus 1000, the moving image decoding apparatus 2000, the moving image encoding apparatus 3000, the moving image decoding apparatus 4000, and the moving image decoding apparatus 5000 use, for example, a general-purpose computer apparatus as basic hardware. This can also be realized.
  • the reference image buffer 206, the decoding control unit 207, the luminance filter switch 208, the luminance filter processing unit 209, the chrominance filter switch 210, and the chrominance filter processing unit 211 execute a program in a processor mounted on the computer device. This can be realized.
  • the moving picture coding apparatus 1000, the moving picture decoding apparatus 2000, the moving picture coding apparatus 3000, the moving picture decoding apparatus 4000, and the moving picture decoding apparatus 5000 install the above programs in the computer device in advance.
  • the program may be stored in a storage medium such as a CD-ROM, or the program may be distributed via a network, and the program may be installed in a computer apparatus as appropriate.
  • the reference image buffer 108 and the reference image buffer 206 are a memory, a hard disk or a storage medium such as a CD-R, a CD-RW, a DVD-RAM, a DVD-R, etc. incorporated in or externally attached to the computer device. Can be realized by appropriately using.
  • the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying constituent elements without departing from the scope of the invention in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components from all the components shown by embodiment.
  • constituent elements over different embodiments may be appropriately combined.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

輝度信号及び色差信号のそれぞれについてフィルタの適用の有無を切り替えることにより適切なフィルタリングが行われるようにする。 　動画像復号化装置は、入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成する復号化部と、前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成する逆変換・逆量子化部と、前記予測誤差画像と予測画像とを用いて復号画像を生成する復号画像生成部と、前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成する輝度フィルタ処理部と、前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成する色差フィルタ処理部とを有する。

Description

動画像符号化／復号化方法及び装置
　本発明は、フィルタを用いて局所復号画像や復号画像の画質を向上するようにした動画像符号化／復号化方法及び装置に関する。
　動画像符号化／復号化装置の符号化側では、入力される動画像と予測画像との差分である予測誤差画像に対して画素ブロック単位で直交変換を行い、それによって得られる変換係数を量子化して符号化を行う。復号化側では、符号化された動画像を受け取り、上記符号化とは逆の処理によって復号化を行って動画像を得る。
　符号化側でポストフィルタのフィルタ情報を設定して復号化側に送信し、復号化側では、受信した当該フィルタ情報を用いてポストフィルタ処理を行なう動画像符号化／復号化装置がある（例えば非特許文献１を参照。）。
　非特許文献１に開示された動画像符号化／復号化では、復号画像と入力画像との誤差が小さくなるように符号化側でフィルタ情報を設定することによって、復号化側でポストフィルタを適用して得られる出力画像の画質を向上させることが可能である。フィルタ情報は輝度信号及び色差信号のそれぞれに対して設定され、送信される。しかし、それぞれの信号に対して個別にフィルタを適用するか否かを判定するものではない。
　すなわち、輝度信号及び色差信号のいずれかにフィルタを適用することが、丸め誤差等の影響により画質低下をもたらす場合であっても、これに対処することはできず、輝度信号に対するフィルタ情報とともに色差信号に対するフィルタ情報が復号側に常に送信される。
Ｓ．Ｗｉｔｔｍａｎｎ　ａｎｄ　Ｔ．Ｗｅｄｉ，"Ｐｏｓｔ－ｆｉｌｔｅｒ　ＳＥＩ　ｍｅｓｓａｇｅ　ｆｏｒ　４：４：４　ｃｏｄｉｎｇ"，ＪＶＴ　ｏｆ　ＩＳＯ／ＩＥＣ　ＭＰＥＧ　＆　ＩＴＵ－Ｔ　ＶＣＥＧ，ＪＶＴ－Ｓ０３０，Ａｐｒｉｌ　２００６．
　上述したように、非特許文献１に開示された技術では、輝度信号及び色差信号のいずれかにフィルタを適用することが、丸め誤差等の影響により画質低下をもたらす場合であっても、これに対処することはできず、輝度信号に対するフィルタ情報とともに色差信号に対するフィルタ情報が復号側に常に送信される。
　さらに、画質改善効果とフィルタ情報送信に伴う符号量の増加との関係を輝度信号及び色差信号のそれぞれについて考慮することもできない。
　本発明は、輝度信号及び色差信号のそれぞれについてフィルタの適用有無を切り替えることにより適切なフィルタリングを行うことのできる動画像符号化／復号化方法及び装置を提供することを目的とする。
　本発明の第１の観点によると、入力される動画像と予測画像との差分をとって予測誤差画像を生成するステップと、前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成するステップと、前記動画像のうちの符号化済み画像に対応する局所復号画像の輝度信号に対して輝度フィルタを適用するか否かを示す切替情報を含む輝度フィルタ情報を生成するステップと、前記動画像のうちの符号化済み画像に対応する局所復号画像の色差信号に対して色差フィルタを適用するか否かを示す切替情報を含む色差フィルタ情報を生成するステップと、前記輝度フィルタ情報及び色差フィルタ情報の少なくとも一方を含むフィルタ情報と前記量子化変換係数とを符号化し、符号化データを出力するステップと、を備えることを特徴とする動画像符号化方法が提供される。
　本発明の第２の観点によると、入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成するステップと、前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成するステップと、前記予測誤差画像と予測画像とを用いて復号画像を生成するステップと、前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成するステップと、前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成するステップと、を備えることを特徴とする動画像復号化方法が提供される。
　本発明によれば、フィルタを適用するか否かを輝度信号及び色差信号のそれぞれで切り替えることが可能となる。それにより、輝度信号及び色差信号の何れかでフィルタリングによって画質が低下してしまう場合には、その何れかの信号についてはフィルタを適用しないことで画質低下を防ぐことが可能となる。また、適用するフィルタについては符号化側でフィルタ係数を設定して送信しても良く、その場合は画質改善効果と符号量増加を考慮した最適なフィルタリングが可能となり、符号化効率が向上する。
実施形態に係わる動画像符号化装置の構成を示すブロック図 図１のフィルタ情報生成部の構成を示すブロック図 図１のフィルタ情報生成部の動作を示すフローチャート 実施形態に係わるシンタクス構造を示す図 実施形態に係わるループフィルタデータシンタクスを示す図 実施形態に係わるループフィルタデータシンタクス（フィルタサイズ固定の例）を示す図 実施形態に係わるループフィルタデータシンタクス（色差フィルタサイズを求める、ＹＵＶ４：２：０の例）を示す図 実施形態に係わるループフィルタデータシンタクス（フィルタ係数固定の例）を示す図 実施形態に係わるループフィルタデータシンタクス（色差フィルタ係数共通の例）を示す図 実施形態に係わるループフィルタデータシンタクス（輝度フィルタ適用時のみ色差フィルタ情報を含む例）を示す図 図１の符号化装置に対応する動画像復号化装置の構成を示すブロック図 図１１の復号化装置におけるフィルタ処理部の構成を示すブロック図 図１１の復号化装置におけるフィルタ処理部の動作を示すフローチャート 別の実施形態に係る動画像符号化装置の構成を示すブロック図 図１４の符号化装置に対応する動画像復号化装置の構成を示すブロック図 別の実施形態に係わる動画像復号化装置の構成を示すブロック図
　以下、本発明の実施形態について図面を参照して説明する。　
　（動画像符号化装置）　
　図１に示されるように、動画像符号化装置１０００は、予測信号生成部１０１、減算器（予測誤差生成部）１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、フィルタ情報生成部１０７、参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。
　予測信号生成部１０１は、参照画像用バッファ１０８に格納されている既に符号化済みの参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理には、例えば、動き予測、動き補償による時間方向の予測、または画面内の符号化済み画素からの空間方向の予測などを用いることができる。
　減算器１０２は、動画像の入力画像信号１０と予測画像信号１１との差分を計算し、予測誤差画像信号１２を生成する。予測誤差画像信号１２は、変換・量子化部１０３に入力される。
　変換・量子化部１０３は、予測誤差画像信号１２に対してまず変換処理を行う。ここでは、例えば離散コサイン変換（ＤＣＴ）のような直交変換を行い、変換係数を生成する。直交変換とは別に、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換・量子化部１０３は生成した変換係数を後述する符号化制御部１０９に設定されている量子化パラメータに基づいて量子化し、量子化後の変換係数１３を出力する。量子化後の変換係数１３は、後述するエントロピー符号化部１０４へ入力されると同時に、逆変換・逆量子化部１０５へも入力される。
　逆変換・逆量子化部１０５は、量子化後の変換係数１３を符号化制御部１０９に設定されている量子化パラメータに従って逆量子化する。次に、逆量子化により得られた変換係数に対して変換・量子化部１０３における変換に対応する逆変換、例えば逆離散コサイン変換（ＩＤＣＴ）のような逆直交変換を行い、予測誤差画像信号１５を生成する。
　加算器１０６は、逆変換・逆量子化部１０５により生成された予測誤差画像信号１５と、予測信号生成部１０１により生成された予測画像信号１１とを加算することによって、入力画像信号１０のうちの符号化済み画像に対応する局所復号画像信号１６を生成する。
　フィルタ情報生成部１０７は、局所復号画像信号１６及び入力画像信号１０に基づいてフィルタ情報１７を出力する。フィルタ情報生成部１０７の詳細は後述する。
　参照画像用バッファ１０８は、局所復号画像信号１６を参照画像信号として一時保存する。参照画像用バッファ１０８に保存した参照画像信号１８は、予測信号生成部１０１によって予測画像信号１１を生成する際に参照される。
　一方、エントロピー符号化部１０４は、量子化後の変換係数１３、フィルタ情報１７、予測モード情報、ブロックサイズ切替情報、動きベクトル及び量子化パラメータなどの種々の符号化パラメータに対してエントロピー符号化（例えばハフマン符号化または算術符号化など）を行い、符号化データ１４を出力する。
　符号化制御部１０９は、発生符号量のフィードバック制御及び量子化制御、モード制御などを行ない、符号化全体の制御を行なう。
　（フィルタ情報生成部）　
　次に、フィルタ情報生成部１０７について図２を用いて詳しく述べる。図２に示すように、フィルタ情報生成部１０７は、輝度フィルタ情報生成部１１０、色差フィルタ情報生成部１１１を有する。輝度フィルタ情報生成部１１０は、局所復号画像信号１６及び入力画像信号１０の輝度信号を取得し、輝度フィルタ情報を生成する。色差フィルタ情報生成部１１０は、局所復号画像信号１６及び入力画像信号１０の色差信号を取得し、色差フィルタ情報を生成する。
　なお、本実施形態における輝度フィルタ情報及び色差フィルタ情報とは、それぞれ輝度信号及び色差信号に対してフィルタを適用するか否かの切替情報であり、フィルタを適用する場合にはフィルタ係数情報を含む。これら輝度フィルタ情報及び色差フィルタ情報は多重化され、フィルタ情報１７としてエントロピー符号化部１０４へ入力される。
　本実施形態に係る動画像符号化装置１０００の概略的な処理について説明する。以下に示す一連の符号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な符号化処理である。
　まず、動画像符号化装置１０００に入力画像信号１０が入力されると、予測誤差生成部（減算器）１０２において入力画像信号１０から予測信号生成部１０１により生成された予測画像信号１１を差し引いて予測誤差画像信号１２が生成される。予測誤差画像信号１２に対し変換・量子化部１０３において変換及び量子化がなされ、量子化変換係数１３が生成される。量子化変換係数１３は、エントロピー符号化部１０４において符号化される。
　一方、量子化変換係数１３は逆量子化・逆変換部１０５にも入力され、ここで逆変換及び逆量子化が行われることにより予測誤差画像信号１５が生成される。予測誤差画像信号１５は、予測画像生成部１０１で出力される予測画像信号１１と加算器１０６で加算され、局所復号画像信号１６が生成される。
　次に、本実施形態に係る動画像符号化装置１０００における特徴的な処理であるフィルタ情報生成部１０７の動作について図２及び図３を用いて詳しく説明する。
　図２において、フィルタ情報生成部１０７に局所復号画像信号１６及び入力画像信号１０が入力されると、それぞれ輝度信号と色差信号に分けて処理が行われる。輝度信号は輝度フィルタ情報生成部１１０に入力され、フィルタ係数の設定及び輝度信号にフィルタを適用するか否かの切替情報の設定が行われる。一方、色差信号は色差フィルタ情報生成部１１１に入力され、フィルタ係数の設定及び色差信号にフィルタを適用するか否かの切替情報の設定が行われる。
　ここでは、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ　ｆｉｌｔｅｒを用いることとし、切替情報については次式により表される符号化コストに基づいて設定する。
　ｃｏｓｔ＝Ｄ＋λ×Ｒ
　ただし、上式におけるＤは残差二乗和、Ｒは符号量を表す。符号化コストを用いることにより、画質改善効果とフィルタ情報送信にかかる符号量を比較し、最適なフィルタリングが可能となる。
　図３はフィルタ情報生成部１０７の動作を示すフローチャートである。図３に示すように、まず局所復号画像信号１６の輝度信号にフィルタ処理を施した画像と、入力画像信号１０の輝度信号との平均二乗誤差が最小となるように、フィルタ係数を設定する（ステップＳ１０１）。
　次に、輝度信号に対してフィルタを適用しない場合のコストであるｃｏｓｔｌｕｍａ＿Ａ及びフィルタを適用する場合のコストであるｃｏｓｔｌｕｍａ＿Ｂを算出する（ステップＳ１０２）。
　次に、ｃｏｓｔｌｕｍａ＿Ａとｃｏｓｔｌｕｍａ＿Ｂを比較する（ステップＳ１０３）。フィルタを適用することでコストが削減される場合、すなわちｃｏｓｔｌｕｍａ＿Ａ＞ｃｏｓｔｌｕｍａ＿Ｂである場合、復号化側で輝度信号にフィルタを適用する旨決定し、切替情報に相当するフラグすなわちｌｕｍａ＿ｆｌａｇ＝１に設定する（ステップＳ１０４）。
　一方、フィルタを適用してコストが削減されない場合、すなわちｃｏｓｔｌｕｍａ＿Ａ＞ｃｏｓｔｌｕｍａ＿Ｂでない場合、復号化側で輝度信号にフィルタを適用しない旨決定し、切替情報に相当するフラグすなわちｌｕｍａ＿ｆｌａｇ＝０に設定する（ステップＳ１０５）。
　そしてｌｕｍａ＿ｆｌａｇ＝０の場合にはｌｕｍａ＿ｆｌａｇのみを輝度フィルタ情報とし、ｌｕｍａ＿ｆｌａｇ＝１の場合はｌｕｍａ＿ｆｌａｇ及びステップＳ１０１で設定したフィルタ係数情報を輝度フィルタ情報とする。
　次に、ステップＳ１０６～ステップＳ１１０では、色差信号について処理が行われる。上述したように、色差信号は色差フィルタ情報生成部１１１に入力され、フィルタ係数の設定及び色差信号にフィルタを適用するか否かの切替情報の設定が行われる。
　まず局所復号画像信号１６の色差信号にフィルタ処理を施した画像と、入力画像信号１０の色差信号との平均二乗誤差が最小となるように、フィルタ係数を設定する（ステップＳ１０６）。
　次に、色差信号に対してフィルタを適用しない場合のコストであるｃｏｓｔｃｈｒｏｍａ＿Ａ及びフィルタを適用する場合のコストであるｃｏｓｔｃｈｒｏｍａ＿Ｂを算出する（ステップＳ１０７）。
　次に、ｃｏｓｔｃｈｒｏｍａ＿Ａとｃｏｓｔｃｈｒｏｍａ＿Ｂを比較する（ステップＳ１０８）。フィルタを適用することでコストが削減される場合、すなわちｃｏｓｔｃｈｒｏｍａ＿Ａ＞ｃｏｓｔｃｈｒｏｍａ＿Ｂである場合、復号化側で色差信号にフィルタを適用する旨決定し、切替情報に相当するフラグすなわちｃｈｒｏｍａ＿ｆｌａｇ＝１に設定する（ステップＳ１０９）。
　一方、フィルタを適用してコストが削減されない場合、すなわちｃｏｓｔｃｈｒｏｍａ＿Ａ＞ｃｏｓｔｃｈｒｏｍａ＿Ｂでない場合、復号化側で色差信号にフィルタを適用しない旨決定し、切替情報に相当するフラグすなわちｃｈｒｏｍａ＿ｆｌａｇ＝０に設定する（ステップＳ１１０）。
　そしてｃｈｒｏｍａ＿ｆｌａｇ＝０の場合にはｃｈｒｏｍａ＿ｆｌａｇのみを色差フィルタ情報とし、ｃｈｒｏｍａ＿ｆｌａｇ＝１の場合はｃｈｒｏｍａ＿ｆｌａｇ及びステップＳ１０６で設定したフィルタ係数情報を色差フィルタ情報とする。
　尚、扱う画像信号に、Ｙ（輝度信号）、Ｃｂ（色差信号）、Ｃｒ（色差信号）のように色差信号コンポーネントが複数存在する場合、色差フィルタ情報は何れか一つ以上について生成されるものとする。また、複数の色差信号コンポーネントに対して共通の色差フィルタ情報を生成しても良い。
　最後に、フィルタ情報生成部１０７で生成されたフィルタ情報１７はエントロピー符号化部１０４において符号化され、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置２０００に向けて送信される（ステップＳ１１１）。
　（シンタクス構造について）　
　ここで、フィルタ情報１７の符号化方法に関して、本実施の形態で用いるシンタクス構造の概略を、図４を参照して詳しく説明する。以下の例では、フィルタ情報１７をスライス単位で送信するものとする。
　シンタクスは主にハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７という３つのパートからなる。ハイレベルシンタクス１９００は、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス１９０３では、スライス毎に必要な情報が明記されている。マクロブロックレベルシンタクス１９０７では、マクロブロック毎に必要とされる変換係数データや予測モード情報、動きベクトルなどが明記されている。
　ハイレベルシンタクス１９００、スライスレベルシンタクス１９０３及びマクロブロックレベルシンタクス１９０７は、それぞれ更に詳細なシンタクスで構成される。ハイレベルシンタクス１９００は、シーケンスパラメータセットシンタクス１９０１とピクチャパラメータセットシンタクス１９０２などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス１９０３は、スライスヘッダーシンタクス１９０４、スライスデータシンタクス１９０５、ループフィルタデータシンタクス１９０６などから成る。更に、マクロブロックレベルシンタクス１９０７は、マクロブロックレイヤーシンタクス１９０８、マクロブロックプレディクションシンタクス１９０９などから構成されている。
　図５に示すように、ループフィルタデータシンタクス１９０６には、本実施形態のループフィルタに関するパラメータであるフィルタ情報１７が記述されている。ここで、フィルタ情報１７である図５のｌｕｍａ＿ｆｌａｇは前述した様に輝度信号に対してフィルタを適用するか否かを示す切替情報である。ｆｉｌｔｅｒ＿ｃｏｅｆｆ＿ｌｕｍａ［ｙ］［ｘ］は、輝度信号に対する２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、輝度信号に対するフィルタサイズを決める値である。また、ｃｈｒｏｍａ＿ｆｌａｇは色差信号に対してフィルタを適用するか否かを示す切替情報、ｃｈｒｏｍａ＿ｎｕｍは色差信号に含まれるコンポーネント数である。ｃｈｒｏｍａ＿ｆｌａｇは色差信号に含まれる各コンポーネントに対してそれぞれ与えても良い。ｆｉｌｔｅｒ＿ｃｏｅｆｆ＿ｃｈｒｏｍａ［ｃ］［ｙ］［ｘ］は、ｃ番目の色差信号コンポーネントに対する２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ＿ｃｒ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘ＿ｃｒは、色差信号に対するフィルタサイズを決める値である。ただし、別の実施形態として、これら輝度フィルタ及び色差フィルタは１次元フィルタを用いても良い。また、ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値を用いても良い。このとき、図５のシンタクスは例えば図６のように変更される。ただし、フィルタサイズを固定値とした場合、動画像符号化装置１０００及び後述する動画像復号化装置２０００において同様の値を用いなければならないことに注意する。また、色差信号に対するフィルタのタップ長は、輝度信号に対するフィルタのタップ長と色差信号の解像度及びダイナミックレンジ等の特性から定めても良い。例えば、ＹＵＶ４：２：２やＹＵＶ４：２：０といった、色差信号における解像度が輝度信号における解像度と比較して小さい画像を扱う場合、輝度信号と比較して色差信号では小さなタップ長のフィルタを用いる等の処理が考えられる。具体例として、ＹＵＶ４：２：０に考えられるシンタクスを図７に示す。図７では、色差信号の解像度が輝度信号の解像度に対して水平・垂直共に半分であることから、色差信号に対するフィルタのタップ長を１／２としている。
　更に、フィルタ係数についても予め定めた固定の値を用いても良い。固定のフィルタを用いる場合、複数のフィルタから選択できるようにしても良く、その際にフィルタを特定するためのインデクス情報を付加しても良い。このとき、図５のシンタクスは例えば図８のように変更される。ただし、図８のｌｕｍａ＿ｆｉｔｌｅｒ＿ｉｄｘ及びｃｈｒｏｍａ＿ｆｉｌｔｅｒ＿ｉｄｘ［ｃ］は上記フィルタを特定するためのインデクス情報を示す。
　なお、前述の様に、複数の色差コンポーネントに対して同じフィルタ情報を用いても良い。例として全ての色差コンポーネントで共通のフィルタ係数を用いる場合のシンタクスを図９に示す。
　また、本実施の形態では色差フィルタ情報を必ず付加しているが、別の実施形態として、輝度信号に対してフィルタを適用する場合のみ、即ち輝度フィルタ情報に含まれる切替情報であるｌｕｍａ＿ｆｌａｇ＝１の場合のみ色差フィルタ情報を付加するようにしても良い。その際、ループフィルタデータシンタクスは図５から例えば図１０のように変更される。
　なお、ここではスライス単位でフィルタを適用するか否かを切り替えることとし、フィルタ情報１７を送信する場合について説明したが、異なる実施形態として、シーケンスレベル、ピクチャレベル、マクロブロックレベルでフィルタを適用するか否かを切り替えることとし、そのような単位でフィルタ情報を設定して送信しても良い。
　また、輝度信号に対して所定の領域分割情報により領域分割を行い、領域毎にフィルタの適用、非適用を切り替えてもよい。または領域毎に異なるフィルタを切り替えて適用しても良い。その際には、領域分割情報及び領域毎の切替情報を輝度フィルタ情報に付加する。このとき、色差フィルタについても同じ領域分割情報を用いて、領域毎にフィルタの適用、非適用を切り替えてもよい。または領域毎に異なるフィルタを切り替えて適用しても良い。領域分割情報としては、画面をブロック単位で区切る場合にはブロックサイズを、画像処理により領域分割を行う場合には周辺画素との絶対値差分の平均値、周辺画素との絶対値差分の最大値、高域通過フィルタ処理後の値の絶対値、フィルタ処理を行うことによる画素値変化の絶対値等に対する閾値の何れか一つ以上を用いて良い。なお、上記領域分割に基づく処理は、後述する動画像復号化装置で行われても良い。
　（動画像復号化装置）　
　次に、図１に示した動画像符号化装置１０００に対応する動画像復号化装置２０００について説明する。図１１に示すように、動画像復号化装置２０００は、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、フィルタ処理部２０５、参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。
　エントロピー復号化部２０１は、図４に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、マクロブロックレベルシンタクスのそれぞれに対して、順次符号化データ１４の各シンタクスの符号列が復号され、量子化された変換係数１３、フィルタ情報１７などが復元される。
　逆変換・逆量子化部２０２は、量子化された変換係数１３を取得して逆量子化し、逆直交変換（例えば逆離散コサイン変換など）を行ない、予測誤差画像信号１５を出力する。ここでは、動画像符号化装置１０００で行われた直交変換及び量子化に対応する逆変換及び逆量子化が行われる。例えば、動画像符号化装置１０００に変換・量子化部１０３でウェーブレット変換及び量子化が行なわれている場合、逆変換・逆量子化部２０２は、対応する逆ウェーブレット変換及び逆量子化が実行される。
　予測信号生成部２０３は、参照画像用バッファ２０６に格納されている既に復号化済みの参照画像信号１８を取得して所定の予測処理を行い、予測画像信号１１を出力する。前記予測処理は、例えば、動き補償による時間方向の予測や、画面内の既に復号化済みの画素からの空間方向の予測などを用いて良いが、動画像符号化装置１０００と同様の予測処理が実行されることに注意する。
　加算器２０４は、取得した予測誤差画像信号１５及び予測画像信号１１を加算し、復号画像信号２１を生成する。
　フィルタ処理部２０５は、復号画像信号２１、フィルタ情報１７を取得し、復元画像信号２２を出力する。フィルタ処理部２０５についての詳しい説明は後述する。
　参照画像用バッファ２０６は、フィルタ処理部２０５から取得した復元画像信号２２を参照画像信号として一時保存する。参照画像用バッファ２０６に保存した参照画像信号１８は、予測信号生成部２０３によって予測画像信号１１を生成する際に参照される。
　復号化制御部２０７は、復号化タイミングの制御などを行い、復号化全体の制御を行う。
　次に、本実施形態に係る動画像復号化装置２０００におけるフィルタ処理部２０５について詳しく述べる。図１２に示すように、フィルタ処理部２０５は、輝度フィルタ用スイッチ２０８、輝度フィルタ処理部２０９、色差フィルタ用スイッチ２１０及び色差フィルタ処理部２１１を有する。
　輝度フィルタ処理部２０９は、復号画像信号２１の輝度信号及びフィルタ情報１７の輝度フィルタ情報を取得し、輝度信号に対してフィルタを適用する。色差フィルタ処理部２１１は、復号画像信号２１の色差信号及びフィルタ情報１７の色差フィルタ情報を取得し、色差信号に対してフィルタを適用する。
　輝度フィルタ用スイッチ２０８は、輝度フィルタ情報に基づき輝度信号に対するフィルタの適用・非適用を切り替え、復元画像信号２２の輝度信号を決定する。色差フィルタ用スイッチ２１０は、色差フィルタ情報に基づき色差信号に対するフィルタの適用・非適用を切り替え、復元画像信号２２の色差信号を決定する。復元画像信号２２は、出力画像信号として復号化制御部２０７が管理するタイミングで出力される。
　本実施形態に係る動画像復号化装置２０００の概略的な処理について説明する。以下に示す一連の復号化処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な復号化処理である。
　まず、図１１の動画像復号化装置２０００に符号化データ１４が入力されると、エントロピー復号化部２０１によって、変換係数１３、フィルタ情報１７に加え、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図４のシンタクス構造に従って復号される。次に、エントロピー復号化部２０１によって復号された変換係数１３は、逆変換・逆量子化部２０２へと入力され、復号化制御部２０７にて設定されている量子化パラメータに従って逆量子化され、得られた変換係数に対して逆直交変換（例えば離散コサイン変換など）を行い、予測誤差画像信号１５を復元する。予測誤差画像信号１５は、予測信号生成部２０３によって出力された予測画像信号１１と加算器２０４にて加算され、復号画像信号２１が生成される。
　ここで、本実施形態に係る動画像復号化装置２０００における特徴的な処理であるフィルタ処理部２０５の動作について図１２及び図１３を用いて詳しく説明する。
　まず、エントロピー復号化部２０１は、図４のシンタクス構造に従って、フィルタ情報１７をエントロピー復号化する（ステップＳ１０１）。図４のシンタクス構造におけるスライスレベルシンタクス１９０３に属するループフィルタデータシンタクス１９０６内には、図５に示すように、本実施形態のループフィルタに関するパラメータであるフィルタ情報１７が記述されている。
　フィルタ情報１７における輝度フィルタ情報は輝度フィルタ用スイッチ２０８に入力される。このとき、輝度信号に対するフィルタの切替情報を示すｌｕｍａ＿ｆｌａｇ＝０である場合、輝度信号に対してフィルタを適用せず、復号画像２１の輝度信号を復元画像２２の輝度信号とする。一方、ｌｕｍａ＿ｆｌａｇ＝１である場合、輝度フィルタ処理部２０９は、輝度フィルタ情報に基づいて輝度信号に対してフィルタを適用し、復元画像２２の輝度信号を生成する（ステップＳ１０３～Ｓ１０６）。
　フィルタ情報１７における色差フィルタ情報は色差フィルタ用スイッチ２１０に入力される。このとき、色差信号に対するフィルタの切替情報を示すｃｈｒｏｍａ＿ｆｌａｇ＝０である場合、色差信号に対してフィルタを適用せず、復号画像２１の色差信号を復元画像２２の色差信号とする。一方、ｃｈｒｏｍａ＿ｆｌａｇ＝１である場合、色差フィルタ処理部２０９は、色差フィルタ情報に基づいて色差信号に対してフィルタを適用し、復元画像２２の色差信号を生成する（ステップＳ１０５～Ｓ１０７）。
　復元画像信号２２は、出力画像信号として出力される。
　以上説明したように、本実施形態に係る動画像符号化装置によれば、入力画像との誤差が最小となるようにフィルタ情報を設定し、そのようなフィルタが適応的に適用されるようにしつつ出力画像の画質を向上させることが可能となる。すなわち、輝度信号及び色差信号それぞれについてフィルタを適用するか否かの切替情報を用いることにより、それぞれの信号で最適なフィルタリングが可能となる。
　なお、本実施形態に係る動画像符号化装置１０００及び動画像復号化装置２０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６として、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。
　また、本実施形態に係る動画像符号化装置１０００及び動画像復号化装置２０００では、本発明に係る処理をポストフィルタとして適用した場合について説明したが、別の実施形態として、本発明に係る処理をループフィルタとして適用することもでき、フィルタ適用後の復元画像２２を参照画像としても良い。その際、図１の動画像符号化装置１０００は、図１４の動画像符号化装置３０００に変更される。また、図１１の動画像復号化装置２０００は、図１５の動画像復号化装置４０００に変更される。
　動画像符号化装置３０００は、動画像符号化装置１０００にフィルタ処理部２０５を加え、参照画像用バッファ１０８への入力を、加算器１０６から出力される局所復号画像１６から、フィルタ処理部２０５により出力される復元画像信号２２に変更することにより実現される。
　また、動画像復号化装置４０００は、参照画像用バッファ２０６への入力を、加算器２０４から出力される復号画像信号２１から、フィルタ処理部２０５により出力される復元画像信号２２に変更することで実現可能である。
　上記のようにフィルタ適用後の画像を参照画像として用いることにより、それ以降の予測の高精度化が可能となり、符号化効率が向上する。
　また、更に別の実施形態として、本発明に従いフィルタ処理した復号画像２２を参照画像としてのみ用い、出力画像には通常の復号画像２１を用いても良い。その際、動画像符号化装置は動画像符号化装置３０００を用いて良く、動画像復号化装置は図１６に示す動画像復号化装置５０００に変更される。
　図１６の動画像復号化装置５０００は、図１５の動画像復号化装置４０００における出力画像信号を、復元画像２２から復号画像２１に変更することにより実現される。
　なお、動画像符号化装置１０００、動画像復号化装置２０００、動画像符号化装置３０００、動画像復号化装置４０００及び動画像復号化装置５０００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、フィルタ情報生成部１０７、参照画像用バッファ１０８、符号化制御部１０９、輝度フィルタ情報生成部１１０、色差フィルタ情報生成部１１１、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、フィルタ処理部２０５、参照画像用バッファ２０６、復号化制御部２０７、輝度フィルタ用スイッチ２０８、輝度フィルタ処理部２０９、色差フィルタ用スイッチ２１０及び色差フィルタ処理部２１１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。
　このとき、動画像符号化装置１０００、動画像復号化装置２０００、動画像符号化装置３０００、動画像復号化装置４０００及び動画像復号化装置５０００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現しても良いし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現しても良い。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒなどの記憶媒体などを適宜利用して実現することができる。
　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、別の実施形態にわたる構成要素を適宜組み合わせても良い。

Claims (19)

  1. 　入力される動画像と予測画像との差分をとって予測誤差画像を生成する予測誤差生成部と、
    　前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成する変換・量子化部と、
    　前記動画像のうちの符号化済み画像に対応する局所復号画像の輝度信号に対して輝度フィルタを適用するか否かを示す切替情報を含む輝度フィルタ情報を生成する輝度フィルタ情報生成部と、
    　前記動画像のうちの符号化済み画像に対応する局所復号画像の色差信号に対して色差フィルタを適用するか否かを示す切替情報を含む色差フィルタ情報を生成する色差フィルタ情報生成部と、
    　前記輝度フィルタ情報及び色差フィルタ情報の少なくとも一方を含むフィルタ情報と前記量子化変換係数とを符号化し、符号化データを出力する符号化部と、
    を備えることを特徴とする動画像符号化装置。
  2. 　前記局所復号画像の輝度信号に対し前記輝度フィルタ情報に基づいて前記輝度フィルタを適用して復元画像の輝度信号を生成する輝度フィルタ処理部と、
    　前記局所復号画像の色差信号に対し前記色差フィルタ情報に基づいて前記色差フィルタを適用して前記復元画像の色差信号を生成する色差フィルタ処理部と、
    　前記復元画像を参照画像として用いて前記予測画像を生成する予測画像生成部を更に備えることを特徴とする請求項１記載の動画像符号化装置。
  3. 　前記フィルタ情報は、フィルタ係数情報を更に含み、
    　前記フィルタ係数情報として、復号化側における復号画像の輝度信号及び色差信号に対するフィルタ係数を設定するフィルタ情報生成部を更に備えることを特徴とする請求項１記載の動画像符号化装置。
  4. 　前記色差フィルタ情報は、前記輝度フィルタが適用される場合にのみ前記フィルタ情報に含まれることを特徴とする請求項１記載の動画像符号化装置。
  5. 　前記色差フィルタにおけるフィルタタップ長は、前記輝度フィルタのタップ長以下であることを特徴とする請求項１記載の動画像符号化装置。
  6. 　前記色差フィルタにおけるフィルタタップ長は、符号化対象である動画像の色差信号の解像度及びダイナミックレンジを含む特性に応じて変更することを特徴とする請求項１記載の動画像符号化装置。
  7. 　前記色差フィルタ情報を複数の色差信号コンポーネントで共通して用いることを特徴とする請求項１記載の動画像符号化装置。
  8. 　前記輝度信号に対して所定の領域分割情報により領域分割を行って分割領域を求め、前記分割領域毎に前記輝度フィルタを適用するか否かを切り替え、又は前記分割領域毎に異なる輝度フィルタに切り替える輝度フィルタ処理部と、
    　前記輝度信号と同じ領域分割情報により前記色差信号に対して領域分割を行って分割領域を求め、前記輝度信号と同じ分割領域毎に前記色差フィルタを適用するか否かを切り替え、又は前記分割領域毎に異なる色差フィルタに切り替える色差フィルタ処理部と、
    をさらに備えることを特徴とする請求項２記載の動画像符号化装置。
  9. 　入力される動画像と予測画像との差分をとって予測誤差画像を生成するステップと、
    　前記予測誤差画像に対し変換及び量子化を行って量子化変換係数を生成するステップと、
    　前記動画像のうちの符号化済み画像に対応する局所復号画像の輝度信号に対して輝度フィルタを適用するか否かを示す切替情報を含む輝度フィルタ情報を生成するステップと、
    　前記動画像のうちの符号化済み画像に対応する局所復号画像の色差信号に対して色差フィルタを適用するか否かを示す切替情報を含む色差フィルタ情報を生成するステップと、
    　前記輝度フィルタ情報及び色差フィルタ情報の少なくとも一方を含むフィルタ情報と前記量子化変換係数とを符号化し、符号化データを出力するステップと、
    を備えることを特徴とする動画像符号化方法。
  10. 　入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成する復号化部と、
    　前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成する逆変換・逆量子化部と、
    　前記予測誤差画像と予測画像とを用いて復号画像を生成する復号画像生成部と、
    　前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成する輝度フィルタ処理部と、
    　前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成する色差フィルタ処理部と、
    を備えることを特徴とする動画像復号化装置。
  11. 　前記復元画像を出力画像として出力する出力部を更に備えることを特徴とする請求項１０記載の動画像復号化装置。
  12. 　前記復元画像を参照画像として用いて前記予測画像を生成することを特徴とする請求項１０記載の動画像復号化装置。
  13. 　前記フィルタ情報は、フィルタ係数情報を更に含むことを特徴とする請求項１０記載の動画像復号化装置。
  14. 　前記色差フィルタ情報は、前記輝度フィルタが適用される場合にのみ前記フィルタ情報に含まれることを特徴とする請求項１０記載の動画像復号化装置。
  15. 　前記色差フィルタにおけるフィルタタップ長は、前記輝度フィルタのタップ長以下であることを特徴とする請求項１０記載の動画像復号化装置。
  16. 　前記色差フィルタにおけるフィルタタップ長は、符号化対象である動画像の色差信号の解像度及びダイナミックレンジを含む特性に応じて変更することを特徴とする請求項１０記載の動画像復号化装置。
  17. 　前記色差フィルタ情報を複数の色差信号コンポーネントで共通して用いることを特徴とする請求項１０記載の動画像復号化装置。
  18. 　前記輝度フィルタ処理部は、前記輝度信号に対して所定の領域分割情報により領域分割を行って分割領域を求め、前記分割領域毎に前記輝度フィルタを適用するか否かを切り替え、又は前記分割領域毎に異なる輝度フィルタに切り替え、
    　前記色差フィルタ処理部は、前記輝度信号と同じ領域分割情報により前記色差信号に対して領域分割を行って分割領域を求め、前記輝度信号と同じ分割領域毎に前記色差フィルタを適用するか否かを切り替え、又は前記輝度信号と同じ分割領域毎に異なる色差フィルタに切り替えることを特徴とする請求項１０記載の動画像復号化装置。
  19. 　入力される符号化データを復号化して量子化変換係数及びフィルタ情報を生成するステップと、
    　前記量子化変換係数に対し逆量子化及び逆変換を行って予測誤差画像を生成するステップと、
    　前記予測誤差画像と予測画像とを用いて復号画像を生成するステップと、
    　前記復号画像の輝度信号に対して、前記輝度フィルタ情報に基づいて輝度フィルタを適用して復元画像の輝度信号を生成するステップと、
    　前記復号画像の色差信号に対して、前記色差フィルタ情報に基づいて色差フィルタを適用して前記復元画像の色差信号を生成するステップと、
    を備えることを特徴とする動画像復号化方法。
PCT/JP2009/062216 2008-07-04 2009-07-03 動画像符号化／復号化方法及び装置 WO2010001999A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
AU2009266719A AU2009266719A1 (en) 2008-07-04 2009-07-03 Moving-picture encoding/decoding method and apparatus
CN2009801212669A CN102057680A (zh) 2008-07-04 2009-07-03 运动图像编码/解码方法和装置
EP09773577A EP2299720A1 (en) 2008-07-04 2009-07-03 Dynamic image encoding/decoding method and device
BRPI0915591A BRPI0915591A2 (pt) 2008-07-04 2009-07-03 método e aparelho de codificação/decodificação de imagem em movimento
MX2010014289A MX2010014289A (es) 2008-07-04 2009-07-03 Metodo y dispositivo para codificar/descodificar imagen dinamica.
CA2729771A CA2729771A1 (en) 2008-07-04 2009-07-03 Moving-picture encoding/decoding method and apparatus
JP2010519122A JPWO2010001999A1 (ja) 2008-07-04 2009-07-03 動画像符号化／復号化方法及び装置
US12/983,691 US20110150080A1 (en) 2008-07-04 2011-01-03 Moving-picture encoding/decoding method and apparatus
ZA2011/00316A ZA201100316B (en) 2008-07-04 2011-01-12 Dynamic image encoding/decoding method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008-175854 2008-07-04
JP2008175854 2008-07-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/983,691 Continuation US20110150080A1 (en) 2008-07-04 2011-01-03 Moving-picture encoding/decoding method and apparatus

Publications (1)

Publication Number Publication Date
WO2010001999A1 true WO2010001999A1 (ja) 2010-01-07

Family

ID=41466089

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2009/062216 WO2010001999A1 (ja) 2008-07-04 2009-07-03 動画像符号化／復号化方法及び装置

Country Status (12)

Country Link
US (1) US20110150080A1 (ja)
EP (1) EP2299720A1 (ja)
JP (1) JPWO2010001999A1 (ja)
KR (2) KR20100133006A (ja)
CN (1) CN102057680A (ja)
AU (1) AU2009266719A1 (ja)
BR (1) BRPI0915591A2 (ja)
CA (1) CA2729771A1 (ja)
MX (1) MX2010014289A (ja)
RU (1) RU2011103915A (ja)
WO (1) WO2010001999A1 (ja)
ZA (1) ZA201100316B (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011089865A1 (ja) * 2010-01-21 2011-07-28 パナソニック株式会社 画像符号化方法、画像復号方法、それらの装置、プログラムおよび集積回路
WO2012008011A1 (ja) * 2010-07-12 2012-01-19 株式会社 東芝 動画像符号化方法及び復号方法
WO2012121352A1 (ja) * 2011-03-09 2012-09-13 シャープ株式会社 動画像復号装置、動画像符号化装置、および、データ構造
JP2013012845A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置および方法
JP2013524705A (ja) * 2010-04-12 2013-06-17 パナソニック株式会社 フィルタの位置決めおよび選択
JP2013542666A (ja) * 2010-09-30 2013-11-21 サムスン エレクトロニクス カンパニー リミテッド 平滑化補間フィルタを利用して映像を補間する方法及びその装置
JP2014143671A (ja) * 2012-12-28 2014-08-07 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2014533012A (ja) * 2011-10-21 2014-12-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ クロマ成分のための適応ループフィルタ処理
JP2015144423A (ja) * 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
JP2015531569A (ja) * 2012-09-28 2015-11-02 ヴィド スケール インコーポレイテッド ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
JP2016015753A (ja) * 2015-08-31 2016-01-28 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JPWO2014002821A1 (ja) * 2012-06-27 2016-05-30 ソニー株式会社 画像処理装置および方法
KR20180030005A (ko) * 2018-03-12 2018-03-21 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US10972728B2 (en) 2015-04-17 2021-04-06 Interdigital Madison Patent Holdings, Sas Chroma enhancement filtering for high dynamic range video coding
US11438605B2 (en) 2015-07-08 2022-09-06 Interdigital Madison Patent Holdings, Sas Enhanced chroma coding using cross plane filtering

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
US20120040861A1 (en) * 2010-08-13 2012-02-16 Somalogic, Inc. Pancreatic Cancer Biomarkers and Uses Thereof
WO2012118359A2 (ko) 2011-03-03 2012-09-07 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
KR101566366B1 (ko) 2011-03-03 2015-11-16 한국전자통신연구원 색차 성분 양자화 매개 변수 결정 방법 및 이러한 방법을 사용하는 장치
JP6125215B2 (ja) 2012-09-21 2017-05-10 株式会社東芝 復号装置、及び符号化装置
EP3552390A1 (en) * 2016-12-23 2019-10-16 Huawei Technologies Co., Ltd. Mixed domain collaborative in-loop filter for lossy video coding
EP3793195A4 (en) * 2018-05-10 2022-03-30 Samsung Electronics Co., Ltd. PICTURE CODING METHOD AND APPARATUS, AND PICTURE DECODING METHOD AND APPARATUS
JP6811931B2 (ja) * 2019-06-20 2021-01-13 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164322A (ja) * 1997-09-17 1999-06-18 Sony Electron Inc アスペクト比変換装置及び方法
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP2005020771A (ja) * 2004-08-09 2005-01-20 Toshiba Corp 動画像復号化装置および動画像復号化方法
WO2007094329A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム
WO2007111292A1 (ja) * 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2004301091B2 (en) * 2003-08-19 2008-09-11 Panasonic Corporation Method for encoding moving image and method for decoding moving image
US20080130740A1 (en) * 2005-09-20 2008-06-05 Mitsubishi Electric Corporation Image encoding method and image decoding method, image encoder and image decoder, and image encoded bit stream and recording medium
CA2714691A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Video encoding/decoding apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164322A (ja) * 1997-09-17 1999-06-18 Sony Electron Inc アスペクト比変換装置及び方法
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP2005020771A (ja) * 2004-08-09 2005-01-20 Toshiba Corp 動画像復号化装置および動画像復号化方法
WO2007094329A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム
WO2007111292A1 (ja) * 2006-03-27 2007-10-04 Matsushita Electric Industrial Co., Ltd. 画像符号化装置および画像復号化装置

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011089865A1 (ja) * 2010-01-21 2011-07-28 パナソニック株式会社 画像符号化方法、画像復号方法、それらの装置、プログラムおよび集積回路
US9712846B2 (en) 2010-04-12 2017-07-18 Sun Patent Trust Filter positioning and selection
JP2013524705A (ja) * 2010-04-12 2013-06-17 パナソニック株式会社 フィルタの位置決めおよび選択
US10148956B2 (en) 2010-04-12 2018-12-04 Sun Patent Trust Filter positioning and selection
JP2015173515A (ja) * 2010-04-12 2015-10-01 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化方法および符号化装置
US10015492B2 (en) 2010-04-12 2018-07-03 Sun Patent Trust Filter positioning and selection
WO2012008011A1 (ja) * 2010-07-12 2012-01-19 株式会社 東芝 動画像符号化方法及び復号方法
JP2013542666A (ja) * 2010-09-30 2013-11-21 サムスン エレクトロニクス カンパニー リミテッド 平滑化補間フィルタを利用して映像を補間する方法及びその装置
WO2012121352A1 (ja) * 2011-03-09 2012-09-13 シャープ株式会社 動画像復号装置、動画像符号化装置、および、データ構造
JP2013012845A (ja) * 2011-06-28 2013-01-17 Sony Corp 画像処理装置および方法
US10187664B2 (en) 2011-06-28 2019-01-22 Sony Corporation Image processing device and method
JP2014533012A (ja) * 2011-10-21 2014-12-08 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ クロマ成分のための適応ループフィルタ処理
US9807403B2 (en) 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
JPWO2014002822A1 (ja) * 2012-06-27 2016-05-30 ソニー株式会社 画像処理装置および方法
US10425662B2 (en) 2012-06-27 2019-09-24 Sony Corporation Image processing apparatus and method
US10412418B2 (en) 2012-06-27 2019-09-10 Sony Corporation Image processing apparatus and method
JPWO2014002821A1 (ja) * 2012-06-27 2016-05-30 ソニー株式会社 画像処理装置および方法
US10397616B2 (en) 2012-09-28 2019-08-27 Vid Scale, Inc. Cross-plane filtering for chroma signal enhancement in video coding
US11356708B2 (en) 2012-09-28 2022-06-07 Interdigital Madison Patent Holdings, Sas Cross-plane filtering for chroma signal enhancement in video coding
US10798423B2 (en) 2012-09-28 2020-10-06 Interdigital Madison Patent Holdings, Sas Cross-plane filtering for chroma signal enhancement in video coding
JP2015531569A (ja) * 2012-09-28 2015-11-02 ヴィド スケール インコーポレイテッド ビデオコーディングにおけるクロマ信号強調のためのクロスプレーンフィルタリング
US10230993B2 (en) 2012-12-28 2019-03-12 Canon Kabushiki Kaisha Image decoding device and method of chrominance correction with linear-interpolation
JP2014143671A (ja) * 2012-12-28 2014-08-07 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
JP2015144423A (ja) * 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
US10972728B2 (en) 2015-04-17 2021-04-06 Interdigital Madison Patent Holdings, Sas Chroma enhancement filtering for high dynamic range video coding
US11438605B2 (en) 2015-07-08 2022-09-06 Interdigital Madison Patent Holdings, Sas Enhanced chroma coding using cross plane filtering
JP2016015753A (ja) * 2015-08-31 2016-01-28 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR20180030005A (ko) * 2018-03-12 2018-03-21 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치

Also Published As

Publication number Publication date
BRPI0915591A2 (pt) 2016-08-02
US20110150080A1 (en) 2011-06-23
JPWO2010001999A1 (ja) 2011-12-22
ZA201100316B (en) 2011-10-26
CN102057680A (zh) 2011-05-11
EP2299720A1 (en) 2011-03-23
MX2010014289A (es) 2011-01-21
CA2729771A1 (en) 2010-01-07
AU2009266719A2 (en) 2011-02-24
RU2011103915A (ru) 2012-08-10
KR20100133006A (ko) 2010-12-20
AU2009266719A1 (en) 2010-01-07
KR20120079180A (ko) 2012-07-11

Similar Documents

Publication Publication Date Title
WO2010001999A1 (ja) 動画像符号化／復号化方法及び装置
WO2018061588A1 (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム、並びに、画像復号装置、画像復号方法、及び画像復号プログラム
JP4617644B2 (ja) 符号化装置及び方法
US20100322303A1 (en) Video encoding/decoding method and apparatus
WO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
WO2011125729A1 (ja) 画像処理装置と画像処理方法
KR101530774B1 (ko) 영상 부호화 및 복호화 방법, 장치 및 시스템
KR100738075B1 (ko) 영상 부호화/복호화 장치 및 방법
US20240195992A1 (en) Decoding device, program, and decoding method
WO2009133845A1 (ja) 動画像符号化／復号化装置及び方法
JP5375938B2 (ja) 復号装置及び方法
JP4924708B2 (ja) 復号装置及び方法
KR20220024120A (ko) 부호화 장치, 복호 장치, 및 프로그램
JP2007266861A (ja) 画像符号化装置
JP7343702B2 (ja) デブロッキングフィルタ装置、復号装置、及びプログラム
JP5375935B2 (ja) 符号化装置及び方法
JP4983908B2 (ja) 復号装置及び方法
WO2021054380A1 (ja) 符号化装置、復号装置、及びプログラム
JP5375936B2 (ja) 復号装置及び方法
JP5375937B2 (ja) 符号化装置及び方法
JP4983907B2 (ja) 符号化装置及び方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980121266.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09773577

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010519122

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 20107025257

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 9074/DELNP/2010

Country of ref document: IN

Ref document number: MX/A/2010/014289

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 2009266719

Country of ref document: AU

ENP Entry into the national phase

Ref document number: 2729771

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 2009773577

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2009266719

Country of ref document: AU

Date of ref document: 20090703

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011103915

Country of ref document: RU

ENP Entry into the national phase

Ref document number: PI0915591

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20110103