WO2009110160A1 - 動画像符号化／復号化方法及び装置 - Google Patents

動画像符号化／復号化方法及び装置 Download PDF

Info

Publication number
WO2009110160A1
WO2009110160A1 PCT/JP2008/073636 JP2008073636W WO2009110160A1 WO 2009110160 A1 WO2009110160 A1 WO 2009110160A1 JP 2008073636 W JP2008073636 W JP 2008073636W WO 2009110160 A1 WO2009110160 A1 WO 2009110160A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
filter
information
encoding
decoding
Prior art date
Application number
PCT/JP2008/073636
Other languages
English (en)
French (fr)
Inventor
直史 和田
中條　健
昭行 谷沢
豪毅 安田
隆志 渡辺
Original Assignee
株式会社 東芝
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝 filed Critical 株式会社 東芝
Priority to MX2010009194A priority Critical patent/MX2010009194A/es
Priority to CA2715211A priority patent/CA2715211A1/en
Priority to EP08873121A priority patent/EP2249572A4/en
Priority to JP2010501774A priority patent/JPWO2009110160A1/ja
Priority to BRPI0822364A priority patent/BRPI0822364A2/pt
Priority to AU2008352118A priority patent/AU2008352118A1/en
Priority to CN2008801257805A priority patent/CN101926175A/zh
Priority to TW098106980A priority patent/TW200948092A/zh
Publication of WO2009110160A1 publication Critical patent/WO2009110160A1/ja
Priority to US12/853,956 priority patent/US20100322303A1/en
Priority to ZA2010/05949A priority patent/ZA201005949B/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to a moving image encoding / decoding method and apparatus, and in particular, an effect of improving image quality can be obtained by setting and transmitting filter coefficient information of a loop filter on the encoding side and using it on the decoding side.
  • the present invention relates to a moving image encoding / decoding method and apparatus.
  • FIG. 34 shows a block diagram of an encoding / decoding device provided with a deblocking filter in “Deblocking filter for 4x4 based coding”.
  • the deblocking filter is also called a loop filter because it is used in the loop of the encoding and decoding apparatus like the deblocking filter processing unit 901 in FIG.
  • the loop filter By using the loop filter, block distortion of a reference image used for prediction can be reduced, and there is an effect of improving encoding efficiency particularly in a high compression bit rate band in which block distortion is likely to occur.
  • the deblocking filter is a process for reducing visually noticeable deterioration by blurring the block boundary, and it does not necessarily reduce the error from the input image. May decrease. Furthermore, since the image after filter processing is used as a reference image for prediction of the next image to be encoded, there is a problem that the influence of image quality degradation due to the filter propagates to the predicted image.
  • Japanese Patent Laid-Open No. 2001-275110 provides a moving picture decoding method that dynamically switches between using a deblocking filter as a loop filter or a post filter on the decoding side.
  • FIG. 35 shows a block diagram of an encoding / decoding apparatus provided with the loop / post-filtering switching method disclosed in Japanese Patent Laid-Open No. 2001-275110.
  • a deblocking filter processing unit 902 provided in the moving image decoding apparatus in FIG. 35 generates a decoded image to which a deblocking filter is applied, and outputs the decoded image as an output image.
  • the encoding parameter extraction unit 904 extracts a quantization parameter from the encoded data, and the switching unit 903 controls whether to use the image after filtering as a reference image based on the value of the quantization parameter. To do.
  • the deblocking filter can be used as a loop filter in a high compression bit rate band where the effect of the deblocking filter is high, and the deblocking filter can be used as a post filter in a low compression bit rate band. It becomes.
  • Japanese Patent Laid-Open No. 2001-275110 does not perform the same process on the encoding side, and thus there is a problem that a mismatch occurs between the encoding side and the decoding side.
  • the image quality of the reference image is not improved on the encoding side, the effect of improving the encoding efficiency cannot be obtained.
  • FIG. 36 shows a block diagram of a moving image encoding / decoding device in “Post-filter SEI message for 4: 4: 4 coding”.
  • the post filter setting unit 905 provided in the moving image encoding apparatus in FIG. 36 sets predetermined filter coefficient information and outputs filter coefficient information 90.
  • the filter coefficient information 90 is encoded, decoded on the decoding side, and used in a post filter processing unit 906 provided in the moving image decoding apparatus to perform post filter processing.
  • the filter coefficient information is set on the encoding side so as to reduce the error between the decoded image and the input image. It is possible to improve the image quality of the output image to which the post filter is applied on the decoding side.
  • the method of “Post-filter SEI message for 4: 4: 4 coding” does not use an image with improved image quality as a reference image, and can obtain an effect of improving encoding efficiency on the encoding side. Can not.
  • the method disclosed in “Deblocking filter for 4 ⁇ 4 based coding” does not necessarily improve the image quality, and there is a problem that the image quality degradation caused by the filter propagates to the predicted image.
  • the method disclosed in Japanese Patent Application Laid-Open No. 2001-275110 performs loop / post-filtering switching only on the decoding side, and there is a problem that a mismatch occurs between the encoding side and the decoding side.
  • the method disclosed in “Post-filter SEI message for 4: 4: 4 coding” is a process for improving the image quality of the image output on the decoding side, and improves the image quality of the reference image used for prediction. Thus, the effect of improving the coding efficiency cannot be obtained.
  • the present invention encodes the filter coefficient information set on the encoding side, and decodes and uses the filter coefficient information on the decoding side.
  • the encoding side and the decoding side are looped by the same process.
  • Moving picture encoding / decoding method and apparatus capable of improving encoding efficiency by improving the image quality of a reference image used for prediction while suppressing propagation of image quality deterioration by switching filter processing The purpose is to provide.
  • One aspect of the present invention is a moving image encoding method used for predicting an image to be encoded next using an encoded image as a reference image, and applying a filter to a locally decoded image of the encoded image Generating a restored image, setting filter coefficient information of the filter, encoding the filter coefficient information, and specifying information indicating the local decoded image or the restored image used as a reference image
  • a video encoding method comprising: a step of encoding a local decoded image or a restored image in a memory as a reference image based on the specific information. provide.
  • Another aspect of the present invention is a moving image decoding method used for predicting an image to be decoded next using a decoded image as a reference image, and generating a restored image by applying a filter to the decoded image A step, a step of decoding filter coefficient information of the filter, a step of decoding specific information indicating a decoded image or a restored image used as a reference image, and a decoded image or a restored image based on the specific information as a reference image And a step of storing in a memory.
  • FIG. 1 is a block diagram of a video encoding apparatus according to the first embodiment.
  • FIG. 2 is a block diagram of a loop filter processing unit in the video encoding apparatus according to the first embodiment.
  • FIG. 3 is a block diagram of a switching filter processing unit in the video encoding apparatus according to the first embodiment.
  • FIG. 4 is a flowchart showing the operation of the video encoding apparatus according to the first embodiment.
  • FIG. 5 is a block diagram of the moving picture decoding apparatus according to the first embodiment.
  • FIG. 6 is a block diagram of the first switching filter processing unit in the video decoding apparatus according to the first embodiment.
  • FIG. 7 is a flowchart showing the operation of the video decoding apparatus according to the first embodiment.
  • FIG. 1 is a block diagram of a video encoding apparatus according to the first embodiment.
  • FIG. 2 is a block diagram of a loop filter processing unit in the video encoding apparatus according to the first embodiment.
  • FIG. 3 is a block diagram of a
  • FIG. 8 is a block diagram of a second switching filter processing unit in the video decoding apparatus according to the first embodiment.
  • FIG. 9 is a block diagram of a third switching filter processing unit in the video decoding apparatus according to the first embodiment.
  • FIG. 10 is a block diagram of a fourth switching filter processing unit in the video decoding apparatus according to the first embodiment.
  • FIG. 11 is a block diagram of a first video encoding apparatus according to the second embodiment.
  • FIG. 12 is a block diagram of a switching information generation prediction unit in the first video encoding apparatus according to the second embodiment.
  • FIG. 13 is a block diagram of a reference switching prediction unit in the first video encoding apparatus according to the second embodiment.
  • FIG. 14 is a block diagram of a loop filter processing unit in the first video encoding apparatus according to the second embodiment.
  • FIG. 15 is a flowchart showing the operation of the first video encoding apparatus according to the second embodiment.
  • FIG. 16 is a block diagram of a first moving picture decoding apparatus according to the second embodiment.
  • FIG. 17 is a block diagram of a reference switching prediction unit in the first video decoding apparatus according to the second embodiment.
  • FIG. 18 is a flowchart showing the operation of the video decoding apparatus according to the second embodiment.
  • FIG. 19 is a block diagram of a second video encoding apparatus according to the second embodiment.
  • FIG. 20 is a block diagram of a switching information generation prediction unit in the second video encoding apparatus according to the second embodiment.
  • FIG. 21 is a block diagram of a reference switching prediction unit in the second video encoding apparatus according to the second embodiment.
  • FIG. 22 is a block diagram of a second moving picture decoding apparatus according to the second embodiment.
  • FIG. 23 is a block diagram of a reference switching prediction unit in the second moving picture decoding apparatus according to the second embodiment.
  • FIG. 24 is a block diagram of a video encoding apparatus according to the third embodiment.
  • FIG. 25 is a block diagram of a loop filter processing unit in the video encoding apparatus according to the third embodiment.
  • FIG. 26 is a block diagram of a switching information generation filter processing unit in the video encoding apparatus according to the third embodiment.
  • FIG. 27 is a flowchart showing the operation of the video encoding apparatus according to the third embodiment.
  • FIG. 28 is a block diagram of a video decoding apparatus according to the third embodiment.
  • FIG. 29 is a block diagram of a switching information generation filter processing unit in the video decoding device according to the third embodiment.
  • FIG. 30 is a flowchart showing the operation of the video decoding apparatus according to the third embodiment.
  • FIG. 31 is a diagram illustrating a syntax structure according to the first, second, and third embodiments.
  • FIG. 32 is a diagram illustrating loop filter data syntax according to the first, second, and third embodiments.
  • FIG. 33 is an example of a reference image when the loop filter is switched for each macroblock.
  • FIG. 34 is a block diagram of an encoding / decoding device in Non-Patent Document 1.
  • FIG. 35 is a block diagram of an encoding / decoding device in Patent Document 1.
  • FIG. 36 is a block diagram of an encoding / decoding device in Non-Patent Document 2.
  • FIG. 37 is a block diagram of a switching filter processing unit in the video encoding apparatus according to the fourth embodiment.
  • FIG. 38 is a block diagram of the switching filter processing unit in the video decoding apparatus according to the fourth embodiment.
  • FIG. 39 is a diagram illustrating a reference table for determining a block size and a block division method according to the fourth embodiment.
  • FIG. 40 is a diagram illustrating an example of block division according to the fourth embodiment.
  • FIG. 41 is an example of a reference image when the block division method according to the fourth embodiment is switched.
  • FIG. 42 is a diagram illustrating the loop filter data syntax according to the fourth embodiment.
  • FIG. 43 is a block diagram of a loop filter processing unit in the video encoding apparatus according to the fifth embodiment.
  • FIG. 44 is a flowchart showing the operation of the video encoding apparatus according to the fifth embodiment.
  • FIG. 45 is a block diagram of a local decoded image filter processing unit according to the sixth embodiment.
  • FIG. 46 is a block diagram of a video encoding apparatus according to the seventh embodiment.
  • FIG. 47 is a block diagram of a video decoding apparatus according to the eighth embodiment.
  • FIG. 48 is a block diagram of an example of a predicted image creation unit according to the seventh embodiment.
  • FIG. 49 is a block diagram of another example of the predicted image creation unit according to the seventh embodiment.
  • FIG. 50 is a diagram illustrating an example of hierarchical block division according to the ninth embodiment.
  • FIG. 51 is a diagram illustrating an example of a divided tree and divided blocks according to the ninth embodiment.
  • FIG. 52 is a diagram illustrating an example of divided blocks according to the ninth embodiment.
  • FIG. 53 is a diagram showing an example of the block size of each layer according to the ninth embodiment.
  • FIG. 54 is a diagram illustrating syntax including block division information according to the ninth embodiment.
  • FIG. 55 is a diagram illustrating another syntax including block division information according to the ninth embodiment.
  • FIG. 1 includes a prediction signal generation unit 101, a subtracter 102, a transform / quantization unit 103, an entropy coding unit 104, an inverse transform / inverse quantization unit 105, an adder 106, and a loop filter.
  • a processing unit 107 and a reference image buffer 108 are included, and are controlled by the encoding control unit 109.
  • the prediction signal generation unit 101 acquires the encoded reference image signal 19 stored in the reference image buffer 108, performs a predetermined prediction process, and outputs the prediction image signal 11.
  • the prediction process may use, for example, prediction in the temporal direction by motion prediction / motion compensation, prediction in the spatial direction from encoded pixels in the screen, or the like.
  • the subtractor 102 calculates a difference between the acquired input image signal 10 and the predicted image signal 11 and outputs a prediction error image signal 12.
  • the transform / quantization unit 103 first acquires the prediction error image signal 12 and performs a transform process.
  • the transform / quantization unit 103 performs orthogonal transform of the prediction error image signal 12 using, for example, DCT (discrete cosine transform), and generates a transform coefficient.
  • the transform coefficient may be generated using a method such as wavelet transform or independent component analysis.
  • the transform / quantization unit 103 performs quantization processing on the transform coefficient generated based on the quantization parameter set in the encoding control unit 109 described later, and outputs the quantized transform coefficient 13. .
  • the quantized transform coefficient 13 is input to the entropy encoding unit 104 (to be described later) and simultaneously input to the inverse transform / inverse quantization unit 105.
  • the inverse transform / inverse quantization unit 105 inverse quantizes the quantized transform coefficient 13 according to the quantization parameter set in the encoding control unit 109, and performs inverse transform (for example, inverse transform) on the obtained transform coefficient. Discrete cosine transform or the like) is performed, and the prediction error image signal 15 is output.
  • the adder 106 adds the prediction error image signal 15 acquired from the inverse transform / inverse quantization unit 105 and the prediction image signal 11 generated by the prediction signal generation unit 101, and outputs a locally decoded image signal 16.
  • the loop filter processing unit 107 acquires the local decoded image signal 16 and the input image signal 10, and specifies specific information indicating that the reference image signal 19, the filter coefficient information 17, and the local decoded image or the restored image are used as a reference image. Specifically, switching information 18 for switching between a locally decoded image and a restored image is output. Detailed description of the loop filter processing unit 107 will be described later.
  • the reference image buffer 108 temporarily stores the reference image signal 19 acquired from the loop filter processing unit 107.
  • the reference image signal 19 stored in the reference image buffer 108 is referred to when the predicted image signal 11 is generated by the predicted signal generation unit 101.
  • the entropy encoding unit 104 encodes filter coefficient information 17, switching information 18, other prediction mode information, block size switching information, motion vectors, quantization parameters, etc. in addition to the quantized transform coefficient 13.
  • the parameter is acquired, entropy-encoded (for example, Huffman encoding or arithmetic encoding), and output as encoded data 14.
  • the encoding control unit 109 performs feedback control of the generated code amount, quantization control, mode control, etc., and controls the entire encoding.
  • the loop filter processing unit 107 illustrated in FIG. 2 includes a filter setting unit 110, a switching filter processing unit 111, and a switching information generation unit 112. Further, the switching filter processing unit 111 includes a filter processing unit as illustrated in FIG. 113 and a loop filter switching unit 114.
  • the switch SW in FIG. 3 switches the connection between the terminal A and the terminal B.
  • the filter setting unit 110 acquires the local decoded image signal 16 and the input image signal 10 and sets predetermined filter coefficient information 17. Details of the setting method of the filter coefficient information 17 will be described later.
  • the set filter coefficient information 17 is input to the switching filter processing unit 111 and the entropy encoding unit 104 described later.
  • the switching filter processing unit 111 includes a filter processing unit 113 and a loop filter switching unit 114 therein, acquires the local decoded image 16, filter coefficient information 17, and switching information 18, and outputs a reference image signal 19.
  • the switching information generation unit 112 acquires the reference image signal 19 from the switching filter processing unit 111, acquires the input image signal 10, and generates the switching information 18 according to a predetermined switching determination method.
  • the generated switching information 18 is input to the switching filter processing unit 111 and also input to the entropy encoding unit 104. Details of the switching determination method will be described later.
  • the filter processing unit 113 acquires the local decoded image signal 16 and the filter coefficient information 17, performs filter processing on the local decoded image signal 16 according to the filter coefficient information 17, and generates a restored image signal 20.
  • the generated restored image signal 20 is input to a loop filter switching unit 114 described later.
  • the loop filter switching unit 114 acquires the switching information 18, switches the connection between the terminal A and the terminal B by the switch SW provided therein according to the switching information 18, and uses the local decoded image signal 16 or the restored image signal 20 as the reference image signal 19. Output.
  • the above is the configuration of the video encoding apparatus according to the first embodiment.
  • FIG. 4 is a flowchart showing an operation related to the loop filter in the video encoding apparatus 1000 according to the first embodiment.
  • the subtracter 102 performs a subtraction process between the input image signal 10 and the predicted image signal 11 acquired from the predicted signal generation unit 101.
  • the prediction error image signal 12 is generated.
  • the generated prediction error image signal 12 is transformed and quantized by the transform / quantization unit 103, outputted as the quantized transform coefficient 13, and encoded by the entropy encoding unit 104.
  • the quantized transform coefficient 13 is inversely transformed and inversely quantized by an inverse transform / inverse quantization unit 105 provided in the moving image coding apparatus 1000 and is output as a prediction error image signal 15.
  • the prediction error image signal 15 is added to the prediction image signal 11 output from the prediction signal generation unit 101 and the adder 106 to generate a local decoded image signal 16.
  • the series of processes is a general encoding process in moving picture encoding called so-called hybrid encoding that performs prediction processing and conversion processing.
  • the filter setting unit 110 included in the loop filter processing unit 107 of FIG. 2 receives the local decoded image signal 16 and the input image signal 10, and sets the filter coefficient information 17 (step S1100).
  • the filter setting unit 110 uses a two-dimensional Wiener filter generally used in image restoration, and the mean square error between the image obtained by filtering the locally decoded image signal 16 and the input image signal 10 is minimized.
  • the filter coefficient is designed so that the filter coefficient information 17 is set to a value indicating the designed filter coefficient and filter size.
  • the filter setting unit 110 outputs the set filter coefficient information 17 to the filter processing unit 113 in FIG. 3 and also to the entropy encoding unit 104.
  • the switching filter processing unit 111 in FIG. 2 receives the local decoded image signal 16, the filter coefficient information 17, and the switching information 18, and generates the local decoded image signal 16 or the filter processing unit 113 based on the switching information 18.
  • the restored image signal 20 is output as the reference image signal 19 (steps S1101 to S1109).
  • the switching information generation unit 112 performs the switching determination process when the local decoded image signal 16 is the reference image signal 19 and when the restored image signal 20 is the reference image signal 19, and the local decoded image is Switching information 18 for determining which of the signal 16 and the restored image signal 20 is the reference image signal 19 is generated. Based on the generated switching information 18, the switch SW inside the loop filter switching unit 114 is switched, and the reference image signal 19 is output.
  • a detailed description of the operation from step S1101 to step S1109 in the loop filter processing unit 107 will be described below.
  • the switch SW in the loop filter switching unit 114 in FIG. 3 is connected to the terminal A, and the local decoded image signal 16 is input to the switching information generation unit 112 as the reference image signal 19 (step S1101).
  • the switch SW is connected to the terminal B, and the restored image signal 20 is input to the switching information generating unit 112 as the reference image signal 19 (step S1102).
  • the filter processing unit 113 performs a filtering process on the local decoded image signal 16 based on the filter coefficient information 17 to generate the restored image signal 20.
  • the pixel at the position (x, y) on the local decoded image is F (x, y)
  • the width of the two-dimensional filter is W
  • the height is H
  • the restored image G (x, y) is expressed by the following equation.
  • the switching information generation unit 112 in FIG. 2 performs a residual square sum SSD A between the local decoded image signal 16 and the input image signal 10 and a residual square sum SSD B between the restored image signal 20 and the input image signal 10. Is calculated (step S1103).
  • the switching determination process is performed for each local region of the image, the pixel position in the local region is i, the total number of pixels is N, the local decoded image signal 16 is F i , the restored image signal 20 is G i , and the input Assuming that the image signal 10 is I i , SSD A and SSD B are expressed by the following equations.
  • FIG. 33 shows an example of a reference image when the switching determination process is performed in units called macroblocks obtained by dividing an image in units of 16 ⁇ 16 pixels.
  • N in [Expression 2] is 256, and the switching information 18 is output in units of macroblocks.
  • the switching determination process may determine the image signal in frame units, slice units, or block units having a size different from the macroblock. In that case, the switching information 18 is also in units corresponding to the determination results. Output.
  • the loop filter switching unit 114 in FIG. 3 receives the loop_filter_flag that is the generated switching information 18, and switches the switch SW provided therein based on the value of the loop_filter_flag (step S1107).
  • the loop filter switching unit 114 connects the switch SW to the terminal A, and temporarily stores the local decoded image signal 16 as the reference image signal 19 in the reference image buffer 108 (step S1108).
  • loop_filter_flag is 1
  • the loop filter switching unit 114 connects the switch SW to the terminal B, and temporarily stores the restored image signal 20 as the reference image signal 19 in the reference image buffer 108 (switch S1109).
  • the above is the operation from step S1101 to step S1109 in the loop filter processing unit 107.
  • the filter coefficient information 17 generated by the filter setting unit 110 and the switching information 18 generated by the switching information generation unit 112 are encoded by the entropy encoding unit 104, and the quantized transform coefficient 13 and prediction mode information are encoded.
  • the block size switching information, the motion vector, the quantization parameter, and the like are multiplexed into a bit stream and transmitted to the moving picture decoding apparatus 2000 described later (step S1110).
  • the filter coefficient information 17 is set in units of slices
  • the switching information 18 is set in units of macroblocks.
  • the syntax mainly consists of three parts, and high-level syntax (1900) is packed with syntax information of higher layers above the slice.
  • the slice level syntax (1903) specifies information required for each slice, and the macroblock level syntax (1907) includes transform coefficient data, prediction mode information, motion vectors, and the like required for each macroblock. Is clearly stated.
  • Each syntax is composed of more detailed syntax, and the high level syntax (1900) is composed of sequence and picture level syntax such as sequence parameter set syntax (1901) and picture parameter set syntax (1902).
  • the slice level syntax (1903) includes a slice header syntax (1904), a slice data syntax (1905), a loop filter data syntax (1906), and the like.
  • the macroblock level syntax (1907) is composed of a macroblock layer syntax (1908), a macroblock prediction syntax (1909), and the like.
  • filter coefficient information 17 and switching information 18 which are parameters related to the loop filter of this embodiment are described.
  • filter_coeff [cy] [cx] in FIG. 32A which is the filter coefficient information 17 is a coefficient of a two-dimensional filter
  • filter_size_y and filter_size_x are values that determine the filter size.
  • the value indicating the filter size is described in the syntax.
  • a predetermined fixed value may be used without description in the syntax.
  • loop_filter_flag in FIG. 32A is switching information 18 and transmits loop_filter_flag for NumOfMacroblock, which is the total number of macroblocks in the slice. The above is the description of the operation related to the loop filter in the moving image encoding apparatus 1000.
  • 5 includes an entropy decoding unit 201, an inverse transform / inverse quantization unit 202, a prediction signal generation unit 203, an adder 204, a switching filter processing unit 205, and a reference image buffer 206. And controlled by the decoding control unit 207.
  • the entropy decoding unit 201 sequentially decodes the code string of each syntax of the encoded data 14 for each of the high level syntax, the slice level syntax, and the macroblock level syntax.
  • the converted conversion coefficient 13, filter coefficient information 17, switching information 18 and the like are restored.
  • the inverse transform / inverse quantization unit 202 acquires the quantized transform coefficient 13, performs inverse quantization, performs inverse orthogonal transform (for example, inverse discrete cosine transform), and outputs the prediction error image signal 15.
  • inverse orthogonal transform for example, inverse discrete cosine transform
  • the inverse orthogonal transform has been described.
  • the inverse transform / inverse quantization unit 202 executes corresponding inverse quantization, inverse wavelet transform, or the like. To do.
  • the prediction signal generation unit 203 acquires the decoded reference image signal 19 stored in the reference image buffer 206, performs a predetermined prediction process, and outputs the prediction image signal 11.
  • the prediction process may use, for example, prediction in the temporal direction by motion compensation, prediction in the spatial direction from decoded pixels in the screen, or the like, but the prediction process similar to that of the moving image encoding apparatus 1000 is executed. Note that.
  • the adder 204 adds the acquired prediction error image signal 15 and the prediction image signal 11 to generate a decoded image signal 21.
  • the switching filter processing unit 205 acquires the decoded image signal 21, the filter coefficient information 17, and the switching information 18 and outputs a reference image signal 19. Detailed description of the switching filter processing unit 205 will be described later.
  • the reference image buffer 206 temporarily stores the reference image signal 19 acquired from the switching filter processing unit 205.
  • the reference image signal 19 stored in the reference image buffer 206 is referred to when the predicted image signal 11 is generated by the predicted signal generation unit 203.
  • the decoding control unit 207 controls the decoding timing and controls the entire decoding.
  • the switching filter processing unit 205A illustrated in FIG. 6 includes a filter processing unit 208 and a loop filter switching unit 209.
  • the switch SW switches the connection between the terminal A and the terminal B.
  • the filter processing unit 208 receives the decoded image signal 21 and the filter coefficient information 17 restored by the entropy decoding unit 201, performs a filtering process on the decoded image signal 21 according to the filter coefficient information 17, and generates a restored image signal 20.
  • the generated restored image 20 is input to a loop filter switching unit 209 described later, and is output as an output image signal 22 at a timing managed by the decoding control unit 207.
  • the loop filter switching unit 209 receives the switching information 18 restored by the entropy decoding unit 201, switches the connection between the terminal A and the terminal B by the switch SW included therein according to the switching information 18, and the decoded image signal 21 or the restored image signal 20 Is output as a reference image signal 19.
  • the above is the configuration of the moving picture decoding apparatus according to the first embodiment.
  • FIG. 7 is a flowchart showing an operation related to the loop filter in the moving picture decoding apparatus 2000 according to the first embodiment.
  • the entropy decoding unit 201 adds prediction mode information, block size, in addition to the transform coefficient 13, filter coefficient information 17, and switching information 18. Switching information, motion vectors, quantization parameters, etc. are decoded according to the syntax structure of FIG.
  • the transform coefficient 13 decoded by the entropy decoding unit 201 is input to the inverse transform / inverse quantization unit 202 and is inversely quantized according to the quantization parameter set by the decoding control unit 207. .
  • An inverse orthogonal transform (for example, discrete cosine transform) is performed on the inversely quantized transform coefficient, and the prediction error image signal 15 is restored.
  • the prediction error image signal 15 is added by the adder 204 and the prediction image signal 11 output by the prediction signal generation unit 203, and the decoded image signal 21 is generated.
  • the series of processes described above is a general decoding process in moving picture encoding called so-called hybrid encoding that performs prediction processing and conversion processing.
  • the entropy decoding unit 201 entropy decodes the filter coefficient information 17 and the switching information 18 according to the syntax structure of FIG. 31 (step S2100).
  • filter coefficient information 17 which is a parameter relating to the loop filter of the present embodiment, and switching Information 18 is described.
  • filter_size_y and filter_size_x are values that determine the filter size.
  • the value indicating the filter size is described in the syntax.
  • a predetermined fixed value may be used as the filter size without describing in the syntax.
  • loop_filter_flag in FIG. 32 (a) is switching information 18, and loop_filter_flag for NumOfMacroblock, which is the total number of macroblocks in the slice, is decoded.
  • the filter processing unit 208 in FIG. 6 receives the decoded filter coefficient information 17 (step S2101).
  • the loop filter switching unit 209 receives the loop_filter_flag that is the decoded switching information 18 (step S2102)
  • the loop filter switching unit 209 switches the switch SW provided therein based on the value of the loop_filter_flag (step S2103).
  • loop_filter_flag is 0, the loop filter switching unit 209 connects the switch SW to the terminal A, and temporarily stores the decoded image signal 21 as the reference image signal 19 in the reference image buffer 206 (step S2104).
  • loop_filter_flag 1
  • the loop filter switching unit 209 connects the switch SW to the terminal B, and temporarily stores the restored image signal 20 as the reference image signal 19 in the reference image buffer 206 (step S2105).
  • the filter processing unit 113 performs a filtering process on the decoded image signal 21 based on the filter coefficient information 17 to generate the restored image signal 20.
  • the pixel at position (x, y) on the decoded image is F (x, y)
  • the width of the two-dimensional filter is W
  • the height is H
  • the restored image G (x, y) is expressed by [Equation 1].
  • the loop filter switching unit 209 receives the switching information 18 in units of macroblocks and switches the switch SW in accordance with the syntax of FIG.
  • the moving image decoding apparatus 2000 uses the same units. Decoding of the switching information 18 and switching of the switch SW in the switching unit 209 are executed. This completes the description of the operation related to the loop filter in the moving picture decoding apparatus 2000.
  • the filter coefficient information of the loop filter is set and the filter process is performed so that the error between the input picture and the prediction signal is minimized.
  • the loop filter switching unit 114 switches the local decoded image signal 16 or the restored image signal 20 to be used as a reference image for each local region, and the restored image signal 20 is referred to for a region where the image quality is lowered by the filter.
  • the moving picture code is obtained by performing the filtering process and the switching process using the same filter coefficient information and switching information as those of the moving picture encoding apparatus 1000. It is possible to ensure that the reference image in the encoding device 1000 and the reference image in the video decoding device 2000 are synchronized.
  • the switching filter processing unit 205A in the video decoding device 2000 outputs the reference image signal 19 as the output image signal 22, but like the switching filter processing unit 205B in FIG.
  • the decoded image signal 21 may be output as the output image signal 22, or the restored image signal 20 may be output as the output image signal 22 as in the switching filter processing unit 205C of FIG. In this case, switching information indicating that the decoded image or the restored image is used as the output image is generated.
  • a post filter switching unit 210 may be newly provided, and the output image signal 22 may be switched by switching the switch SW2 according to the switching information 18.
  • the switching information 18 for switching the output image signal 22 for example, post_filter_flag is described in the syntax in units of slices as shown in FIG. 32D, and the switch SW2 is switched accordingly.
  • post_filter_flag may be described in frame units, macroblock units, or block units having a size different from that of macroblocks.
  • the local decoded image signal 16 is subjected to filtering processing. You may use the image after performing a blocking filter process.
  • the moving image encoding apparatus 1000 and the moving image decoding apparatus 2000 can also be realized by using, for example, a general-purpose computer apparatus as basic hardware. That is, the prediction signal generation unit 101, the subtractor 102, the transform / quantization unit 103, the entropy coding unit 104, the inverse transform / inverse quantization unit 105, the adder 106, the loop filter processing unit 107, the reference image buffer 108, Encoding control unit 109, filter setting unit 110, switching filter processing unit 111, switching information generation unit 112, filter processing unit 113, loop filter switching unit 114, entropy decoding unit 201, inverse transform / inverse quantization unit 202, prediction
  • the signal generation unit 203, the adder 204, the loop filter processing unit 205, the reference image buffer 206, the decoding control unit 207, the filter processing unit 208, the loop filter switching unit 209, and the post filter switching unit 210 are included in the above computer apparatus.
  • the moving picture coding apparatus 1000 and the moving picture decoding apparatus 2000 may be realized by installing the above program in a computer apparatus in advance, or may be stored in a storage medium such as a CD-ROM, or The above program may be distributed via a network, and this program may be installed in a computer device as appropriate.
  • the reference image buffer 108 and the reference image buffer 206 are a memory, a hard disk or a storage medium such as a CD-R, a CD-RW, a DVD-RAM, a DVD-R, etc., which is built in or externally attached to the computer device. Can be realized by appropriately using.
  • a moving image encoding apparatus 3000 illustrated in FIG. 11 includes a switching information generation prediction unit 301A, a loop filter processing unit 302, a local decoded image buffer 303, a restored image buffer 304, a subtractor 102, a transform / quantization unit 103, an entropy.
  • the encoding unit 104, the inverse transform / inverse quantization unit 105, and the adder 106 are controlled by the encoding control unit 109.
  • the subtractor 102, the transform / quantization unit 103, the entropy encoding unit 104, the inverse transform / inverse quantization unit 105, the adder 106, and the encoding control unit 109 are the same as those in FIG. 1 according to the first embodiment. Since the operation is the same as that of the constituent elements of the same number in the moving picture encoding apparatus 1000, the description is omitted here.
  • the switching information generation prediction unit 301A includes a reference switching prediction unit 305A and a switching information generation unit 112 inside as illustrated in FIG.
  • the switching information generation unit 112 operates in the same manner as the components with the same numbers in the video encoding apparatus according to the first embodiment, the description thereof is omitted here.
  • the switching information generation prediction unit 301A acquires the local decoded image signal 16, the restored image signal 20, and the input image signal 10, and outputs the predicted image signal 11 and the switching information 18.
  • the loop filter processing unit 302 includes a filter setting unit 110 and a filter processing unit 113 as shown in FIG. Since the filter setting unit 110 and the filter processing unit 113 operate in the same manner as the components with the same numbers in the video encoding apparatus according to the first embodiment, the description thereof is omitted here.
  • the loop filter processing unit 302 acquires the local decoded image signal 16 and the input image signal 10 and outputs the restored image signal 20 and the filter coefficient information 17.
  • the local decoded image buffer 303 acquires the local decoded image signal 16 generated by the adder 106 and temporarily stores it.
  • the local decoded image signal 16 stored in the local decoded image buffer 303 is input to the switching information generation prediction unit 301A.
  • the restored image buffer 304 acquires the restored image signal 20 generated by the loop filter processing unit 302 and temporarily stores it.
  • the restored image signal 20 stored in the restored image buffer 304 is input to the switching information generation prediction unit 301A.
  • the reference switching prediction unit 305A includes a prediction signal generation unit 101 and a loop filter switching unit 114 as illustrated in FIG.
  • the reference switching prediction unit 305A acquires the local decoded image signal 16, the restored image signal 20, and the switching information 18, and based on the acquired switching information 18, either the local decoded image signal 16 or the restored image signal 20 is referred to as a reference image.
  • a predetermined prediction process is performed, and a predicted image signal 11 is output.
  • the prediction process may use, for example, prediction in the temporal direction by motion prediction / motion compensation, prediction in the spatial direction from decoded pixels in the screen, or the like.
  • the above is the configuration of the video encoding apparatus according to the second embodiment.
  • FIG. 15 is a flowchart showing an operation related to the loop filter in the video encoding device 3000 according to the second embodiment.
  • step S3100 The filter setting unit 110 in the loop filter processing unit 302 acquires the locally decoded image signal 16 and the input image signal 10 and sets the filter coefficient information 17 (step S3101).
  • a filter coefficient is used so that the mean square error between the image obtained by filtering the locally decoded image signal 16 and the input image signal 10 using a two-dimensional Wiener filter generally used in image restoration is minimized.
  • a value indicating the designed filter coefficient and filter size is set as the filter coefficient information 17.
  • the set filter coefficient information 17 is output to the filter processing unit 113 in the loop filter processing unit 302 and also to the entropy encoding unit 104.
  • the filter processing unit 113 inside the loop filter processing unit 302 performs filter processing on the locally decoded image signal 16 using the filter coefficient information 17 acquired from the filter setting unit 110, and generates the restored image signal 20 (step S3102). ).
  • the generated restored image signal 20 is temporarily stored in the restored image buffer 304 (step S3103).
  • the filter coefficient information 17 generated by the filter setting unit 110 is encoded by the entropy encoding unit 104 and multiplexed into the bit stream together with the transformed transform coefficient 13, the prediction mode information, the block size switching information, the motion vector, the quantization parameter, and the like. And transmitted to the moving picture decoding apparatus 4000 described later (step S3104).
  • the filter coefficient information 17 is described as shown in FIG. 32B in the loop filter data syntax (1906) belonging to the slice level syntax (1903) in the syntax structure of FIG.
  • filter_coeff [cy] [cx] in FIG. 32B which is the filter coefficient information 17 is a coefficient of the two-dimensional filter
  • filter_size_y and filter_size_x are values that determine the filter size.
  • the value indicating the filter size is described in the syntax.
  • a predetermined fixed value may be used as the filter size without describing in the syntax.
  • the filter size is a fixed value, it should be noted that the same value must be used in the moving picture coding apparatus 3000 and a moving picture decoding apparatus 4000 described later.
  • the switching information generation prediction unit 301A performs a predetermined prediction process using the local decoded image signal 16 or the restored image signal 20 as a reference image, and outputs the predicted image signal 11 (steps S3105 to 3113).
  • the reference switching prediction unit 305A obtains a predicted image when the local decoded image is used as a reference image and a predicted image when the restored image is used as a reference image, and based on these, the switching information generation unit 112 is obtained. Performs a switching determination process, and generates switching information 18 for determining which of the local decoded image and the restored image is the reference image.
  • the reference switching prediction unit 305A switches the switch SW inside the loop filter switching unit 114 in FIG. 13 based on the generated switching information 18, and outputs the predicted image signal 11. A detailed description of the operation from step 3105 to step 3113 will be given below.
  • the reference switching prediction unit 305A connects the switch SW in the loop filter switching unit 114 of FIG. 13 to the terminal A, and the prediction signal generation unit 101 acquires the prediction image signal 11 using the local decoded image signal 16 as a reference image. 12 to the switching information generation unit 112 (step S3105).
  • the reference switching prediction unit 305A connects the switch SW to the terminal B, the prediction signal generation unit 101 acquires the prediction image signal 11 using the restored image signal 20 as a reference image, and inputs the prediction image signal 11 to the switching information generation unit 112 in FIG. (Step S3106).
  • the switching information generation unit 112 performs a residual sum of squares SSD A between the predicted image acquired from the locally decoded image signal 16 and the input image signal 10 and a residual between the predicted image acquired from the restored image signal 20 and the input image signal 10.
  • a sum of squares SSD B is calculated (step S3107).
  • SSD A and SSD B are expressed by the same equation as [Equation 2], where F i is a predicted image acquired from the locally decoded image signal 16 and G i is a predicted image acquired from the restored image signal 20.
  • the switching information generation unit 112 performs the following switching determination process based on SSD A and SSD B (step S3108). If SSD A is equal to or less than SSD B , 0 is set to loop_filter_flag which is switching information 18 (step S3109). Conversely, if SSD A is greater than SSD B , 1 is set in loop_filter_flag (step S3110).
  • the switching determination process is performed for each macroblock, and the switching information 18 is output in units of macroblocks.
  • the switching determination process may be determined for each frame, each slice, or each block having a different size from the macroblock. In this case, the switching information 18 is also output in a unit corresponding to the determination result.
  • the switching determination process may use a general method as the motion prediction process. For example, for the residual sum of squares D, switching information, reference It is also possible to calculate a cost J such as the following equation that takes into account a code amount R of parameter information such as an image index and a motion vector for each of the locally decoded image and the restored image, and perform the determination using the cost J.
  • a cost J such as the following equation that takes into account a code amount R of parameter information such as an image index and a motion vector for each of the locally decoded image and the restored image, and perform the determination using the cost J.
  • Equation 3 is given as a constant and is determined based on the quantization width and the value of the quantization parameter.
  • the switching information, the reference image index, and the motion vector that give the smallest value of the cost J thus obtained are encoded.
  • the residual sum of squares is used.
  • the residual absolute value sum may be used, or Hadamard transform may be used or an approximate value may be used. Also good.
  • the cost may be created using the activity of the input image, or the cost function may be created using the quantization width and the quantization parameter.
  • the prediction process is not limited to motion prediction, and if the prediction process requires a certain parameter, the cost J may be calculated using the above equation with the code amount of the parameter as R.
  • the loop filter switching unit 114 in FIG. 13 receives the loop_filter_flag that is the generated switching information 18, and switches the switch SW provided therein based on the value of the loop_filter_flag (step S3111).
  • loop_filter_flag When loop_filter_flag is 0, the loop filter switching unit 114 connects the switch SW to the terminal A, outputs the local decoded image signal 16 as the reference image signal 19, and the prediction signal generation unit 101 outputs the prediction image signal 11. Generate (step S3112).
  • loop_filter_flag is 1
  • the loop filter switching unit 114 connects the switch SW to the terminal B, outputs the restored image signal 20 as the reference image signal 19, and the prediction signal generation unit 101 outputs the prediction image signal 11. Is generated (step S3113).
  • the above is the operation from step 3105 to step 3113 in the switching information generation prediction unit 301A.
  • the entropy encoding unit 104 encodes the switching information 18 and multiplexes it into a bit stream together with the transform coefficient 13 after quantization, prediction mode information, block size switching information, motion vector, quantization parameter, etc. It transmits to the image decoding apparatus 4000 (step S3114).
  • loop_filter_flag which is the switching information 18 is described as shown in FIG. 32C in the macroblock layer syntax (1908) belonging to the macroblock level syntax (1907) in the syntax structure of FIG. The above is the description of the operation related to the loop filter in the moving image coding apparatus 3000.
  • the moving picture decoding apparatus 4000 shown in FIG. 16 includes a reference switching prediction unit 401A, a decoded image buffer 402, a restored image buffer 403, an entropy decoding unit 201, an inverse transform / inverse quantization unit 202, an adder 204, a filter It has a processing unit 208 and is controlled by the decoding control unit 206.
  • the entropy decoding unit 201, the inverse transform / inverse quantization unit 202, the adder 204, the filter processing unit 208, and the decoding control unit 206 are the same in the moving picture decoding apparatus 2000 according to the first embodiment. Since the operation is the same as that of the numbered components, the description is omitted here.
  • the reference switching prediction unit 401A includes a prediction signal generation unit 203 and a loop filter switching unit 209 as illustrated in FIG. Since the prediction signal generation unit 203 and the loop filter switching unit 209 operate in the same manner as the components with the same numbers in the video decoding device 2000 according to the first embodiment, descriptions thereof are omitted here.
  • the reference switching prediction unit 401 ⁇ / b> A receives the decoded image signal 21, the restored image signal 20, and the switching information 18 decoded by the entropy decoding unit 201, and based on the received switching information 18, the reference switching prediction unit 401 ⁇ / b> A
  • a predetermined prediction process is performed using either one as a reference image, and a predicted image signal 11 is output.
  • the prediction process may use, for example, prediction in the time direction by motion compensation, prediction in the spatial direction from decoded pixels in the screen, or the like, but the same prediction process as that of the video encoding device 3000 is executed. Note that.
  • the decoded image buffer 402 acquires the decoded image signal 21 generated by the adder 204 and temporarily stores it.
  • the decoded image signal 21 stored in the decoded image buffer 402 is input to the reference switching prediction unit 401A.
  • the restored image buffer 403 acquires the restored image signal 20 generated by the filter processing unit 208 and temporarily stores it.
  • the restored image signal 20 stored in the restored image buffer 403 is input to the reference switching prediction unit 401A.
  • FIG. 18 is a flowchart showing an operation related to the loop filter in the moving picture decoding apparatus 4000 according to the second embodiment.
  • the entropy decoding unit 201 adds transform coefficient 13, prediction mode information, block size switching information, filter coefficient information 17 and switching information 18, Motion vectors, quantization parameters, etc. are decoded according to the syntax structure of FIG. 31 (step S4100).
  • filter coefficient information 17 is described as shown in FIG. 32 (b).
  • filter_coeff [cy] [cx] in FIG. 32B which is the filter coefficient information 17 is a coefficient of the two-dimensional filter
  • filter_size_y and filter_size_x are values that determine the filter size.
  • the value indicating the filter size is described in the syntax.
  • a predetermined fixed value may be used as the filter size without describing in the syntax.
  • the filter size is a fixed value, it should be noted that the same value must be used in the video encoding device 3000 and the video decoding device 4000.
  • loop_filter_flag is described as the switching information 18, as shown in FIG. 32 (c).
  • the transform coefficient 13 decoded by the entropy decoding unit 201 is subjected to entropy decoding, inverse quantization, and inverse transform, as in the case of the conventional hybrid coding and the moving picture decoding apparatus 2000 according to the first embodiment.
  • the prediction image signal 11 output from the switching prediction unit 401 ⁇ / b> A is added and output as the decoded image signal 21.
  • the decoded image signal 21 is output to the filter processing unit 208 and temporarily stored in the decoded image buffer 402 (step S4101).
  • the filter processing unit 208 acquires the filter coefficient information 17 restored by the entropy decoding unit 201 (step S4102). Also, the filter processing unit 208 receives the decoded image signal 21, performs filter processing on the decoded image using the filter coefficient information 17, and generates the restored image signal 20 (step S4103). The filter processing unit 208 outputs the generated restored image signal 20 as the output image signal 22, and temporarily stores it in the restored image buffer 403 (step S4104).
  • the reference switching prediction unit 401A generates the predicted image signal 11 using the decoded image signal 21 or the restored image signal 20 as a reference image (steps 4105 to 4108).
  • the operation from step 4105 to step 4108 will be described.
  • the reference switching prediction unit 401A in FIG. 17 acquires loop_filter_flag that is the decoded switching information 18 (step S4105).
  • the loop filter switching unit 209 inside the reference switching prediction unit 401A switches the switch SW based on the acquired loop_filter_flag (step S4106).
  • loop_filter_flag is 0, the loop filter switching unit 209 connects the switch SW to the terminal A, acquires the decoded image signal 21 as the reference image signal 19, and sends it to the prediction signal generation unit 203.
  • the predicted signal generation unit 203 generates the predicted image signal 11 based on the reference image signal 19 corresponding to the decoded image signal 21 (step S4107).
  • loop_filter_flag 1
  • the loop filter switching unit 209 connects the switch SW to the terminal B, acquires the restored image signal 20 as the reference image signal 19, and sends it to the prediction signal generation unit 203.
  • the predicted signal generation unit 203 generates the predicted image signal 11 based on the reference image signal 19 corresponding to the restored image signal 20 (step S4108).
  • step S4108 The above is the operation from step S4105 to step S4108 in the reference switching prediction unit 401A.
  • the reference switching prediction unit 401A acquires the switching information 18 in units of macroblocks and switches the switch SW according to the syntax of FIG.
  • the video decoding device 4000 when the video encoding device 3000 encodes the switching information 18 in units of frames, slices, or blocks having a size different from that of a macroblock, the video decoding device 4000 is in the same units. Decoding of the switching information 18 and switching of the switch SW in the loop filter switching unit 209 are executed. This completes the description of the operation relating to the loop filter in the moving picture decoding apparatus 4000.
  • the filter coefficient information of the loop filter that minimizes the error between the input image and the prediction signal is set and the filtering process is performed.
  • the image quality of the reference image can be improved. Further, the image quality is reduced by the filter by switching which of the local decoded image signal 16 and the restored image signal 20 is used as a reference image by the loop filter switching unit 114 provided in the switching information generation prediction unit 301A.
  • the use of the restored image signal 20 as a reference image prevents the image quality deterioration from being propagated, and for the region where the image quality is improved, the restored image signal 20 is used as a reference image to improve the prediction accuracy. Is possible.
  • the video decoding device 4000 by performing filter processing and switching of reference images using filter coefficient information and switching information similar to those of the video encoding device 3000, moving images It can be ensured that the reference image in the image encoding device 3000 and the reference image in the moving image decoding device 4000 are synchronized.
  • the restored image signal 20 generated by the filter processing unit 208 is output as the output image signal 22, but as another embodiment, the decoded image signal 20 is output. 21 may be output as the output image signal 22.
  • the local decoded image signal 16 is subjected to filtering processing. You may use the image after performing a blocking filter process.
  • the reference switching prediction unit 401A acquires and uses the restored image signal 20 temporarily stored in the restored image buffer.
  • a restored image may be generated inside the reference image switching prediction unit by providing a filter processing unit inside the reference switching prediction unit without having a restored image buffer.
  • FIGS. 19 to 23 show diagrams relating to the moving picture coding apparatus and the moving picture decoding apparatus in such an embodiment.
  • the switching information generation prediction unit 301B in FIG. 20 includes a reference switching prediction unit 305B.
  • the reference switching prediction unit 305B in FIG. 21 includes a filter processing unit 113 therein, and thereby can generate the restored image signal 20 by acquiring the local decoded image signal 16 and the filter coefficient information 17.
  • the moving picture decoding apparatus 4001 in FIG. 22 includes a reference switching prediction unit 401B.
  • the reference switching prediction unit 401B of FIG. 23 includes a filter processing unit 208 inside, and thereby can generate the restored image signal 20 by acquiring the decoded image signal 21 and the filter coefficient information 17.
  • the moving image encoding device 3000 and the moving image decoding are reduced while reducing the amount of memory necessary for the restored image buffer. It is possible to realize the same operation as the digitizing device 4000.
  • the moving image encoding devices 3000 and 3001 and the moving image decoding devices 4000 and 4001 can be realized by using, for example, a general-purpose computer device as basic hardware. That is, the switching information generation prediction unit 301, the loop filter processing unit 302, the local decoded image buffer 303, the restored image buffer 304, the reference switching prediction unit 305, the prediction signal generation unit 101, the subtractor 102, and the transform / quantization unit 103 , Entropy encoding unit 104, inverse transform / inverse quantization unit 105, adder 106, encoding control unit 109, filter setting unit 110, switching information generation unit 112, filter processing unit 113, loop filter switching unit 114, reference switching Prediction unit 401, decoded image buffer 402, restored image buffer 403, entropy decoding unit 201, inverse transform / inverse quantization unit 202, prediction signal generation unit 203, adder 204, decoding control unit 206, filter processing unit 208 and the loop filter switching unit 209 are a processor mounted
  • the moving image encoding devices 3000 and 3001 and the moving image decoding devices 4000 and 4001 may be realized by installing the above-described program in a computer device in advance, or may be stored in a storage medium such as a CD-ROM. Alternatively, the above program may be distributed via a network, and this program may be installed in a computer device as appropriate.
  • the local decoded image buffer 303, the restored image buffer 304, the decoded image buffer 402, and the restored image buffer 403 are a memory, a hard disk or a CD-R, a CD- It can be realized by appropriately using storage media such as RW, DVD-RAM, and DVD-R.
  • FIG. 24 includes a loop filter processing unit 501, a prediction signal generation unit 101, a subtractor 102, a transform / quantization unit 103, an entropy coding unit 104, an inverse transform / inverse quantization unit 105, An adder 106 and a reference image buffer 108 are included, and are controlled by the encoding control unit 109.
  • Reference numeral 109 denotes an operation similar to that of the constituent elements with the same numbers in the moving picture encoding apparatus 1000 of FIG. 1 according to the first embodiment, and a description thereof is omitted here.
  • the loop filter processing unit 501 receives the local decoded image signal 16 and the input image signal 10 and outputs a reference image signal 19 and filter coefficient information 17. A detailed description of the loop filter processing unit 501 will be described later.
  • a loop filter processing unit 501 illustrated in FIG. 25 includes a filter setting unit 110 and a switching information generation filter processing unit 502. Further, the switching information generation filter processing unit 502 includes a switching filter processing unit 111 as illustrated in FIG. And a switching information generation unit 503.
  • the filter setting unit 110 and the switching filter processing unit 111 operate in the same manner as the components with the same numbers in the loop filter processing unit 107 of FIG. 2 according to the first embodiment, and thus description thereof is omitted here. .
  • the switching information generation unit 503 is controlled by the encoding control unit 109, receives the locally decoded image signal 16, and generates switching information 18 according to a predetermined switching determination method.
  • the generated switching information 18 is input to the switching filter processing unit 111. Details of the switching determination method will be described later.
  • the above is the configuration of the video encoding apparatus according to the third embodiment.
  • FIG. 25 is a flowchart showing an operation related to the loop filter in the moving picture coding apparatus 5000 according to the third embodiment.
  • the filter setting unit 110 shown in FIG. 25 acquires the local decoded image signal 16 and the input image signal 10, and sets the filter coefficient information 17 (step S5100).
  • the filter setting unit 110 uses a two-dimensional Wiener filter generally used in image restoration, and the mean square error between the image obtained by filtering the locally decoded image signal 16 and the input image signal 10 is minimized.
  • the filter coefficient is designed so that the filter coefficient information 17 is set as a value indicating the designed filter coefficient and filter size.
  • the set filter coefficient information 17 is output to the switching information generation filter processing unit 502 illustrated in FIG. 25 and is also output to the entropy encoding unit 104.
  • the switching information generation unit 503 provided in the switching information generation filter processing unit 502 illustrated in FIG. 26 acquires the local decoded image signal 16 (step S5101).
  • the switching information generation unit 503 calculates the difference absolute value sum SAD between the pixel of interest in the local decoded image signal 16 and the surrounding pixels in units of pixels (step S5102).
  • SAD is expressed by the following equation, where x and y are the coordinates of a pixel in the locally decoded image, and F (x, y) is the locally decoded image.
  • the following switching determination process is performed using the SAD and the threshold value T preset in the encoding control unit 109 (step S5103). If SAD is equal to or less than T, 0 is set to loop_filter_flag which is switching information 18 (step S5104). Conversely, if SAD is greater than T, 1 is set to loop_filter_flag (step S5105).
  • the switching information 18 is obtained in units of pixels, but as another embodiment, the switching determination process may be determined in units of frames, slice units, macroblock units, or block units having a size different from the macroblock, In that case, the switching information 18 is also output in a unit corresponding thereto.
  • the sum of absolute differences between the target pixel and the surrounding pixels is used here, as another embodiment, the sum of squared differences may be used. Indicators such as frequency, edge strength, and edge direction may be used.
  • the index is calculated from the local decoded image. However, a restored image obtained by performing filter processing on the local decoded image may be acquired, and the index may be calculated from the restored image.
  • the switching determination process may be performed based on a quantization parameter that is a part of encoding information, a block size, a prediction mode, a motion vector, a transform coefficient, and the like.
  • the switching filter processing unit 111 illustrated in FIG. 26 acquires the local decoded image signal 16 and the filter coefficient information 17 in addition to the generated switching information 18, and the moving image encoding apparatus 1000 according to the first embodiment
  • the reference image signal 19 is output by performing the same operations as in steps S1107 to S1109 in FIG. That is, the loop filter switching unit 114 in FIG. 3 acquires the loop_filter_flag that is the generated switching information 18, and switches the switch SW provided therein based on the value of the loop_filter_flag (step S5106).
  • loop_filter_flag is 0, the loop filter switching unit 114 connects the switch SW to the terminal A, and temporarily stores the local decoded image signal 16 as the reference image signal 19 in the reference image buffer 108 (step S5107).
  • loop_filter_flag is 1
  • the loop filter switching unit 114 connects the switch SW to the terminal B, and temporarily stores the restored image signal 20 as the reference image signal 19 in the reference image buffer 108 (switch S5108).
  • the filter coefficient information 17 generated by the filter setting unit 110 is encoded by the entropy encoding unit 104, and the quantized transform coefficient 13, prediction mode information, block size switching information, motion vector, quantization parameter, etc. At the same time, it is multiplexed into a bit stream and transmitted to the moving picture decoding apparatus 6000 described later (step S5109).
  • the filter coefficient information 17 is described as shown in FIG. 32B in the loop filter data syntax (1906) belonging to the slice level syntax (1903) in the syntax structure of FIG. Filter_coeff [cy] [cx] in FIG. 32B which is the filter coefficient information 17 is a coefficient of a two-dimensional filter, and filter_size_y and filter_size_x are values that determine the filter size.
  • the value indicating the filter size is described in the syntax.
  • a predetermined fixed value may be used as the filter size without describing in the syntax.
  • the filter size is a fixed value, it should be noted that the same value must be used in the video encoding device 5000 and the video decoding device 6000 described later. This completes the description of the operation relating to the loop filter in the moving image encoding apparatus 5000.
  • FIG. 28 A moving picture decoding apparatus according to the third embodiment will be described with reference to FIG. Hereinafter, the components of FIG. 28 will be described respectively.
  • a switching information generation filter processing unit 601 includes a switching information generation filter processing unit 601, an entropy decoding unit 201, an inverse transform / inverse quantization unit 202, a prediction signal generation unit 203, an adder 204, and a reference image buffer 206. And is controlled by the decoding control unit 207.
  • the entropy decoding unit 201, the inverse transform / inverse quantization unit 202, the prediction signal generation unit 203, the adder 204, the reference image buffer 206, and the decoding control unit 207 are related to the first embodiment. Since the same operation as that of the constituent elements of the same number in the moving picture decoding apparatus 2000 of FIG.
  • the switching information generation filter processing unit 601 acquires the decoded image signal 21 and the filter coefficient information 17 and outputs the reference image signal 19 and the output image signal 22. A detailed description of the switching information generation filter processing unit 601 will be described later.
  • a switching information generation filter processing unit 601 illustrated in FIG. 29 includes a switching information generation unit 602 and a switching filter processing unit 205.
  • the switching filter processing unit 205 operates in the same manner as the components with the same numbers in the moving picture decoding apparatus 2000 of FIG. 5 according to the first embodiment, and thus description thereof is omitted here.
  • the switching information generation unit 602 is controlled by the decoding control unit 207, acquires the decoded image signal 21, and generates the switching information 18 according to a predetermined switching determination method.
  • the generated switching information 18 is input to the switching filter processing unit 205. Details of the switching determination method will be described later.
  • the above is the configuration of the moving picture decoding apparatus according to the third embodiment.
  • FIG. 30 is a flowchart showing an operation related to the loop filter in the video decoding device 6000 according to the third embodiment.
  • the entropy decoding unit 201 decodes the filter coefficient information 17 according to the syntax structure of FIG. 31 (step S6100).
  • filter coefficient information 17 is described as shown in FIG. 32 (b).
  • filter_coeff [cy] [cx] in FIG. 32B which is the filter coefficient information 17 is a coefficient of the two-dimensional filter
  • filter_size_y and filter_size_x are values that determine the filter size.
  • the value indicating the filter size is described in the syntax.
  • a predetermined fixed value may be used without description in the syntax.
  • the filter size is a fixed value, similar values must be used in the moving image encoding device 5000 and the moving image decoding device 6000.
  • the switching information generation filter processing unit 601 acquires the decoded filter coefficient information 17 (step S6101). Also, the switching information generation filter processing unit 601 acquires the decoded image signal 21 acquired from the adder 204 (step S6102).
  • the switching information generation unit 602 provided in the switching information generation filter processing unit 601 illustrated in FIG. 29 calculates a difference absolute value sum SAD between the pixel of interest in the decoded image signal 21 and its surrounding pixels in units of pixels ( Step S6103).
  • SAD is expressed by [Equation 4] where x and y are the coordinates of pixels in the decoded image, and F (x, y) is the decoded image.
  • the following switching determination process is performed using the SAD and the threshold value T set in the decoding control unit 207 in advance (step S6104).
  • the threshold value T is the same value as the threshold value T set by the moving picture encoding apparatus 5000. If SAD is equal to or less than T, 0 is set to loop_filter_flag which is switching information 18 (step S6105). On the other hand, if SAD is greater than T, 1 is set to loop_filter_flag (step S6106).
  • the switching information 18 is obtained in units of pixels, but as another embodiment, the switching determination process may be determined in units of frames, slice units, macroblock units, or block units having a size different from the macroblock, In that case, the switching information 18 is also decoded in a unit corresponding thereto.
  • the sum of absolute differences between the target pixel and the surrounding pixels is used here, as another embodiment, a sum of squared differences may be used, and any activity or spatial frequency may be used as long as it is an index that can be calculated from the decoded image. Indices such as edge strength and edge direction may be used.
  • the index is calculated from the decoded image.
  • a restored image obtained by performing filter processing on the decoded image may be acquired, and the index may be calculated from the restored image.
  • the switching determination process may be performed based on a quantization parameter that is a part of encoding information, a block size, a prediction mode, a motion vector, a transform coefficient, and the like.
  • the switching information generation unit 602 in the video decoding device 6000 must perform the same switching determination process as the switching information generation unit 503 in the video encoding device 5000.
  • the switching filter processing unit 205 illustrated in FIG. 29 acquires the decoded image signal 21 and the filter coefficient information 17 in addition to the generated switching information 18 and performs the steps in FIG. 7 in the video decoding device 2000 according to the first embodiment.
  • the reference image signal 19 is output by performing the same operation from S2103 to step S2105. That is, the loop filter switching unit 205A of FIG. 6 acquires the loop_filter_flag that is the generated switching information 18, and switches the switch SW provided therein based on the value of the loop_filter_flag (step S6107).
  • loop_filter_flag is 0, the loop filter switching unit 205A connects the switch SW to the terminal A, and temporarily stores the decoded image signal 21 as the reference image signal 19 in the reference image buffer 206 (step S6108).
  • loop_filter_flag is 1
  • the loop filter switching unit 205A connects the switch SW to the terminal B, and temporarily stores the restored image signal 20 as the reference image signal 19 in the reference image buffer 206 (switch S6109).
  • the switching information generation filter processing unit 601 uses the acquired decoded image signal 21, and is the same as the switching information generation filter processing unit 502 of FIG. 26 in the video encoding device according to the third embodiment.
  • the switching information 18 is generated by the operation, and the reference image signal 19 is output.
  • the above is the description of the operation related to the loop filter in the video decoding device 6000.
  • the filter processing is performed by setting the filter coefficient information of the loop filter that minimizes the error between the input image and the predicted image.
  • the image quality of the reference image can be improved.
  • the loop filter switching unit 114 switches between the local decoded image signal 16 and the restored image signal 18 as a reference image for each local region using an index calculated from the local decoded image 16, so that Propagation of image quality degradation can be prevented, and encoding efficiency can be improved.
  • a moving picture is obtained by performing filter processing using the same filter coefficient information as that of the moving picture encoding apparatus and performing the same switching determination process. It can be ensured that the reference image in the encoding device and the reference image in the moving image decoding device are synchronized.
  • the decoding side by generating the switching information on the encoding side based on an index that can be calculated from the local decoded image, the decoding side also Similar switching information can be calculated from the decoded image. Therefore, it is possible to reduce the code amount when the switching information is encoded.
  • the switching filter processing unit 205 is configured as shown in FIG. 8 or FIG. 9, similarly to the moving picture decoding apparatus 2000 according to the first embodiment. By doing so, the decoded image 21 or the reference image 19 may be output as the output image signal 22.
  • the switch filter processing unit 205 is configured as shown in FIG. 10, and the switch information generating unit newly generates the switch information for the post filter, thereby switching the switch SW2 provided in the post filter switching unit 210 of FIG. Thus, the output image signal 22 may be switched.
  • the local decoded image signal 16 is subjected to filter processing. You may use the image after performing a blocking filter process.
  • the moving image encoding device 5000 and the moving image decoding device 6000 can also be realized by using, for example, a general-purpose computer device as basic hardware. That is, the loop filter processing unit 501, the switching information generation filter processing unit 502, the switching information generation unit 503, the prediction signal generation unit 101, the subtractor 102, the transform / quantization unit 103, the entropy coding unit 104, the inverse transform / inverse quantum Unit 105, adder 106, reference image buffer 108, encoding control unit 109, filter setting unit 110, switching filter processing unit 111, switching information generation filter processing unit 601, switching information generation unit 602, entropy decoding unit 201 , An inverse transform / inverse quantization unit 202, a prediction signal generation unit 203, an adder 204, a switching filter processing unit 205, a reference image buffer 206, and a decoding control unit 207 are programmed in a processor mounted on the computer device.
  • the moving image encoding device 5000 and the moving image decoding device 6000 may be realized by installing the above program in a computer device in advance, or may be stored in a storage medium such as a CD-ROM, or The above program may be distributed via a network, and this program may be installed in a computer device as appropriate.
  • the reference image buffer 108 and the reference image buffer 206 are a memory, a hard disk or a storage medium such as a CD-R, a CD-RW, a DVD-RAM, a DVD-R, etc. incorporated in or externally attached to the computer device. Can be realized by appropriately using.
  • the switching information is set in units of 16 ⁇ 16 pixel macroblocks.
  • the unit for setting the switching information in the present embodiment is not limited to the macro block, and a sequence, a frame, or a slice or pixel block obtained by dividing the screen can be used.
  • the switching filter processing unit 111 in the encoding device and the decoding device according to the fourth embodiment will be described with reference to FIGS.
  • the switching filter processing unit 111 in FIGS. 37 and 38 is a modification of the switching filter processing unit 111 in FIGS. 3 and 6, and performs a filter process only when the restored image signal 20 is used as a reference image by the switch SW. It has become. That is, in FIG. 37, the switch SW is provided in the preceding stage of the filter processing unit 113, the terminal A of the switch SW is directly derived to the reference image buffer 108, and the local decoded image signal 16 is directly used as the reference image signal in the buffer 108. Stored.
  • the terminal B of the switch SW is derived to the reference image buffer 108 via the filter processing unit 113, and the local decoded image signal 16 is filtered by the filter processing unit 113 according to the filter coefficient information 17 and then buffered as a reference image signal. 108.
  • a switch SW is provided in front of the filter processing unit 208, the terminal A of the switch SW is directly derived to the output line, and the decoded image signal 21 is output as it is to the output line.
  • the terminal B of the switch SW is led to the output line through the filter processing unit 208, and the decoded image signal is filtered according to the filter coefficient information 17 by the filter processing unit 208 and then as the reference image signal 19 and the output image signal 22. Output to the output line.
  • the switching filter processing unit 111 of FIGS. 37 and 38 has a filter processing unit 113 and a loop filter switching unit 114 inside, similarly to the switching filter processing unit 111 in the first embodiment described above.
  • the local decoded image signal 16 or the decoded image signal 21, the filter coefficient information 17, and the switching information 18 are acquired, and the reference image signal 19 is output.
  • the area setting information 23 is simultaneously acquired and input to the loop filter switching unit 114.
  • the area setting information 23 is information for controlling the timing of switching the switch SW in accordance with the block size, and indicates the size of one block when the screen is divided into rectangular blocks.
  • the area setting information 23 may be a block size value itself, or may be an index in an area size definition table that determines a block size prepared in advance.
  • FIG. 39 (a) An example of the area size definition table is shown in FIG.
  • the index of a square block of 4 pixels in the vertical and horizontal directions, which is the smallest block size, is set to 0, and the number of pixels on one side is increased by 2 to 8 ⁇ 512 ⁇ 512 pixels Two block sizes are available.
  • the encoding side encodes the index determined by the area size definition table in FIG. 39A as block information, and the decoding side has the same
  • the block size is determined from the decoded block information using the region size definition table.
  • the region size definition table (a) is provided in the encoding control unit and the decoding control unit.
  • filter_block_size indicates the area setting information 23
  • NumOfBlock is the total number of blocks in one slice determined by the block size indicated by filter_block_size.
  • the area size definition table of FIG. 39A if the index that is the area setting information is set to 0, the slice is divided into 4 ⁇ 4 pixel blocks, and loop_filter_flag for each 4 ⁇ 4 pixel block. Is encoded. Thereby, in the slice, it is possible to switch the switch SW in the switching filter processing unit 111 for each 4 ⁇ 4 pixel block on both the encoding side and the decoding side.
  • a division method for a basic block size may be used as region setting information. For example, as shown in the area size definition table in FIG. 39B, four block division methods of “no division”, “horizontal two divisions”, “vertical two divisions”, and “vertical and horizontal divisions” are prepared. Assign an index number. Thereby, when the basic block size is a 16 ⁇ 16 pixel block and an 8 ⁇ 8 pixel block, the block shape shown in FIG. 40 can be obtained. As shown in FIG.
  • FIG. 41 shows an example of a reference image when the basic block size is 16 ⁇ 16 and 8 ⁇ 8.
  • the region size definition table (b) is provided in the encoding control unit and the decoding control unit.
  • the moving picture encoding and decoding method according to the fourth embodiment, by setting and encoding the area setting information for dividing the area in the screen, diversity is provided for the block division of the screen.
  • the switching information for each divided block it is possible to adaptively control the switching timing of the filter processing for each frame or each local region in the frame.
  • a plurality of area size definition tables described above are prepared, which contributes to the code amount of the image to which the loop filter is applied, and switches the area size definition table based on predetermined information obtained on both the encoding and decoding sides. May be used.
  • a plurality of area size definition tables as shown in FIG. 39C are prepared in, for example, the encoding control unit and the decoding control unit, and the image size, the picture type, and the quantization parameter that determines the quantization roughness are used.
  • the area size regulation table can be switched.
  • the code amount tends to be I picture> P picture> B picture. Therefore, the B picture encoded with a small code amount has a large size.
  • An area size defining table prepared with the blocks is used.
  • the block size can be selected more adaptively using a limited index number by switching a plurality of area size defining tables having different block sizes.
  • the block information may be a local decoded image or a block size synchronized with a motion compensation block size and a transform block size used for encoding and decoding when generating a decoded image.
  • the switching timing of the filter processing can be changed without describing the block information in the loop filter data syntax (1906), and the amount of codes related to the block information can be reduced.
  • the dividing method is not limited to the rectangular blocks as long as the same area division can be realized by both the encoding device and the decoding device.
  • the loop filter processing unit 107 in FIG. 43 has the same components as the loop filter processing unit 107 in FIG. 2 in the first embodiment described above, and internally includes a filter setting unit 110, a switching filter processing unit 111, and switching information generation.
  • the local decoding image signal 16 and the input image signal 10 are acquired, and the filter coefficient information 17, the switching information 18, and the reference image signal 19 are output.
  • the switching information 18 is set for each local region obtained by dividing the screen, and the switching information 18 is input to the filter setting unit 110, whereby the region used for the filter setting based on the switching information 18. To get selectively.
  • R is the maximum value of the set number of filter coefficient information
  • N is the total number of local areas into which the screen is divided.
  • filter coefficient information is set in the filter setting unit 110 in FIG. 43 (step S1100).
  • an image reference image signal 19 obtained by applying a filtering process to the locally decoded image signal 16 using a two-dimensional Wiener filter generally used in image restoration is inputted.
  • the filter coefficient is designed so that the mean square error with the image signal 10 is minimized, and a value indicating the designed filter coefficient and filter size is set as the filter coefficient information 17.
  • the mean square error is calculated using only the region in which loop_filter_flag that is input switching information is set to 1.
  • the average square error of the entire screen is minimized as in the first embodiment.
  • the switching filter processing unit 111 in FIG. 43 sets the switching information 18 for each local region obtained by dividing the screen. That is, assuming that the area number is n, first, 0 is set to n (step S7103), and n is incremented by 1 (step S7104). Next, the same processing of steps S1101 to S1109 as in the first embodiment is performed on the nth region. The above processing is repeated until n reaches the total number N (step S7105).
  • the setting of the filter coefficient information for the second and subsequent times is limited to an area where loop_filter_flag is set to 1, and the mean square error is minimized.
  • a filter can be set. For example, when the reference image obtained by the switching information set for the first time is as shown in FIG. 33, the setting of the filter coefficient information for the second time is limited only to “macroblock to which the loop filter is applied”. A filter that minimizes the mean square error can be set. As a result, a filter having a larger image quality improvement effect can be set for the “macroblock to which the loop filter is applied”.
  • the present invention is not limited to the above-described first to third embodiments and the like, and can be embodied by modifying the constituent elements without departing from the scope in the implementation stage.
  • various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment.
  • constituent elements over different embodiments may be appropriately combined.
  • FIG. 45 shows the filter processing unit existing in both the video encoding device and the video decoding device, and the filter processing unit 113 of the first and second embodiments and the third and fourth embodiments.
  • the filter process part equivalent to the filter process part 208 in a form is shown.
  • the local decoded image filter processing unit 701 in FIG. 45 receives the local decoded image signal, the switching information, the filter information, and the encoded information in the case of the moving image encoding device, and the decoded image signal in the case of the moving image decoding device.
  • the switching information, filter information, and encoding information are input, and a reference image signal is generated.
  • the filter processing unit 701 includes a filter boundary determination processing unit 702, a switch 703, a deblocking filter processing unit 704, a switch 705, and an image restoration filter processing unit 706.
  • the filter boundary determination processing unit 702 should perform deblocking filter processing among the pixels at the boundary portion of the block, which is a unit of conversion processing and motion compensation, using the locally decoded image signal or the encoded information from the decoded image signal.
  • the pixel is determined and the switch 703 and the switch 705 are controlled.
  • the filter boundary determination processing unit 702 determines that the input pixel is a block boundary pixel
  • the filter boundary determination processing unit 702 connects the switch 703 and the switch 705 to the terminal A
  • the deblocking filter processing unit 704 demultiplexes the pixel signal.
  • the switch 703 and the switch 705 are connected to the terminal B, and the image restoration filter processing unit 706 performs image restoration filter processing on the input pixel. Do.
  • the deblocking filter processing unit 704 applies filter coefficient information created in advance or filter coefficient information given from outside the locally decoded image filter processing unit 701 to the pixel determined by the block boundary determination processing unit 702 as a block boundary.
  • the filter processing (for example, pixel signal averaging processing) is performed to cancel block distortion caused by the conversion processing and motion compensation processing.
  • the image restoration filter processing unit 706 performs restoration processing of a local decoded image on a pixel determined by the block boundary determination processing unit 702 as not being a block boundary, using a filter coefficient given from outside the local decoded image filter processing unit 701. .
  • Filter processing units 113 and 208 in FIGS. 14 and 16 reference switching prediction units 305B and 401B in FIGS. 21 and 23 in the second embodiment, and switching information generation filter processing in FIGS. 26 and 29 in the third embodiment.
  • the units 502 and 601 and the switching filter processing units 111 and 205A in FIGS. 37 and 38 of the fourth embodiment are replaced as they are.
  • the block boundary portion can be subjected to the filter processing in consideration of the difference in the properties of the decoded image signal due to the block distortion caused by the conversion processing or the motion compensation processing, and the entire image can be performed.
  • the restoration performance can be improved.
  • the 46 includes a subtractor 102, a transform / quantization unit 103, an entropy coding unit 104, an inverse transform / inverse quantization unit 105, an adder 106, a deblocking filter unit 801, a filter setting /
  • the switching information generation unit 802, the decoded image buffer 803, the predicted image generation unit 804, and the motion vector generation unit 805 are controlled by the encoding control unit 109.
  • the subtractor 102, the transform / quantization unit 103, the entropy encoding unit 104, the inverse transform / inverse quantization unit 105, the adder 106, and the encoding control unit 109 are the same as those in FIG. 11 according to the second embodiment. Since the operation is the same as that of the components of the same number in the moving image encoding device 3000, the description thereof is omitted here.
  • the filter setting / switching information generation unit 802 operates in the same manner as the filter setting unit 110 and the switching information generation unit 112 in the loop filter processing unit 107 of FIG. 2 according to the first embodiment.
  • the moving picture coding apparatus 7000 is similar to the conventional moving picture coding apparatus 1000 according to the hybrid coding or the first embodiment and the moving picture coding apparatus 3000 according to the second embodiment.
  • local decoding is performed by inverse quantization and inverse transformation.
  • the local block signal is temporarily stored in the decoded image buffer 803 after filtering processing for removing distortion at the block boundary is performed by the Deblocking filter unit 801 on the local decoded signal.
  • the filter setting / switching information generation unit 802 receives the filtered local decoded image signal and the input image signal, and generates filter coefficients and switching information.
  • the filter setting / switching information generation unit 802 outputs the generated filter coefficient information to the decoded image buffer 803 and also outputs it to the entropy encoding unit 104.
  • the entropy encoding unit 104 encodes the filter coefficient and switching information generated by the filter setting / switching information generation unit 802, and converts the quantized transform coefficient into prediction mode information, block size switching information, motion vector information, quantum It is multiplexed into a bit stream together with a conversion parameter and transmitted to a moving picture decoding apparatus 8000 described later. At this time, the filter coefficient information and the switching information are transmitted as encoded information of the input image according to the syntax shown in FIG.
  • the decoded image buffer 803 stores a local decoded image referred to by the predicted image generation unit 804, filter coefficients corresponding to the local decoded image, and switching information.
  • the predicted image generation unit 804 uses the local decoded image, the filter coefficient, the switching information, and the motion vector information generated by the motion vector generation unit 805 managed by the decoded image buffer 803 to perform the predicted image subjected to motion compensation. Create The subtractor 102 generates a prediction error signal between the generated predicted image and the input image.
  • the motion vector information is encoded by the entropy encoding unit 104 and multiplexed with other information.
  • a moving picture decoding apparatus will be described with reference to FIG. Hereinafter, the components shown in FIG. 47 will be described.
  • 47 includes an entropy decoding unit 201, an inverse transform / inverse quantization unit 202, an adder 204, a Deblocking filter unit 811, a decoded image buffer 813, and a predicted image creation unit 814. Controlled by the decoding control unit 206.
  • the entropy decoding unit 201, the inverse transform / inverse quantization unit 202, the adder 204, and the decoding control unit 206 perform the same operations as the components with the same numbers in the video decoding device 2000 according to the first embodiment. Therefore, the description is omitted here.
  • the entropy decoding unit is similar to the conventional hybrid encoding decoding, the moving picture decoding apparatus 2000 according to the first embodiment, and the moving picture encoding apparatus 4000 according to the second embodiment.
  • the signal decoded in 201 is dequantized and inverse transformed to generate a prediction error signal, and the adder 204 adds the prediction error signal to generate a decoded image.
  • the decoded signal is subjected to filter processing for removing distortion at the block boundary by the Deblocking filter unit 811, and then the decoded image is output and stored in the decoded image buffer 813.
  • the decoded image buffer 813 stores the decoded image referred to by the predicted image generation unit 814, filter coefficients corresponding to the decoded image decoded by the entropy decoding unit 201, and switching information.
  • the predicted image creating unit 813 creates a predicted image subjected to restoration filter processing and motion compensation from the motion vector information decoded by the entropy decoding unit 2 and the decoded image from the decoded image buffer 402, filter coefficients, and switching information. To do.
  • FIG. 48 shows an embodiment of a specific implementation of the predicted image creation unit 814 in FIGS. 46 and 47. Hereinafter, the components shown in FIG. 48 will be described.
  • the switch 821 is a switch for switching whether or not the restoration filter processing is performed on the decoded image referred to based on the motion vector information, and based on the switching information generated by the filter setting / switching information generation unit 802. Can be switched.
  • the restored image creation unit 822 uses the filter coefficient set by the filter setting / switching information generation unit 802 to perform the decoding on the decoded image referenced based on the motion vector information. Perform restoration filter processing.
  • the switch 821 is switched to the terminal B, the decoded image is directly input to the interpolation image creating unit 823.
  • the interpolated image creation unit 823 generates an interpolated image at the decimal point pixel position based on the motion vector information and sets it as a predicted image. With such a configuration, a combination of adaptive image restoration processing and motion compensation prediction can be realized.
  • FIG. 49 shows another embodiment of the specific implementation of the predicted image creation unit of FIGS. 46 and 47. Each component in FIG. 49 will be described below.
  • the switch 831 is a switch for switching whether or not the restoration filter processing is performed in units of integer pixels for the decoded image referred to based on the motion vector information, and is generated by the filter setting / switching information generation unit 802 in FIG. Switching is performed based on the switched information.
  • the integer pixel filter unit 832 uses the filter coefficient set by the filter setting / switching information generation unit 802 to perform the decoding on the decoded image referred to based on the motion vector information. Perform restoration filter processing.
  • the pixel bit length of the decoded image is N-bit
  • the pixel bit length of the output of the integer pixel filter unit 832 is set to M-bit where M ⁇ N. is there.
  • the switch 831 is switched to the terminal B, the decoded image is input to the bit extension unit 833 and extended so that the N-bit decoded image becomes M-bit where M ⁇ N.
  • the bit extension unit 833 performs a process of arithmetically shifting the pixel value V to the left by (MN) bits.
  • the interpolation image creation unit 834 generates an interpolation image at the decimal point pixel position based on the motion vector information.
  • a feature of this case is that the input is M-bit pixel bit length, and the output is L-bit pixel bit length such that L ⁇ N.
  • the switch 835 is a switch controlled by the encoding control unit 109 or the decoding control unit 206 based on the encoding information, and switches whether to perform weighted prediction.
  • the weighted prediction image creation unit 836 A predicted image is created based on a weighted prediction formula used in H.262 / AVC or the like.
  • processing is performed so that an input having an N-bit pixel bit length is output with respect to an input having an L-bit pixel bit length.
  • the bit degeneration unit 847 performs a rounding process so that the input of L-bit becomes N-bit where L ⁇ N.
  • a method for adaptively switching the pixel block size using region setting information indicating the size of the pixel block or the division method will be described in which the unit for setting the switching information is set for each pixel block.
  • a method of adaptively switching the pixel block size within the screen a method of hierarchically dividing the inside of a parent block having a predetermined size into small child blocks will be described with reference to FIGS. To do.
  • FIG. 50 shows hierarchical block division by a quadtree structure.
  • Parent block B 0,0 hierarchical 0 in FIG. 50 is divided into a hierarchy 1 Dewako blocks B 1,0 ⁇ B 1,3, it is divided into a hierarchy 2 Dewako blocks B 2,0 ⁇ B 2,15 .
  • FIG. 51 represents a partition tree up to layer 3 using block partition information represented by 0 or 1.
  • block division information 1
  • the parent block is divided into four child blocks as shown in FIG. 52, and this child block is further divided into four child (grandchild) blocks.
  • the child (grandchild) block is further divided into four child (great-grandchild) blocks.
  • Switching information is set for each of the divided blocks having different sizes. That is, it is equivalent to setting the switching information for the block corresponding to the case where the block division information in the division tree of FIG. 51 is 0.
  • FIG. 53 is a diagram showing the sizes of child blocks in hierarchies 0 to 4 with respect to the parent block size when a quadtree structure is used.
  • the parent block size is 32 ⁇ 32
  • the child (great-grandchild) block size of layer 4 is 2 ⁇ 2.
  • the interior of the parent block which is a local area in the screen, is divided into child blocks, which are areas that become progressively smaller according to the depth of the hierarchy.
  • the loop filter data syntax (1906) in the syntax structure of FIG. 31 according to the present embodiment is described as shown in FIG. 54, for example.
  • the filter_block_size in FIG. 54 is a value that determines the block size as in the fourth embodiment, and here represents the parent block size.
  • max_layer_level is a value indicating the maximum value of the possible hierarchy depth.
  • max_layer_level is encoded in units of slices as shown by the syntax in FIG. 54.
  • encoding may be performed in units of sequences, frames, or parent blocks.
  • FIG. 55 shows the syntax for encoding in parent block units. If a value indicating the maximum depth of the same layer is used in both the encoding device and the decoding device, a preset value may be used without including max_layer_level in the syntax.
  • the parent block size is indicated by filter_block_size.
  • the parent block size may be a value indicating the minimum child block size.
  • NumOfParentBlock is the total number of parent blocks in one slice
  • NumOfChildBlock [layer] is the total number of child blocks in the hierarchy indicated by layer in one parent block.
  • valid_block_flag takes a value of 0 or 1, and 0 is set as the initial value of valid_block_flag.
  • block_partitioning_flag is block division information, and as described above, 1 is set when dividing, and 0 is set when not dividing.
  • the reference parent block is hierarchically divided into child blocks by using the hierarchical block division information as the area division information.
  • the switching information for each divided child block it is possible to adaptively control the switching timing of the filter processing for each local region in the frame.
  • the region is finely divided in the region where the influence of the loop filter on the image quality is large, and coarse in the region where the influence of the loop filter on the image quality is small. By dividing the area, the switching information can be set efficiently.
  • a quadrature tree splitting method has been described here as a parent block splitting method, the splitting method is limited to a quadtree structure as long as the same region splitting can be realized by both the encoding device and the decoding device. It is not a thing.
  • the division method is not limited to rectangular blocks as long as the same region division can be realized by both the encoding device and the decoding device. Absent.
  • the encoding side and the decoding side perform the same processing.
  • the image quality of the reference image used for prediction can be improved and the coding efficiency can be improved while suppressing the propagation of image quality degradation.
  • the image encoding and decoding method and apparatus according to the present invention are used for image compression processing in communication media, storage media, broadcast media, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、前記フィルタのフィルタ係数情報を設定するステップと、前記フィルタ係数情報を符号化するステップと、参照画像として使用する前記局所復号画像又は前記復元画像を示す特定情報を符号化するステップと、前記特定情報に基づいて前記局所復号画像または前記復元画像の何れか一つを参照画像としてメモリに保存するステップとを有する。

Description

動画像符号化／復号化方法及び装置
　本発明は、動画像符号化／復号化方法及び装置に係わり、特に符号化側でループフィルタのフィルタ係数情報を設定して伝送し、復号化側で用いることにより、画質を向上させる効果が得られるようにした動画像符号化／復号化方法及び装置に関する。
　画像を画素ブロック単位で直交変換し、変換係数の量子化処理を行う動画像符号化／復号化方法では、復号画像にブロック歪と呼ばれる画質劣化が生じる。これに対し、G.Bjontegaard,“Deblocking filter for 4x4 based coding”,ITU-T Q.15/SG16 VCEG document,Q15-J-27,May 2000（以後“Deblocking filter for 4x4 based coding”と称する）に記載のデブロッキングフィルタは、ブロック境界にローパスフィルタを適用することによって上記ブロック歪を視覚的に目立たないようにし、主観的に良好な画像を得ることができる。“Deblocking filter for 4x4 based coding”におけるデブロッキングフィルタを備えた符号化／復号化装置のブロック図を図３４に示す。
　上記デブロッキングフィルタは、図３４のデブロッキングフィルタ処理部９０１のように符号化及び復号化装置のループ内で用いられることからループフィルタとも呼ばれる。ループフィルタとすることによって、予測に用いられる参照画像のブロック歪を低減することができ、特にブロック歪の発生しやすい高圧縮なビットレート帯で符号化効率を向上させる効果がある。
　しかし、上記デブロッキングフィルタは、ブロック境界をぼかすことによって視覚的に目立つ劣化を低減する処理であり、必ずしも入力画像との誤差が小さくなるものではなく、逆に細かいテクスチャなどが失われて画質が低下する場合がある。さらに、フィルタ処理後の画像を参照画像として次に符号化する画像の予測に用いるため、フィルタによる画質低下の影響が予測画像に伝播するという問題がある。
　一方、ループフィルタとは異なり、デコーダで出力する画像にのみ作用するフィルタをポストフィルタと呼ぶ。ポストフィルタは、フィルタ処理後の画像を参照画像として用いないため、フィルタの影響が予測画像に伝播しないという特徴がある。特開２００１‐２７５１１０公報は、復号化側において、デブロッキングフィルタをループフィルタとして用いるか、ポストフィルタとして用いるかを動的に切り替える動画像復号化方法を提供している。特開２００１‐２７５１１０公報におけるループ／ポストフィルタリングの切り替え方法を備えた符号化／復号化装置のブロック図を図３５に示す。
　特開２００１‐２７５１１０公報における動画像復号化方法では、図３５における動画像復号化装置内部に備えたデブロッキングフィルタ処理部９０２によってデブロッキングフィルタを適用した復号画像を生成し、出力画像として出力する。一方、符号化パラメータ抽出部９０４では、符号化データから量子化パラメータを抽出し、切替部９０３では、フィルタ処理後の画像を参照画像として用いるか否かを前記量子化パラメータの値に基づいて制御する。切替部９０３における動作により、デブロッキングフィルタの効果が高い高圧縮なビットレート帯ではデブロッキングフィルタをループフィルタとして用い、低圧縮なビットレート帯ではデブロッキングフィルタをポストフィルタとして用いるような制御が可能となる。しかし、特開２００１‐２７５１１０公報では、符号化側で同様の処理を行っていないため、符号化側と復号化側でのミスマッチが生じるという問題がある。また、符号化側で参照画像の画質を向上させるものではないため、符号化効率を向上させる効果を得ることができない。
　一方、S.Wittmann and T.Wdi,“Post-filter SEI message for 4:4:4 coding”,JVT of ISO/IEC MPEG & ITU-T VCEG,JVT-S030,April 2006（以後“Post-filter SEI message for 4:4:4 coding”と称する）には、符号化側でポストフィルタのフィルタ係数情報を設定して符号化し、復号化側で復号化したフィルタ係数情報を用いてポストフィルタ処理を行なう動画像符号化／復号化方法が記載されている。“Post-filter SEI message for 4:4:4 coding”における動画像符号化／復号化装置のブロック図を図３６に示す。
　図３６の動画像符号化装置が備えるポストフィルタ設定部９０５は、所定のフィルタ係数情報を設定し、フィルタ係数情報９０を出力する。フィルタ係数情報９０は符号化され、復号化側で復号し、動画像復号化装置が備えるポストフィルタ処理部９０６で用いてポストフィルタ処理を行なう。
　“Post-filter SEI message for 4:4:4 coding”における動画像符号化／復号化方法では、符号化側で復号画像と入力画像との誤差が小さくなるようにフィルタ係数情報を設定することによって、復号化側でポストフィルタを適用した出力画像の画質を向上させることが可能である。しかし、“Post-filter SEI message for 4:4:4 coding”の方法は、画質を向上させた画像を参照画像として用いるものではなく、符号化側で符号化効率を向上させる効果を得ることができない。
　上述したように、 “Deblocking filter for 4x4 based coding”に開示されている方法は、必ずしも画質を向上させるものではなく、フィルタによって生じた画質劣化が予測画像に伝播するという問題があった。
　また、特開２００１‐２７５１１０公報に開示されている方法は、復号化側でのみループ／ポストフィルタリングの切り替えを行うものであり、符号化側と復号化側のミスマッチが生じるという問題があった。
　また、“Post-filter SEI message for 4:4:4 coding”に開示されている方法は、復号化側で出力する画像の画質を向上させる処理であり、予測に用いる参照画像の画質を向上させて符号化効率を向上させる効果を得ることができない。
　本発明は、符号化側で設定したフィルタ係数情報を符号化し、フィルタ係数情報を復号化側で復号化して用いる動画像符号化／復号化において、符号化側と復号化側が同様の処理でループフィルタ処理を切り替えることによって、画質劣化の伝播を抑制しつつ、予測に用いる参照画像の画質を向上させることによって、符号化効率を向上させることを可能とする動画像符号化／復号化方法及び装置を提供することを目的とする。
　本発明の一態様は、符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、前記フィルタのフィルタ係数情報を設定するステップと、前記フィルタ係数情報を符号化するステップと、参照画像として使用する前記局所復号画像又は前記復元画像を示す特定情報を符号化するステップと、前記特定情報に基づいて前記局所復号画像または前記復元画像の何れか一つを参照画像としてメモリに保存するステップと、を備えることを特徴とする動画像符号化方法を提供する。
　本発明の他の態様は復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、復号画像に対してフィルタを適用して復元画像を生成するステップと、フィルタのフィルタ係数情報を復号化するステップと、参照画像として使用する復号画像又は復元画像を示す特定情報を復号化するステップと、特定情報に基づいて復号画像または復元画像を参照画像としてメモリに保存するステップと、を備えることを特徴とする動画像復号化方法を提供する。
図１は、第１の実施形態に係わる動画像符号化装置のブロック図である。 図２は、第１の実施形態に係わる動画像符号化装置におけるループフィルタ処理部のブロック図である。 図３は、第１の実施形態に係わる動画像符号化装置における切替フィルタ処理部のブロック図である。 図４は、第1の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。 図５は、第1の実施形態に係わる動画像復号化装置のブロック図である。 図６は、第1の実施形態に係わる動画像復号化装置における第１の切替フィルタ処理部のブロック図である。 図７は、第1の実施形態に係わる動画像復号化装置の動作を示すフローチャートである。 図８は、第1の実施形態に係わる動画像復号化装置における第２の切替フィルタ処理部のブロック図である。 図９は、第1の実施形態に係わる動画像復号化装置における第３の切替フィルタ処理部のブロック図である。 図１０は、第1の実施形態に係わる動画像復号化装置における第４の切替フィルタ処理部のブロック図である。 図１１は、第２の実施形態に係わる第１の動画像符号化装置のブロック図である。 図１２は、第２の実施形態に係わる第１の動画像符号化装置における切替情報生成予測部のブロック図である。 図１３は、第２の実施形態に係わる第１の動画像符号化装置における参照切替予測部のブロック図である。 図１４は、第２の実施形態に係わる第１の動画像符号化装置におけるループフィルタ処理部のブロック図である。 図１５は、第２の実施形態に係わる第１の動画像符号化装置の動作を示すフローチャートである。 図１６は、第２の実施形態に係わる第１の動画像復号化装置のブロック図である。 図１７は、第２の実施形態に係わる第１の動画像復号化装置における参照切替予測部のブロック図である。 図１８は、第２の実施形態に係わる動画像復号化装置の動作を示すフローチャートである。 図１９は、第２の実施形態に係わる第２の動画像符号化装置のブロック図である。 図２０は、第２の実施形態に係わる第２の動画像符号化装置における切替情報生成予測部のブロック図である。 図２１は、第２の実施形態に係わる第２の動画像符号化装置における参照切替予測部のブロック図である。 図２２は、第２の実施形態に係わる第２の動画像復号化装置のブロック図である。 図２３は、第２の実施形態に係わる第２の動画像復号化装置における参照切替予測部のブロック図である。 図２４は、第３の実施形態に係わる動画像符号化装置のブロック図である。 図２５は、第３の実施形態に係わる動画像符号化装置におけるループフィルタ処理部のブロック図である。 図２６は、第３の実施形態に係わる動画像符号化装置における切替情報生成フィルタ処理部のブロック図である。 図２７は、第３の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。 図２８は、第３の実施形態に係わる動画像復号化装置のブロック図である。 図２９は、第３の実施形態に係わる動画像復号化装置における切替情報生成フィルタ処理部のブロック図である。 図３０は、第３の実施形態に係わる動画像復号化装置の動作を示すフローチャートである。 図３１は、第１、第２、第３の実施形態に係わるシンタクス構造を示す図である。 図３２は、第１、第２、第３の実施形態に係わるループフィルタデータシンタクスを示す図である。 図３３は、マクロブロック毎にループフィルタの切り替えた場合の参照画像の例である。 図３４は、非特許文献１における符号化／復号化装置のブロック図である。 図３５は、特許文献１における符号化／復号化装置のブロック図である。 図３６は、非特許文献２における符号化／復号化装置のブロック図である。 図３７は、第４の実施形態に係わる動画像符号化装置における切替フィルタ処理部のブロック図である。 図３８は、第４の実施形態に係わる動画像復号化装置における切替フィルタ処理部のブロック図である。 図３９は、第４の実施形態に係わるブロックサイズ及びブロック分割方法を決める参照テーブルを示す図である。 図４０は、第４の実施形態に係わるブロック分割の例を示す図である。 図４１は、第４の実施形態に係わるブロック分割方法を切り替えた場合の参照画像の例である。 図４２は、第４の実施形態に係わるループフィルタデータシンタクスを示す図である。 図４３は、第５の実施形態に係わる動画像符号化装置におけるループフィルタ処理部のブロック図である。 図４４は、第５の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。 図４５は、第６の実施形態に係わる局部復号画像フィルタ処理部のブロック図である。 図４６は、第７の実施形態に係わる動画像符号化装置のブロック図である。 図４７は、第８の実施形態に係わる動画像復号化装置のブロック図である。 図４８は、第７の実施形態に係わる予測画像作成部の一例のブロック図である。 図４９は、第７の実施形態に係わる予測画像作成部の別の例のブロック図である。 図５０は、第９の実施形態に係わる階層的ブロック分割の例を示す図である。 図５１は、第９の実施形態に係わる分割木及び分割されたブロックの例を示す図である。 図５２は、第９の実施形態に係わる分割されたブロックの例を示す図である。 図５３は、第９の実施形態に係わる各階層のブロックサイズの例を示した図である。 図５４は、第９の実施形態に係わるブロック分割情報を含むシンタクスを示す図である。 図５５は、第９の実施形態に係わるブロック分割情報を含む他のシンタクスを示す図である。
　以下、本発明の実施形態について図面を参照して説明する。
（第１の実施形態）
　図１を参照して第１の実施形態に係わる動画像符号化装置を説明する。以下、図１の構成要素についてそれぞれ述べる。　
　図１に示す動画像符号化装置１０００は、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、ループフィルタ処理部１０７、参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。
　予測信号生成部１０１は、参照画像用バッファ１０８に格納されている符号化済みの参照画像信号１９を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き予測・動き補償による時間方向の予測や、画面内の符号化済みの画素からの空間方向の予測などを用いて良い。
　減算器１０２は、取得した入力画像信号１０と予測画像信号１１との差分を計算し、予測誤差画像信号１２を出力する。変換・量子化部１０３は、まず、予測誤差画像信号１２を取得して変換処理を行う。ここでは、変換・量子化部１０３は、例えばＤＣＴ（離散コサイン変換）などを用いて予測誤差画像信号１２の直交変換を行い、変換係数を生成する。別の実施形態として、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換・量子化部１０３は、後述する符号化制御部１０９に設定されている量子化パラメータに基づいて生成した変換係数の量子化処理を行い、量子化後の変換係数１３を出力する。量子化後の変換係数１３は、後述するエントロピー符号化部１０４へ入力されると同時に、逆変換・逆量子化部１０５へも入力される。
　逆変換・逆量子化部１０５は、量子化後の変換係数１３を符号化制御部１０９に設定されている量子化パラメータに従って逆量子化し、得られた変換係数に対して逆変換（例えば、逆離散コサイン変換など）を行い、予測誤差画像信号１５を出力する。加算器１０６は、逆変換・逆量子化部１０５から取得した予測誤差画像信号１５と、予測信号生成部１０１で生成された予測画像信号１１とを加算し、局所復号画像信号１６を出力する。
　ループフィルタ処理部１０７は、局所復号画像信号１６及び入力画像信号１０を取得し、参照画像信号１９、フィルタ係数情報１７及び局所復号画像又は復元画像を参照画像として使用することを示す特定情報、具体的には局所復号画像か復元画像かを切り替える切替情報１８を出力する。ループフィルタ処理部１０７についての詳しい説明は後述する。参照画像用バッファ１０８は、ループフィルタ処理部１０７から取得した参照画像信号１９を一時保存する。参照画像用バッファ１０８に保存した参照画像信号１９は、予測信号生成部１０１によって予測画像信号１１を生成する際に参照される。
　一方、エントロピー符号化部１０４は、量子化後の変換係数１３に加えて、フィルタ係数情報１７、切替情報１８、その他、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどの符号化パラメータを取得し、エントロピー符号化（例えばハフマン符号化又は算術符号化など）して符号化データ１４として出力する。符号化制御部１０９は、発生符号量のフィードバック制御及び量子化制御、モード制御などを行ない、符号化全体の制御を行なう。
　次に、第1の実施形態に係わる動画像符号化装置におけるループフィルタ処理部１０７について、図２及び図３を用いて詳しく述べる。以下、図２及び図３の構成要素についてそれぞれ述べる。
　図２に示すループフィルタ処理部１０７は、フィルタ設定部１１０、切替フィルタ処理部１１１、切替情報生成部１１２を有し、更に、切替フィルタ処理部１１１は、図３に示すように、フィルタ処理部１１３及びループフィルタ切替部１１４を有する。図３のスイッチＳＷは、端子Ａと端子Ｂの接続を切り替える。フィルタ設定部１１０は、局所復号画像信号１６及び入力画像信号１０を取得し、所定のフィルタ係数情報１７を設定する。フィルタ係数情報１７の設定方法の詳細については後述する。設定したフィルタ係数情報１７は、後述する切替フィルタ処理部１１１及びエントロピー符号化部１０４へ入力される。
　切替フィルタ処理部１１１は、内部にフィルタ処理部１１３及びループフィルタ切替部１１４を有し、局所復号画像１６、フィルタ係数情報１７及び切替情報１８を取得して、参照画像信号１９を出力する。切替情報生成部１１２は、切替フィルタ処理部１１１から参照画像信号１９を取得するとともに、入力画像信号１０を取得し、所定の切替判定方法に従って切替情報１８を生成する。生成した切替情報１８は、切替フィルタ処理部１１１へ入力されるとともに、エントロピー符号化部１０４へ入力される。切替判定方法の詳細については後述する。
　フィルタ処理部１１３は、局所復号画像信号１６及びフィルタ係数情報１７を取得し、フィルタ係数情報１７に従って局所復号画像信号１６に対しフィルタ処理を行い、復元画像信号２０を生成する。生成した復元画像信号２０は、後述するループフィルタ切替部１１４へ入力される。ループフィルタ切替部１１４は、切替情報１８を取得し、切替情報１８に従って内部に有するスイッチＳＷにより端子Ａと端子Ｂの接続を切り替え、局所復号画像信号１６又は復元画像信号２０を参照画像信号１９として出力する。
　以上が第１の実施形態に係わる動画像符号化装置の構成である。
　次に、図１、図２、図３及び図４を用いて、第１の実施形態に係わる動画像符号化装置におけるループフィルタに関する動作について詳しく説明する。なお、図４は、第１の実施形態に係わる動画像符号化装置１０００におけるループフィルタに関する動作を示すフローチャートである。
　まず、図１の動画像符号化装置１０００に入力画像信号１０が入力されると、減算器１０２はと入力画像信号１０と予測信号生成部１０１から取得した予測画像信号１１との減算処理を行い、予測誤差画像信号１２を生成する。生成した予測誤差画像信号１２は、変換・量子化部１０３において変換、量子化され、量子化された変換係数１３として出力され、エントロピー符号化部１０４で符号化される。一方、量子化された変換係数１３は、動画像符号化装置１０００の内部に備えた逆変換・逆量子化部１０５で逆変換及び逆量子化され、予測誤差画像信号１５として出力される。予測誤差画像信号１５は、予測信号生成部１０１で出力される予測画像信号１１と加算器１０６で加算され、局所復号画像信号１６が生成される。　
　上記一連の処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な符号化処理である。
　ここでは、第１の実施形態に係わる動画像符号化装置１０００における特徴的な処理であるループフィルタに関する動作について図２、図３及び図４を用いて詳しく説明する。
　まず、図２のループフィルタ処理部１０７の内部に有するフィルタ設定部１１０は、局所復号画像信号１６及び入力画像信号１０を受け、フィルタ係数情報１７の設定を行なう（ステップＳ１１００）。ここでは、フィルタ設定部１１０は画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ　ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施した画像と、入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。フィルタ設定部１１０は設定したフィルタ係数情報１７を、図３のフィルタ処理部１１３へ出力するとともに、エントロピー符号化部１０４へ出力する。
　次に、図２の切替フィルタ処理部１１１は、局所復号画像信号１６、フィルタ係数情報１７及び切替情報１８を受け、切替情報１８に基づいて、局所復号画像信号１６またはフィルタ処理部１１３で生成した復元画像信号２０を参照画像信号１９として出力する（ステップＳ１１０１～Ｓ１１０９）。ここでは、まず、局所復号画像信号１６を参照画像信号１９とした場合と、復元画像信号２０を参照画像信号１９とした場合とについて、切替情報生成部１１２が切替判定処理を行い、局所復号画像信号１６または復元画像信号２０のどちらを参照画像信号１９とするかを決定するための切替情報１８を生成する。生成した切替情報１８に基づいてループフィルタ切替部１１４の内部のスイッチＳＷが切り替えられ、参照画像信号１９が出力される。ループフィルタ処理部１０７におけるステップＳ１１０１からステップＳ１１０９までの動作の詳細な説明を以下で述べる。
　まず、図３のループフィルタ切替部１１４におけるスイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として切替情報生成部１１２へ入力する（ステップＳ１１０１）。次に、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として切替情報生成部１１２へ入力する（ステップＳ１１０２）。ここで、スイッチＳＷが端子Ｂに接続されると、フィルタ処理部１１３は、フィルタ係数情報１７に基づいて局所復号画像信号１６に対してフィルタ処理を施し、復元画像信号２０を生成する。例として、局所復号画像上の位置（ｘ，ｙ）の画素をＦ（ｘ，ｙ）とし、２次元フィルタの幅をＷ、高さをＨとし、フィルタ係数をｈ（ｉ，ｊ）（－ｗ≦ｉ≦ｗ、－ｈ≦ｊ≦ｈ、ｗ＝Ｗ／２、ｈ＝Ｈ／２）とすると、復元画像Ｇ（ｘ，ｙ）は以下の式で表わされる。
Figure JPOXMLDOC01-appb-M000001
　次に、図２の切替情報生成部１１２は、局所復号画像信号１６と入力画像信号１０との残差二乗和ＳＳＤＡ、及び復元画像信号２０と入力画像信号１０との残差二乗和ＳＳＤＢを算出する（ステップＳ１１０３）。ここでは、切替判定処理を画像の局所領域毎に行うこととし、局所領域内の画素位置をｉ、全画素数Ｎとし、局所復号画像信号１６をＦi、復元画像信号２０をＧi、入力画像信号１０をＩiとすると、ＳＳＤＡ及びＳＳＤＢは次式で表わされる。
Figure JPOXMLDOC01-appb-M000002
　次に、ＳＳＤＡ及びＳＳＤＢに基づいて以下の切替判定処理を行う（ステップＳ１１０４）。ＳＳＤＡがＳＳＤＢ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ１１０５）。逆に、ＳＳＤＡがＳＳＤＢより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ１１０６）。ここで、画像を１６×１６画素単位で分割して得られるマクロブロックと呼ばれる単位で上記切替判定処理を行った場合の参照画像の例を図３３に示す。局所領域をマクロブロックとした場合、上記［数２］のＮは２５６となり、切替情報１８はマクロブロック単位で出力される。別の実施形態として、切替判定処理は、フレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位に画像信号を判定しても良く、その場合、切替情報１８も判定結果に対応した単位で出力する。
　次に、図３のループフィルタ切替部１１４は、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを受け、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ１１０７）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部１１４はスイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として参照画像用バッファ１０８に一時保存する（ステップＳ１１０８）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部１１４はスイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ１０８に一時保存する（スイッチＳ１１０９）。　
　以上が、ループフィルタ処理部１０７におけるステップＳ１１０１からステップＳ１１０９までの動作である。
　最後に、フィルタ設定部１１０で生成したフィルタ係数情報１７、及び切替情報生成部１１２で生成した切替情報１８は、エントロピー符号化部１０４で符号化され、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置２０００へと送信される（ステップＳ１１１０）。
　ここで、フィルタ係数情報１７及び切替情報１８の符号化方法に関して、本実施形態で用いられるシンタクス構造の概略を図３１を参照して詳しく説明する。以下の例では、フィルタ係数情報１７をスライス単位で設定し、切替情報１８をマクロブロック単位で設定するものとする。
　シンタクスは主に３つのパートからなり、ハイレベルシンタクス（１９００）には、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス（１９０３）には、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス（１９０７）には、マクロブロック毎に必要とされる変換係数データや予測モード情報、動きベクトルなどが明記されている。各シンタックスは、更に詳細なシンタクスで構成されており、ハイレベルシンタクス（１９００）は、シーケンスパラメータセットシンタクス（１９０１）とピクチャパラメータセットシンタクス（１９０２）などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス（１９０３）は、スライスヘッダーシンタクス（１９０４）、スライスデータシンタクス（１９０５）、ループフィルタデータシンタクス（１９０６）などから成る。更に、マクロブロックレベルシンタクス（１９０７）は、マクロブロックレイヤーシンタクス（１９０８）、マクロブロックプレディクションシンタクス（１９０９）などから構成されている。
　ループフィルタデータシンタクス（１９０６）には、図３２（ａ）に示すように、本実施形態のループフィルタに関するパラメータであるフィルタ係数情報１７及び切替情報１８が記述されている。ここで、フィルタ係数情報１７である図３２（ａ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置１０００及び後述する動画像復号化装置２０００において同様の値を用いなければならないことに注意する。また、図３２（ａ）のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは切替情報１８であり、スライス内のマクロブロック数の合計であるＮｕｍＯｆＭａｃｒｏｂｌｏｃｋ分のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを伝送する。　
　以上が、動画像符号化装置１０００におけるループフィルタに係わる動作についての説明である。
　次に、動画像符号化装置１０００に対する動画像復号化装置について説明する。　
　図５を参照して第１の実施形態に係わる動画像復号化装置を説明する。以下、図５の構成要素についてそれぞれ述べる。　
　図５に示す動画像復号化装置２０００は、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、切替フィルタ処理部２０５、参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。
　エントロピー復号化部２０１は、図３１に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、マクロブロックレベルシンタクスの夫々に対して、順次符号化データ１４の各シンタクスの符号列が復号され、量子化された変換係数１３、フィルタ係数情報１７、切替情報１８などが復元される。
　逆変換・逆量子化部２０２は、量子化された変換係数１３を取得して逆量子化し、逆直交変換（例えば逆離散コサイン変換など）を行ない、予測誤差画像信号１５を出力する。ここでは、逆直交変換について説明したが、動画像符号化装置１０００でウェーブレット変換などが行なわれている場合、逆変換・逆量子化部２０２は、対応する逆量子化及び逆ウェーブレット変換などを実行する。
　予測信号生成部２０３は、参照画像用バッファ２０６に格納されている復号化済みの参照画像信号１９を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いて良いが、動画像符号化装置１０００と同様の予測処理が実行されることに注意する。　
　加算器２０４は、取得した予測誤差画像信号１５及び予測画像信号１１を加算し、復号画像信号２１を生成する。
　切替フィルタ処理部２０５は、復号画像信号２１、フィルタ係数情報１７及び切替情報１８を取得し、参照画像信号１９を出力する。切替フィルタ処理部２０５についての詳しい説明は後述する。　
　参照画像用バッファ２０６は、切替フィルタ処理部２０５から取得した参照画像信号１９を一時保存する。参照画像用バッファ２０６に保存した参照画像信号１９は、予測信号生成部２０３によって予測画像信号１１を生成する際に参照される。
　復号化制御部２０７は、復号化タイミングの制御などを行い、復号化全体の制御を行う。
　次に、第1の実施形態に係わる動画像復号化装置における切替フィルタ処理部２０５について図６を用いて詳しく述べる。以下、図６の構成要素についてそれぞれ述べる。　
　図６に示す切替フィルタ処理部２０５Ａは、フィルタ処理部２０８及びループフィルタ切替部２０９を有する。スイッチＳＷは、端子Ａと端子Ｂの接続を切り替える。
　フィルタ処理部２０８は、復号画像信号２１及びエントロピー復号化部２０１で復元したフィルタ係数情報１７を受け、フィルタ係数情報１７に従って復号画像信号２１に対しフィルタ処理を行い、復元画像信号２０を生成する。生成した復元画像２０は、後述するループフィルタ切替部２０９へ入力されるとともに、出力画像信号２２として復号化制御部２０７が管理するタイミングで出力される。
　ループフィルタ切替部２０９は、エントロピー復号化部２０１で復元した切替情報１８を受け、切替情報１８に従って内部に有するスイッチＳＷにより端子Ａと端子Ｂの接続を切り替え、復号画像信号２１又は復元画像信号２０を参照画像信号１９として出力する。　
　以上が第１の実施形態に係わる動画像復号化装置の構成である。
　次に、図５、図６及び図７を用いて、第１の実施形態に係わる動画像復号化装置におけるループフィルタに関する動作について詳しく説明する。なお、図７は、第１の実施形態に係わる動画像復号化装置２０００におけるループフィルタに関する動作を示すフローチャートである。
　まず、図５の動画像復号化装置２０００に符号化データ１４が入力されると、エントロピー復号化部２０１によって、変換係数１３、フィルタ係数情報１７、切替情報１８に加え、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図３１のシンタクス構造に従って復号される。次に、エントロピー復号化部２０１によって復号された変換係数１３は、逆変換・逆量子化部２０２へと入力され、復号化制御部２０７にて設定されている量子化パラメータに従って逆量子化される。逆量子化された変換係数に対して逆直交変換（例えば離散コサイン変換など）が行われ、予測誤差画像信号１５が復元される。予測誤差画像信号１５は、予測信号生成部２０３によって出力された予測画像信号１１と加算器２０４にて加算され、復号画像信号２１が生成される。　
　上記一連の処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な復号化処理である。
　ここでは、第１の実施形態に係わる動画像復号化装置２０００における特徴的な処理であるループフィルタに関する動作について図６及び図７を用いて詳しく説明する。　
　まず、エントロピー復号化部２０１は、図３１のシンタクス構造に従って、フィルタ係数情報１７及び切替情報１８をエントロピー復号化する（ステップＳ２１００）。図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）には、図３２（ａ）に示すように、本実施形態のループフィルタに関するパラメータであるフィルタ係数情報１７及び切替情報１８が記述されている。ここで、フィルタ係数情報１７である図３２（ａ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、前述した動画像符号化装置１０００と動画像復号化装置２０００において同様の値を用いなければならないことに注意する。また、図３２（ａ）のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは切替情報１８であり、スライス内のマクロブロック数の合計であるＮｕｍＯｆＭａｃｒｏｂｌｏｃｋ分のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが復号される。
　次に、図６のフィルタ処理部２０８は、復号したフィルタ係数情報１７を受ける（ステップＳ２１０１）。ループフィルタ切替部２０９は、復号した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを受けると（ステップＳ２１０２）、このｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ２１０３）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ａに接続し、復号画像信号２１を参照画像信号１９として参照画像用バッファ２０６に一時保存する（ステップＳ２１０４）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ２０６に一時保存する（ステップＳ２１０５）。ここで、スイッチＳＷが端子Ｂに接続されると、フィルタ処理部１１３は、フィルタ係数情報１７に基づいて復号画像信号２１に対してフィルタ処理を施し、復元画像信号２０を生成する。例として、復号画像上の位置（ｘ，ｙ）の画素をＦ（ｘ，ｙ）とし、２次元フィルタの幅をＷ、高さをＨとし、フィルタ係数をｈ（ｉ，ｊ）（－ｗ≦ｉ≦ｗ、－ｈ≦ｊ≦ｈ、ｗ＝Ｗ／２、ｈ＝Ｈ／２）とすると、復元画像Ｇ（ｘ，ｙ）は［数１］で表わされる。
　ここでは、ループフィルタ切替部２０９は、図３２（ａ）のシンタクスに従って、マクロブロック単位で切替情報１８を受けてスイッチＳＷを切り替える。別の実施形態として、動画像符号化装置１０００がフレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位で切替情報１８を符号化する場合、動画像復号化装置２０００では、同様の単位で切替情報１８の復号化、及び切替部２０９におけるスイッチＳＷの切り替えを実行する。　
　以上が、動画像復号化装置２０００におけるループフィルタに係わる動作についての説明である。
　このように、第１の実施形態の係わる動画像符号化装置によれば、入力画像と予測信号との誤差が最小となるようにループフィルタのフィルタ係数情報を設定してフィルタ処理を行なうことにより、復元画像の画質を向上させることが可能となる。また、ループフィルタ切替部１１４で局所復号画像信号１６と復元画像信号２０のどちらを参照画像として用いるかを局所領域毎に切り替えることにより、フィルタにより画質が低下する領域については復元画像信号２０を参照画像として用いないことで画質低下の伝播を防ぐとともに、画質が向上する領域については復元画像信号２０を参照画像として用いることで予測精度を向上させることが可能となる。
　また、第１の実施形態の係わる動画像復号化装置２０００によれば、動画像符号化装置１０００と同様のフィルタ係数情報、切替情報を用いてフィルタ処理及び切替処理を行なうことにより、動画像符号化装置１０００における参照画像と動画像復号化装置２０００における参照画像とが同期することを保証することができる。
　なお、第１の実施形態に係わる動画像復号化装置２０００における切替フィルタ処理部２０５Ａでは、出力画像信号２２として参照画像信号１９を出力していたが、図８の切替フィルタ処理部２０５Ｂのように復号画像信号２１を出力画像信号２２として出力しても良く、また、図９の切替フィルタ処理部２０５Ｃのように復元画像信号２０を出力画像信号２２として出力しても良い。この場合、復号画像又は復元画像を出力画像として使用することを示す切替情報が生成される。
　また、図１０の切替フィルタ処理部２０５Ｄのように、ポストフィルタ切替部２１０を新たに備え、切替情報１８によってスイッチＳＷ２を切り替えて、出力画像信号２２を切り替えても良い。この場合、出力画像信号２２を切り替える切替情報１８として、例えば、図３２（ｄ）のようにｐｏｓｔ＿ｆｉｌｔｅｒ＿ｆｌａｇをスライス単位でシンタクスに記述し、それによってスイッチＳＷ２を切り替える。ｐｏｓｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇと同様に、フレーム単位又はマクロブロック単位若しくはマクロブロックとは異なるサイズのブロック単位に記述しても良い。
　なお、第１の実施形態に係わる動画像符号化装置１０００及び動画像復号化装置２０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。
　なお、この動画像符号化装置１０００及び動画像復号化装置２０００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、ループフィルタ処理部１０７、参照画像用バッファ１０８、符号化制御部１０９、フィルタ設定部１１０、切替フィルタ処理部１１１、切替情報生成部１１２、フィルタ処理部１１３、ループフィルタ切替部１１４、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、ループフィルタ処理部２０５、参照画像用バッファ２０６、復号化制御部２０７、フィルタ処理部２０８、ループフィルタ切替部２０９及びポストフィルタ切替部２１０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置１０００及び動画像復号化装置２０００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスク又はＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒなどの記憶媒体などを適宜利用して実現することができる。
（第２の実施形態）
　図１１を参照して第２の実施形態に係わる動画像符号化装置を説明する。以下、図１１の構成要素についてそれぞれ述べる。　
　図１１に示す動画像符号化装置３０００は、切替情報生成予測部３０１Ａ、ループフィルタ処理部３０２、局所復号画像用バッファ３０３、復元画像用バッファ３０４、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６を有し、符号化制御部１０９によって制御される。
　ここで、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６及び符号化制御部１０９は、第１の実施形態に係わる図１の動画像符号化装置１０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。
　切替情報生成予測部３０１Ａは、図１２に示すように、内部に参照切替予測部３０５Ａ及び切替情報生成部１１２を有する。ここで、切替情報生成部１１２は、第１の実施形態に係わる動画像符号化装置における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。切替情報生成予測部３０１Ａは、局所復号画像信号１６、復元画像信号２０及び入力画像信号１０を取得し、予測画像信号１１及び切替情報１８を出力する。
　ループフィルタ処理部３０２は、図１４に示すように、フィルタ設定部１１０及びフィルタ処理部１１３を有する。フィルタ設定部１１０及びフィルタ処理部１１３は、第１の実施形態に係わる動画像符号化装置における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。ループフィルタ処理部３０２は、局所復号画像信号１６及び入力画像信号１０を取得し、復元画像信号２０及びフィルタ係数情報１７を出力する。
　局所復号画像用バッファ３０３は、加算器１０６で生成した局所復号画像信号１６を取得し、一時保存する。局所復号画像用バッファ３０３に保存した局所復号画像信号１６は、切替情報生成予測部３０１Ａに入力される。　
　復元画像用バッファ３０４は、ループフィルタ処理部３０２で生成した復元画像信号２０を取得し、一時保存する。復元画像用バッファ３０４に保存した復元画像信号２０は、切替情報生成予測部３０１Ａに入力される。
　参照切替予測部３０５Ａは、図１３に示すように、予測信号生成部１０１及びループフィルタ切替部１１４を有する。ここで、予測信号生成部１０１及びループフィルタ切替部１１４は、それぞれ第１の実施形態に係わる動画像符号化装置１０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。参照切替予測部３０５Ａは、局所復号画像信号１６、復元画像信号２０及び切替情報１８を取得し、取得した切替情報１８に基づいて、局所復号画像信号１６または復元画像信号２０の何れかを参照画像として所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き予測・動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いて良い。　
　以上が第２の実施形態に係わる動画像符号化装置の構成である。
　次に、図１１、図１２、図１３、図１４及び図１５を用いて、第２の実施形態に係わる動画像符号化装置の動作について詳しく説明する。なお、図１５は、第２の実施形態に係わる動画像符号化装置３０００におけるループフィルタに関する動作を示すフローチャートである。
　まず、従来のハイブリッド符号化や第１の実施形態に係わる動画像符号化装置１０００と同様に、予測、変換、量子化、エントロピー符号化を行なうとともに、符号化装置内部で局所復号を行い、局所復号画像信号１６を生成する。次に、生成した局所復号画像信号１６を局所復号画像用バッファ３０３に一時保存する（ステップＳ３１００）。ループフィルタ処理部３０２内部のフィルタ設定部１１０において、局所復号画像信号１６及び入力画像信号１０を取得し、フィルタ係数情報１７の設定を行なう（ステップＳ３１０１）。ここでは、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ　ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施した画像と、入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。設定したフィルタ係数情報１７は、同じくループフィルタ処理部３０２内部のフィルタ処理部１１３へ出力されるとともに、エントロピー符号化部１０４へ出力される。
　ループフィルタ処理部３０２内部のフィルタ処理部１１３は、局所復号画像信号１６に対してフィルタ設定部１１０より取得したフィルタ係数情報１７を用いてフィルタ処理を行い、復元画像信号２０を生成する（ステップＳ３１０２）。生成した復元画像信号２０は復元画像用バッファ３０４に一時保存される（ステップＳ３１０３）。
　フィルタ設定部１１０で生成したフィルタ係数情報１７をエントロピー符号化部１０４で符号化し、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化して、後述する動画像復号化装置４０００へと送信する（ステップＳ３１０４）。この際、フィルタ係数情報１７は、図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）において、図３２（ｂ）のように記述される。ここで、フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、当該動画像符号化装置３０００と後述する動画像復号化装置４０００において同様の値を用いなければならないことに注意する。
　次に、切替情報生成予測部３０１Ａは、局所復号画像信号１６または復元画像信号２０を参照画像として所定の予測処理を行い、予測画像信号１１を出力する（ステップＳ３１０５～３１１３）。ここでは、まず、参照切替予測部３０５Ａは局所復号画像を参照画像とした場合の予測画像と、復元画像を参照画像とした場合の予測画像をそれぞれ取得し、それらに基づいて切替情報生成部１１２は切替判定処理を行い、局所復号画像または復元画像のどちらを参照画像とするかを決定するための切替情報１８を生成する。参照切替予測部３０５Ａは生成した切替情報１８に基づいて図１３のループフィルタ切替部１１４内部のスイッチＳＷを切り替えて、予測画像信号１１を出力する。ステップ３１０５からステップ３１１３までの動作の詳細な説明を以下で述べる。
　まず、参照切替予測部３０５Ａは図１３のループフィルタ切替部１１４におけるスイッチＳＷを端子Ａに接続し、予測信号生成部１０１において局所復号画像信号１６を参照画像として予測画像信号１１を取得し、図１２の切替情報生成部１１２へ入力する（ステップＳ３１０５）。次に、参照切替予測部３０５ＡはスイッチＳＷを端子Ｂに接続し、予測信号生成部１０１において復元画像信号２０を参照画像として予測画像信号１１を取得し、図１２の切替情報生成部１１２へ入力する（ステップＳ３１０６）。
　切替情報生成部１１２は、局所復号画像信号１６から取得した予測画像と入力画像信号１０との残差二乗和ＳＳＤＡ及び、復元画像信号２０から取得した予測画像と入力画像信号１０との残差二乗和ＳＳＤＢを算出する（ステップＳ３１０７）。ＳＳＤＡ及びＳＳＤＢは、局所復号画像信号１６から取得した予測画像をＦi、復元画像信号２０から取得した予測画像をＧiとすると、［数２］と同様の式で表される。
　切替情報生成部１１２は、ＳＳＤＡ及びＳＳＤＢに基づいて以下の切替判定処理を行う（ステップＳ３１０８）。ＳＳＤＡがＳＳＤＢ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ３１０９）。逆に、ＳＳＤＡがＳＳＤＢより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ３１１０）。ここでは、上記切替判定処理をマクロブロック毎に行い、切替情報１８をマクロブロック単位で出力する。別の実施形態として、切替判定処理を、フレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位に判定しても良く、その場合、切替情報１８も判定結果に対応した単位で出力する。
　また、予測信号生成部１０１における予測処理が動き予測である場合、上記切替判定処理は、動き予測処理として一般的な方法を用いて良く、例えば、残差二乗和Ｄに対し、切替情報、参照画像インデクス、動きベクトルなどのパラメータ情報の符号量Ｒを加味した次式のようなコストＪを局所復号画像及び復元画像それぞれについて計算し、コストＪを用いて判定を行っても良い。
Figure JPOXMLDOC01-appb-M000003
［数３］のλは定数で与えられ、量子化幅や量子化パラメータの値に基づいて決められる。このようにして得られたコストＪがもっとも小さい値を与える切替情報、参照画像インデクス、動きベクトルを符号化する。また、本実施形態では、残差二乗和を用いたが、別の実施形態として、残差絶対値和を用いても良いし、これらをアダマール変換したり、近似した値を利用したりしても良い。また、入力画像のアクティビティを用いてコストを作成しても良いし、量子化幅、量子化パラメータを利用してコスト関数を作成しても良い。また、予測処理は動き予測に限るものではなく、予測処理として何らかのパラメータを必要とする予測であれば、そのパラメータの符号量をＲとして上記の式を用いてコストＪを算出しても良い。
　次に、図１３のループフィルタ切替部１１４は、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを受け、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ３１１１）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として出力して、予測信号生成部１０１において予測画像信号１１を生成する（ステップＳ３１１２）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として出力して、予測信号生成部１０１において予測画像信号１１を生成する（ステップＳ３１１３）。　
　以上が、切替情報生成予測部３０１Ａにおけるステップ３１０５からステップ３１１３までの動作である。
　最後に、エントロピー符号化部１０４は切替情報１８を符号化し、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化して後述する動画像復号化装置４０００へと送信する（ステップＳ３１１４）。この際、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは、図３１のシンタクス構造におけるマクロブロックレベルシンタクス（１９０７）に属するマクロブロックレイヤーシンタクス（１９０８）において、図３２（ｃ）のように記述される。　
　以上が、動画像符号化装置３０００におけるループフィルタに係わる動作についての説明である。
　次に、動画像符号化装置３０００に対する動画像復号化装置について説明する。図１６を参照して第２の実施形態に係わる動画像復号化装置を説明する。以下、図１６の構成要素についてそれぞれ述べる。　
　図１６に示す動画像復号化装置４０００は、参照切替予測部４０１Ａ、復号画像用バッファ４０２、復元画像用バッファ４０３、エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４、フィルタ処理部２０８を有し、復号化制御部２０６によって制御される。
　ここで、エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４、フィルタ処理部２０８、及び復号化制御部２０６は、第１の実施形態に係わる動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。
　参照切替予測部４０１Ａは、図１７に示すように、予測信号生成部２０３及びループフィルタ切替部２０９を有する。予測信号生成部２０３及びループフィルタ切替部２０９は、それぞれ第１の実施形態に係わる動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。参照切替予測部４０１Ａは、復号画像信号２１、復元画像信号２０及びエントロピー復号化部２０１で復号した切替情報１８を受け、受けた切替情報１８に基づいて、復号画像信号２１または復元画像信号２０の何れかを参照画像として所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いて良いが、動画像符号化装置３０００と同様の予測処理が実行されることに注意する。
　復号画像用バッファ４０２は、加算器２０４で生成した復号画像信号２１を取得し、一時保存する。復号画像用バッファ４０２に保存した復号画像信号２１は、参照切替予測部４０１Ａに入力される。復元画像用バッファ４０３は、フィルタ処理部２０８で生成した復元画像信号２０を取得し、一時保存する。復元画像用バッファ４０３に保存した復元画像信号２０は、参照切替予測部４０１Ａに入力される。　
　以上が第２の実施形態に係わる動画像復号化装置の構成である。
　次に、図１６、図１７及び図１８を用いて、第２の実施形態に係わる動画像復号化装置の動作について詳しく説明する。なお、図１８は、第２の実施形態に係わる動画像復号化装置４０００におけるループフィルタに関する動作を示すフローチャートである。
　まず、符号化データ１４が動画像復号化装置４０００に入力されると、エントロピー復号化部２０１によって、フィルタ係数情報１７、切替情報１８に加え、変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図３１のシンタクス構造に従って復号される（ステップＳ４１００）。
　図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）内には、図３２（ｂ）に示すように、フィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置３０００と動画像復号化装置４０００において同様の値を用いなければならないことに注意する。
　また、図３１のシンタクス構造におけるマクロブロックレベルシンタクス（１９０７）に属するマクロブロックレイヤーシンタクス（１９０８）内には、図３２（ｃ）に示すように、切替情報１８としてｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが記述されている。
　エントロピー復号化部２０１によって復号された変換係数１３は、従来のハイブリッド符号化や第１の実施形態に係わる動画像復号化装置２０００と同様に、エントロピー復号化、逆量子化、逆変換され、参照切替予測部４０１Ａで出力された予測画像信号１１と加算されて、復号画像信号２１として出力される。復号画像信号２１は、フィルタ処理部２０８へ出力されるとともに、復号画像用バッファ４０２に一時保存される（ステップＳ４１０１）。
　フィルタ処理部２０８は、エントロピー復号化部２０１で復元したフィルタ係数情報１７を取得する（ステップＳ４１０２）。また、フィルタ処理部２０８は、復号画像信号２１を受け、復号画像に対してフィルタ係数情報１７を用いてフィルタ処理を行い、復元画像信号２０を生成する（ステップＳ４１０３）。フィルタ処理部２０８は、生成した復元画像信号２０を出力画像信号２２として出力するとともに、復元画像用バッファ４０３に一時保存する（ステップＳ４１０４）。
　次に、参照切替予測部４０１Ａは、復号画像信号２１または復元画像信号２０を参照画像として予測画像信号１１を生成する（ステップ４１０５～４１０８）。以下、ステップ４１０５からステップ４１０８の動作について説明する。
　まず、図１７の参照切替予測部４０１Ａは、復号した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを取得する（ステップＳ４１０５）。次に、参照切替予測部４０１Ａ内部のループフィルタ切替部２０９は、取得したｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに基づいてスイッチＳＷを切り替える（ステップＳ４１０６）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ａに接続し、復号画像信号２１を参照画像信号１９として取得して、予測信号生成部２０３に送る。予測信号生成部２０３は復号画像信号２１に対応する参照画像信号１９に基づいて予測画像信号１１を生成する（ステップＳ４１０７）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として取得して、予測信号生成部２０３に送る。予測信号生成部２０３は復元画像信号２０に対応する参照画像信号１９に基づいて予測画像信号１１を生成する（ステップＳ４１０８）。　
　以上が、参照切替予測部４０１ＡにおけるステップＳ４１０５からステップＳ４１０８までの動作である。
　ここでは、参照切替予測部４０１Ａは、図３２（ｃ）のシンタクスに従って、マクロブロック単位で切替情報１８を取得するとともに、スイッチＳＷを切り替える。別の実施形態として、動画像符号化装置３０００がフレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位で切替情報１８を符号化する場合、動画像復号化装置４０００は、同様の単位で切替情報１８の復号化、及びループフィルタ切替部２０９におけるスイッチＳＷの切り替えを実行する。　
　以上が、動画像復号化装置４０００におけるループフィルタに係わる動作についての説明である。
　このように、第２の実施形態の係わる動画像符号化装置によれば、入力画像と予測信号との誤差が最小となるようなループフィルタのフィルタ係数情報を設定してフィルタ処理を行なうことにより、参照画像の画質を向上させることが可能となる。また、切替情報生成予測部３０１Ａの内部に備えたループフィルタ切替部１１４で局所復号画像信号１６と復元画像信号２０のどちらを参照画像として予測処理を行なうかを切り替えることにより、フィルタにより画質が低下する領域については、復元画像信号２０を参照画像として用いないことで画質低下の伝播を防ぐとともに、画質が向上する領域については、復元画像信号２０を参照画像として用いることで予測精度を向上させることが可能となる。
　また、第２の実施形態の係わる動画像復号化装置４０００によれば、動画像符号化装置３０００と同様のフィルタ係数情報、切替情報を用いてフィルタ処理及び参照画像の切替を行なうことにより、動画像符号化装置３０００における参照画像と動画像復号化装置４０００における参照画像とが同期することを保証することができる。
　なお、第２の実施形態に係わる動画像復号化装置４０００においては、フィルタ処理部２０８で生成した復元画像信号２０を出力画像信号２２として出力していたが、別の実施形態として、復号画像信号２１を出力画像信号２２として出力しても良い。また、第２の実施形態に係わる動画像符号化装置３０００及び動画像復号化装置４０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。
　また、第２の実施形態に係わる動画像符号化／復号化装置において、上記実施形態では、復元画像用バッファに一時保存しておいた復元画像信号２０を参照切替予測部４０１Ａで取得して用いているが、別の実施形態として、復元画像用バッファを持たずに参照切替予測部内部にフィルタ処理部を備えることにより、参照画像切替予測部内部で復元画像を生成しても良い。このような実施形態における動画像符号化装置及び動画像復号化装置に関する図を図１９～図２３に示す。
　図１９の動画像符号化装置３００１は、切替情報生成予測部３０１Ｂを有し、図２０の切替情報生成予測部３０１Ｂは、参照切替予測部３０５Ｂを有する。図２１の参照切替予測部３０５Ｂは、内部にフィルタ処理部１１３を備え、これにより、局所復号画像信号１６及びフィルタ係数情報１７を取得することで復元画像信号２０を生成することができる。また、図２２の動画像復号化装置４００１は、参照切替予測部４０１Ｂを有する。図２３の参照切替予測部４０１Ｂは、内部にフィルタ処理部２０８を備え、これにより、復号画像信号２１及びフィルタ係数情報１７を取得することで復元画像信号２０を生成することができる。
　このように、動画像符号化装置３００１及び動画像復号化装置４００１のような構成をとることによって、復元画像用バッファに必要なメモリ量を削減しつつ、動画像符号化装置３０００及び動画像復号化装置４０００と同じ動作を実現することが可能となる。
　なお、この動画像符号化装置３０００、３００１、及び動画像復号化装置４０００、４００１は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、切替情報生成予測部３０１、ループフィルタ処理部３０２、局所復号画像用バッファ３０３、復元画像用バッファ３０４、参照切替予測部３０５、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、符号化制御部１０９、フィルタ設定部１１０、切替情報生成部１１２、フィルタ処理部１１３、ループフィルタ切替部１１４、参照切替予測部４０１、復号画像用バッファ４０２、復元画像用バッファ４０３、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、復号化制御部２０６、フィルタ処理部２０８、及びループフィルタ切替部２０９は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置３０００、３００１及び動画像復号化装置４０００、４００１は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、局所復号画像用バッファ３０３、復元画像用バッファ３０４、復号画像用バッファ４０２、及び復元画像用バッファ４０３は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒなどの記憶媒体などを適宜利用して実現することができる。
（第３の実施形態）
　図２４を参照して第３の実施形態に係わる動画像符号化装置を説明する。以下、図２４の構成要素についてそれぞれ述べる。　
　図２４に示す動画像符号化装置５０００は、ループフィルタ処理部５０１、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。
　ここで、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、参照画像用バッファ１０８、及び符号化制御部１０９は、第１の実施形態に係わる図１の動画像符号化装置１０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。　
　ループフィルタ処理部５０１は、局所復号画像信号１６及び入力画像信号１０を受け、参照画像信号１９及びフィルタ係数情報１７を出力する。ループフィルタ処理部５０１についての詳しい説明は後述する。
　次に、第３の実施形態に係わる動画像符号化装置におけるループフィルタ処理部５０１について、図２５及び図２６を用いて詳しく述べる。以下、図２５及び図２６の構成要素についてそれぞれ述べる。　
　図２５に示すループフィルタ処理部５０１は、フィルタ設定部１１０及び切替情報生成フィルタ処理部５０２を有し、更に、切替情報生成フィルタ処理部５０２は、図２６に示すように、切替フィルタ処理部１１１及び切替情報生成部５０３を有する。ここで、フィルタ設定部１１０、切替フィルタ処理部１１１は、第1の実施形態に係わる図２のループフィルタ処理部１０７における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。
　切替情報生成部５０３は、符号化制御部１０９によって制御され、局所復号画像信号１６を受け、所定の切替判定方法に従って切替情報１８を生成する。生成した切替情報１８は、切替フィルタ処理部１１１へ入力される。切替判定方法の詳細については後述する。　
　以上が第３の実施形態に係わる動画像符号化装置の構成である。
　次に、図２５、図２６及び図２７を用いて、第３の実施形態に係わる動画像符号化装置におけるループフィルタの動作について詳しく説明する。なお、図２７は、第３の実施形態に係わる動画像符号化装置５０００におけるループフィルタに関する動作を示すフローチャートである。
　まず、図２５に示すフィルタ設定部１１０は、局所復号画像信号１６及び入力画像信号１０を取得し、フィルタ係数情報１７の設定を行なう（ステップＳ５１００）。ここでは、フィルタ設定部１１０は、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ　ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施した画像と、入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。設定したフィルタ係数情報１７は、図２５に示す切替情報生成フィルタ処理部５０２へ出力するとともに、エントロピー符号化部１０４へ出力する。
　次に、図２６に示す切替情報生成フィルタ処理部５０２内部に備えた切替情報生成部５０３は、局所復号画像信号１６を取得する（ステップＳ５１０１）。切替情報生成部５０３は、局所復号画像信号１６における注目画素と、その周辺の画素との差分絶対値和ＳＡＤを画素単位に算出する（ステップＳ５１０２）。ＳＡＤは、局所復号画像内の画素の座標をｘ、ｙとし、局所復号画像をＦ（ｘ，ｙ）とすると、次式で表わされる。
Figure JPOXMLDOC01-appb-M000004
　次に、ＳＡＤと予め符号化制御部１０９に設定したしきい値Ｔを用いて、以下の切替判定処理を行う（ステップＳ５１０３）。ＳＡＤがＴ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ５１０４）。逆に、ＳＡＤがＴより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ５１０５）。ここでは、切替情報１８を画素単位に求めたが、別の実施形態として、切替判定処理をフレーム単位又はスライス単位又はマクロブロック単位又はマクロブロックとは異なるサイズのブロック単位に判定しても良く、その場合、切替情報１８もそれに対応した単位で出力する。
　また、ここでは対象画素と周辺画素との差分絶対値和を用いたが、別の実施形態として、差分二乗和を用いても良いし、局所復号画像から算出できる指標であれば、アクティビティや空間周波数、エッジ強度、エッジ方向などの指標を用いても良い。また、ここでは、上記指標を局所復号画像から算出したが、局所復号画像に対してフィルタ処理を行った後の復元画像を取得し、復元画像から上記指標を算出しても良い。　
　また、別の実施形態として、符号化情報の一部である量子化パラメータや、ブロックサイズ、予測モード、動きベクトル、変換係数などに基づいて切替判定処理を行っても良い。
　次に、図２６に示す切替フィルタ処理部１１１は、生成した切替情報１８に加え、局所復号画像信号１６及びフィルタ係数情報１７を取得し、第１の実施形態に係わる動画像符号化装置１０００における図４のステップＳ１１０７からステップＳ１１０９と同様の動作を行なうことにより、参照画像信号１９を出力する。つまり、図３のループフィルタ切替部１１４は、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを取得し、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ５１０６）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として参照画像用バッファ１０８に一時保存する（ステップＳ５１０７）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ１０８に一時保存する（スイッチＳ５１０８）。
　最後に、フィルタ設定部１１０で生成したフィルタ係数情報１７は、エントロピー符号化部１０４で符号化され、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置６０００へと送信される（ステップＳ５１０９）。この際、フィルタ係数情報１７は、図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）において、図３２（ｂ）のように記述される。フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置５０００と後述する動画像復号化装置６０００において同様の値を用いなければならないことに注意する。　
　以上が、動画像符号化装置５０００におけるループフィルタに係わる動作についての説明である。
　次に、動画像符号化装置６０００に対する動画像復号化装置について説明する。図２８を参照して第３の実施形態に係わる動画像復号化装置を説明する。以下、図２８の構成要素についてそれぞれ述べる。
　図２８に示す動画像復号化装置６０００は、切替情報生成フィルタ処理部６０１、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。
　ここで、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、参照画像用バッファ２０６、及び復号化制御部２０７は、第１の実施形態に係わる図５の動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。
　切替情報生成フィルタ処理部６０１は、復号画像信号２１及びフィルタ係数情報１７を取得し、参照画像信号１９及び出力画像信号２２を出力する。切替情報生成フィルタ処理部６０１についての詳しい説明は後述する。
　次に、第３の実施形態に係わる動画像復号化装置における切替情報生成フィルタ処理部６０１について図２９を用いて詳しく述べる。以下、図２９の構成要素についてそれぞれ述べる。　
　図２９に示す切替情報生成フィルタ処理部６０１は、切替情報生成部６０２及び切替フィルタ処理部２０５を有する。ここで、切替フィルタ処理部２０５は、第1の実施形態に係わる図５の動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。
　切替情報生成部６０２は、復号化制御部２０７によって制御され、復号画像信号２１を取得し、所定の切替判定方法に従って切替情報１８を生成する。生成した切替情報１８は、切替フィルタ処理部２０５へ入力される。切替判定方法の詳細については後述する。
　以上が第３の実施形態に係わる動画像復号化装置の構成である。
　次に、図２８、図２９及び図３０を用いて、第３の実施形態に係わる動画像復号化装置の動作について詳しく説明する。なお、図３０は、第３の実施形態に係わる動画像復号化装置６０００におけるループフィルタに関する動作を示すフローチャートである。
　まず、エントロピー復号化部２０１は、図３１のシンタクス構造に従って、フィルタ係数情報１７を復号する（ステップＳ６１００）。図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）内には、図３２（ｂ）に示すように、フィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置５０００と動画像復号化装置６０００において同様の値を用いなければならないことに注意する。
　切替情報生成フィルタ処理部６０１は、復号したフィルタ係数情報１７を取得する（ステップＳ６１０１）。また、切替情報生成フィルタ処理部６０１は、加算器２０４より取得した復号画像信号２１を取得する（ステップＳ６１０２）。図２９に示す切替情報生成フィルタ処理部６０１の内部に備えた切替情報生成部６０２は、復号画像信号２１における注目画素と、その周辺の画素との差分絶対値和ＳＡＤを画素単位に算出する（ステップＳ６１０３）。ＳＡＤは、復号画像内の画素の座標をｘ、ｙとし、復号画像をＦ（ｘ，ｙ）とすると、［数４］で表わされる。
　ＳＡＤと予め復号化制御部２０７に設定したしきい値Ｔを用いて、以下の切替判定処理を行う（ステップＳ６１０４）。ここで、しきい値Ｔは、動画像符号化装置５０００で設定したしきい値Ｔと同じ値を用いることに注意する。ＳＡＤがＴ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ６１０５）。逆に、ＳＡＤがＴより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ６１０６）。ここでは、切替情報１８を画素単位に求めたが、別の実施形態として、切替判定処理をフレーム単位又はスライス単位又はマクロブロック単位若しくはマクロブロックとは異なるサイズのブロック単位に判定しても良く、その場合、切替情報１８もそれに対応した単位で復号する。
　また、ここでは対象画素と周辺画素との差分絶対値和を用いたが、別の実施形態として、差分二乗和を用いても良いし、復号画像から算出できる指標であれば、アクティビティや空間周波数、エッジ強度、エッジ方向などの指標を用いても良い。また、ここでは、上記指標を復号画像から算出したが、復号画像に対してフィルタ処理を行った後の復元画像を取得し、復元画像から上記指標を算出しても良い。
　また、別の実施形態として、符号化情報の一部である量子化パラメータや、ブロックサイズ、予測モード、動きベクトル、変換係数などに基づいて切替判定処理を行っても良い。何れにせよ、動画像復号化装置６０００における切替情報生成部６０２は、動画像符号化装置５０００における切替情報生成部５０３と同様の切替判定処理を行わなくてはならないことに注意する。
　図２９に示す切替フィルタ処理部２０５は、生成した切替情報１８に加え、復号画像信号２１及びフィルタ係数情報１７を取得し、第１の実施形態に係わる動画像復号化装置２０００における図７のステップＳ２１０３からステップＳ２１０５と同様の動作を行なうことにより、参照画像信号１９を出力する。つまり、図６のループフィルタ切替部２０５Ａは、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを取得し、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ６１０７）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部２０５Ａは、スイッチＳＷを端子Ａに接続し、復号画像信号２１を参照画像信号１９として参照画像用バッファ２０６に一時保存する（ステップＳ６１０８）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部２０５Ａは、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ２０６に一時保存する（スイッチＳ６１０９）。
　以上のように、切替情報生成フィルタ処理部６０１は、取得した復号画像信号２１を用いて、第３の実施形態に係わる動画像符号化装置における図２６の切替情報生成フィルタ処理部５０２と同様の動作により切替情報１８を生成するとともに、参照画像信号１９を出力する。　
　以上が、動画像復号化装置６０００におけるループフィルタに係わる動作についての説明である。
　このように、第３の実施形態の係わる動画像符号化装置によれば、入力画像と予測画像との誤差が最小となるようなループフィルタのフィルタ係数情報を設定してフィルタ処理を行なうことにより、参照画像の画質を向上させることが可能となる。また、ループフィルタ切替部１１４で局所復号画像信号１６と復元画像信号１８のどちらを参照画像として保持するかを局所復号画像１６から算出される指標を用いて局所領域毎に切り替えることにより、フィルタによる画質低下の伝播を防ぐことが可能であり、符号化効率を向上させることが可能である。
　また、第３の実施形態の係わる動画像復号化装置によれば、動画像符号化装置と同様のフィルタ係数情報を用いてフィルタ処理を行なうとともに、同様の切替判定処理を行なうことにより、動画像符号化装置における参照画像と動画像復号化装置における参照画像とが同期することを保証することができる。
　また、第３の実施形態に係わる動画像符号化装置及び動画像復号化装置によれば、符号化側で切替情報を局所復号画像から算出できる指標に基づいて生成することにより、復号化側でも同様の切替情報を復号画像から算出することが可能となる。そのため、切替情報を符号化したときの符号量を削減することが可能となる。
　なお、第３の実施形態に係わる動画像復号化装置６０００では、第１の実施形態に係わる動画像復号化装置２０００と同様に、切替フィルタ処理部２０５を図８又は図９のような構成にすることによって、復号画像２１又は参照画像１９を出力画像信号２２として出力しても良い。
　また、切替フィルタ処理部２０５を図１０のような構成にし、切替情報生成部で新たにポストフィルタ用の切替情報を生成することによって、図１０のポストフィルタ切替部２１０に備えたスイッチＳＷ２を切り替えて、出力画像信号２２を切り替えても良い。
　なお、第３の実施形態に係わる動画像符号化装置５０００及び動画像復号化装置６０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。
　なお、動画像符号化装置５０００及び動画像復号化装置６０００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、ループフィルタ処理部５０１、切替情報生成フィルタ処理部５０２、切替情報生成部５０３、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、参照画像用バッファ１０８、符号化制御部１０９、フィルタ設定部１１０、切替フィルタ処理部１１１、切替情報生成フィルタ処理部６０１、切替情報生成部６０２、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、切替フィルタ処理部２０５、参照画像用バッファ２０６及び復号化制御部２０７は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置５０００及び動画像復号化装置６０００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ－ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒなどの記憶媒体などを適宜利用して実現することができる。
（第４の実施形態）
　上記第１の実施形態では、切替情報を１６×１６画素のマクロブロック単位で設定する例を示した。一方、本実施形態における切替情報を設定する単位は、上記マクロブロックに限るものではなく、シーケンス、フレーム、又は画面内を分割したスライスや画素ブロックなどを用いることができる。
　本実施形態では、上述した第１の実施形態に係わる符号化及び復号化方法において、切替情報を設定する単位を画素ブロック毎とし、画素ブロックのサイズを適応的に切り替える方法について説明する。
　第４の実施形態に係わる符号化装置及び復号化装置における切替フィルタ処理部１１１について、図３７、図３８を用いて説明する。図３７及び図３８の切替フィルタ処理部１１１は、図３及び図６の切替フィルタ処理部１１１の変形例であり、スイッチＳＷによって、復元画像信号２０を参照画像とする場合のみフィルタ処理を行う構成となっている。即ち、図３７においては、フィルタ処理部１１３の前段にスイッチＳＷが設けられ、スイッチＳＷの端子Ａは直接参照画像用バッファ１０８に導出され、局所復号画像信号１６をそのまま参照画像信号としてバッファ１０８に格納される。スイッチＳＷの端子Ｂはフィルタ処理部１１３を介して参照画像用バッファ１０８に導出され、局所復号画像信号１６はフィルタ処理部１１３でフィルタ係数情報１７に応じてフィルタ処理されてから参照画像信号としてバッファ１０８に格納される。また、図３８においては、フィルタ処理部２０８の前段にスイッチＳＷが設けられ、スイッチＳＷの端子Ａは直接出力ラインに導出され、復号画像信号２１はそのまま出力ラインに出力される。スイッチＳＷの端子Ｂはフィルタ処理部２０８を介して出力ラインに導出され、復号画像信号はフィルタ処理部２０８によってフィルタ係数情報１７に応じてフィルタ処理されてから参照画像信号１９及び出力画像信号２２として出力ラインに出力される。このような構成により、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１となる場合のみフィルタ処理部１１３又は２０８がフィルタ処理を行えばよいため、図３及び図６の構成に比べて処理コストを削減することができる。図３７及び３８の変形例は第１乃至第３の実施形態に適用できることは言うまでもない。
　本実施形態に係わる図３７及び図３８の切替フィルタ処理部１１１は、上述する第１の実施形態における切替フィルタ処理部１１１と同様に、内部にフィルタ処理部１１３及びループフィルタ切替部１１４を有し、局所復号画像信号１６または復号画像信号２１、フィルタ係数情報１７、及び切替情報１８を取得して、参照画像信号１９を出力する。また、本実施形態では同時に領域設定情報２３を取得し、ループフィルタ切替部１１４に入力する。
　ここで、領域設定情報２３は、ブロックサイズに応じてスイッチＳＷを切り替えるタイミングを制御する情報であり、画面を矩形ブロックに分割した場合の１つのブロックの大きさを示すものである。領域設定情報２３は、ブロックサイズの値そのものを用いても良いし、また、予め用意したブロックサイズを決める領域サイズ規定テーブルにおけるインデクスであっても良い。
　上記領域サイズ規定テーブルの一例を図３９（ａ）に示す。図３９（ａ）の領域サイズ規定テーブルでは、最も小さいブロックサイズである縦横４画素の正方形ブロックのインデクスを０に設定し、一辺の画素数を２倍ずつ増加して５１２×５１２画素までの８つのブロックサイズを用意している。符号化及び復号化側で同じ領域サイズ規定テーブルを保持することによって、符号化側では、図３９（ａ）の領域サイズ規定テーブルで決定したインデクスをブロック情報として符号化し、復号化側では同様の領域サイズ規定テーブルを用いて復号化したブロック情報からブロックサイズを決定する。なお、領域サイズ規定テーブル（ａ）は符号化制御部及び復号化制御部に設けられる。
　次に、本実施形態に係わる領域設定情報２３を含むシンタクスについて、図４２を用いて説明する。本実施形態に係わる図３１のシンタクス構造におけるループフィルタデータシンタクス（１９０６）は、例えば図４２のように記述される。図４２（ａ）のｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅが領域設定情報２３を示しており、ＮｕｍＯｆＢｌｏｃｋは、ｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅが示すブロックサイズによって決まる１スライス内のブロック総数である。例えば、図３９（ａ）の領域サイズ規定テーブルを用いた場合、領域設定情報であるインデクスが０に設定されると、スライスを４×４画素ブロックで分割し、４×４画素ブロック毎にｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを符号化する。これによって、スライスでは、符号化側及び復号化側の双方で、切替フィルタ処理部１１１におけるスイッチＳＷを４×４画素ブロック毎に切り替えることが可能となる。
　また、別の実施形態として、基本となるブロックサイズに対する分割方法を領域設定情報として用いても良い。例えば、図３９（ｂ）の領域サイズ規定テーブルのように、「分割なし」、「横２分割」、「縦２分割」、「縦横２分割」の４つのブロック分割方法を用意し、それぞれにインデクス番号を割り当てる。これにより、基本となるブロックサイズを１６×１６画素ブロック及び８×８画素ブロックとした場合、それぞれ図４０のようなブロック形状をとることができる。これに関するシンタクスは、図４２（ｂ）のように、基本となるブロックサイズのループの中に領域設定情報であるｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅを記述し、ｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅによって決まるサブブロック数であるＮｕｍＯｆＳｕｂｂｌｏｃｋの分だけｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを符号化する。例として基本ブロックサイズを１６×１６及び８×８とした場合の参照画像の例を図４１に示す。なお、領域サイズ規定テーブル（ｂ）は符号化制御部及び復号化制御部に設けられる。
　このように、第４の実施形態に係わる動画像符号化及び復号化方法によれば、画面内を領域分割するための領域設定情報を設定及び符号化することによって、画面のブロック分割に多様性を持たせることができ、分割した各ブロックに対して切替情報を設定することによって、フレーム又はフレーム内の局所領域毎に適応的にフィルタ処理の切り替えタイミングを制御することが可能となる。
　ここで、ブロックサイズを適応的に切り替えた場合、切替情報を符号化するために必要な符号量は、ブロックサイズが小さくなるほど、つまり画面を細かく分割すればするほど増加してしまい、符号化効率の低下を招く恐れがある。そこで、上述した領域サイズ規定テーブルを複数用意し、ループフィルタを適用する画像の符号量に寄与し、且つ符号化及び復号化側の双方で得られる所定の情報に基づいて領域サイズ規定テーブルを切り替えて用いても良い。例えば、図３９（ｃ）で示すような複数の領域サイズ規定テーブルを例えば符号化制御部及び復号化制御部に用意し、画像サイズ、ピクチャタイプ、量子化の粗さを決める量子化パラメータに応じて領域サイズ規定テーブルを切り替えることができる。画像サイズについては、画像サイズが相対的に大きくなればなるほど、大きいサイズのブロックを用意した領域サイズ規定テーブルを用いる。
　また、ピクチャタイプについては、一般的な使われ方をした場合、符号量はＩピクチャ＞Ｐピクチャ＞Ｂピクチャとなる傾向があるため、少ない符号量で符号化されるＢピクチャなどでは、大きいサイズのブロックを用意した領域サイズ規定テーブルを用いる。
　また、量子化パラメータについては、量子化パラメータの値が大きくなるほど変換係数の符号量が小さくなるため、相対的に大きいサイズのブロックを用意した領域サイズ規定テーブルを用いる。
　上記のようにブロックサイズの異なる複数の領域サイズ規定テーブルを切り替えることによって、限られたインデクス番号を用いて、より適応的にブロックサイズを選択することができる。また、変換係数や符号化パラメータの符号量と切替情報に必要な符号量とのバランスを効率よく制御することができる。
　更に別の実施形態として、ブロック情報は、局所復号画像または復号画像を生成する際の符号化及び復号化に用いた動き補償ブロックサイズ及び変換ブロックサイズなどと同期させたブロックサイズを用いても良く、この場合、ループフィルタデータシンタクス（１９０６）にブロック情報を記述することなく、フィルタ処理の切り替えタイミングを変更することができ、ブロック情報にかかる符号量を削減することができる。
　また、ここでは画面内を矩形ブロックに分割する場合について述べたが、符号化装置及び復号化装置の双方で同じ領域分割を実現できる分割方法であれば、矩形ブロックに限るものではない。
（第５の実施形態）
　次に、図４３及び図４４を参照して第５の実施形態に係わる動画像符号化方法について説明する。
　図４３のループフィルタ処理部１０７は、上述した第１の実施形態における図２のループフィルタ処理部１０７と同様の構成要素を持ち、内部にフィルタ設定部１１０、切替フィルタ処理部１１１及び切替情報生成部１１２を有し、局所復号画像信号１６及び入力画像信号１０を取得して、フィルタ係数情報１７、切替情報１８、及び参照画像信号１９を出力する。
　一方、本実施形態では、画面内を分割した局所領域毎に切替情報１８を設定することとし、切替情報１８をフィルタ設定部１１０に入力することによって、切替情報１８に基づいてフィルタ設定に用いる領域を選択的に取得する。
　第５の実施形態に係わる動画像符号化装置におけるループフィルタに関する動作について、図４４のフローチャートを用いて詳しく説明する。
　図４４のフローチャートにおいて、Ｒはフィルタ係数情報の設定回数の最大値とし、Ｎは画面を分割した局所領域の総数とする。まず、フィルタ係数情報設定回数ｒに０をセットし（ステップＳ７１００）、切替情報であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを全ての領域で１にセットする（ステップＳ７１０１）。次に、ｒを１だけインクリメントする（ステップＳ７１０２）。
　その後、図４３におけるフィルタ設定部１１０において、フィルタ係数情報の設定を行なう（ステップＳ１１００）。ここでは、第１の実施形態と同様に、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ　ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施して得られる画像（参照画像信号１９）と入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。ここで、第５の実施形態における図４３のフィルタ設定部１１０では、入力された切替情報であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１に設定された領域のみを用いて平均二乗誤差を算出することとする。ここで、ｒ＝１となる初回のフィルタ係数情報の設定では、ステップＳ７１０１において全ての領域のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１をセットしているため、第１の実施形態と同様、画面全体の平均二乗誤差が最小となるように設計されたフィルタ係数情報が生成される。
　次に、図４３の切替フィルタ処理部１１１は、画面を分割した各々の局所領域に対して切替情報１８を設定する。つまり、領域番号をｎとすると、まずｎに０をセットし（ステップＳ７１０３）、ｎを１だけインクリメントする（ステップＳ７１０４）。次に、ｎ番目の領域に対して第１の実施形態と同様なステップＳ１１０１～ステップＳ１１０９の処理を行う。以上の処理をｎが総数Ｎに達するまで繰り返す（ステップＳ７１０５）。
　画面内の全ての領域に対してｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが設定された後は、フィルタ係数情報設定回数ｒが、予め決められたフィルタ係数情報の設定回数の最大値Ｒに達するまで上記一連の処理を反復する（ステップＳ７１０６）。このように、第５の実施形態に係わる動画像符号化方法によれば、２回目以降のフィルタ係数情報の設定は、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１に設定された領域に限定して平均二乗誤差を最小化するフィルタを設定することが可能となる。例えば、１回目に設定された切替情報によって得られた参照画像が図３３のようになる場合、２回目のフィルタ係数情報の設定は、「ループフィルタが適用されるマクロブロック」のみに限定して平均二乗誤差を最小化するフィルタを設定することができる。これにより、「ループフィルタが適用されるマクロブロック」に対しては、より画質改善効果の大きいフィルタを設定することができる。
　なお、本発明は上記第１乃至第３の実施形態等にそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
（第６の実施形態）
　次に、第６の実施形態に関する動画像符号化装置及び動画像復号化装置について説明する。図４５は、動画像符号化装置及び動画像復号化装置の双方に存在するフィルタ処理部を示し、第１及び第２の実施形態のフィルタ処理部１１３並びに第３の実施形態と第４の実施形態におけるフィルタ処理部２０８に相当するフィルタ処理部を示している。
　図４５の局部復号画像フィルタ処理部７０１には、動画像符号化装置の場合、局部復号画像信号と切替情報とフィルタ情報と符号化情報が入力され、動画像復号化装置の場合、復号画像信号と切替情報とフィルタ情報と符号化情報が入力され、参照画像信号が生成される。フィルタ処理部７０１は、フィルタ境界判定処理部７０２とスイッチ７０３とデブロッキングフィルタ処理部７０４とスイッチ７０５と画像復元フィルタ処理部７０６から構成されている。
　フィルタ境界判定処理部７０２は、局部復号画像信号または復号化像信号からの符号化情報を用いて、変換処理や動き補償の単位であるブロックの境界部分の画素のうちデブロッキングフィルタ処理を行うべき画素を判定して、スイッチ７０３とスイッチ７０５を制御する。この時、フィルタ境界判定処理部７０２は、入力画素がブロック境界画素であると判定した場合は、スイッチ７０３及びスイッチ７０５を端子Ａに接続し、デブロッキングフィルタ処理部７０４で画素信号に対してデブロッキングフィルタ処理を行い、入力画素がブロック境界画素でないと判定した場合には、スイッチ７０３及びスイッチ７０５を端子Ｂに接続して、画像復元フィルタ処理部７０６で入力画素に対して画像復元フィルタ処理を行う。
　デブロッキングフィルタ処理部７０４は、ブロック境界判定処理部７０２がブロック境界と判定した画素に対して、予め作成しておいたフィルタ係数又は局部復号画像フィルタ処理部７０１の外から与えられるフィルタ係数情報を用いて、変換処理や動き補償処理によって生じるブロック歪を打ち消すようなフィルタ処理（例えば、画素信号の平均化処理）を行う。
　画像復元フィルタ処理部７０６は、ブロック境界判定処理部７０２がブロック境界でないと判定した画素に対して、局部復号画像フィルタ処理部７０１の外から与えられるフィルタ係数によって、局部復号画像の復元処理を行う。画像復元フィルタ処理部７０６に関しては、第１の実施形態の図３及び図６及び図８及び図９及び図１０の切替フィルタ処理部１１１、２０５Ａ，２０５Ｂ，２０５Ｃ，２０５Ｄ、第２の実施形態の図１４及び図１６のフィルタ処理部１１３、２０８，第２の実施形態の図２１及び図２３の参照切替予測部３０５Ｂ、４０１Ｂ、第３の実施形態の図２６及び図２９の切替情報生成フィルタ処理部５０２、６０１、第４の実施形態の図３７及び図３８の切替フィルタ処理部１１１，２０５Ａをそのまま置き換えたものとする。
　このように第６の実施形態によれば、ブロック境界部分は、変換処理や動き補償処理によるブロック歪が生じることによる復号画像信号の性質の違いを考慮したフィルタ処理を行うことができ、画像全体の復元の性能を向上させることができる。
（第７の実施形態）
　次に図４６乃至図４９を用いて、第７の実施形態に関する動画像符号化装置及び復号化装置について説明する。まず、図４６を参照して第７の実施形態に係わる動画像符号化装置を説明する。以下、図４６の構成要素についてそれぞれ説明する。
　図４６に示す動画像符号化装置７０００は、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、Deblockingフィルタ部８０１、フィルタ設定・切替情報生成部８０２、復号画像用バッファ８０３、予測画像作成部８０４、動きベクトル生成部８０５を有し、符号化制御部１０９によって制御される。
　ここで、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６及び符号化制御部１０９は、第２の実施形態に係わる図１１の動画像符号化装置３０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。
　また、フィルタ設定・切替情報生成部８０２は、第１の実施形態に係わる図２のループフィルタ処理部１０７内のフィルタ設定部１１０と切替情報生成部１１２と同様の動作をする。
　具体的な動作として、従来のハイブリッド符号化や第１の実施形態に係わる動画像符号化装置１０００や第２の実施形態に係わる動画像符号化装置３０００と同様に、動画像符号化装置７０００は、予測誤差に対して変換、量子化、エントロピー符号化を行なうとともに、逆量子化、逆変換による局所復号を行う。局部復号信号に対してDeblockingフィルタ部８０１によってブロック境界の歪を除去するフィルタ処理を行った後にそのフィルタ処理後の局所復号信号を復号画像用バッファ８０３に一時保存する。フィルタ設定・切替情報生成部８０２は、フィルタ処理済みの局所復号画像信号及び入力画像信号を受け、フィルタ係数及び切替情報を生成する。フィルタ設定・切替情報生成部８０２は、生成したフィルタ係数情報を復号画像用バッファ８０３へ出力するとともに、エントロピー符号化部１０４へ出力する。エントロピー符号化部１０４はフィルタ設定・切替情報生成部８０２で生成したフィルタ係数、切替情報を符号化し、また、量子化後の変換係数を、予測モード情報、ブロックサイズ切替情報、動きベクトル情報、量子化パラメータなどと共にビットストリームに多重化して、後述する動画像復号化装置８０００へと送信する。この際、フィルタ係数情報、切替情報は、入力画像の符号化情報として、図３２等のシンタクスに従って送信される。
　復号画像用バッファ８０３には、予測画像作成部８０４で参照される局所復号画像およびその局所復号画像に対応するフィルタ係数、切替情報が蓄えられている。
　予測画像作成部８０４は、復号画像用バッファ８０３で管理されている局所復号画像とフィルタ係数と切替情報及び動きベクトル生成部８０５で生成された動きベクトル情報を用いて、動き補償を行った予測画像を作成する。減算器１０２は作成された予測画像と入力画像との予測誤差信号を生成する。一方、動きベクトル情報は、エントロピー符号化部１０４で符号化され、他の情報と多重化される。
　図４７を参照して第７の実施形態に係わる動画像復号化装置を説明する。以下、図４７の構成要素についてそれぞれ説明する。図４７に示す動画像復号化装置８０００は、エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４、Deblockingフィルタ部８１１、復号画像用バッファ８１３、予測画像作成部８１４を有し、復号化制御部２０６によって制御される。
　エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４及び復号化制御部２０６は、第１の実施形態に係わる動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。
具体的な動作として、従来のハイブリッド符号化の復号化や第１の実施形態に係わる動画像復号化装置２０００や第２の実施形態に係わる動画像符号化装置４０００と同様に、エントロピー復号化部２０１で復号した信号を逆量子化、逆変換し、予測誤差信号を生成し、加算器２０４で予測画像と加算することで、復号画像を生成する。この復号信号に対してDeblockingフィルタ部８１１でブロック境界の歪を除去するフィルタ処理を行った後、復号画像が出力されるとともに復号画像用バッファ８１３に蓄えられる。
　復号画像用バッファ８１３では、予測画像作成部８１４で参照される復号画像およびエントロピー復号化部２０１で復号されたその復号画像に対応するフィルタ係数、切替情報が蓄えられている。予測画像作成部８１３では、エントロピー復号化部２により復号された動きベクトル情報と復号画像用バッファ４０２からの復号画像、フィルタ係数及び切替情報から、復元フィルタ処理と動き補償を行った予測画像を作成する。
　図４６および図４７のような動画像符号化装置及び動画像復号化装置のような構成によって適応的な画像復元処理を動き補償予測に適用することにより、符号化効率の改善が実現できる。図４８は、図４６と図４７の予測画像作成部８１４の具体的な実施の一実施形態である。以下、図４８の構成要素についてそれぞれ説明する。
　図４８に示す予測画像作成部８０４は、スイッチ８２１と復元画像作成部８２２と補間画像作成部８２３からなっている。スイッチ８２１は、動きベクトル情報に基づいて参照された復号画像に対して、復元フィルタ処理を行うか否かを切り替えるスイッチであり、フィルタ設定・切替情報生成部８０２で生成された切替情報に基づいて、切り替えられる。スイッチ８２１が端子Ａに切り替えられた場合、復元画像作成部８２２は、フィルタ設定・切替情報生成部８０２で設定されたフィルタ係数を用いて、動きベクトル情報に基づいて参照された復号画像に対して、復元フィルタ処理を行う。スイッチ８２１が端子Ｂに切り替えられた場合、復号画像は、そのまま補間画像作成部８２３の入力となる。補間画像作成部８２３は、動きベクトル情報に基づいて、小数点画素位置の補間画像を生成し、予測画像とする。このような構成にすることにより、適応的な画像復元処理と動き補償予測の組み合わせが実現できる。
　図４９は、図４６と図４７の予測画像作成部の具体的な実施の別実施形態である。以下、図４９の構成要素についてそれぞれ述べる。
　図４９に示す予測画像作成部８０４は、スイッチ８３１と整数画素フィルタ部８３２、ビット拡張部８３３、補間画像作成部８３４、スイッチ８３５、重み付予測画像作成部８３６、ビット縮退部８３７から構成されている。スイッチ８３１は、動きベクトル情報に基づいて参照された復号画像に対して、整数画素単位で復元フィルタ処理を行うか否かを切り替えるスイッチであり、図４６のフィルタ設定・切替情報生成部８０２で生成された切替情報に基づいて、切り替えられる。スイッチ８３１が端子Ａに切り替えられた場合、整数画素フィルタ部８３２は、フィルタ設定・切替情報生成部８０２で設定されたフィルタ係数を用いて、動きベクトル情報に基づいて参照された復号画像に対して、復元フィルタ処理を行う。このときの特徴としては、復号画像の画素ビット長がＮ－ｂｉｔであった場合、整数画素フィルタ部８３２の出力の画素ビット長は、Ｍ≧ＮとなるＭ－ｂｉｔになるようにすることである。スイッチ８３１が端子Ｂに切り替えられた場合には、復号画像は、ビット拡張部８３３に入力され、Ｎ－ｂｉｔの復号画像がＭ≧ＮとなるＭ－ｂｉｔになるよう拡張される。具体的には、ビット拡張部８３３は画素値Ｖを左に（Ｍ－Ｎ）ビット算術シフトする処理を行う。
　補間画像作成部８３４は、動きベクトル情報に基づいて、小数点画素位置の補間画像を生成する。このときの特徴としては、入力がＭ－ｂｉｔの画素ビット長に対して、出力がＬ≧ＮとなるＬ－ｂｉｔの画素ビット長になるようにすることである。スイッチ８３５は、符号化制御部１０９あるいは、符号化情報に基づいて復号化制御部２０６によって制御されるスイッチであり、重み付予測を行うかどうかを切り替えている。スイッチ８３５が端子Ａに切り替えられた場合、重み付予測画像作成部８３６は、Ｈ．２６２／ＡＶＣ等で行われている重み付予測式に基づいて予測画像を作成する。このときの特徴としては、Ｌ－ｂｉｔの画素ビット長の入力に対してＮ－ｂｉｔの画素ビット長の出力になるように処理が行われる。スイッチ８３５が単位Ｂに切り替えられた場合、ビット縮退部８４７は、Ｌ－ｂｉｔの入力がＬ≧ＮとなるＮ－ｂｉｔになるように丸め処理を行う。
　このように復号画像の画素ビット長よりも大きな画素ビット長となるように、予測画像作成部８０４の内部を構成することにより、復元処理と補間処理と重み付予測処理における演算の丸め誤差を減らし、より符号化効率の優れた予測画像作成が実現できる。
（第８の実施形態）
　第４の実施形態では、切替情報を設定する単位を画素ブロック毎とし、画素ブロックの大きさ又は分割方法を示す領域設定情報を用いて画素ブロックサイズを適応的に切り替える方法について説明する。本実施形態では、画素ブロックサイズを画面内で適応的に切り替える方法として、所定の大きさの親ブロック内部を小さいサイズの子ブロックに階層的に分割する方法について図５０乃至図５５を用いて説明する。
　ここでは、４分木構造を用いて親ブロックを階層的に子ブロックに分割する方法について述べる。図５０は、４分木構造による階層的ブロック分割を表わしている。図５０における階層０の親ブロックＢ０，０は、階層１では子ブロックＢ１，０～Ｂ１，３に分割され、階層２では子ブロックＢ２，０～Ｂ２，１５に分割される。
　次に、４分木構造の分割木を表現する方法について述べる。図５１は、０又は１で表わされるブロック分割情報を用いて、階層３までの分割木を表現している。ブロック分割情報が１の場合は下の階層の子ブロックに分割することを示し、０の場合は分割しないことを示す。図５１のように設定したブロック分割情報によって表されるブロックは、図５２のように親ブロックが４つの子ブロックに分割され、この子ブロックが更に４つの子（孫）ブロックに分割され、この子（孫）ブロックが更に４つの子（ひ孫）ブロックに分割される。このように分割された大きさの異なるブロック一つ一つに対して切替情報を設定する。つまり、図５１の分割木におけるブロック分割情報が０の場合に対応するブロックに切替情報を設定することと等しい。
　親ブロック内の子ブロックのサイズは、親ブロックサイズと階層の深さによって決まる。図５３は、４分木構造を用いた場合の親ブロックサイズに対する階層０～４の子ブロックのサイズを示した図である。図５３において、例えば親ブロックサイズが３２×３２の場合、階層４の子（ひ孫）ブロックサイズは２×２となる。画面内の局所領域である親ブロックの内部は、階層の深さに従って順次小さくなる領域である子ブロックに分割される。
　次に、本実施形態に係わる領域設定情報を含むシンタクスについて、図５４を用いて説明する。本実施形態に係わる図３１のシンタクス構造におけるループフィルタデータシンタクス（１９０６）は、例えば図５４のように記述される。図５４のｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅは、第４の実施形態と同様にブロックサイズを決める値であり、ここでは親ブロックサイズを表わす。
　次に、ｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌは、取り得る階層の深さの最大値を示す値である。本実施形態では、図５４のシンタックスで示すようにｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌをスライス単位で符号化しているが、別の実施形態として、シーケンス、フレーム又は親ブロック単位で符号化しても良い。図５５は親ブロック単位で符号化する際のシンタックスを示している。また、符号化装置及び復号化装置の双方で同じ階層の深さの最大値を示す値を用いるのであれば、ｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌをシンタクスに含めずに予め設定された値を用いても良い。
　また、本実施形態ではｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅによって親ブロックサイズを示したが、最小の子ブロックサイズを示す値としても良く、その場合はｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌとｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅを用いて所定の計算式により親ブロックサイズを導出する。例として４分木構造の場合、ｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅをＢ、ｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌをＬとすると、親ブロックサイズＰは、Ｐ＝Ｂ×２Ｌで表わすことができる。
　次に、ＮｕｍＯｆＰａｒｅｎｔＢｌｏｃｋは、１スライス内の親ブロックの総数であり、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［ｌａｙｅｒ］は、１つの親ブロック内におけるｌａｙｅｒによって示された階層の子ブロックの総数である。例として、４分木構造の場合、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［０］＝１、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［１］＝４、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［２］＝１６、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［３］＝６４となり、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［ｌａｙｅｒ］は、４ｌａｙｅｒで表わすことができる。
　次に、ｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇ及びｂｌｏｃｋ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｆｌａｇについて説明する。ｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇは０又は１の値をとり、ｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇの初期値は０が設定されているものとする。ｂｌｏｃｋ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｆｌａｇはブロック分割情報であり、上記で述べたように、分割する場合は１、分割しない場合には０が設定される。
　このように、第８の実施形態に係わる動画像符号化及び復号化方法によれば、領域分割情報として階層ブロック分割情報を用いることによって、基準となる親ブロックを階層的に子ブロックに分割することができ、分割した各子ブロックに対して切替情報を設定することによって、フレーム内の局所領域毎に適応的にフィルタ処理の切り替えタイミングを制御することが可能となる。また、このように切替情報を設定する単位を画面内で可変にすることにより、ループフィルタが画質に及ぼす影響が大きい領域では細かく領域を分割し、ループフィルタが画質に及ぼす影響が小さい領域では粗く領域を分割することによって、切替情報を効率良く設定することが可能となる。
　また、ここでは親ブロックの分割方法として４分木構造による分割方法について述べたが、符号化装置及び復号化装置の双方で同じ領域分割を実現できる分割方法であれば、４分木構造に限るものではない。
　また、ここでは親ブロック内を階層的に矩形ブロックに分割する場合について述べたが、符号化装置及び復号化装置の双方で同じ領域分割を実現できる分割方法であれば、矩形ブロックに限るものではない。
　本発明によれば、符号化側で設定したフィルタ係数情報を符号化し、フィルタ係数情報を復号化側で復号化して用いる動画像符号化／復号化において、符号化側と復号化側が同様の処理でループフィルタ処理を切り替えることによって、画質劣化の伝播を抑制しつつ、予測に用いる参照画像の画質を向上させ、符号化効率の向上を可能とする。
　本発明にかかる画像符号化及び復号化方法及び装置は、通信メディア、蓄積メディアおよび放送メディアなどにおける画像圧縮処理に使用される。

Claims (43)

  1. 　符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
    　符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を設定するステップと、
    　前記フィルタ係数情報を符号化するステップと、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
    　前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
    　を備えることを特徴とする動画像符号化方法。
  2. 　復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
    　復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を復号化するステップと、
    　参照画像として使用する前記復号画像又は前記復元画像を示す特定情報を復号化するステップと、
    　前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
    を備えることを特徴とする動画像復号化方法。
  3. 　符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
    　符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を設定するステップと、
    　前記フィルタ係数情報を符号化するステップと、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
    　前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像として予測に用いるステップと、
    　を備えることを特徴とする動画像符号化方法。
  4. 　復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
    　復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を復号化するステップと、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化するステップと、
    　前記特定情報に基づいて前記復号画像または前記復元画像を参照画像として予測に用いるステップと、
    　を備えることを特徴とする動画像復号化方法。
  5. 　符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
    　符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を設定するステップと、
    　前記フィルタ係数情報を符号化するステップと、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
    　を備えることを特徴とする動画像符号化方法。
  6. 　復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
    　復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を復号化するステップと、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
    　を備えることを特徴とする動画像復号化方法。
  7. 　復号化側で前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を符号化側で符号化するステップと、
    　を備えることを特徴とする請求項１又は３記載の動画像符号化方法。
  8. 　前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を復号化するステップと、
    　前記特定情報に基づいて前記復号画像または前記復元画像を出力画像として出力するステップと、
    　を備えることを特徴とする請求項２又は４記載の動画像復号化方法。
  9. 　前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を生成するステップと、
    　前記特定情報に基づいて前記復号画像または前記復元画像を出力画像として出力するステップと、
    　を備えることを特徴とする請求項６記載の動画像復号化方法。
  10. 　前記特定情報を、フレーム又はフレーム内の局所領域毎に符号化することを特徴とする請求項１、３、７のいずれか１項に記載の動画像符号化方法。
  11. 　前記特定情報を、フレーム又はフレーム内の局所領域毎に復号化することを特徴とする請求項２、４、８のいずれか1項に記載の動画像復号化方法。
  12. 　前記局所復号画像及び前記復元画像と入力原画像との誤差を計算するステップと、誤差が小さい画像を参照画像とすることを示す前記特定情報を生成するステップとを含むことを特徴とする請求項１、３、７のいずれか１項に記載の動画像符号化方法。
  13. 　前記局所復号画像又は前記復号画像から取得できる指標である周辺画素との差分絶対値和、差分二乗和、アクティビティ、空間周波数、エッジ強度、エッジ方向、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項５記載の動画像符号化方法。
  14. 　前記局所復号画像又は前記復号画像から取得できる指標である周辺画素との差分絶対値和、差分二乗和、アクティビティ、空間周波数、エッジ強度、エッジ方向、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項６又は９記載の動画像復号化方法。
  15. 　符号化情報の一部である量子化パラメータ、ブロックサイズ、予測モード、動きベクトル、変換係数情報、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項５記載の動画像符号化方法。
  16. 　符号化情報の一部である量子化パラメータ、ブロックサイズ、予測モード、動きベクトル、変換係数情報、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項６又は９記載の動画像復号化方法。
  17. 　符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化装置であって、
    　符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成する復元画像生成部と、
    　前記フィルタのフィルタ係数情報を設定する設定部と、
    　前記フィルタ係数情報を符号化する復号部と、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化する符号化部と、
    　前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存する保存部と、
    　を備えることを特徴とする動画像符号化装置。
  18. 　復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化装置であって、
    　復号画像に対してフィルタを適用して復元画像を生成する復元画像生成部と、
    　前記フィルタのフィルタ係数情報を復号化する第1復号化部と、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化する第2復号化部と、
    　前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存する保存部と、
    を備えることを特徴とする動画像復号化装置。
  19. 　符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
    　符号化済みの画像の局所復号画像に対してフィルタを適用することによって生成される復元画像を前記参照画像として用いるか、又は、前記局所復号画像を参照画像として用いるか、を示す特定情報を符号化する特定情報符号化ステップと、
    　前記特定情報に基づいて前記局所復号画像又は前記復元画像を参照画像としてメモリに保存する保存ステップと、
    　を備えることを特徴とする動画像符号化方法。
  20. 　前記特定情報符号化ステップは前記特定情報をフレーム内の局所領域毎に設定して符号化するため前記局所領域の大きさを決める領域設定情報を符号化するステップを含むことを特徴とする請求項１９記載の動画像符号化方法。
  21. 　前記特定情報符号化ステップは前記特定情報をフレーム内の局所領域毎に符号化するために前記特定情報に基づいて前記フィルタのフィルタ係数情報を設定するステップを含むことを特徴とする請求項１９記載の動画像符号化方法。
  22. 　前記特定情報符号化ステップは前記領域設定情報をフレーム又はフレーム内の局所領域毎に符号化することを特徴とする請求項１９記載の動画像符号化方法。
  23. 　前記領域設定情報は、前記局所領域の大きさを示す値であることを特徴とする請求項２０又は２２記載の動画像符号化方法。
  24. 　前記領域設定情報は、所定の大きさの局所領域内部を分割するための分割方法を示すことを特徴とする請求項２０又は２２記載の動画像符号化方法。
  25. 　前記領域設定情報は、予め用意された領域サイズ規定テーブルによって決められる前記局所領域の大きさまたは前記分割方法を示すインデクスを示すことを特徴とする請求項２４記載の動画像符号化方法。
  26. 　複数の前記領域サイズ規定テーブルを用意し、画像サイズ、ピクチャタイプ及び量子化の粗さを規定する量子化パラメータの１つ以上に基づいて切り替えることを特徴とする請求項２５記載の動画像符号化方法。
  27. 　復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
    　復号画像に対してフィルタを適用することによって生成される復元画像を参照画像として用いるか、又は、前記復号画像を参照画像として用いるか、を示す特定情報を復号化する特定情報復号化ステップと、
    　前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存する保存ステップと、
    を含むことを特徴とする動画像復号化方法。
  28. 　前記特定情報復号化ステップは前記特定情報を復号化してフレーム内の局所領域毎に設定するため前記局所領域の大きさを決める領域設定情報を復号化する領域設定情報復号化ステップを含むことを特徴とする請求項２７記載の動画像復号化方法。
  29. 　前記領域設定情報復号化ステップは前記領域設定情報を、フレーム又はフレーム内の局所領域毎に復号化することを特徴とする請求項２７記載の動画像復号化方法。
  30. 　前記領域設定情報は、前記局部領域の大きさを示す値であることを特徴とする請求項２８又は２９記載の動画像復号化方法。
  31. 　前記領域設定情報は、所定の大きさの局所領域内部を分割するための分割方法を示すことを特徴とする請求項２８又は２９記載の動画像復号化方法。
  32. 　前記領域設定情報は、予め用意された領域サイズ規定テーブルによって決められる前記領域の大きさまたは前記分割方法を示すインデクスであることを特徴とする請求項２８又は２９記載の動画像復号化方法。
  33. 　複数の前記領域サイズ規定テーブルを用意し、画像サイズ、ピクチャタイプ、量子化の粗さを規定する量子化パラメータの１つ以上に基づいて切り替えることを特徴とする請求項３２記載の動画像復号化方法。
  34. 　請求項１、３、５、１３、１５、１９、２０、２１、２２、及び２４のいずれか１記載の符号化済みの局部復号画像にフィルタを適用して復元画像を生成するステップは、
    　局部復号画像をブロック境界か否かを判定するステップと、前記局部復号画像をブロック境界と判定した画素に対して、ブロック歪を除去するフィルタ処理を行うことを特徴とする動画像符号化方法。
  35. 　請求項２、４、６、９、２７、２８及び２９のいずれか１に記載の復号画像にフィルタを適用して復元画像を生成するステップは、
    　局部復号画像をブロック境界か否かを判定するステップと、前記局部復号画像をブロック境界と判定した画素に対して、ブロック歪を除去するフィルタ処理を行うステップを含むことを特徴とする動画像復号化方法。
  36. 　符号化済みの画像を参照画像として動き補償予測に用いる動画像符号化方法であって、
    　符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を設定するステップと、
    　前記フィルタ係数情報を符号化するステップと、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
    　前記特定情報に基づいて前記局所復号画像又は前記復元画像を参照画像として動き補償予測に用いるステップと
    　を備えることを特徴とする動画像符号化方法。
  37. 復号化済みの画像を参照画像として動き補償予測に用いる動画像復号化方法であって、
    　復号画像に対してフィルタを適用して復元画像を生成するステップと、
    　前記フィルタのフィルタ係数情報を復号化するステップと、
    　前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化するステップと、
    　前記特定情報に基づいて前記復号画像又は前記復元画像を参照画像として動き補償予測に用いるステップと、
    　を備えることを特徴とする動画像復号化方法。
  38. 　前記領域設定情報は、前記局所領域内部を階層の深さに従って順次小さくなる領域に分割するための階層分割情報であることを特徴とする請求項２０又は２２記載の動画像符号化方法。
  39. 　前記階層分割情報は、各階層における個々の領域を分割するか否かを示す領域分割情報であることを特徴とする請求項３８記載の動画像符号化方法。
  40. 　前記階層分割情報は、階層の深さの最大値を示す最大階層情報を含むことを特徴とする請求項３８記載の動画像符号化方法。
  41. 　前記領域設定情報は、前記局所領域を階層の深さに従って順次小さくなる領域に分割するための階層分割情報であることを特徴とする請求項２８又は２９記載の動画像復号化方法。
  42. 　前記階層分割情報は、各階層における個々の領域を分割するか否かを示した領域分割情報であることを特徴とする請求項４１記載の動画像復号化方法。
  43. 　前記階層分割情報は、階層の深さの最大値を示す最大階層情報を含むことを特徴とする請求項４１記載の動画像復号化方法。
PCT/JP2008/073636 2008-03-07 2008-12-25 動画像符号化／復号化方法及び装置 WO2009110160A1 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
MX2010009194A MX2010009194A (es) 2008-03-07 2008-12-25 Metodo y dispositivo de codificacion/decodificacion dinamica de imagen.
CA2715211A CA2715211A1 (en) 2008-03-07 2008-12-25 Video encoding/decoding method and apparatus
EP08873121A EP2249572A4 (en) 2008-03-07 2008-12-25 METHOD AND DEVICE FOR DYNAMIC IMAGE CODING / DECODING
JP2010501774A JPWO2009110160A1 (ja) 2008-03-07 2008-12-25 動画像符号化／復号化方法及び装置
BRPI0822364A BRPI0822364A2 (pt) 2008-03-07 2008-12-25 método e aparelho de codificação/decodificação de vídeo
AU2008352118A AU2008352118A1 (en) 2008-03-07 2008-12-25 Dynamic image encoding/decoding method and device
CN2008801257805A CN101926175A (zh) 2008-03-07 2008-12-25 运动图像编码/解码方法以及装置
TW098106980A TW200948092A (en) 2008-03-07 2009-03-04 Dynamic image encoding/decoding method and device
US12/853,956 US20100322303A1 (en) 2008-03-07 2010-08-10 Video encoding/decoding method and apparatus
ZA2010/05949A ZA201005949B (en) 2008-03-07 2010-08-20 Video encoding/decoding method and apparatus

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008058375 2008-03-07
JP2008-058375 2008-03-07
JP2008175694 2008-07-04
JP2008-175694 2008-07-04

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/853,956 Continuation US20100322303A1 (en) 2008-03-07 2010-08-10 Video encoding/decoding method and apparatus

Publications (1)

Publication Number Publication Date
WO2009110160A1 true WO2009110160A1 (ja) 2009-09-11

Family

ID=41055730

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/073636 WO2009110160A1 (ja) 2008-03-07 2008-12-25 動画像符号化／復号化方法及び装置

Country Status (12)

Country Link
US (1) US20100322303A1 (ja)
EP (1) EP2249572A4 (ja)
JP (1) JPWO2009110160A1 (ja)
KR (1) KR20100105680A (ja)
CN (1) CN101926175A (ja)
AU (1) AU2008352118A1 (ja)
BR (1) BRPI0822364A2 (ja)
CA (1) CA2715211A1 (ja)
MX (1) MX2010009194A (ja)
RU (1) RU2010132652A (ja)
WO (1) WO2009110160A1 (ja)
ZA (1) ZA201005949B (ja)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066569A (ja) * 2009-09-16 2011-03-31 Nippon Telegr & Teleph Corp <Ntt> 予測信号生成方法，予測信号生成装置および予測信号生成プログラム
JP2011139208A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置および方法
US20110243249A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by performing in-loop filtering based on tree-structured data unit, and method and apparatus for decoding video by performing the same
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus
WO2011161823A1 (ja) * 2010-06-25 2011-12-29 株式会社 東芝 動画像符号化方法および復号方法
WO2012049876A1 (ja) * 2010-10-12 2012-04-19 株式会社 東芝 動画像符号化方法および復号方法
CN102484713A (zh) * 2009-09-17 2012-05-30 株式会社东芝 运动图像编码方法以及运动图像解码方法
WO2012081706A1 (ja) * 2010-12-17 2012-06-21 シャープ株式会社 画像フィルタ装置、フィルタ装置、復号装置、符号化装置、および、データ構造
WO2012093491A1 (ja) * 2011-01-07 2012-07-12 株式会社 東芝 動画像符号化方法及び装置、動画像復号化方法及び装置
KR101168843B1 (ko) 2008-01-08 2012-07-26 퀄컴 인코포레이티드 수평 및 수직 대칭에 기초한 필터 계수들의 비디오 코딩
CN102714732A (zh) * 2010-01-12 2012-10-03 夏普株式会社 编码装置、解码装置及数据结构
JP2013509024A (ja) * 2009-10-15 2013-03-07 トムソン ライセンシング 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置
JP2013509763A (ja) * 2009-10-29 2013-03-14 シコラ，トマス ビデオ・シーケンスを処理する方法及び装置
JPWO2011074357A1 (ja) * 2009-12-18 2013-04-25 シャープ株式会社 画像フィルタ、符号化装置、復号装置、および、データ構造
JP2013098710A (ja) * 2011-10-31 2013-05-20 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2013522956A (ja) * 2010-03-09 2013-06-13 トムソン ライセンシング 分類ベースのループ・フィルタのための方法と装置
JP2013530659A (ja) * 2010-07-09 2013-07-25 サムスン エレクトロニクス カンパニー リミテッド 調節可能なループ・フィルタリングを利用したビデオ符号化方法及びその装置、調節可能なループ・フィルタリングを利用したビデオ復号化方法及びその装置
JP5340415B2 (ja) * 2009-12-07 2013-11-13 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2013232974A (ja) * 2010-01-13 2013-11-14 Toshiba Corp 動画像符号化装置および復号装置
JP2014506065A (ja) * 2011-01-05 2014-03-06 クゥアルコム・インコーポレイテッド １次元スイッチ式フィルタと１次元適応フィルタとの組合せを使用したビデオフィルタリング
JP2014060744A (ja) * 2010-01-13 2014-04-03 Toshiba Corp 動画像符号化装置および復号装置
US9118914B2 (en) 2010-04-05 2015-08-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
US9262804B2 (en) 2010-04-05 2016-02-16 Samsung Electronics Co., Ltd. Method and apparatus for performing interpolation based on transform and inverse transform
JP2017085634A (ja) * 2017-01-04 2017-05-18 ソニー株式会社 画像処理装置および方法
US9769496B2 (en) 2013-12-25 2017-09-19 Samsung Electronics Co., Ltd. Method, apparatus, and program for encoding image, method, apparatus, and program for decoding image, and image processing system
US9788015B2 (en) 2008-10-03 2017-10-10 Velos Media, Llc Video coding with large macroblocks
US10306224B2 (en) * 2009-07-31 2019-05-28 Sony Corporation Apparatus and method of adaptive block filtering of target slice based on filter control information
WO2021025080A1 (ja) * 2019-08-07 2021-02-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2023238772A1 (ja) * 2022-06-08 2023-12-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010076856A1 (ja) * 2009-01-05 2010-07-08 株式会社 東芝 動画像符号化方法及び動画像復号化方法
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR101457396B1 (ko) * 2010-01-14 2014-11-03 삼성전자주식회사 디블로킹 필터링을 이용한 비디오 부호화 방법과 그 장치, 및 디블로킹 필터링을 이용한 비디오 복호화 방법 및 그 장치
WO2011113282A1 (en) * 2010-03-15 2011-09-22 Mediatek Singapore Pte. Ltd. Localized in-loop filtering with multiple filters in hybrid video coding
CN106162178B (zh) 2010-04-13 2019-08-13 三星电子株式会社 执行去块滤波的对视频进行解码的设备
CN103392338A (zh) 2011-01-03 2013-11-13 联发科技股份有限公司 基于滤波单元的回路滤波方法
US8898139B1 (en) 2011-06-24 2014-11-25 Google Inc. Systems and methods for dynamic visual search engine
MX338669B (es) 2011-06-28 2016-04-27 Samsung Electronics Co Ltd Metodo de codificacion de video que utiliza ajustes de desplazamiento de conformidad con clasificacion de pixel y aparato para ello, metodo de decodificacion de video y aparato para ello.
EP2742690B1 (en) * 2011-08-08 2016-07-27 Google Technology Holdings LLC Residual tree structure of transform unit partitioning
US20140286406A1 (en) * 2011-11-08 2014-09-25 Samsung Electronics Co., Ltd. Method for determining quantization parameters on basis of size of conversion block, and device for same
KR101462052B1 (ko) * 2011-11-09 2014-11-20 에스케이 텔레콤주식회사 변환을 이용한 주파수 도메인 상의 적응적 루프 필터를 이용한 영상 부호화/복호화 방법 및 장치
AR092786A1 (es) * 2012-01-09 2015-05-06 Jang Min Metodos para eliminar artefactos de bloque
GB2502047B (en) * 2012-04-04 2019-06-05 Snell Advanced Media Ltd Video sequence processing
RU2586029C1 (ru) * 2012-04-13 2016-06-10 Мицубиси Электрик Корпорейшн Устройство кодирования изображений, устройство декодирования изображений, способ кодирования изображений и способ декодирования изображений
PL3515077T3 (pl) * 2012-04-13 2021-05-17 Jvckenwood Corporation Urządzenie do dekodowania obrazu, sposób dekodowania obrazu, program do dekodowania obrazu, urządzenie do kodowania obrazu, sposób kodowania obrazu i program do kodowania obrazu
JP6231560B2 (ja) 2012-06-19 2017-11-15 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法およびビデオ信号処理装置
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
JP5798539B2 (ja) * 2012-09-24 2015-10-21 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測符号化方法、動画像予測復号装置及び動画像予測復号方法
US9510002B2 (en) 2013-09-09 2016-11-29 Apple Inc. Chroma quantization in video coding
CN109891894B (zh) * 2016-12-01 2021-10-08 谷歌有限责任公司 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
CN110490213B (zh) * 2017-09-11 2021-10-29 腾讯科技（深圳）有限公司 图像识别方法、装置及存储介质
DE102018110383A1 (de) * 2018-04-30 2019-10-31 Basler Ag Verfahren und Vorrichtung zum Kodieren von Bilddaten
US10674151B2 (en) * 2018-07-30 2020-06-02 Intel Corporation Adaptive in-loop filtering for video coding
US11343539B2 (en) * 2018-10-08 2022-05-24 Hfi Innovation Inc. Method and apparatus of last significant coefficient coding in image and video coding
JP7479137B2 (ja) * 2019-12-03 2024-05-08 キヤノン株式会社 信号処理装置および信号処理方法、システム並びにプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993578A (ja) * 1995-09-26 1997-04-04 Matsushita Electric Ind Co Ltd 画像送信装置及び画像受信装置、並びに画像送信方法及び画像受信方法
JPH09121354A (ja) * 1995-10-25 1997-05-06 Oki Electric Ind Co Ltd ループフィルタ制御方法、動きベクトル検出方法及びループフィルタ制御回路
JP2001275110A (ja) 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2007506361A (ja) * 2003-09-17 2007-03-15 トムソン ライセンシング 適応参照画像の発生

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2868342B2 (ja) * 1991-08-23 1999-03-10 日本電気株式会社 フレーム間予測符号化装置のループ内フィルタ制御方式
US5325526A (en) * 1992-05-12 1994-06-28 Intel Corporation Task scheduling in a multicomputer system
JPH05336514A (ja) * 1992-05-29 1993-12-17 Sony Corp 画像符号化装置
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
EP1478190B1 (en) * 2002-04-26 2013-01-02 NTT DoCoMo, Inc. Image encoding device, image encoding method, and image encoding program
US7580460B2 (en) * 2003-03-28 2009-08-25 Sony Corporation Video encoder with multiple outputs having different attributes
US7574060B2 (en) * 2004-11-22 2009-08-11 Broadcom Corporation Deblocker for postprocess deblocking
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
US7912129B2 (en) * 2006-03-16 2011-03-22 Sony Corporation Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
BRPI0714233A2 (pt) * 2006-07-18 2013-01-15 Thomson Licensing mÉtodos e aparelho para filtragem de referÊncia adaptativa
US8345968B2 (en) * 2007-06-28 2013-01-01 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
JP5215951B2 (ja) * 2009-07-01 2013-06-19 キヤノン株式会社 符号化装置及びその制御方法、コンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0993578A (ja) * 1995-09-26 1997-04-04 Matsushita Electric Ind Co Ltd 画像送信装置及び画像受信装置、並びに画像送信方法及び画像受信方法
JPH09121354A (ja) * 1995-10-25 1997-05-06 Oki Electric Ind Co Ltd ループフィルタ制御方法、動きベクトル検出方法及びループフィルタ制御回路
JP2001275110A (ja) 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2003179933A (ja) * 2001-09-12 2003-06-27 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2007506361A (ja) * 2003-09-17 2007-03-15 トムソン ライセンシング 適応参照画像の発生

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
G.BJONTEGAARD: "Deblocking filter for 4x4 based coding, ITU-T Q.15/SG16 VCEG document", Q15-J-27, May 2000 (2000-05-01)
S.WITTMANN; T.WDI: "Post-filter SEI message for 4:4:4 coding", JVT OF ISO/IEC MPEG & ITU-T VCEG,JVT-S030, April 2006 (2006-04-01)

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
KR101168843B1 (ko) 2008-01-08 2012-07-26 퀄컴 인코포레이티드 수평 및 수직 대칭에 기초한 필터 계수들의 비디오 코딩
US11758194B2 (en) 2008-10-03 2023-09-12 Qualcomm Incorporated Device and method for video decoding video blocks
US10225581B2 (en) 2008-10-03 2019-03-05 Velos Media, Llc Video coding with large macroblocks
US11039171B2 (en) 2008-10-03 2021-06-15 Velos Media, Llc Device and method for video decoding video blocks
US9788015B2 (en) 2008-10-03 2017-10-10 Velos Media, Llc Video coding with large macroblocks
US9930365B2 (en) 2008-10-03 2018-03-27 Velos Media, Llc Video coding with large macroblocks
US10841580B2 (en) 2009-07-31 2020-11-17 Sony Corporation Apparatus and method of adaptive block filtering of target slice based on filter control information
US10306224B2 (en) * 2009-07-31 2019-05-28 Sony Corporation Apparatus and method of adaptive block filtering of target slice based on filter control information
JP2011066569A (ja) * 2009-09-16 2011-03-31 Nippon Telegr & Teleph Corp <Ntt> 予測信号生成方法，予測信号生成装置および予測信号生成プログラム
CN102484713A (zh) * 2009-09-17 2012-05-30 株式会社东芝 运动图像编码方法以及运动图像解码方法
US9167270B2 (en) 2009-10-15 2015-10-20 Thomson Licensing Methods and apparatus for efficient adaptive filtering for video encoders and decoders
JP2013509024A (ja) * 2009-10-15 2013-03-07 トムソン ライセンシング 映像符号化及び復号化のための効率的な適応フィルタリングの方法及び装置
JP2013509763A (ja) * 2009-10-29 2013-03-14 シコラ，トマス ビデオ・シーケンスを処理する方法及び装置
JP5340415B2 (ja) * 2009-12-07 2013-11-13 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JPWO2011074357A1 (ja) * 2009-12-18 2013-04-25 シャープ株式会社 画像フィルタ、符号化装置、復号装置、および、データ構造
US20120257681A1 (en) * 2009-12-28 2012-10-11 Sony Corporation Image processing device and method and program
JP2011139208A (ja) * 2009-12-28 2011-07-14 Sony Corp 画像処理装置および方法
CN102714732A (zh) * 2010-01-12 2012-10-03 夏普株式会社 编码装置、解码装置及数据结构
JP2014060744A (ja) * 2010-01-13 2014-04-03 Toshiba Corp 動画像符号化装置および復号装置
JP2013232974A (ja) * 2010-01-13 2013-11-14 Toshiba Corp 動画像符号化装置および復号装置
JP2013522956A (ja) * 2010-03-09 2013-06-13 トムソン ライセンシング 分類ベースのループ・フィルタのための方法と装置
CN102939752B (zh) * 2010-04-05 2016-03-09 三星电子株式会社 通过基于树结构的数据单元执行环路滤波来对视频进行编解码的方法和设备
US9736499B2 (en) 2010-04-05 2017-08-15 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
US9118914B2 (en) 2010-04-05 2015-08-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
US9124894B2 (en) 2010-04-05 2015-09-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
US9124893B2 (en) 2010-04-05 2015-09-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
US9124892B2 (en) 2010-04-05 2015-09-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
US20110243249A1 (en) * 2010-04-05 2011-10-06 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by performing in-loop filtering based on tree-structured data unit, and method and apparatus for decoding video by performing the same
US9262804B2 (en) 2010-04-05 2016-02-16 Samsung Electronics Co., Ltd. Method and apparatus for performing interpolation based on transform and inverse transform
CN102939752A (zh) * 2010-04-05 2013-02-20 三星电子株式会社 通过基于树结构的数据单元执行环路滤波来对视频进行编码的方法和设备，以及通过基于树结构的数据单元执行环路滤波来对视频进行解码的方法和设备
CN105744273A (zh) * 2010-04-05 2016-07-06 三星电子株式会社 对视频进行编码和解码的方法和设备
US9390470B2 (en) 2010-04-05 2016-07-12 Samsung Electronics Co., Ltd. Method and apparatus for performing interpolation based on transform and inverse transform
US9424625B2 (en) 2010-04-05 2016-08-23 Samsung Electronics Co., Ltd. Method and apparatus for performing interpolation based on transform and inverse transform
US9436975B2 (en) 2010-04-05 2016-09-06 Samsung Electronics Co., Ltd. Method and apparatus for performing interpolation based on transform and inverse transform
KR102003047B1 (ko) 2010-04-05 2019-07-23 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
US9547886B2 (en) 2010-04-05 2017-01-17 Samsung Electronics Co., Ltd. Method and apparatus for performing interpolation based on transform and inverse transform
RU2608877C2 (ru) * 2010-04-05 2017-01-25 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования видео и способ и устройство для декодирования видео посредством компенсации пиксельного значения в соответствии с группами пикселей
CN105744273B (zh) * 2010-04-05 2018-12-07 三星电子株式会社 对视频进行解码的方法
US10097860B2 (en) 2010-04-05 2018-10-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding video by compensating for pixel value according to pixel groups, and method and apparatus for decoding video by the same
KR101750046B1 (ko) * 2010-04-05 2017-06-22 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR20180084705A (ko) * 2010-04-05 2018-07-25 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR101880638B1 (ko) * 2010-04-05 2018-07-20 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR20180011472A (ko) * 2010-04-05 2018-02-01 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR101783968B1 (ko) 2010-04-05 2017-10-10 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
KR101823534B1 (ko) 2010-04-05 2018-01-30 삼성전자주식회사 트리 구조에 따른 부호화 단위에 기반한 인루프 필터링을 수반하는 비디오 부호화 방법과 그 장치 및 복호화 방법과 그 장치
US9571861B2 (en) 2010-04-13 2017-02-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Decoder, encoder, method for decoding and encoding, and data stream for a picture, using separate filters
WO2011127961A1 (en) * 2010-04-13 2011-10-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e. V. Adaptive image filtering method and apparatus
WO2011161823A1 (ja) * 2010-06-25 2011-12-29 株式会社 東芝 動画像符号化方法および復号方法
JP2013530659A (ja) * 2010-07-09 2013-07-25 サムスン エレクトロニクス カンパニー リミテッド 調節可能なループ・フィルタリングを利用したビデオ符号化方法及びその装置、調節可能なループ・フィルタリングを利用したビデオ復号化方法及びその装置
WO2012049876A1 (ja) * 2010-10-12 2012-04-19 株式会社 東芝 動画像符号化方法および復号方法
WO2012081706A1 (ja) * 2010-12-17 2012-06-21 シャープ株式会社 画像フィルタ装置、フィルタ装置、復号装置、符号化装置、および、データ構造
JP2014506065A (ja) * 2011-01-05 2014-03-06 クゥアルコム・インコーポレイテッド １次元スイッチ式フィルタと１次元適応フィルタとの組合せを使用したビデオフィルタリング
US9445126B2 (en) 2011-01-05 2016-09-13 Qualcomm Incorporated Video filtering using a combination of one-dimensional switched filter and one-dimensional adaptive filter
WO2012093491A1 (ja) * 2011-01-07 2012-07-12 株式会社 東芝 動画像符号化方法及び装置、動画像復号化方法及び装置
JP2013098710A (ja) * 2011-10-31 2013-05-20 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US9769496B2 (en) 2013-12-25 2017-09-19 Samsung Electronics Co., Ltd. Method, apparatus, and program for encoding image, method, apparatus, and program for decoding image, and image processing system
JP2017085634A (ja) * 2017-01-04 2017-05-18 ソニー株式会社 画像処理装置および方法
WO2021025080A1 (ja) * 2019-08-07 2021-02-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2023238772A1 (ja) * 2022-06-08 2023-12-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法

Also Published As

Publication number Publication date
MX2010009194A (es) 2010-09-10
BRPI0822364A2 (pt) 2015-09-15
KR20100105680A (ko) 2010-09-29
US20100322303A1 (en) 2010-12-23
JPWO2009110160A1 (ja) 2011-07-14
AU2008352118A1 (en) 2009-09-11
CA2715211A1 (en) 2009-09-11
EP2249572A4 (en) 2012-05-23
RU2010132652A (ru) 2012-02-10
ZA201005949B (en) 2011-05-25
EP2249572A1 (en) 2010-11-10
CN101926175A (zh) 2010-12-22

Similar Documents

Publication Publication Date Title
WO2009110160A1 (ja) 動画像符号化／復号化方法及び装置
JP5396478B2 (ja) 適応ループフィルタを用いた動画符号化方法
KR101677406B1 (ko) 차세대 비디오용 비디오 코덱 아키텍처
CN106331709B (zh) 采用回路内处理来处理视频的方法和装置
TWI751623B (zh) 具有虛擬邊界的跨分量自適應環路濾波的視頻編解碼方法及裝置
KR101749269B1 (ko) 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
US20100118945A1 (en) Method and apparatus for video encoding and decoding
US20110150080A1 (en) Moving-picture encoding/decoding method and apparatus
KR20180083389A (ko) 비디오 코딩 방법 및 장치
KR20110039511A (ko) 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 장치, 동화상 복호 장치, 프로그램, 및 집적 회로
JPWO2008012918A1 (ja) 画像符号化と復号の方法及び装置
JPWO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP2022506423A (ja) ビデオ信号符号化／復号方法及びその機器
JP2024125421A (ja) 画像の符号化／復号化方法及び装置
KR101822725B1 (ko) Hls-전용 스케일러블 비디오 코딩을 위한 층 간 참조 화상 생성
WO2009133845A1 (ja) 動画像符号化／復号化装置及び方法
JP7545556B2 (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
US11924453B2 (en) Coding tool setting method and video decoding apparatus
WO2011033643A1 (ja) 動画像符号化方法及び動画像復号化方法
CN113424544B (zh) 滤波方法及图像解码装置
TW200948092A (en) Dynamic image encoding/decoding method and device
CN113170204A (zh) 编码工具设置方法和图像解码设备
US12120320B2 (en) Method for adaptively setting resolution, and image decoding apparatus
KR20240037834A (ko) 하나의 블록에 싱글 트리와 듀얼 트리를 적응적으로 이용하는 비디오 코딩방법 및 장치
KR20220137550A (ko) 세그멘테이션을 이용하는 비디오 코딩방법 및 장치

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200880125780.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08873121

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2010501774

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20107015663

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2008352118

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: 2008873121

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010132652

Country of ref document: RU

WWE Wipo information: entry into national phase

Ref document number: 2715211

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 2008352118

Country of ref document: AU

Date of ref document: 20081225

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 5908/DELNP/2010

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: MX/A/2010/009194

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: PI 2010003808

Country of ref document: MY

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: PI0822364

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20100810