WO2012063878A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2012063878A1
WO2012063878A1 PCT/JP2011/075859 JP2011075859W WO2012063878A1 WO 2012063878 A1 WO2012063878 A1 WO 2012063878A1 JP 2011075859 W JP2011075859 W JP 2011075859W WO 2012063878 A1 WO2012063878 A1 WO 2012063878A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
filter
image data
processing
prediction
Prior art date
Application number
PCT/JP2011/075859
Other languages
English (en)
French (fr)
Inventor
健治 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US13/824,841 priority Critical patent/US20130294705A1/en
Priority to BR112013011053A priority patent/BR112013011053A8/pt
Publication of WO2012063878A1 publication Critical patent/WO2012063878A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • This technology relates to an image processing apparatus and an image processing method. Specifically, the deterioration of the compression efficiency is suppressed by reducing the quality degradation of the predicted image.
  • MPEG2 ISO / IEC13818-2
  • ISO / IEC13818-2 is defined as a general-purpose image encoding method, and is currently widely used in a wide range of applications for professional use and consumer use.
  • MPEG2 compression method for example, a standard resolution interlaced scanned image having 720 ⁇ 480 pixels can be assigned a code amount (bit rate) of 4 to 8 Mbps, thereby realizing a high compression ratio and good image quality. It is.
  • bit rate code amount
  • H.264 / AVC Advanced Video Coding
  • the unit of motion prediction / compensation processing is 16 ⁇ 16 pixels in the frame motion compensation mode, and 16 ⁇ 16 pixels for each of the first field and the second field in the field motion compensation mode. Motion prediction / compensation processing is performed in units of 8 pixels.
  • FIG. 2 is a diagram for explaining a 1/4 pixel precision motion prediction / compensation process.
  • the position “A” is the position of the integer precision pixel stored in the frame memory
  • the positions “b”, “c”, and “d” are the positions of the half pixel precision
  • "E3" are positions with 1/4 pixel accuracy.
  • Clip1 () is defined as shown in Expression (1).
  • Expression (1) when the input image has 8-bit precision, the value of max_pix is 255.
  • the pixel value at the position “c” is generated by using either a formula (4) or a formula (5) and a formula (6) using a 6-tap FIR filter.
  • HEVC High Efficiency Video Coding
  • JCTVC Joint Collaboration-Team-Video Coding
  • CU Coding Unit
  • Non-Patent Document 1 proposes that image compression is possible with a block size expanded from a 16 ⁇ 16 pixel macroblock.
  • PU Prediction Unit
  • PU prediction unit
  • Non-Patent Document 2 PQAO (Picture Quality Quality Adaptive Offset) disclosed in Non-Patent Document 2 between a deblocking filter and an adaptive loop filter.
  • PQAO Picture Quality Quality Adaptive Offset
  • band offsets Two types of offsets
  • edge offsets six types called edge offsets, and it is also possible not to apply offsets.
  • the image is divided into quad-trees, and the encoding efficiency is improved by selecting which of the above-described offset types is to be encoded for each region.
  • a prediction image is generated using a loop filter unit that performs a filtering process on reference image data referred to by a target block, the reference image data, and a motion vector corresponding to the target block.
  • An image processing apparatus comprising: an interpolation filter unit that generates data; and a filter control unit that switches a filter coefficient of the interpolation filter according to filter processing in the loop filter unit with respect to the reference image data used in the interpolation filter is there.
  • This technology divides input image data into a plurality of pixel blocks, for example, predicts each pixel block using reference image data, and encodes a difference between the input image data and the predicted image data.
  • filtering processing such as deblocking filtering processing or adaptation to reference image data referred to by a target block Loop filter processing is performed in the loop filter unit.
  • the prediction image data is generated by the interpolation filter unit using the reference image data and the motion vector corresponding to the target block.
  • the interpolation filter unit The noise removal strength is adjusted by switching the filter coefficient.
  • the filter coefficient when the filter process is not performed in the loop filter unit is a coefficient having a higher noise removal strength than the filter coefficient when the filter process is performed.
  • a coefficient having a higher noise removal strength than that when the offset process is performed is used.
  • a second aspect of this technique uses a loop filter processing step that performs a filtering process on reference image data referred to by a target block, the reference image data, and a motion vector corresponding to the target block.
  • An image processing method In an image processing method.
  • the loop processing is performed on the reference image data referenced by the target block.
  • the interpolation filter unit generates predicted image data using the reference image data and the motion vector corresponding to the target block.
  • the filter coefficient of the interpolation filter is switched according to the filter processing in the loop filter unit for the reference image data used in the interpolation filter. For this reason, when the filter processing is not performed by the loop filter unit, it is possible to generate predicted image data with less noise by performing the filtering process of the reference image data with the filter characteristic having high noise removal strength, for example. Thus, quality degradation of the predicted image can be reduced and reduction in compression efficiency can be suppressed.
  • H. 2 is a diagram illustrating a block size in H.264 / AVC. It is a figure for demonstrating the motion prediction and compensation process of 1/4 pixel precision. It is a figure which shows the structure of an image coding apparatus. It is a figure which shows the structure of a motion estimation / compensation part. It is the figure which illustrated the filter characteristic. The hierarchical structure when the macroblock size is expanded is shown. It is a flowchart which shows operation
  • FIG. 3 shows a configuration when the image processing apparatus is applied to an image encoding apparatus.
  • the image encoding device 10 includes an analog / digital conversion unit (A / D conversion unit) 11, a screen rearrangement buffer 12, a subtraction unit 13, an orthogonal transformation unit 14, a quantization unit 15, a lossless encoding unit 16, and a storage buffer 17.
  • the rate control unit 18 is provided.
  • the image encoding device 10 includes an inverse quantization unit 21, an inverse orthogonal transform unit 22, an addition unit 23, a loop filter unit 24, a frame memory 25, an intra prediction unit 31, a motion prediction / compensation unit 32, a predicted image / optimum A mode selection unit 33 is provided.
  • the loop filter unit 24 is provided with, for example, a deblocking filter unit 241 and an ALF (Adaptive Loop Filter) unit 242.
  • ALF Adaptive Loop Filter
  • the A / D converter 11 converts an analog image signal into digital image data and outputs the digital image data to the screen rearrangement buffer 12.
  • the screen rearrangement buffer 12 rearranges the frames of the image data output from the A / D conversion unit 11.
  • the screen rearrangement buffer 12 rearranges the frames according to the GOP (Group of Pictures) structure related to the encoding process, and the rearranged image data is subtracted by the subtraction unit 13, the ALF unit 242, the intra prediction unit 31, and the motion. Output to the prediction / compensation unit 32.
  • GOP Group of Pictures
  • the subtraction unit 13 is supplied with the image data output from the screen rearrangement buffer 12 and the predicted image data selected by the predicted image / optimum mode selection unit 33 described later.
  • the subtraction unit 13 calculates prediction error data that is a difference between the image data output from the screen rearrangement buffer 12 and the prediction image data supplied from the prediction image / optimum mode selection unit 33, and sends the prediction error data to the orthogonal transformation unit 14. Output.
  • the orthogonal transform unit 14 performs orthogonal transform processing such as discrete cosine transform (DCT) and Karoonen-Loeve transform on the prediction error data output from the subtraction unit 13.
  • the orthogonal transform unit 14 outputs transform coefficient data obtained by performing the orthogonal transform process to the quantization unit 15.
  • the quantization unit 15 is supplied with transform coefficient data output from the orthogonal transform unit 14 and a rate control signal from a rate control unit 18 described later.
  • the quantization unit 15 quantizes the transform coefficient data and outputs the quantized data to the lossless encoding unit 16 and the inverse quantization unit 21. Further, the quantization unit 15 changes the bit rate of the quantized data by switching the quantization parameter (quantization scale) based on the rate control signal from the rate control unit 18.
  • the lossless encoding unit 16 includes the quantized data output from the quantization unit 15, the prediction mode information from the intra prediction unit 31 described later, the prediction mode information from the motion prediction / compensation unit 32, the difference motion vector, and the loop filter information. Etc. are supplied. Also, information indicating whether the optimal mode is intra prediction or inter prediction is supplied from the predicted image / optimum mode selection unit 33. Note that the prediction mode information includes a prediction mode, block size information of a motion prediction unit, and the like according to intra prediction or inter prediction.
  • the lossless encoding unit 16 performs lossless encoding processing on the quantized data by, for example, variable length encoding or arithmetic encoding, generates image compression information, and outputs it to the accumulation buffer 17.
  • the lossless encoding part 16 performs the lossless encoding of the prediction mode information supplied from the intra prediction part 31, when the optimal mode is intra prediction. Further, when the optimal mode is inter prediction, the lossless encoding unit 16 performs lossless encoding of the prediction mode information, the difference motion vector, and the like supplied from the motion prediction / compensation unit 32. Further, the lossless encoding unit 16 includes information subjected to lossless encoding in the image compression information. For example, the lossless encoding unit 16 adds the header information of the encoded stream that is the image compression information. Further, the lossless encoding unit 16 includes the loop filter information or the losslessly encoded loop filter information in the image compression information.
  • the accumulation buffer 17 accumulates the compressed image information from the lossless encoding unit 16.
  • the accumulation buffer 17 outputs the accumulated image compression information at a transmission rate corresponding to the transmission path.
  • the rate control unit 18 monitors the free capacity of the storage buffer 17, generates a rate control signal according to the free capacity, and outputs it to the quantization unit 15.
  • the rate control unit 18 acquires information indicating the free capacity from the accumulation buffer 17, for example.
  • the rate control unit 18 reduces the bit rate of the quantized data by the rate control signal when the free space is low. Further, when the free capacity of the storage buffer 17 is sufficiently large, the rate control unit 18 increases the bit rate of the quantized data by the rate control signal.
  • the inverse quantization unit 21 performs an inverse quantization process on the quantized data supplied from the quantization unit 15.
  • the inverse quantization unit 21 outputs transform coefficient data obtained by performing the inverse quantization process to the inverse orthogonal transform unit 22.
  • the inverse orthogonal transform unit 22 performs an inverse orthogonal transform process on the transform coefficient data supplied from the inverse quantization unit 21, and outputs the obtained data to the addition unit 23.
  • the adder 23 adds the data supplied from the inverse orthogonal transform unit 22 and the predicted image data supplied from the predicted image / optimum mode selection unit 33 to generate decoded image data, and the deblocking filter unit 241 and the intra Output to the prediction unit 31.
  • the decoded image data is used as image data for the reference image.
  • the loop filter unit 24 is a filter incorporated in an encoding loop that performs subsequent prediction using the decoded image data as reference image data.
  • the loop filter unit 24 generates reference image data from which noise is removed, thereby improving the coding efficiency by removing the influence of noise from the prediction error in motion compensation prediction.
  • the deblocking filter unit 241 of the loop filter unit 24 performs a filter process for reducing block distortion that occurs during image coding.
  • the deblocking filter unit 241 performs a deblocking filter process for removing block distortion from the decoded image data supplied from the adding unit 23, and outputs the processed decoded image data to the ALF unit 242.
  • the deblocking filter unit 241 may adaptively perform the deblocking filter process and may not perform the deblocking filter process in a partial region in the frame.
  • the ALF unit 242 performs filter processing to remove distortion that has not been removed by the filter processing of the deblocking filter unit 241 and noise in a region that has not been filtered by the deblocking filter unit 241.
  • the ALF unit 242 is an area where the encoding efficiency is increased when a filter process for reducing an error between the input image data supplied from the screen rearrangement buffer 12 and the decoded image data supplied from the deblocking filter unit 241 is performed. Only for the adaptive loop filter processing.
  • the ALF unit 242 outputs the processed decoded image data to the frame memory 25.
  • the ALF unit 242 outputs filter information related to the adaptive loop filter process to the lossless encoding unit 16 to be image compression information so that the adaptive loop filter process similar to the image encoding process can be performed in the image decoding process.
  • filter information for example, ALF flag information and filter coefficients used for adaptive loop filter processing are used.
  • the ALF unit 242 outputs ALF flag information to the motion prediction / compensation unit 32.
  • adaptive_loop_filter_flag is a flag indicating whether adaptive loop filter processing is performed in the current slice.
  • alf_cu_control_flag is a flag indicating whether adaptive loop filter processing is performed on the luminance data.
  • alf_flag is a flag for identifying a coding unit in which adaptive loop filter processing is performed. Therefore, based on these ALF flag information, it is possible to determine a region where the adaptive loop filter process has been performed on the reference image data.
  • the frame memory 25 holds the decoded image data after the filtering process supplied from the ALF unit 242.
  • the decoded image data held in the frame memory 25 is supplied to the motion prediction / compensation unit 32 as reference image data.
  • the intra prediction unit 31 performs prediction in all candidate intra prediction modes using the input image data of the encoding target image supplied from the screen rearrangement buffer 12 and the reference image data supplied from the addition unit 23. And determine the optimal intra prediction mode. For example, the intra prediction unit 31 calculates the cost function value in each intra prediction mode, and sets the intra prediction mode in which the coding efficiency is the best based on the calculated cost function value as the optimal intra prediction mode. The intra prediction unit 31 outputs the predicted image data generated in the optimal intra prediction mode and the cost function value in the optimal intra prediction mode to the predicted image / optimum mode selection unit 33. Further, the intra prediction unit 31 outputs prediction mode information indicating the optimal intra prediction mode to the lossless encoding unit 16.
  • the motion prediction / compensation unit 32 performs prediction in all candidate inter prediction modes using the input image data of the encoding target image supplied from the screen rearranging buffer 12 and the reference image data supplied from the frame memory 25. To determine the optimal inter prediction mode. For example, the motion prediction / compensation unit 32 calculates the cost function value in each inter prediction mode, and sets the inter prediction mode in which the coding efficiency is the best based on the calculated cost function value as the optimal inter prediction mode. The motion prediction / compensation unit 32 outputs the predicted image data generated in the optimal inter prediction mode and the cost function value in the optimal inter prediction mode to the predicted image / optimum mode selection unit 33. In addition, the motion prediction / compensation unit 32 outputs prediction mode information related to the optimal inter prediction mode to the lossless encoding unit 16. Further, the motion prediction / compensation unit 32 switches the filter coefficient in accordance with the filter processing in the loop filter unit 24 for the reference image data in order to suppress the decrease in the encoding efficiency due to the noise of the reference image data.
  • FIG. 4 shows the configuration of the motion prediction / compensation unit 32.
  • the motion prediction / compensation unit 32 includes a motion detection unit 321, a mode determination unit 322, a motion compensation processing unit 323, and a motion vector buffer 324.
  • the motion detection unit 321 is supplied with the rearranged input image data supplied from the screen rearrangement buffer 12 and the reference image data read from the frame memory 25.
  • the motion detection unit 321 performs motion search in all candidate inter prediction modes and detects a motion vector.
  • the motion detection unit 321 outputs a motion vector indicating the detected motion vector to the mode determination unit 322 together with input image data and reference image data when the motion vector is detected.
  • the mode determination unit 322 is supplied with motion vectors and input image data from the motion detection unit 321, predicted image data from the motion compensation processing unit 323, and motion vectors of adjacent prediction units from the motion vector buffer 324.
  • the mode determination unit 322 performs median prediction using the motion vector of the adjacent prediction unit, sets a predicted motion vector, and calculates a difference motion vector indicating a difference between the motion vector detected by the motion detection unit 321 and the predicted motion vector. calculate.
  • the mode determination unit 322 calculates cost function values in all candidate inter prediction modes, using the input image data, the predicted image data, and the difference motion vector.
  • the mode determination unit 322 determines the mode that minimizes the calculated cost function value as the optimal inter prediction mode.
  • the mode determination unit 322 outputs the prediction mode information indicating the determined optimal inter prediction mode and the cost function value to the motion compensation processing unit 323 together with the motion vector, the difference motion vector, and the like related to the optimal inter prediction mode. Further, the mode determination unit 322 outputs prediction mode information and motion vectors related to the inter prediction mode to the motion compensation processing unit 323 in order to calculate cost function values in all candidate inter prediction modes.
  • Calculating the cost function value is, for example, H. As defined by JM (Joint Model), which is reference software in the H.264 / AVC system, this is performed based on either the High Complexity mode or the Low Complexity mode.
  • JM Joint Model
  • Cost (Mode ⁇ ) D + ⁇ ⁇ R (10)
  • ⁇ indicates the entire set of prediction modes that are candidates for encoding the image of the prediction unit.
  • D indicates the differential energy (distortion) between the predicted image and the input image when encoding is performed in the prediction mode.
  • R is a generated code amount including orthogonal transform coefficients and prediction mode information, and ⁇ is a Lagrange multiplier given as a function of the quantization parameter QP.
  • Cost (Mode ⁇ ) D + QP2Quant (QP) ⁇ Header_Bit (11)
  • ⁇ indicates the entire set of prediction modes that are candidates for encoding the image of the prediction unit.
  • D indicates the differential energy (distortion) between the predicted image and the input image when encoding is performed in the prediction mode.
  • Header_Bit is a header bit for the prediction mode, and QP2Quant is a function given as a function of the quantization parameter QP.
  • the motion compensation processing unit 323 includes a compensation control unit 3231, a coefficient table 3232, and a filter unit 3233.
  • the motion compensation processing unit 323 determines whether or not the reference image data has been subjected to adaptive loop filter processing based on the ALF flag information generated by the ALF unit 242.
  • the motion compensation processing unit 323 switches the filter characteristics in the filtering process of the reference image data used for generating the predicted image data according to the determination result (hereinafter referred to as “ALF process determination result”).
  • ALF process determination result the filter characteristic in the filter processing by switching the filter coefficient supplied from the coefficient table 3232 to the filter unit 3233.
  • 4 shows a configuration in which filter coefficients are supplied from the coefficient table 3232 to the filter unit 3233, a configuration in which filter coefficients are supplied from the compensation control unit 3231 to the filter unit 3233 may be used.
  • the compensation control unit 3231 has an ALF information memory 3231a for storing ALF flag information supplied from the ALF unit 242.
  • the compensation control unit 3231 performs reference image data read control from the frame memory 26 based on the block size (including shape) of the prediction unit, the motion vector, and the reference index supplied from the mode determination unit 322. Further, the compensation control unit 3231 determines whether or not the read reference image data has been subjected to adaptive loop filter processing based on the ALF flag information stored in the ALF information memory 3231a, and the ALF processing determination result is obtained. The result is output to the coefficient table 3232.
  • the compensation control unit 3231 determines that the reference image data has been subjected to adaptive loop filter processing based on the ALF flag information, the compensation control unit 3231 sets alf_applied_flag, which is an ALF processing determination result, to true.
  • the compensation control unit 3231 sets alf_applied_flag to false when it is determined that the adaptive loop filter processing is not performed.
  • the compensation control unit 3231 outputs alf_applied_flag indicating the ALF process determination result to the coefficient table 3232.
  • the coefficient table 3232 is supplied with the decimal part of the motion vector and the ALF processing determination result generated by the compensation control unit 3231.
  • the coefficient table 3232 has filter coefficients (filter_coef_without_ALF) used for reference image data that has not been subjected to adaptive loop filter processing, and filter coefficients (filter_coef_with_ALF) used for reference image data that has been subjected to adaptive loop filter processing. .
  • filter_coef_without_ALF is a coefficient of the filter characteristic having a higher noise removal strength than the filter coefficient used for the reference image data subjected to the adaptive loop filter process. Further, when adaptive loop filter processing is performed, it is expected that noise is removed. Therefore, filter_coef_with_ALF is a coefficient of the filter characteristic that protects from the low frequency component to the high frequency component.
  • FIG. 5 exemplifies the filter characteristic, and the characteristic using filter_coef_without_ALF is a low-pass filter characteristic in which attenuation of high-frequency components is larger than the characteristic using filter_coef_with_ALF.
  • the filter characteristic is not limited to the characteristic shown in FIG. 5 as long as the filter characteristic has a higher noise removal strength than that in the case where the adaptive loop filter process is not performed.
  • an attenuation characteristic different from the characteristic shown in FIG. 5 may be used.
  • the coefficient table 3232 even when the motion vector has decimal pixel accuracy, a plurality of filters corresponding to the decimal pixel positions can be generated in order to generate predicted image data with decimal image accuracy by interpolation filter processing as described above.
  • the coefficient is stored. That is, the coefficient table 3232 includes a set of filter coefficients (filter_coef_set_wo_ALF) used for reference image data not subjected to adaptive loop filter processing, and a set of filter coefficients used for reference image data subjected to adaptive loop filter processing. (Filter_coef_set_w_ALF) is stored.
  • the coefficient table 3232 outputs to the filter unit 3233 the filter coefficient selected in accordance with the decimal part of the motion vector and the ALF processing discrimination result. For example, when alf_applied_flag is true, the coefficient table 3232 selects a filter coefficient corresponding to the decimal part of the motion vector from filter_coef_set_w_ALF and outputs the filter coefficient to the filter unit 3233. When alf_applied_flag is false, the coefficient table 3232 selects a filter coefficient corresponding to the decimal part of the motion vector from filter_coef_set_wo_ALF and outputs the filter coefficient to the filter unit 3233.
  • the filter unit 3233 uses the filter coefficients supplied from the coefficient table 3232 to perform an interpolation filter process for obtaining predicted image data having decimal pixel accuracy in the reference image data of the target block. Further, when the reference image data is not subjected to the adaptive loop filter processing, the filter unit 3233 performs the filter processing with a filter characteristic having a higher noise removal strength than the filter coefficient used for the reference image data subjected to the adaptive loop filter processing. Do. Further, the filter unit 3233 outputs the generated predicted image data to the mode determination unit 322 when the mode determination unit 322 calculates the cost function value in order to determine the optimal inter prediction mode. Further, the filter unit 3233 outputs the predicted image data generated in the optimal inter prediction mode to the predicted image / optimum mode selection unit 33.
  • the motion compensation processing unit 323 sends the motion vector used for motion compensation to the motion vector buffer 324, the prediction mode information of the optimal inter prediction, the difference motion vector in the mode, and the like to the lossless encoding unit 16, respectively. Output. Furthermore, the motion compensation processing unit 323 outputs the cost function value in the optimal inter prediction to the predicted image / optimum mode selection unit 33 illustrated in FIG.
  • the predicted image / optimum mode selection unit 33 compares the cost function value supplied from the intra prediction unit 31 with the cost function value supplied from the motion prediction / compensation unit 32, and encodes the one having the smaller cost function value. Select the optimal mode with the best efficiency. Further, the predicted image / optimum mode selection unit 33 outputs the predicted image data generated in the optimal mode to the subtraction unit 13 and the addition unit 23. Further, the predicted image / optimum mode selection unit 33 outputs information indicating whether the optimal mode is the intra prediction mode or the inter prediction mode to the lossless encoding unit 16. Note that the predicted image / optimum mode selection unit 33 switches between intra prediction and inter prediction in units of slices.
  • FIG. 6 illustrates a hierarchical structure when the macroblock size is expanded. 6, (C) and (D) in FIG. In this example, the macro block size of 16 ⁇ 16 pixels and the sub macro block size of 8 ⁇ 8 pixels defined by the H.264 / AVC format are shown. 6A shows a case where the block size of the coding unit is 64 ⁇ 64 pixels, and FIG. 6B shows a case where the block size of the coding unit is 32 ⁇ 32 pixels.
  • “Skip / direct” indicates a block size when a skipped macroblock or a direct mode is selected.
  • a plurality of prediction units are set including the size obtained by dividing the coding unit.
  • the block of the prediction unit having the same size of 64 ⁇ 64 pixels, 64 ⁇ 32 pixels, 32 ⁇ 64 pixels, and 32 ⁇ 32 pixels.
  • Set with size it is also possible to provide a prediction unit obtained by dividing a coding unit into two with an asymmetric block size.
  • ME indicates the block size of the prediction unit.
  • P8 ⁇ 8 indicates that further division is possible in a lower hierarchy with a smaller block size.
  • step ST11 the A / D converter 11 performs A / D conversion on the input image signal.
  • step ST12 the screen rearrangement buffer 12 performs image rearrangement.
  • the screen rearrangement buffer 12 stores the image data supplied from the A / D conversion unit 11, and rearranges from the display order of each picture to the encoding order.
  • step ST13 the subtraction unit 13 generates prediction error data.
  • the subtraction unit 13 calculates a difference between the image data of the images rearranged in step ST12 and the predicted image data selected by the predicted image / optimum mode selection unit 33, and generates prediction error data.
  • the prediction error data has a smaller data amount than the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • the orthogonal transform unit 14 performs an orthogonal transform process.
  • the orthogonal transformation unit 14 performs orthogonal transformation on the prediction error data supplied from the subtraction unit 13. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed on the prediction error data, and transformation coefficient data is output.
  • step ST15 the quantization unit 15 performs a quantization process.
  • the quantization unit 15 quantizes the transform coefficient data.
  • rate control is performed as described in the process of step ST25 described later.
  • step ST16 the inverse quantization unit 21 performs an inverse quantization process.
  • the inverse quantization unit 21 inversely quantizes the transform coefficient data quantized by the quantization unit 15 with characteristics corresponding to the characteristics of the quantization unit 15.
  • the inverse orthogonal transform unit 22 performs an inverse orthogonal transform process.
  • the inverse orthogonal transform unit 22 performs inverse orthogonal transform on the transform coefficient data inversely quantized by the inverse quantization unit 21 with characteristics corresponding to the characteristics of the orthogonal transform unit 14.
  • step ST18 the adding unit 23 generates reference image data.
  • the adder 23 adds the predicted image data supplied from the predicted image / optimum mode selection unit 33 and the data after inverse orthogonal transformation of the position corresponding to the predicted image, and obtains decoded data (reference image data). Generate.
  • step ST19 the deblocking filter unit 241 performs filter processing.
  • the deblocking filter unit 241 filters the decoded image data output from the adding unit 23 to remove block distortion.
  • step ST20 the frame memory 25 stores reference image data.
  • the frame memory 25 stores the decoded data (reference image data) after the filter process.
  • the intra prediction unit 31 and the motion prediction / compensation unit 32 each perform a prediction process. That is, the intra prediction unit 31 performs intra prediction processing in the intra prediction mode, and the motion prediction / compensation unit 32 performs motion prediction / compensation processing in the inter prediction mode.
  • the details of the prediction process will be described later with reference to FIG. 8.
  • the prediction process is performed in all candidate prediction modes, and the cost function values in all candidate prediction modes are respectively determined. Calculated. Then, based on the calculated cost function value, the optimal intra prediction mode and the optimal inter prediction mode are selected, and the prediction image generated in the selected prediction mode and its cost function and prediction mode information are predicted image / optimum mode. It is supplied to the selector 33.
  • the predicted image / optimum mode selection unit 33 selects predicted image data.
  • the predicted image / optimum mode selection unit 33 determines the optimal mode with the best coding efficiency based on the cost function values output from the intra prediction unit 31 and the motion prediction / compensation unit 32. That is, the predicted image / optimum mode selection unit 33 performs, for example, the coding unit having the best coding efficiency from each layer illustrated in FIG. 6, the shape of the prediction unit in the coding unit, and intra prediction or inter prediction. decide. Further, the predicted image / optimum mode selection unit 33 outputs the predicted image data of the determined optimal mode to the subtraction unit 13 and the addition unit 23. As described above, the predicted image data is used for the calculations in steps ST13 and ST18.
  • the lossless encoding unit 16 performs a lossless encoding process.
  • the lossless encoding unit 16 performs lossless encoding on the quantized data output from the quantization unit 15. That is, lossless encoding such as variable length encoding or arithmetic encoding is performed on the quantized data, and the data is compressed.
  • the lossless encoding unit 16 performs lossless encoding of prediction mode information corresponding to the prediction image data selected in step ST22, a differential motion vector generated by inter prediction, and the like, and generates lossy encoded quantization data.
  • lossless encoded data such as prediction mode information is included.
  • the lossless encoding unit 16 includes the loop filter information or the losslessly encoded loop filter information in the image compression information.
  • step ST24 the accumulation buffer 17 performs accumulation processing.
  • the accumulation buffer 17 accumulates the compressed image information output from the lossless encoding unit 16.
  • the compressed image information stored in the storage buffer 17 is appropriately read out and transmitted to the decoding side via the transmission path.
  • step ST25 the rate control unit 18 performs rate control.
  • the rate control unit 18 controls the rate of the quantization operation of the quantization unit 15 so that overflow or underflow does not occur in the accumulation buffer 17.
  • the intra prediction unit 31 performs an intra prediction process.
  • the intra prediction unit 31 performs intra prediction on the image of the prediction unit to be encoded in all candidate intra prediction modes.
  • the decoded image data before the blocking filter process is performed by the deblocking filter unit 241 is used as the decoded image data referred to in the intra prediction.
  • intra prediction is performed in all candidate intra prediction modes, and cost function values are calculated for all candidate intra prediction modes. Then, based on the calculated cost function value, one intra prediction mode with the best coding efficiency is selected from all the intra prediction modes.
  • step ST32 the motion prediction / compensation unit 32 performs an inter prediction process.
  • the motion prediction / compensation unit 32 uses the decoded image data after the deblocking filter processing stored in the frame memory 25 to perform inter prediction processing in a candidate inter prediction mode.
  • inter prediction processing prediction processing is performed in all candidate inter prediction modes, and cost function values are calculated for all candidate inter prediction modes. Then, based on the calculated cost function value, one inter prediction mode with the best coding efficiency is selected from all the inter prediction modes.
  • step ST41 the intra prediction unit 31 performs intra prediction in each prediction mode.
  • the intra prediction unit 31 generates predicted image data for each intra prediction mode using the decoded image data before the blocking filter processing.
  • the intra prediction unit 31 calculates a cost function value in each prediction mode.
  • the cost function value is calculated as described above, for example, H.264. As defined by JM (Joint Model), which is reference software in the H.264 / AVC system, this is performed based on either the High Complexity mode or the Low Complexity mode. That is, in the High Complexity mode, as a process of step ST42, all the candidate prediction modes are subjected to the lossless encoding process, and the cost function value represented by the above equation (10) is calculated for each prediction. Calculate for the mode.
  • step ST42 for all prediction modes that are candidates, prediction image generation and header bits such as motion vectors and prediction mode information are calculated, and the above formula is calculated.
  • the cost function value represented by (11) is calculated for each prediction mode.
  • step ST43 the intra prediction unit 31 determines the optimal intra prediction mode. Based on the cost function value calculated in step ST42, the intra prediction unit 31 selects one intra prediction mode having a minimum cost function value from them, and determines the optimal intra prediction mode.
  • step ST51 the motion prediction / compensation unit 32 performs a motion prediction process.
  • the motion prediction / compensation unit 32 performs motion prediction for each prediction mode to detect a motion vector, and proceeds to step ST52.
  • step ST52 the motion prediction / compensation unit 32 performs a motion compensation process.
  • the motion prediction / compensation unit 32 performs motion compensation of the reference image data based on the motion vector detected in step ST51, and generates predicted image data.
  • FIG. 11 is a flowchart showing the motion compensation process.
  • the motion prediction / compensation unit 32 reads reference image data.
  • the compensation control unit 3231 of the motion prediction / compensation unit 32 is based on a prediction unit size for performing motion compensation, a motion vector detected for a prediction unit for performing motion compensation, and a reference index indicating a reference image used for detection of the motion vector. To determine the readout area. Further, the compensation control unit 3231 reads out the image data of the determined readout area from the frame memory 25, and proceeds to step ST62.
  • step ST62 the motion prediction / compensation unit 32 generates an ALF process determination result.
  • the compensation control unit 3231 of the motion prediction / compensation unit 32 determines whether or not the reference image data has been subjected to adaptive loop filter processing based on the flag information generated by the ALF unit 242, and generates an ALF processing determination result. Proceed to ST63.
  • step ST63 the motion prediction / compensation unit 32 determines whether adaptive loop filter processing is being performed.
  • the motion prediction / compensation unit 32 proceeds to step ST64 when the reference image data read out in step ST61 is subjected to adaptive loop filter processing, and proceeds to step ST65 when it is not subjected to adaptive loop filter processing.
  • step ST64 the motion prediction / compensation unit 32 outputs filter_coef_with_ALF corresponding to the decimal part of the motion vector.
  • the coefficient table 3232 of the motion prediction / compensation unit 32 selects filter_coef_with_ALF corresponding to the decimal part of the motion vector from filter_coef_set_w_ALF when the ALF processing determination result indicates application of the filter, and outputs the filter_coef_with_ALF to the filter unit 3233. Proceed to
  • step ST65 the motion prediction / compensation unit 32 outputs filter_coef_with_ALF corresponding to the decimal part of the motion vector.
  • the coefficient table 3232 of the motion prediction / compensation unit 32 selects filter_coef_without_ALF corresponding to the fractional part of the motion vector from filter_coef_set_wo_ALF when the ALF processing determination result does not indicate application of the filter, and outputs the filter_coef_without_ALF to the filter unit 3233, and outputs the result to step ST66. Proceed to
  • FIG. 12 exemplifies a case where whether or not to perform adaptive loop filter processing on a frame basis is switched.
  • frames L0 (0), L0 (1), and L0 (3) are frames (ALF ON) that have been subjected to adaptive loop filter processing in the entire region within the frame.
  • the frame L0 (2) is a frame (ALF OFF) that has not been subjected to adaptive loop filter processing in the entire region within the frame.
  • filter_coef_without_ALF corresponding to the decimal part of the motion vector is selected from filter_coef_set_wo_ALF.
  • filter_coef_without_ALF corresponding to the fractional part of the motion vector is selected from filter_coef_set_wo_ALF.
  • step ST66 the motion prediction / compensation unit 32 generates predicted image data.
  • the filter unit 3233 of the motion prediction / compensation unit 32 performs the filtering process of the reference image data using the filter coefficient supplied from the coefficient table 3232 in step ST64 or step ST65, and generates predicted image data.
  • step ST52 of FIG. 10 predicted image data is generated as described above, and the process proceeds to step ST53.
  • step ST53 the motion prediction / compensation unit 32 calculates a cost function value.
  • the motion prediction / compensation unit 32 calculates the cost function value as described above using the input image data of the prediction unit to be encoded, the predicted image data generated in step ST52, and the process proceeds to step ST54.
  • step ST54 the motion prediction / compensation unit 32 determines the optimal inter prediction mode.
  • the motion prediction / compensation unit 32 determines the reference index that minimizes the cost function value calculated in step ST53, the block size of the coding unit, the shape and size of the prediction unit in the coding unit, and determines the optimal inter prediction mode. And Note that, in determining the mode that minimizes the cost function, the cost function value when the inter prediction is performed in the skip mode is also used.
  • the motion prediction / compensation unit 32 sends the prediction image data in the optimum inter prediction mode to the subtraction unit 13 and the addition unit 23. Prediction image data is generated so that it can be supplied.
  • the filter coefficient used for the reference image data is a filter with increased noise removal strength. A coefficient of the characteristic is selected. For this reason, it is possible to generate predicted image data with less noise, and it is possible to reduce deterioration in quality of the predicted image and suppress a decrease in compression efficiency.
  • the filter coefficient used for the reference image data is, for example, a filter characteristic coefficient that protects from low frequency components to high frequency components Is selected. For this reason, it is possible to prevent a decrease in encoding efficiency due to the filter processing performed by the motion prediction / compensation unit 32 on the reference image data to which the filter is applied in the adaptive loop filter processing.
  • Image compression information generated by encoding an input image is supplied to an image decoding apparatus via a predetermined transmission path, recording medium, or the like and decoded.
  • FIG. 13 shows the configuration of the image decoding apparatus.
  • the image decoding device 50 includes an accumulation buffer 51, a lossless decoding unit 52, an inverse quantization unit 53, an inverse orthogonal transform unit 54, an addition unit 55, a loop filter unit 56, a screen rearrangement buffer 57, a digital / analog conversion unit ( D / A converter 58). Furthermore, the image decoding device 50 includes a frame memory 61, selectors 62 and 73, an intra prediction unit 71, and a motion compensation unit 72. Further, the loop filter unit 56 is provided with, for example, a deblocking filter unit 561 and an ALF (Adaptive Loop Filter) unit 562.
  • ALF Adaptive Loop Filter
  • the accumulation buffer 51 accumulates the transmitted image compression information.
  • the lossless decoding unit 52 decodes the image compression information supplied from the accumulation buffer 51 by a method corresponding to the encoding method of the lossless encoding unit 16 of FIG.
  • the lossless decoding unit 52 outputs prediction mode information obtained by decoding the image compression information to the intra prediction unit 71 and the motion compensation unit 72. Further, the lossless decoding unit 52 outputs the difference motion vector obtained by decoding the image compression information and the loop filter information obtained from the image compression information to the motion compensation unit 72.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 by a method corresponding to the quantization method of the quantization unit 15 of FIG.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform on the output of the inverse quantization unit 53 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 14 in FIG.
  • the addition unit 55 adds the data after inverse orthogonal transformation and the predicted image data supplied from the selector 73 to generate decoded image data, and outputs the decoded image data to the deblocking filter unit 561 and the intra prediction unit 71.
  • the loop filter unit 56 performs the same filter processing as the loop filter unit 24 of the image encoding device 10 and stores the reference image data from which noise has been removed in the frame memory 61.
  • the deblocking filter unit 561 of the loop filter unit 56 performs deblocking filter processing on the decoded image data supplied from the addition unit 55, removes block distortion, and outputs the result to the ALF unit 562.
  • the ALF unit 562 performs adaptive loop filter processing based on the filter information supplied from the lossless decoding unit 52, supplies the decoded image data after processing to the frame memory 61, and stores it in the screen rearrangement buffer 57. Output.
  • the screen rearrangement buffer 57 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 12 in FIG. 3 is rearranged in the original display order and output to the D / A converter 58.
  • the D / A conversion unit 58 performs D / A conversion on the image data supplied from the screen rearrangement buffer 57 and outputs it to a display (not shown) to display an image.
  • the frame memory 61 stores the decoded image data after the filter processing is performed by the loop filter unit 24 as reference image data.
  • the intra prediction unit 71 generates predicted image data based on the prediction mode information supplied from the lossless decoding unit 52 and the decoded image data supplied from the addition unit 55, and outputs the generated predicted image data to the selector 73. To do.
  • the motion compensation unit 72 reads the reference image data from the frame memory 61 based on the prediction mode information and the difference motion vector supplied from the lossless decoding unit 52, generates the predicted image data, and selects the generated predicted image data as the selector 73. Output to.
  • the motion compensation unit 72 reads the reference image data from the frame memory 61 based on the prediction mode information and the difference motion vector supplied from the lossless decoding unit 52, performs motion compensation, and generates predicted image data.
  • the motion compensation unit 72 outputs the generated predicted image data to the selector 73. Further, the motion compensation unit 72 generates predicted image data by switching the filter characteristics based on the loop filter information.
  • the selector 73 selects the intra prediction unit 71 for intra prediction and the motion compensation unit 72 for inter prediction based on the prediction mode information supplied from the lossless decoding unit 52.
  • the selector 73 outputs the predicted image data generated by the selected intra prediction unit 71 or motion compensation unit 72 to the addition unit 55.
  • FIG. 14 shows the configuration of the motion compensation unit 72.
  • the motion compensation unit 72 includes a motion vector synthesis unit 721, a motion compensation processing unit 722, and a motion vector buffer 723.
  • FIG. 14 shows a case where the filter coefficient when the reference image data is not subjected to the adaptive loop filter processing is switched to a coefficient having a higher noise removal strength than the filter coefficient when the reference image data is subjected to the adaptive loop filter processing. Yes.
  • the motion vector synthesis unit 721 calculates the motion vector of the prediction unit by adding the difference motion vector and the prediction motion vector of the prediction unit to be decoded supplied from the lossless decoding unit 52 to the motion compensation processing unit 722. Output. Note that the motion vector synthesis unit 721 generates a motion vector predictor by performing median prediction using the motion vector of the adjacent prediction unit stored in the motion vector buffer 723, for example.
  • the motion compensation processing unit 722 includes a compensation control unit 7221, a coefficient table 7222, and a filter unit 7223.
  • the compensation control unit 7221 reads reference image data from the frame memory 61 based on the prediction mode information supplied from the lossless decoding unit 52 and the motion vector supplied from the motion vector synthesis unit 721. Further, the compensation control unit 7221 determines whether or not the read reference image data has been subjected to adaptive loop filter processing based on the ALF flag information supplied from the lossless decoding unit 52, and displays the ALF processing determination result. The result is output to the coefficient table 7222.
  • the compensation control unit 7221 determines that the reference image data is subjected to the adaptive loop filter process based on the ALF flag information
  • the compensation control unit 7221 sets alf_applied_flag that is the ALF process determination result to be true.
  • the compensation control unit 7221 sets alf_applied_flag to false when it is determined that the adaptive loop filter processing is not performed.
  • the compensation control unit 7221 outputs alf_applied_flag indicating the ALF process determination result to the coefficient table 7222.
  • the coefficient table 7222 is supplied with the decimal part of the motion vector and the ALF processing determination result generated by the compensation control unit 7221. Similarly to the coefficient table 3232 of the image encoding device 10, the coefficient table 7222 is subjected to adaptive loop filter processing and a set of filter coefficients “filter_coef_set_wo_ALF” used for reference image data that has not been subjected to adaptive loop filter processing. A filter coefficient set “filter_coef_set_w_ALF” used for the reference image data is stored.
  • the coefficient table 7222 outputs to the filter unit 7223 the filter coefficient selected according to the decimal part of the motion vector and the ALF processing discrimination result. For example, when alf_applied_flag is true, the coefficient table 7222 selects a filter coefficient corresponding to the decimal part of the motion vector from filter_coef_set_w_ALF and outputs the filter coefficient to the filter unit 7223. When alf_applied_flag is false, the coefficient table 7222 selects a filter coefficient corresponding to the decimal part of the motion vector from filter_coef_set_wo_ALF and outputs the filter coefficient to the filter unit 7223.
  • the filter unit 7223 uses the filter coefficient supplied from the coefficient table 7222 to perform an interpolation filter process for obtaining predicted image data having decimal pixel accuracy in the reference image data of the target block. Further, when the reference image data is not subjected to the adaptive loop filter processing, the filter unit 7223 performs the filter processing with a filter characteristic having a higher noise removal strength than the filter coefficient used for the reference image data subjected to the adaptive loop filter processing. Do.
  • the filter unit 7223 outputs the predicted image data obtained by performing the filtering process on the reference image data to the selector 73 illustrated in FIG.
  • the filter coefficient included in the image compression information is stored in the coefficient table 7222, and the filter unit 7223 stores the filter coefficient stored in the coefficient table 7222. It is also possible to perform interpolation filter processing and output the predicted image data to the selector 73.
  • the selector 73 selects the intra prediction unit 71 for intra prediction and the motion compensation unit 72 for inter prediction based on the prediction mode information supplied from the lossless decoding unit 52.
  • the selector 73 outputs the predicted image data generated by the selected intra prediction unit 71 or motion compensation unit 72 to the addition unit 55.
  • step ST81 the accumulation buffer 51 accumulates the supplied image compression information.
  • step ST82 the lossless decoding unit 52 performs lossless decoding processing.
  • the lossless decoding unit 52 decodes the compressed image information supplied from the accumulation buffer 51. That is, quantized data of each picture encoded by the lossless encoding unit 16 in FIG. 3 is obtained. Further, when the lossless decoding unit 52 performs lossless decoding of the prediction mode information included in the image compression information and the obtained prediction mode information is information related to the intra prediction mode, the prediction mode information is converted into the intra prediction unit 71. Output to.
  • the lossless decoding part 52 outputs prediction mode information to the motion compensation part 72, when prediction mode information is the information regarding inter prediction mode. Further, the lossless decoding unit 52 outputs the difference motion vector obtained by decoding the image compression information and the loop filter information obtained from the image compression information to the motion compensation unit 72.
  • step ST83 the inverse quantization unit 53 performs an inverse quantization process.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 with characteristics corresponding to the characteristics of the quantization unit 15 in FIG.
  • the inverse orthogonal transform unit 54 performs an inverse orthogonal transform process.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform on the transform coefficient data inversely quantized by the inverse quantization unit 53 with characteristics corresponding to the characteristics of the orthogonal transform unit 14 of FIG.
  • step ST85 the addition unit 55 generates decoded image data.
  • the adder 55 adds the data obtained by performing the inverse orthogonal transform process and the predicted image data selected in step ST89 described later to generate decoded image data. As a result, the original image is decoded.
  • step ST86 the deblocking filter unit 561 performs a filtering process.
  • the deblocking filter unit 561 performs a deblocking filter process on the decoded image data output from the addition unit 55 to remove block distortion included in the decoded image.
  • step ST87 the frame memory 61 performs a process of storing decoded image data. Note that the decoded image data stored in the frame memory 61 and the decoded image data output from the adder 55 are used for generating predicted image data as reference image data.
  • step ST88 the intra prediction unit 71 and the motion compensation unit 72 perform a prediction process.
  • the intra prediction unit 71 and the motion compensation unit 72 each perform a prediction process corresponding to the prediction mode information supplied from the lossless decoding unit 52.
  • the intra prediction unit 71 when prediction mode information for intra prediction is supplied from the lossless decoding unit 52, the intra prediction unit 71 generates predicted image data based on the prediction mode information.
  • the motion compensation unit 72 performs motion compensation based on the prediction mode information to generate predicted image data.
  • step ST89 the selector 73 selects predicted image data.
  • the selector 73 selects the prediction image supplied from the intra prediction unit 71 and the prediction image data supplied from the motion compensation unit 72, supplies the selected prediction image data to the addition unit 55, and as described above.
  • step ST85 it is added to the output of the inverse orthogonal transform unit 54.
  • step ST90 the screen rearrangement buffer 57 performs image rearrangement. That is, the screen rearrangement buffer 57 rearranges the order of frames rearranged for encoding by the screen rearrangement buffer 12 of the image encoding device 10 of FIG. 3 to the original display order.
  • step ST91 the D / A converter 58 D / A converts the image data from the screen rearrangement buffer 57. This image is output to a display (not shown), and the image is displayed.
  • step ST88 in FIG. 15 will be described with reference to the flowchart in FIG.
  • step ST101 the lossless decoding unit 52 determines whether or not the prediction unit to be decoded is intra-coded. If the prediction mode information obtained by performing lossless decoding is prediction mode information for intra prediction, the lossless decoding unit 52 supplies the prediction mode information to the intra prediction unit 71 and proceeds to step ST102. Also, when the prediction mode information is inter prediction mode information, the lossless decoding unit 52 supplies the prediction mode information to the motion compensation unit 72 and proceeds to step ST103.
  • the intra prediction unit 71 performs an intra prediction process.
  • the intra prediction unit 71 performs intra prediction using the decoded image data before the deblocking filter process and the prediction mode information supplied from the addition unit 55, and generates predicted image data.
  • step ST103 the motion compensation unit 72 performs an inter prediction process.
  • the motion compensation unit 72 reads the reference image data from the frame memory 61 based on information such as the prediction mode information supplied from the lossless decoding unit 52 and generates predicted image data.
  • FIG. 17 is a flowchart showing the inter prediction process in step ST103.
  • the motion compensation unit 72 acquires prediction mode information and ALF flag information.
  • the motion compensation unit 72 acquires the prediction mode information and the ALF flag information from the lossless decoding unit 52, and proceeds to step ST112.
  • the ALF unit 562 performs filter processing using the ALF flag information acquired from the lossless decoding unit 52 and the filter coefficient.
  • step ST112 the motion compensation unit 72 reconstructs the motion vector.
  • the motion compensation unit 72 adds, for example, the prediction motion vector generated by median prediction using the motion vector of the adjacent prediction unit and the difference motion vector supplied from the lossless decoding unit 52 to obtain the motion vector of the prediction unit. Reconstruction proceeds to step ST113.
  • step ST113 the motion compensation unit 72 performs a motion compensation process.
  • the motion compensation unit 72 reads reference image data from the frame memory 61 based on the prediction mode information acquired in step ST111 and the motion vector reconstructed in step ST112.
  • the motion compensation unit 72 performs prediction processing on the read reference image data based on the motion vector and ALF flag information to generate predicted image data, as in the motion compensation processing illustrated in FIG. 11.
  • the image decoding apparatus 50 when the reference image data used for generating predicted image data is not subjected to adaptive loop filter processing in inter prediction, As a filter coefficient to be used, a filter characteristic coefficient with increased noise removal strength is selected.
  • the filter coefficient used for the reference image data is, for example, a filter characteristic coefficient that protects from low frequency components to high frequency components Is selected. For this reason, even if image compression information is generated using filter coefficients corresponding to the adaptive loop filter processing in the image encoding device 10, the image decoding device 50 performs decoding corresponding to the encoding processing of the image encoding device 10.
  • Processing can be performed. Further, even if the image compression information is generated using the filter coefficient corresponding to the deblocking filter process in the image encoding device 10, it depends on whether or not the reference image data is subjected to the deblocking filter process in the motion compensation unit 71. Thus, by switching the filter characteristics, a decoding process corresponding to the encoding process of the image encoding device 10 can be performed.
  • FIG. 18 shows another configuration when the image processing apparatus is applied to an image encoding apparatus.
  • a SAO Sample Adaptive Offset
  • ALF Adaptive Loop Filter
  • band offsets There are two types of offsets called band offsets and six types called edge offsets, and it is also possible not to apply offsets. Then, the image is divided into quad-trees, and it is possible to select which offset type is used for encoding in each region.
  • This selection information is encoded by the lossless encoding unit 16 and included in the bit stream. By using this method, the encoding efficiency is improved.
  • the image encoding device 10 calculates a cost function value J0 of Level-0 (division depth 0) indicating a state where the region 0 is not divided. Further, cost function values J1, J2, J3, and J4 of Level-1 (division depth 0) indicating a state where the area 0 is divided into four areas 1 to 4 are calculated.
  • the cost function values J5 to J20 of Level-2 (division depth 2) indicating the state where the area 0 is divided into 16 areas 5 to 20 are calculated. Is done.
  • a partition region (Partitions) of Level-1 is selected in region 1 by J1 ⁇ (J5 + J6 + J9 + J10).
  • a Level-2 partition region (Partitions) is selected by J2> (J7 + J8 + J11 + J12).
  • J3> J13 + J14 + J17 + J18
  • J4> J15 + J16 + J19 + J20
  • the division region (Partitions) of Level-1 is selected in the region 4.
  • the final quad-tree region (Partitions) shown in FIG. 19D in the quad-tree structure is determined.
  • cost function values are calculated for all of the two types of band offsets, six types of edge offsets, and no offset for each determined region of the quad-tree structure, and which offset is used for encoding is determined.
  • EO (4) that is, the fourth type of edge offset is determined.
  • EO (2) that is, the second type of edge offset is determined.
  • OFF that is, no offset is determined.
  • BO (1) that is, the first type of band offset
  • EO (2) that is, 2 of edge offset
  • the type has been determined.
  • BO (2) that is, the second type of band offset
  • BO (1) that is, the first type of band offset.
  • EO (1) that is, the first type of edge offset is determined.
  • the offset of only one of the first group and the second group is encoded and sent to the decoding side.
  • the first group and the second group have pixels. For this reason, by sending only one offset, it is possible to suppress an increase in the amount of coding due to transmission of pixel values that are not included in each quad-tree region.
  • the luminance signal is limited to 16,235
  • the color difference signal is limited to 16,240.
  • the broadcast legal shown in the lower part of FIG. 20 is applied, and the offset value for each of the two bands on both sides indicated by the crosses is not transmitted.
  • the edge offset the pixel value is compared with the adjacent pixel value adjacent to the pixel value, and the offset value is transmitted to the category corresponding to this.
  • the edge offset includes four one-dimensional patterns shown in FIGS. 21A to 21D and two two-dimensional patterns shown in FIGS. 21E and 21F.
  • the offset is transmitted in the category indicated by 22.
  • adjacent pixels are arranged one-dimensionally on the left and right with respect to the pixel C, that is, 1-D forming 0 degree with respect to the pattern of FIG. , Represents a 0-degree pattern.
  • adjacent pixels are arranged one-dimensionally with respect to the pixel C, that is, 1-D forming 90 degrees with respect to the pattern of FIG. , Represents a 90-degree pattern.
  • adjacent pixels are arranged one-dimensionally in the upper left and lower right with respect to the pixel C, that is, 135 degrees with respect to the pattern of FIG. It represents a 1-D, 135-degree pattern.
  • adjacent pixels are arranged one-dimensionally on the upper right and lower left with respect to the pixel C, that is, 45 degrees with respect to the pattern of FIG. -D, 135-degree pattern.
  • FIG. 21E shows a 2-D, cross pattern in which adjacent pixels are two-dimensionally arranged with respect to the pixel C, that is, intersect with the pixel C.
  • FIG. 21F illustrates that 2-D, in which adjacent pixels are two-dimensionally arranged with respect to the pixel C, ie, upper right lower left and upper left lower right, that is, obliquely intersect the pixel C. , represents the diagonal pattern.
  • FIG. 22A shows a one-dimensional pattern rule list (Classification (rule for 1-D patterns).
  • the patterns of (A) to (D) in FIG. 21 are classified into five types of categories as shown in (A) of FIG. 22, offsets are calculated based on the categories, and sent to the decoding unit.
  • the pixel value of the pixel C When the pixel value of the pixel C is smaller than the pixel values of two adjacent pixels, it is classified into category 1. When the pixel value of the pixel C is smaller than the pixel value of one adjacent pixel and matches the pixel value of the other adjacent pixel, it is classified into category 2. When the pixel value of the pixel C is larger than the pixel value of one adjacent pixel and matches the pixel value of the other adjacent pixel, it is classified into category 3. When the pixel value of the pixel C is larger than the pixel values of two adjacent pixels, it is classified into category 4. If none of the above, it is classified into category 0.
  • FIG. 22 shows a rule list (Classification ⁇ ⁇ rule for 2-D patterns) of a two-dimensional pattern.
  • the patterns of (E) and (F) in FIG. 21 are classified into seven categories as shown in (B) of FIG. 22, and offsets are sent to the decoding unit according to the categories.
  • the pixel C When the pixel value of the pixel C is smaller than the pixel values of the four adjacent pixels, it is classified into category 1. When the pixel value of the pixel C is smaller than the pixel values of the three adjacent pixels and matches the pixel value of the fourth adjacent pixel, the pixel C is classified into category 2. When the pixel value of the pixel C is smaller than the pixel values of the three adjacent pixels and larger than the pixel value of the fourth adjacent pixel, the pixel C is classified into category 3.
  • the pixel C When the pixel value of the pixel C is larger than the pixel values of the three adjacent pixels and smaller than the pixel value of the fourth adjacent pixel, it is classified into category 4. When the pixel value of the pixel C is larger than the pixel values of the three adjacent pixels and matches the pixel value of the fourth adjacent pixel, the pixel C is classified into category 5. When the pixel value of the pixel C is larger than the pixel values of the four adjacent pixels, it is classified into category 6. If none of the above, it is classified into category 0.
  • the 1-bit offset value is sent to the decoding side with higher accuracy than the low-delay encoding condition.
  • adaptive offset processing is performed. This offset processing may be performed only for the luminance signal, or may be performed for the luminance signal and the color difference signal.
  • the motion prediction / compensation unit 32 switches the filter coefficient when the offset processing is not performed by the SAO unit 245 to a coefficient with higher noise removal strength than the filter coefficient when the offset processing is performed. Prediction image data is generated.
  • the coefficient table 3232 is supplied with the decimal part of the motion vector, the ALF processing determination result generated by the compensation control unit 3231, and the SAO information regarding the offset processing from the SAO unit 245.
  • the coefficient table 3232 includes a filter coefficient (filter_coef_without_ALF) used for reference image data not subjected to adaptive loop filter processing and reference image data subjected to adaptive loop filter processing when the SAO unit 245 does not perform offset processing.
  • filter_coef_with_ALF has a filter coefficient (filter_coef_with_ALF) to be used.
  • the coefficient table 3232 includes a filter coefficient (filter_coef_without_ALF_wAO) used for reference image data not subjected to adaptive loop filter processing and a reference image subjected to adaptive loop filter processing when the offset processing is performed in the SAO unit 245. It has a filter coefficient (filter_coef_with_ALF_wAO) used for data.
  • the coefficient table 3232 stores a set of filter coefficients when the offset processing is not performed in the SAO unit 245 and a set of filter coefficients when the offset processing is performed.
  • the filter coefficient when the offset process is not performed in the SAO unit 245 is a filter coefficient with a higher noise removal strength than the filter coefficient when the offset process is performed in the SAO unit 245.
  • the filter unit 3233 uses the coefficient table 3232 to calculate predicted image data having decimal pixel accuracy in the reference image data of the target block, using the fractional part of the motion vector and the filter coefficient selected based on the ALF processing determination result and the SAO information. Perform the desired interpolation filter processing. Further, the filter unit 3233 outputs the generated predicted image data to the mode determination unit 322 when the mode determination unit 322 calculates the cost function value in order to determine the optimal inter prediction mode. Further, the filter unit 3233 outputs the predicted image data generated in the optimal inter prediction mode to the predicted image / optimum mode selection unit 33.
  • FIG. 23 is a flowchart showing the motion compensation process.
  • the motion prediction / compensation unit 32 reads reference image data.
  • the compensation control unit 3231 of the motion prediction / compensation unit 32 is based on a prediction unit size for performing motion compensation, a motion vector detected for a prediction unit for performing motion compensation, and a reference index indicating a reference image used for detection of the motion vector. To determine the readout area. Furthermore, the compensation control unit 3231 reads out the image data of the determined readout area from the frame memory 25, and proceeds to step ST122.
  • step ST122 the motion prediction / compensation unit 32 generates an ALF process determination result and SAO information.
  • the compensation control unit 3231 of the motion prediction / compensation unit 32 determines whether or not the reference image data has been subjected to adaptive loop filter processing based on the flag information generated by the ALF unit 242, and generates an ALF processing determination result. Also, the compensation control unit 3231 acquires SAO information from the SAO unit 245, and proceeds to step ST123.
  • step ST123 the motion prediction / compensation unit 32 determines whether offset processing is performed.
  • the motion prediction / compensation unit 32 proceeds to step ST124 when determining that the offset processing is performed based on the SAO information, and proceeds to step ST127 when determining that the offset processing is performed.
  • step ST124 the motion prediction / compensation unit 32 determines whether adaptive loop filter processing is being performed.
  • the motion prediction / compensation unit 32 proceeds to step ST125 when the reference image data read out in step ST121 is subjected to adaptive loop filter processing, and proceeds to step ST126 when it is not subjected to adaptive loop filter processing.
  • step ST125 the motion prediction / compensation unit 32 outputs filter_coef_with_ALF corresponding to the decimal part of the motion vector.
  • the coefficient table 3232 of the motion prediction / compensation unit 32 selects filter_coef_with_ALF corresponding to the decimal part of the motion vector from filter_coef_set_w_ALF when the ALF processing determination result indicates application of the filter, and outputs the filter_coef_with_ALF to the filter unit 3233, and outputs the result to step ST130. Proceed to
  • step ST126 the motion prediction / compensation unit 32 outputs filter_coef_with_ALF corresponding to the decimal part of the motion vector.
  • the coefficient table 3232 of the motion prediction / compensation unit 32 selects filter_coef_without_ALF corresponding to the fractional part of the motion vector from filter_coef_set_wo_ALF when the ALF processing determination result does not indicate application of the filter, and outputs the filter_coef_without_ALF to the filter unit 3233. Proceed to
  • step ST127 the motion prediction / compensation unit 32 determines whether adaptive loop filter processing is being performed.
  • the motion prediction / compensation unit 32 proceeds to step ST128 when the reference image data read out in step ST121 has been subjected to adaptive loop filter processing, and proceeds to step ST129 when it has not been subjected to adaptive loop filter processing.
  • step ST128 the motion prediction / compensation unit 32 outputs filter_coef_with_ALF_wAO according to the decimal part of the motion vector.
  • the coefficient table 3232 of the motion prediction / compensation unit 32 selects filter_coef_with_ALF_wAO corresponding to the fractional part of the motion vector from the set of filter coefficients and outputs it to the filter unit 3233 when the ALF processing determination result indicates application of the filter.
  • the process proceeds to step ST130.
  • step ST129 the motion prediction / compensation unit 32 outputs filter_coef_with_ALF_wAO corresponding to the decimal part of the motion vector.
  • the coefficient table 3232 of the motion prediction / compensation unit 32 selects filter_coef_without_ALF_wAO corresponding to the fractional part of the motion vector from the set of filter coefficients and outputs it to the filter unit 3233 when the ALF processing determination result does not indicate application of the filter. The process proceeds to step ST130.
  • filter_coef_with_ALF is a coefficient whose noise removal strength is higher than that of filter_coef_with_ALF_wAO
  • filter_coef_without_ALF is a coefficient whose noise removal strength is higher than that of filter_coef_without_ALF_wAO.
  • step ST130 the motion prediction / compensation unit 32 generates predicted image data.
  • the filter unit 3233 of the motion prediction / compensation unit 32 performs the filtering process of the reference image data using the filter coefficient supplied from the coefficient table 3232 by the process of step ST123 to step ST129, and generates the predicted image data.
  • the filter coefficient is switched depending on whether or not the offset processing is performed, and when the offset processing is not performed, noise removal is performed. Since the filter coefficient is highly effective, it is possible to suppress a decrease in encoding efficiency.
  • FIG. 24 shows another configuration of the image decoding apparatus.
  • an SAO unit 565 is provided between a deblocking filter unit 561 and an ALF (Adaptive Loop Filter) unit 562.
  • the SAO unit 565 performs the same processing as the SAO unit 245 of the image encoding device 10.
  • the motion compensation unit 72 reads the reference image data from the frame memory 61 based on the prediction mode information and the difference motion vector supplied from the lossless decoding unit 52, performs motion compensation, and generates predicted image data.
  • the motion compensation unit 72 outputs the generated predicted image data to the selector 73.
  • the motion compensation unit 72 generates predicted image data by switching the filter characteristics based on information regarding the filter processing of the loop filter unit.
  • the motion compensation unit 72 switches the filter coefficient when the offset processing is not performed in the SAO unit 565 to a coefficient with higher noise removal strength compared to the filter coefficient when the offset processing is performed. Generate data.
  • the coefficient table 7222 is supplied with the decimal part of the motion vector, the ALF processing determination result generated by the compensation control unit 7221, and SAO information indicating whether or not the filter processing is performed from the SAO unit 565. ing.
  • the coefficient table 7222 includes a filter coefficient (filter_coef_without_ALF) used for reference image data not subjected to adaptive loop filter processing, a filter coefficient (filter_coef_with_ALF) used for reference image data subjected to adaptive loop filter processing, and the SAO unit 245.
  • the filter coefficient (filter_coef_without_ALF_wAO) used for the reference image data not subjected to the adaptive loop filter processing and the filter coefficient (filter_coef_with_ALF_wAO) used for the reference image data subjected to the adaptive loop filter processing have.
  • the filter unit 7223 uses the coefficient table 7222 to calculate predicted image data having decimal pixel accuracy in the reference image data of the target block, using the fractional part of the motion vector and the filter coefficient selected based on the ALF processing determination result and the SAO information. Perform the desired interpolation filter processing. In addition, when the reference image data is not subjected to the offset process, the filter unit 7223 performs a filter process with a filter characteristic having a higher noise removal strength than a filter coefficient used for the offset-processed reference image data. The filter unit 7223 outputs the predicted image data obtained by performing the filtering process on the reference image data to the selector 73. Note that the motion compensation unit 72 can generate predicted image data by performing the same processing as in the flowchart shown in FIG.
  • the filter coefficient included in the image compression information is stored in the coefficient table 7222, and the filter unit 7223 stores the filter coefficient stored in the coefficient table 7222. It is also possible to perform interpolation filter processing and output the predicted image data to the selector 73.
  • the selector 73 selects the intra prediction unit 71 for intra prediction and the motion compensation unit 72 for inter prediction based on the prediction mode information supplied from the lossless decoding unit 52.
  • the selector 73 outputs the predicted image data generated by the selected intra prediction unit 71 or motion compensation unit 72 to the addition unit 55.
  • the filter coefficient used for the reference image data is more than the filter coefficient used when the offset processing is performed. Also, the coefficient of the filter characteristic with increased noise removal strength is selected. Therefore, even if the image compression information is generated using the filter coefficient corresponding to the offset processing in the image encoding device 10, the image decoding device 50 performs decoding processing corresponding to the encoding processing of the image encoding device 10. It can be performed.
  • the ALF unit is provided.
  • the filter coefficient is set based on the SAO information or the like without using the ALF processing determination result. do it.
  • FIG. 25 is a diagram exemplifying a configuration of a computer device that executes the above-described series of processing by a program.
  • the CPU 801 of the computer device 80 executes various processes according to programs recorded in the ROM 802 or the recording unit 808.
  • the RAM 803 appropriately stores programs executed by the CPU 801, data, and the like. These CPU 801, ROM 802, and RAM 803 are connected to each other by a bus 804.
  • An input / output interface 805 is also connected to the CPU 801 via the bus 804.
  • An input unit 806 such as a touch panel, a keyboard, a mouse, and a microphone, and an output unit 807 including a display are connected to the input / output interface 805.
  • the CPU 801 executes various processes in response to commands input from the input unit 806. Then, the CPU 801 outputs the processing result to the output unit 807.
  • the recording unit 808 connected to the input / output interface 805 includes, for example, a hard disk, and records programs executed by the CPU 801 and various data.
  • a communication unit 809 communicates with an external device via a wired or wireless communication medium such as a network such as the Internet or a local area network or digital broadcasting. Further, the computer device 80 may acquire a program via the communication unit 809 and record it in the ROM 802 or the recording unit 808.
  • the drive 810 drives them to acquire a recorded program or data.
  • the acquired program and data are transferred to the ROM 802, RAM 803, or recording unit 808 as necessary.
  • the CPU 801 reads and executes a program for performing the above-described series of processing, and performs encoding processing on an image signal recorded in the recording unit 808 and the removable medium 85 and an image signal supplied via the communication unit 809. Decodes the image compression information.
  • H.264 is used as the encoding method / decoding method.
  • the present technology can also be applied to an image encoding device / image decoding device using an encoding method / decoding method for performing other motion prediction / compensation processing.
  • the present technology is, for example, MPEG, H.264, etc.
  • Image information (bitstream) compressed by orthogonal transformation such as discrete cosine transformation and motion compensation, such as 26x, is transmitted via network media such as satellite broadcasting, cable TV (television), the Internet, and cellular phones.
  • the present invention can be applied to an image encoding device and an image decoding device that are used when receiving or processing on a storage medium such as an optical disk, a magnetic disk, and a flash memory.
  • FIG. 26 illustrates a schematic configuration of a television device to which the present technology is applied.
  • the television apparatus 90 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, and an external interface unit 909. Furthermore, the television apparatus 90 includes a control unit 910, a user interface unit 911, and the like.
  • the tuner 902 selects a desired channel from the broadcast wave signal received by the antenna 901, performs demodulation, and outputs the obtained stream to the demultiplexer 903.
  • the demultiplexer 903 extracts video and audio packets of the program to be viewed from the stream, and outputs the extracted packet data to the decoder 904.
  • the demultiplexer 903 outputs a packet of data such as EPG (Electronic Program Guide) to the control unit 910. If scrambling is being performed, descrambling is performed by a demultiplexer or the like.
  • the decoder 904 performs packet decoding processing, and outputs video data generated by the decoding processing to the video signal processing unit 905 and audio data to the audio signal processing unit 907.
  • the video signal processing unit 905 performs noise removal, video processing according to user settings, and the like on the video data.
  • the video signal processing unit 905 generates video data of a program to be displayed on the display unit 906, image data by processing based on an application supplied via a network, and the like.
  • the video signal processing unit 905 generates video data for displaying a menu screen for selecting an item and the like, and superimposes the video data on the video data of the program.
  • the video signal processing unit 905 generates a drive signal based on the video data generated in this way, and drives the display unit 906.
  • the display unit 906 drives a display device (for example, a liquid crystal display element or the like) based on a drive signal from the video signal processing unit 905 to display a program video or the like.
  • a display device for example, a liquid crystal display element or the like
  • the audio signal processing unit 907 performs predetermined processing such as noise removal on the audio data, performs D / A conversion processing and amplification processing on the processed audio data, and outputs the audio data by supplying the audio data to the speaker 908. .
  • the external interface unit 909 is an interface for connecting to an external device or a network, and transmits and receives data such as video data and audio data.
  • a user interface unit 911 is connected to the control unit 910.
  • the user interface unit 911 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 910.
  • the control unit 910 is configured using a CPU (Central Processing Unit), a memory, and the like.
  • the memory stores a program executed by the CPU, various data necessary for the CPU to perform processing, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the television device 90 is activated.
  • the CPU controls each unit so that the television device 90 operates according to the user operation by executing the program.
  • the television device 90 is provided with a bus 912 for connecting the tuner 902, the demultiplexer 903, the video signal processing unit 905, the audio signal processing unit 907, the external interface unit 909, and the control unit 910.
  • the decoder 904 is provided with the function of the image decoding apparatus (image decoding method) of the present application. For this reason, in the image encoding process on the broadcast station side, when the prediction image data is generated by switching the filter characteristics according to the loop filter process for the reference image data, the image decoding process of the television device is performed. , The prediction image data can be generated by switching the filter characteristics in the same manner as on the broadcasting station side. Therefore, even if image compression information is generated on the broadcast station side so that quality degradation of a predicted image can be reduced and a decrease in compression efficiency can be suppressed, the television apparatus can correctly perform decoding processing.
  • FIG. 27 exemplifies a schematic configuration of a mobile phone to which the present technology is applied.
  • the cellular phone 92 includes a communication unit 922, an audio codec 923, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, and a control unit 931. These are connected to each other via a bus 933.
  • an antenna 921 is connected to the communication unit 922, and a speaker 924 and a microphone 925 are connected to the audio codec 923. Further, an operation unit 932 is connected to the control unit 931.
  • the mobile phone 92 performs various operations such as transmission / reception of voice signals, transmission / reception of e-mail and image data, image shooting, and data recording in various modes such as a voice call mode and a data communication mode.
  • the voice signal generated by the microphone 925 is converted into voice data and compressed by the voice codec 923 and supplied to the communication unit 922.
  • the communication unit 922 performs audio data modulation processing, frequency conversion processing, and the like to generate a transmission signal.
  • the communication unit 922 supplies a transmission signal to the antenna 921 and transmits it to a base station (not shown).
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and supplies the obtained audio data to the audio codec 923.
  • the audio codec 923 performs audio data expansion or conversion into an analog audio signal, and outputs it to the speaker 924.
  • the control unit 931 receives character data input by operating the operation unit 932 and displays the input characters on the display unit 930.
  • the control unit 931 generates mail data based on a user instruction or the like in the operation unit 932 and supplies the mail data to the communication unit 922.
  • the communication unit 922 performs mail data modulation processing, frequency conversion processing, and the like, and transmits the obtained transmission signal from the antenna 921.
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and restores mail data. This mail data is supplied to the display unit 930 to display the mail contents.
  • the mobile phone 92 can also store the received mail data in a storage medium by the recording / playback unit 929.
  • the storage medium is any rewritable storage medium.
  • the storage medium is a removable medium such as a semiconductor memory such as a RAM or a built-in flash memory, a hard disk, a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card.
  • the image data generated by the camera unit 926 is supplied to the image processing unit 927.
  • the image processing unit 927 performs image data encoding processing and generates image compression information.
  • the demultiplexing unit 928 multiplexes the image compression information generated by the image processing unit 927 and the audio data supplied from the audio codec 923 by a predetermined method, and supplies the multiplexed data to the communication unit 922.
  • the communication unit 922 performs modulation processing and frequency conversion processing of multiplexed data, and transmits the obtained transmission signal from the antenna 921.
  • the communication unit 922 performs amplification, frequency conversion processing, demodulation processing, and the like of the reception signal received by the antenna 921, and restores multiplexed data.
  • This multiplexed data is supplied to the demultiplexing unit 928.
  • the demultiplexing unit 928 performs demultiplexing of the multiplexed data, and supplies image compression information to the image processing unit 927 and audio data to the audio codec 923.
  • the image processing unit 927 performs a decoding process on the image compression information to generate image data.
  • the image data is supplied to the display unit 930 and the received image is displayed.
  • the audio codec 923 converts the audio data into an analog audio signal, supplies the analog audio signal to the speaker 924, and outputs the received audio.
  • the image processing unit 927 is provided with the function of the image processing device (image processing method) of the present application. Therefore, for example, in the encoding process of the image to be transmitted, the filter characteristics are switched according to the loop filter process for the reference image data, so that the quality degradation of the predicted image can be reduced and the reduction in the compression efficiency can be suppressed. Moreover, in the decoding process of the received image, since the prediction image data can be generated by switching the filter characteristics similarly to the encoding process, the decoding process can be performed correctly.
  • FIG. 28 illustrates a schematic configuration of a recording / reproducing apparatus to which the present technology is applied.
  • the recording / reproducing apparatus 94 records, for example, audio data and video data of a received broadcast program on a recording medium, and provides the recorded data to the user at a timing according to a user instruction.
  • the recording / reproducing device 94 can also acquire audio data and video data from another device, for example, and record them on a recording medium.
  • the recording / reproducing device 94 decodes and outputs the audio data and video data recorded on the recording medium, thereby enabling image display and audio output on the monitor device or the like.
  • the recording / reproducing apparatus 94 includes a tuner 941, an external interface unit 942, an encoder 943, an HDD (Hard Disk Drive) unit 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) unit 948, a control unit 949, A user interface unit 950 is included.
  • Tuner 941 selects a desired channel from a broadcast signal received by an antenna (not shown).
  • the tuner 941 outputs image compression information obtained by demodulating the received signal of the desired channel to the selector 946.
  • the external interface unit 942 includes at least one of an IEEE 1394 interface, a network interface unit, a USB interface, a flash memory interface, and the like.
  • the external interface unit 942 is an interface for connecting to an external device, a network, a memory card, and the like, and receives data such as video data and audio data to be recorded.
  • the encoder 943 performs an encoding process by a predetermined method when the video data and audio data supplied from the external interface unit 942 are not encoded, and outputs image compression information to the selector 946.
  • the HDD unit 944 records content data such as video and audio, various programs, and other data on a built-in hard disk, and reads them from the hard disk during playback.
  • the disk drive 945 records and reproduces signals with respect to the mounted optical disk.
  • An optical disk such as a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.), Blu-ray disk, or the like.
  • the selector 946 selects any stream from the tuner 941 or the encoder 943 and supplies it to either the HDD unit 944 or the disk drive 945 when recording video or audio. In addition, the selector 946 supplies the stream output from the HDD unit 944 or the disk drive 945 to the decoder 947 when playing back video or audio.
  • the decoder 947 performs a stream decoding process.
  • the decoder 947 supplies the video data generated by performing the decoding process to the OSD unit 948.
  • the decoder 947 outputs audio data generated by performing the decoding process.
  • the OSD unit 948 generates video data for displaying a menu screen for selecting an item and the like, and superimposes it on the video data output from the decoder 947 and outputs the video data.
  • a user interface unit 950 is connected to the control unit 949.
  • the user interface unit 950 includes an operation switch, a remote control signal receiving unit, and the like, and supplies an operation signal corresponding to a user operation to the control unit 949.
  • the control unit 949 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU and various data necessary for the CPU to perform processing.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the recording / reproducing apparatus 94 is activated.
  • the CPU executes the program to control each unit so that the recording / reproducing device 94 operates in accordance with the user operation.
  • the encoder 943 is provided with the function of the image processing apparatus (image processing method) of the present application. Therefore, for example, in the encoding process at the time of image recording, the filter characteristics are switched according to the loop filter process for the reference image data, so that the deterioration of the quality of the predicted image can be reduced and the decrease in the compression efficiency can be suppressed. Moreover, in the decoding process of the recorded image, since the prediction image data can be generated by switching the filter characteristics as in the encoding process, the decoding process can be performed correctly.
  • FIG. 29 illustrates a schematic configuration of an imaging apparatus to which the present technology is applied.
  • the imaging device 96 images a subject and displays an image of the subject on a display unit, or records it on a recording medium as image data.
  • the imaging device 96 includes an optical block 961, an imaging unit 962, a camera signal processing unit 963, an image data processing unit 964, a display unit 965, an external interface unit 966, a memory unit 967, a media drive 968, an OSD unit 969, and a control unit 970. Have. In addition, a user interface unit 971 is connected to the control unit 970. Furthermore, the image data processing unit 964, the external interface unit 966, the memory unit 967, the media drive 968, the OSD unit 969, the control unit 970, and the like are connected via a bus 972.
  • the optical block 961 is configured using a focus lens, a diaphragm mechanism, and the like.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 is configured using a CCD or CMOS image sensor, generates an electrical signal corresponding to the optical image by photoelectric conversion, and supplies the electrical signal to the camera signal processing unit 963.
  • the camera signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the electrical signal supplied from the imaging unit 962.
  • the camera signal processing unit 963 supplies the image data after the camera signal processing to the image data processing unit 964.
  • the image data processing unit 964 performs an encoding process on the image data supplied from the camera signal processing unit 963.
  • the image data processing unit 964 supplies the image compression information generated by performing the encoding process to the external interface unit 966 and the media drive 968. Further, the image data processing unit 964 performs a decoding process on the compressed image information supplied from the external interface unit 966 and the media drive 968.
  • the image data processing unit 964 supplies the image data generated by performing the decoding process to the display unit 965. Further, the image data processing unit 964 superimposes the processing for supplying the image data supplied from the camera signal processing unit 963 to the display unit 965 and the display data acquired from the OSD unit 969 on the image data. To supply.
  • the OSD unit 969 generates display data such as a menu screen and icons made up of symbols, characters, or figures and outputs them to the image data processing unit 964.
  • the external interface unit 966 includes, for example, a USB input / output terminal, and is connected to a printer when printing an image.
  • a drive is connected to the external interface unit 966 as necessary, a removable medium such as a magnetic disk or an optical disk is appropriately mounted, and a program read from the medium is installed as necessary.
  • the external interface unit 966 has a network interface connected to a predetermined network such as a LAN or the Internet.
  • the control unit 970 reads the image compression information from the memory unit 967 according to an instruction from the user interface unit 971, and supplies the compressed image information from the external interface unit 966 to another device connected via the network. it can.
  • the control unit 970 may acquire image compression information and image data supplied from another device via the network via the external interface unit 966 and supply the acquired information to the image data processing unit 964. it can.
  • any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory is used.
  • the recording medium may be any type of removable medium, and may be a tape device, a disk, or a memory card. Of course, a non-contact IC card or the like may be used.
  • media drive 968 and the recording medium may be integrated and configured by a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • a non-portable storage medium such as a built-in hard disk drive or an SSD (Solid State Drive).
  • the control unit 970 is configured using a CPU, a memory, and the like.
  • the memory stores programs executed by the CPU, various data necessary for the CPU to perform processing, and the like.
  • the program stored in the memory is read and executed by the CPU at a predetermined timing such as when the imaging device 96 is activated.
  • the CPU executes the program to control each unit so that the imaging device 96 operates according to the user operation.
  • the image data processing unit 964 is provided with the function of the image processing apparatus (image processing method) of the present application. Therefore, in the encoding process when the captured image is recorded in the memory unit 967, a recording medium, or the like, the filter characteristics are switched in accordance with the loop filter process for the reference image data to reduce the quality degradation of the predicted image and the compression efficiency. Can be suppressed. Moreover, in the decoding process of the recorded image, since the prediction image data can be generated by switching the filter characteristics as in the encoding process, the decoding process can be performed correctly.
  • the image processing apparatus of the present technology may also have the following configuration.
  • a loop filter unit that performs a filtering process on the reference image data referred to by the target block;
  • An interpolation filter unit that generates predicted image data using the reference image data and a motion vector corresponding to the target block;
  • An image processing apparatus comprising: a filter control unit that switches a filter coefficient of the interpolation filter in accordance with a filter process in the loop filter unit for the reference image data used in the interpolation filter.
  • the filter control unit switches the filter coefficient when the filter processing is not performed by the loop filter unit to a coefficient whose noise removal strength is higher than the filter coefficient when the filter processing is performed (1).
  • the image processing device according to (1) or (2), wherein the interpolation filter unit performs low-pass filter processing as the noise removal.
  • the filter processing of the loop filter unit includes at least one of deblocking filter processing and adaptive loop filter processing.
  • the loop filter unit adaptively performs an offset process, The filter control unit sets the filter coefficient when the offset processing is not performed as a coefficient with higher noise removal strength than the filter coefficient when the offset processing is performed (1) to (4) ).
  • the filter process is performed on the reference image data referred to by the target block by the loop filter unit.
  • the interpolation filter unit generates predicted image data using the reference image data and the motion vector corresponding to the target block.
  • the filter coefficient of the interpolation filter is switched according to the filter processing in the loop filter unit for the reference image data used in the interpolation filter. For this reason, when the filter processing is not performed by the loop filter unit, it is possible to generate predicted image data with less noise by performing the filtering process of the reference image data with the filter characteristic having high noise removal strength, for example. Thus, quality degradation of the predicted image can be reduced and reduction in compression efficiency can be suppressed.
  • image compression information (bitstream) obtained by encoding in block units is transmitted / received via network media such as satellite broadcasting, cable TV, the Internet, and cellular phones, or optical, magnetic disk It is suitable for an image encoding device, an image decoding device, or the like used when processing on a storage medium such as a flash memory.
  • -Motion compensation unit 80 ... computer device, 90 ... television device, 92 ... mobile phone Speaker, 94 ... Recording / reproducing device, 96 ... Imaging device, 241,561 ... Deblocking filter, 242,562 ... ALF, 245,565 ... SAO, 321 ... Motion detection unit, 322 ... mode determination unit, 323, 722 ... motion compensation processing unit, 324, 723 ... motion vector buffer, 721 ... motion vector synthesis unit, 3231, 7221 ... compensation control Part, 3231a ... ALF information memory, 3232, 7222 ... coefficient table, 3233, 7223 ... filter part

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

　動き予測・補償部３２において、動き検出によって検出した動きベクトルに基づき、参照画像データを用いて動き補償を行い予測画像データを生成する際に、補償制御部３２３１は、予測画像データの生成で用いる参照画像データに対するループフィルタ処理に応じて、係数テーブル３２３２からフィルタ部３２３３に供給するフィルタ係数を切り替えて、例えばループフィルタ処理されていない場合、ノイズ除去強度の高いフィルタ特性で参照画像データのフィルタ処理を行う。このため、ノイズの少ない予測画像データを生成することが可能となり、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関する。詳しくは、予測画像の品質劣化を少なくして圧縮効率の低下を抑制する。
　近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ等の方式に準拠した装置が、放送局や一般家庭において普及しつつある。
　特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８－２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４～８Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。また、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８～２２Ｍｂｐｓの符号量を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
　また、ＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われて、Ｈ．２６４およびＭＰＥＧ－４　Ｐａｒｔ１０　（以下「Ｈ．２６４／ＡＶＣ（Advanced Video Coding)」と記す）という名の下に国際標準となった。
　Ｈ．２６４／ＡＶＣにおいては、図１に示すように、１６×１６画素により構成される１つのマクロブロックを、１６×１６、１６×８、８×１６若しくは８×８のいずれかの画素領域に分割して、それぞれ独立した動きベクトルを持つことが可能である。さらに、８×８画素領域に関しては、図１に示されるとおり、８×８画素、８×４画素、４×８画素、４×４画素のいずれかのサブ領域に分割して、それぞれ独立した動きベクトルを持つことが可能である。なお、ＭＰＥＧ－２においては、動き予測・補償処理の単位は、フレーム動き補償モードの場合は１６×１６画素、フィールド動き補償モードの場合は第一フィールド、第二フィールドのそれぞれに対し、１６×８画素を単位として動き予測・補償処理が行われる。
　さらに、Ｈ．２６４／ＡＶＣでは、特許文献１に記載されているように、小数画素精度例えば１／４画素精度の動き予測・補償処理が行われている。図２は、１／４画素精度の動き予測・補償処理を説明するための図である。図２において位置「Ａ」は、フレームメモリに格納されている整数精度画素の位置、位置「ｂ」，「ｃ」，「ｄ」は１／２画素精度の位置、位置「ｅ1」，「ｅ2」，「ｅ3」は１／４画素精度の位置である。
　以下では、Clip1()を式（１）のように定義する。
Figure JPOXMLDOC01-appb-M000001
　式（１）において、入力画像が８ビット精度である場合、ｍａｘ＿ｐｉｘの値は２５５となる。
　位置「ｂ」「ｄ」における画素値は、６タップのＦＩＲフィルタを用いて、式（２）（３）のように生成される。
　　Ｆ＝Ａ－２－５・Ａ－１＋２０・Ａ０＋２０・Ａ１－５・Ａ２＋Ａ３　・・・（２）
　　ｂ，ｄ＝Ｃｌｉｐ１((Ｆ＋１６)＞＞５）　　　　　　　　　　・・・（３）
　位置「ｃ」における画素値は、６タップのＦＩＲフィルタを用いて、式（４）または式（５）のいずれかと式（６）のように生成される。
　　Ｆ＝ｂ－２－５・ｂ－１＋２０・ｂ０＋２０・ｂ１－５・ｂ２＋ｂ３・・・（４）
　　Ｆ＝ｄ－２－５・ｄ－１＋２０・ｄ０＋２０・ｄ１－５・ｄ２＋ｄ３・・・（５）
　　ｃ＝Ｃｌｉｐ１((Ｆ＋５１２)＞＞１０）　　　　　　　　・・・（６）
なお、Ｃｌｉｐ１処理は、水平方向および垂直方向の積和処理の両方を行った後、最後に一度のみ行う。
　位置「ｅ1」～「ｅ3」における画素値は、線形内挿により式（７）～（９）のように生成される。
　　ｅ1＝（Ａ＋ｂ＋１）＞＞１　　　・・・（７）
　　ｅ2＝（ｂ＋ｄ＋１）＞＞１　　　・・・（８）
　　ｅ3＝（ｂ＋ｃ＋１）＞＞１　　　・・・（９）
　また、画像圧縮技術では、Ｈ．２６４／ＡＶＣ方式よりもさらに高い符号化効率を実現するＨＥＶＣ（High Efficiency Video Coding）の規格化も検討されている。このＨＥＶＣは、ITU-TとISO/IECとの共同の標準化団体であるJCTVC (Joint Collaboration Team - Video Coding) により標準化が進められている符号化方式である。ＨＥＶＣでは、マクロブロックの概念を拡張したコーディングユニット（ＣＵ：Coding Unit）と呼ばれる基本単位が定義されている。また、非特許文献１では、１６×１６画素のマクロブロックよりも拡張されたブロックサイズで画像圧縮を可能とすることが提案されている。なお、ＨＥＶＣでは、コーディングユニットを分割して予測用の基本単位である予測ユニット（ＰＵ：Prediction Unit）も定義されている。
　また、ＨＥＶＣでは、非特許文献２に開示されているＰＱＡＯ（Picture Quality Adaptive Offset）をデブロックフィルタと適応ループフィルタの間に設けることが検討されている。オフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどのオフセットの種類により符号化するかを選択することで符号化効率を向上させる。
特開２０１０－０１６４５３号公報
"Video Coding Using Extended Block Sizes"(Study Group16, Contribution 123, ITU,COM16-C123-E 2009年1月) "CE8 Subtest 3:Picture Quality Adaptive Offset",JCTVC-D122,2011年１月
　ところで、動き予測で検出された動きベクトルに基づき参照画像データを用いて動き補償を行い予測画像データを生成する場合、参照画像データにノイズが含まれると、予測画像データにもノイズが含まれて、圧縮効率の低下を招いてしまう。
　そこで、この技術では予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる画像処理装置と画像処理方法を提供することを目的とする。
　この技術の第１の側面は、対象ブロックが参照する参照画像データに対してフィルタ処理を行うループフィルタ部と、前記参照画像データと、前記対象ブロックに対応する動きベクトルとを用いて、予測画像データを生成する補間フィルタ部と、前記補間フィルタで用いる前記参照画像データに対する前記ループフィルタ部でのフィルタ処理に応じて、前記補間フィルタのフィルタ係数を切り替えるフィルタ制御部とを備えた画像処理装置にある。
　この技術は、画像処理装置、例えば入力画像データを複数の画素ブロックに分割し、参照画像データを用いて各画素ブロックの予測処理を行い、入力画像データと予測画像データとの差分を符号化する画像符号化装置、または画像符号化装置で生成された圧縮画像情報の復号化処理を行う画像復号化装置において、対象ブロックが参照する参照画像データに対してフィルタ処理、例えばデブロッキングフィルタ処理や適応ループフィルタ処理をループフィルタ部で行う。また、参照画像データと、対象ブロックに対応する動きベクトルとを用いて、予測画像データの生成を補間フィルタ部で行う。さらに、補間フィルタで用いる参照画像データに対するループフィルタ部でのフィルタ処理に応じて、例えば補間フィルタ部で用いる参照画像データが、ループフィルタ部によりフィルタ処理されているか否かに応じて、補間フィルタ部のフィルタ係数を切り替えてノイズ除去強度を調整する。ループフィルタ部でフィルタ処理が行われていない場合のフィルタ係数は、フィルタ処理が行われている場合のフィルタ係数に比べてノイズ除去強度を高めた係数とする。また、適応的にオフセット処理が行われる場合、オフセット処理が行われていない場合は、オフセット処理が行われた場合に比べてノイズ除去強度を高めた係数とする。
　この技術の第２の側面は、対象ブロックが参照する参照画像データに対してフィルタ処理を行うループフィルタ処理工程と、前記参照画像データと、前記対象ブロックに対応する動きベクトルとを用いて、予測画像データを生成する補間フィルタ処理工程と、前記補間フィルタ処理工程で用いる前記参照画像データに対する前記ループフィルタ処理工程でのフィルタ処理に応じて、前記補間フィルタ処理工程のフィルタ係数を切り替えるフィルタ制御工程とを含む画像処理方法にある。
　この技術によれば、対象ブロックが参照する参照画像データに対してフィルタ処理がループフィルタ部で行われる。また、参照画像データと対象ブロックに対応する動きベクトルとを用いて予測画像データの生成が補間フィルタ部で行われる。また、補間フィルタで用いる参照画像データに対するループフィルタ部でのフィルタ処理に応じて、補間フィルタのフィルタ係数の切り替えが行われる。このため、ループフィルタ部でフィルタ処理されていない場合、例えばノイズ除去強度の高いフィルタ特性で参照画像データのフィルタ処理を補間フィルタ部で行うことにより、ノイズの少ない予測画像データを生成することが可能となり、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる。
Ｈ．２６４／ＡＶＣにおけるブロックサイズを示す図である。 １／４画素精度の動き予測・補償処理を説明するための図である。 画像符号化装置の構成を示す図である。 動き予測・補償部の構成を示す図である。 フィルタ特性を例示した図である。 マクロブロックのサイズを拡張した場合の階層構造を示している。 画像符号化装置の動作を示すフローチャートである。 予測処理を示すフローチャートである。 イントラ予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 動き補償処理を示すフローチャートである。 フレーム単位で適応ループフィルタ処理のオン／オフが切り替えられた場合を示す図である。 画像復号化装置の構成を示す図である。 動き補償部の構成を示す図である。 画像復号化装置の動作を示すフローチャートである。 予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 画像符号化装置の他の構成を示す図である。 quad-tree構造を説明するための図である。 バンドオフセットを説明するための図である。 エッジオフセットを説明するための図である。 エッジオフセットの規則一覧表を示す図である。 動き補償処理を示すフローチャートである。 画像復号化装置の他の構成を示す図である。 コンピュータ装置の概略構成を例示した図である。 テレビジョン装置の概略構成を例示した図である。 携帯電話機の概略構成を例示した図である。 記録再生装置の概略構成を例示した図である。 撮像装置の概略構成を例示した図である。
　以下、この技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．画像符号化装置の構成
　２．画像符号化装置の動作
　３．画像復号化装置の構成
　４．画像復号化装置の動作
　５．画像符号化装置の他の構成と動作
　６．画像復号化装置の他の構成と動作
　７．ソフトウェア処理の場合
　８．電子機器に適用した場合
　＜１．画像符号化装置の構成＞
　図３は画像処理装置を画像符号化装置に適用した場合の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、ループフィルタ部２４、フレームメモリ２５、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。また、ループフィルタ部２４には、例えばデブロッキングフィルタ部２４１とＡＬＦ(Adaptive Loop Filter)部２４２が設けられている。
　Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
　画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３、ＡＬＦ部２４２、イントラ予測部３１および動き予測・補償部３２に出力する。
　減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
　直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
　量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
　可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部３１から予測モード情報や動き予測・補償部３２から予測モード情報と差分動きベクトルとループフィルタ情報等が供給される。また、予測画像・最適モード選択部３３から最適モードがイントラ予測であるかインター予測であるかを示す情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測モードや動き予測ユニットのブロックサイズ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化または算術符号化等により可逆符号化処理を行い、画像圧縮情報を生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、最適モードがイントラ予測である場合、イントラ予測部３１から供給された予測モード情報の可逆符号化を行う。また、可逆符号化部１６は、最適モードがインター予測である場合、動き予測・補償部３２から供給された予測モード情報や差分動きベクトル等の可逆符号化を行う。さらに、可逆符号化部１６は、可逆符号化が行われた情報を画像圧縮情報に含める。例えば可逆符号化部１６は、画像圧縮情報である符号化ストリームのヘッダ情報に付加する。また、可逆符号化部１６は、ループフィルタ情報または可逆符号化したループフィルタ情報を画像圧縮情報に含める。
　蓄積バッファ１７は、可逆符号化部１６からの画像圧縮情報を蓄積する。また、蓄積バッファ１７は、蓄積した画像圧縮情報を伝送路に応じた伝送速度で出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっている場合、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きい場合、レート制御信号によって量子化データのビットレートを高くする。
　逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
　逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行い、得られたデータを加算部２３に出力する。
　加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ部２４１とイントラ予測部３１に出力する。なお、復号画像データは参照画像の画像データとして用いられる。
　ループフィルタ部２４は、復号画像データを参照画像データとして用いて以降の予測を行う符号化ループに組み込まれフィルタである。ループフィルタ部２４は、ノイズの除去された参照画像データを生成することで、動き補償予測における予測誤差からノイズの影響を除いて符号化効率を向上させる。
　ループフィルタ部２４のデブロッキングフィルタ部２４１は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ部２４１は、加算部２３から供給された復号画像データからブロック歪みを除去するデブロッキングフィルタ処理を行い、処理後の復号画像データをＡＬＦ部２４２に出力する。なお、デブロッキングフィルタ部２４１は、デブロッキングフィルタ処理を適応的に行い、フレーム内の一部の領域で、デブロッキングフィルタ処理を行わないようにしてもよい。
　ＡＬＦ部２４２は、デブロッキングフィルタ部２４１のフィルタ処理で除去されなかった歪みや、デブロッキングフィルタ部２４１でフィルタ処理が行われていない領域のノイズを除去するフィルタ処理を行う。ＡＬＦ部２４２は、画面並べ替えバッファ１２から供給された入力画像データとデブロッキングフィルタ部２４１から供給された復号画像データの誤差を低減させるフィルタ処理を行ったときに符号化効率が高くなる領域に対してのみ適応ループフィルタ処理を行う。ＡＬＦ部２４２は、処理後の復号画像データをフレームメモリ２５に出力する。また、ＡＬＦ部２４２は、画像復号化処理において画像符号化処理と同様な適応ループフィルタ処理を行えるように、適応ループフィルタ処理に関するフィルタ情報を、可逆符号化部１６に出力して画像圧縮情報に含めるようにする。フィルタ情報としては、例えばＡＬＦフラグ情報と適応ループフィルタ処理に用いたフィルタ係数等を用いる。ＡＬＦ部２４２は、ＡＬＦフラグ情報を動き予測・補償部３２に出力する。
　ＡＬＦフラグ情報は、例えばadaptive_loop_filter_flag、alf_cu_control_flag、alf_flag等が用いられる。adaptive_loop_filter_flagは、現在のスライスで適応ループフィルタ処理が行われているかを示すフラグである。alf_cu_control_flagは、輝度データに対して適応ループフィルタ処理が行われているかを示すフラグである。alf_flagは、適応ループフィルタ処理が行われているコーディングユニットを識別するフラグである。したがって、これらのＡＬＦフラグ情報に基づき、参照画像データにおいて適応ループフィルタ処理が行われた領域を判別できる。
　フレームメモリ２５は、ＡＬＦ部２４２から供給されたフィルタ処理後の復号画像データを保持する。フレームメモリ２５に保持された復号画像データは、動き予測・補償部３２に参照画像データとして供給される。
　イントラ予測部３１は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データと加算部２３から供給された参照画像データを用いて、候補となる全てのイントラ予測モードで予測を行い、最適イントラ予測モードを決定する。イントラ予測部３１は、例えば各イントラ予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるイントラ予測モードを最適イントラ予測モードとする。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。さらに、イントラ予測部３１は、最適イントラ予測モードを示す予測モード情報を可逆符号化部１６に出力する。
　動き予測・補償部３２は、画面並べ替えバッファ１２から供給された符号化対象画像の入力画像データとフレームメモリ２５から供給された参照画像データを用いて、候補となる全てのインター予測モードで予測を行い、最適インター予測モードを決定する。動き予測・補償部３２は、例えば各インター予測モードでコスト関数値を算出して、算出したコスト関数値に基づき符号化効率が最良となるインター予測モードを最適インター予測モードとする。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、動き予測・補償部３２は、最適インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。さらに、動き予測・補償部３２は、参照画像データのノイズによる符号化効率の低下を抑制するため、参照画像データに対するループフィルタ部２４でのフィルタ処理に応じてフィルタ係数を切り替える。
　以下、適応ループフィルタ処理が行われていない場合のフィルタ係数を、適応ループフィルタ処理が行われている場合のフィルタ係数に比べて、ノイズ除去強度を高めた係数に切り替える場合について説明する。
　図４は、動き予測・補償部３２の構成を示している。動き予測・補償部３２は、動き検出部３２１、モード判定部３２２、動き補償処理部３２３、動きベクトルバッファ３２４を有している。
　動き検出部３２１には、画面並べ替えバッファ１２から供給された並べ替え後の入力画像データと、フレームメモリ２５から読み出された参照画像データが供給される。動き検出部３２１は、候補となる全てのインター予測モードで動き探索を行い動きベクトルを検出する。動き検出部３２１は、検出した動きベクトルを示す動きベクトルを、動きベクトルを検出した場合の入力画像データと参照画像データと共にモード判定部３２２に出力する。
　モード判定部３２２には、動き検出部３２１から動きベクトルと入力画像データ、動き補償処理部３２３から予測画像データ、および動きベクトルバッファ３２４から隣接予測ユニットの動きベクトルが供給されている。モード判定部３２２は、隣接予測ユニットの動きベクトルを用いてメディアン予測等を行い予測動きベクトルを設定して、動き検出部３２１で検出された動きベクトルと予測動きベクトルの差を示す差分動きベクトルを算出する。モード判定部３２２は、入力画像データと予測画像データおよび差分動きベクトルを用いて、候補となる全てのインター予測モードでコスト関数値を算出する。モード判定部３２２は、算出したコスト関数値が最小となるモードを最適インター予測モードと決定する。さらに、モード判定部３２２は、決定した最適インター予測モードを示す予測モード情報とコスト関数値を、当該最適インター予測モードに関わる動きベクトルと差分動きベクトル等とともに、動き補償処理部３２３に出力する。また、モード判定部３２２は、候補となる全てのインター予測モードでコスト関数値を算出するため、インター予測モードに関わる予測モード情報と動きベクトルを、動き補償処理部３２３に出力する。
　コスト関数値の算出は、例えばＨ．２６４／ＡＶＣ方式における参照ソフトウェアであるＪＭ（Joint Model）で定められているように、High Complexityモードか、Low Complexityモードのいずれかの手法に基づいて行う。
　すなわち、High Complexityモードにおいては、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（１０）で表されるコスト関数値を各予測モードに対して算出する。
　　Cost(Mode∈Ω)=Ｄ+λ・Ｒ　　　　　　・・・（１０）
　Ωは、当該予測ユニットの画像を符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の予測画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ乗数である。
　つまり、High Complexityモードでの符号化を行うには、上記パラメータＤおよびＲを算出するため、候補となる全ての予測モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
　一方、Low Complexityモードにおいては、候補となる全ての予測モードで、予測画像の生成、および差分動きベクトルや予測モード情報などを含むヘッダビットの生成等を行い、次の式（１１）で表されるコスト関数値を算出する。
　　Cost(Mode∈Ω)=Ｄ+QP2Quant(QP)・Header＿Bit　　　・・・（１１）
　Ωは、当該予測ユニットの画像を符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の予測画像と入力画像との差分エネルギー（歪み）を示している。Header＿Bitは、予測モードに対するヘッダビット、QP2Quantは、量子化パラメータＱＰの関数として与えられる関数である。
　すなわち、Low Complexityモードにおいては、それぞれの予測モードに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、High Complexityモードより低い演算量での実現が可能である。
　動き補償処理部３２３は、補償制御部３２３１と係数テーブル３２３２とフィルタ部３２３３を有している。動き補償処理部３２３は、ＡＬＦ部２４２で生成されたＡＬＦフラグ情報に基づき、参照画像データが適応ループフィルタ処理されているか否かの判別を行う。また、動き補償処理部３２３は、判別結果（以下「ＡＬＦ処理判別結果」という）に応じて予測画像データの生成に用いる参照画像データのフィルタ処理におけるフィルタ特性を切り替える。例えば、動き補償処理部３２３は、係数テーブル３２３２からフィルタ部３２３３に供給するフィルタ係数を切り替えることで、フィルタ処理におけるフィルタ特性を切り替える。なお、図４では、係数テーブル３２３２からフィルタ部３２３３にフィルタ係数を供給する構成を示しているが、補償制御部３２３１からフィルタ係数をフィルタ部３２３３に供給する構成であってもよい。
　補償制御部３２３１は、ＡＬＦ部２４２から供給されたＡＬＦフラグ情報を記憶するＡＬＦ情報メモリ３２３１ａを有している。補償制御部３２３１は、モード判定部３２２から供給された予測ユニットのブロックサイズ（形状も含む）と動きベクトルおよび参照インデックスに基づいて、フレームメモリ２６からの参照画像データの読み出し制御を行う。また、補償制御部３２３１は、ＡＬＦ情報メモリ３２３１ａに記憶されているＡＬＦフラグ情報に基づき、読み出された参照画像データが適応ループフィルタ処理されているか否かの判別を行い、ＡＬＦ処理判別結果を係数テーブル３２３２に出力する。例えば補償制御部３２３１は、ＡＬＦフラグ情報に基づき、参照画像データが適応ループフィルタ処理されていると判別した場合にＡＬＦ処理判別結果であるalf_applied_flagを真とする。また、補償制御部３２３１は、適応ループフィルタ処理されていないと判別した場合にalf_applied_flagを偽とする。補償制御部３２３１は、ＡＬＦ処理判別結果を示すalf_applied_flagを係数テーブル３２３２に出力する。
　係数テーブル３２３２には、動きベクトルの小数部と、補償制御部３２３１で生成されたＡＬＦ処理判別結果が供給されている。係数テーブル３２３２は、適応ループフィルタ処理されていない参照画像データに対して用いるフィルタ係数（filter_coef_without_ALF）と、適応ループフィルタ処理されている参照画像データに対して用いるフィルタ係数（filter_coef_with_ALF）を有している。
　適応ループフィルタ処理されていない場合、参照画像データはノイズ除去が行われていない。したがって、filter_coef_without_ALFは、適応ループフィルタ処理された参照画像データに対して用いるフィルタ係数に比べてノイズ除去強度を高めたフィルタ特性の係数とする。また、適応ループフィルタ処理されている場合、ノイズが除去されていると期待される。したがって、filter_coef_with_ALFは、低域成分から高域成分までを守ったフィルタ特性の係数とする。図５はフィルタ特性を例示しており、filter_coef_without_ALFを用いた特性は、filter_coef_with_ALFを用いた特性に比べて、高域成分の減衰が多い低域通過フィルタ特性とされている。なお、フィルタ特性は、適応ループフィルタ処理されていない場合、適応ループフィルタ処理された場合に比べてノイズ除去強度を高めたフィルタ特性であればよく、図５に示す特性に限られない。例えば、図５に示す特性とは異なる減衰特性であってもよい。
　さらに、係数テーブル３２３２には、動きベクトルが小数画素精度である場合でも、上述のように補間フィルタ処理により小数画像精度の予測画像データを生成可能とするため、小数画素位置に対応する複数のフィルタ係数が記憶される。すなわち、係数テーブル３２３２には、適応ループフィルタ処理されていない参照画像データに対して用いるフィルタ係数のセット（filter_coef_set_wo_ALF）と、適応ループフィルタ処理用されている参照画像データに対して用いるフィルタ係数のセット（filter_coef_set_w_ALF）が記憶されている。
　係数テーブル３２３２は、動きベクトルの小数部とＡＬＦ処理判別結果に応じて選択されたフィルタ係数をフィルタ部３２３３に出力する。例えば、alf_applied_flagが真であるとき、係数テーブル３２３２は、filter_coef_set_w_ALFから動きベクトルの小数部に応じたフィルタ係数を選択してフィルタ部３２３３に出力する。また、alf_applied_flagが偽であるとき、係数テーブル３２３２は、filter_coef_set_wo_ALFから動きベクトルの小数部に応じたフィルタ係数を選択してフィルタ部３２３３に出力する。
　フィルタ部３２３３は、係数テーブル３２３２から供給されたフィルタ係数を用いて、対象ブロックの参照画像データにおける小数画素精度である予測画像データを求める補間フィルタ処理を行う。また、フィルタ部３２３３は、参照画像データが適応ループフィルタ処理されていない場合、適応ループフィルタ処理された参照画像データに対して用いるフィルタ係数に比べてノイズ除去強度を高めたフィルタ特性でフィルタ処理を行う。さらに、フィルタ部３２３３は、最適インター予測モードを判定するため、モード判定部３２２でコスト関数値を算出する場合、生成した予測画像データをモード判定部３２２に出力する。また、フィルタ部３２３３は、最適インター予測モードで生成した予測画像データを予測画像・最適モード選択部３３に出力する。
　なお、図示せずも、動き補償処理部３２３は、動き補償に用いた動きベクトルを動きベクトルバッファ３２４、最適インター予測の予測モード情報と当該モードにおける差分動きベクトル等を可逆符号化部１６にそれぞれ出力する。さらに、動き補償処理部３２３は、最適インター予測におけるコスト関数値を、図３に示す予測画像・最適モード選択部３３に出力する。
　予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードがイントラ予測モードであるかインター予測モードであるかを示す情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測の切り替えを行う。
　＜２．画像符号化装置の動作＞
　画像符号化装置では、例えばＨ．２６４／ＡＶＣ方式よりもマクロブロックの大きさを拡張して符号化処理を行う。図６は、マクロブロックのサイズを拡張した場合の階層構造を例示している。図６において、図６の（Ｃ）（Ｄ）は、コーディングユニットがＨ．２６４／ＡＶＣ方式で規定されている１６×１６画素のマクロブロックと８×８画素のサブマクロブロックのサイズである場合を示している。また、図６の（Ａ）はコーディングユニットのブロックサイズが６４×６４画素、図６の（Ｂ）はコーディングユニットのブロックサイズが３２×３２画素である場合を示している。なお、図６において、「Ｓｋｉｐ／ｄｉｒｅｃｔ」は、スキップドマクロブロックやダイレクトモードを選択した場合のブロックサイズであることを示している。
　また、１つの階層では、コーディングユニットを分割したサイズを含めて複数の予測ユニットが設定されている。例えば、図６の（Ａ）に示す６４×６４画素のマクロブロックの階層では、６４×６４画素，６４×３２画素，３２×６４画素，３２×３２画素のサイズが同一階層の予測ユニットのブロックサイズと設定されている。また、図示せずも、コーディングユニットを非対称のブロックサイズで２分割した予測ユニットを設けることも可能とされている。なお、「ＭＥ」は予測ユニットのブロックサイズを示している。また、「Ｐ８×８」は、ブロックサイズを小さくした下位の階層でさらに分割できることを示している。
　次に、画像符号化装置の動作について、図７に示すフローチャートを用いて説明する。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
　ステップＳＴ１２において画面並べ替えバッファ１２は、画像並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並び替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。
　ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
　ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
　ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ１８において加算部２３は、参照画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号化データ（参照画像データ）を生成する。
　ステップＳＴ１９においてデブロッキングフィルタ部２４１は、フィルタ処理を行う。デブロッキングフィルタ部２４１は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
　ステップＳＴ２０においてフレームメモリ２５は、参照画像データを記憶する。フレームメモリ２５はフィルタ処理後の復号化データ（参照画像データ）を記憶する。
　ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理の詳細は、図８を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
　ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードを決定する。すなわち、予測画像・最適モード選択部３３では、例えば図６に示す各階層から符号化効率が最良となるコーディングユニットと該コーディングユニットにおける予測ユニットの形状およびイントラ予測とインター予測のいずれかを行うか決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを、減算部１３と加算部２３に出力する。この予測画像データが、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
　ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。また、可逆符号化部１６は、ステップＳＴ２２で選択された予測画像データに対応する予測モード情報やインター予測で生成した差分動きベクトル等の可逆符号化を行い、量子化データを可逆符号化して生成された画像圧縮情報に、予測モード情報等の可逆符号化データが含められる。また、可逆符号化部１６は、ループフィルタ情報または可逆符号化したループフィルタ情報を画像圧縮情報に含める。
　ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行う。蓄積バッファ１７は、可逆符号化部１６から出力される画像圧縮情報を蓄積する。この蓄積バッファ１７に蓄積された画像圧縮情報は、適宜読み出されて伝送路を介して復号側に伝送される。
　ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で画像圧縮情報を蓄積する場合、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
　次に、図８のフローチャートを参照して、図７のステップＳＴ２１における予測処理を説明する。
　ステップＳＴ３１において、イントラ予測部３１はイントラ予測処理を行う。イントラ予測部３１は符号化対象の予測ユニットの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される復号画像の画像データは、デブロッキングフィルタ部２４１でブロッキングフィルタ処理が行われる前の復号画像データが用いられる。このイントラ予測処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。
　ステップＳＴ３２において、動き予測・補償部３２はインター予測処理を行う。動き予測・補償部３２は、フレームメモリ２５に記憶されているデブロッキングフィルタ処理後の復号画像データを用いて、候補となるインター予測モードのインター予測処理を行う。このインター予測処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。
　次に、図９のフローチャートを参照して、図８におけるステップＳＴ３１のイントラ予測処理について説明する。
　ステップＳＴ４１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、ブロッキングフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
　ステップＳＴ４２でイントラ予測部３１は、各予測モードでのコスト関数値を算出する。コスト関数値の算出は、上述のように例えばＨ．２６４／ＡＶＣ方式における参照ソフトウェアであるＪＭ（Joint Model）で定められているように、High Complexityモードか、Low Complexityモードのいずれかの手法に基づいて行う。すなわち、High Complexityモードにおいては、ステップＳＴ４２の処理として、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、上述の式（１０）で表されるコスト関数値を各予測モードに対して算出する。また、Low Complexityモードにおいては、ステップＳＴ４２の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトルや予測モード情報などのヘッダビットまでを算出し、上述の式（１１）で表されるコスト関数値を各予測モードに対して算出する。
　ステップＳＴ４３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ４２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
　次に、図１０のフローチャートを参照して、図８におけるステップＳＴ３２のインター予測処理について説明する。
　ステップＳＴ５１で動き予測・補償部３２は、動き予測処理を行う。動き予測・補償部３２は、予測モード毎に動き予測を行って動きベクトルを検出してステップＳＴ５２に進む。
　ステップＳＴ５２で動き予測・補償部３２は、動き補償処理を行う。動き予測・補償部３２は、ステップＳＴ５１で検出した動きベクトルに基づいて参照画像データの動き補償を行い予測画像データを生成する。
　図１１は、動き補償処理を示すフローチャートである。ステップＳＴ６１で動き予測・補償部３２は、参照画像データの読み出しを行う。動き予測・補償部３２の補償制御部３２３１は、動き補償を行う予測ユニットサイズ、動き補償を行う予測ユニットに対して検出した動きベクトル、動きベクトルの検出に用いた参照画像を示す参照インデックスに基づいて読み出し領域を決定する。さらに、補償制御部３２３１は、決定した読み出し領域の画像データをフレームメモリ２５から読み出してステップＳＴ６２に進む。
　ステップＳＴ６２で動き予測・補償部３２は、ＡＬＦ処理判別結果を生成する。動き予測・補償部３２の補償制御部３２３１は、ＡＬＦ部２４２で生成されたフラグ情報に基づき参照画像データが適応ループフィルタ処理されていか否かの判別を行いＡＬＦ処理判別結果を生成してステップＳＴ６３に進む。
　ステップＳＴ６３で動き予測・補償部３２は、適応ループフィルタ処理が行われているか判別する。動き予測・補償部３２は、ステップＳＴ６１で読み出した参照画像データが適応ループフィルタ処理されている場合にステップＳＴ６４に進み、適応ループフィルタ処理されていない場合にステップＳＴ６５に進む。
　ステップＳＴ６４で動き予測・補償部３２は、動きベクトルの小数部に応じたfilter_coef_with_ALFの出力を行う。動き予測・補償部３２の係数テーブル３２３２は、ＡＬＦ処理判別結果がフィルタの適用を示している場合、filter_coef_set_w_ALFから動きベクトルの小数部に応じたfilter_coef_with_ALFを選択してフィルタ部３２３３に出力し、ステップＳＴに進む。
　ステップＳＴ６５で動き予測・補償部３２は、動きベクトルの小数部に応じたfilter_coef_with_ALFの出力を行う。動き予測・補償部３２の係数テーブル３２３２は、ＡＬＦ処理判別結果がフィルタの適用を示していない場合、filter_coef_set_wo_ALFから動きベクトルの小数部に応じたfilter_coef_without_ALFを選択してフィルタ部３２３３に出力し、ステップＳＴ６６に進む。
　図１２は、フレーム単位で適応ループフィルタ処理を行うか否か切り替えている場合を例示している。なお、図１２において、フレームＬ０（０），Ｌ０（１），Ｌ０（３）は、フレーム内の全領域で適応ループフィルタ処理が行われたフレーム（ＡＬＦ　ＯＮ）である。また、フレームＬ０（２）は、フレーム内の全領域で適応ループフィルタ処理が行われていないフレーム（ＡＬＦ　ＯＦＦ）である。
　例えばＬ０（０）を参照フレームとして用いて予測画像データの生成を行う場合、filter_coef_set_wo_ALFから動きベクトルの小数部に応じたfilter_coef_without_ALFが選択される。また、Ｌ０（２）を参照フレームとして用いて予測画像データを生成する場合、filter_coef_set_wo_ALFから動きベクトルの小数部に応じたfilter_coef_without_ALFが選択される。
　ステップＳＴ６６で動き予測・補償部３２は、予測画像データの生成を行う。動き予測・補償部３２のフィルタ部３２３３は、ステップＳＴ６４またはステップＳＴ６５によって係数テーブル３２３２から供給されたフィルタ係数を用いて参照画像データのフィルタ処理を行い予測画像データを生成する。
　このように、図１０のステップＳＴ５２の動き補償処理では、上述のように予測画像データを生成してステップＳＴ５３に進む。
　ステップＳＴ５３で動き予測・補償部３２は、コスト関数値の算出を行う。動き予測・補償部３２は、符号化対象である予測ユニットの入力画像データと、ステップＳＴ５２で生成した予測画像データ等を用いて、上述のようにコスト関数値を算出してステップＳＴ５４に進む。
　ステップＳＴ５４で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ５３で算出されるコスト関数値が最小値となる参照インデックス、コーディングユニットのブロックサイズ、当該コーディングユニットにおける予測ユニットの形状とサイズを判別して、最適インター予測モードとする。なお、コスト関数が最小となるモードの決定では、スキップモードでインター予測を行った場合のコスト関数値も用いる。
　また、動き予測・補償部３２は、予測画像・最適モード選択部３３で最適インター予測モードが最適予測モードとして選択された場合、最適インター予測モードの予測画像データを減算部１３と加算部２３に供給できるように、予測画像データの生成を行う。
　このように、画像符号化装置１０では、予測画像データの生成に用いる参照画像データが適応ループフィルタ処理されていない場合、この参照画像データに対して用いるフィルタ係数は、ノイズ除去強度を高めたフィルタ特性の係数が選択される。このため、ノイズの少ない予測画像データを生成することが可能となり、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる。また、予測画像データの生成に用いる参照画像データが適応ループフィルタ処理されている場合、この参照画像データに対して用いるフィルタ係数は、例えば低域成分から高域成分までを守ったフィルタ特性の係数が選択される。このため、適応ループフィルタ処理でフィルタが適用されている参照画像データに対して動き予測・補償部３２でフィルタ処理を行ったことによる符号化効率の低下を防止できる。
　また、ループフィルタ部２４でデブロッキングフィルタ処理を適応的に行うようにした場合も、同様に参照画像データがデブロッキングフィルタ処理されているか否かに応じて、フィルタ特性の切り替えを行うことで、符号化効率の低下を抑制できる。
　＜３．画像復号化装置の構成＞
　次に、画像処理装置を画像復号化装置に適用した場合について説明する。入力画像を符号化して生成された画像圧縮情報は、所定の伝送路や記録媒体等を介して画像復号化装置に供給されて復号される。
　図１３は、画像復号化装置の構成を示している。画像復号化装置５０は、蓄積バッファ５１、可逆復号化部５２、逆量子化部５３、逆直交変換部５４、加算部５５、ループフィルタ部５６、画面並べ替えバッファ５７、ディジタル／アナログ変換部（Ｄ／Ａ変換部）５８を備えている。さらに、画像復号化装置５０は、フレームメモリ６１、セレクタ６２，７３、イントラ予測部７１、動き補償部７２を備えている。また、ループフィルタ部５６には、例えばデブロッキングフィルタ部５６１とＡＬＦ(Adaptive Loop Filter)部５６２が設けられている。
　蓄積バッファ５１は、伝送されてきた画像圧縮情報を蓄積する。可逆復号化部５２は、蓄積バッファ５１より供給された画像圧縮情報を、図３の可逆符号化部１６の符号化方式に対応する方式で復号化する。
　可逆復号化部５２は、画像圧縮情報を復号して得られた予測モード情報をイントラ予測部７１や動き補償部７２に出力する。また、可逆復号化部５２は、画像圧縮情報を復号して得られた差分動きベクトルや、画像圧縮情報から得たループフィルタ情報を動き補償部７２に出力する。
　逆量子化部５３は、可逆復号化部５２で復号された量子化データを、図３の量子化部１５の量子化方式に対応する方式で逆量子化する。逆直交変換部５４は、図３の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
　加算部５５は、逆直交変換後のデータとセレクタ７３から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ部５６１とイントラ予測部７１に出力する。
　ループフィルタ部５６は、画像符号化装置１０のループフィルタ部２４と同様なフィルタ処理を行い、ノイズの除去された参照画像データをフレームメモリ６１に記憶させる。
　ループフィルタ部５６のデブロッキングフィルタ部５６１は、加算部５５から供給された復号画像データに対してデブロッキングフィルタ処理を行い、ブロック歪みを除去してＡＬＦ部５６２に出力する。
　ＡＬＦ部５６２は、可逆復号化部５２から供給されたフィルタ情報に基づき、適応ループフィルタ処理を行い、処理後の復号画像データをフレームメモリ６１に供給して蓄積させるとともに、画面並べ替えバッファ５７に出力する。
　画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図３の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
　Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。
　フレームメモリ６１は、ループフィルタ部２４でフィルタ処理が行われた後の復号画像データを参照画像データとして記憶する。
　イントラ予測部７１は、可逆復号化部５２から供給された予測モード情報と加算部５５から供給された復号画像データに基づいて予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
　動き補償部７２は、可逆復号化部５２から供給された予測モード情報や差分動きベクトルに基づきフレームメモリ６１から参照画像データを読み出して予測画像データの生成を行い、生成した予測画像データをセレクタ７３に出力する。
　動き補償部７２は、可逆復号化部５２から供給された予測モード情報や差分動きベクトルに基づきフレームメモリ６１から参照画像データを読み出して動き補償を行い予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。また、動き補償部７２は、ループフィルタ情報に基づきフィルタ特性を切り替えて予測画像データの生成を行う。
　セレクタ７３は、可逆復号化部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。
　図１４は、動き補償部７２の構成を示している。動き補償部７２は、動きベクトル合成部７２１、動き補償処理部７２２、動きベクトルバッファ７２３を有している。なお、図１４は、参照画像データが適応ループフィルタ処理されていない場合のフィルタ係数を、適応ループフィルタ処理されている場合のフィルタ係数に比べてノイズ除去強度を高めた係数に切り替える場合を示している。
　動きベクトル合成部７２１は、可逆復号化部５２から供給された復号化対象の予測ユニットの差分動きベクトルと予測動きベクトルを加算して、予測ユニットの動きベクトルを算出して動き補償処理部７２２に出力する。なお、動きベクトル合成部７２１は、例えば動きベクトルバッファ７２３に記憶されている隣接予測ユニットの動きベクトルを用いてメディアン予測等を行い予測動きベクトルを生成する。
　動き補償処理部７２２は、補償制御部７２２１と係数テーブル７２２２とフィルタ部７２２３を有している。補償制御部７２２１は、可逆復号化部５２から供給された予測モード情報と動きベクトル合成部７２１から供給された動きベクトルに基づき、フレームメモリ６１から参照画像データの読み出しを行う。また、補償制御部７２２１は、可逆復号化部５２から供給されたＡＬＦフラグ情報に基づき、読み出された参照画像データが適応ループフィルタ処理されているか否かの判別を行い、ＡＬＦ処理判別結果を係数テーブル７２２２に出力する。例えば補償制御部７２２１は、ＡＬＦフラグ情報に基づき、参照画像データが適応ループフィルタ処理されていると判別した場合にＡＬＦ処理判別結果であるalf_applied_flagを真とする。また、補償制御部７２２１は、適応ループフィルタ処理されていないと判別した場合にalf_applied_flagを偽とする。補償制御部７２２１は、ＡＬＦ処理判別結果を示すalf_applied_flagを係数テーブル７２２２に出力する。
　係数テーブル７２２２には、動きベクトルの小数部と、補償制御部７２２１で生成されたＡＬＦ処理判別結果が供給されている。また、係数テーブル７２２２は、画像符号化装置１０の係数テーブル３２３２と同様に、適応ループフィルタ処理されていない参照画像データに対して用いるフィルタ係数のセット「filter_coef_set_wo_ALF」と、適応ループフィルタ処理されている参照画像データに対して用いるフィルタ係数のセット「filter_coef_set_w_ALF」が記憶されている。
　係数テーブル７２２２は、動きベクトルの小数部とＡＬＦ処理判別結果に応じて選択されたフィルタ係数をフィルタ部７２２３に出力する。例えば、alf_applied_flagが真であるとき、係数テーブル７２２２は、filter_coef_set_w_ALFから動きベクトルの小数部に応じたフィルタ係数を選択してフィルタ部７２２３に出力する。また、alf_applied_flagが偽であるとき、係数テーブル７２２２は、filter_coef_set_wo_ALFから動きベクトルの小数部に応じたフィルタ係数を選択してフィルタ部７２２３に出力する。
　フィルタ部７２２３は、係数テーブル７２２２から供給されたフィルタ係数を用いて、対象ブロックの参照画像データにおける小数画素精度である予測画像データを求める補間フィルタ処理を行う。また、フィルタ部７２２３は、参照画像データが適応ループフィルタ処理されていない場合、適応ループフィルタ処理された参照画像データに対して用いるフィルタ係数に比べてノイズ除去強度を高めたフィルタ特性でフィルタ処理を行う。フィルタ部７２２３は、参照画像データのフィルタ処理を行うことにより得られた予測画像データを図１３に示すセレクタ７３に出力する。なお、選択されたフィルタ係数が画像圧縮情報に含まれる場合、画像圧縮情報に含まれているフィルタ係数を係数テーブル７２２２に記憶して、フィルタ部７２２３は、係数テーブル７２２２に記憶されたフィルタ係数を用いて、補間フィルタ処理を行い予測画像データをセレクタ７３に出力してもよい。
　セレクタ７３は、可逆復号化部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。
　＜４．画像復号化装置の動作＞
　次に、図１５のフローチャートを参照して、画像復号化装置５０で行われる画像復号処理動作について説明する。
　ステップＳＴ８１で蓄積バッファ５１は、供給された画像圧縮情報を蓄積する。ステップＳＴ８２で可逆復号化部５２は、可逆復号化処理を行う。可逆復号化部５２は、蓄積バッファ５１から供給される画像圧縮情報を復号化する。すなわち、図３の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号化部５２、画像圧縮情報に含まれている予測モード情報の可逆復号化を行い、得られた予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部７１に出力する。また、可逆復号化部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部７２に出力する。また、可逆復号化部５２は、画像圧縮情報を復号して得られた差分動きベクトルや、画像圧縮情報から得たループフィルタ情報を動き補償部７２に出力する。
　ステップＳＴ８３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号化部５２により復号された量子化データを、図３の量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ８４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図３の直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ８５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ８９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
　ステップＳＴ８６においてデブロッキングフィルタ部５６１は、フィルタ処理を行う。デブロッキングフィルタ部５６１は、加算部５５より出力された復号画像データのデブロッキングフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
　ステップＳＴ８７においてフレームメモリ６１は、復号画像データの記憶処理を行う。なお、フレームメモリ６１に記憶された復号画像データや加算部５５から出力される復号画像データは、参照画像データとして予測画像データの生成で用いられる。
　ステップＳＴ８８においてイントラ予測部７１と動き補償部７２は、予測処理を行う。イントラ予測部７１と動き補償部７２は、可逆復号化部５２から供給される予測モード情報に対応してそれぞれ予測処理を行う。
　すなわち、可逆復号化部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部７１は、予測モード情報に基づいて予測画像データを生成する。また、可逆復号化部５２からインター予測の予測モード情報が供給された場合、動き補償部７２は、予測モード情報に基づき動き補償を行い予測画像データを生成する。
　ステップＳＴ８９において、セレクタ７３は予測画像データの選択を行う。セレクタ７３は、イントラ予測部７１から供給された予測画像と動き補償部７２から供給された予測画像データの選択を行い、選択した予測画像データを加算部５５に供給して、上述したように、ステップＳＴ８５において逆直交変換部５４の出力と加算させる。
　ステップＳＴ９０において画面並べ替えバッファ５７は、画像並べ替えを行う。すなわち画面並べ替えバッファ５７は、図３の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳＴ９１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
　次に、図１６のフローチャートを参照して、図１５のステップＳＴ８８の予測処理について説明する。
　ステップＳＴ１０１で可逆復号化部５２は、復号化対象の予測ユニットがイントラ符号化されているか否かを判定する。可逆復号化部５２は、可逆復号化を行うことにより得られた予測モード情報がイントラ予測の予測モード情報である場合、予測モード情報をイントラ予測部７１に供給してステップＳＴ１０２に進む。また、可逆復号化部５２は、予測モード情報がインター予測の予測モード情報である場合、予測モード情報を動き補償部７２に供給してステップＳＴ１０３に進む。
　ステップＳＴ１０２でイントラ予測部７１は、イントラ予測処理を行う。イントラ予測部７１は、加算部５５から供給されたデブロックフィルタ処理前の復号画像データと予測モード情報を用いてイントラ予測を行い、予測画像データを生成する。
　ステップＳＴ１０３で動き補償部７２は、インター予測処理を行う。動き補償部７２は、可逆復号化部５２から供給された予測モード情報等の情報に基づいて、フレームメモリ６１から参照画像データを読み出して予測画像データの生成を行う。
　図１７は、ステップＳＴ１０３のインター予測処理を示すフローチャートである。ステップＳＴ１１１で動き補償部７２は、予測モード情報とＡＬＦフラグ情報を取得する。動き補償部７２は、予測モード情報とＡＬＦフラグ情報を可逆復号化部５２から取得してステップＳＴ１１２に進む。なお、ＡＬＦ部５６２では、可逆復号化部５２から取得したＡＬＦフラグ情報とフィルタ係数を用いてフィルタ処理が行われる。
　ステップＳＴ１１２で動き補償部７２は、動きベクトルを再構築する。動き補償部７２は、例えば隣接予測ユニットの動きベクトルを用いたメディアン予測等によって生成した予測動きベクトルと、可逆復号化部５２から供給された差分動きベクトルを加算して、予測ユニットの動きベクトルを再構築してステップＳＴ１１３に進む。
　ステップＳＴ１１３で動き補償部７２は、動き補償処理を行う。動き補償部７２はステップＳＴ１１１で取得した予測モード情報や、ステップＳＴ１１２で再構築した動きベクトルに基づき、フレームメモリ６１から参照画像データを読み出す。また、動き補償部７２は、図１１に示す動き補償処理と同様に、読み出した参照画像データに対して動きベクトルやＡＬＦフラグ情報に基づいたフィルタ処理を行い予測画像データの生成を行う。
　このように、画像復号化装置５０では、画像符号化装置１０と同様に、インター予測において、予測画像データの生成に用いる参照画像データが適応ループフィルタ処理されていない場合、この参照画像データに対して用いるフィルタ係数は、ノイズ除去強度を高めたフィルタ特性の係数が選択される。また、予測画像データの生成に用いる参照画像データが適応ループフィルタ処理されている場合、この参照画像データに対して用いるフィルタ係数は、例えば低域成分から高域成分までを守ったフィルタ特性の係数が選択される。このため、画像符号化装置１０で適応ループフィルタ処理に応じたフィルタ係数を用いて画像圧縮情報が生成されていても、画像復号化装置５０では画像符号化装置１０の符号化処理に対応した復号化処理を行うことができる。また、画像符号化装置１０でデブロッキングフィルタ処理に応じたフィルタ係数を用いて画像圧縮情報が生成されていても、動き補償部７１で参照画像データがデブロッキングフィルタ処理されているか否かに応じて、フィルタ特性の切り替えを行うことで、画像符号化装置１０の符号化処理に対応した復号化処理を行うことができる。
　＜５．画像符号化装置の他の構成と動作＞
　図１８は画像処理装置を画像符号化装置に適用した場合の他の構成を示している。画像符号化装置の他の構成におけるループフィルタ部２４では、デブロッキングフィルタ部２４１とＡＬＦ(Adaptive Loop Filter)部２４２との間にＳＡＯ（Sample Adaptive Offset）２４５を設けている。なお、ＳＡＯは上述のＰＱＡＯ（Picture Quality Adaptive Offset）に相当する。
　オフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどのオフセットの種類により符号化するかを選択することができる。
　この選択情報は可逆符号化部１６により符号化されて、ビットストリームに含められる。この方法を用いることで、符号化効率を向上させる。
　ここで、図１９を参照して、quad-tree構造について説明する。例えば、画像符号化装置１０では、図１９の（Ａ）に示されるように、領域０が分割されていない状態を示すLevel-０（分割深度０）のコスト関数値Ｊ０が計算される。また、領域０が４つの領域１乃至４に分割された状態を示すLevel-１（分割深度０）のコスト関数値Ｊ１，Ｊ２，Ｊ３，Ｊ４が計算される。
　そして、図１９の（Ｂ）に示されるように、コスト関数値が比較され、Ｊ０＞（Ｊ１＋Ｊ２＋Ｊ３＋Ｊ４）により、コスト関数値が小さいLevel-１の分割領域(Partitions)が選択される。
　同様にして、図１９の（Ｃ）に示されるように、領域０が１６個の領域５乃至２０に分割された状態を示すLevel-２（分割深度２）のコスト関数値Ｊ５乃至Ｊ２０が計算される。
　そして、図１９の（Ｄ）に示されるように、コスト関数値がそれぞれ比較され、Ｊ１＜（Ｊ５＋Ｊ６＋Ｊ９＋Ｊ１０）により、領域１においては、Level-１の分割領域(Partitions)が選択される。Ｊ２＞（Ｊ７＋Ｊ８＋Ｊ１１＋Ｊ１２）により、領域２においては、Level-２の分割領域(Partitions)が選択される。Ｊ３＞（Ｊ１３＋Ｊ１４＋Ｊ１７＋Ｊ１８）により、領域３においては、Level-２の分割領域(Partitions)が選択される。Ｊ４＞（Ｊ１５＋Ｊ１６＋Ｊ１９＋Ｊ２０）により、領域４においては、Level-１の分割領域(Partitions)が選択される。
　その結果、Quad-tree構造における図１９の（Ｄ）に示される最終的なQuad-tree領域（Partitions）が決定される。そして、Quad-tree構造の決定された領域毎に、２種類のバンドオフセット、６種類のエッジオフセット、およびオフセットなしのすべてについてコスト関数値が算出され、どのオフセットにより符号化されるのかが決定される。
　例えば、図１９の（Ｅ）に示すように、領域１に対しては、ＥＯ（４）、すなわち、エッジオフセットのうちの４種類目が決定されている。領域７に対しては、ＯＦＦ、すなわち、オフセットなしが決定されており、領域８に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１１および１２に対しては、ＯＦＦ、すなわち、オフセットなしが決定されている。
　また、領域１３に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されており、領域１４に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１７に対しては、ＢＯ（２）、すなわち、バンドオフセットのうちの２種類目が決定されており、領域１８に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されている。領域４に対しては、ＥＯ（１）、すなわち、エッジオフセットのうちの１種類目が決定されている。
　次に、図２０を参照して、バンドオフセットの詳細について説明する。バンドオフセットにおいては、図２０の例においては、１つの目盛りが１バンド＝８画素を表しており、輝度画素値が３２バンドに分けられて、それぞれのバンドが独立にオフセット値を有する。すなわち、図２０の例においては、０乃至２５５画素（３２バンド）のうち、中央の１６バンドが、第１グループに分けられ、両脇の８バンドずつが第２グループに分けられている。
　そして、第１グループおよび第２グループのどちらか一方のみのオフセットが符号化され、復号側に送られる。一般的に、１つの領域において、白黒はっきりしているか、微妙な色合いがあるかのどちらかであることが多く、第１グループと第２グループ両方に全てに画素があるのは稀である。このため、一方のみのオフセットしか送らないことで、それぞれのQuad-tree領域において、含まれていない値の画素値が伝送されて符号化量が増えるのが、抑制される。
　なお、入力信号が放送によるものである場合、輝度信号は、16,235、色差信号は、16,240の範囲に制限される。このとき、図２０の下段に示されるbroadcast　legalが適用され、×印が示されている、両脇の２バンドずつに対するオフセット値は伝送されない。
　次に、図２１を参照して、エッジオフセットの詳細について説明する。エッジオフセットにおいては、当該画素値と、当該画素値に隣接する隣接画素値の比較が行われ、これに対応したカテゴリに対して、オフセット値が伝送されることになる。
　エッジオフセットには、図２１の（Ａ）乃至（Ｄ）に示される４つの１次元パターンと、図２１の（Ｅ）および（Ｆ）に示される２つの２次元パターンが存在し、それぞれ、図２２に示されるカテゴリでオフセットが伝送される。
　図２１の（Ａ）は、当該画素Ｃに対して、隣接画素が左右の１次元に配置されている、すなわち、図２１の（Ａ）のパターンに対して０度をなしている1-D,0-degreeパターンを表している。図２１の（Ｂ）は、当該画素Ｃに対して、隣接画素が上下の１次元に配置されている、すなわち、図２１の（Ａ）のパターンに対して９０度をなしている1-D,90-degreeパターンを表している。
　図２１の（Ｃ）は、当該画素Ｃに対して、隣接画素が左上と右下の１次元に配置されている、すなわち、図２１の（Ａ）のパターンに対して１３５度をなしている1-D,135-degreeパターンを表している。図２１の（Ｄ）は、当該画素Ｃに対して、隣接画素が右上と左下の１次元に配置されている、すなわち、図２１の（Ａ）のパターンに対して４５度をなしている1-D,135-degreeパターンを表している。
　図２１の（Ｅ）は、当該画素Ｃに対して、隣接画素が上下左右２次元に配置されている、すなわち、当該画素Ｃに対して交差している2-D,crossパターンを表している。図２１の（Ｆ）は、当該画素Ｃに対して、隣接画素が右上左下、左上右下の２次元に配置されている、すなわち、当該画素Ｃに対して斜めに交差している2-D,diagonalパターンを表している。
　図２２の（Ａ）は、１次元パターンの規則一覧表(Classification rule for 1-D patterns)を示している。図２１の（Ａ）乃至（Ｄ）のパターンは、図２２の（Ａ）に示されるような５種類のカテゴリに分類され、そのカテゴリによりオフセットが算出されて、復号部に送られる。
　当該画素Ｃの画素値が２つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より小さくて、他方の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より大きくて、他方の隣接画素の画素値と一致する場合、カテゴリ３に分類される。当該画素Ｃの画素値が２つの隣接画素の画素値より大きい場合、カテゴリ４に分類される。以上のどれでもない場合、カテゴリ０に分類される。
　図２２の（Ｂ）は、２次元パターンの規則一覧表(Classification rule for 2-D patterns)を示している。図２１の（Ｅ）および（Ｆ）のパターンは、図２２の（Ｂ）に示されるような７種類のカテゴリに分類され、そのカテゴリによりオフセットが復号部に送られる。
　当該画素Ｃの画素値が４つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値より大きい場合、カテゴリ３に分類される。
　当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値より小さい場合、カテゴリ４に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値と一致する場合、カテゴリ５に分類される。当該画素Ｃの画素値が４つの隣接画素の画素値より大きい場合、カテゴリ６に分類される。以上のどれでもない場合、カテゴリ０に分類される。
　以上のように、エッジオフセットにおいては、１次元パターンの方が、隣接２画素のみに対する比較を行えばよいので、演算量は低くなる。なお、high efficiency　符号化条件においては、low delay 符号化条件に比して、1bitオフセットの値を高精度にして、復号側へ送られる。
　以上のように適応的にオフセット処理が行われる。このオフセット処理は、輝度信号に対してのみ行うようにしてもよく、輝度信号と色差信号について行うようにしてもよい。
　動き予測・補償部３２は、ＳＡＯ部２４５でオフセット処理が行われていない場合のフィルタ係数を、オフセット処理が行われている場合のフィルタ係数に比べて、ノイズ除去強度を高めた係数に切り替えて予測画像データの生成を行う。
　この場合、係数テーブル３２３２には、動きベクトルの小数部と、補償制御部３２３１で生成されたＡＬＦ処理判別結果、およびＳＡＯ部２４５からオフセット処理に関するＳＡＯ情報が供給されている。係数テーブル３２３２は、ＳＡＯ部２４５でオフセット処理が行われていない場合において、適応ループフィルタ処理されていない参照画像データに対して用いるフィルタ係数（filter_coef_without_ALF）と、適応ループフィルタ処理されている参照画像データに対して用いるフィルタ係数（filter_coef_with_ALF）を有している。また、係数テーブル３２３２は、ＳＡＯ部２４５でオフセット処理が行われた場合において、適応ループフィルタ処理されていない参照画像データに対して用いるフィルタ係数（filter_coef_without_ALF_wAO）と、適応ループフィルタ処理されている参照画像データに対して用いるフィルタ係数（filter_coef_with_ALF_wAO）を有している。また、係数テーブル３２３２には、ＳＡＯ部２４５でオフセット処理が行われていない場合のフィルタ係数のセットとオフセット処理が行われている場合のフィルタ係数のセットが記憶されている。
　ＳＡＯ部２４５でオフセット処理が行われていない場合のフィルタ係数は、ＳＡＯ部２４５でオフセット処理が行われている場合のフィルタ係数に比べてノイズ除去強度を高めたフィルタ係数とする。
　フィルタ部３２３３は、係数テーブル３２３２で動きベクトルの小数部とＡＬＦ処理判別結果およびＳＡＯ情報に基づいて選択されたフィルタ係数を用いて、対象ブロックの参照画像データにおける小数画素精度である予測画像データを求める補間フィルタ処理を行う。さらに、フィルタ部３２３３は、最適インター予測モードを判定するため、モード判定部３２２でコスト関数値を算出する場合、生成した予測画像データをモード判定部３２２に出力する。また、フィルタ部３２３３は、最適インター予測モードで生成した予測画像データを予測画像・最適モード選択部３３に出力する。
　図２３は、動き補償処理を示すフローチャートである。ステップＳＴ１２１で動き予測・補償部３２は、参照画像データの読み出しを行う。動き予測・補償部３２の補償制御部３２３１は、動き補償を行う予測ユニットサイズ、動き補償を行う予測ユニットに対して検出した動きベクトル、動きベクトルの検出に用いた参照画像を示す参照インデックスに基づいて読み出し領域を決定する。さらに、補償制御部３２３１は、決定した読み出し領域の画像データをフレームメモリ２５から読み出してステップＳＴ１２２に進む。
　ステップＳＴ１２２で動き予測・補償部３２は、ＡＬＦ処理判別結果とＳＡＯ情報を生成する。動き予測・補償部３２の補償制御部３２３１は、ＡＬＦ部２４２で生成されたフラグ情報に基づき参照画像データが適応ループフィルタ処理されているか否かの判別を行いＡＬＦ処理判別結果を生成する。また、補償制御部３２３１はＳＡＯ部２４５からＳＡＯ情報を取得してステップＳＴ１２３に進む。
　ステップＳＴ１２３で動き予測・補償部３２は、オフセット処理が行われているか判別する。動き予測・補償部３２は、ＳＡＯ情報に基づきオフセット処理が行われていと判別した場合にステップＳＴ１２４に進み、オフセット処理が行われていると判別した場合にステップＳＴ１２７に進む。
　ステップＳＴ１２４で動き予測・補償部３２は、適応ループフィルタ処理が行われているか判別する。動き予測・補償部３２は、ステップＳＴ１２１で読み出した参照画像データが適応ループフィルタ処理されている場合にステップＳＴ１２５に進み、適応ループフィルタ処理されていない場合にステップＳＴ１２６に進む。
　ステップＳＴ１２５で動き予測・補償部３２は、動きベクトルの小数部に応じたfilter_coef_with_ALFの出力を行う。動き予測・補償部３２の係数テーブル３２３２は、ＡＬＦ処理判別結果がフィルタの適用を示している場合、filter_coef_set_w_ALFから動きベクトルの小数部に応じたfilter_coef_with_ALFを選択してフィルタ部３２３３に出力し、ステップＳＴ１３０に進む。
　ステップＳＴ１２６で動き予測・補償部３２は、動きベクトルの小数部に応じたfilter_coef_with_ALFの出力を行う。動き予測・補償部３２の係数テーブル３２３２は、ＡＬＦ処理判別結果がフィルタの適用を示していない場合、filter_coef_set_wo_ALFから動きベクトルの小数部に応じたfilter_coef_without_ALFを選択してフィルタ部３２３３に出力し、ステップＳＴ１３０に進む。
　ステップＳＴ１２７で動き予測・補償部３２は、適応ループフィルタ処理が行われているか判別する。動き予測・補償部３２は、ステップＳＴ１２１で読み出した参照画像データが適応ループフィルタ処理されている場合にステップＳＴ１２８に進み、適応ループフィルタ処理されていない場合にステップＳＴ１２９に進む。
　ステップＳＴ１２８で動き予測・補償部３２は、動きベクトルの小数部に応じたfilter_coef_with_ALF_wAOの出力を行う。動き予測・補償部３２の係数テーブル３２３２は、ＡＬＦ処理判別結果がフィルタの適用を示している場合、フィルタ係数のセットから動きベクトルの小数部に応じたfilter_coef_with_ALF_wAOを選択してフィルタ部３２３３に出力し、ステップＳＴ１３０に進む。
　ステップＳＴ１２９で動き予測・補償部３２は、動きベクトルの小数部に応じたfilter_coef_with_ALF_wAOの出力を行う。動き予測・補償部３２の係数テーブル３２３２は、ＡＬＦ処理判別結果がフィルタの適用を示していない場合、フィルタ係数のセットから動きベクトルの小数部に応じたfilter_coef_without_ALF_wAOを選択してフィルタ部３２３３に出力し、ステップＳＴ１３０に進む。
　なお、filter_coef_with_ALFは、filter_coef_with_ALF_wAOに比べてノイズ除去強度を高めた係数であり、filter_coef_without_ALFは、filter_coef_without_ALF_wAOに比べてノイズ除去強度を高めた係数である。
　ステップＳＴ１３０で動き予測・補償部３２は、予測画像データの生成を行う。動き予測・補償部３２のフィルタ部３２３３は、ステップＳＴ１２３からステップＳＴ１２９の処理によって係数テーブル３２３２から供給されたフィルタ係数を用いて参照画像データのフィルタ処理を行い予測画像データを生成する。
　このような処理を行うことで、ＳＡＯ部２４５が設けられた場合でもオフセット処理が行われているか否かに応じてフィルタ係数が切り替えられて、オフセット処理が行われていない場合には、ノイズ除去効果の高いフィルタ係数とされるので、符号化効率の低下を抑制できる。
　＜６．画像復号化装置の他の構成と動作＞
　 次に、画像処理装置を画像復号化装置に適用した場合の他の構成と動作について説明する。図２４は、画像復号化装置の他の構成を示している。画像復号化装置の他の構成におけるループフィルタ部５６では、デブロッキングフィルタ部５６１とＡＬＦ(Adaptive Loop Filter)部５６２との間にＳＡＯ部５６５を設けている。ＳＡＯ部５６５は、画像符号化装置１０のＳＡＯ部２４５と同様な処理を行う。
　動き補償部７２は、可逆復号化部５２から供給された予測モード情報や差分動きベクトルに基づきフレームメモリ６１から参照画像データを読み出して動き補償を行い予測画像データを生成する。動き補償部７２は、生成した予測画像データをセレクタ７３に出力する。また、動き補償部７２は、ループフィルタ部のフィルタ処理に関する情報に基づきフィルタ特性を切り替えて予測画像データの生成を行う。
　動き補償部７２は、ＳＡＯ部５６５でオフセット処理が行われていない場合のフィルタ係数を、オフセット処理が行われている場合のフィルタ係数に比べて、ノイズ除去強度を高めた係数に切り替えて予測画像データの生成を行う。
　この場合、係数テーブル７２２２には、動きベクトルの小数部と、補償制御部７２２１で生成されたＡＬＦ処理判別結果、およびＳＡＯ部５６５からフィルタ処理が行われているか否かを示すＳＡＯ情報が供給されている。係数テーブル７２２２は、適応ループフィルタ処理されていない参照画像データに対して用いるフィルタ係数（filter_coef_without_ALF）と、適応ループフィルタ処理されている参照画像データに対して用いるフィルタ係数（filter_coef_with_ALF）および、ＳＡＯ部２４５でオフセット処理が行われた場合において、適応ループフィルタ処理されていない参照画像データに対して用いるフィルタ係数（filter_coef_without_ALF_wAO）と、適応ループフィルタ処理されている参照画像データに対して用いるフィルタ係数（filter_coef_with_ALF_wAO）を有している。
　フィルタ部７２２３は、係数テーブル７２２２で動きベクトルの小数部とＡＬＦ処理判別結果およびＳＡＯ情報に基づいて選択されたフィルタ係数を用いて、対象ブロックの参照画像データにおける小数画素精度である予測画像データを求める補間フィルタ処理を行う。また、フィルタ部７２２３は、参照画像データがオフセット処理されていない場合、オフセット処理された参照画像データに対して用いるフィルタ係数に比べてノイズ除去強度を高めたフィルタ特性でフィルタ処理を行う。フィルタ部７２２３は、参照画像データのフィルタ処理を行うことにより得られた予測画像データをセレクタ７３に出力する。なお、動き補償部７２は、図２３に示すフローチャートと同様な処理を行うことで予測画像データを生成できる。なお、選択されたフィルタ係数が画像圧縮情報に含まれる場合、画像圧縮情報に含まれているフィルタ係数を係数テーブル７２２２に記憶して、フィルタ部７２２３は、係数テーブル７２２２に記憶されたフィルタ係数を用いて、補間フィルタ処理を行い予測画像データをセレクタ７３に出力してもよい。
　セレクタ７３は、可逆復号化部５２から供給された予測モード情報に基づき、イントラ予測である場合はイントラ予測部７１、インター予測である場合は動き補償部７２を選択する。セレクタ７３は、選択されたイントラ予測部７１または動き補償部７２で生成された予測画像データを加算部５５に出力する。
　このように、画像復号化装置５０では、画像符号化装置１０と同様に、オフセット処理されていない場合、この参照画像データに対して用いるフィルタ係数は、オフセット処理されている場合に用いるフィルタ係数よりもノイズ除去強度を高めたフィルタ特性の係数が選択される。このため、画像符号化装置１０でオフセット処理に応じたフィルタ係数を用いて画像圧縮情報が生成されていても、画像復号化装置５０では画像符号化装置１０の符号化処理に対応した復号化処理を行うことができる。
　また、上述の実施の形態では、ＡＬＦ部を設けた構成を示しているが、ＡＬＦ部が設けられていない場合には、ＡＬＦ処理判別結果を用いることなくＳＡＯ情報等に基づいてフィルタ係数を設定すればよい。
　＜７．ソフトウェア処理の場合＞
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
　図２５は、上述した一連の処理をプログラムにより実行するコンピュータ装置の構成を例示した図である。コンピュータ装置８０のＣＰＵ８０１は、ＲＯＭ８０２、または記録部８０８に記録されているプログラムにしたがって各種の処理を実行する。
　ＲＡＭ８０３には、ＣＰＵ８０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ８０１、ＲＯＭ８０２、およびＲＡＭ８０３は、バス８０４により相互に接続されている。
　ＣＰＵ８０１にはまた、バス８０４を介して入出力インタフェース８０５が接続されている。入出力インタフェース８０５には、タッチパネルやキーボード、マウス、マイクロホンなどの入力部８０６、ディスプレイなどよりなる出力部８０７が接続されている。ＣＰＵ８０１は、入力部８０６から入力される指令に対応して各種の処理を実行する。そして、ＣＰＵ８０１は、処理の結果を出力部８０７に出力する。
　入出力インタフェース８０５に接続されている記録部８０８は、例えばハードディスクからなり、ＣＰＵ８０１が実行するプログラムや各種のデータを記録する。通信部８０９は、インターネットやローカルエリアネットワークなどのネットワークやディジタル放送といった有線または無線の通信媒体を介して外部の装置と通信する。また、コンピュータ装置８０は、通信部８０９を介してプログラムを取得し、ＲＯＭ８０２や記録部８０８に記録してもよい。
　ドライブ８１０は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア８５が装着された場合、それらを駆動して、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じてＲＯＭ８０２やＲＡＭ８０３または記録部８０８に転送される。
　ＣＰＵ８０１は、上述した一連の処理を行うプログラムを読み出して実行して、記録部８０８やリムーバブルメディア８５に記録されている画像信号や、通信部８０９を介して供給された画像信号に対する符号化処理や画像圧縮情報の復号化処理を行う。
　＜８．電子機器に適用した場合＞
　また、以上においては、符号化方式／復号方式としてＨ．２６４／ＡＶＣ方式が用いられたが、本技術は、その他の動き予測・補償処理を行う符号化方式／復号方式を用いる画像符号化装置／画像復号装置に適用することもできる。
　さらに、本技術は、例えば、ＭＰＥＧ，Ｈ．２６ｘ等のように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ（テレビジョン）、インターネット、および携帯電話機などのネットワークメディアを介して受信する際に、または、光、磁気ディスク、およびフラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置および画像復号装置に適用することができる。
　次に、上述した画像符号化装置１０や画像復号化装置５０が適用された電子機器について説明する。
　図２６は、本技術を適用したテレビジョン装置の概略構成を例示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
　チューナ９０２は、アンテナ９０１で受信された放送波信号から所望のチャンネルを選局して復調を行い、得られたストリームをデマルチプレクサ９０３に出力する。
　デマルチプレクサ９０３は、ストリームから視聴対象である番組の映像や音声のパケットを抽出して、抽出したパケットのデータをデコーダ９０４に出力する。また、デマルチプレクサ９０３は、ＥＰＧ（Electronic Program Guide）等のデータのパケットを制御部９１０に出力する。なお、スクランブルが行われている場合、デマルチプレクサ等でスクランブルの解除を行う。
　デコーダ９０４は、パケットの復号化処理を行い、復号処理化によって生成された映像データを映像信号処理部９０５、音声データを音声信号処理部９０７に出力する。
　映像信号処理部９０５は、映像データに対して、ノイズ除去やユーザ設定に応じた映像処理等を行う。映像信号処理部９０５は、表示部９０６に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成する。また、映像信号処理部９０５は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それを番組の映像データに重畳する。映像信号処理部９０５は、このようにして生成した映像データに基づいて駆動信号を生成して表示部９０６を駆動する。
　表示部９０６は、映像信号処理部９０５からの駆動信号に基づき表示デバイス（例えば液晶表示素子等）を駆動して、番組の映像などを表示させる。
　音声信号処理部９０７は、音声データに対してノイズ除去などの所定の処理を施し、処理後の音声データのＤ／Ａ変換処理や増幅処理を行い、スピーカ９０８に供給することで音声出力を行う。
　外部インタフェース部９０９は、外部機器やネットワークと接続するためのインタフェースであり、映像データや音声データ等のデータ送受信を行う。
　制御部９１０にはユーザインタフェース部９１１が接続されている。ユーザインタフェース部９１１は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９１０に供給する。
　制御部９１０は、ＣＰＵ（Central Processing Unit）やメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ、ＥＰＧデータ、ネットワークを介して取得されたデータ等を記憶する。メモリに記憶されているプログラムは、テレビジョン装置９０の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、テレビジョン装置９０がユーザ操作に応じた動作となるように各部を制御する。
　なお、テレビジョン装置９０では、チューナ９０２、デマルチプレクサ９０３、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９等と制御部９１０を接続するためバス９１２が設けられている。
　このように構成されたテレビジョン装置では、デコーダ９０４に本願の画像復号化装置（画像復号化方法）の機能が設けられる。このため、放送局側の画像符号化処理において、参照画像データに対するループフィルタ処理に応じてフィルタ特性の切り替えを行って予測画像データの生成が行われている場合、テレビジョン装置の画像復号化処理において、放送局側と同様にフィルタ特性の切り替えを行って予測画像データを生成できる。したがって、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できるように放送局側で画像圧縮情報を生成しても、テレビジョン装置で正しく復号化処理を行うことができる。
　図２７は、本技術を適用した携帯電話機の概略構成を例示している。携帯電話機９２は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１を有している。これらは、バス９３３を介して互いに接続されている。
　また、通信部９２２にはアンテナ９２１が接続されており、音声コーデック９２３には、スピーカ９２４とマイクロホン９２５が接続されている。さらに制御部９３１には、操作部９３２が接続されている。
　携帯電話機９２は、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。
　音声通話モードにおいて、マイクロホン９２５で生成された音声信号は、音声コーデック９２３で音声データへの変換やデータ圧縮が行われて通信部９２２に供給される。通信部９２２は、音声データの変調処理や周波数変換処理等を行い、送信信号を生成する。また、通信部９２２は、送信信号をアンテナ９２１に供給して図示しない基地局へ送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、得られた音声データを音声コーデック９２３に供給する。音声コーデック９２３は、音声データのデータ伸張やアナログ音声信号への変換を行い、スピーカ９２４に出力する。
　また、データ通信モードにおいて、メール送信を行う場合、制御部９３１は、操作部９３２の操作によって入力された文字データを受け付けて、入力された文字を表示部９３０に表示する。また、制御部９３１は、操作部９３２におけるユーザ指示等に基づいてメールデータを生成して通信部９２２に供給する。通信部９２２は、メールデータの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、メールデータを復元する。このメールデータを、表示部９３０に供給して、メール内容の表示を行う。
　なお、携帯電話機９２は、受信したメールデータを、記録再生部９２９で記憶媒体に記憶させることも可能である。記憶媒体は、書き換え可能な任意の記憶媒体である。例えば、記憶媒体は、ＲＡＭや内蔵型フラッシュメモリ等の半導体メモリ、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカード等のリムーバブルメディアである。
　データ通信モードにおいて画像データを送信する場合、カメラ部９２６で生成された画像データを、画像処理部９２７に供給する。画像処理部９２７は、画像データの符号化処理を行い、画像圧縮情報を生成する。
　多重分離部９２８は、画像処理部９２７で生成された画像圧縮情報と、音声コーデック９２３から供給された音声データを所定の方式で多重化して、通信部９２２に供給する。通信部９２２は、多重化データの変調処理や周波数変換処理等を行い、得られた送信信号をアンテナ９２１から送信する。また、通信部９２２は、アンテナ９２１で受信した受信信号の増幅や周波数変換処理および復調処理等を行い、多重化データを復元する。この多重化データを多重分離部９２８に供給する。多重分離部９２８は、多重化データの分離を行い、画像圧縮情報を画像処理部９２７、音声データを音声コーデック９２３に供給する。
　画像処理部９２７は、画像圧縮情報の復号化処理を行い、画像データを生成する。この画像データを表示部９３０に供給して、受信した画像の表示を行う。音声コーデック９２３は、音声データをアナログ音声信号に変換してスピーカ９２４に供給して、受信した音声を出力する。
　このように構成された携帯電話装置では、画像処理部９２７に本願の画像処理装置（画像処理方法）の機能が設けられる。したがって、例えば送信する画像の符号化処理において、参照画像データに対するループフィルタ処理に応じてフィルタ特性の切り替えを行い、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる。また、受信した画像の復号化処理において、符号化処理と同様にフィルタ特性の切り替えを行って予測画像データを生成できることから、正しく復号化処理を行うことができる。
　図２８は、本技術を適用した記録再生装置の概略構成を例示している。記録再生装置９４は、例えば受信した放送番組のオーディオデータとビデオデータを、記録媒体に記録して、その記録されたデータをユーザの指示に応じたタイミングでユーザに提供する。また、記録再生装置９４は、例えば他の装置からオーディオデータやビデオデータを取得し、それらを記録媒体に記録させることもできる。さらに、記録再生装置９４は、記録媒体に記録されているオーディオデータやビデオデータを復号して出力することで、モニタ装置等において画像表示や音声出力を行うことができるようにする。
　記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard Disk Drive）部９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen Display）部９４８、制御部９４９、ユーザインタフェース部９５０を有している。
　チューナ９４１は、図示しないアンテナで受信された放送信号から所望のチャンネルを選局する。チューナ９４１は、所望のチャンネルの受信信号を復調して得られた画像圧縮情報をセレクタ９４６に出力する。
　外部インタフェース部９４２は、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース部、ＵＳＢインタフェース、フラッシュメモリインタフェース等の少なくともいずれかで構成されている。外部インタフェース部９４２は、外部機器やネットワーク、メモリカード等と接続するためのインタフェースであり、記録する映像データや音声データ等のデータ受信を行う。
　エンコーダ９４３は、外部インタフェース部９４２から供給された映像データや音声データが符号化されていない場合所定の方式で符号化処理を行い、画像圧縮情報をセレクタ９４６に出力する。
　ＨＤＤ部９４４は、映像や音声等のコンテンツデータ、各種プログラムやその他のデータ等を内蔵のハードディスクに記録し、また再生時等にそれらを当該ハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている光ディスクに対する信号の記録および再生を行う。光ディスク、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）やＢｌｕ－ｒａｙディスク等である。
　セレクタ９４６は、映像や音声の記録時には、チューナ９４１またはエンコーダ９４３からのいずれかのストリームを選択して、ＨＤＤ部９４４やディスクドライブ９４５のいずれかに供給する。また、セレクタ９４６は、映像や音声の再生時に、ＨＤＤ部９４４またはディスクドライブ９４５から出力されたストリームをデコーダ９４７に供給する。
　デコーダ９４７は、ストリームの復号化処理を行う。デコーダ９４７は、復号処理化を行うことにより生成された映像データをＯＳＤ部９４８に供給する。また、デコーダ９４７は、復号処理化を行うことにより生成された音声データを出力する。
　ＯＳＤ部９４８は、項目の選択などのメニュー画面等を表示するための映像データを生成し、それをデコーダ９４７から出力された映像データに重畳して出力する。
　制御部９４９には、ユーザインタフェース部９５０が接続されている。ユーザインタフェース部９５０は、操作スイッチやリモートコントロール信号受信部等で構成されており、ユーザ操作に応じた操作信号を制御部９４９に供給する。
　制御部９４９は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータを記憶する。メモリに記憶されているプログラムは、記録再生装置９４の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、記録再生装置９４がユーザ操作に応じた動作となるように各部を制御する。
　このように構成された記録再生装置では、エンコーダ９４３に本願の画像処理装置（画像処理方法）の機能が設けられる。したがって、例えば画像記録時の符号化処理において、参照画像データに対するループフィルタ処理に応じてフィルタ特性の切り替えを行い、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる。また、記録された画像の復号化処理において、符号化処理と同様にフィルタ特性の切り替えを行って予測画像データを生成できることから、正しく復号化処理を行うことができる。
　図２９は、本技術を適用した撮像装置の概略構成を例示している。撮像装置９６は、被写体を撮像し、被写体の画像を表示部に表示させたり、それを画像データとして、記録媒体に記録する。
　撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像データ処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０を有している。また、制御部９７０には、ユーザインタフェース部９７１が接続されている。さらに、画像データ処理部９６４や外部インタフェース部９６６、メモリ部９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０等は、バス９７２を介して接続されている。
　光学ブロック９６１は、フォーカスレンズや絞り機構等を用いて構成されている。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳイメージセンサを用いて構成されており、光電変換によって光学像に応じた電気信号を生成してカメラ信号処理部９６３に供給する。
　カメラ信号処理部９６３は、撮像部９６２から供給された電気信号に対してニー補正やガンマ補正、色補正等の種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像データ処理部９６４に供給する。
　画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データの符号化処理を行う。画像データ処理部９６４は、符号化処理を行うことにより生成された画像圧縮情報を外部インタフェース部９６６やメディアドライブ９６８に供給する。また、画像データ処理部９６４は、外部インタフェース部９６６やメディアドライブ９６８から供給された画像圧縮情報の復号化処理を行う。画像データ処理部９６４は、復号化処理を行うことにより生成された画像データを表示部９６５に供給する。また、画像データ処理部９６４は、カメラ信号処理部９６３から供給された画像データを表示部９６５に供給する処理や、ＯＳＤ部９６９から取得した表示用データを、画像データに重畳させて表示部９６５に供給する。
　ＯＳＤ部９６９は、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを生成して画像データ処理部９６４に出力する。
　外部インタフェース部９６６は、例えば、ＵＳＢ入出力端子などで構成され、画像の印刷を行う場合に、プリンタと接続される。また、外部インタフェース部９６６には、必要に応じてドライブが接続され、磁気ディスク、光ディスク等のリムーバブルメディアが適宜装着され、それらから読み出されたプログラムが、必要に応じて、インストールされる。さらに、外部インタフェース部９６６は、ＬＡＮやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。制御部９７０は、例えば、ユーザインタフェース部９７１からの指示にしたがって、メモリ部９６７から画像圧縮情報を読み出し、それを外部インタフェース部９６６から、ネットワークを介して接続される他の装置に供給させることができる。また、制御部９７０は、ネットワークを介して他の装置から供給される画像圧縮情報や画像データを、外部インタフェース部９６６を介して取得し、それを画像データ処理部９６４に供給したりすることができる。
　メディアドライブ９６８で駆動される記録メディアとしては、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアが用いられる。また、記録メディアは、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ＩＣカード等であってもよい。
　また、メディアドライブ９６８と記録メディアを一体化し、例えば、内蔵型ハードディスクドライブやＳＳＤ（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。
　制御部９７０は、ＣＰＵやメモリ等を用いて構成されている。メモリは、ＣＰＵにより実行されるプログラムやＣＰＵが処理を行う上で必要な各種のデータ等を記憶する。メモリに記憶されているプログラムは、撮像装置９６の起動時などの所定タイミングでＣＰＵにより読み出されて実行される。ＣＰＵは、プログラムを実行することで、撮像装置９６がユーザ操作に応じた動作となるように各部を制御する。
　このように構成された撮像装置では、画像データ処理部９６４に本願の画像処理装置（画像処理方法）の機能が設けられる。したがって、撮像画像をメモリ部９６７や記録メディア等に記録する際の符号化処理において、参照画像データに対するループフィルタ処理に応じてフィルタ特性の切り替えを行い、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる。また、記録された画像の復号化処理において、符号化処理と同様にフィルタ特性の切り替えを行って予測画像データを生成できることから、正しく復号化処理を行うことができる。
　さらに、本技術は、上述した実施の形態に限定して解釈されるべきではない。この実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　なお、本技術の画像処理装置は、以下のような構成も取ることができる。
　（１）　対象ブロックが参照する参照画像データに対してフィルタ処理を行うループフィルタ部と、
　前記参照画像データと、前記対象ブロックに対応する動きベクトルとを用いて、予測画像データを生成する補間フィルタ部と、
　前記補間フィルタで用いる前記参照画像データに対する前記ループフィルタ部でのフィルタ処理に応じて、前記補間フィルタのフィルタ係数を切り替えるフィルタ制御部と
を備えた画像処理装置。
　（２）　前記フィルタ制御部は、前記ループフィルタ部によりフィルタ処理されていない場合のフィルタ係数を、フィルタ処理されている場合のフィルタ係数に比べてノイズ除去強度を高めた係数に切り替える（１）に記載の画像処理装置。
　（３）　前記補間フィルタ部は、前記ノイズ除去として低域通過フィルタ処理を行う（１）または（２）に記載の画像処理装置。
　（４）　前記ループフィルタ部のフィルタ処理は、デブロッキングフィルタ処理と適応ループフィルタ処理の少なくともいずれかの処理を含む（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記ループフィルタ部は、適応的にオフセット処理を行い、
　前記フィルタ制御部は、前記オフセット処理が行われていない場合のフィルタ係数を、前記オフセット処理が行われている場合のフィルタ係数に比べてノイズ除去強度を高めた係数とする（１）乃至（４）の何れかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法では、対象ブロックが参照する参照画像データに対してフィルタ処理がループフィルタ部で行われる。また、参照画像データと対象ブロックに対応する動きベクトルとを用いて予測画像データの生成が補間フィルタ部で行われる。さらに、補間フィルタで用いる参照画像データに対するループフィルタ部でのフィルタ処理に応じて、補間フィルタのフィルタ係数の切り替えが行われる。このため、ループフィルタ部でフィルタ処理されていない場合、例えばノイズ除去強度の高いフィルタ特性で参照画像データのフィルタ処理を補間フィルタ部で行うことにより、ノイズの少ない予測画像データを生成することが可能となり、予測画像の品質劣化を少なくして圧縮効率の低下を抑制できる。したがって、ブロック単位で符号化を行うことにより得られた画像圧縮情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する際に、または光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置や画像復号化装置等に適している。
　１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆量子化部、１７，５１・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・ループフィルタ部、２５，６１・・・フレームメモリ、３１，７１・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号化装置、５２・・・可逆復号化部、５８・・・Ｄ／Ａ変換部、６２，７３・・・セレクタ、７２・・・動き補償部、８０・・・コンピュータ装置、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、２４１，５６１・・・デブロッキングフィルタ部、２４２，５６２・・・ＡＬＦ部、２４５，５６５・・・ＳＡＯ部、３２１・・・動き検出部、３２２・・・モード判定部、３２３，７２２・・・動き補償処理部、３２４，７２３・・・動きベクトルバッファ、７２１・・・動きベクトル合成部、３２３１，７２２１・・・補償制御部、３２３１ａ・・・ＡＬＦ情報メモリ、３２３２，７２２２・・・係数テーブル、３２３３，７２２３・・・フィルタ部

Claims (6)

  1. 　対象ブロックが参照する参照画像データに対してフィルタ処理を行うループフィルタ部と、
    　前記参照画像データと、前記対象ブロックに対応する動きベクトルとを用いて、予測画像データを生成する補間フィルタ部と、
    　前記補間フィルタで用いる前記参照画像データに対する前記ループフィルタ部でのフィルタ処理に応じて、前記補間フィルタのフィルタ係数を切り替えるフィルタ制御部と
    を備えた画像処理装置。
  2. 　前記フィルタ制御部は、前記ループフィルタ部によりフィルタ処理されていない場合のフィルタ係数を、フィルタ処理されている場合のフィルタ係数に比べてノイズ除去強度を高めた係数に切り替える請求項１記載の画像処理装置。
  3. 　前記補間フィルタ部は、前記ノイズ除去として低域通過フィルタ処理を行う請求項２記載の画像処理装置。
  4. 　前記ループフィルタ部のフィルタ処理は、デブロッキングフィルタ処理と適応ループフィルタ処理の少なくともいずれかの処理を含む請求項１記載の画像処理装置。
  5. 　前記ループフィルタ部は、適応的にオフセット処理を行い、
    　前記フィルタ制御部は、前記オフセット処理が行われていない場合のフィルタ係数を、前記オフセット処理が行われている場合のフィルタ係数に比べてノイズ除去強度を高めた係数とする請求項１記載の画像処理装置。
  6. 　対象ブロックが参照する参照画像データに対してフィルタ処理を行うループフィルタ処理工程と、
    　前記参照画像データと、前記対象ブロックに対応する動きベクトルとを用いて、予測画像データを生成する補間フィルタ処理工程と、
    　前記補間フィルタ処理工程で用いる前記参照画像データに対する前記ループフィルタ処理工程でのフィルタ処理に応じて、前記補間フィルタ処理工程のフィルタ係数を切り替えるフィルタ制御工程と
    を含む画像処理方法。
PCT/JP2011/075859 2010-11-10 2011-11-09 画像処理装置と画像処理方法 WO2012063878A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/824,841 US20130294705A1 (en) 2010-11-10 2011-11-09 Image processing device, and image processing method
BR112013011053A BR112013011053A8 (pt) 2010-11-10 2011-11-09 Dispositivo e método de processamento de imagem

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010251965 2010-11-10
JP2010-251965 2010-11-10

Publications (1)

Publication Number Publication Date
WO2012063878A1 true WO2012063878A1 (ja) 2012-05-18

Family

ID=46051018

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/075859 WO2012063878A1 (ja) 2010-11-10 2011-11-09 画像処理装置と画像処理方法

Country Status (3)

Country Link
US (1) US20130294705A1 (ja)
BR (1) BR112013011053A8 (ja)
WO (1) WO2012063878A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5572811B2 (ja) * 2012-07-02 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置および画像符号化復号装置
JP2015128239A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法、及びプログラム
JP2015526967A (ja) * 2012-07-02 2015-09-10 ソニー株式会社 高効率ビデオエンコーダ（ｈｅｖｃ）のためのサンプル適応オフセット（ｓａｏ）の分離強化
JPWO2013183268A1 (ja) * 2012-06-08 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US10623759B2 (en) 2012-06-13 2020-04-14 Sony Corporation Decoupling enhancements in sample adaptive offset (SAO) for high efficiency video encoder (HEVC)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107426579B (zh) 2011-06-24 2020-03-10 Lg 电子株式会社 图像信息编码和解码方法
GB201119206D0 (en) * 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US8792745B2 (en) * 2011-12-06 2014-07-29 Sony Corporation Encoder optimization of adaptive loop filters in HEVC
TWI595776B (zh) * 2012-06-27 2017-08-11 Sony Corp Image processing device and method
MY201173A (en) 2015-11-17 2024-02-08 Huawei Tech Co Ltd Method and apparatus of adaptive filtering of samples for video coding
KR20240066303A (ko) * 2016-12-28 2024-05-14 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001614A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
WO2010021108A1 (ja) * 2008-08-18 2010-02-25 パナソニック株式会社 補間フィルタリング方法、画像符号化方法、画像復号方法、補間フィルタリング装置、プログラム、及び集積回路
WO2010026770A1 (ja) * 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
HUE064571T2 (hu) * 2010-09-27 2024-03-28 Lg Electronics Inc Eljárás blokk particionálásra és dekódoló készülék

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010001614A1 (ja) * 2008-07-03 2010-01-07 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、及び集積回路
WO2010021108A1 (ja) * 2008-08-18 2010-02-25 パナソニック株式会社 補間フィルタリング方法、画像符号化方法、画像復号方法、補間フィルタリング装置、プログラム、及び集積回路
WO2010026770A1 (ja) * 2008-09-04 2010-03-11 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、システム、プログラム、及び集積回路

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHIH-MING FU ET AL.: "TE10 Subtest 3: Quadtree-based Adaptive Offset", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 3RD MEETING: GUANGZHOU, 7 October 2010 (2010-10-07) *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013183268A1 (ja) * 2012-06-08 2016-01-28 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
US10623759B2 (en) 2012-06-13 2020-04-14 Sony Corporation Decoupling enhancements in sample adaptive offset (SAO) for high efficiency video encoder (HEVC)
US10750197B2 (en) 2012-06-13 2020-08-18 Sony Corporation Enhancements in sample adaptive offset (SAO) for high efficiency video encoder (HEVC)
JP5572811B2 (ja) * 2012-07-02 2014-08-20 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置および画像符号化復号装置
JP2015526967A (ja) * 2012-07-02 2015-09-10 ソニー株式会社 高効率ビデオエンコーダ（ｈｅｖｃ）のためのサンプル適応オフセット（ｓａｏ）の分離強化
JP2017079479A (ja) * 2012-07-02 2017-04-27 ソニー株式会社 高効率ビデオエンコーダ（ｈｅｖｃ）のためのサンプル適応オフセット（ｓａｏ）の分離強化
JP2015128239A (ja) * 2013-12-27 2015-07-09 キヤノン株式会社 画像符号化装置、撮像装置、画像符号化方法、及びプログラム

Also Published As

Publication number Publication date
BR112013011053A2 (pt) 2016-08-23
BR112013011053A8 (pt) 2016-08-23
US20130294705A1 (en) 2013-11-07

Similar Documents

Publication Publication Date Title
JP6477939B2 (ja) テレビジョン装置、携帯電話機、再生装置、カメラ、および画像処理方法
KR101914896B1 (ko) 화상 처리 장치와 화상 처리 방법
WO2012063878A1 (ja) 画像処理装置と画像処理方法
JP5544996B2 (ja) 画像処理装置および方法
JP5464435B2 (ja) 画像復号装置および方法
WO2012017858A1 (ja) 画像処理装置と画像処理方法
WO2011155364A1 (ja) 画像復号化装置と画像符号化装置およびその方法とプログラム
WO2011024685A1 (ja) 画像処理装置および方法
WO2011018965A1 (ja) 画像処理装置および方法
KR20140029381A (ko) 화상 복호 장치와 화상 부호화 장치 및 그 방법
JP5556996B2 (ja) 画像処理装置および方法
WO2010035732A1 (ja) 画像処理装置および方法
WO2011089973A1 (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
WO2012063604A1 (ja) 画像処理装置と画像処理方法
US20120288004A1 (en) Image processing apparatus and image processing method
WO2012056924A1 (ja) 画像処理装置と画像処理方法
JP5387520B2 (ja) 情報処理装置と情報処理方法
WO2012077533A1 (ja) 画像復号化装置と動きベクトル復号化方法、画像符号化装置と動きベクトル符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11840566

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13824841

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11840566

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013011053

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013011053

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130503