WO2013065527A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2013065527A1
WO2013065527A1 PCT/JP2012/077347 JP2012077347W WO2013065527A1 WO 2013065527 A1 WO2013065527 A1 WO 2013065527A1 JP 2012077347 W JP2012077347 W JP 2012077347W WO 2013065527 A1 WO2013065527 A1 WO 2013065527A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
image data
filter
image
pixel
Prior art date
Application number
PCT/JP2012/077347
Other languages
English (en)
French (fr)
Inventor
小川　一哉
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2013065527A1 publication Critical patent/WO2013065527A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel

Definitions

  • This technology relates to an image processing apparatus and an image processing method. Specifically, it is possible to reduce the memory capacity of the memory used in the loop filter processing of the image that has been encoded and decoded in units of blocks.
  • MPEG2 compressed by orthogonal transform such as discrete cosine transform and motion compensation is used for the purpose of transmission and storage of information with high efficiency.
  • An apparatus conforming to a method such as ISO (International Organization for Standardization) / IEC (International Electrotechnical Commission) 13818-2) is widely used for both information distribution in broadcasting stations and information reception in general households.
  • ISO International Organization for Standardization
  • IEC International Electrotechnical Commission
  • H.D. can achieve higher encoding efficiency.
  • H.264 and MPEG4 Part 10 AVC: Advanced Video Coding
  • HEVC High Efficiency Video Coding
  • JCTVC Joint Collaboration Team-Video Coding
  • the adaptive loop filter (ALF: Adaptive Loop Filter) is used to reduce the block distortion remaining in the deblocking filter processing and distortion due to quantization.
  • ALF Adaptive Loop Filter
  • Non-Patent Document 2 PQAO (Picture Quality Quality Adaptive Offset) disclosed in Non-Patent Document 2 between a deblocking filter and an adaptive loop filter.
  • PQAO Picture Quality Quality Adaptive Offset
  • band offsets There are two types of offsets called band offsets and six types called edge offsets, and it is also possible not to apply offsets.
  • edge offsets There are two types of offsets called edge offsets and six types called edge offsets. Then, the image is divided into quad-trees, and the encoding efficiency is improved by selecting which of the above-described offset types is to be encoded for each region.
  • the horizontal filter in the deblocking filter processing is performed using image data of a desired block (current block) and a block adjacent to the right side of the current block. Further, the loop filter process of the current block is performed using the image data after the deblocking filter process or the deblocking filter process and the SAO process are performed. For this reason, it is necessary to store the image data in a memory so that the loop filter process can be performed using the image after the deblocking filter process.
  • FIG. 1 is a diagram for explaining image data stored in a memory in a conventional loop filter process.
  • image data for four pixel columns from the block boundary is used to generate image data after filtering processing for three pixel columns from the block boundary.
  • the process target pixel of a deblocking filter is shown with the double circle.
  • a block boundary between blocks, for example, LCU (Largest Coding Unit) m and LCU m + 1 is indicated as “BB”.
  • a tap is set for a pixel to be processed (indicated by a black square) of the adaptive loop filter, and the image data of the tap is used.
  • a filter operation is performed.
  • the tap is constructed at, for example, the position indicated by a black circle and the position of the pixel to be processed.
  • a filter size using a tap of 5 ⁇ 5 pixels is illustrated.
  • the image processing apparatus that performs the loop filter process can perform the loop filter process without using the image data after the deblocking filter process.
  • the target pixel of the loop filter process is the pixel in the fifth pixel column on the left from the block boundary BB
  • the tap is included in the filter processing range of the deblocking filter. That is, in the loop filter process, image data after the deblocking filter process is required. Therefore, the image processing apparatus that performs the loop filter process stores the image data for the four pixel columns from the seventh pixel column to the left four pixel column in the memory in order to perform the loop filter process after the deblocking filter process. It is necessary to keep.
  • the image data stored in the memory must be increased. For example, as shown in FIG. 1D, when the filter size uses a tap of 11 ⁇ 5 pixels, when the target pixel of the loop filter processing is at the position of the eighth pixel column on the left from the block boundary BB, the tap is deblocked. Included in the filter processing range of the filter. That is, in the loop filter process, image data after the deblocking filter process is required. Therefore, an image processing apparatus that performs loop filter processing must store image data for 10 pixel columns from the 13th pixel column to the 4th pixel column in the memory in order to perform loop filter processing after deblocking filter processing. I must.
  • this technology provides an image processing apparatus and an image processing method capable of reducing the memory capacity of the memory used in the loop filter processing.
  • a first aspect of this technology is constructed for a decoding unit that decodes an encoded stream to generate an image, and a filtering target pixel of an image in units of CU (Coding Unit) generated by the decoding unit.
  • a filter operation unit that performs a filter operation using the image data of the taps and the coefficient set, and a filter size that minimizes the number of taps in a direction orthogonal to the boundary direction of the predetermined block boundary and is within a predetermined range from the predetermined block boundary.
  • a memory for storing image data of a region not included in the predetermined range used for the filter calculation in the case of performing the filter calculation of the image of the image, and the number of taps in a direction orthogonal to the boundary direction of the predetermined block boundary.
  • the image processing apparatus includes a filter control unit that copies image data or changes a coefficient set used in the filter operation.
  • a direction orthogonal to the boundary direction of a predetermined block boundary for example, orthogonal to a right block boundary
  • the filter size with the minimum number of taps in the horizontal direction is within a predetermined range from the right block boundary, for example, within the filter processing range of the deblocking filter processing, or when performing SAO (Sample Adaptive Offset) processing
  • SAO Sample Adaptive Offset
  • the filter control unit when a filter size that does not minimize the number of taps in the right block boundary direction is selected, the filter control unit is within a predetermined range in which image data is not obtained based on the image position of the target pixel to be filtered.
  • the tap of the image data for the determined tap is determined so that the tap calculation is performed without using the image data stored in the predetermined range and the memory without determining the tap in which the image data is stored in the tap.
  • the filter coefficient used in the copying or filter operation is changed. For example, the image data of adjacent pixels whose image data is stored in the memory is copied as the image data of the determined tap. Alternatively, the coefficient of the adjacent pixel whose image data is stored in the memory is changed.
  • the second aspect of this technique is constructed for a process of decoding an encoded stream to generate an image, and a filtering target pixel of an image in CU (Coding Unit) unit generated by the decoding process
  • a step of performing a filter operation using the image data of the tap and the coefficient set, and a selectable filter size having a minimum number of taps in a direction orthogonal to the boundary direction of the predetermined block boundary within a predetermined range from the predetermined block boundary Storing image data of a region not included in the predetermined range used for the filter calculation in the case of performing the filter calculation of the image in the memory, and a tap in a direction orthogonal to the boundary direction of the predetermined block boundary
  • the filter size is located within the predetermined range based on the position of the pixel to be filtered.
  • the image processing method includes a step of copying image data or changing a coefficient set used in the filter operation.
  • the third aspect of this technique uses the tap image data and coefficient set constructed for the filtering target pixel of the CU (Coding Unit) unit image that is locally decoded when the image is encoded.
  • CU Coding Unit
  • Image data is recorded in the tap and the memory located within the predetermined range based on the position of the pixel to be filtered.
  • the image processing apparatus includes a filter control unit that changes a coefficient set used in the calculation.
  • the filter operation is performed using the tap image data and the coefficient set constructed for the filter target pixel of the CU-unit image that has been locally decoded.
  • Image data of an area not included in the predetermined range used for the filter calculation when performing the calculation is stored in the memory.
  • the filter control unit selects a filter size with a minimum number of taps in the block boundary direction based on the position of the pixel to be filtered.
  • the taps that are located within and the taps for which no image data is stored in the memory are determined, and the filter operation is performed without using the image data that is not stored in the predetermined range and in the memory. Then, change the coefficient set used for copying image data or filtering. Further, the filter control unit includes information on the filter size and coefficient set used for the filter calculation in the encoded stream.
  • the fourth aspect of this technique uses tap image data and a coefficient set constructed for a pixel to be filtered of a CU (Coding Unit) unit image that has been locally decoded when the image is encoded.
  • a step of storing image data of a region not included in the predetermined range used for filter calculation in a memory, and a case of selecting a filter size in which the number of taps in a direction orthogonal to the boundary direction of the predetermined block boundary is not minimum The image data is stored in the tap and the memory located within the predetermined range based on the position of the pixel to be filtered. In order to discriminate taps that have not been detected and to perform the filter operation without using image data that is within the predetermined range and not stored in the memory, copying of the image data or the filter operation is performed on the determined taps. And a step of changing a coefficient set used in the image processing method.
  • the filter control unit when performing filter operation on an image within a predetermined range from a predetermined block boundary with a filter size having a minimum number of taps in a direction orthogonal to the boundary direction of the predetermined block boundary, the filter operation is performed.
  • the image data of the area not included in the predetermined range used for the is stored.
  • the filter control unit when a filter size with a minimum number of taps in the block boundary direction is selected, no image data is stored in the taps and memory located within a predetermined range based on the position of the filter processing target pixel.
  • the image encoding device 10 includes an inverse quantization unit 21, an inverse orthogonal transform unit 22, an addition unit 23, a deblocking filter processing unit 24, a SAO unit 25, a loop filter processing unit 26, a coefficient memory 27, a frame memory 28, A selector 29, an intra prediction unit 31, a motion prediction / compensation unit 32, and a predicted image / optimum mode selection unit 33 are provided.
  • the quantization unit 15 is supplied with transform coefficient data output from the orthogonal transform unit 14 and a rate control signal from a rate control unit 18 described later.
  • the quantization unit 15 quantizes the transform coefficient data and outputs the quantized data to the lossless encoding unit 16 and the inverse quantization unit 21. Further, the quantization unit 15 changes the bit rate of the quantized data by switching the quantization parameter (quantization scale) based on the rate control signal from the rate control unit 18.
  • the rate control unit 18 monitors the free capacity of the storage buffer 17, generates a rate control signal according to the free capacity, and outputs it to the quantization unit 15.
  • the rate control unit 18 acquires information indicating the free capacity from the accumulation buffer 17, for example.
  • the rate control unit 18 reduces the bit rate of the quantized data by the rate control signal when the free space is low.
  • the rate control unit 18 increases the bit rate of the quantized data by the rate control signal.
  • the inverse quantization unit 21 performs an inverse quantization process on the quantized data supplied from the quantization unit 15.
  • the inverse quantization unit 21 outputs transform coefficient data obtained by performing the inverse quantization process to the inverse orthogonal transform unit 22.
  • the SAO unit 25 divides the image into quad-trees, and selects what offset is applied to each region for encoding.
  • the SAO unit 25 performs SAO processing, that is, selected offset processing, on the image data supplied from the deblocking filter processing unit 24 and outputs the result to the loop filter processing unit 26.
  • the loop filter processing unit 26 uses the coefficients supplied from the coefficient memory 27 and the image data supplied from the SAO unit 25 to perform adaptive loop filter processing (hereinafter simply referred to as “loop filter processing” or “ALF processing”). Do.
  • the loop filter processing unit 26 uses, for example, a Wiener filter as a filter. Of course, a filter other than the Wiener filter may be used.
  • the loop filter processing unit 26 includes a plurality of filters having different tap sizes, and performs loop filter processing.
  • the loop filter processing unit 26 supplies the filter processing result to the frame memory 28 and stores it as image data of the reference image.
  • the selector 29 supplies the pre-filter reference image data read from the frame memory 28 to the intra prediction unit 31 for performing intra prediction. Further, the selector 29 supplies the filtered reference image data read from the frame memory 28 to the motion prediction / compensation unit 32 for performing inter prediction.
  • the predicted image / optimum mode selection unit 33 compares the cost function value supplied from the intra prediction unit 31 with the cost function value supplied from the motion prediction / compensation unit 32 in units of macroblocks, and the cost function value is small. Is selected as the optimum mode with the best coding efficiency. Further, the predicted image / optimum mode selection unit 33 outputs the predicted image data generated in the optimal mode to the subtraction unit 13 and the addition unit 23. Further, the predicted image / optimum mode selection unit 33 outputs the prediction mode information of the optimal mode to the lossless encoding unit 16. Note that the predicted image / optimum mode selection unit 33 may perform intra prediction or inter prediction in units of slices.
  • step ST18 the adding unit 23 generates decoded image data.
  • the adder 23 adds the predicted image data supplied from the predicted image / optimum mode selection unit 33 and the data after inverse orthogonal transformation of the position corresponding to the predicted image to generate decoded image data.
  • step ST20 the SAO unit 25 adaptively performs offset processing.
  • the SAO unit 25 performs SAO processing on the image data output from the deblocking filter processing unit 24.
  • the frame memory 28 stores the decoded image data.
  • the frame memory 28 stores the decoded image data before the deblocking filter process and the decoded image data after the loop filter process.
  • the intra prediction unit 31 and the motion prediction / compensation unit 32 each perform a prediction process. That is, the intra prediction unit 31 performs intra prediction processing in the intra prediction mode, and the motion prediction / compensation unit 32 performs motion prediction / compensation processing in the inter prediction mode.
  • prediction processes in all candidate prediction modes are performed, and cost function values in all candidate prediction modes are calculated.
  • the optimal intra prediction mode and the optimal inter prediction mode are selected, and the prediction image generated in the selected prediction mode and its cost function and prediction mode information are predicted image / optimum mode. It is supplied to the selector 33.
  • the predicted image / optimum mode selection unit 33 selects predicted image data.
  • the predicted image / optimum mode selection unit 33 determines the optimal mode with the best coding efficiency based on the cost function values output from the intra prediction unit 31 and the motion prediction / compensation unit 32. Further, the predicted image / optimum mode selection unit 33 selects the predicted image data of the determined optimal mode and supplies it to the subtraction unit 13 and the addition unit 23. As described above, this predicted image is used for the calculations in steps ST13 and ST18.
  • the intra prediction unit 31 performs intra prediction in each prediction mode.
  • the intra prediction unit 31 uses the decoded image data before filter processing stored in the frame memory 28 to generate predicted image data for each intra prediction mode.
  • ⁇ indicates the entire set of prediction modes that are candidates for encoding the block or macroblock.
  • D indicates the differential energy (distortion) between the decoded image and the input image when encoding is performed in the prediction mode.
  • Header_Bit is a header bit for the prediction mode, and QPtoQuant is a function given as a function of the quantization parameter QP.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 by a method corresponding to the quantization method of the quantization unit 15 of FIG.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform on the output of the inverse quantization unit 53 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 14 of FIG.
  • the addition unit 55 adds the data after inverse orthogonal transformation and the predicted image data supplied from the selector 65 to generate decoded image data, and outputs the decoded image data to the deblocking filter processing unit 56 and the frame memory 61.
  • the frame memory 61 holds the decoded image data before the filtering process supplied from the adding unit 55 and the decoded image data after the filtering process supplied from the loop filter processing unit 58 as the image data of the reference image.
  • step ST51 the accumulation buffer 51 accumulates the transmitted encoded stream.
  • step ST55 the addition unit 55 generates decoded image data.
  • the adding unit 55 adds the data obtained by performing the inverse orthogonal transform process and the predicted image data selected in step ST61 described later to generate decoded image data. As a result, the original image is decoded.
  • step ST58 the loop filter processing unit 58 performs loop filter processing.
  • the loop filter processing unit 58 filters the decoded image data after the SAO process to reduce block distortion and distortion due to quantization.
  • step ST59 the frame memory 61 performs a process of storing decoded image data.
  • the intra prediction unit 63 performs intra prediction processing based on the prediction mode information, and generates predicted image data.
  • the motion compensation unit 64 performs motion compensation based on the prediction mode information, and generates predicted image data.
  • step ST61 the selector 65 selects predicted image data. That is, the selector 65 selects the prediction image supplied from the intra prediction unit 63 and the prediction image data generated by the motion compensation unit 64 and supplies the selected prediction image data to the adding unit 55. As described above, the selector 65 performs inverse orthogonal in step ST55. It is added to the output of the conversion unit 54.
  • step ST62 the screen rearrangement buffer 59 performs image rearrangement. That is, the screen rearrangement buffer 59 rearranges the order of frames rearranged for encoding by the screen rearrangement buffer 12 of the image encoding device 10 of FIG. 2 to the original display order.
  • step ST63 the D / A converter 60 D / A converts the image data from the screen rearrangement buffer 59. This image is output to a display (not shown), and the image is displayed.
  • the image encoding device 10 calculates a cost function value J0 of Level-0 (division depth 0) indicating a state where the region 0 is not divided. Further, cost function values J1, J2, J3, and J4 of Level-1 (division depth 0) indicating a state where the area 0 is divided into four areas 1 to 4 are calculated.
  • the cost function values J5 to J20 of Level-2 (division depth 2) indicating the state where the area 0 is divided into 16 areas 5 to 20 are calculated. Is done.
  • a partition region (Partitions) of Level-1 is selected in region 1 by J1 ⁇ (J5 + J6 + J9 + J10).
  • a Level-2 divided region is selected by J2> (J7 + J8 + J11 + J12).
  • a Level-2 divided region is selected by J3> (J13 + J14 + J17 + J18).
  • the division region of Level-1 is selected by J4> (J15 + J16 + J19 + J20).
  • EO (4) that is, the fourth type of edge offset is determined.
  • OFF that is, no offset is determined
  • EO (2) that is, the second type of edge offset is determined.
  • OFF that is, no offset is determined.
  • BO (1) that is, the first type of band offset
  • EO (2) that is, 2 of edge offset
  • the type has been determined.
  • BO (2) that is, the second type of band offset
  • BO (1) that is, the first type of band offset.
  • EO (1) that is, the first type of edge offset is determined.
  • the edge offset the pixel value is compared with the adjacent pixel value adjacent to the pixel value, and the offset value is transmitted to the category corresponding to this.
  • FIGS. 10A to 10D there are four one-dimensional patterns shown in FIGS. 10A to 10D and two two-dimensional patterns shown in FIGS. 10E and 10F.
  • the offset is transmitted in the category shown in FIG.
  • adjacent pixels are arranged one-dimensionally on the left and right with respect to the pixel C, that is, 1-D forming 0 degree with respect to the pattern of FIG. , Represents a 0-degree pattern.
  • the adjacent pixels are arranged one-dimensionally above and below the pixel C, that is, 1-D forming 90 degrees with respect to the pattern of FIG. , Represents a 90-degree pattern.
  • adjacent pixels are arranged one-dimensionally in the upper left and lower right with respect to the pixel C, that is, 135 degrees with respect to the pattern of FIG. It represents a 1-D, 135-degree pattern.
  • adjacent pixels are arranged one-dimensionally in the upper right and lower left with respect to the pixel C, that is, 45 degrees with respect to the pattern of FIG. -D, 135-degree pattern.
  • FIG. 10E shows a 2-D, cross pattern in which adjacent pixels are arranged two-dimensionally in the vertical and horizontal directions with respect to the pixel C, that is, intersect with the pixel C.
  • FIG. 10F shows that 2-D adjacent pixels are arranged two-dimensionally with respect to the pixel C, ie, upper right lower left and upper left lower right, that is, obliquely intersect the pixel C. , represents the diagonal pattern.
  • FIG. 11A shows a one-dimensional pattern rule list (Classification (rule for 1-D patterns).
  • the patterns of (A) to (D) in FIG. 10 are classified into five types of categories as shown in (A) of FIG. 11, offsets are calculated based on the categories, and sent to the decoding unit.
  • the pixel value of the pixel C When the pixel value of the pixel C is smaller than the pixel values of two adjacent pixels, it is classified into category 1. When the pixel value of the pixel C is smaller than the pixel value of one adjacent pixel and matches the pixel value of the other adjacent pixel, it is classified into category 2. When the pixel value of the pixel C is larger than the pixel value of one adjacent pixel and matches the pixel value of the other adjacent pixel, it is classified into category 3. When the pixel value of the pixel C is larger than the pixel values of two adjacent pixels, it is classified into category 4. If none of the above, it is classified into category 0.
  • FIG. 11 shows a two-dimensional pattern rule list (Classification rule for 2-D patterns).
  • the patterns (E) and (F) in FIG. 10 are classified into seven types of categories as shown in FIG. 11 (B), and offsets are sent to the decoding unit according to the categories.
  • the pixel C When the pixel value of the pixel C is smaller than the pixel values of the four adjacent pixels, it is classified into category 1. When the pixel value of the pixel C is smaller than the pixel values of the three adjacent pixels and matches the pixel value of the fourth adjacent pixel, the pixel C is classified into category 2. When the pixel value of the pixel C is smaller than the pixel values of the three adjacent pixels and larger than the pixel value of the fourth adjacent pixel, the pixel C is classified into category 3.
  • the pixel C When the pixel value of the pixel C is larger than the pixel values of the three adjacent pixels and smaller than the pixel value of the fourth adjacent pixel, it is classified into category 4. When the pixel value of the pixel C is larger than the pixel values of the three adjacent pixels and matches the pixel value of the fourth adjacent pixel, the pixel C is classified into category 5. When the pixel value of the pixel C is larger than the pixel values of the four adjacent pixels, it is classified into category 6. If none of the above, it is classified into category 0.
  • the SAO unit advances the offset process when the pixel position including the filter processing target pixel of the deblocking filter is included in the determination process. I can't. After that, when the filtering process is performed with the deblocking filter, the SAO unit performs the determination process using the pixel after the filtering process in the filtering process range of the deblocking filter. Therefore, the SAO unit needs to store image data so that the SAO process can be performed after the deblocking filter process.
  • the loop filter processing unit cannot proceed with the loop filter processing when a pixel position where a pixel that has not been processed by the SAO unit is included in the tap range of the loop filter processing. After that, when processing is performed with SAO, the loop filter processing unit performs loop filter processing using the pixels processed with SAO 28. Therefore, the loop filter processing unit needs to store the image data processed by the SAO unit.
  • FIG. 12 illustrates filter taps that can be selected by the loop filter processing unit.
  • a filter having a horizontal filter size of 5 taps shown in FIG. 12A or a filter having a horizontal filter size of 11 taps shown in FIG. Filtering is performed using taps that reduce the cost function value.
  • each tap is Ta0 to Ta16 when the horizontal filter size is 5 taps.
  • each tap is denoted as Tb0 to Tb14.
  • the image data of the tap Ta0 is Pa0.
  • the image data of the taps Ta1 to Ta16 and Tb0 to Tb14 are Pa1 to Pa16 and Pb0 to Pb14.
  • FIG. 13 shows a range of pixels to be stored in the memory in order to perform the loop filter process using the filter having the tap size shown in FIG. 12 when the deblocking filter process and the SAO process are performed.
  • the deblocking filter processing unit stores, in the memory, image data in a range corresponding to the left four pixel columns from the right block boundary BB, as shown in FIG. There is a need to.
  • a double circle indicates that the pixel to be processed by the deblocking filter is not subjected to deblocking filter processing (DF processing).
  • the SAO unit cannot proceed with the process when the pixel position including the filtering target pixel of the deblocking filter is included in the determination process. That is, as shown in FIG. 13B, the processing can proceed from the right block boundary BB to the position of the left fifth pixel column, but at the position of the left fourth pixel column, 3 ⁇
  • the filtering target pixel of the deblocking filter is included in the range of the determination process of three pixels. For this reason, the SAO unit cannot proceed to the position of the left fourth pixel column. Therefore, after the deblocking filter processing, the image of the position of the left fifth pixel column being processed in the SAO unit so that the process can proceed from the position of the fourth pixel column on the left with respect to the right block boundary BB Data needs to be stored in memory.
  • FIG. 13B pixels with a cross mark in a circle indicate pixels that cannot be subjected to SAO processing because deblocking filter processing has not been performed.
  • the loop filter processing unit cannot proceed with the process if the pixel position includes a pixel not processed by the SAO unit in the tap. That is, as shown in FIG. 13C, the processing can proceed from the right block boundary BB to the position of the left 7th pixel column, but at the position of the left 6th pixel column, within the tap of 5 ⁇ 5 pixels. Cannot include the pixel that has not been processed by the SAO unit. Therefore, after the deblocking filter processing, the four pixel columns from the left eighth pixel column to the left fifth pixel column being processed in the SAO unit so that the process can proceed from the position of the sixth pixel column on the left. Minute image data must be stored in the memory.
  • the loop filter processing unit cannot proceed the process when the pixel position includes a pixel not processed by the SAO unit in the tap. That is, as shown in FIG. 13D, the processing can proceed from the right block boundary BB to the position of the 10th pixel column on the left. Cannot include the pixel that has not been processed by the SAO unit. Therefore, the 10 pixel columns from the left 14 pixel column to the left 5 pixel column, which are processed in the SAO unit, so that the process can proceed from the position of the left 9 pixel column after the deblocking filter process. Minute image data must be stored in the memory.
  • the 11 ⁇ 5 pixel tap is processed from the position of the 9th pixel column on the left with respect to the right block boundary BB.
  • the memory capacity in this case is 2.5 times the memory capacity required for a 5 ⁇ 5 pixel tap.
  • a memory capacity of 768 bytes is unused.
  • the loop filter processing unit performs filtering processing when a filter size that does not minimize the number of taps in the direction orthogonal to the boundary direction of the predetermined block boundary, for example, the horizontal direction orthogonal to the right block boundary is selected. Based on the pixel position, taps within the predetermined range from the right block boundary and taps for which no image data is stored in the memory are discriminated, and filter calculation is performed without using image data that is not stored in the predetermined range and in the memory. The coefficient set used in the copying of the image data or the filter operation is changed for the determined tap.
  • the loop filter processing unit 26 of the image encoding device 10 illustrated in FIG. 2 and the loop filter processing unit 58 of the image decoding device illustrated in FIG. 6 have the same configuration and operation, and correspond to the image processing device of the present technology. .
  • the loop filter processing unit performs deblocking processing and SAO processing on a block-unit image generated by decoding a block-unit image and an encoded stream that have been locally decoded when the image is encoded.
  • a tap and a coefficient set are constructed for the processing target pixel of the broken image, and a filter operation is performed using the image data of the tap and the coefficient set.
  • the filter operation is performed by copying the image data or changing the coefficient set.
  • FIG. 14 illustrates the configuration of the loop filter processing unit 26.
  • the loop filter processing unit 26 includes a memory 261, a tap construction unit 262, a coefficient construction unit 263, a filter calculation unit 264, and a filter control unit 269.
  • the image data output from the SAO unit 25 is supplied to the memory 261 and the tap construction unit 262.
  • the memory 261 Based on the control signal from the filter control unit 269, the memory 261 has a selectable filter size with a minimum number of taps in a direction orthogonal to the boundary direction of the predetermined block boundary, and images in a predetermined range from the predetermined block boundary. Image data of an area not included in the predetermined range used for the filter calculation when the filter calculation is performed is stored. For example, when a filter operation is performed on an image in a range where the SAO processing is not performed from the right block boundary with a filter size having a minimum number of horizontal taps of 5 pixels, the SAO-processed image used for this filter operation Store the data. In addition, the memory 261 reads out the stored image data based on the control signal and outputs it to the tap construction unit 262.
  • the tap constructing unit 262 constructs a tap using the image data supplied from the SAO unit 25 and the image data stored in the memory 261 with reference to the processing target pixel of the loop filter. In the tap construction, a plurality of filters having different filter sizes can be selected.
  • the tap construction unit 262 outputs the constructed tap image data to the filter calculation unit 264.
  • the coefficient construction unit 263 reads the coefficient used for the filter operation from the coefficient memory 27, determines the coefficient corresponding to the tap constructed by the tap construction unit 262, and constructs a coefficient set including the coefficients of each tap.
  • the coefficient construction unit 263 outputs the constructed coefficient set to the filter calculation unit 264.
  • the filter operation unit 264 performs an operation using the tap image data supplied from the tap construction unit 262 and the coefficient supplied from the coefficient construction unit 263, and generates image data after the loop filter processing.
  • the filter control unit 269 supplies a control signal to the memory 261 and controls storage of the image data in the memory 261 and reading of the stored image data.
  • the filter control unit 269 selects a filter to be used for loop filter processing.
  • the filter control unit 269 includes a processing position determination unit 2691 and controls the tap construction unit 262 and the coefficient construction unit 263 based on the determination result of the pixel position where the loop filter process is performed.
  • the filter control unit 269 selects a filter having a size with a minimum number of taps in the block boundary direction, a tap located within a predetermined range based on the position of the pixel to be filtered and a tap in which no image data is stored in the memory 261
  • the coefficient set used for copying or filtering the image data is changed with respect to the determined tap so that the filter calculation is performed without using the image data not stored in the predetermined range and in the memory 261.
  • the filter control unit 269 copies image data that has been subjected to SAO processing as image data at a pixel position that has not been subjected to SAO processing.
  • the filter control unit 269 uses the image data stored in the memory 261 as image data of a pixel position in which no image data is stored. Duplicate.
  • the loop filter processing unit 58 of the image decoding apparatus performs filter size selection and coefficient set setting based on information relating to loop filter processing included in the encoded stream.
  • step ST71 the loop filter processing unit 26 initializes the target image position and proceeds to step ST72.
  • step ST72 the loop filter processing unit 26 determines the target pixel position.
  • the loop filter processing unit 26 sets the position of the pixel on which the loop filter process is performed as the target pixel position, and proceeds to step ST73.
  • step ST73 the loop filter processing unit 26 determines whether the filter size is 5 ⁇ 5 pixels.
  • the loop filter processing unit 26 proceeds to step ST86 when a 5 ⁇ 5 pixel filter is used, and proceeds to step ST74 when an 11 ⁇ 5 pixel filter is used.
  • step ST74 the loop filter processing unit 26 determines whether the target pixel position is the fifth pixel column to the left from the input boundary.
  • the loop filter processing unit 26 cannot perform SAO processing because the SAO processing is performed and the image data is input to the loop filter processing unit 26 and the deblocking filter processing is not performed.
  • a boundary with a pixel where image data after SAO processing cannot be input to the unit 26 is set as an input boundary.
  • the loop filter processing unit 26 proceeds to step ST75, and when the target pixel position is located on the left or right side of the left five pixel column from the input boundary. Then, the process proceeds to step ST76.
  • step ST75 the loop filter processing unit 26 copies the image data for one pixel from the right end of the tap.
  • the loop filter processing unit 26 copies, for example, the image data of the SAO-processed pixel adjacent to the left side as the image data of one pixel from the right end of the tap at the pixel position where the SAO process is not performed, and proceeds to step ST86.
  • step ST76 the loop filter processing unit 26 determines whether the target pixel position is the fourth pixel column on the left from the input boundary. When the target pixel position is the fourth pixel column on the left from the input boundary, the loop filter processing unit 26 proceeds to step ST77. If the target pixel position is located on the left side of the fifth pixel column on the left from the input boundary or on the right side of the fourth pixel column on the left from the input boundary, the loop filter processing unit 26 proceeds to step ST78.
  • step ST77 the loop filter processing unit 26 copies the image data for two pixels from the right end of the tap.
  • the loop filter processing unit 26 copies, for example, image data of SAO-processed pixels adjacent to the left side as image data for two pixels from the right end of the tap at the pixel position where SAO processing is not performed, and the process proceeds to step ST86. .
  • step ST78 the loop filter processing unit 26 determines whether the target pixel position is the third pixel column on the left from the input boundary. When the target pixel position is the third pixel column on the left from the input boundary, the loop filter processing unit 26 proceeds to step ST79. If the target pixel position is located on the left side of the fifth pixel column on the left from the input boundary or on the right side of the third pixel column on the left from the input boundary, the loop filter processing unit 26 proceeds to step ST80.
  • step ST79 the loop filter processing unit 26 copies image data for three pixels from the right end of the tap.
  • the loop filter processing unit 26 copies, for example, image data of SAO-processed pixels adjacent to the left side as image data for three pixels from the right end of the tap at the pixel position where SAO processing is not performed, and the process proceeds to step ST86. .
  • step ST80 the loop filter processing unit 26 determines whether the target pixel position is the second pixel column on the left from the input boundary. If the target pixel position is the second pixel column on the left from the input boundary, the loop filter processing unit 26 proceeds to step ST81. If the target pixel position is located on the left side of the fifth pixel column on the left from the input boundary or on the right side of the second pixel column on the left from the input boundary, the loop filter processing unit 26 proceeds to step ST82.
  • step ST81 the loop filter processing unit 26 copies image data for three pixels from the left end of the tap.
  • the loop filter processing unit 26 copies, for example, image data stored in pixels adjacent to the right side as image data for three pixels from the left end of the tap at a pixel position in which image data is not stored, and the process proceeds to step ST86. .
  • step ST82 the loop filter processing unit 26 determines whether the target pixel position is the first pixel row on the left from the input boundary. When the target pixel position is the first pixel column on the left from the input boundary, the loop filter processing unit 26 proceeds to step ST83. If the target pixel position is located on the left side of the fifth pixel column on the left from the input boundary or on the right side of the input boundary, the loop filter processing unit 26 proceeds to step ST84.
  • step ST83 the loop filter processing unit 26 copies image data for two pixels from the left end of the tap.
  • the loop filter processing unit 26 copies, for example, image data stored in pixels adjacent to the right side as image data of two pixels from the left end of the tap at the pixel position in which no image data is stored, and proceeds to step ST86.
  • step ST84 the loop filter processing unit 26 determines whether the target pixel position is the first pixel row on the right side from the input boundary. If the target pixel position is the first pixel column on the right side from the input boundary, the loop filter processing unit 26 proceeds to step ST85. If the target pixel position is located on the left side of the fifth pixel column on the left from the input boundary or on the right side of the first pixel column on the right from the input boundary, the loop filter processing unit 26 proceeds to step ST86.
  • step ST85 the loop filter processing unit 26 copies the image data for one pixel from the left end of the tap.
  • the loop filter processing unit 26 copies, for example, image data stored in pixels adjacent to the right side as image data of one pixel from the left end of the tap at a pixel position where no image data is stored, and the process proceeds to step ST86.
  • step ST86 the loop filter processing unit 26 performs a filter operation.
  • the loop filter processing unit 26 performs the processing from step ST74 to step ST85, so that even when the horizontal tap size is 11 pixels, the position is not subjected to SAO processing or the position where image data is not stored.
  • the image data for each tap can be determined. Therefore, the loop filter processing unit 26 performs an operation using the image data and filter coefficient of each tap, calculates the image data after the filter processing at the target pixel position, and proceeds to step ST87.
  • step ST87 the loop filter processing unit 26 determines whether the target pixel position is the third pixel column on the left from the input boundary. When the loop filter processing of the third pixel column on the left from the input boundary is completed, the loop filter processing unit 26 ends the loop filter processing of the block. Thereafter, the loop filter processing unit 26 performs deblocking filter processing using image data of adjacent blocks and SAO processing using image data after the deblocking filter processing, and image data located on the right side from the input boundary is input. In such a case, loop filter processing is performed from the position of the second pixel column on the left from the input boundary.
  • step ST88 the loop filter processing unit 26 moves the target pixel position.
  • the loop filter processing unit 26 moves to the pixel position next to the target pixel position and returns to step ST72.
  • FIG. 17 and 18 illustrate the operation of the tap construction unit 262.
  • FIG. 17 exemplifies processing until the target pixel position is the third pixel column on the left from the input boundary IB (the seventh pixel column on the left from the right block boundary BB).
  • the image data of the pixel located on the right side of the input boundary IB is input, and the target pixel position is shifted from the second pixel column on the left side of the input boundary IB (the sixth pixel column on the left side from the right block boundary BB) to the right side.
  • the process up to the second pixel column (from the right block boundary BB to the left three pixel column) is shown.
  • FIG. 17A shows the number of taps with a filter size of 11 ⁇ 5 pixels
  • the target pixel position is the position of the sixth pixel column on the left from the input boundary IB (the tenth pixel column on the left from the right block boundary BB). The case is illustrated.
  • the target pixel position is the position of the sixth pixel column on the left from the input boundary IB
  • the image data of each tap is subjected to SAO processing. Therefore, the filter operation is performed without copying the image data.
  • FIG. 17B shows the number of taps having a filter size of 11 ⁇ 5 pixels
  • the target pixel position is the position of the fifth pixel column on the left from the input boundary IB (the ninth pixel column on the left from the right block boundary BB).
  • the target pixel position is the position of the fifth pixel column on the left from the input boundary IB
  • the position of the first pixel from the right end of the tap is the position of the pixel on which SAO processing has not been performed. Therefore, the processing of step ST75 described above is performed, and the filter operation is performed by copying the SAO-processed pixel image data Pb11 adjacent to the left side as the image data Pb12 of one pixel from the right end of the tap.
  • FIG. 17C shows the number of taps with a filter size of 11 ⁇ 5 pixels
  • the target pixel position is the position of the fourth pixel column on the left from the input boundary IB (the eighth pixel column on the left from the right block boundary BB). The case is illustrated.
  • the target pixel position is the position of the fourth pixel column on the left from the input boundary IB
  • the position from the right end of the tap to the second pixel is the position of the pixel on which SAO processing is not performed.
  • step ST77 the process of step ST77 described above is performed, and the SAO-processed pixels adjacent to the left side, that is, the image data Pb10 of the third pixel from the right end of the tap are copied as the image data Pb11 and Pb12 from the right end of the tap to the second pixel. Perform a filter operation.
  • FIG. 17D shows the number of taps with a filter size of 11 ⁇ 5 pixels
  • the target pixel position is the position of the third pixel column on the left from the input boundary IB (the seventh pixel column on the left from the right block boundary BB). The case is illustrated.
  • the target pixel position is the position of the third pixel column on the left from the input boundary IB
  • the position from the right end of the tap to the third pixel is the position of the pixel on which SAO processing is not performed.
  • step ST79 the process of step ST79 described above is performed, and the SAO-processed pixel adjacent to the left side, that is, the image data Pb9 of the fourth pixel from the right end of the tap is copied as the image data Pb10, Pb11, Pb12 from the right end of the tap. Filter operation.
  • the filter size is the number of taps of 5 ⁇ 5 pixels
  • the target pixel position is the position of the third pixel column on the left from the input boundary IB (the seventh pixel column on the left from the right block boundary BB). The case where it is is illustrated.
  • the target pixel position is the position of the third column on the left from the input boundary IB, the image data of each tap is subjected to SAO processing.
  • the filter can be performed up to a pixel position that can be processed by the minimum size filter having the number of taps of 5 ⁇ 5 pixels. Processing can proceed.
  • FIG. 18A shows the number of taps with a filter size of 11 ⁇ 5 pixels
  • the target pixel position is the position of the second pixel column on the left from the input boundary IB (the sixth pixel column on the left from the right block boundary BB).
  • the target pixel position is the position of the second pixel column on the left from the input boundary IB
  • the image data from the left end of the tap to the third pixel is not stored in the memory
  • the image data from the fourth pixel to the seventh pixel is Stored in memory.
  • the image data from the 8th pixel to the 11th pixel is supplied from the SAO unit 25 after being subjected to SAO processing.
  • the loop filter processing unit 26 stores the fourth pixel from the left end of the tap adjacent to the right side as image data Pb2, Pb3, Pb4 from the left end of the tap to the third pixel at the pixel position where no image data is stored.
  • the image data Pb5 being copied is copied and a filter operation is performed.
  • FIG. 18B shows the number of taps with a filter size of 11 ⁇ 5 pixels
  • the target pixel position is the position of the first pixel column on the left from the input boundary IB (the fifth pixel column on the left from the right block boundary BB).
  • the target pixel position is the position of the first pixel column on the left from the input boundary IB
  • the image data from the left end of the tap to the second pixel is not stored in the memory
  • the image data from the third pixel to the sixth pixel is Stored in memory.
  • the image data from the seventh pixel to the eleventh pixel is subjected to SAO processing and supplied from the SAO unit 25.
  • FIG. 18C shows the number of taps with a filter size of 11 ⁇ 5 pixels
  • the target pixel position is the position of the first pixel column on the right from the input boundary IB (the fourth pixel column on the left from the right block boundary BB).
  • the target pixel position is the position of the first pixel column on the right from the input boundary IB
  • the image data from the left end of the tap to the first pixel is not stored in the memory
  • the image data from the second pixel to the fifth pixel is Stored in memory.
  • the image data from the sixth pixel to the eleventh pixel is subjected to SAO processing and supplied from the SAO unit 25.
  • the loop filter processing unit 26 uses the image data Pb3 stored in the second pixel from the left end of the tap adjacent to the right side as the image data Pb2 of one pixel from the left end of the tap at the pixel position where no image data is stored. Copy and perform filter operation.
  • loop filter processing is performed by selectively using taps having different sizes in the vertical direction.
  • loop filter processing is performed by selectively using taps having different sizes in the vertical direction.
  • the same processing may be performed.
  • the memory capacity of the line memory is set according to the tap having the smallest vertical size, if the tap is not the smallest in the vertical size, the image data can be copied or the filter coefficient can be changed.
  • Loop filter processing can be performed.
  • the number of filter taps, the tap arrangement, the number of filters of different sizes, etc. in the above-described embodiment are merely examples, and are not limited to the embodiment.
  • the terms “block” and “macroblock” include a coding unit (CU), a prediction unit (PU), and a transform unit (TU) in the context of HEVC. Shall be.
  • the image encoding device 10 and the image decoding device 50 according to the above-described embodiment using the image processing device of the present technology are used for satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and terminal communication using cellular communication.
  • the present invention can be applied to various electronic devices such as a transmitter or receiver in distribution, a recording device that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory, or a reproducing device that reproduces an image from these storage media.
  • a transmitter or receiver in distribution a recording device that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory, or a reproducing device that reproduces an image from these storage media.
  • FIG. 19 shows an example of a schematic configuration of a television apparatus to which the above-described embodiment is applied.
  • the television apparatus 90 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, and an external interface unit 909. Furthermore, the television apparatus 90 includes a control unit 910, a user interface unit 911, and the like.
  • Tuner 902 extracts a signal of a desired channel from a broadcast signal received via antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the encoded bit stream obtained by the demodulation to the demultiplexer 903. That is, the tuner 902 has a role as a transmission unit in the television device 90 that receives an encoded stream in which an image is encoded.
  • the user interface unit 911 is connected to the control unit 910.
  • the user interface unit 911 includes, for example, buttons and switches for the user to operate the television device 90, a remote control signal receiving unit, and the like.
  • the user interface unit 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface unit 909, and the control unit 910 to each other.
  • FIG. 20 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied.
  • the cellular phone 92 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, a control unit 931, and an operation.
  • a portion 932 and a bus 933 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, a control unit 931, and an operation.
  • a portion 932 and a bus 933 is a bus 933.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, A / D converts the converted audio data, and compresses it. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates audio data, and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. In addition, the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • Communication unit 922 then demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to audio codec 923.
  • the audio codec 923 expands the audio data and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • Communication unit 922 then demodulates and decodes the received signal to restore the stream, and outputs the restored stream to demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream and generates video data.
  • the video data is supplied to the display unit 930, and a series of images is displayed on the display unit 930.
  • the audio codec 923 decompresses the audio stream and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the recording / reproducing apparatus 94 includes a tuner 941, an external interface unit 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) unit 948, a control unit 949, and A user interface unit 950 is provided.
  • the external interface unit 942 is an interface for connecting the recording / reproducing device 94 to an external device or a network.
  • the external interface unit 942 may be, for example, an IEEE 1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface unit 942 are input to the encoder 943. That is, the external interface unit 942 has a role as a transmission unit in the recording / reproducing apparatus 94.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface unit 942 are not encoded. Then, the encoder 943 outputs the encoded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream in which content data such as video and audio are compressed, various programs, and other data are recorded on an internal hard disk. Further, the HDD 944 reads out these data from the hard disk when reproducing video and audio.
  • the disk drive 945 performs recording and reading of data with respect to the mounted recording medium.
  • the recording medium mounted on the disk drive 945 may be, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk.
  • the selector 946 selects an encoded bit stream input from the tuner 941 or the encoder 943 when recording video and audio, and outputs the selected encoded bit stream to the HDD 944 or the disk drive 945. In addition, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 during video and audio reproduction.
  • the user interface unit 950 is connected to the control unit 949.
  • the user interface unit 950 includes, for example, buttons and switches for the user to operate the recording / reproducing device 94, a remote control signal receiving unit, and the like.
  • the user interface unit 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the camera signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the camera signal processing unit 963 outputs the image data after the camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the camera signal processing unit 963, and generates encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface unit 966 or the media drive 968. In addition, the image processing unit 964 decodes encoded data input from the external interface unit 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965. In addition, the image processing unit 964 may display the image by outputting the image data input from the camera signal processing unit 963 to the display unit 965. Further, the image processing unit 964 may superimpose display data acquired from the OSD unit 969 on an image output to the display unit 965.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　メモリ２６１は、例えば右側ブロック境界に対して直交する水平方向のタップ数が最小であるフィルタサイズで右側ブロック境界から所定範囲内の画像のフィルタ演算を行う場合におけるフィルタ演算に用いられる所定範囲に含まれていない領域の画像データを記憶する。フィルタ制御部２６９は、水平方向のタップ数が最小でないフィルタサイズが選択されている場合、フィルタ処理対象画素の位置に基づき所定範囲内に位置するタップおよびメモリに画像データが記憶されていないタップを判別して、所定範囲内およびメモリに記憶されていない画像データを用いることなくフィルタ演算を行うように、判別されたタップに対して画像データの複写またはフィルタ演算で用いる係数セットの変更を行う。ループフィルタ処理で用いるメモリのメモリ容量を削減できる。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関する。詳しくは、ブロック単位で符号化処理と復号処理が行われた画像のループフィルタ処理で用いるメモリのメモリ容量を削減できるようにする。
　近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ２（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）13818-2）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及している。また、ＭＰＥＧ２等に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることができるＨ．２６４およびＭＰＥＧ４ Ｐａｒｔ１０（ＡＶＣ:Advanced Video Coding）と呼ばれる方式も用いられるようになった。さらに、昨今、ハイビジョン画像の４倍の、４０００×２０００画素程度の高解像度画像の圧縮や配信等を効率よく行うことができるように、次世代の画像符号化方式であるＨＥＶＣ（High Efficiency Video Coding）の標準化作業が、ITU-TとISO/IECとの共同の標準化団体であるJCTVC（Joint Collaboration Team - Video Coding）により進められている。
　このような高い符号化効率を実現する画像符号化方式では、適応ループフィルタ（ALF:Adaptive Loop Filter）を用いて、デブロッキングフィルタ処理で残ってしまったブロック歪みや量子化による歪みの低減がはかられている（特許文献１，非特許文献１）。
　また、ＨＥＶＣでは、非特許文献２に開示されているＰＱＡＯ（Picture Quality Adaptive Offset））をデブロックフィルタと適応ループフィルタの間に設けることが検討されている。オフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどのオフセットの種類により符号化するかを選択することで符号化効率を向上させる。
特開２０１１－４９７４０号公報
Ken.McCann（Samsung/ZetaCast）,Benjamin.Bross（HHI）,Shun-ichi.Sekiguchi（Mitsubishi）,Woo-Jin.Han （Samsung）,"JCTVC-E602　HM3: High Efficiency Video Coding（HEVC） Test Model 3 Encoder Description",Joint Collaborative Team on Video Coding（JCT-VC） of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH, 16-23 March, 2011 "CE8 Subtest 3:Picture Quality Adaptive Offset",JCTVC-D122,2011年１月
　ところで、画像をブロック単位でラスタースキャン方向に処理する場合、デブロッキングフィルタ処理における水平フィルタは、所望のブロック（カレントブロック）と、カレントブロックの右側に隣接するブロックの画像データを用いて行われる。また、カレントブロックのループフィルタ処理は、デブロッキングフィルタ処理、またはデブロッキングフィルタ処理とＳＡＯ処理が行われた後の画像データを用いて行われる。このため、デブロッキングフィルタ処理後の画像を用いてループフィルタ処理を行うことができるように、画像データをメモリに記憶しておく必要がある。
　図１は、従来のループフィルタ処理においてメモリに記憶する画像データを説明するための図である。デブロッキングフィルタ処理における水平フィルタでは、図１の（Ａ）に示すように、ブロック境界から例えば４画素列分の画像データを用いてブロック境界から３画素列分のフィルタ処理後の画像データを生成する。なお、デブロッキングフィルタの処理対象画素を二重丸で示している。また、ブロック例えばＬＣＵ（Largest Coding Unit）mとＬＣＵm+1のブロック境界を「ＢＢ」として示している。
　適応ループフィルタでは、例えば図１の（Ｂ），（Ｃ）に示すように、適応ループフィルタの処理対象画素（黒四角で示す）に対してタップを設定して、タップの画像データを用いてフィルタ演算が行われる。タップは、例えば黒丸で示す位置と処理対象画素の位置に構築されており、図では５×５画素のタップを用いるフィルタサイズを例示している。
　ここで、図１の（Ｂ）に示すように、ＬＣＵmにおけるループフィルタ処理の対象画素がブロック境界ＢＢから左６画素列目の画素である場合、タップはデブロッキングフィルタのフィルタ処理範囲に含まれない。したがって、ループフィルタ処理を行う画像処理装置は、デブロッキングフィルタ処理後の画像データを用いることなくループフィルタ処理が可能である。しかし、図１の（Ｃ）に示すように、ループフィルタ処理の対象画素がブロック境界ＢＢから左５画素列目の画素となると、タップはデブロッキングフィルタのフィルタ処理範囲に含まれる。すなわち、ループフィルタ処理では、デブロッキングフィルタ処理後の画像データが必要となる。したがって、ループフィルタ処理を行う画像処理装置は、デブロッキングフィルタ処理後にループフィルタ処理を行うため、左７画素列目から左４画素列目までの４画素列分の画像データをメモリに記憶しておく必要がある。
　また、ループフィルタ処理における水平方向のタップ数が大きくなると、メモリに記憶する画像データを増やさなければならない。例えば図１の（Ｄ）に示すように１１×５画素のタップを用いるフィルタサイズとする場合、ループフィルタ処理の対象画素がブロック境界ＢＢから左８画素列目の位置となると、タップはデブロッキングフィルタのフィルタ処理範囲に含まれる。すなわち、ループフィルタ処理では、デブロッキングフィルタ処理後の画像データが必要となる。したがって、ループフィルタ処理を行う画像処理装置は、デブロッキングフィルタ処理後にループフィルタ処理を行うため、左１３画素列目から左４画素列目までの１０画素列分の画像データをメモリに記憶しなければならない。
　さらに、フィルタサイズを切り替えてループフィルタ処理を行う場合、水平方向のタップ数が最も大きいフィルタサイズに対応した画素列分の画像データを記憶する必要があり、容量の大きいメモリが必要となってしまう。
　そこで、この技術ではループフィルタ処理で用いるメモリのメモリ容量を削減できる画像処理装置と画像処理方法を提供する。
　この技術の第１の側面は、符号化ストリームを復号処理して画像を生成する復号部と、前記復号部により生成されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行うフィルタ演算部と、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小であるフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データを記憶するメモリと、前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズが選択されている場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行うフィルタ制御部とを備える画像処理装置にある。
　この技術においては、符号化ストリームを復号処理して生成されたＣＵ単位の画像ループフィルタ処理を行う場合に、所定ブロック境界の境界方向に対して直交する方向、例えば右側ブロック境界に対して直交する水平方向のタップ数が最小であるフィルタサイズで右側ブロック境界から所定範囲内、例えばデブロッキングフィルタ処理のフィルタ処理範囲内、またＳＡＯ（Sample Adaptive Offset）処理を行う場合、デブロッキングフィルタ処理が行われていないためにＳＡＯ処理を行うことができない画素範囲内の画像のフィルタ演算に用いられる所定範囲に含まれていない画像データがメモリに記憶される。
　ここで、フィルタ制御部は、右側ブロック境界方向のタップ数が最小でないフィルタサイズが選択されている場合、フィルタ処理を行う対象画素の画像位置に基づき、画像データが得られていない所定範囲内に位置するタップおよびメモリに画像データが記憶されていないタップを判別して、所定範囲内およびメモリに記憶されていない画像データを用いることなくフィルタ演算を行うように、判別されたタップに対する画像データの複写またはフィルタ演算で用いるフィルタ係数の変更が行われる。例えば、メモリに画像データが記憶されている隣接画素の画像データが判別されたタップの画像データとして複写される。または、メモリに画像データが記憶されている隣接画素の係数が変更される。
　この技術の第２の側面は、符号化ストリームを復号処理して画像を生成する工程と、前記復号処理により生成されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行う工程と、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データをメモリに記憶する工程と、前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズが選択されている場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行う工程と含む画像処理方法にある。
　この技術の第３の側面は、画像を符号化する際にローカル復号処理されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行うフィルタ演算部と、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データを記憶するメモリと、前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズを選択する場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行うフィルタ制御部とを備える画像処理装置にある。
　この技術では、画像を符号化する際にローカル復号処理されたＣＵ単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算が行われる。また、所定ブロック境界の境界方向に対して直交する方向、例えば右側ブロック境界に対して直交する水平方向のタップ数が最小である選択可能なフィルタサイズで右側ブロック境界から所定範囲内の画像のフィルタ演算を行う場合におけるフィルタ演算に用いられる所定範囲に含まれていない領域の画像データがメモリに記憶される。
　フィルタ制御部は、符号化効率の良いフィルタサイズを選択してフィルタ処理を行う際に、ブロック境界方向のタップ数が最小でないフィルタサイズを選択する場合は、フィルタ処理対象画素の位置に基づき所定範囲内に位置するタップおよびメモリに画像データが記憶されていないタップを判別して、所定範囲内およびメモリに記憶されていない画像データを用いることなくフィルタ演算を行うように、判別されたタップに対して画像データの複写またはフィルタ演算で用いる係数セットの変更を行う。また、フィルタ制御部は、フィルタ演算に用いたフィルタサイズと係数セットの情報を、符号化ストリームに含めるようにする。
　この技術の第４の側面は、画像を符号化する際にローカル復号処理されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行う工程と、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データをメモリに記憶する工程と、前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズを選択する場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行う工程とを含む画像処理方法にある。
　この技術によれば、メモリでは、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小であるフィルタサイズで所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる所定範囲に含まれていない領域の画像データが記憶される。また、フィルタ制御部では、ブロック境界方向のタップ数が最小でないフィルタサイズが選択されている場合、フィルタ処理対象画素の位置に基づき所定範囲内に位置するタップおよびメモリに画像データが記憶されていないタップを判別して、所定範囲内およびメモリに記憶されていない画像データを用いることなくフィルタ演算を行うように、判別されたタップに対して画像データの複写またはフィルタ演算で用いる係数セットの変更が行われる。このため、異なるサイズのフィルタを選択的に用いてフィルタ演算を行う場合に、最小サイズのフィルタに対応させて画像データをメモリに記憶させても、最小サイズよりも大きいフィルタサイズでフィルタ演算が可能となり、適応ループフィルタ処理を行うために画像データを記憶するメモリのメモリ容量を削減できる。
従来のループフィルタ処理においてメモリに記憶する画像データを説明するための図である。 画像符号化装置に適用した場合の構成を示す図である。 画像符号化動作を示すフローチャートである。 イントラ予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 画像復号装置に適用した場合の構成を示す図である。 画像復号動作を示すフローチャートである。 記憶する画像データを説明するための図である。 quad-tree構造を説明するための図である。 エッジオフセットを説明するための図である。 エッジオフセットの規則一覧表を示す図である。 ループフィルタ処理部で選択可能なフィルタのタップを例示した図である。 メモリに記憶する画像データの範囲を示す図である。 ループフィルタ処理部の構成を例示した図である。 ループフィルタ処理部の動作を示すフローチャート（１／２）である。 ループフィルタ処理部の動作を示すフローチャート（２／２）である。 タップ構築部の動作（１／２）を例示した図である。 タップ構築部の動作（２／２）を例示した図である。 テレビジョン装置の概略的な構成の一例を示した図である。 携帯電話機の概略的な構成の一例を示した図である。 記録再生装置の概略的な構成の一例を示した図である。 撮像装置の概略的な構成の一例を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　　１．画像符号化装置に適用した場合の構成
　　２．画像符号化装置の動作
　　３．画像復号装置に適用した場合の構成
　　４．画像復号装置の動作
　　５．ループフィルタ処理部の構成と動作
　　６．応用例
　＜１．画像符号化装置に適用した場合の構成＞
　図２は、本技術の画像処理装置を画像符号化装置に適用した場合の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ処理部２４、ＳＡＯ部２５、ループフィルタ処理部２６、係数メモリ２７、フレームメモリ２８、セレクタ２９、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
　Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
　画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。
　減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
　直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
　量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
　可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部３１と動き予測・補償部３２および予測画像・最適モード選択部３３から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするマクロブロックタイプ、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報や後述するＳＡＯ処理に関する情報や適応ループフィルタ処理に関する情報等を可逆符号化して、符号化ストリームのヘッダ情報に付加する。
　蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
　逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
　逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部２３に出力する。
　加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ処理部２４とフレームメモリ２８に出力する。
　デブロッキングフィルタ処理部２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ処理部２４は、加算部２３から供給された復号画像データ、すなわちローカル復号処理された復号画像の画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをＳＡＯ部２５に出力する。
　ＳＡＯ部２５は、画像をquad-treeに分割し、それぞれの領域にどのようなオフセットを適用して符号化するかを選択する。ＳＡＯ部２５はデブロッキングフィルタ処理部２４から供給された画像データに対してＳＡＯ処理すなわち選択したオフセット処理を行いループフィルタ処理部２６に出力する。
　ループフィルタ処理部２６は、係数メモリ２７から供給された係数とＳＡＯ部２５から供給された画像データを用いて、適応ループフィルタ処理（以下、単に「ループフィルタ処理」または「ＡＬＦ処理」という）を行う。ループフィルタ処理部２６は、フィルタとして、例えばウィナーフィルタ（Wiener Filter）が用いられる。もちろんウィナーフィルタ以外のフィルタを用いてもよい。さらに、ループフィルタ処理部２６は、タップサイズの異なる複数のフィルタを有しており、ループフィルタ処理を行う。ループフィルタ処理部２６は、フィルタ処理結果をフレームメモリ２８に供給し、参照画像の画像データとして記憶させる。また、ループフィルタ処理部２６は、後述する最適モードの選択結果に基づき符号化効率が良好となるループフィルタ処理に用いたフィルタサイズや係数セット等を示す情報を可逆符号化部１６に供給して符号化ストリームに含めるようにする。
　フレームメモリ２８は、加算部２３から供給された復号画像データとループフィルタ処理部２６から供給されたフィルタ処理後の復号画像データを参照画像の画像データとして保持する。
　セレクタ２９は、イントラ予測を行うためにフレームメモリ２８から読み出されたフィルタ処理前の参照画像データをイントラ予測部３１に供給する。また、セレクタ２９は、インター予測を行うためフレームメモリ２８から読み出されたフィルタ処理後の参照画像データを動き予測・補償部３２に供給する。
　イントラ予測部３１は、画面並べ替えバッファ１２から出力された符号化対象画像の画像データとフレームメモリ２８から読み出したフィルタ処理前の参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、イントラ予測部３１は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。
　動き予測・補償部３２は、マクロブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、画面並べ替えバッファ１２から読み出された符号化対象画像における各予測ブロックサイズの画像毎に、フレームメモリ２８から読み出されたフィルタ処理後の参照画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズやループフィルタ処理部２６のフィルタサイズや係数セット毎にコスト関数値を算出する。動き予測・補償部３２は、算出したコスト関数値が最小となる予測ブロックサイズやループフィルタ処理のフィルタサイズおよび係数セットを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、動き予測・補償部３２は、コスト関数値の算出で用いる発生符号量を得るため、各予測ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。
　予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を、マクロブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードの予測モード情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測を行うようにしてもよい。
　なお、請求項における符号化部は、予測画像データを生成するイントラ予測部３１や動き予測・補償部３２、予測画像・最適モード選択部３３、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６等で構成される。
　＜２．画像符号化装置の動作＞
　図３は、画像符号化動作を示すフローチャートである。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
　ステップＳＴ１２において画面並べ替えバッファ１２は、画面並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並べ替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。なお、予測画像・最適モード選択部３３でイントラ予測部３１から供給された予測画像と動き予測・補償部３２からの予測画像の選択がスライス単位で行われる場合、イントラ予測部３１から供給された予測画像が選択されたスライスでは、イントラ予測が行われる。また、動き予測・補償部３２からの予測画像が選択されたスライスでは、インター予測が行われる。
　ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
　ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２６の処理で説明されるように、レート制御が行われる。
　ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ１８において加算部２３は、復号画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号画像データを生成する。
　ステップＳＴ１９においてデブロッキングフィルタ処理部２４は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
　ステップＳＴ２０においてＳＡＯ部２５は、適応的にオフセット処理を行う。ＳＡＯ部２５は、デブロッキングフィルタ処理部２４より出力された画像データに対してＳＡＯ処理を行う。
　ステップＳＴ２１においてループフィルタ処理部２６は、ループフィルタ処理を行う。ループフィルタ処理部２６は、デブロッキングフィルタ処理やＳＡＯ処理が行われた復号画像データをフィルタリングして、デブロッキングフィルタ処理等で残ってしまったブロック歪みや量子化による歪み等を低減する。
　ステップＳＴ２２においてフレームメモリ２８は、復号画像データを記憶する。フレームメモリ２８は、デブロッキングフィルタ処理前の復号画像データとループフィルタ処理後の復号画像データを記憶する。
　ステップＳＴ２３においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
　ステップＳＴ２４において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを選択して、減算部１３と加算部２３に供給する。この予測画像が、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
　ステップＳＴ２５において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップＳＴ２２において可逆符号化部１６に入力された予測モード情報（例えばマクロブロックタイプや予測モード、動きベクトル情報、参照ピクチャ情報等を含む）なども可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。
　ステップＳＴ２６において蓄積バッファ１７は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳＴ２７においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
　次に、図３のステップＳＴ２３における予測処理を説明する。予測処理では、イントラ予測処理とインター予測処理を行う。イントラ予測処理では、処理対象のブロックの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される参照画像の画像データは、デブロッキングフィルタ処理部２４とループフィルタ処理部２６によりフィルタ処理が行われることなくフレームメモリ２８に記憶されている参照画像データが用いられる。イントラ予測処理の詳細は後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。
　インター予測処理では、フレームメモリ２８に記憶されているフィルタ処理後の参照画像データを用いて、候補となる全てのインター予測モード（全ての予測ブロックサイズ）のインター予測処理を行う。インター予測処理の詳細は後述するが、この処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。
　次に、イントラ予測処理について図４のフローチャートを参照して説明する。ステップＳＴ３１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、フレームメモリ２８に記憶されているフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
　ステップＳＴ３２でイントラ予測部３１は、各予測モードに対するコスト関数値を算出する。例えば、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（１）で表されるコスト関数値を各予測モードに対して算出する。
　　Cost（Mode∈Ω）=Ｄ+λ・Ｒ　　　　　　・・・（１）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ乗数である。
　また、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式（２）で表されるコスト関数値を各予測モードに対して算出する。
　　Cost（Mode∈Ω）=Ｄ+QPtoQuant（QP）・Header_Bit　　　・・・（２）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータＱＰの関数として与えられる関数である。
　ステップＳＴ３３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ３２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
　次に、図５のフローチャートを参照して、インター予測処理について説明する。ステップＳＴ４１で動き予測・補償部３２は、各予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、動き予測・補償部３２は、各予測モードの処理対象のブロックについて、動きベクトルと参照画像をそれぞれ決定する。
　ステップＳＴ４２で動き予測・補償部３２は、各予測モードに対して動き補償を行う。動き予測・補償部３２は、各予測モード（各予測ブロックサイズ）について、ステップＳＴ４１で決定された動きベクトルに基づいて、参照画像に対する動き補償を行い、各予測モードについて予測画像データを生成する。
　ステップＳＴ４３で動き予測・補償部３２は、各予測モードに対して動きベクトル情報の生成を行う。動き予測・補償部３２は、各予測モードで決定された動きベクトルについて、符号化ストリームに含める動きベクトル情報を生成する。例えば、メディアン予測等を用いて予測動きベクトルを決定して、動き予測により検出した動きベクトルと予測動きベクトルの差を示す動きベクトル情報を生成する。このようにして生成された動きベクトル情報は、次のステップＳＴ４４におけるコスト関数値の算出にも用いられて、最終的に予測画像・最適モード選択部３３で対応する予測画像が選択された場合には、予測モード情報に含まれて可逆符号化部１６へ出力される。
　ステップＳＴ４４で動き予測・補償部３２は、各インター予測モードに対して、コスト関数値の算出を行う。動き予測・補償部３２は、上述した式（１）または式（２）を用いてコスト関数値の算出を行う。
　ステップＳＴ４５で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ４４において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つの予測モードを選択して最適インター予測モードに決定する。
　＜３．画像復号装置に適用した場合の構成＞
　入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
　図６は、本技術の画像処理装置を画像復号装置に適用した場合の構成を示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ処理部５６、ＳＡＯ部５７、ループフィルタ処理部５８、画面並べ替えバッファ５９、Ｄ／Ａ変換部６０を備えている。さらに、画像復号装置５０は、フレームメモリ６１、セレクタ６２，６５、イントラ予測部６３、動き補償部６４を備えている。
　蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号部５２は、蓄積バッファ５１より供給された符号化ストリームを、図２の可逆符号化部１６の符号化方式に対応する方式で復号する。また、可逆復号部５２は、符号化ストリームのヘッダ情報を復号して得られた予測モード情報をイントラ予測部６３や動き補償部６４、ループフィルタ処理の係数セットをループフィルタ処理部５８に出力する。
　逆量子化部５３は、可逆復号部５２で復号された量子化データを、図２の量子化部１５の量子化方式に対応する方式で逆量子化する。逆直交変換部５４は、図２の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
　加算部５５は、逆直交変換後のデータとセレクタ６５から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ処理部５６とフレームメモリ６１に出力する。
　デブロッキングフィルタ処理部５６は、加算部５５から供給された復号画像データに対してフィルタ処理を行い、ブロック歪みを除去してＳＡＯ部５７に出力する。
　ＳＡＯ部５７は、図２のＳＡＯ部２５と同様に構成されており、デブロッキングフィルタ処理部５６から供給された画像データに対してＳＡＯ処理を行う。すなわち、ＳＡＯ部５７は、quad-treeに分割された画像領域毎にどのようなオフセットを適用するか可逆復号部５２によって符号化ストリームから取得したＳＡＯ処理の情報に基づき選択してオフセット処理を行う。ＳＡＯ部５７は、ＳＡＯ処理後の画像データをループフィルタ処理部５８に出力する。
　ループフィルタ処理部５８は、図２のループフィルタ処理部２６と同様に構成されており、可逆復号部５２によって符号化ストリームから取得したループフィルタ情報に基づき、ＳＡＯ処理後の画像データのループフィルタ処理を行う。ループフィルタ処理部５８は、フィルタ処理後の画像データをフレームメモリ６１に供給し蓄積させるとともに、画面並べ替えバッファ５９に出力する。
　画面並べ替えバッファ５９は、画像の並べ替えを行う。すなわち、図２の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部６０に出力される。
　Ｄ／Ａ変換部６０は、画面並べ替えバッファ５９から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。
　フレームメモリ６１は、加算部５５から供給されたフィルタ処理前の復号画像データとループフィルタ処理部５８から供給されたフィルタ処理後の復号画像データとを、参照画像の画像データとして保持する。
　セレクタ６２は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測が行われた予測ブロックの復号が行われるとき、フレームメモリ６１から読み出されたフィルタ処理前の参照画像データをイントラ予測部６３に供給する。また、セレクタ２９は、可逆復号部５２から供給された予測モード情報に基づき、インター予測が行われた予測ブロックの復号が行われるとき、フレームメモリ６１から読み出されたフィルタ処理後の参照画像データを動き補償部６４に供給する。
　イントラ予測部６３は、可逆復号部５２から供給された予測モード情報に基づいて予測画像の生成を行い、生成した予測画像データをセレクタ６５に出力する。
　動き補償部６４は、可逆復号部５２から供給された予測モード情報に基づいて、動き補償を行い、予測画像データを生成してセレクタ６５に出力する。すなわち、動き補償部６４は、予測モード情報に含まれる動きベクトル情報と参照フレーム情報に基づいて、参照フレーム情報で示された参照画像に対して動きベクトル情報に基づく動きベクトルで動き補償を行い、予測画像データを生成する。
　セレクタ６５は、イントラ予測部６３で生成された予測画像データを加算部５５に供給する。また、セレクタ６５は、動き補償部６４で生成された予測画像データを加算部５５に供給する。
　なお、請求項における復号部は、可逆復号部５２、逆量子化部５３、逆直交変換部５４、加算部５５、イントラ予測部６３、動き補償部６４等で構成される。
　＜４．画像復号装置の動作＞
　次に、図７のフローチャートを参照して、画像復号装置５０で行われる画像復号動作について説明する。
　ステップＳＴ５１で蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。
　ステップＳＴ５２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給される符号化ストリームを復号する。すなわち、図２の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号部５２、符号化ストリームのヘッダ情報に含まれている予測モード情報の可逆復号を行い、得られた予測モード情報をデブロッキングフィルタ処理部５６やセレクタ６２，６５に供給する。さらに、可逆復号部５２は、予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部６３に出力する。また、可逆復号部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部６４に出力する。また、可逆復号部５２は、符号化ストリームを復号して得られたループフィルタ処理の係数セットをループフィルタ処理部５８に出力する。
　ステップＳＴ５３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図２の量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ５４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図２の直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ５５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ６１で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
　ステップＳＴ５６においてデブロッキングフィルタ処理部５６は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部５６は、加算部５５より出力された復号画像データのフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
　ステップＳＴ５７においてＳＡＯ部５７は、適応的にオフセット処理を行う。ＳＡＯ部５７は、デブロッキングフィルタ処理部５６より出力された画像データに対してＳＡＯ処理を行う。
　ステップＳＴ５８においてループフィルタ処理部５８は、ループフィルタ処理を行う。ループフィルタ処理部５８は、ＳＡＯ処理後の復号画像データをフィルタリングして、ブロック歪みや量子化による歪みを低減する。
　ステップＳＴ５９においてフレームメモリ６１は、復号画像データの記憶処理を行う。
　ステップＳＴ６０においてイントラ予測部６３と動き補償部６４は、予測処理を行う。イントラ予測部６３と動き補償部６４は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測処理を行う。
　すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部６３は、予測モード情報に基づいてイントラ予測処理を行い、予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部６４は、予測モード情報に基づき動き補償を行い、予測画像データを生成する。
　ステップＳＴ６１において、セレクタ６５は予測画像データの選択を行う。すなわち、セレクタ６５は、イントラ予測部６３から供給された予測画像と動き補償部６４で生成された予測画像データを選択して加算部５５に供給して、上述したように、ステップＳＴ５５において逆直交変換部５４の出力と加算させる。
　ステップＳＴ６２において画面並べ替えバッファ５９は、画像並べ替えを行う。すなわち画面並べ替えバッファ５９は、図２の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳＴ６３において、Ｄ／Ａ変換部６０は、画面並べ替えバッファ５９からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
　＜５．ループフィルタ処理部の構成と動作＞
　［画像データの記憶］
　ここで、ループフィルタ処理部においてメモリに記憶する画像データについて説明する。ＬＣＵ単位でラスタースキャン方向に処理を行う場合、デブロッキングフィルタ部では、隣接するＬＣＵの画像データを用いてデブロッキングフィルタ処理を行うことから、ＬＣＵ単位で閉じた処理とならない。また、ＳＡＯ部はデブロッキングフィルタ処理後の画像データを用いており、ループフィルタ処理部はＳＡＯ処理後の画像データを用いることから、ＳＡＯ部とループフィルタ処理部の処理もＬＣＵ単位で閉じた処理とならない。したがって、ＬＣＵ単位でラスタースキャン方向に処理を行う場合、図８に示すように、処理対象のＬＣＵmにおいて、右側および下側のブロック境界から斜線で示すように所定範囲の画像データをメモリに一時記憶しておく必要がある。
　ここで、ＳＡＯ処理について説明する。ＳＡＯ部のオフセットの種類としては、バンドオフセットと呼ばれるものが２種類、エッジオフセットと呼ばれるものが６種類あり、さらに、オフセットを適応しないことも可能である。そして、画像をquad-treeに分割し、それぞれの領域に、上述したどのオフセットの種類により符号化するかを選択することができる。
　次に、図９を参照して、quad-tree構造について説明する。例えば、画像符号化装置１０では、図９の（Ａ）に示されるように、領域０が分割されていない状態を示すLevel-０（分割深度０）のコスト関数値Ｊ０が計算される。また、領域０が４つの領域１乃至４に分割された状態を示すLevel-１（分割深度０）のコスト関数値Ｊ１，Ｊ２，Ｊ３，Ｊ４が計算される。
　そして、図９の（Ｂ）に示されるように、コスト関数値が比較され、Ｊ０＞（Ｊ１＋Ｊ２＋Ｊ３＋Ｊ４）により、コスト関数値が小さいLevel-１の分割領域（Partitions）が選択される。
　同様にして、図９の（Ｃ）に示されるように、領域０が１６個の領域５乃至２０に分割された状態を示すLevel-２（分割深度２）のコスト関数値Ｊ５乃至Ｊ２０が計算される。
　そして、図９の（Ｄ）に示されるように、コスト関数値がそれぞれ比較され、Ｊ１＜（Ｊ５＋Ｊ６＋Ｊ９＋Ｊ１０）により、領域１においては、Level-１の分割領域（Partitions）が選択される。Ｊ２＞（Ｊ７＋Ｊ８＋Ｊ１１＋Ｊ１２）により、領域２においては、Level-２の分割領域が選択される。Ｊ３＞（Ｊ１３＋Ｊ１４＋Ｊ１７＋Ｊ１８）により、領域３においては、Level-２の分割領域が選択される。Ｊ４＞（Ｊ１５＋Ｊ１６＋Ｊ１９＋Ｊ２０）により、領域４においては、Level-１の分割領域が選択される。
　その結果、quad-tree構造における図９の（Ｄ）に示される最終的なquad-tree領域（Partitions）が決定される。そして、quad-tree構造の決定された領域毎に、２種類のバンドオフセット、６種類のエッジオフセット、およびオフセットなしの全てについてコスト関数値が算出され、どのオフセットにより符号化されるのかが決定される。
　例えば、図９の（Ｅ）に示すように、領域１に対しては、ＥＯ（４）、すなわち、エッジオフセットのうちの４種類目が決定されている。領域７に対しては、ＯＦＦ、すなわち、オフセットなしが決定されており、領域８に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１１および１２に対しては、ＯＦＦ、すなわち、オフセットなしが決定されている。
　また、領域１３に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されており、領域１４に対しては、ＥＯ（２）、すなわち、エッジオフセットのうちの２種類目が決定されている。領域１７に対しては、ＢＯ（２）、すなわち、バンドオフセットのうちの２種類目が決定されており、領域１８に対しては、ＢＯ（１）、すなわち、バンドオフセットのうちの１種類目が決定されている。領域４に対しては、ＥＯ（１）、すなわち、エッジオフセットのうちの１種類目が決定されている。
　次に、図１０を参照して、エッジオフセットの詳細について説明する。エッジオフセットにおいては、当該画素値と、当該画素値に隣接する隣接画素値の比較が行われ、これに対応したカテゴリに対して、オフセット値が伝送されることになる。
　エッジオフセットには、図１０の（Ａ）乃至（Ｄ）に示される４つの１次元パターンと、図１０の（Ｅ）および（Ｆ）に示される２つの２次元パターンが存在し、それぞれ、図１１に示されるカテゴリでオフセットが伝送される。
　図１０の（Ａ）は、当該画素Ｃに対して、隣接画素が左右の１次元に配置されている、すなわち、図１０の（Ａ）のパターンに対して０度をなしている1-D,0-degreeパターンを表している。図１０の（Ｂ）は、当該画素Ｃに対して、隣接画素が上下の１次元に配置されている、すなわち、図１０の（Ａ）のパターンに対して９０度をなしている1-D,90-degreeパターンを表している。
　図１０の（Ｃ）は、当該画素Ｃに対して、隣接画素が左上と右下の１次元に配置されている、すなわち、図１０の（Ａ）のパターンに対して１３５度をなしている1-D,135-degreeパターンを表している。図１０の（Ｄ）は、当該画素Ｃに対して、隣接画素が右上と左下の１次元に配置されている、すなわち、図１０の（Ａ）のパターンに対して４５度をなしている1-D,135-degreeパターンを表している。
　図１０の（Ｅ）は、当該画素Ｃに対して、隣接画素が上下左右２次元に配置されている、すなわち、当該画素Ｃに対して交差している2-D,crossパターンを表している。図１０の（Ｆ）は、当該画素Ｃに対して、隣接画素が右上左下、左上右下の２次元に配置されている、すなわち、当該画素Ｃに対して斜めに交差している2-D,diagonalパターンを表している。
　図１１の（Ａ）は、１次元パターンの規則一覧表（Classification rule for 1-D patterns）を示している。図１０の（Ａ）乃至（Ｄ）のパターンは、図１１の（Ａ）に示されるような５種類のカテゴリに分類され、そのカテゴリによりオフセットが算出されて、復号部に送られる。
　当該画素Ｃの画素値が２つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より小さくて、他方の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が一方の隣接画素の画素値より大きくて、他方の隣接画素の画素値と一致する場合、カテゴリ３に分類される。当該画素Ｃの画素値が２つの隣接画素の画素値より大きい場合、カテゴリ４に分類される。以上のどれでもない場合、カテゴリ０に分類される。
　図１１の（Ｂ）は、２次元パターンの規則一覧表（Classification rule for 2-D patterns）を示している。図１０の（Ｅ）および（Ｆ）のパターンは、図１１の（Ｂ）に示されるような７種類のカテゴリに分類され、そのカテゴリによりオフセットが復号部に送られる。
　当該画素Ｃの画素値が４つの隣接画素の画素値より小さい場合、カテゴリ１に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値と一致する場合、カテゴリ２に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より小さくて、４番目の隣接画素の画素値より大きい場合、カテゴリ３に分類される。
　当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値より小さい場合、カテゴリ４に分類される。当該画素Ｃの画素値が３つの隣接画素の画素値より大きくて、４番目の隣接画素の画素値と一致する場合、カテゴリ５に分類される。当該画素Ｃの画素値が４つの隣接画素の画素値より大きい場合、カテゴリ６に分類される。以上のどれでもない場合、カテゴリ０に分類される。
　以上のように、エッジオフセットにおいては、３×３画素の判定処理が行われることから、ＳＡＯ部では、判定処理にデブロッキングフィルタのフィルタ処理対象画素が含まれる画素位置となるとオフセット処理を進めることができない。また、その後、デブロッキングフィルタでフィルタ処理が行われた場合、ＳＡＯ部は、デブロッキングフィルタのフィルタ処理範囲のフィルタ処理後の画素を用いて判定処理を行う。したがって、ＳＡＯ部は、デブロッキングフィルタ処理後にＳＡＯ処理を行うことができるように画像データを記憶しておく必要がある。
　さらに、ループフィルタ処理部は、ループフィルタ処理のタップ範囲にＳＡＯ部で処理が行われていない画素が含まれる画素位置となるとループフィルタ処理を進めることができない。また、その後、ＳＡＯで処理が行われた場合、ループフィルタ処理部は、ＳＡＯ２８で処理された画素を用いてループフィルタ処理を行う。したがって、ループフィルタ処理部は、ＳＡＯ部で処理された画像データを記憶しておく必要がある。
　図１２は、ループフィルタ処理部で選択可能なフィルタのタップを例示している。例えば、ループフィルタ処理部では、図１２の（Ａ）に示す水平方向のフィルタサイズが５タップであるフィルタと図１２の（Ｂ）に示す水平方向のフィルタサイズが１１タップであるフィルタの何れかコスト関数値が少なくなるタップを用いてフィルタ処理を行う。
　水平方向のフィルタサイズが５タップである場合の各タップをＴa0～Ｔa16とする。また、水平方向のフィルタサイズが１１タップである場合の各タップをＴb0～Ｔb14とする。また、以下の説明では、タップＴa0の画像データをＰa0とする。同様にタップＴa1～Ｔa16，Ｔb0～Ｔb14の画像データをPa1～Pa16，Pb0～Pb14とする。
　図１３は、デブロッキングフィルタ処理とＳＡＯ処理が行われる場合、図１２に示すタップサイズとされたフィルタを用いてループフィルタ処理を行うためにメモリに記憶する画素の範囲を示している。
　デブロッキングフィルタ処理部は、例えば４タップでブロック境界のフィルタ処理を行う場合、図１３の（Ａ）に示すように、右側ブロック境界ＢＢから左４画素列分の範囲の画像データをメモリに記憶する必要がある。なお、図１３の（Ａ）において二重丸印は、デブロッキングフィルタの処理対象画素であってデブロッキングフィルタ処理（ＤＦ処理）が行われていないことを示している。
　ＳＡＯ部は、判定処理にデブロッキングフィルタのフィルタ処理対象画素が含まれる画素位置となると処理を進めることができない。すなわち、図１３の（Ｂ）に示すように、右側ブロック境界ＢＢから左５画素列目の位置まで処理を進めることができるが、左４画素列目の位置では、破線で示すように３×３画素の判定処理の範囲内にデブロッキングフィルタのフィルタ処理対象画素が含まれる。このため、ＳＡＯ部は左４画素列目の位置に処理を進めることができない。したがって、デブロッキングフィルタ処理後に、右側ブロック境界ＢＢに対して左４画素列目の位置から処理を進めることができるように、ＳＡＯ部で処理が行われている左５画素列目の位置の画像データをメモリに記憶する必要がある。なお、図１３の（Ｂ）において、丸印の中にバツ印が示されている画素は、デブロッキングフィルタ処理が行われていないためにＳＡＯ処理を行うことができない画素を示している。
　ループフィルタ処理部は、例えばタップが５×５画素である場合、タップ内にＳＡＯ部で処理されていない画素が含まれる画素位置となると処理を進めることができない。すなわち、図１３の（Ｃ）に示すように、右側ブロック境界ＢＢから左７画素列目の位置まで処理を進めることができるが、左６画素列目の位置では、５×５画素のタップ内にＳＡＯ部で処理されていない画素が含まれることから処理を進めることができない。したがって、デブロッキングフィルタ処理後に、左６画素列目の位置から処理を進めることができるように、ＳＡＯ部で処理が行われている左８画素列目から左５画素列目までの４画素列分の画像データをメモリに記憶する必要がある。
　また、ループフィルタ処理部は、例えばタップが１１×５画素である場合、タップ内にＳＡＯ部で処理されていない画素が含まれる画素位置となると処理を進めることができない。すなわち、図１３の（Ｄ）に示すように、右側ブロック境界ＢＢから左１０画素列目の位置まで処理を進めることができるが、左９画素列目の位置では、１１×５画素のタップ内にＳＡＯ部で処理されていない画素が含まれることから処理を進めることができない。したがって、デブロッキングフィルタ処理後に、左９画素列目の位置から処理を進めることができるように、ＳＡＯ部で処理が行われている左１４画素列目から左５画素列目までの１０画素列分の画像データをメモリに記憶する必要がある。
　なお、図１３の（Ｃ），（Ｄ）において、丸印の中に＋印が示されている画素は、デブロッキングフィルタ処理が行われていないことによるＳＡＯ処理後の画像データが入力されないため、ループフィルタ処理を行うことができない画素を示している。
　ここで、例えばＬＣＵのサイズが６４×６４画素である場合、図１３の（Ｄ）に示すように１１×５画素のタップでは、右側ブロック境界ＢＢに対して左９画素列目の位置から処理を進めるためには、輝度および色差データを合わせて１２８０バイト程度のメモリ容量が必要となる。この場合のメモリ容量は、５×５画素のタップで必要となるメモリ容量の２．５倍である。また、５×５画素のタップが選択された場合には、７６８バイトのメモリ容量が未使用となる。
　このように、フィルタサイズが大きいと画像データを記憶するメモリの容量を大ききしなければならない。また、最小サイズのフィルタが選択された場合、未使用のメモリ領域が生じることになる。そこで、ループフィルタ処理部は、所定ブロック境界の境界方向に対して直交する方向、例えば右側ブロック境界に対して直交する水平方向のタップ数が最小でないフィルタサイズが選択されている場合、フィルタ処理対象画素の位置に基づき右側ブロック境界から所定範囲内に位置するタップおよびメモリに画像データが記憶されていないタップを判別して、所定範囲内およびメモリに記憶されていない画像データを用いることなくフィルタ演算を行うように、判別されたタップに対して画像データの複写またはフィルタ演算で用いる係数セットの変更を行う。
　［ループフィルタ処理部の構成］
　図２に示す画像符号化装置１０のループフィルタ処理部２６と図６に示す画像復号装置のループフィルタ処理部５８は、同等の構成および動作とされており、本技術の画像処理装置に相当する。
　ループフィルタ処理部は、画像を符号化する際にローカル復号処理されたブロック単位の画像や符号化ストリームを復号処理して生成されたブロック単位の画像に対して、デブロッキング処理およびＳＡＯ処理が行われた画像の処理対象画素に対してタップの構築と係数セットの構築を行い、タップの画像データと係数セットを用いてフィルタ演算を行う。また、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズが選択される場合は、画像データの複写または係数セットを変更してフィルタ演算を行う。
　［ループフィルタ処理部の構成］
　図１４は、ループフィルタ処理部２６の構成を例示している。ループフィルタ処理部２６は、メモリ２６１、タップ構築部２６２、係数構築部２６３、フィルタ演算部２６４、フィルタ制御部２６９を備えている。
　ＳＡＯ部２５から出力された画像データは、メモリ２６１とタップ構築部２６２に供給される。
　メモリ２６１は、フィルタ制御部２６９からの制御信号に基づき、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる所定範囲に含まれていない領域の画像データを記憶する。例えば水平方向のタップ数が最小で５画素であるフィルタサイズで右側ブロック境界からＳＡＯ処理が行われていない範囲内の画像のフィルタ演算を行う場合に、このフィルタ演算に用いられるＳＡＯ処理済みの画像データを記憶する。また、メモリ２６１は、制御信号に基づき記憶している画像データを読み出してタップ構築部２６２に出力する。
　タップ構築部２６２は、ＳＡＯ部２５から供給された画像データやメモリ２６１に記憶されている画像データを用いて、ループフィルタの処理対象画素を基準としてタップを構築する。タップの構築では、フィルタサイズの異なる複数のフィルタが選択可能とされている。タップ構築部２６２は、構築したタップの画像データをフィルタ演算部２６４に出力する。
　係数構築部２６３は、係数メモリ２７からフィルタ演算に用いる係数を読み出して、タップ構築部２６２で構築したタップに対応する係数を決定して、各タップの係数からなる係数セットを構築する。係数構築部２６３は、構築した係数セットをフィルタ演算部２６４に出力する。
　フィルタ演算部２６４は、タップ構築部２６２から供給されたタップの画像データと係数構築部２６３から供給された係数を用いて演算を行い、ループフィルタ処理後の画像データを生成する。
　フィルタ制御部２６９は、制御信号をメモリ２６１に供給して、メモリ２６１への画像データの記憶および記憶されている画像データの読み出しを制御する。また、フィルタ制御部２６９はループフィルタ処理に用いるフィルタの選択を行う。さらに、フィルタ制御部２６９は、処理位置判定部２６９１を有しており、ループフィルタ処理を行う画素位置の判定結果に基づきタップ構築部２６２や係数構築部２６３の制御を行う。フィルタ制御部２６９は、ブロック境界方向のタップ数が最小でないサイズのフィルタを選択する場合、フィルタ処理対象画素の位置に基づき所定範囲内に位置するタップおよびメモリ２６１に画像データが記憶されていないタップを判別して、所定範囲内およびメモリ２６１に記憶されていない画像データを用いることなくフィルタ演算を行うように、判別されたタップに対して画像データの複写またはフィルタ演算で用いる係数セットの変更を行う。例えば、フィルタ制御部２６９は、タップの位置がＳＡＯ処理の行われていない画素位置である場合、ＳＡＯ処理が行われている画像データをＳＡＯ処理の行われていない画素位置の画像データとして複写する。また、タップ位置がメモリ２６１に画像データの記憶されていない画素位置である場合、フィルタ制御部２６９は、メモリ２６１に記憶されている画像データを画像データの記憶されていない画素位置の画像データとして複写する。
　また、画像復号装置のループフィルタ処理部５８では、符号化ストリームに含まれているループフィルタ処理に関する情報に基づきフィルタサイズの選択や係数セットの設定を行う。
　［ループフィルタ処理部の動作］
　図１５，１６は、ループフィルタ処理部２６の動作を示すフローチャートである。ステップＳＴ７１でループフィルタ処理部２６は、対象画像位置の初期化を行ってステップＳＴ７２に進む。
　ステップＳＴ７２でループフィルタ処理部２６は、対象画素位置を決定する。ループフィルタ処理部２６は、ループフィルタ処理を行う画素の位置を対象画素位置としてステップＳＴ７３に進む。
　ステップＳＴ７３でループフィルタ処理部２６は、フィルタサイズが５×５画素であるか判別する。ループフィルタ処理部２６は、５×５画素のフィルタを用いる場合にステップＳＴ８６に進み、１１×５画素のフィルタを用いる場合にステップＳＴ７４に進む。
　ステップＳＴ７４でループフィルタ処理部２６は、対象画素位置が入力境界から左に５画素列目であるか判別する。ループフィルタ処理部２６は、ＳＡＯ処理が行われてループフィルタ処理部２６に画像データが入力される画素と、デブロッキングフィルタ処理が行われていないためにＳＡＯ処理を行うことができずループフィルタ処理部２６にＳＡＯ処理後の画像データを入力することができない画素との境界を入力境界とする。ループフィルタ処理部２６は、対象画素位置が入力境界から左５画素列目である場合にはステップＳＴ７５に進み、対象画素位置が入力境界から左５画素列目よりも左側または右側に位置する場合にはステップＳＴ７６に進む。
　ステップＳＴ７５でループフィルタ処理部２６は、タップ右端から１画素分に対して画像データを複写する。ループフィルタ処理部２６は、ＳＡＯ処理が行われていない画素位置となるタップ右端から１画素の画像データとして、例えば左側に隣接するＳＡＯ処理済みの画素の画像データを複写してステップＳＴ８６に進む。
　ステップＳＴ７６でループフィルタ処理部２６は、対象画素位置が入力境界から左４画素列目であるか判別する。ループフィルタ処理部２６は、対象画素位置が入力境界から左４画素列目である場合にはステップＳＴ７７に進む。また、ループフィルタ処理部２６は、対象画素位置が入力境界から左５画素列目よりも左側または入力境界から左４画素列目よりも右側に位置する場合にはステップＳＴ７８に進む。
　ステップＳＴ７７でループフィルタ処理部２６は、タップ右端から２画素分に対して画像データを複写する。ループフィルタ処理部２６は、ＳＡＯ処理が行われていない画素位置となるタップ右端から２画素分の画像データとして、例えば左側に隣接するＳＡＯ処理済みの画素の画像データを複写してステップＳＴ８６に進む。
　ステップＳＴ７８でループフィルタ処理部２６は、対象画素位置が入力境界から左３画素列目であるか判別する。ループフィルタ処理部２６は、対象画素位置が入力境界から左３画素列目である場合にはステップＳＴ７９に進む。また、ループフィルタ処理部２６は、対象画素位置が入力境界から左５画素列目よりも左側または入力境界から左３画素列目よりも右側に位置する場合にはステップＳＴ８０に進む。
　ステップＳＴ７９でループフィルタ処理部２６は、タップ右端から３画素分に対して画像データを複写する。ループフィルタ処理部２６は、ＳＡＯ処理が行われていない画素位置となるタップ右端から３画素分の画像データとして、例えば左側に隣接するＳＡＯ処理済みの画素の画像データを複写してステップＳＴ８６に進む。
　ステップＳＴ８０でループフィルタ処理部２６は、対象画素位置が入力境界から左２画素列目であるか判別する。ループフィルタ処理部２６は、対象画素位置が入力境界から左２画素列目である場合にはステップＳＴ８１に進む。また、ループフィルタ処理部２６は、対象画素位置が入力境界から左５画素列目よりも左側または入力境界から左２画素列目よりも右側に位置する場合にはステップＳＴ８２に進む。
　ステップＳＴ８１でループフィルタ処理部２６は、タップ左端から３画素分に対して画像データを複写する。ループフィルタ処理部２６は、画像データが記憶されていない画素位置となるタップ左端から３画素分の画像データとして、例えば右側に隣接する画素の記憶されている画像データを複写してステップＳＴ８６に進む。
　ステップＳＴ８２でループフィルタ処理部２６は、対象画素位置が入力境界から左１画素列目であるか判別する。ループフィルタ処理部２６は、対象画素位置が入力境界から左１画素列目である場合にはステップＳＴ８３に進む。また、ループフィルタ処理部２６は、対象画素位置が入力境界から左５画素列目よりも左側または入力境界よりも右側に位置する場合にはステップＳＴ８４に進む。
　ステップＳＴ８３でループフィルタ処理部２６は、タップ左端から２画素分に対して画像データを複写する。ループフィルタ処理部２６は、画像データが記憶されていない画素位置となるタップ左端から２画素の画像データとして、例えば右側に隣接する画素の記憶されている画像データを複写してステップＳＴ８６に進む。
　ステップＳＴ８４でループフィルタ処理部２６は、対象画素位置が入力境界から右１画素列目であるか判別する。ループフィルタ処理部２６は、対象画素位置が入力境界から右１画素列目である場合にはステップＳＴ８５に進む。また、ループフィルタ処理部２６は、対象画素位置が入力境界から左５画素列目よりも左側または入力境界から右１画素列目よりも右側に位置する場合にはステップＳＴ８６に進む。
　ステップＳＴ８５でループフィルタ処理部２６は、タップ左端から１画素分に対して画像データを複写する。ループフィルタ処理部２６は、画像データが記憶されていない画素位置となるタップ左端から１画素の画像データとして、例えば右側に隣接する画素の記憶されている画像データを複写してステップＳＴ８６に進む。
　ステップＳＴ８６でループフィルタ処理部２６は、フィルタ演算を行う。ループフィルタ処理部２６は、ステップＳＴ７４乃至ステップＳＴ８５の処理を行うことで、水平方向のタップサイズが１１画素の場合でも、ＳＡＯ処理が行われていない位置や画像データが記憶されていない位置となる各タップの画像データを決定できる。したがって、ループフィルタ処理部２６は、各タップの画像データとフィルタ係数を用いて演算を行い、対象画素位置のフィルタ処理後の画像データを算出してステップＳＴ８７に進む。
　ステップＳＴ８７でループフィルタ処理部２６は、対象画素位置が入力境界から左３画素列目である処理を完了したか判別する。ループフィルタ処理部２６は、入力境界から左３画素列目のループフィルタ処理を完了した場合には当該ブロックのループフィルタ処理を終了する。その後、ループフィルタ処理部２６は、隣接するブロックの画像データを用いたデブロッキングフィルタ処理とデブロッキングフィルタ処理後の画像データを用いたＳＡＯ処理を行い、入力境界から右側に位置する画像データが入力された場合に、入力境界から左２画素列目の位置からループフィルタ処理を行う。
　ステップＳＴ８８でループフィルタ処理部２６は、対象画素位置を移動する。ループフィルタ処理部２６は、対象画素位置の次の画素位置に移動してステップＳＴ７２に戻る。
　図１７，１８は、タップ構築部２６２の動作を例示している。なお、図１７は、対象画素位置が入力境界ＩＢから左３画素列目（右側ブロック境界ＢＢから左７画素列目）となるまでの処理を例示している。また、図１８は、入力境界ＩＢの右側に位置する画素の画像データが入力されて、対象画素位置が入力境界ＩＢの左２画素列目（右側ブロック境界ＢＢから左６画素列目）から右２画素列目（右側ブロック境界ＢＢから左３画素列目）となるまでの処理を示している。
　図１７の（Ａ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左６画素列目（右側ブロック境界ＢＢから左１０画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左６画素列目の位置である場合、各タップの画像データはＳＡＯ処理が行われている。したがって、画像データの複写を行うことなくフィルタ演算を行う。
　図１７の（Ｂ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左５画素列目（右側ブロック境界ＢＢから左９画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左５画素列目の位置である場合、タップ右端から１画素目の位置はＳＡＯ処理が行われていない画素の位置である。したがって、上述のステップＳＴ７５の処理を行い、タップ右端から１画素の画像データＰb12として、左側に隣接するＳＡＯ処理済みの画素の画像データＰb11を複写してフィルタ演算を行う。
　図１７の（Ｃ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左４画素列目（右側ブロック境界ＢＢから左８画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左４画素列目の位置である場合、タップ右端から２画素目までの位置はＳＡＯ処理が行われていない画素の位置である。したがって、上述のステップＳＴ７７の処理を行い、タップ右端から２画素目までの画像データＰb11，Ｐb12として、左側に隣接するＳＡＯ処理済みの画素すなわちタップ右端から３画素目の画像データＰb10を複写してフィルタ演算を行う。
　図１７の（Ｄ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左３画素列目（右側ブロック境界ＢＢから左７画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左３画素列目の位置である場合、タップ右端から３画素目までの位置はＳＡＯ処理が行われていない画素の位置である。したがって、上述のステップＳＴ７９の処理を行い、タップ右端から３画素目までの画像データＰb10，Ｐb11，Pb12として、左側に隣接するＳＡＯ処理済みの画素すなわちタップ右端から４画素目の画像データＰb9を複写してフィルタ演算を行う。
　なお、図１７の（Ｅ）は、フィルタサイズが５×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左３画素列目（右側ブロック境界ＢＢから左７画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左に３列目の位置である場合、各タップの画像データはＳＡＯ処理が行われている。
　このように、１１×５画素のタップ数であるフィルタが選択されても、画像データを複写することで、５×５画素のタップ数である最小サイズのフィルタで処理が可能な画素位置までフィルタ処理を進めることができる。
　図１８の（Ａ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左２画素列目（右側ブロック境界ＢＢから左６画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左２画素列目の位置である場合、タップ左端から３画素目までの画像データはメモリに記憶されておらず、４画素目から７画素目までの画像データはメモリに記憶されている。また、８画素目から１１画素目までの画像データはＳＡＯ処理が行われてＳＡＯ部２５から供給される。したがって、ループフィルタ処理部２６は、画像データが記憶されていない画素位置となるタップ左端から３画素目までの画像データＰb2，Ｐb3，Ｐb4として、右側に隣接するタップ左端から４画素目の記憶されている画像データＰb5を複写してフィルタ演算を行う。
　図１８の（Ｂ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左１画素列目（右側ブロック境界ＢＢから左５画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左１画素列目の位置である場合、タップ左端から２画素目までの画像データはメモリに記憶されておらず、３画素目から６画素目までの画像データはメモリに記憶されている。また、７画素目から１１画素目までの画像データはＳＡＯ処理が行われてＳＡＯ部２５から供給される。したがって、ループフィルタ処理部２６は、画像データが記憶されていない画素位置となるタップ左端から２画素目までの画像データＰb2，Ｐb3として、右側に隣接するタップ左端から３画素目の記憶されている画像データＰb4を複写してフィルタ演算を行う。
　図１８の（Ｃ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから右１画素列目（右側ブロック境界ＢＢから左４画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから右１画素列目の位置である場合、タップ左端から１画素目までの画像データはメモリに記憶されておらず、２画素目から５画素目までの画像データはメモリに記憶されている。また、６画素目から１１画素目までの画像データはＳＡＯ処理が行われてＳＡＯ部２５から供給される。したがって、ループフィルタ処理部２６は、画像データが記憶されていない画素位置となるタップ左端から１画素の画像データＰb2として、右側に隣接するタップ左端から２画素目の記憶されている画像データＰb3を複写してフィルタ演算を行う。
　図１８の（Ｄ）は、フィルタサイズが１１×５画素のタップ数であり、対象画素位置が入力境界ＩＢから右２画素列目（右側ブロック境界ＢＢから左３画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから右２画素列目の位置である場合、タップ左端から４画素目までの画像データはメモリに記憶されており、５画素目から１１画素目までの画像データはＳＡＯ処理が行われてＳＡＯ部２５から供給される。したがって、ループフィルタ処理部２６は、画像データの複写を行うことなくフィルタ演算を行う。
　なお、図１８の（Ｅ）は、フィルタサイズが５×５画素のタップ数であり、対象画素位置が入力境界ＩＢから左２画素列目（右側ブロック境界ＢＢから左３画素列目）の位置である場合を例示している。対象画素位置が入力境界ＩＢから左２画素列目の位置である場合、タップ左端から４画素目までの画像データはメモリに記憶されており、５画素目の画像データはＳＡＯ処理が行われてＳＡＯ部２５から供給される。したがって、ループフィルタ処理部２６は、ＳＡＯ部２５でＳＡＯ処理が行われた画像データを用いてフィルタ演算を行うことができる。
　このように、画像データを複写して用いるようにすれば、画像データを記憶するメモリが最小のタップサイズに対応させて設けられていても、フィルタサイズに係らず最小のフィルタサイズと等しい画素位置までフィルタ処理を進めることができる。また、その後ＳＡＯ処理が行われた画像データが入力された場合、右側に隣接する画素位置から再びフィルタ処理をフィルタサイズに係らず継続できる。したがって、画像データを記憶するメモリのメモリ容量を最小のフィルタサイズに対応させて設けておけば、フィルタサイズが大きい場合でも画像データを複写することでフィルタサイズが最小の場合と同様にフィルタ処理を行うことができる。例えば、１１×５画素のタップ数であるフィルタを用いる場合でも、左８画素列目から左５画素列目までの４画素列分の画像データを用いてループフィルタ処理を行うことができる。
　また、上述の実施の形態では、画像データが記憶されていない画素位置のタップやＳＡＯ処理が行われていない画素位置のタップの画像データとして、記憶されているまたはＳＡＯ処理が行われている画像データを複写した。しかし、ループフィルタ処理部は、フィルタ係数を変更して、画像データを複写した場合と同様なフィルタ演算結果を得られるようにしてもよい。例えば、図１７において、タップＴb11（画像データＰb11のタップ）に対するフィルタ係数をＦb11、タップＴb12（画像データＰb12のタップ）に対するフィルタ係数をＦb12とする。ここで、図１７の（Ｂ）に示す場合、フィルタ係数Ｆb12を「０」に変更する。また、フィルタ係数Ｆb11は、画像データPb11を画像データＰb12として複写した場合と同様なフィルタ演算結果となる係数、例えば（Ｆb11＋Ｆb12）に変更する。このようにすれば、フィルタ係数を変更して、画像データを複写した場合と同様なフィルタ演算結果を得ることができる。
　さらに、上述の実施の形態では、水平方向のサイズが異なるタップを選択的に用いてループフィルタ処理を行う場合を例示したが、垂直方向のサイズが異なるタップを選択的に用いてループフィルタ処理を行う場合に、同様な処理を行ってもよい。この場合、垂直方向のサイズが最小のタップに応じてラインメモリのメモリ容量を設定しても、垂直方向のサイズが最小でないタップの場合には画像データの複写またはフィルタ係数の変更を行うことでループフィルタ処理を行うことができる。
　また、上述の実施の形態におけるフィルタのタップ数やタップ配置、サイズの異なるフィルタの数等は例示であって、実施の形態に限られない。さらに、本明細書において、ブロックおよびマクロブロックとの用語は、ＨＥＶＣの文脈における符号化単位（ＣＵ：Coding Unit）、予測単位（PU：Prediction Unit）、変換単位（TU：Transform Unit）をも含むものとする。
　また、上述した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory）に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　＜６．応用例＞
　本技術の画像処理装置を用いた上述の実施形態に係る画像符号化装置１０および画像復号装置５０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信等における送信機若しくは受信機、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録する記録装置、または、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　　［第１の応用例］
　図１９は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９０は、制御部９１０、ユーザインタフェース部９１１等を有している。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。すなわち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９０における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリームおよび音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic　Program　Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリームおよび音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタンまたはカーソルなどのＧＵＩ（Graphical　User　Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイまたはＯＬＥＤなど）の映像面上に映像または画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換および増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。外部インタフェース部９０９は、テレビジョン装置９０と外部機器またはネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリームまたは音声ストリームが、デコーダ９０４により復号されてもよい。すなわち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９０における伝送手段としての役割を有する。
　制御部９１０は、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、並びにＲＡＭ（Random　Access　Memory）およびＲＯＭ（Read　Only　Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、およびネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９０の動作を制御する。
　ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９および制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９０において、デコーダ９０４は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、テレビジョン装置９０での画像の復号に際して、ループフィルタ処理を行うために画像データを記憶するメモリのメモリ容量を削減できる。
　　［第２の応用例］
　図２０は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、およびバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４およびマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、および制御部９３１を相互に接続する。
　携帯電話機９２は、音声通話モード、データ通信モード、撮影モードおよびテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メールまたは画像データの送受信、画像の撮像、およびデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張しおよびＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭまたはフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。これら送信信号および受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調および復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリームおよび音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張しおよびＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０および画像復号装置５０の機能を有する。それにより、携帯電話機９２での画像の符号化および復号に際して、ループフィルタ処理を行うために画像データを記憶するメモリのメモリ容量を削減できる。
　　［第３の応用例］
　図２１は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４は、例えば、受信した放送番組の音声データおよび映像データを符号化して記録媒体に記録する。また、記録再生装置９４は、例えば、他の装置から取得される音声データおよび映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタおよびスピーカ上で再生する。このとき、記録再生装置９４は、音声データおよび映像データを復号する。
　記録再生装置９４は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）部９４８、制御部９４９、およびユーザインタフェース部９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。すなわち、チューナ９４１は、記録再生装置９４における伝送手段としての役割を有する。
　外部インタフェース部９４２は、記録再生装置９４と外部機器またはネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、またはフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。すなわち、外部インタフェース部９４２は、記録再生装置９４における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）またはＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像および音声の記録時には、チューナ９４１またはエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像および音声の再生時には、ＨＤＤ９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データおよび音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ部９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ部９４８は、表示する映像に、例えばメニュー、ボタンまたはカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭおよびＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４の動作を制御する。
　ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、記録再生装置９４での画像の符号化および復号に際して、ループフィルタ処理を行うために画像データを記憶するメモリのメモリ容量を削減できる。
　　［第４の応用例］
　図２２は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０、ユーザインタフェース部９７１、およびバス９７２を備える。
　光学ブロック９６１は、フォーカスレンズおよび絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号をカメラ信号処理部９６３へ出力する。
　カメラ信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、カメラ信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、カメラ信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ部９６９は、例えばメニュー、ボタンまたはカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース部９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスクまたは光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６にインストールされ得る。さらに、外部インタフェース部９６６は、ＬＡＮまたはインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。すなわち、外部インタフェース部９６６は、撮像装置９６における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブまたはＳＳＤ（Solid State Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭおよびＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６の動作を制御する。
　ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６を操作するためのボタンおよびスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ部９６９、および制御部９７０を相互に接続する。
　このように構成された撮像装置９６において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０および画像復号装置５０の機能を有する。それにより、撮像装置９６での画像の符号化および復号に際して、ループフィルタ処理を行うために画像データを記憶するメモリのメモリ容量を削減できる。
　さらに、本技術は、上述した実施形態に限定して解釈されるべきではない。この実施形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　なお、本技術の画像処理装置は以下のような構成も取ることができる。
　（１）符号化ストリームを復号処理して画像を生成する復号部と、
　前記復号部により生成されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行うフィルタ演算部と、
　所定ブロック境界の境界方向に対して直交する方向のタップ数が最小であるフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データを記憶するメモリと、
　前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズである場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行うフィルタ制御部と
を備える画像処理装置。
　（２）　前記フィルタ制御部は、前記メモリに画像データが記憶されている隣接画素の画像データを前記判別されたタップの画像データとして複写する（１）に記載の画像処理装置。
　（３）　前記フィルタ制御部は、前記メモリに画像データが記憶されている隣接画素の係数を変更する（１）に記載の画像処理装置。
　（４）　前記所定ブロック境界の境界方向に対して直交する方向は水平方向である（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記所定範囲は、デブロッキングフィルタ処理が行われていないためにＳＡＯ処理を行うことができない画像範囲である（１）乃至（４）の何れかに記載の画像処理装置。
　（６）　画像を符号化する際にローカル復号処理されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行うフィルタ演算部と、
　所定ブロック境界の境界方向に対して直交する方向のタップ数が最小であるフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データを記憶するメモリと、
　前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズである場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行うフィルタ制御部と
を備える画像処理装置。
　（７）　前記フィルタ制御部は、前記フィルタ演算に用いた前記フィルタサイズと係数セットの情報を、前記符号化ストリームに含める（６）に記載の画像処理装置。
　（８）　前記フィルタ演算に用いた前記フィルタサイズは、符号化効率の良いフィルタサイズである（６）または（７）の何れかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法によれば、メモリでは、所定ブロック境界の境界方向に対して直交する方向のタップ数が最小であるフィルタサイズで所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる所定範囲に含まれていない領域の画像データが記憶される。また、フィルタ制御部では、ブロック境界方向のタップ数が最小でないフィルタサイズが選択されている場合、フィルタ処理対象画素の位置に基づき所定範囲内に位置するタップおよびメモリに画像データが記憶されていないタップを判別して、所定範囲内およびメモリに記憶されていない画像データを用いることなくフィルタ演算を行うように、判別されたタップに対して画像データの複写またはフィルタ演算で用いる係数セットの変更が行われる。このため、異なるサイズのフィルタを選択的に用いてフィルタ演算を行う場合に、最小サイズのフィルタに対応させて画像データをメモリに記憶させても、最小サイズよりも大きいフィルタサイズでフィルタ演算が可能となり、適応ループフィルタ処理を行うために画像データを記憶するメモリのメモリ容量を削減できる。この技術の画像処理装置や画像処理方法を適用した電子機器を安価に提供することが可能となる。
　１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５９・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ処理部、２５，５７・・・ＳＡＯ部、２６，５８・・・ループフィルタ処理部、２７・・・係数メモリ、２８，６１・・・フレームメモリ、２９，６２，６５・・・セレクタ、３１，６３・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５１・・・蓄積バッファ、５２・・・可逆復号部、６０・・・Ｄ／Ａ変換部、６４・・・動き補償部、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、２６１・・・メモリ、２６２・・・タップ構築部、２６３・・・係数構築部、２６４・・・フィルタ演算部、２６９・・・フィルタ制御部、２６９１・・・処理位置判定部

Claims (10)

  1. 　符号化ストリームを復号処理して画像を生成する復号部と、
    　前記復号部により生成されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行うフィルタ演算部と、
    　所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データを記憶するメモリと、
    　前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズが選択されている場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行うフィルタ制御部と
    を備える画像処理装置。
  2. 　前記フィルタ制御部は、前記メモリに画像データが記憶されている隣接画素の画像データを前記判別されたタップの画像データとして複写する請求項１記載の画像処理装置。
  3. 　前記フィルタ制御部は、前記メモリに画像データが記憶されている隣接画素の係数を変更する請求項１記載の画像処理装置。
  4. 　前記所定ブロック境界の境界方向に対して直交する方向は水平方向である請求項１記載の画像処理装置。
  5. 　前記所定範囲は、デブロッキングフィルタ処理が行われていないためにＳＡＯ（Sample Adaptive Offset）処理を行うことができない画像範囲である請求項１記載の画像処理装置。
  6. 　符号化ストリームを復号処理して画像を生成する工程と、
    　前記復号処理により生成されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行う工程と、
    　所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データをメモリに記憶する工程と、
    　前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズが選択されている場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行う工程と
    含む画像処理方法。
  7. 　画像を符号化する際にローカル復号処理されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行うフィルタ演算部と、
    　所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データを記憶するメモリと、
    　前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズを選択する場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行うフィルタ制御部と
    を備える画像処理装置。
  8. 　前記フィルタ制御部は、前記フィルタ演算に用いた前記フィルタサイズと係数セットの情報を、前記符号化ストリームに含める請求項７記載の画像処理装置。
  9. 　前記フィルタ演算に用いた前記フィルタサイズは、符号化効率の良いフィルタサイズである請求項８記載の画像処理装置。
  10. 　画像を符号化する際にローカル復号処理されたＣＵ（Coding Unit）単位の画像のフィルタ処理対象画素に対して構築されたタップの画像データと係数セットを用いてフィルタ演算を行う工程と、
    　所定ブロック境界の境界方向に対して直交する方向のタップ数が最小である選択可能なフィルタサイズで前記所定ブロック境界から所定範囲内の画像のフィルタ演算を行う場合における該フィルタ演算に用いられる前記所定範囲に含まれていない領域の画像データをメモリに記憶する工程と、
    　前記所定ブロック境界の境界方向に対して直交する方向のタップ数が最小でないフィルタサイズを選択する場合、前記フィルタ処理対象画素の位置に基づき前記所定範囲内に位置するタップおよび前記メモリに画像データが記憶されていないタップを判別して、前記所定範囲内および前記メモリに記憶されていない画像データを用いることなく前記フィルタ演算を行うように、前記判別されたタップに対して画像データの複写または前記フィルタ演算で用いる係数セットの変更を行う工程と
    を含む画像処理方法。
PCT/JP2012/077347 2011-11-02 2012-10-23 画像処理装置と画像処理方法 WO2013065527A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011241680A JP2013098873A (ja) 2011-11-02 2011-11-02 画像処理装置と画像処理方法
JP2011-241680 2011-11-02

Publications (1)

Publication Number Publication Date
WO2013065527A1 true WO2013065527A1 (ja) 2013-05-10

Family

ID=48191881

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/077347 WO2013065527A1 (ja) 2011-11-02 2012-10-23 画像処理装置と画像処理方法

Country Status (2)

Country Link
JP (1) JP2013098873A (ja)
WO (1) WO2013065527A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015170994A (ja) 2014-03-07 2015-09-28 ソニー株式会社 画像処理装置および方法、画像符号化装置および方法、並びに、画像復号装置および方法
JP6519185B2 (ja) * 2015-01-13 2019-05-29 富士通株式会社 動画像符号化装置
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076986A (ja) * 2001-09-05 2003-03-14 Noritsu Koki Co Ltd データ整列回路
JP2005295319A (ja) * 2004-04-01 2005-10-20 Renesas Technology Corp 動き検出装置
WO2013001945A1 (ja) * 2011-06-28 2013-01-03 ソニー株式会社 画像処理装置と画像処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076986A (ja) * 2001-09-05 2003-03-14 Noritsu Koki Co Ltd データ整列回路
JP2005295319A (ja) * 2004-04-01 2005-10-20 Renesas Technology Corp 動き検出装置
WO2013001945A1 (ja) * 2011-06-28 2013-01-03 ソニー株式会社 画像処理装置と画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHING-YEH CHEN ET AL.: "Adaptive Loop Filter with Zero Pixel Line Buffers for LCU-based Decoding", JCTVC-F054, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11, 14 July 2011 (2011-07-14), pages 1 - 11 *

Also Published As

Publication number Publication date
JP2013098873A (ja) 2013-05-20

Similar Documents

Publication Publication Date Title
JP6477939B2 (ja) テレビジョン装置、携帯電話機、再生装置、カメラ、および画像処理方法
KR102005209B1 (ko) 화상 처리 장치와 화상 처리 방법
KR101696950B1 (ko) 화상 처리 장치 및 방법
WO2013001945A1 (ja) 画像処理装置と画像処理方法
WO2012017858A1 (ja) 画像処理装置と画像処理方法
US20150036758A1 (en) Image processing apparatus and image processing method
WO2012063878A1 (ja) 画像処理装置と画像処理方法
WO2011086963A1 (ja) 画像処理装置および方法
WO2013088833A1 (ja) 画像処理装置及び画像処理方法
JP2013150164A (ja) 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2013047325A1 (ja) 画像処理装置および方法
WO2013065527A1 (ja) 画像処理装置と画像処理方法
WO2014002900A1 (ja) 画像処理装置および画像処理方法
WO2014156705A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12846646

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12846646

Country of ref document: EP

Kind code of ref document: A1