WO2011145601A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2011145601A1
WO2011145601A1 PCT/JP2011/061288 JP2011061288W WO2011145601A1 WO 2011145601 A1 WO2011145601 A1 WO 2011145601A1 JP 2011061288 W JP2011061288 W JP 2011061288W WO 2011145601 A1 WO2011145601 A1 WO 2011145601A1
Authority
WO
WIPO (PCT)
Prior art keywords
filter
block
unit
image
processing
Prior art date
Application number
PCT/JP2011/061288
Other languages
English (en)
French (fr)
Inventor
佐藤　数史
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US13/640,243 priority Critical patent/US8855434B2/en
Priority to RU2012147780/08A priority patent/RU2580056C2/ru
Priority to EP11783535.5A priority patent/EP2574055A4/en
Priority to KR1020127029404A priority patent/KR101808357B1/ko
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to BR112012028934-9A priority patent/BR112012028934B1/pt
Priority to KR1020187031113A priority patent/KR102005209B1/ko
Priority to CN201180023207.5A priority patent/CN102934429B/zh
Priority to JP2012515888A priority patent/JPWO2011145601A1/ja
Priority to KR1020177035086A priority patent/KR101914896B1/ko
Publication of WO2011145601A1 publication Critical patent/WO2011145601A1/ja
Priority to US14/464,157 priority patent/US9167267B2/en
Priority to US14/464,133 priority patent/US9253506B2/en
Priority to US14/921,423 priority patent/US10477206B2/en
Priority to US16/587,063 priority patent/US20200029074A1/en
Priority to US16/587,065 priority patent/US20200029075A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • This technology relates to an image processing apparatus and an image processing method. Specifically, a decoded image of good image quality is obtained.
  • devices that handle image information as digital and perform efficient transmission and storage of information at that time for example, devices conforming to a method such as MPEG that performs compression by orthogonal transformation such as discrete cosine transformation and motion compensation are broadcast stations And it is getting popular in general homes.
  • MPEG2 ISO / IEC 13818-2
  • MPEG2 ISO / IEC 13818-2
  • MPEG2 compression method for example, in the case of an interlace scan image of standard resolution having 720 ⁇ 480 pixels, it is possible to realize good image quality by allocating a 4 to 8 Mbps code amount (bit rate). Further, in the case of a high resolution interlaced scanning image having 1920 ⁇ 10 88 pixels, it is possible to realize good image quality by allocating a code amount (bit rate) of 18 to 22 Mbps.
  • MPEG2 was mainly intended for high-quality coding suitable for broadcasting, it did not correspond to a coding amount (bit rate) lower than that of MPEG1, that is, a coding method with a higher compression rate.
  • bit rate bit rate
  • MPEG4 coding amount
  • image coding method that standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.
  • H.26L ITU-T Q6 / 16 VCEG
  • H.264 ISO-T Q6 / 16 VCEG
  • FRExt including RGB, 4: 2: 2, 4: 4: 4, etc., necessary coding tools necessary for business use, and 8 ⁇ 8 DCT and quantization matrix defined in MPEG2 Standardization of Fidelity Range Extension was completed in February 2005.
  • H.264 / AVC system has become a coding system capable of well representing film noise included in a movie, and has been used for a wide range of applications such as Blu-Ray (registered trademark).
  • encoding of image data is performed in block units. Further, in decoding of encoded data, as shown in, for example, Patent Document 1, performing block processing on the basis of block boundary strength and a quantization parameter is performed to suppress block distortion.
  • Non-Patent Document 1 the macroblock size is set to MPEG2, H.264, H.264, and so forth. It has been proposed to make the size larger than H.264 / AVC, for example, 32 pixels ⁇ 32 pixels. That is, according to Non-Patent Document 1, H.264 and H.264 are applied to 16 ⁇ 16 pixel blocks and below by adopting a hierarchical structure for macroblocks. It is compatible with macroblocks in H.264 / AVC, and larger blocks are defined as its superset.
  • block distortion when block distortion is removed by the conventional deblocking filter, block distortion becomes large particularly at a low bit rate, and block distortion may not be sufficiently removed, which may cause deterioration in image quality.
  • the present technology has an object of providing an image processing apparatus and an image processing method that can obtain an image of good image quality even when using various block sizes or using blocks of expanded sizes. Do.
  • a decoding unit for decoding image data encoded block by block; A tap length or a tap length of the filtering process on a block boundary according to a filter that performs a filtering process for removing block distortion on the decoded image data decoded by the decoding unit and a block size of an adjacent block adjacent to the block boundary.
  • a filter setting unit configured to set a filter processing target pixel range to be processed by the filter processing.
  • a filter that performs filter processing for removing block distortion on a target of decoded image data obtained by decoding image data encoded for each block, and a filter setting unit that sets the filter are provided.
  • the filter setting unit for example, when at least one of the adjacent blocks adjacent to the block boundary is expanded beyond a predetermined block size, the tap length of the filter processing for the block boundary is set longer as the block size becomes larger.
  • the filtering target pixel range to be processed is set wider as the block size is larger. Further, the tap length of the filtering process or the filtering target pixel range is set in accordance with the block size of the adjacent block in the adjacent block.
  • case classification is performed according to the block size of the adjacent block, and taps for filtering are performed according to the case where both of the adjacent blocks are smaller than the predetermined block size and at least one is expanded beyond the predetermined block size.
  • the length and the filtering target pixel range are set.
  • the case classification for example, the case where the adjacent block is 16 ⁇ 16 pixels or less, the case where at least one of the two blocks is larger than 16 ⁇ 16 pixels but both are 32 ⁇ 32 pixels or less, and at least one of the two blocks is It is classified when it is larger than 32 ⁇ 32 pixels.
  • the block size is a prediction block size which is a processing unit when performing intra prediction or inter prediction.
  • the filter setting unit sets the tap length or the filter target pixel range according to whether the decoded image data is image data for generation of a predicted image or image data for image display. It will be.
  • a second aspect of this technique is a decoding step of decoding image data encoded block by block, and a filter step of performing filter processing for removing block distortion from the decoded image data decoded in the decoding step. And a filter step of setting a tap length of the filter processing on the block boundary or a filter processing target pixel range to be processed according to the block size of the adjacent block adjacent to the block boundary. It's in the way.
  • a third aspect of the present invention which is a filter for removing block distortion from decoded image data obtained by locally decoding image data subjected to orthogonal transformation and quantization, and adjacency adjacent at a block boundary
  • a filter setting unit that sets a tap length of the filter processing on a block boundary or a filter target pixel range to be processed by the filter processing according to a block size of the block, and a decoded image subjected to the filter processing by the filter
  • an encoding unit that encodes each image data block using data.
  • the present invention relates to a filter step of performing filter processing for removing block distortion on decoded image data obtained by locally decoding orthogonally transformed and quantized image data.
  • a filter setting step of setting a tap length of the filter processing for a block boundary or a filter target pixel range to be a target of the filter processing according to the block size of the adjacent block, and the filter processing in the filter step And an encoding process of encoding each image data block using the decoded image data.
  • the image processing apparatus of the present technology can be applied to an image coding apparatus that encodes image data with a prediction block size, an image decoding apparatus that decodes image data that has been encoded with a prediction block size, and the like. It is. Therefore, the case of application to the image coding device and the case of application to the image decoding device will be described in the following order. 1. Configuration of image coding apparatus About filtering process of deblocking filter 3. Configuration of Deblocking Filter in Image Coding Device Operation of image coding device 5. Configuration of image decoding apparatus 6. Operation of Image Decoding Device Application example
  • FIG. 1 shows the configuration of the image coding apparatus.
  • the image coding apparatus 10 includes an analog / digital conversion unit (A / D conversion unit) 11, a screen rearrangement buffer 12, a subtraction unit 13, an orthogonal conversion unit 14, a quantization unit 15, a lossless encoding unit 16, and an accumulation buffer 17. , Rate control unit 18. Furthermore, the image coding apparatus 10 includes an inverse quantization unit 21, an inverse orthogonal transformation unit 22, an addition unit 23, a deblocking filter 24, a frame memory 25, a selector 26, an intra prediction unit 31, a motion prediction / compensation unit 32, a prediction. An image / optimum mode selection unit 33 is provided.
  • the A / D conversion unit 11 converts an analog image signal into digital image data and outputs the digital image data to the screen rearrangement buffer 12.
  • the screen rearrangement buffer 12 rearranges frames of the image data output from the A / D converter 11.
  • the screen rearrangement buffer 12 rearranges the frames according to the GOP (Group of Pictures) structure related to the encoding process, and the image data after the rearrangement is subjected to the subtraction unit 13, the intra prediction unit 31, and the motion prediction / compensation unit Output to 32.
  • GOP Group of Pictures
  • the subtraction unit 13 is supplied with the image data output from the screen rearrangement buffer 12 and the prediction image data selected by the prediction image / optimum mode selection unit 33 described later.
  • the subtraction unit 13 calculates prediction error data, which is the difference between the image data output from the screen rearrangement buffer 12 and the prediction image data supplied from the prediction image / optimum mode selection unit 33, to the orthogonal transformation unit 14. Output.
  • the orthogonal transformation unit 14 performs orthogonal transformation processing such as discrete cosine transformation (DCT; Discrete Cosine Transform), Karhunen-Loeve transformation, or the like on the prediction error data output from the subtraction unit 13.
  • the orthogonal transform unit 14 outputs transform coefficient data obtained by performing orthogonal transform processing to the quantization unit 15.
  • the quantization unit 15 is supplied with the transform coefficient data output from the orthogonal transformation unit 14 and a rate control signal from a rate control unit 18 described later.
  • the quantization unit 15 quantizes the transform coefficient data, and outputs the quantized data to the lossless encoding unit 16 and the inverse quantization unit 21. Further, the quantization unit 15 switches the quantization parameter (quantization scale) based on the rate control signal from the rate control unit 18 to change the bit rate of the quantization data.
  • the lossless encoding unit 16 receives the quantization data output from the quantization unit 15, and prediction mode information from the intra prediction unit 31, the motion prediction / compensation unit 32, and the prediction image / optimum mode selection unit 33 described later. Ru.
  • the prediction mode information includes a macroblock type capable of identifying the prediction block size according to intra prediction or inter prediction, prediction mode, motion vector information, reference picture information and the like.
  • the lossless encoding unit 16 performs lossless encoding processing on the quantized data by, for example, variable-length encoding or arithmetic encoding, and generates an encoded stream and outputs the encoded stream to the accumulation buffer 17. Also, the lossless encoding unit 16 losslessly encodes the prediction mode information and adds it to the header information of the encoded stream.
  • the accumulation buffer 17 accumulates the coded stream from the lossless coding unit 16. Further, the accumulation buffer 17 outputs the accumulated encoded stream at a transmission rate according to the transmission path.
  • the rate control unit 18 monitors the free space of the accumulation buffer 17, generates a rate control signal according to the free space, and outputs the rate control signal to the quantization unit 15.
  • the rate control unit 18 acquires, for example, information indicating the free space from the accumulation buffer 17.
  • the rate control unit 18 reduces the bit rate of the quantized data by the rate control signal when the free space is reduced. Further, when the free space of the accumulation buffer 17 is sufficiently large, the rate control unit 18 increases the bit rate of the quantized data by the rate control signal.
  • the inverse quantization unit 21 performs inverse quantization processing of the quantized data supplied from the quantization unit 15.
  • the inverse quantization unit 21 outputs transform coefficient data obtained by performing the inverse quantization process to the inverse orthogonal transform unit 22.
  • the inverse orthogonal transformation unit 22 outputs data obtained by performing inverse orthogonal transformation processing of the transform coefficient data supplied from the inverse quantization unit 21 to the addition unit 23.
  • the addition unit 23 adds the data supplied from the inverse orthogonal transformation unit 22 and the predicted image data supplied from the predicted image / optimum mode selection unit 33 to generate decoded image data, and the deblocking filter 24 and the frame memory Output to 25
  • the deblocking filter 24 performs a filtering process to reduce block distortion that occurs during image coding.
  • the deblocking filter 24 performs filter processing for removing block distortion from the decoded image data supplied from the addition unit 23, and outputs the decoded image data after filter processing to the frame memory 25. Further, the deblocking filter 24 sets the tap length and the filter processing target pixel range based on the parameter value supplied from the filter setting unit 41 described later.
  • the frame memory 25 holds the decoded image data supplied from the adding unit 23 and the decoded image data after filter processing supplied from the deblocking filter 24.
  • the selector 26 supplies the decoded image data before the filtering process read out from the frame memory 25 to perform the intra prediction to the intra prediction unit 31. Further, the selector 26 supplies the decoded image data after filter processing read from the frame memory 25 to the motion prediction / compensation unit 32 in order to perform inter prediction.
  • the intra prediction unit 31 uses the image data of the image to be encoded output from the screen rearrangement buffer 12 and the decoded image data before filter processing read from the frame memory 25 to generate the intra for all candidate intra prediction modes. Perform prediction processing. Furthermore, the intra prediction unit 31 calculates a cost function value for each intra prediction mode, and optimizes the intra prediction mode in which the calculated cost function value is the smallest, that is, the intra prediction mode in which the coding efficiency is the best. Select as intra prediction mode. The intra prediction unit 31 outputs predicted image data generated in the optimal intra prediction mode, prediction mode information on the optimal intra prediction mode, and a cost function value in the optimal intra prediction mode to the predicted image / optimum mode selection unit 33. Further, as described later, the intra prediction unit 31 obtains prediction code information on the intra prediction mode in the lossless encoding unit 16 in the intra prediction process of each intra prediction mode in order to obtain the generated code amount used for calculating the cost function value. Output.
  • the motion prediction / compensation unit 32 performs motion prediction / compensation processing on all prediction block sizes corresponding to the macro block.
  • the motion prediction / compensation unit 32 uses the decoded image data after filter processing read from the frame memory 25 for each image of each prediction block size in the encoding target image read from the screen rearrangement buffer 12. Detect motion vectors. Furthermore, the motion prediction / compensation unit 32 performs motion compensation processing on the decoded image based on the detected motion vector to generate a predicted image. Also, the motion prediction / compensation unit 32 calculates a cost function value for each prediction block size, and calculates a prediction block size that minimizes the calculated cost function value, that is, a prediction block size that achieves the best coding efficiency. , Select as the optimal inter prediction mode.
  • the motion prediction / compensation unit 32 outputs predicted image data generated in the optimal inter prediction mode, prediction mode information on the optimal inter prediction mode, and a cost function value in the optimal inter prediction mode to the predicted image / optimum mode selection unit 33. Do. Also, the motion prediction / compensation unit 32 outputs prediction mode information related to the inter prediction mode to the lossless encoding unit 16 in the inter prediction processing with each prediction block size, in order to obtain the generated code amount used for calculating the cost function value. Do. The motion prediction / compensation unit 32 also performs prediction in skipped macroblocks or direct mode as the inter prediction mode.
  • the predicted image / optimum mode selection unit 33 compares the cost function value supplied from the intra prediction unit 31 with the cost function value supplied from the motion prediction / compensation unit 32 in units of macroblocks, and the cost function value is smaller. Is selected as the optimal mode in which the coding efficiency is the best. Further, the predicted image / optimum mode selection unit 33 outputs the predicted image data generated in the optimum mode to the subtraction unit 13 and the addition unit 23. Further, the predicted image / optimum mode selection unit 33 outputs the prediction mode information of the optimum mode to the lossless encoding unit 16 and the filter setting unit 41. The predicted image / optimum mode selection unit 33 performs intra prediction or inter prediction on a slice basis.
  • the filter setting unit 41 generates a parameter value for setting the filter tap length and the filter target pixel range according to the prediction block size indicated by the prediction mode information of the optimum mode, and outputs the parameter value to the deblocking filter 24 Do.
  • deblocking filter filtering In the filtering process of the deblocking filter, H264.
  • deblocking_filter_control_present_flag of Picture Parameter Set RBSP included in image compression information and disable_deblocking_filter_idc included in Slice Header are used. It is possible to specify three ways: (a) applied to block boundaries and macroblock boundaries, (b) applied only to Macroblock boundaries, and (c) not applied.
  • QP when applying the following processing to luminance data, QPY is used, and when applying to chrominance data, QPC is used. Also, in motion vector coding, intra prediction, and entropy coding (CAVLC / CABAC), pixel values belonging to different slices are processed as “not available”. Furthermore, in the filtering process, even when pixel values belonging to different slices belong to the same picture, processing is performed as “available”.
  • pixel data before filter processing at block boundaries are p0 to p4 and q0 to q4 from boundary positions as shown in FIG. 2A. Further, as shown in FIG. 2B, the pixel data after processing is p0 'to p4' and q0 'to q4' from the boundary position.
  • block boundary strength data Bs (Boundary Strength) is defined for the pixels p and q in FIG.
  • the block boundary strength data Bs belongs to the macro block MB in which either the pixel p or the pixel q is intra-coded and the pixel is located at the boundary of the macro block MB. , "4" with the highest filter strength is assigned.
  • the block boundary strength data Bs is next to “4” when the pixel p or the pixel q belongs to the macroblock MB to be intra-coded and the pixel is not located at the boundary of the macroblock MB.
  • a high filter strength "3" is assigned.
  • the block boundary strength data Bs does not belong to the macro block MB in which both the pixel p and the pixel q are intra-coded, and when any pixel has a transform coefficient, the filter following “3” A high strength "2" is assigned.
  • the block boundary strength data Bs does not belong to the macroblock MB in which both the pixel p and the pixel q are intra-coded, and satisfies the condition that one of the pixels has no transform coefficient, and “1” is assigned when either the reference frame is different, the number of reference frames is different, or the motion vector is different.
  • the block boundary strength data Bs does not belong to the macro block MB in which both the pixels p and q are intra-coded, and when neither pixel has a transform coefficient and the reference frame and the motion vector are the same, “0” Is assigned. In addition. "0" means that no filtering process is performed.
  • the threshold values ⁇ and ⁇ which are parameter values for adjusting the filter strength, that is, the ease of application of the filter, are determined by default according to the quantization parameter QP as follows.
  • the user can adjust the strength by two parameters of slice_alpha_c0_offset_div2 and slice_beta_offset_div2 included in Slice Header in the image compression information.
  • FIG. 3 shows the relationship between the quantization parameter QP and the threshold value ⁇ . When an offset amount is added to the quantization parameter QP, the curve showing the relationship between the quantization parameter QP and the threshold value ⁇ moves in the direction of the arrow. From the above, it is clear to adjust the filter strength.
  • index A and index B are calculated from the equations (2) to (4) using the quantization parameters qPp and qPq of the adjacent block P and block Q, respectively, and the thresholds ⁇ and ⁇ are determined from the table shown in Table 2.
  • qPav (qPp + qPq + 1) >> 1
  • indexA Clip3 (0, 51, qPav + FilterOffsetA)
  • index B Clip 3 (0, 51, qPav + FilterOffset B) (4)
  • the deblocking filter performs operations shown in equations (5) to (7) to calculate pixel data p0 ′ and q0 ′ after filter processing.
  • Clip3 indicates clipping processing.
  • p0 ′ Clip 1 (p 0 + ⁇ ) (5)
  • q0 ' Clip1 (q0 + ⁇ ) (6)
  • ⁇ Clip 3 ( ⁇ tc, tc ((((q0 ⁇ p0) ⁇ 2) + (p1 ⁇ q1) +4) >> 3)) (7))
  • the deblocking filter calculates “tc” in the equation (7) based on the equation (8) when the chromaEdgeFlag indicates “0”, and calculates based on the equation (9) otherwise.
  • (10) aq
  • the deblocking filter calculates the pixel data p1 ′ after filter processing by performing the operation shown in equation (12) when chromaEdgeFlag is “0” and ap is “ ⁇ ” or less, and other than that In this case, it is acquired by equation (13).
  • p1 ' p1 + Clip3 (-tc0, tc0, (p2 + ((p0 + q0 + 1) >> 1)-(p1 ⁇ 1)) >> 1) (12)
  • p1 ' p1 (13)
  • the deblocking filter calculates the pixel data q1 ′ after filter processing by performing the operation shown in equation (14) when the chromaEdgeFlag is “0” and aq is “ ⁇ ” or less, and other than that In this case, it is acquired by equation (15).
  • q1 ' q1 + Clip3 (-tc0, tc0, (q2 + ((p0 + q0 + 1) >> 1)-(q1 ⁇ 1)) >> 1) (14)
  • q1 ' q1 (15)
  • the deblocking filter calculates pixel data p0 ′, p1 ′, p2 ′ according to equations (19) to (21) when the chromaEdgeFlag indicates “0” and the condition of equation (18) is satisfied.
  • the deblocking filter calculates pixel data q0 ′, q1 ′, q2 ′ according to equations (26) to (28) when chromaEdgeFlag indicates “0” and the condition of equation (25) is satisfied.
  • q0 ′ (p1 + 2 ⁇ p0 + 2 ⁇ q0 + 2 ⁇ q1 + q2 + 4)
  • q1 ′ (p0 + q0 + q1 + q2 + 2) >> 2
  • q2 ' (2 * q3 + 3 * q2 + q1 + q0 + p4 + 4) >> 3 (28)
  • the deblocking filter calculates pixel data q0 ′, q1 ′, q2 ′ according to equations (29) to (31) when chromaEdgeFlag indicates “0” and the condition of equation (25) is not satisfied. .
  • q0 ' (2 * q1 + q0 + p1 + 2) >> 2
  • q1 ' q1 (30)
  • q2 ' q2 (31)
  • filter processing is performed using pixel data p0 to p3 and q0 to q3 to calculate pixel data p0 'to p2' and q0 'to q2'.
  • the filter setting unit 41 sets the tap length and the filtering target pixel range in the deblocking filter 24 according to the prediction block size in the optimum mode in the macroblock.
  • block distortion is more noticeable to human eyes when the block size is larger. Also, larger block sizes are more likely to be selected for flat areas that do not contain much texture information.
  • the filter setting unit 41 performs case classification in accordance with the block size on the adjacent side in two adjacent blocks, and sets the tap length for filter processing and the pixel range to be subjected to filter processing in accordance with the case classification result.
  • the filter setting unit 41 classifies, for example, a case in which adjacent sides of two adjacent blocks both have a predetermined block size or less and a case in which at least one is expanded beyond a predetermined block size.
  • the filter setting unit 41 sets both adjacent block sizes in two adjacent blocks to a predetermined block size or less, for example, H.264.
  • filter processing is performed as described above to calculate pixel data p0 'to p2' and q0 'to q2'.
  • the filter setting unit 41 expands the tap length and the filter processing target pixel range in accordance with the block size of the block boundary.
  • the filter setting unit 41 extends the tap length and the filtering target pixel range, and the portion with a large block size and a high degree of block distortion is likely to be far away from the smoothing process or the block boundary.
  • the filter processing is performed up to the pixel value of. Therefore, block distortion is less noticeable and the subjective image quality of the decoded image is made more preferable.
  • the filter setting unit 41 generates a parameter value indicating the tap length set according to the prediction block size and the filter processing target pixel range, and supplies the parameter value to the deblocking filter 24.
  • the filter setting unit 41 sets the tap length to be longer and the filter target pixel range wider as the block size is larger. You may
  • FIG. 4 shows the configuration of the deblocking filter and the filter setting unit.
  • the filter setting unit 41 includes a block size buffer 411 and a parameter value generation unit 412.
  • the deblocking filter 24 further includes a filter strength determination unit 241 and a filter processing unit 242.
  • the block size buffer 411 accumulates information indicating the predicted block size in the optimum mode selected by the predicted image / optimum mode selection unit 33 for one frame image. That is, in the block size buffer 411, information regarding the predicted block size of each macro block in the one frame image to be encoded is stored.
  • the parameter value generation unit 412 determines the prediction block size on the adjacent side in two adjacent blocks based on the information of the prediction block size of the block size buffer 411.
  • the parameter value generation unit 412 generates, based on the determined prediction block size, the filter length determination unit by generating the tap length of the filter processing for the block boundary of the two blocks and the parameter value for setting the filter processing target pixel range. It supplies to 241.
  • the filter strength determination unit 241 determines block boundary strength data Bs based on the prediction mode information supplied from the lossless encoding unit 16 and determines the determined block boundary strength data Bs and the parameters supplied from the parameter value generation unit 412. The value is output to the filter processing unit 242.
  • the filter processing unit 242 performs filter processing in the block boundary strength data Bs, the tap length indicated by the parameter value, and the filter processing target pixel range, and calculates pixel data after the filter processing.
  • a predetermined block size (16 ⁇ 16 pixels) a predetermined block size (16 ⁇ 16 pixels
  • the tap length is set to an extended length to increase the smoothing strength.
  • the filtering target pixel range to perform filtering to pixels away from the block boundary.
  • the filter processing unit 242 performs filter processing by expanding the tap length and the filter processing target pixel range based on the parameter value, and pixel data p0 ′ to p3 ′, q0 after filter processing from the pixel data p0 to p4, q0 to q4. Calculate 'to q3'.
  • the filter processing unit 242 uses Equation (32) instead of Equation (7) described above.
  • ⁇ Clip 3 ( ⁇ tc, tc ((((q0 ⁇ p0) ⁇ 3) + ((p1 ⁇ q1) ⁇ 1) + (p2 ⁇ q2) +8) >> 4)) (32)
  • the filter processing unit 242 calculates pixel data p1 ′ and q1 ′ by using equations (33) and (34) instead of equations (12) and (14).
  • p1 ' p1 + Clip3 (-tc0, tc0, (p3 + p2 + p0 + ((q0 + q1 + 1) >> 1)-(p1 ⁇ 2)) >> 2)
  • q1 ' q1 + Clip3 (-tc0, tc0, (q3 + q2 + q0 + ((q0 + q1 + 1) >> 1)-(q1 ⁇ 2)) >> 2) (34)
  • the filter processing unit 242 calculates pixel data p2 'and q2' by using equations (35) and (36) instead of equations (16) and (17).
  • p2 ' p2 + Clip3 (-tc0, tc0, (p4 + p3 + p1 + ((p0 + q1 + 1) >> 1)-(p2 ⁇ 2)) >> 2) (35)
  • q2 ' q2 + Clip3 (-tc0, tc0, (q4 + q3 + q1 + ((q0 + q1 + 1) >> 1)-(q2 ⁇ 2)) >> 2) (36)
  • the filter processing unit 242 sets the pixel data p0 ′, p1 ′, p2 ′, p3 ′ as the formulas (37) to (40) when the chromaEdgeFlag indicates “0” and the condition of the equation (18) is satisfied. Calculate according to).
  • the filter processing unit 242 sets the pixel data q0 ′, q1 ′, q2 ′, q3 ′ to Expressions (41) to (44). Calculate according to).
  • q0 ' (p2 + 2 * p1 + 3 * p0 + 4 * q0 + 3 * q1 + 2 * q2 + q3 + 8) >> 4 (41)
  • q1 ′ (p1 + p0 + 2 ⁇ q0 + 2 ⁇ q1 + q2 + q3 + 4) >> 3 (42)
  • q2 ' (q4 + 3.q3 + 4.q2 + 3.q1 + 2.q0 + 2.p0 + p1 + 8) >> 4 (43)
  • q3 ′ (q4 + 3 ⁇ q3 + q2 + q1 + q0 + p0 + 4) >> 3 (44)
  • the setting of the tap length and the filtering target pixel range is performed when two blocks each have a size of 16 ⁇ 16 pixels or less or when at least one of the two blocks is larger than 16 ⁇ 16 pixels.
  • the case classification into two is not limited.
  • two blocks may both be 16 ⁇ 16 pixels or smaller in size, and at least one of the two blocks may be larger than 16 ⁇ 16 pixels, or both may be 32 ⁇ 32 pixels or less, or 2 Case classification may be performed when at least one of the two blocks is larger than 32 ⁇ 32 pixels.
  • the tap length is made longer to make the smoothing strength stronger, and the filter target pixel range is made wider to perform filter processing on pixel values further from the block boundaries. make it Further, in setting the tap length and the filter processing target pixel range, only one of the tap length and the filter processing target pixel range may be expanded according to the case classification result.
  • the tap length of the filter and the filter target pixel range are set according to the block size on the adjacent side in two adjacent blocks, and the block size is large and block distortion is easily noticeable
  • the strength of smoothing is increased or filtering is performed to pixel values farther from block boundaries. Therefore, block distortion is less noticeable, and the image quality of a decoded image used to generate a predicted image can be made more preferable.
  • FIG. 5 shows predicted block sizes used in the image coding process.
  • H. In the H.264 / AVC system, as shown in (C) and (D) of FIG. 5, predicted block sizes of 16 ⁇ 16 pixels to 4 ⁇ 4 pixels are defined.
  • H. In the case of using a macro block of a size expanded than the H.264 / AVC system, for example, in the case of using a 32 ⁇ 32 pixel macro block, a predicted block size shown in FIG. 5B is defined, for example.
  • the predicted block size shown in (A) of FIG. 5 is defined.
  • “Skip / direct” indicates that the motion prediction / compensation unit 32 has the predicted block size when the skipped macro block or the direct mode is selected. Also, “ME” indicates that it is a motion compensation block size. Also, “P8 ⁇ 8” indicates that further division can be performed in the lower layer in which the size of the macro block is reduced.
  • FIG. 6 is a flowchart showing the image coding processing operation.
  • the A / D conversion unit 11 A / D converts the input image signal.
  • step ST12 the screen rearrangement buffer 12 performs screen rearrangement.
  • the screen rearrangement buffer 12 stores the image data supplied from the A / D converter 11, and performs rearrangement from the display order of each picture to the coding order.
  • step ST13 the subtraction unit 13 generates prediction error data.
  • the subtraction unit 13 generates a prediction error data by calculating the difference between the image data of the image rearranged in step ST12 and the prediction image data selected by the prediction image / optimum mode selection unit 33.
  • the prediction error data has a smaller amount of data than the original image data. Therefore, the amount of data can be compressed as compared to the case of encoding the image as it is.
  • the orthogonal transformation unit 14 performs orthogonal transformation processing.
  • the orthogonal transformation unit 14 orthogonally transforms the prediction error data supplied from the subtraction unit 13. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed on the prediction error data, and transformation coefficient data is output.
  • step ST15 the quantization unit 15 performs quantization processing.
  • the quantization unit 15 quantizes transform coefficient data.
  • rate control is performed as described in the process of step ST25 described later.
  • step ST16 the inverse quantization unit 21 performs inverse quantization processing.
  • the inverse quantization unit 21 inversely quantizes the transform coefficient data quantized by the quantization unit 15 with a characteristic corresponding to the characteristic of the quantization unit 15.
  • the inverse orthogonal transform unit 22 performs inverse orthogonal transform processing.
  • the inverse orthogonal transformation unit 22 inversely orthogonally transforms the transform coefficient data inversely quantized by the inverse quantization unit 21 with the characteristic corresponding to the characteristic of the orthogonal transformation unit 14.
  • step ST18 the addition unit 23 generates decoded image data.
  • the addition unit 23 adds the predicted image data supplied from the predicted image / optimum mode selection unit 33 and the data after inverse orthogonal transformation of the position corresponding to the predicted image to generate decoded image data.
  • step ST19 the deblocking filter 24 performs filter processing.
  • the deblocking filter 24 filters the decoded image data output from the adding unit 23 to remove block distortion.
  • step ST20 the frame memory 25 stores the decoded image data.
  • the frame memory 25 stores the decoded image data before the filtering process and the decoded image data after the filtering process.
  • the intra prediction unit 31 and the motion prediction / compensation unit 32 perform prediction processing. That is, the intra prediction unit 31 performs intra prediction processing in the intra prediction mode, and the motion prediction / compensation unit 32 performs motion prediction / compensation processing in the inter prediction mode. Although the details of the prediction processing will be described later with reference to FIG. 7, this processing performs prediction processing in all candidate prediction modes, and the cost function values in all candidate prediction modes are respectively It is calculated. Then, based on the calculated cost function value, the optimal intra prediction mode and the optimal inter prediction mode are selected, and the predicted image generated in the selected prediction mode and its cost function and prediction mode information are predicted image / optimum mode The selection unit 33 is supplied.
  • the prediction image / optimum mode selection unit 33 selects prediction image data. Based on the cost function values output from the intra prediction unit 31 and the motion prediction / compensation unit 32, the predicted image / optimum mode selection unit 33 determines the optimal mode with the best coding efficiency. Further, the prediction image / optimum mode selection unit 33 selects prediction image data of the determined optimum mode and supplies the selected prediction image data to the subtraction unit 13 and the addition unit 23. This predicted image is used for the calculation of steps ST13 and ST18 as described above. The prediction mode information corresponding to the selected prediction image data is output to the lossless encoding unit 16 and the filter setting unit 41.
  • the lossless encoding unit 16 performs lossless encoding processing.
  • the lossless encoding unit 16 losslessly encodes the quantized data output from the quantization unit 15. That is, lossless coding such as variable-length coding or arithmetic coding is performed on the quantized data to perform data compression.
  • prediction mode information for example, including macroblock type, prediction mode, motion vector information, reference picture information, and the like
  • the lossless encoded data of the prediction mode information is added to the header information of the encoded stream generated by the lossless encoding of the quantized data.
  • step ST24 the accumulation buffer 17 performs accumulation processing to accumulate a coded stream.
  • the encoded stream stored in the storage buffer 17 is appropriately read and transmitted to the decoding side through the transmission path.
  • step ST25 the rate control unit 18 performs rate control.
  • the rate control unit 18 controls the rate of the quantization operation of the quantization unit 15 so that overflow or underflow does not occur in the accumulation buffer 17 when the accumulation buffer 17 accumulates the encoded stream.
  • step ST21 of FIG. 6 will be described with reference to the flowchart of FIG.
  • the intra prediction unit 31 performs an intra prediction process.
  • the intra prediction unit 31 performs intra prediction on the image of the block to be processed in all candidate intra prediction modes.
  • the decoded image data stored in the frame memory 25 without being subjected to the filtering process by the deblocking filter 24 is used as the image data of the decoded image referred to in intra prediction.
  • this process performs intra prediction in all candidate intra prediction modes, and calculates cost function values for all candidate intra prediction modes. Then, based on the calculated cost function value, one intra prediction mode with the best coding efficiency is selected from all the intra prediction modes.
  • step ST32 the motion prediction / compensation unit 32 performs inter prediction processing.
  • the motion prediction / compensation unit 32 performs inter prediction processing of all candidate inter prediction modes (all prediction block sizes) using the decoded image data after filter processing stored in the frame memory 25.
  • the prediction process is performed in all candidate inter prediction modes, and cost function values are calculated for all candidate inter prediction modes. Then, based on the calculated cost function value, one inter prediction mode with the best coding efficiency is selected from all the inter prediction modes.
  • step ST41 the intra prediction unit 31 performs intra prediction in each prediction mode.
  • the intra prediction unit 31 generates predicted image data for each intra prediction mode using the decoded image data before filter processing stored in the frame memory 25.
  • the intra prediction unit 31 calculates cost function values for each prediction mode.
  • H.1 As defined in JM (Joint Model), which is reference software in the H.264 / AVC system, this is performed based on either the High Complexity mode or the Low Complexity mode.
  • ⁇ indicates the entire set of prediction modes to be candidates for encoding the block or macroblock.
  • D indicates the difference energy (distortion) between the decoded image and the input image when encoding is performed in the prediction mode.
  • R is a generated code amount including orthogonal transform coefficients, prediction mode information and the like, and ⁇ is a Lagrange multiplier given as a function of the quantization parameter QP.
  • Cost (Mode ⁇ ) D + QPtoQuant (QP) ⁇ Header_Bit (46)
  • ⁇ indicates the entire set of prediction modes to be candidates for encoding the block or macroblock.
  • D indicates the difference energy (distortion) between the decoded image and the input image when encoding is performed in the prediction mode.
  • Header_Bit is a header bit for the prediction mode, and QPtoQuant is a function given as a function of the quantization parameter QP.
  • the intra prediction unit 31 determines the optimal intra prediction mode.
  • the intra prediction unit 31 selects one intra prediction mode in which the cost function value is the minimum value among them based on the cost function value calculated in step ST42, and determines it as the optimal intra prediction mode.
  • step ST32 in FIG. 7 Next, the inter prediction processing in step ST32 in FIG. 7 will be described with reference to the flowchart in FIG.
  • step ST51 the motion prediction / compensation unit 32 determines a motion vector and a reference image for each prediction mode. That is, the motion prediction / compensation unit 32 determines a motion vector and a reference image for the block to be processed in each prediction mode.
  • step ST52 the motion prediction / compensation unit 32 performs motion compensation on each prediction mode.
  • the motion prediction / compensation unit 32 performs motion compensation on the reference image for each prediction mode (each prediction block size) based on the motion vector determined in step ST51, and generates predicted image data for each prediction mode.
  • the motion prediction / compensation unit 32 In step ST53, the motion prediction / compensation unit 32 generates motion vector information for each prediction mode.
  • the motion prediction / compensation unit 32 generates motion vector information to be included in the coded stream for the motion vector determined in each prediction mode. For example, a prediction motion vector is determined using median prediction or the like, and motion vector information indicating the difference between the motion vector detected by motion prediction and the prediction motion vector is generated.
  • the motion vector information generated in this manner is also used to calculate the cost function value in the next step ST54, and finally, when the corresponding prediction image is selected by the prediction image / optimum mode selection unit 33. Is included in the prediction mode information and output to the lossless encoding unit 16.
  • step ST54 the motion prediction / compensation unit 32 calculates cost function values for each inter prediction mode.
  • the motion prediction / compensation unit 32 calculates the cost function value using the above-mentioned equation (45) or equation (46). Note that the calculation of the cost function value for the inter prediction mode is based on H.264. The evaluation of cost function values of Skip Mode and Direct Mode defined in the H.264 / AVC system is also included.
  • step ST55 the motion prediction / compensation unit 32 determines the optimal inter prediction mode.
  • the motion prediction / compensation unit 32 selects one prediction mode in which the cost function value is the minimum value among them based on the cost function value calculated in step ST54, and determines it as the optimal inter prediction mode.
  • FIG. 10 shows the case where the tap length and the filter processing target pixel range are expanded.
  • step ST61 the filter setting unit 41 acquires the prediction block size in the optimum mode.
  • the filter setting unit 41 acquires the prediction block size corresponding to the prediction image selected in step ST22 of FIG. 6, that is, the prediction block size when encoding is performed in the optimal mode.
  • step ST62 the filter setting unit 41 determines whether the block or the adjacent block is larger than 16 ⁇ 16 pixels.
  • the filter setting unit 41 proceeds to step ST63 when at least one of the block and the adjacent block is larger than 16 ⁇ 16 pixels, and proceeds to step ST64 when both the block and the adjacent block are 16 ⁇ 16 pixels or less.
  • the filter setting unit 41 extends and sets the tap length and the filter processing target pixel range. For example, the filter setting unit 41 sets H264. As described above, the pixel data p0 'to p3' and q0 'to q3' after filter processing are calculated by expanding the tap length and the filter processing target pixel range more than the AVC coding method.
  • the filter setting unit 41 sets the tap length and the filter processing target pixel range without extending it. For example, the filter setting unit 41 sets H264. As described above, the pixel data p0 'to p2' and q0 'to q2' after filter processing are calculated by setting the tap length of the / AVC encoding method and the filter processing target pixel range.
  • the prediction block size at which the coding efficiency is the best is determined, and the image data coding process is performed with the determined prediction block size. .
  • the information indicating the predicted block size is accumulated in the block size buffer 411 of the filter setting unit 41. Therefore, when decoded image data is generated by decoding image data that has been subjected to the encoding process with the prediction block size with the highest encoding efficiency, the position of the prediction block in the decoded image becomes clear. Therefore, by setting the tap length and the filtering target pixel range according to the prediction block size based on the information stored in the block size buffer 411, block distortion can be reduced even if the prediction block size is large. Further, since block distortion in the decoded image data for generating a predicted image can be reduced, it is possible to prevent the prediction error data from becoming large due to the influence of block distortion, so the amount of data after encoding processing can be further reduced. .
  • An encoded stream generated by encoding an input image is supplied to an image decoding apparatus via a predetermined transmission path, a recording medium, and the like, and is decoded.
  • FIG. 11 shows the configuration of the image decoding apparatus.
  • the image decoding apparatus 50 includes an accumulation buffer 51, a lossless decoding unit 52, an inverse quantization unit 53, an inverse orthogonal transformation unit 54, an addition unit 55, a deblocking filter 56, a screen rearrangement buffer 57, and a D / A conversion unit 58. Have.
  • the image decoding apparatus 50 further includes a frame memory 61, selectors 62 and 65, an intra prediction unit 63, a motion compensation unit 64, and a filter setting unit 71.
  • the accumulation buffer 51 accumulates the transmitted encoded stream.
  • the lossless decoding unit 52 decodes the coded stream supplied from the accumulation buffer 51 by a method corresponding to the coding method of the lossless coding unit 16 in FIG. 1. Further, the lossless decoding unit 52 outputs prediction mode information obtained by decoding header information of the encoded stream to the intra prediction unit 63, the motion compensation unit 64, and the deblocking filter 56.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 in a method corresponding to the quantization method of the quantization unit 15 in FIG. 1.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform on the output of the inverse quantization unit 53 according to a scheme corresponding to the orthogonal transform scheme of the orthogonal transform unit 14 in FIG.
  • the addition unit 55 adds the data after the inverse orthogonal transform and the predicted image data supplied from the selector 65 to generate decoded image data, and outputs the decoded image data to the deblocking filter 56 and the frame memory 61.
  • the deblocking filter 56 is configured in the same manner as the deblocking filter 24 of FIG.
  • the deblocking filter 56 performs a filtering process on the decoded image data supplied from the adding unit 55, removes block distortion, supplies it to the frame memory 61 and stores it, and outputs it to the screen rearrangement buffer 57.
  • the deblocking filter 56 sets the tap length and the filter processing target pixel range based on the prediction mode information supplied from the lossless decoding unit 52 and the parameter value supplied from the filter setting unit 71 described later, and performs filtering. I do.
  • the screen rearranging buffer 57 rearranges the images. That is, the order of the frames rearranged for the encoding order by the screen rearrangement buffer 12 in FIG. 1 is rearranged in the original display order and output to the D / A conversion unit 58.
  • the D / A converter 58 D / A converts the image data supplied from the screen rearrangement buffer 57 and outputs the data to a display (not shown) to display the image.
  • the frame memory 61 holds the decoded image data before the filtering process supplied from the adding unit 55 and the decoded image data after the filtering process supplied from the deblocking filter 24.
  • the selector 62 decodes decoded image data before filter processing read from the frame memory 61 when decoding of a prediction block for which intra prediction has been performed is performed based on prediction mode information supplied from the lossless decoding unit 52. Are supplied to the intra prediction unit 63. Also, when decoding of the prediction block for which inter prediction has been performed is performed based on the prediction mode information supplied from the lossless decoding unit 52, the selector 26 performs decoding after filter processing read from the frame memory 61. The image data is supplied to the motion compensation unit 64.
  • the intra prediction unit 63 generates a prediction image based on the prediction mode information supplied from the lossless decoding unit 52, and outputs the generated prediction image data to the selector 65. Further, the intra prediction unit 63 outputs information indicating the block size of the generated prediction image to the filter setting unit 71.
  • the motion compensation unit 64 performs motion compensation based on the prediction mode information supplied from the lossless decoding unit 52, generates prediction image data, and outputs the prediction image data to the selector 65. That is, the motion compensation unit 64 performs motion compensation on the reference image indicated by the reference frame information based on the motion vector information and the reference frame information based on the motion vector information and the reference frame information included in the prediction mode information. Generate predicted image data. Also, the motion compensation unit 64 outputs information indicating the block size of the generated predicted image to the filter setting unit 71.
  • the selector 65 supplies the predicted image data generated by the intra prediction unit 63 to the addition unit 55. Further, the selector 65 supplies the prediction image data generated by the motion compensation unit 64 to the addition unit 55.
  • the filter setting unit 71 is configured in the same manner as the filter setting unit 41 shown in FIG. Also, the filter setting unit 71 stores information indicating the predicted block size of the decoded block. The filter setting unit 71 sets the tap length and the filter processing target pixel range according to the predicted block size on the adjacent side of the decoded block adjacent to the block to be decoded and the block to be decoded. The filter setting unit 71 supplies, to the deblocking filter 56, parameter values indicating the set tap length and the filter processing target pixel range. Further, when the predicted block size in the optimum mode is a block size expanded in either the relevant block or the adjacent block, the filter setting unit 71 selects a tap length and a filter processing target according to the larger predicted block size. Set the pixel range. In addition, when a plurality of macro blocks having a size larger than a predetermined macro block is used, the filter setting unit 71 performs setting such that the tap length is longer and the filtering target pixel range is wider as the size is larger.
  • step ST71 the accumulation buffer 51 accumulates the transmitted encoded stream.
  • step ST72 the lossless decoding unit 52 performs lossless decoding processing.
  • the lossless decoding unit 52 decodes the encoded stream supplied from the accumulation buffer 51. That is, quantized data of each picture encoded by the lossless encoding unit 16 of FIG. 1 is obtained. Further, the lossless decoding unit 52 performs lossless decoding of prediction mode information included in header information of the encoded stream, and supplies the obtained prediction mode information to the deblocking filter 56 and the selectors 62 and 65. Furthermore, the lossless decoding unit 52 outputs prediction mode information to the intra prediction unit 63 when the prediction mode information is information related to the intra prediction mode. In addition, when the prediction mode information is information related to the inter prediction mode, the lossless decoding unit 52 outputs the prediction mode information to the motion compensation unit 64.
  • step ST73 the inverse quantization unit 53 performs inverse quantization processing.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 with a characteristic corresponding to the characteristic of the quantization unit 15 in FIG. 1.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform processing.
  • the inverse orthogonal transformation unit 54 performs inverse orthogonal transformation on the transform coefficient data inversely quantized by the inverse quantization unit 53 with a characteristic corresponding to the characteristic of the orthogonal transformation unit 14 in FIG. 1.
  • step ST75 the addition unit 55 generates decoded image data.
  • the addition unit 55 adds the data obtained by performing the inverse orthogonal transformation process and the predicted image data selected in step ST79 described later to generate decoded image data. The original image is thus decoded.
  • step ST76 the deblocking filter 56 performs filter processing.
  • the deblocking filter 56 performs filter processing of the decoded image data output from the adding unit 55 to remove block distortion included in the decoded image.
  • step ST77 the frame memory 61 performs storage processing of the decoded image data.
  • step ST78 the intra prediction unit 63 and the motion compensation unit 64 generate predicted image data.
  • the intra prediction unit 63 and the motion compensation unit 64 respectively generate predicted image data corresponding to the prediction mode information supplied from the lossless decoding unit 52.
  • the intra prediction unit 63 performs an intra prediction process using the decoded image data of the frame memory 61 based on the prediction mode information, and a predicted image Generate data.
  • the motion compensation unit 64 performs motion compensation using the decoded image data of the frame memory 61 based on the prediction mode information, and outputs prediction image data.
  • step ST79 the selector 65 selects prediction image data. That is, the selector 65 selects the prediction image supplied from the intra prediction unit 63 and the prediction image data generated by the motion compensation unit 64 and supplies it to the addition unit 55, and as described above, the reverse orthogonality is made in step ST75. The output of the conversion unit 54 is added.
  • step ST80 the screen rearrangement buffer 57 performs screen rearrangement. That is, in the screen rearrangement buffer 57, the order of the frames rearranged for encoding by the screen rearrangement buffer 12 of the image encoding device 10 of FIG. 1 is rearranged in the original display order.
  • step ST81 the D / A conversion unit 58 D / A converts the image data from the screen rearrangement buffer 57. This image is output to a display not shown, and the image is displayed.
  • the filter setting unit 71 performs the filter setting processing shown in FIG.
  • the filter setting unit 71 sets the tap length and the filter processing target pixel range according to the predicted block size on the adjacent side of the decoded block adjacent to the block to be decoded and the block to be decoded.
  • the filter setting unit 71 sets the expanded tap length and the filter processing target pixel range.
  • the prediction block size on the adjacent side of the decoded block is stored in the block size buffer of the filter setting unit 71 when the adjacent block is decoded.
  • the filter setting unit 71 generates a parameter value indicating the set tap length and the filter processing target pixel range, and outputs the parameter value to the deblocking filter 56.
  • the deblocking filter 56 is a block to be decoded and a decoded block adjacent to the block to be decoded in the tap length and the filtering target pixel range indicated by the parameter values supplied from the filter setting unit 71. Perform filter processing on block boundaries with.
  • the image decoding apparatus and method to which the present technology is applied information indicating the predicted block size used in the encoding process is accumulated in the block size buffer of the filter setting unit 71. Therefore, when the coded stream is decoded to generate decoded image data for image display, the position of the prediction block in the decoded image becomes clear. For this reason, based on the information stored in the block size buffer, for portions where the block size is large and block distortion is likely to be noticeable, filtering is performed to pixel values farther from the block boundary, and the strength is stronger. A smoothing process is performed. Therefore, block distortion is hard to be noticed, and a decoded image with high image quality can be obtained.
  • the filter setting unit of the image processing apparatus determines the tap length and the pixel range subject to filter processing according to whether the decoded image data is image data for generation of a predicted image or image data for image display.
  • the setting of should be done.
  • the filter setting unit encodes the decoded image data for generating a predicted image with the image quality of the decoded image used for generating the predicted image as a good image quality. Make settings to reduce the amount of data in the stream.
  • the filter setting unit sets the image quality of the decoded image used for image display to the user's desired image quality. In this way, when the filter setting unit is provided in the image coding apparatus, the deblocking filter processing suitable for image coding and the deblocking filter processing suitable for the image decoding apparatus can be performed. .
  • the series of processes described in the specification can be performed by hardware, software, or a combined configuration of both.
  • a program recording the processing sequence is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program may be installed and executed on a general-purpose computer that can execute various processes.
  • the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium.
  • the program may be temporarily or permanently stored in a removable recording medium such as a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical disc (MO), a digital versatile disc (DVD), a magnetic disc, or a semiconductor memory. It can be stored (recorded).
  • a removable recording medium such as a flexible disk, a compact disc read only memory (CD-ROM), a magneto optical disc (MO), a digital versatile disc (DVD), a magnetic disc, or a semiconductor memory. It can be stored (recorded).
  • Such removable recording media can be provided as so-called package software.
  • the program is installed on the computer from the removable recording medium as described above, and is wirelessly transferred from the download site to the computer or transferred to the computer via a network such as LAN (Local Area Network) or the Internet by wire.
  • the computer can receive the program transferred as such, and can install it on a recording medium such as a built-in hard disk.
  • the tap length as the parameter value and the filter target pixel range are set according to the block size of the adjacent block adjacent to the block boundary.
  • the filter setting unit If at least one of the block sizes is expanded beyond a predetermined block size, the value of block boundary strength data used for filtering is set to an expanded value to obtain an image of good image quality with reduced block distortion. May be For example, as the block size of the adjacent block is larger, the filter setting unit sets the value of the block boundary strength data used for the filtering process to be larger to reduce the block distortion.
  • the size of the processing unit of the deblocking filter or the size of the macro block is not limited to the example described herein, and may be another size.
  • H the size of the H.264 / AVC macroblock is fixed to 16 ⁇ 16 pixels
  • the size of the HEVC coding unit can be dynamically specified for each sequence.
  • the coding unit of HEVC is also called a coding tree block (Coding Tree Block), and the coding unit having the largest size is the largest coding unit (LCU: Largest Coding Unit), and the coding unit having the smallest size is the smallest. It is called a coding unit (SCU: Smallest Coding Unit).
  • the range of usable coding unit sizes is defined. Furthermore, specifying the value of split_flag specifies the size of the coding unit used in each sequence.
  • a coding unit may be divided into prediction units (PUs), which are processing units of intra prediction or inter prediction.
  • a coding unit may be divided into transform units (TUs), which are processing units of orthogonal transform.
  • PUs prediction units
  • TUs transform units
  • transform units having sizes of 16 ⁇ 16 pixels and 32 ⁇ 32 pixels can be used.
  • block as used herein includes the concepts of macroblocks, coding units, prediction units, transform units or various other units.
  • the size of the block may be fixed or may change dynamically.
  • the block size is not limited to the examples described herein and may be other sizes.
  • the same method can be used for blocks of 16 ⁇ 16 pixels or less such as block sizes of 4, 8 and 16.
  • the tap length of the filter may be set longer or the processing target pixel range may be set wider as the block size becomes larger.
  • the block size is not only a square of 4 ⁇ 4 pixels, 8 ⁇ 8 pixels, 16 ⁇ 16 pixels, 32 ⁇ 32 pixels, but also 8 ⁇ 2 pixels, 2 ⁇ 8 pixels, 16 ⁇ 4 pixels, 4 ⁇ 16
  • the present invention is also applicable to the case of non-square pixels of 32 ⁇ 8 pixels and 8 ⁇ 32 pixels.
  • the tap length of the filtering process or the filtering target pixel range can also be set in accordance with the block size of the adjacent block in the adjacent block. Further, the tap length of the filtering process or the filtering target pixel range can also be set in accordance with the block size of the non-adjacent block in the adjacent block.
  • the method of transmitting information used for deblocking filter processing from the encoding side to the decoding side is not limited to the method of multiplexing such information in the header of the encoded stream.
  • the information may be transmitted or recorded as separate data associated with the coded bit stream without being multiplexed into the coded bit stream.
  • the term “associate” allows an image (a slice or a block, which may be a part of an image) included in a bitstream to be linked at the time of decoding with information corresponding to the image.
  • the information may be transmitted on a different transmission path from the image (or bit stream).
  • the information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream).
  • the information and the image (or bit stream) may be associated with each other in any unit such as, for example, a plurality of frames, one frame, or a part in a frame.
  • the image encoding device 10 and the image decoding device 50 according to the embodiments described above are transmitters or receivers in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, distribution to terminals by cellular communication, etc.
  • the present invention can be applied to various electronic devices such as a recording device which records an image on a medium such as an optical disk, a magnetic disk and a flash memory, or a reproducing device which reproduces an image from the storage medium.
  • a recording device which records an image on a medium such as an optical disk, a magnetic disk and a flash memory
  • a reproducing device which reproduces an image from the storage medium.
  • FIG. 13 shows an example of a schematic configuration of a television set to which the embodiment described above is applied.
  • the television device 90 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, an external interface 909, a control unit 910, a user interface 911, And a bus 912.
  • the tuner 902 extracts a signal of a desired channel from a broadcast signal received via the antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the coded bit stream obtained by demodulation to the demultiplexer 903. That is, the tuner 902 has a role as a transmission means in the television apparatus 90 for receiving a coded stream in which an image is coded.
  • the demultiplexer 903 separates the video stream and audio stream of the program to be viewed from the coded bit stream, and outputs the separated streams to the decoder 904. Also, the demultiplexer 903 extracts auxiliary data such as an EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. When the coded bit stream is scrambled, the demultiplexer 903 may perform descrambling.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. Further, the decoder 904 outputs the audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display a video. Also, the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via the network. Further, the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting. Furthermore, the video signal processing unit 905 may generate an image of a graphical user interface (GUI) such as a menu, a button, or a cursor, for example, and may superimpose the generated image on the output image.
  • GUI graphical user interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays a video or an image on the video surface of a display device (for example, a liquid crystal display, a plasma display, or an OLED).
  • a display device for example, a liquid crystal display, a plasma display, or an OLED.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on audio data input from the decoder 904, and causes the speaker 908 to output audio. Further, the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface 909 is an interface for connecting the television device 90 to an external device or a network. For example, a video stream or an audio stream received via the external interface 909 may be decoded by the decoder 904. That is, the external interface 909 also serves as a transmission means in the television apparatus 90 for receiving the coded stream in which the image is coded.
  • the control unit 910 includes a processor such as a central processing unit (CPU) and memories such as a random access memory (RAM) and a read only memory (ROM).
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the television device 90 is started.
  • the CPU controls the operation of the television device 90 according to an operation signal input from, for example, the user interface 911 by executing a program.
  • the user interface 911 is connected to the control unit 910.
  • the user interface 911 has, for example, buttons and switches for the user to operate the television device 90, and a receiver for remote control signals.
  • the user interface 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 mutually connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface 909, and the control unit 910.
  • the decoder 904 has the function of the image decoding device 50 according to the above-described embodiment. Therefore, when decoding an image in the television apparatus 90, it is possible to more appropriately determine the range to which the deblocking filter is to be applied, and to improve the image quality.
  • FIG. 14 shows an example of a schematic configuration of a mobile phone to which the embodiment described above is applied.
  • the mobile phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a multiplexing and separating unit 928, a recording and reproducing unit 929, a display unit 930, a control unit 931, an operation.
  • a unit 932 and a bus 933 are provided.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 mutually connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931.
  • the cellular phone 920 can transmit and receive audio signals, transmit and receive electronic mail or image data, capture an image, and record data in various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode. Do the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, and A / D converts and compresses the converted audio data. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates audio data to generate a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the communication unit 922 demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to the audio codec 923.
  • the audio codec 923 decompresses and D / A converts audio data to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting an electronic mail in accordance with an operation by the user via the operation unit 932. Further, the control unit 931 causes the display unit 930 to display characters. Further, the control unit 931 generates electronic mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated electronic mail data to the communication unit 922.
  • a communication unit 922 encodes and modulates electronic mail data to generate a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. The communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the communication unit 922 demodulates and decodes the received signal to restore the e-mail data, and outputs the restored e-mail data to the control unit 931.
  • the control unit 931 causes the display unit 930 to display the content of the e-mail, and stores the e-mail data in the storage medium of the recording and reproduction unit 929.
  • the recording and reproducing unit 929 includes an arbitrary readable and writable storage medium.
  • the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted storage medium such as a hard disk, a magnetic disk, a magnetooptical disk, an optical disk, a USB memory, or a memory card. May be
  • the camera unit 926 captures an image of a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926, and stores the encoded stream in the storage medium of the recording and reproduction unit 929.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the communication unit 922 multiplexes the multiplexed stream.
  • Output to The communication unit 922 encodes and modulates the stream to generate a transmission signal.
  • the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the transmission signal and the reception signal may include a coded bit stream.
  • the communication unit 922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream to generate video data.
  • the video data is supplied to the display unit 930, and the display unit 930 displays a series of images.
  • the audio codec 923 decompresses and D / A converts the audio stream to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 has the functions of the image encoding device 10 and the image decoding device 50 according to the above-described embodiment.
  • the range to which the deblocking filter should be applied can be more appropriately determined and the image quality can be improved when encoding and decoding an image in the mobile phone 920.
  • FIG. 15 shows an example of a schematic configuration of a recording and reproducing apparatus to which the embodiment described above is applied.
  • the recording / reproducing device 940 encodes, for example, audio data and video data of the received broadcast program, and records the encoded data on a recording medium.
  • the recording and reproduction device 940 may encode, for example, audio data and video data acquired from another device and record the encoded data on a recording medium.
  • the recording / reproducing device 940 reproduces the data recorded on the recording medium on the monitor and the speaker, for example, in accordance with the user's instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) 948, a control unit 949, and a user interface. And 950.
  • the tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown) and demodulates the extracted signal. Then, the tuner 941 outputs the coded bit stream obtained by demodulation to the selector 946. That is, the tuner 941 has a role as a transmission means in the recording / reproducing device 940.
  • the external interface 942 is an interface for connecting the recording and reproducing device 940 to an external device or a network.
  • the external interface 942 may be, for example, an IEEE 1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface 942 are input to the encoder 943. That is, the external interface 942 has a role as a transmission unit in the recording / reproducing device 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface 942 are not encoded. Then, the encoder 943 outputs the coded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream obtained by compressing content data such as video and audio, various programs, and other data in an internal hard disk. Also, the HDD 944 reads these data from the hard disk when reproducing video and audio.
  • the disk drive 945 records and reads data on the attached recording medium.
  • the recording medium mounted on the disk drive 945 may be, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk, etc. .
  • the selector 946 selects the coded bit stream input from the tuner 941 or the encoder 943 at the time of recording video and audio, and outputs the selected coded bit stream to the HDD 944 or the disk drive 945. Also, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 at the time of reproduction of video and audio.
  • the decoder 947 decodes the coded bit stream to generate video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD 948. Also, the decoder 904 outputs the generated audio data to an external speaker.
  • the OSD 948 reproduces the video data input from the decoder 947 and displays the video. In addition, the OSD 948 may superimpose an image of a GUI such as a menu, a button, or a cursor on the video to be displayed.
  • the control unit 949 includes a processor such as a CPU, and memories such as a RAM and a ROM.
  • the memory stores programs executed by the CPU, program data, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the recording and reproducing device 940 is started.
  • the CPU controls the operation of the recording / reproducing apparatus 940 in accordance with an operation signal input from, for example, the user interface 950 by executing a program.
  • the user interface 950 is connected to the control unit 949.
  • the user interface 950 includes, for example, buttons and switches for the user to operate the recording and reproducing device 940, a receiver of a remote control signal, and the like.
  • the user interface 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image coding apparatus 10 according to the embodiment described above.
  • the decoder 947 has the function of the image decoding apparatus 50 according to the above-described embodiment.
  • FIG. 16 shows an example of a schematic configuration of an imaging device to which the embodiment described above is applied.
  • the imaging device 960 captures an object to generate an image, encodes image data, and records the image data in a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an external interface 966, a memory 967, a media drive 968, an OSD 969, a control unit 970, a user interface 971, and a bus. 972 is provided.
  • the optical block 961 is connected to the imaging unit 962.
  • the imaging unit 962 is connected to the signal processing unit 963.
  • the display unit 965 is connected to the image processing unit 964.
  • the user interface 971 is connected to the control unit 970.
  • the bus 972 mutually connects the image processing unit 964, the external interface 966, the memory 967, the media drive 968, the OSD 969, and the control unit 970.
  • the optical block 961 has a focus lens, an aperture mechanism, and the like.
  • the optical block 961 forms an optical image of a subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD or a CMOS, and converts an optical image formed on an imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the signal processing unit 963.
  • the signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the signal processing unit 963 outputs the image data after camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the signal processing unit 963 to generate encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface 966 or the media drive 968. The image processing unit 964 also decodes encoded data input from the external interface 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965.
  • the image processing unit 964 may output the image data input from the signal processing unit 963 to the display unit 965 to display an image. The image processing unit 964 may superimpose the display data acquired from the OSD 969 on the image to be output to the display unit 965.
  • the OSD 969 generates an image of a GUI such as a menu, a button, or a cursor, for example, and outputs the generated image to the image processing unit 964.
  • a GUI such as a menu, a button, or a cursor
  • the external interface 966 is configured as, for example, a USB input / output terminal.
  • the external interface 966 connects the imaging device 960 and the printer, for example, when printing an image.
  • a drive is connected to the external interface 966 as necessary.
  • removable media such as a magnetic disk or an optical disk may be attached to the drive, and a program read from the removable media may be installed in the imaging device 960.
  • the external interface 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted in the media drive 968 may be, for example, any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium may be fixedly attached to the media drive 968, and a non-portable storage unit such as, for example, a built-in hard disk drive or a solid state drive (SSD) may be configured.
  • SSD solid state drive
  • the control unit 970 includes a processor such as a CPU, and memories such as a RAM and a ROM.
  • the memory stores programs executed by the CPU, program data, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the imaging device 960 starts up.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from, for example, the user interface 971 by executing a program.
  • the user interface 971 is connected to the control unit 970.
  • the user interface 971 includes, for example, buttons and switches for the user to operate the imaging device 960.
  • the user interface 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the image processing unit 964 has the functions of the image encoding device 10 and the image decoding device 50 according to the above-described embodiment. As a result, when encoding and decoding an image in the imaging device 960, the range to which the deblocking filter should be applied can be determined more appropriately, and the image quality can be improved.
  • the present technology can also have the following configurations.
  • a decoding unit that decodes image data encoded for each block;
  • a filter that performs filter processing for removing block distortion on the decoded image data decoded by the decoding unit;
  • a filter setting unit configured to set a tap length of the filter processing for the block boundary or a filter target pixel range to be processed by the filter processing according to the block size of the adjacent block adjacent to the block boundary;
  • An image processing apparatus comprising: (2) The image processing apparatus according to (1), wherein the filter setting unit sets the tap length to an extended length when at least one of the adjacent blocks is expanded beyond a predetermined block size. (3) The image processing apparatus according to (2), wherein the filter setting unit sets the tap length of the filter longer as the block size of the adjacent block is larger.
  • the filter setting unit sets the filter processing target pixel range to an expanded size (1) to (3).
  • the image processing apparatus according to any one of the above.
  • the filter setting unit sets the value of block boundary strength data used for the filtering process to an expanded value when at least one of the adjacent blocks is expanded beyond a predetermined block size (1).
  • the image processing apparatus according to any one of (5).
  • the image processing apparatus wherein the filter setting unit sets a value of block boundary strength data used for the filter processing to be larger as the block size of the adjacent block is larger.
  • the filter setting unit sets the tap length of the filter processing or the filter target pixel range according to any one of (1) to (7) according to the block size on the side adjacent to the adjacent block. Image processing apparatus as described.
  • the filter setting unit sets the tap length of the filter processing and the filter target pixel range according to the case classification corresponding to the block size of the adjacent block in any one of (1) to (8). Image processing apparatus as described.
  • the image processing apparatus (10) The image processing apparatus according to (9), wherein the case classification is a case where both of the adjacent blocks are smaller than or equal to a predetermined block size, and at least one is expanded beyond a predetermined block size.
  • the filter setting unit sets the case where the adjacent block has 16 ⁇ 16 pixels or less and the case where at least one of the two blocks is larger than 16 ⁇ 16 pixels but both have 32 ⁇ 32 pixels or less, and The image processing apparatus according to (10), performing case classification when at least one of the two blocks is larger than 32 ⁇ 32 pixels.
  • the block size is a prediction block size which is a processing unit when performing intra prediction or inter prediction.
  • the image processing apparatus according to any one of (1) to (12), wherein the block size is a conversion size that is a processing unit when performing orthogonal transformation.
  • the predetermined block size is H.264.
  • the image processing apparatus according to any one of (2) to (13), which is a macroblock size of the H.264 / AVC standard.
  • the filter setting unit sets the tap length or the pixel range subject to filter processing according to whether the decoded image data is image data for generating a predicted image or image data for image display.
  • the image processing apparatus according to any one of (1) to (14), which performs setting of
  • image processing apparatus According to the image processing apparatus and the image processing method of this technology, it is possible to obtain an image of good image quality with reduced block distortion. Therefore, as in MPEG, H. 26x, etc., image information (bit stream) obtained by encoding in block units is transmitted / received via network media such as satellite broadcasting, cable TV, Internet, mobile phone etc. It is suitable for an image coding apparatus, an image decoding apparatus, etc. used when processing on storage media such as optical, magnetic disk, flash memory, etc.
  • lossless decoding unit 58 ⁇ ⁇ D / A converter, 64 ⁇ ⁇ ⁇ motion compensation unit, 90 ⁇ ⁇ ⁇ television equipment, 2 Mobile phone 94 Recording / reproducing device 96 Imaging device 241 Filter strength determination unit 242 Filter processing unit 411 Block size buffer 412 ⁇ Parameter value generation part, 901, 921 ... Antenna, 902, 941 ... Tuner, 903 ... Demultiplexer, 904, 947 ... Decoder, 905 ... Video signal processing part, 906 ...
  • Display unit 907 audio signal processing unit 908: speaker 909, 942, 966: external interface unit 910, 931, 949, 970: control unit 911, 932, 971. ⁇ User interface unit, 912, 933, 972 ... bus, 922 ... communication unit, 923 ... audio codec, 924 ... speaker, 92 ... Microphone, 926 ... Camera unit, 927 ... Image processing unit, 928 ... Multiplexing unit, 929 ... Recording / reproducing unit, 930 ... Display unit, 943 ... Encoder, 944 ... HDD unit, 945 ... disk drive, 948, 969 ... OSD unit, 961 ... optical block, 962 ... imaging unit, 963 ... camera signal processing unit, 964 ... image Data processing unit, 965 ... display unit, 967 ... memory unit, 968 ... media drive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　デブロッキングフィルタ２４は、ブロック毎に符号化された画像データを復号化して得られる復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行う。フィルタ設定部４１は、隣接する２つのブロックにおける隣接側のブロックサイズの少なくとも一方が所定のブロックサイズより拡張されているとき、タップ長を拡張した長さに設定して歪みの除去強度を強くしたり、フィルタ処理対象画素範囲を拡張した範囲に設定する。拡張された大きさのマクロブロックが用いられたとき、平滑化の度合いが強くされたり、ブロック境界から遠くまでの画素がフィルタ対象とされるので、様々なブロックサイズを用いる場合、または拡張された大きさのブロックを用いる場合においても良好な画質の画像を得られるようになる。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関する。詳しくは、良好な画質の復号画像を得られるようにする。
　近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を行う装置、例えば離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局や一般家庭において普及しつつある。
　特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８－２）は、汎用画像符号化方式として定義されており、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。このＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば、４～８Ｍｂｐｓ符号量（ビットレート）を割り当てることで良好な画質の実現が可能である。また、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８～２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで良好な画質の実現が可能である。
　ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６－２としてその規格が国際標準に承認された。
　さらに、近年、当初テレビ会議用の画像符号化を目的として、Ｈ.２６Ｌ（ＩＴＵ－Ｔ　Ｑ６／１６　ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４およびＭＰＥＧ－４　Ｐａｒｔ１０　（Advanced Video Coding、以下「Ｈ．２６４／ＡＶＣ」と記す）という名の下に国際標準となった。
　さらに、その拡張として、ＲＧＢや４：２：２、４：４：４といった、業務用に必要な符号化ツールや、ＭＰＥＧ２で規定されていた８×８ＤＣＴや量子化マトリクスをも含んだＦＲＥxt(Fidelity Range Extension)の標準化が２００５年２月に完了した。これにより、Ｈ．２６４／ＡＶＣ方式を用いて、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となって、Ｂｌｕ－Ｒａｙ（登録商標）等の幅広いアプリケーションに用いられる運びとなった。
　このような符号化復号化処理では、ブロック単位で画像データの符号化が行われている。また、符号化データの復号化では、例えば特許文献１に示すように、ブロック境界強度や量子化パラメータを基にしてフィルタ処理を行うことブロック歪みを抑制することが行われている。
　さらに、昨今、４０００×２０００画素程度の画像を圧縮したい、またはインターネットのような、限られた伝送容量の環境において、ハイビジョン画像を配信したいといった、さらなる高圧縮率符号化に対するニーズが高まっている。このため、非特許文献１のように、マクロブロックサイズを、ＭＰＥＧ２やＨ．２６４／ＡＶＣよりも大きい例えば３２画素×３２画素といった大きさにすることが提案されている。すなわち、非特許文献１では、マクロブロックについて階層構造を採用することにより、１６×１６画素ブロック以下に関しては、Ｈ．２６４／ＡＶＣにおけるマクロブロックと互換性を保ち、そのスーパーセットとして、より大きなブロックが定義されている。
特開２００７－３６４６３号公報
"Video Coding Using Extended Block"(Study Group16, Contribution 123, ITU, 2009年1月)
　ところで、従来のデブロッキングフィルタでブロック歪みの除去を行う場合には、特に低いビットレートにおいてブロック歪みが大きくなり、ブロック歪みが十分に除去されなくなって画質の劣化を生じてしまうおそれがある。
　そこで、本技術では、様々なブロックサイズを用いる場合、又は、拡張された大きさのブロックを用いる場合においても良好な画質の画像を得られる画像処理装置と画像処理方法を提供することを目的とする。
　この技術の第１の側面は、ブロック毎に符号化された画像データを復号する復号部と、
前記復号部により復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、を備える画像処理装置にある。
　この技術では、ブロック毎に符号化された画像データを復号化して得られる復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、フィルタの設定を行うフィルタ設定部が設けられる。フィルタ設定部では、例えばブロック境界において隣接する隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、ブロック境界に対するフィルタ処理のタップ長をブロックサイズが大きいほど長く設定する又はフィルタ処理の処理対象となるフィルタ処理対象画素範囲をブロックサイズが大きいほど広く設定する。また、隣接ブロックにおいて隣接する側のブロックサイズに応じて、フィルタ処理のタップ長又はフィルタ処理対象画素範囲が設定される。また、隣接ブロックのブロックサイズに対応したケース分類が行われて、隣接ブロックが共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースに応じて、フィルタ処理のタップ長とフィルタ処理対象画素範囲が設定される。ケース分類では、例えば隣接ブロックが１６×１６画素以下である場合と、２つのブロックの少なくとも一方が１６×１６画素より大きいが両方とも３２×３２画素以下の場合と、２つのブロックの少なくとも一方が３２×３２画素より大きい場合に分類される。ブロックサイズは、イントラ予測又はインター予測を行う際の処理単位である予測ブロックサイズである。さらに、フィルタ設定部は、復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、タップ長又はフィルタ処理対象画素範囲の設定が行われる。
　この技術の第２の側面は、ブロック毎に符号化された画像データを復号する復号工程と、前記復号工程において復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ工程と、を有する画像処理方法にある。
　この技術の第３の側面は、直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化部と、を備える画像処理装置にある。
　この技術の第４の側面は、直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定工程と、前記フィルタ工程においてフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化工程と、を有する画像処理方法にある。
　この技術によれば、ブロック歪みが軽減された良好な画質の画像を得られるようになる。
画像符号化装置の構成を示す図である。 デブロッキングフィルタのフィルタ処理に用いる画素データを示した図である。 量子化パラメータＱＰと閾値αの関係を示す図である。 デブロッキングフィルタとフィルタ設定部の構成を示す図である。 画像符号化処理で用いる予測ブロックサイズを示す図である。 画像符号化処理動作を示すフローチャートである。 予測処理を示すフローチャートである。 イントラ予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 フィルタ設定処理を示すフローチャートである。 画像復号化装置の構成を示している。 画像復号化処理動作を示すフローチャートである。 テレビジョン装置の概略構成を例示した図である。 携帯電話機の概略構成を例示した図である。 記録再生装置の概略構成を例示した図である。 撮像装置の概略構成を例示した図である。
　以下、本技術を実施するための形態について説明する。本技術の画像処理装置は、予測ブロックサイズで画像データを符号化処理する画像符号化装置や、予測ブロックサイズで符号化が行われた画像データを復号化処理する画像復号化装置等に適用可能である。したがって、画像符号化装置に適用した場合と画像復号化装置に適用した場合について、以下の順序で説明する。
　１．画像符号化装置の構成
　２．デブロッキングフィルタのフィルタ処理について
　３．画像符号化装置におけるデブロッキングフィルタの構成
　４．画像符号化装置の動作
　５．画像復号化装置の構成
　６．画像復号化装置の動作
　７．応用例
　＜１．画像符号化装置の構成＞
　図１は、画像符号化装置の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ２４、フレームメモリ２５、セレクタ２６、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
　Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
　画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。
　減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
　直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
　量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
　可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部３１と動き予測・補償部３２および予測画像・最適モード選択部３３から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするマクロブロックタイプ、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報を可逆符号化して、符号化ストリームのヘッダ情報に付加する。
　蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
　逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２２に出力する。
　逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部２３に出力する。
　加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ２４とフレームメモリ２５に出力する。
　デブロッキングフィルタ２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の復号画像データをフレームメモリ２５に出力する。また、デブロッキングフィルタ２４は、後述するフィルタ設定部４１から供給されたパラメータ値に基づきタップ長とフィルタ処理対象画素範囲を設定する。
　フレームメモリ２５は、加算部２３から供給された復号画像データとデブロッキングフィルタ２４から供給されたフィルタ処理後の復号画像データとを保持する。
　セレクタ２６は、イントラ予測を行うためにフレームメモリ２５から読み出されたフィルタ処理前の復号画像データをイントラ予測部３１に供給する。また、セレクタ２６は、インター予測を行うためフレームメモリ２５から読み出されたフィルタ処理後の復号画像データを動き予測・補償部３２に供給する。
　イントラ予測部３１は、画面並べ替えバッファ１２から出力された符号化対象画像の画像データとフレームメモリ２５から読み出したフィルタ処理前の復号画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、イントラ予測部３１は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。
　動き予測・補償部３２は、マクロブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、画面並べ替えバッファ１２から読み出された符号化対象画像における各予測ブロックサイズの画像毎に、フレームメモリ２５から読み出されたフィルタ処理後の復号画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、動き予測・補償部３２は、コスト関数値の算出で用いる発生符号量を得るため、各予測ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。なお、動き予測・補償部３２は、インター予測モードとして、スキップドマクロブロックやダイレクトモードでの予測も行う。
　予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を、マクロブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードの予測モード情報を可逆符号化部１６とフィルタ設定部４１に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測を行う。
　フィルタ設定部４１は、最適モードの予測モード情報によって示された予測ブロックサイズに応じて、フィルタのタップ長とフィルタ処理対象画素範囲を設定するためのパラメータ値を生成してデブロッキングフィルタ２４に出力する。
　＜２．デブロッキングフィルタのフィルタ処理について＞
　デブロッキングフィルタのフィルタ処理において、Ｈ２６４．／ＡＶＣの符号化方式では、画像圧縮情報に含まれるPicture Parameter Set RBSPのdeblocking_filter_control_present_flagおよびSlice Headerに含まれるdisable_deblocking_filter_idcという２つのパラメータによって、
　　(a)　ブロック境界、およびマクロブロック境界に施す
　　(b)　Macroblock境界にのみ施す
　　(c)　施さない
の３通りを指定することが可能である。
　量子化パラメータＱＰについては、以下の処理を輝度データに対して適用する場合は、ＱＰYを、色差データに対して適用する場合はＱＰCを用いる。また、動きベクトル符号化、イントラ予測、エントロピー符号化(CAVLC/CABAC)においては、異なるスライスに属する画素値は“not available”として処理する。さらに、フィルタ処理においては、異なるスライスに属する画素値でも、同一のピクチャに属する場合は“available”であるとして処理を行う。
　以下の説明では、隣接するブロックＰ，Ｑについて、ブロック境界におけるフィルタ処理前の画素データを、図２の（Ａ）に示すように境界位置からｐ0～ｐ4，ｑ0～ｑ4とする。また、処理後の画素データを、図２の（Ｂ）に示すように境界位置からｐ0’～ｐ4’，ｑ0’～ｑ4’とする。
　フィルタ処理に先立ち、図２における画素ｐおよび画素ｑに対して、表１に示すように、ブロック境界強度データＢｓ(Boundary Strength)が定義される。
Figure JPOXMLDOC01-appb-T000001
　表１に示すように、ブロック境界強度データＢｓは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックＭＢに属し、且つ、当該画素がマクロブロックＭＢの境界に位置する場合に、最もフィルタ強度が高い「４」が割り当てられている。
　ブロック境界強度データＢｓは、画素ｐまたは画素ｑのいずれか一方がイントラ符号化されるマクロブロックＭＢに属し、且つ、当該画素がマクロブロックＭＢの境界に位置しない場合に、「４」の次にフィルタ強度が高い「３」が割り当てられている。
　ブロック境界強度データＢｓは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックＭＢに属するものではなく、且つ、いずれかの画素が変換係数を持つ場合に、「３」の次にフィルタ強度が高い「２」が割り当てられている。
　ブロック境界強度データＢｓは、画素ｐおよび画素ｑの双方がイントラ符号化されるマクロブロックＭＢに属するものではなく、且つ、いずれかの画素が変換係数を持たないという条件を場合に満たし、且つ、参照フレームが異なるか、参照フレームの枚数が異なるか、動きベクトルが異なるかのいずれかの条件を満たす場合に、「１」が割り当てられている。
　ブロック境界強度データＢｓは、画素ｐ，ｑの双方がイントラ符号化されるマクロブロックＭＢに属するものではなく、どちらの画素も変換係数を持たず、参照フレームおよび動きベクトルが同じ場合、「０」が割り当てられている。なお。「０」は、フィルタ処理を行わないことを意味する。
　図２における(ｐ2，ｐ1，ｐ0，ｑ0，ｑ1，ｑ2)は、式（１）の条件が成立する場合のみ、フィルタ処理が施される。
　　　Ｂｓ＞０
　　　|ｐ0－ｑ0|＜α；|ｐ1－ｐ0|＜β;|ｑ1－ｑ0|＜β
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（１）
　ここで、フィルタ強度すなわちフィルタのかかりやすさを調整するパラメータ値である閾値α，βは、デフォルトでは以下のように量子化パラメータＱＰに応じてその値が定められている。また、画像圧縮情報中のSlice Headerに含まれるslice_alpha_c0_offset_div2、およびslice_beta_offset_div2という２つのパラメータによって、ユーザがその強度を調整することが可能である。なお、図３は、量子化パラメータＱＰと閾値αの関係を示しており、量子化パラメータＱＰにオフセット量を加えると、量子化パラメータＱＰと閾値αの関係を示す曲線は矢印の方向に移動することから、フィルタ強度を調整することが明らかである。
　また、隣接するブロックＰとブロックＱのそれぞれの量子化パラメータｑＰp，ｑＰｑを用いて式（２）～（４）からindexAとindexBを算出して、表２に示すテーブルから閾値α，βを求める。
　　ｑＰav＝（ｑＰｐ＋ｑＰｑ＋１）＞＞１　　　　　　　・・・（２）
　　indexA＝Clip３（０，５１，ｑＰａｖ＋FilterOffsetA）　・・・（３）
　　indexB＝Clip３（０，５１，ｑＰａｖ＋FilterOffsetB）　・・・（４）
Figure JPOXMLDOC01-appb-T000002
　フィルタ処理は、「Ｂｓ＜４」の場合と「Ｂｓ＝４」の場合に対して異なる方法が定義されている。
　先ず、「Ｂｓ＜４」の場合を説明する。
　デブロッキングフィルタは、式（５）～（７）に示す演算を行って、フィルタ処理後の画素データｐ0’，ｑ0’を算出する。
　式（７）において、Clip３は、クリッピング処理を示す。
　　ｐ0’＝Clip１（ｐ0＋Δ）　　　・・・（５）
　　ｑ0’＝Clip１（ｑ0＋Δ）　　　・・・（６）
　　Δ＝Clip３（－ｔc，ｔc（（（（ｑ0－ｐ0）＜＜２）＋（ｐ1－ｑ1）＋４）＞＞３））　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（７）
　デブロッキングフィルタは、式（７）の「ｔc」を、chromaEdgeFlagが「０」を示す場合に式（８）に基づいて算出し、それ以外の場合に式（９）に基づいて算出する。
　式（８）において、「（　）？１：０」は、（　）内の条件を満たすと「１」、それ以外の場合は「０」を示す。
　　ｔc＝ｔc0＋（（ａｐ＜β）？１：０）＋（ａｑ＜β）？１：０）　・・・（８）
　　ｔc＝ｔc0＋１　　　　　　　　　　　　　　　　　　　　　　　　・・・（９）
　このｔcの値は、ＢｓとindexAの値に応じて表３のように定義される。
Figure JPOXMLDOC01-appb-T000003
　また、デブロッキングフィルタは、式（８）のａｐ，ａｑを式（１０）（１１）にしたがって算出する。
　　ａｐ＝｜ｐ2－ｐ0｜　　　　・・・（１０）
　　ａｑ＝｜ｑ2－ｑ0｜　　　　・・・（１１）
　デブロッキングフィルタは、フィルタ処理後の画素データｐ1’を、chromaEdgeFlagが「０」で、且つ、ａｐが「β」以下である場合に式（１２）に示す演算を行って算出し、それ以外の場合に式（１３）により取得する。
　　ｐ1’＝ｐ1＋Clip３（-ｔc0，ｔc0，（ｐ2＋（（ｐ0＋ｑ0＋１）＞＞１）－（ｐ1＜＜１））＞＞１）　　　　　　・・・（１２）
　　ｐ1’＝ｐ1　　　　　　・・・（１３）
　デブロッキングフィルタは、フィルタ処理後の画素データｑ1’を、chromaEdgeFlagが「０」で、且つ、ａｑが「β」以下である場合に式（１４）に示す演算を行って算出し、それ以外の場合に式（１５）により取得する。
　　ｑ1’＝ｑ1＋Clip３（-ｔc0，ｔc0，（ｑ2＋（（ｐ0＋ｑ0＋１）＞＞１）－（ｑ１＜＜１））＞＞１）　　　　・・・（１４）
　　ｑ1’＝ｑ1　　　　　・・・（１５）
　また、画素データｐ2'と画素データｑ2'はフィルタ前の値とする。
　　ｐ2’＝ｐ2　　　　　・・・（１６）
　　ｑ2’＝ｑ2　　　　　・・・（１７）
　次に、「Ｂｓ＝４」の場合を説明する。
　デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（１８）の条件を満たす場合に、画素データｐ0’，ｐ1’，ｐ2’を式（１９）～（２１）にしたがって算出する。
　　ａｐ＜β　＆＆　｜ｐ0－ｑ0｜＜（（α＞＞２）＋２）　　　　・・・（１８）
　　ｐ0’＝（ｐ2＋２・ｐ1＋２・ｐ0＋２・ｑ0＋ｑ1＋４）＞＞３　・・・（１９）
　　ｐ1’＝（ｐ2＋ｐ1＋ｐ0＋ｑ0＋２）＞＞２　　　　　　　　　 ・・・（２０）
　　ｐ2’＝（２・ｐ3＋３・ｐ2＋ｐ1＋ｐ0＋ｑ0＋４）＞＞３　　　・・・（２１）
　デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（１８）の条件を満たさない場合に、画素データｐ0’，ｐ1’，ｐ2’を式（２２）～（２４）にしたがって算出する。
　　ｐ0’＝（２・ｐ1＋ｐ0＋ｑ1＋２）＞＞２　・・・（２２）
　　ｐ1’＝ｐ1　　　　　　　　　　　　　　　・・・（２３）
　　ｐ2’＝ｐ2　　　　　　　　　　　　　　　・・・（２４）
　デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（２５）の条件を満たす場合に、画素データｑ0’，ｑ1’，ｑ2’を式（２６）～（２８）にしたがって算出する。
　　ａｑ＜β　＆＆　｜ｐ0－ｑ0｜＜（（α＞＞２）＋２）　　　　・・・（２５）
　　ｑ0’＝（ｐ1＋２・ｐ0＋２・ｑ0＋２・ｑ1＋ｑ2＋４）＞＞３　・・・（２６）
　　ｑ1’＝（ｐ0＋ｑ0＋ｑ1＋ｑ2＋２）＞＞２　　　　　　　　　 ・・・（２７）
　　ｑ2’＝（２・ｑ3＋３・ｑ2＋ｑ1＋ｑ0＋ｐ4＋４）＞＞３　　　・・・（２８）
　デブロッキングフィルタは、chromaEdgeFlagが「０」を示し、且つ、式（２５）の条件を満たさない場合に、画素データｑ0’，ｑ1’，ｑ2’を式（２９）～（３１）にしたがって算出する。
　　ｑ0’＝（２・ｑ1＋ｑ0＋ｐ1＋２）＞＞２　・・・（２９）
　　ｑ1’＝ｑ1　　　　　　　　　　　　　　　・・・（３０）
　　ｑ2’＝ｑ2　　　　　　　　　　　　　　　・・・（３１）
　このように、Ｈ２６４．／ＡＶＣの符号化方式では、画素データｐ0～ｐ3，ｑ0～ｑ3を用いてフィルタ処理を行い画素データｐ0’～ｐ2’，ｑ0’～ｑ2’を算出する。
　＜３．画像符号化装置におけるデブロッキングフィルタとフィルタ設定部の構成＞
　フィルタ設定部４１は、当該マクロブロックにおける最適モードの予測ブロックサイズに応じて、デブロッキングフィルタ２４におけるタップ長とフィルタ処理対象画素範囲を設定する。
　一般に、ブロック歪みは、ブロックサイズがより大きい場合の方が、人間の目につきやすい。また、より大きなブロックサイズは、あまりテクスチャ情報を含まないフラットな領域に対して選択されやすい。
　したがって、フィルタ設定部４１は、隣接する２つのブロックにおける隣接側のブロックサイズに応じてケース分類を行い、ケース分類結果に応じてフィルタ処理のタップ長とフィルタ処理対象画素範囲を設定する。フィルタ設定部４１は、ケース分類において、例えば隣接する２つのブロックにおける隣接側が共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースに分類する。
　フィルタ設定部４１は、隣接する２つのブロックにおける隣接側のブロックサイズが共に所定ブロックサイズ以下、例えばＨ．２６４／ＡＶＣ規格のマクロブロックサイズであるケースでは、上述のようにフィルタ処理を行い画素データｐ0’～ｐ2’，ｑ0’～ｑ2’を算出する。また、フィルタ設定部４１は、少なくとも一方が所定のブロックサイズより拡張されている場合、ブロック境界のブロックサイズに応じてタップ長やフィルタ処理対象画素範囲の拡張を行う。フィルタ設定部４１は、タップ長やフィルタ処理対象画素範囲を拡張することで、ブロックサイズが大きくブロック歪が目につきやすい部分については、より強度の強い平滑化処理や、ブロック境界に対してより遠くの画素値にまでフィルタ処理を施す。したがって、ブロック歪みが目につきにくくなり、復号画像における主観画質をより好ましいものとする。
　なお、より強度の強い平滑化処理を行うと、画像の持つ高域成分も失われる。しかし、大きいブロックサイズが適用されるのは、画像内において、高域成分の少ない比較的フラットな領域である場合が多いため、テクスチャが失われるといった主観上の劣化を生じることはない。
　このように、フィルタ設定部４１は、予測ブロックサイズに応じて設定したタップ長とフィルタ処理対象画素範囲を示すパラメータ値を生成してデブロッキングフィルタ２４に供給する。また、フィルタ設定部４１は、所定のマクロブロックよりもブロックサイズが大きい複数の異なるサイズのマクロブロックが用いられる場合、ブロックサイズが大きいほどタップ長が長くフィルタ処理対象画素範囲が広くなるように設定してもよい。
　図４は、デブロッキングフィルタとフィルタ設定部の構成を示している。フィルタ設定部４１は、ブロックサイズバッファ４１１とパラメータ値生成部４１２を備えている。また、デブロッキングフィルタ２４は、フィルタ強度決定部２４１とフィルタ処理部２４２を備えている。
　ブロックサイズバッファ４１１は、予測画像・最適モード選択部３３で選択された最適モードおける予測ブロックサイズを示す情報を、１フレーム画像分蓄積する。すなわち、ブロックサイズバッファ４１１には、符号化対象の１フレーム画像における各マクロブロックの予測ブロックサイズに関する情報が記憶されている状態となる。
　パラメータ値生成部４１２は、ブロックサイズバッファ４１１の予測ブロックサイズの情報に基づき、隣接する２つのブロックにおける隣接側の予測ブロックサイズを判別する。パラメータ値生成部４１２は、この２つのブロックのブロック境界に対するフィルタ処理のタップ長とフィルタ処理対象画素範囲を設定するためのパラメータ値を、判別した予測ブロックサイズに基づいて生成してフィルタ強度決定部２４１に供給する。
　フィルタ強度決定部２４１は、可逆符号化部１６から供給された予測モード情報に基づきブロック境界強度データＢｓを決定して、決定したブロック境界強度データＢｓと、パラメータ値生成部４１２から供給されたパラメータ値をフィルタ処理部２４２に出力する。
　フィルタ処理部２４２は、ブロック境界強度データＢｓとパラメータ値で示されたタップ長とフィルタ処理対象画素範囲でフィルタ処理を行い、フィルタ処理後の画素データを算出する。
　ここで、隣接する２つのブロックにおける隣接側の予測ブロックサイズが共に所定ブロックサイズ（１６×１６画素）以下である第１のケースと、少なくとも一方が所定ブロックサイズよりも拡張されている第２のケースにケース分類する場合について例示する。この場合、第１のケースでは、上述のＨ．２６４／ＡＶＣの符号化方式のフィルタ処理を行う。また、第２のケースでは、タップ長を拡張した長さに設定して平滑化の強度を強くする。および／または、フィルタ処理対象画素範囲を拡張して、ブロック境界から離れた位置の画素までフィルタ処理を行う。
　次に、タップ長とフィルタ処理対象画素範囲を拡張したときのフィルタ処理について例示する。
　フィルタ処理部２４２は、パラメータ値に基づきタップ長とフィルタ処理対象画素範囲を拡張してフィルタ処理を行い、画素データｐ0～ｐ4，ｑ0～ｑ4からフィルタ処理後の画素データｐ0’～ｐ3’，ｑ0’～ｑ3’を算出する。この場合、フィルタ処理部２４２は、上述の式（７）に替えて式（３２）を用いる。
　　　Δ＝Clip３（－ｔc，ｔc（（（（ｑ0－ｐ0）＜＜３）＋（（ｐ1－ｑ1）＜＜１）＋（ｐ2－ｑ2）＋８）＞＞４））　　　　・・・（３２）
　さらに、フィルタ処理部２４２は、式（１２），（１４）に替えて式（３３），（３４）を用いることで画素データｐ1’，ｑ1’を算出する。
　　ｐ1’＝ｐ1＋Clip３（-ｔc0，ｔc0，（ｐ3＋ｐ2＋ｐ0＋（（ｑ0＋ｑ1＋１）＞＞１）－（ｐ1＜＜２））＞＞２）　　　　・・・（３３）
　　ｑ1’＝ｑ1＋Clip３（-ｔc0，ｔc0，（ｑ3＋ｑ2＋ｑ0＋（（ｑ0＋ｑ1＋１）＞＞１）－（ｑ1＜＜２））＞＞２）　　　　・・・（３４）
　また、フィルタ処理部２４２は、式（１６），（１７）に替えて式（３５）（３６）を用いることで画素データｐ2’，ｑ2’を算出する。
　　ｐ2’＝ｐ2＋Clip３（-ｔc0，ｔc0，（ｐ4＋ｐ3＋ｐ1＋（（ｐ0＋ｑ1＋１）＞＞１）－（ｐ2＜＜２））＞＞２）　　　　・・・（３５）
　　ｑ2’＝ｑ2＋Clip３（-ｔc0，ｔc0，（ｑ4＋ｑ3＋ｑ1＋（（ｑ0＋ｑ1＋１）＞＞１）－（ｑ2＜＜２））＞＞２）　　　　・・・（３６）
　また、フィルタ処理部２４２は、chromaEdgeFlagが「０」を示し、且つ、式（１８）の条件を満たす場合に、画素データｐ0’，ｐ1’，ｐ2’，ｐ3’を式（３７）～（４０）にしたがって算出する。
　　ｐ0’＝（ｐ3＋２・ｐ2＋３・ｐ1＋４・ｐ0＋３・ｑ0＋２・ｑ1＋ｑ2＋８）＞＞４　　　　　　　　　・・・（３７）
　　ｐ1’＝（ｐ3＋ｐ2＋２・ｐ1＋２・ｐ0＋ｑ0＋ｑ1＋４）＞＞３　　　　　　　　　　　　　　　　　・・・（３８）
　　ｐ2’＝（ｐ4＋３・ｐ3＋４・ｐ2＋３・ｐ1＋２・ｐ0＋２・ｑ0＋ｑ1＋８）＞＞４　　　　　　　　　・・・（３９）
　　ｐ3’＝（ｐ4＋３・ｐ3＋ｐ2＋ｐ1＋ｐ0＋ｑ0＋４）＞＞３　　　　　　　　　　　　　　　　　　　・・・（４０）
　また、フィルタ処理部２４２は、chromaEdgeFlagが「０」を示し、且つ、式（２５）の条件を満たす場合に、画素データｑ0’，ｑ1’，ｑ2’，ｑ3’を式（４１）～（４４）にしたがって算出する。
　　ｑ0’＝（ｐ2＋２・ｐ1＋３・ｐ0＋４・ｑ0＋３・ｑ1＋２・ｑ2＋ｑ3＋８）＞＞４　　　　　　　　　・・・（４１）
　　ｑ1’＝（ｐ1＋ｐ0＋２・ｑ0＋２・ｑ1＋ｑ2＋ｑ3＋４）＞＞３　　　　　　　　　 　　　　　　　　・・・（４２）
　　ｑ2’＝（ｑ4＋３・ｑ3＋４・ｑ2＋３・ｑ1＋２・ｑ0＋２・ｐ0＋ｐ1＋８）＞＞４　　　　　　　　　・・・（４３）
　　ｑ3’＝（ｑ4＋３・ｑ3＋ｑ2＋ｑ1＋ｑ0＋ｐ0＋４）＞＞３　　　　　　　　　　　　　　　　　　　・・・（４４）
　なお、タップ長とフィルタ処理対象画素範囲の設定は、２つのブロックがどちらも１６×１６画素若しくはそれ以下の大きさである場合と、２つのブロックの少なくとも一方が１６×１６画素より大きい場合の２つにケース分類する場合に限られない。例えば、２つのブロックがどちらも１６×１６画素若しくはそれ以下の大きさである場合と、２つのブロックの少なくとも一方が１６×１６画素より大きく、両方が３２×３２画素以下である場合や、２つのブロックの少なくとも一方が３２×３２画素より大きい場合のケース分類を行うようにしてもよい。この場合、ブロックサイズがより大きい境界では、タップ長をさらに長くして平滑化の強度を強く、またフィルタ処理対象画素範囲をさらに広くしてブロック境界より遠い画素値に対してフィルタ処理を行うようにする。また、タップ長とフィルタ処理対象画素範囲の設定では、ケース分類結果に応じて、タップ長とフィルタ処理対象画素範囲の何れか一方のみを拡張するようにしてもよい。
　このように、画像符号化装置では、隣接する２つのブロックにおける隣接側のブロックサイズに応じてフィルタのタップ長とフィルタ処理対象画素範囲を設定して、ブロックサイズが大きくブロック歪が目につきやすい部分については、平滑化の強度を強くしたり、ブロック境界に対してより遠くの画素値にまでフィルタ処理を施す。したがって、ブロック歪みが目につきにくくなり、予測画像の生成に用いる復号画像における画質をより好ましいものにできる。
　＜４．画像符号化装置の動作＞
　次に、画像符号化処理動作について説明する。図５は、画像符号化処理で用いる予測ブロックサイズを示している。Ｈ．２６４／ＡＶＣ方式では、図５の（Ｃ）（Ｄ）に示すように１６×１６画素～４×４画素の予測ブロックサイズが規定されている。また、Ｈ．２６４／ＡＶＣ方式よりも拡張された大きさのマクロブロックを用いる場合、例えば３２×３２画素のマクロブロックを用いる場合、例えば図５の（Ｂ）に示す予測ブロックサイズが規定される。また、例えば６４×６４画素のマクロブロックを用いる場合、例えば図５の（Ａ）に示す予測ブロックサイズが規定される。
　なお、図５において、「Ｓｋｉｐ／ｄｉｒｅｃｔ」は、動き予測・補償部３２において、スキップドマクロブロックやダイレクトモードを選択したときの予測ブロックサイズであることを示している。また、「ＭＥ」は動き補償ブロックサイズであることを示している。また、「Ｐ８×８」は、マクロブロックのサイズを小さくした下位の階層でさらに分割できることを示している。
　図６は、画像符号化処理動作を示すフローチャートである。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
　ステップＳＴ１２において画面並べ替えバッファ１２は、画面並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並び替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。なお、予測画像・最適モード選択部３３でイントラ予測部３１から供給された予測画像と動き予測・補償部３２からの予測画像の選択がスライス単位で行われるとき、イントラ予測部３１から供給された予測画像が選択されたスライスでは、イントラ予測が行われることになる。また、動き予測・補償部３２からの予測画像が選択されたスライスでは、インター予測が行われることになる。
　ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換を行い、変換係数データを出力する。
　ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
　ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ１８において加算部２３は、復号画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号画像データを生成する。
　ステップＳＴ１９においてデブロッキングフィルタ２４は、フィルタ処理を行う。デブロッキングフィルタ２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。
　ステップＳＴ２０においてフレームメモリ２５は、復号画像データを記憶する。フレームメモリ２５は、フィルタ処理前の復号画像データとフィルタ処理後の復号画像データを記憶する。
　ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。予測処理の詳細は、図７を参照して後述するが、この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
　ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを選択して、減算部１３と加算部２３に供給する。この予測画像が、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。なお、選択した予測画像データに対応する予測モード情報は、可逆符号化部１６とフィルタ設定部４１に出力される。
　ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップＳＴ２２において可逆符号化部１６に入力された予測モード情報（例えばマクロブロックタイプや予測モード、動きベクトル情報、参照ピクチャ情報等を含む）なども可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。
　ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
　次に、図７のフローチャートを参照して、図６のステップＳＴ２１における予測処理を説明する。
　ステップＳＴ３１において、イントラ予測部３１はイントラ予測処理を行う。イントラ予測部３１は処理対象のブロックの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される復号画像の画像データは、デブロッキングフィルタ２４によりフィルタ処理が行われることなくフレームメモリ２５に記憶されている復号画像データが用いられる。イントラ予測処理の詳細は後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。
　ステップＳＴ３２において、動き予測・補償部３２はインター予測処理を行う。動き予測・補償部３２は、フレームメモリ２５に記憶されているフィルタ処理後の復号画像データを用いて、候補となる全てのインター予測モード（全ての予測ブロックサイズ）のインター予測処理を行う。インター予測処理の詳細は後述するが、この処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。
　次に、図７のステップＳＴ３１におけるイントラ予測処理について図８のフローチャートを参照して説明する。
　ステップＳＴ４１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、フレームメモリ２５に記憶されているフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
　ステップＳＴ４２でイントラ予測部３１は、各予測モードに対するコスト関数値を算出する。コスト関数値としては、Ｈ．２６４／ＡＶＣ方式における参照ソフトウェアであるＪＭ(Joint Model)で定められているように、High Complexity モードか、Low Complexity モードのいずれかの手法に基づいて行う。
　すなわち、High Complexity モードにおいては、ステップＳＴ４１の処理として、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（４５）で表されるコスト関数値を各予測モードに対して算出する。
　　Cost(Mode∈Ω)=Ｄ+λ・Ｒ　　　　　　・・・（４５）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ乗数である。
　つまり、High Complexity Modeでの符号化を行うには、上記パラメータＤおよびＲを算出するため、候補となる全ての予測モードにより、一度、仮エンコード処理を行う必要があり、より高い演算量を要する。
　一方、Low Complexity モードにおいては、ステップＳＴ４１の処理として、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式（４６）で表されるコスト関数値を各予測モードに対して算出する。
　　Cost(Mode∈Ω)=Ｄ+QPtoQuant(QP)・Header_Bit　　　・・・（４６）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータＱＰの関数として与えられる関数である。
　すなわち、Low Complexity Modeにおいては、それぞれの予測モードに関して、予測処理を行う必要があるが、復号化画像までは必要ないため、High Complexity Modeより低い演算量での実現が可能である。
　ステップＳＴ４３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ４２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
　次に、図９のフローチャートを参照して、図７のステップＳＴ３２のインター予測処理について説明する。
　ステップＳＴ５１で動き予測・補償部３２は、各予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、動き予測・補償部３２は、各予測モードの処理対象のブロックについて、動きベクトルと参照画像をそれぞれ決定する。
　ステップＳＴ５２で動き予測・補償部３２は、各予測モードに対して動き補償を行う。動き予測・補償部３２は、各予測モード（各予測ブロックサイズ）について、ステップＳＴ５１で決定された動きベクトルに基づいて、参照画像に対する動き補償を行い、各予測モードについて予測画像データを生成する。
　ステップＳＴ５３で動き予測・補償部３２は、各予測モードに対して動きベクトル情報の生成を行う。動き予測・補償部３２は、各予測モードで決定された動きベクトルについて、符号化ストリームに含める動きベクトル情報を生成する。例えば、メディアン予測等を用いて予測動きベクトルを決定して、動き予測により検出した動きベクトルと予測動きベクトルの差を示す動きベクトル情報を生成する。このようにして生成された動きベクトル情報は、次のステップＳＴ５４におけるコスト関数値の算出にも用いられて、最終的に予測画像・最適モード選択部３３で対応する予測画像が選択された場合には、予測モード情報に含まれて可逆符号化部１６へ出力される。
　ステップＳＴ５４で動き予測・補償部３２は、各インター予測モードに対して、コスト関数値の算出を行う。動き予測・補償部３２は、上述した式（４５）または式（４６）を用いてコスト関数値の算出を行う。なお、インター予測モードに対するコスト関数値の算出には、Ｈ．２６４／ＡＶＣ方式において定められているSkip ModeおよびDirect Modeのコスト関数値の評価も含まれる。
　ステップＳＴ５５で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ５４において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つの予測モードを選択して最適インター予測モードに決定する。
　次に、フィルタ設定処理について図１０に示すフローチャートを用いて説明する。なお、図１０では、タップ長とフィルタ処理対象画素範囲を拡張する場合を示している。
　ステップＳＴ６１でフィルタ設定部４１は、最適モードの予測ブロックサイズを取得する。フィルタ設定部４１は、図６のステップＳＴ２２で選択された予測画像に対応する予測ブロックサイズ、すなわち最適モードで符号化を行うときの予測ブロックサイズを取得する。
　ステップＳＴ６２でフィルタ設定部４１は、当該ブロックまたは隣接ブロックは１６×１６画素より大きいか否か判別する。フィルタ設定部４１は、当該ブロックまたは隣接ブロックの少なくともいずれかが１６×１６画素よりも大きいときステップＳＴ６３に進み、当該ブロックと隣接ブロックが共に１６×１６画素以下であるときステップＳＴ６４に進む。
　ステップＳＴ６３でフィルタ設定部４１は、タップ長とフィルタ処理対象画素範囲を拡張して設定する。例えばフィルタ設定部４１は、Ｈ２６４．／ＡＶＣの符号化方式よりもタップ長とフィルタ処理対象画素範囲を拡張して、上述のように、フィルタ処理後の画素データｐ0’～ｐ3’，ｑ0’～ｑ3’を算出させる。
　ステップＳＴ６４でフィルタ設定部４１は、タップ長とフィルタ処理対象画素範囲を拡張しないで設定する。例えばフィルタ設定部４１は、Ｈ２６４．／ＡＶＣの符号化方式のタップ長とフィルタ処理対象画素範囲に設定して、上述のように、フィルタ処理後の画素データｐ0’～ｐ2’，ｑ0’～ｑ2’を算出させる。
　このように、本技術を適用した画像符号化装置および方法によれば、符号化効率が最良となる予測ブロックサイズを決定して、決定された予測ブロックサイズで画像データの符号化処理が行われる。このとき、この予測ブロックサイズを示す情報は、フィルタ設定部４１のブロックサイズバッファ４１１に蓄積される。したがって、符号化効率が最良となる予測ブロックサイズで符号化処理された画像データを復号化処理して復号画像データを生成したとき、復号画像における予測ブロックの位置が明らかとなる。このため、ブロックサイズバッファ４１１に蓄積された情報に基づき、予測ブロックサイズに応じてタップ長とフィルタ処理対象画素範囲を設定することで、予測ブロックサイズが大きくてもブロック歪みを少なくできる。また、予測画像の生成のための復号画像データにおけるブロック歪みを少なくできるので、ブロック歪みの影響によって予測誤差データが大きくなってしまうことを防止できることから、符号化処理後のデータ量をさらに少なくできる。
　＜５．画像復号化装置の構成＞
　入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号化装置に供給されて復号される。
　図１１は、画像復号化装置の構成を示している。画像復号装置５０は、蓄積バッファ５１、可逆復号化部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ５６、画面並べ替えバッファ５７、Ｄ／Ａ変換部５８を備えている。さらに、画像復号装置５０は、フレームメモリ６１、セレクタ６２，６５、イントラ予測部６３、動き補償部６４、フィルタ設定部７１を備えている。
　蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号化部５２は、蓄積バッファ５１より供給された符号化ストリームを、図１の可逆符号化部１６の符号化方式に対応する方式で復号化する。また、可逆復号化部５２は、符号化ストリームのヘッダ情報を復号して得られた予測モード情報をイントラ予測部６３や動き補償部６４、デブロッキングフィルタ５６に出力する。
　逆量子化部５３は、可逆復号化部５２で復号された量子化データを、図１の量子化部１５の量子化方式に対応する方式で逆量子化する。逆直交変換部５４は、図１の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
　加算部５５は、逆直交変換後のデータとセレクタ６５から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ５６とフレームメモリ６１に出力する。
　デブロッキングフィルタ５６は、図１のデブロッキングフィルタ２４と同様に構成されている。デブロッキングフィルタ５６は、加算部５５から供給された復号画像データを対象としてフィルタ処理を行い、ブロック歪みを除去してからフレームメモリ６１に供給し蓄積させるとともに、画面並べ替えバッファ５７に出力する。また、デブロッキングフィルタ５６は、可逆復号化部５２から供給された予測モード情報と後述するフィルタ設定部７１から供給されたパラメータ値に基づき、タップ長とフィルタ処理対象画素範囲を設定してフィルタ処理を行う。
　画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図１の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
　Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。
　フレームメモリ６１は、加算部５５から供給されたフィルタ処理前の復号画像データとデブロッキングフィルタ２４から供給されたフィルタ処理後の復号画像データとを保持する。
　セレクタ６２は、可逆復号化部５２から供給された予測モード情報に基づき、イントラ予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ６１から読み出されたフィルタ処理前の復号画像データをイントラ予測部６３に供給する。また、セレクタ２６は、可逆復号化部５２から供給された予測モード情報に基づき、インター予測が行われた予測ブロックの復号化が行われるとき、フレームメモリ６１から読み出されたフィルタ処理後の復号画像データを動き補償部６４に供給する。
　イントラ予測部６３は、可逆復号化部５２から供給された予測モード情報に基づいて予測画像の生成を行い、生成した予測画像データをセレクタ６５に出力する。また、イントラ予測部６３は生成した予測画像のブロックサイズを示す情報をフィルタ設定部７１に出力する。
　動き補償部６４は、可逆復号化部５２から供給された予測モード情報に基づいて、動き補償を行い、予測画像データを生成してセレクタ６５に出力する。すなわち、動き補償部６４は、予測モード情報に含まれる動きベクトル情報と参照フレーム情報に基づいて、参照フレーム情報で示された参照画像に対して動きベクトル情報に基づく動きベクトルで動き補償を行い、予測画像データを生成する。また、動き補償部６４は生成した予測画像のブロックサイズを示す情報をフィルタ設定部７１に出力する。
　セレクタ６５は、イントラ予測部６３で生成された予測画像データを加算部５５に供給する。また、セレクタ６５は、動き補償部６４で生成された予測画像データを加算部５５に供給する。
　フィルタ設定部７１は、図４に示すフィルタ設定部４１と同様に構成されている。また、フィルタ設定部７１は、復号化済みのブロックの予測ブロックサイズを示す情報を蓄積しておく。フィルタ設定部７１は、復号化対象のブロックと復号化対象のブロックに隣接する復号化済みのブロックの隣接側の予測ブロックサイズに応じて、タップ長とフィルタ処理対象画素範囲を設定する。フィルタ設定部７１は、設定したタップ長やフィルタ処理対象画素範囲を示すパラメータ値をデブロッキングフィルタ５６に供給する。また、フィルタ設定部７１は、当該ブロック、若しくは隣接ブロックのどちらか一方で最適モードにおける予測ブロックサイズが拡張されたブロックサイズである場合、大きい方の予測ブロックサイズに応じてタップ長とフィルタ処理対象画素範囲を設定する。また、フィルタ設定部７１は、所定のマクロブロックよりもサイズが大きい複数のマクロブロックが用いられる場合、サイズが大きいほどタップ長が長くフィルタ処理対象画素範囲が広くなるように設定を行う。
　＜６．画像復号化装置の動作＞
　次に、図１２のフローチャートを参照して、画像復号装置５０で行われる画像復号処理動作について説明する。
　ステップＳＴ７１で蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。ステップＳＴ７２で可逆復号化部５２は、可逆復号化処理を行う。可逆復号化部５２は、蓄積バッファ５１から供給される符号化ストリームを復号化する。すなわち、図１の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号化部５２、符号化ストリームのヘッダ情報に含まれている予測モード情報の可逆復号化を行い、得られた予測モード情報をデブロッキングフィルタ５６やセレクタ６２，６５に供給する。さらに、可逆復号化部５２は、予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部６３に出力する。また、可逆復号化部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部６４に出力する。
　ステップＳＴ７３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号化部５２により復号された量子化データを、図１の量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ７４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図１の直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ７５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ７９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
　ステップＳＴ７６においてデブロッキングフィルタ５６は、フィルタ処理を行う。デブロッキングフィルタ５６は、加算部５５より出力された復号画像データのフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
　ステップＳＴ７７においてフレームメモリ６１は、復号画像データの記憶処理を行う。
　ステップＳＴ７８においてイントラ予測部６３と動き補償部６４は、予測画像データの生成を行う。イントラ予測部６３と動き補償部６４は、可逆復号化部５２から供給される予測モード情報に対応してそれぞれ予測画像データの生成を行う。
　すなわち、可逆復号化部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部６３は、予測モード情報に基づき、フレームメモリ６１の復号画像データを用いてイントラ予測処理を行い、予測画像データを生成する。また、可逆復号化部５２からインター予測の予測モード情報が供給された場合、動き補償部６４は、予測モード情報に基づきフレームメモリ６１の復号画像データを用いて動き補償を行い、予測画像データを生成する。
　ステップＳＴ７９において、セレクタ６５は予測画像データの選択を行う。すなわち、セレクタ６５は、イントラ予測部６３から供給された予測画像と動き補償部６４で生成された予測画像データを選択して加算部５５に供給して、上述したように、ステップＳＴ７５において逆直交変換部５４の出力と加算させる。
　ステップＳＴ８０において画面並べ替えバッファ５７は、画面並べ替えを行う。すなわち画面並べ替えバッファ５７は、図１の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳＴ８１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
　また、図１２のステップＳＴ７６におけるフィルタ処理では、上述の図１０に示すフィルタ設定処理をフィルタ設定部７１で行う。フィルタ設定部７１は、復号化対象のブロックと復号化対象のブロックに隣接する復号化済みのブロックの隣接側の予測ブロックサイズに応じて、タップ長とフィルタ処理対象画素範囲を設定する。フィルタ設定部７１は、当該ブロックまたは隣接ブロックの少なくともいずれかの隣接側のブロックサイズが拡張されているとき、拡張されたタップ長とフィルタ処理対象画素範囲に設定する。なお、復号化済みのブロックの隣接側の予測ブロックサイズは、この隣接ブロックを復号化したとき、フィルタ設定部７１のブロックサイズバッファに蓄積させておく。フィルタ設定部７１は、設定したタップ長とフィルタ処理対象画素範囲を示すパラメータ値を生成してデブロッキングフィルタ５６に出力する。デブロッキングフィルタ５６は、フィルタ設定部７１から供給されたパラメータ値で示されたタップ長とフィルタ処理対象画素範囲で、復号化対象のブロックと、復号化対象のブロックに隣接する復号化済みのブロックとのブロック境界に対してフィルタ処理を行う。
　このように、本技術を適用した画像復号化装置および方法によれば、符号化処理で用いられた予測ブロックサイズを示す情報が、フィルタ設定部７１のブロックサイズバッファに蓄積される。したがって、符号化ストリームの復号化処理を行って画像表示のための復号画像データを生成したとき、復号画像における予測ブロックの位置が明らかとなる。このため、ブロックサイズバッファに蓄積された情報に基づき、ブロックサイズが大きくブロック歪が目につきやすい部分については、ブロック境界に対してより遠くの画素値にまでフィルタ処理を施して、より強度の強い平滑化処理が行われる。したがって、ブロック歪みが目につきにくく、画質の良好な復号画像を得ることができるようになる。
　さらに、画像処理装置のフィルタ設定部は、復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、タップ長とフィルタ処理対象画素範囲の設定を行えばよい。例えば画像処理装置が画像符号化装置であるとき、フィルタ設定部は、予測画像の生成のための復号画像データに対して、予測画像の生成に用いる復号画像の画質を良好な画質として、符号化ストリームのデータ量が少なくなるように設定を行う。また、例えば画像処理装置が画像復号化装置であるとき、フィルタ設定部は、画像表示に用いる復号画像の画質をユーザの好みの画質となるように設定を行う。このようにすれば、フィルタ設定部が画像符号化装置に設けられるときは画像符号化に適したデブロッキングフィルタ処理、フィルタ設定部が画像復号化装置に適したデブロッキングフィルタ処理を行うことができる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　また、上述の実施形態では、ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、パラメータ値であるタップ長やフィルタ処理対象画素範囲を設定する場合について説明したが、フィルタ設定部は、隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合、フィルタ処理に用いるブロック境界強度データの値を拡張した値に設定して、ブロック歪みが軽減された良好な画質の画像を得られるようにしてもよい。例えば、フィルタ設定部は、隣接ブロックのブロックサイズが大きいほど、フィルタ処理に用いるブロック境界強度データの値を大きく設定してブロック歪みを軽減させる。
　デブロックフィルタの処理単位のサイズ又はマクロブロックのサイズは、本明細書で説明した例に限定されず、他のサイズであってもよい。例えば、Ｈ．２６４／ＡＶＣのマクロブロックのサイズは１６×１６画素に固定されているのに対し、ＨＥＶＣの符号化単位のサイズはシーケンスごとに動的に指定され得る。ＨＥＶＣの符号化単位は符号化ツリーブロック（Coding　Tree　Block）とも呼ばれ、最大のサイズを有する符号化単位を最大符号化単位（ＬＣＵ：Largest　Coding　Unit）、最小のサイズを有する符号化単位を最小符号化単位（ＳＣＵ：Smallest　Coding　Unit）という。画像圧縮情報の一部であるシーケンスパラメータセットにおいてこれらＬＣＵ及びＳＣＵのサイズを指定することで、使用可能な符号化単位のサイズの範囲が定義される。さらに、split_flagの値を指定することで、個々のシーケンスにおいて使用される符号化単位のサイズが特定される。
　符号化単位の形状は正方形である場合、一辺のサイズが２のべき乗で表現される。さらに、符号化単位は、イントラ予測又はインター予測の処理単位である予測単位（ＰＵ：Prediction　Unit）に分割され得る。また、符号化単位は、直交変換の処理単位である変換単位（ＴＵ：Transform　Unit）にも分割され得る。ＨＥＶＣでは、４×４画素及び８×８画素に加えて、１６×１６画素及び３２×３２画素のサイズを有する変換単位を使用することができる。本明細書におけるブロックとの用語は、マクロブロック、符号化単位、予測単位、変換単位又はそれ以外の様々なユニットの概念を含む。
　ブロックのサイズは、固定的であってもよく動的に変化してもよい。ブロックサイズは、本明細書で説明した例に限定されず、他のサイズであってもよい。例えば、ブロックサイズが４、８、１６のように、１６×１６画素以下のブロックに対しても同様の手法を用いることができる。この場合も同様に、ブロックサイズが大きくなるのに応じて、フィルタのタップ長を長く設定する、又は、処理対象画素範囲を広く設定すればよい。
　ブロックサイズは、４×４画素、８×８画素、１６×１６画素、３２×３２画素である正方形の場合だけではなく、８×２画素、２×８画素、１６×４画素、４×１６画素、３２×８画素、８×３２画素である非正方の場合にも適用することが可能である。この場合、隣接ブロックにおいて隣接する側のブロックサイズに応じて、フィルタ処理のタップ長又はフィルタ処理対象画素範囲を設定することもできる。また、隣接ブロックにおいて隣接しない側のブロックサイズに応じて、フィルタ処理のタップ長又はフィルタ処理対象画素範囲を設定することもできる。さらに、ブロックの形状とブロックサイズとに応じて、隣接する側のブロックサイズを適用とするか、隣接しない側のブロックサイズを適用するか、を適応的に選択することも可能である。
　また、デブロックフィルタの処理のために使用される情報を符号化側から復号側に伝送する手法は、これら情報を符号化ストリームのヘッダに多重化する手法に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
　＜７．応用例＞
　上述した実施形態に係る画像符号化装置１０及び画像復号装置５０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　　［７－１．第１の応用例］
　図１３は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９０は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９０における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic　Program　Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical　User　Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。外部インタフェース９０９は、テレビジョン装置９０と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９０における伝送手段としての役割を有する。
　制御部９１０は、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、並びにＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９０の動作を制御する。
　ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９０において、デコーダ９０４は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、テレビジョン装置９０での画像の復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。
　　［７－２．第２の応用例］
　図１４は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置５０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。
　　［７－３．第３の応用例］
　図１５は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。
セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。
　　［７－４．第４の応用例］
　図１６は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid　State　Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置５０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、デブロックフィルタを適用すべき範囲をより適切に判定し、画質を向上させることができる。
　さらに、本技術は、上述した実施形態に限定して解釈されるべきではない。この実施形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　なお、本技術は以下のような構成も取ることができる。
　（１）　ブロック毎に符号化された画像データを復号する復号部と、
前記復号部により復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、
　ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、
　を備える画像処理装置。
　（２）　前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記タップ長を拡張した長さに設定する（１）記載の画像処理装置。
　（３）　前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタのタップ長を長く設定する（２）に記載の画像処理装置。
　（４）　前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理対象画素範囲を拡張した広さに設定する（１）乃至（３）の何れかに記載の画像処理装置。
　（５）　前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理対象画素範囲を広く設定する（１）乃至（４）の何れかに記載の画像処理装置。
　（６）　前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理に用いるブロック境界強度データの値を拡張した値に設定する（１）乃至（５）の何れかに記載の画像処理装置。
　（７）　前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理に用いるブロック境界強度データの値を大きく設定する（６）に記載の画像処理装置。
　（８）　前記フィルタ設定部は、前記隣接ブロックにおいて隣接する側のブロックサイズに応じて、前記フィルタ処理のタップ長又は前記フィルタ処理対象画素範囲を設定する（１）乃至（７）の何れかに記載の画像処理装置。
　（９）　前記フィルタ設定部は、前記隣接ブロックのブロックサイズに対応したケース分類に応じて、前記フィルタ処理のタップ長とフィルタ処理対象画素範囲を設定する（１）乃至（８）の何れかに記載の画像処理装置。
　（１０）　前記ケース分類は、前記隣接ブロックが共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースである（９）に記載の画像処理装置。
　（１１）　前記フィルタ設定部は、前記隣接ブロックが１６×１６画素以下である場合と、前記２つのブロックの少なくとも一方が１６×１６画素より大きいが両方とも３２×３２画素以下の場合と、前記２つのブロックの少なくとも一方が３２×３２画素より大きい場合に、ケース分類を行う（１０）に記載の画像処理装置。
　（１２）　前記ブロックサイズは、イントラ予測又はインター予測を行う際の処理単位である予測ブロックサイズである（１）乃至（１１）の何れかに記載の画像処理装置。
　（１３）　前記ブロックサイズは、直交変換を行う際の処理単位である変換サイズである（１）乃至（１２）の何れかに記載の画像処理装置。
　（１４）　前記所定のブロックサイズは、Ｈ．２６４/ＡＶＣ規格のマクロブロックサイズである（２）乃至（１３）の何れかに記載の画像処理装置。
　（１５）　前記フィルタ設定部は、前記復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、前記タップ長又はフィルタ処理対象画素範囲の設定を行う（１）乃至（１４）の何れかに記載の画像処理装置。
　この技術の画像処理装置と画像処理方法では、ブロック歪みが軽減された良好な画質の画像を得られるようになる。したがって、ＭＰＥＧ、Ｈ.２６ｘ等のように、ブロック単位で符号化を行うことにより得られた画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ、インターネット、携帯電話などのネットワークメディアを介して送受信する際に、若しくは光、磁気ディスク、フラッシュメモリのような記憶メディア上で処理する際に用いられる画像符号化装置や画像復号化装置等に適している。
　１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７，５１・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２，５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ、２５，６１・・・フレームメモリ、２６，６２，６５・・・セレクタ、３１，６３・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、４１，７１・・・フィルタ設定部、５０・・・画像復号装置、５２・・・可逆復号化部、５８・・・Ｄ／Ａ変換部、６４・・・動き補償部、９０・・・テレビジョン装置、９２・・・携帯電話機、９４・・・記録再生装置、９６・・・撮像装置、２４１・・・フィルタ強度決定部、２４２・・・フィルタ処理部、４１１・・・ブロックサイズバッファ、４１２・・・パラメータ値生成部、９０１、９２１・・・アンテナ、９０２、９４１・・・チューナ、９０３・・・デマルチプレクサ、９０４，９４７・・・デコーダ、９０５・・・映像信号処理部、９０６・・・表示部、９０７・・・音声信号処理部、９０８・・・スピーカ、９０９、９４２、９６６・・・外部インタフェース部、９１０、９３１，９４９，９７０・・・制御部、９１１，９３２，９７１・・・ユーザインタフェース部、９１２，９３３，９７２・・・バス、９２２・・・通信部、９２３・・・音声コーデック、９２４・・・スピーカ、９２５・・・マイクロホン、９２６・・・カメラ部、９２７・・・画像処理部、９２８・・・多重分離部、９２９・・・記録再生部、９３０・・・表示部、９４３・・・エンコーダ、９４４・・・ＨＤＤ部、９４５・・・ディスクドライブ、９４８、９６９・・・ＯＳＤ部、９６１・・・光学ブロック、９６２・・・撮像部、９６３・・・カメラ信号処理部、９６４・・・画像データ処理部、９６５・・・表示部、９６７・・・メモリ部、９６８・・・メディアドライブ

Claims (18)

  1. 　ブロック毎に符号化された画像データを復号する復号部と、
    前記復号部により復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、
    　ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、
    　を備える画像処理装置。
  2. 　前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記タップ長を拡張した長さに設定する
    請求項１記載の画像処理装置。
  3. 　前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタのタップ長を長く設定する
    請求項２に記載の画像処理装置。
  4. 　前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理対象画素範囲を拡張した広さに設定する
    請求項１記載の画像処理装置。
  5. 前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理対象画素範囲を広く設定する
    請求項４に記載の画像処理装置。
  6. 　前記フィルタ設定部は、前記隣接ブロックの少なくとも一方が所定のブロックサイズより拡張されている場合に、前記フィルタ処理に用いるブロック境界強度データの値を拡張した値に設定する
    請求項１記載の画像処理装置。
  7. 　前記フィルタ設定部は、前記隣接ブロックのブロックサイズが大きいほど、前記フィルタ処理に用いるブロック境界強度データの値を大きく設定する
    請求項６に記載の画像処理装置。
  8. 　前記フィルタ設定部は、前記隣接ブロックにおいて隣接する側のブロックサイズに応じて、前記フィルタ処理のタップ長又は前記フィルタ処理対象画素範囲を設定する
    請求項１に記載の画像処理装置。
  9. 　前記フィルタ設定部は、前記隣接ブロックのブロックサイズに対応したケース分類に応じて、前記フィルタ処理のタップ長とフィルタ処理対象画素範囲を設定する
    請求項１記載の画像処理装置。
  10. 　前記ケース分類は、前記隣接ブロックが共に所定ブロックサイズ以下のケースと、少なくとも一方が所定のブロックサイズより拡張されているケースである
    請求項９記載の画像処理装置。
  11. 　前記フィルタ設定部は、前記隣接ブロックが１６×１６画素以下である場合と、前記２つのブロックの少なくとも一方が１６×１６画素より大きいが両方とも３２×３２画素以下の場合と、前記２つのブロックの少なくとも一方が３２×３２画素より大きい場合に、ケース分類を行う
    請求項１０記載の画像処理装置。
  12. 　前記ブロックサイズは、イントラ予測又はインター予測を行う際の処理単位である予測ブロックサイズである
    請求項１に記載の画像処理装置。
  13. 　前記ブロックサイズは、直交変換を行う際の処理単位である変換サイズである
    請求項１に記載の画像処理装置。
  14. 　前記所定のブロックサイズは、Ｈ．２６４/ＡＶＣ規格のマクロブロックサイズである
    請求項２記載の画像処理装置。
  15. 　前記フィルタ設定部は、前記復号画像データが予測画像の生成のための画像データであるか、画像表示のための画像データであるかに応じて、前記タップ長又はフィルタ処理対象画素範囲の設定を行う
    請求項１記載の画像処理装置。
  16. 　ブロック毎に符号化された画像データを復号する復号工程と、
    前記復号工程において復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、
    　ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ工程と、
    を有する画像処理方法。
  17. 　直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタと、
    　ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定部と、
    前記フィルタによりフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化部と、
    を備える画像処理装置。
  18. 　直交変換と量子化が行われた画像データがローカル復号された復号画像データを対象として、ブロック歪みを除去するフィルタ処理を行うフィルタ工程と、
    　ブロック境界において隣接する隣接ブロックのブロックサイズに応じて、ブロック境界に対する前記フィルタ処理のタップ長又は前記フィルタ処理の処理対象となるフィルタ処理対象画素範囲を設定するフィルタ設定工程と、
    前記フィルタ工程においてフィルタ処理が行われた復号画像データを用いて、画像データブロック毎に符号化する符号化工程と、
    を有する画像処理方法。
PCT/JP2011/061288 2010-05-18 2011-05-17 画像処理装置と画像処理方法 WO2011145601A1 (ja)

Priority Applications (14)

Application Number Priority Date Filing Date Title
KR1020187031113A KR102005209B1 (ko) 2010-05-18 2011-05-17 화상 처리 장치와 화상 처리 방법
EP11783535.5A EP2574055A4 (en) 2010-05-18 2011-05-17 Image processor and image processing method
KR1020127029404A KR101808357B1 (ko) 2010-05-18 2011-05-17 화상 처리 장치와 화상 처리 방법
JP2012515888A JPWO2011145601A1 (ja) 2010-05-18 2011-05-17 画像処理装置と画像処理方法
BR112012028934-9A BR112012028934B1 (pt) 2010-05-18 2011-05-17 Dispositivo e método de processamento de imagem
RU2012147780/08A RU2580056C2 (ru) 2010-05-18 2011-05-17 Устройство и способ обработки изображений
CN201180023207.5A CN102934429B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法
US13/640,243 US8855434B2 (en) 2010-05-18 2011-05-17 Image processing device and image processing method
KR1020177035086A KR101914896B1 (ko) 2010-05-18 2011-05-17 화상 처리 장치와 화상 처리 방법
US14/464,157 US9167267B2 (en) 2010-05-18 2014-08-20 Image processing device and image processing method
US14/464,133 US9253506B2 (en) 2010-05-18 2014-08-20 Image processing device and image processing method
US14/921,423 US10477206B2 (en) 2010-05-18 2015-10-23 Image processing device and image processing method
US16/587,063 US20200029074A1 (en) 2010-05-18 2019-09-30 Image processing device and image processing method
US16/587,065 US20200029075A1 (en) 2010-05-18 2019-09-30 Image processing device and image processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-114067 2010-05-18
JP2010114067 2010-05-18

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US13/640,243 A-371-Of-International US8855434B2 (en) 2010-05-18 2011-05-17 Image processing device and image processing method
US14/464,157 Continuation US9167267B2 (en) 2010-05-18 2014-08-20 Image processing device and image processing method
US14/464,133 Continuation US9253506B2 (en) 2010-05-18 2014-08-20 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2011145601A1 true WO2011145601A1 (ja) 2011-11-24

Family

ID=44991703

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/061288 WO2011145601A1 (ja) 2010-05-18 2011-05-17 画像処理装置と画像処理方法

Country Status (9)

Country Link
US (6) US8855434B2 (ja)
EP (1) EP2574055A4 (ja)
JP (1) JPWO2011145601A1 (ja)
KR (3) KR101914896B1 (ja)
CN (3) CN102934429B (ja)
BR (1) BR112012028934B1 (ja)
RU (2) RU2701840C2 (ja)
TW (2) TWI600318B (ja)
WO (1) WO2011145601A1 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013108330A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法および画像符号化方法
KR101468078B1 (ko) * 2013-02-06 2014-12-08 성균관대학교산학협력단 화면 내 예측 방법 및 장치
CN104429077A (zh) * 2012-07-09 2015-03-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
WO2015053112A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
US9615086B2 (en) 2013-02-06 2017-04-04 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
WO2017056665A1 (ja) * 2015-09-30 2017-04-06 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
RU2633140C2 (ru) * 2012-04-06 2017-10-11 Сони Корпорейшн Устройство и способ обработки изображений
WO2018123800A1 (ja) * 2016-12-27 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
WO2018123423A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
CN108353192A (zh) * 2015-09-30 2018-07-31 真实网络公司 视频处理系统和方法中的分层去块滤波
TWI665908B (zh) * 2012-01-19 2019-07-11 三菱電機股份有限公司 畫像解碼裝置、畫像解碼方法、畫像編碼裝置、畫像編碼方法、電腦可讀取記錄媒體
JP2019201438A (ja) * 2019-09-03 2019-11-21 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
JP2020036223A (ja) * 2018-08-30 2020-03-05 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
US11095888B2 (en) * 2017-04-06 2021-08-17 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
WO2022229511A1 (en) 2021-04-30 2022-11-03 Andritz Oy Microcrystalline cellulose product
WO2022229510A1 (en) 2021-04-30 2022-11-03 Andritz Oy System and method for producing microcrystalline cellulose
US11539945B2 (en) 2019-07-19 2022-12-27 Lg Electronics Inc. Image encoding/decoding method and device using filtering, and method for transmitting bitstream
US11632568B2 (en) 2019-06-19 2023-04-18 Lg Electronics Inc. Image decoding method for performing inter-prediction when prediction mode for current block ultimately cannot be selected, and device for same
RU2795932C1 (ru) * 2019-10-04 2023-05-15 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ кодирования изображения на основе преобразования и устройство для его осуществления
US11792389B2 (en) 2018-09-04 2023-10-17 Huawei Technologies Co., Ltd. Bi-directional inter prediction method and apparatus

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
HUE047906T2 (hu) 2010-06-04 2020-05-28 Sony Corp QP és delta QP kódolása egy minimális méretnél nagyobb képblokkoknál
EP3748964A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
EP3582497A1 (en) 2010-12-07 2019-12-18 Sony Corporation Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
EP2675161B1 (en) 2011-02-10 2018-11-14 Velos Media International Limited Image processing device and image processing method
US9135724B2 (en) 2011-03-11 2015-09-15 Sony Corporation Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
KR102166220B1 (ko) 2011-06-28 2020-10-15 소니 주식회사 화상 처리 장치 및 화상 처리 방법
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
CN107295341B (zh) * 2011-07-22 2020-02-28 Sk电信有限公司 视频编码方法
US9554128B2 (en) * 2011-09-13 2017-01-24 Hfi Innovation Inc. Method and apparatus for reduction of deblocking filter
US20140286412A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Intra dc prediction for lossless coding in video coding
CN103220529B (zh) * 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
US9696145B2 (en) * 2013-05-13 2017-07-04 Texas Instruments Incorporated Opportunistic structured light
CN103246992A (zh) * 2013-05-30 2013-08-14 叶旭东 房屋3d展示系统、在线房屋展示系统及其在线销售方法
JP6399433B2 (ja) * 2013-05-31 2018-10-03 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US9264661B2 (en) * 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
WO2015076634A1 (en) * 2013-11-24 2015-05-28 Lg Electronics Inc. Method and apparatus for encoding and decoding video signal using adaptive sampling
US9607710B2 (en) * 2014-11-10 2017-03-28 Sk Hynix Memory Solutions Inc. Read-threshold calibration in a solid state storage system
KR102294016B1 (ko) * 2014-12-05 2021-08-25 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
CN116828178A (zh) * 2016-06-24 2023-09-29 世宗大学校产学协力团 视频信号解码和编码方法、比特流的传输方法
US10219091B2 (en) * 2016-07-18 2019-02-26 Bose Corporation Dynamically changing master audio playback device
US10924735B2 (en) * 2016-12-28 2021-02-16 Sony Corporation Image processing apparatus and image processing method
EP3570543A4 (en) * 2017-01-12 2019-12-25 Sony Corporation IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
TWI832814B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼裝置及編碼裝置
TWI774750B (zh) * 2017-04-06 2022-08-21 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
TWI833248B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法
KR102296015B1 (ko) 2017-04-06 2021-09-01 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN115118996A (zh) * 2017-08-22 2022-09-27 松下电器（美国）知识产权公司 图像编码器和图像解码器
US10911757B2 (en) * 2017-09-08 2021-02-02 Mediatek Inc. Methods and apparatuses of processing pictures in an image or video coding system
US10645408B2 (en) 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
JP6918661B2 (ja) * 2017-09-22 2021-08-11 キヤノン株式会社 符号化装置、符号化方法及びプログラム
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
EP3782371A4 (en) * 2018-03-30 2021-12-22 Sharp Kabushiki Kaisha SYSTEMS AND PROCEDURES FOR THE APPLICATION OF UNBLOCKING FILTERS ON RECONSTRUCTED VIDEO DATA
KR20200002011A (ko) * 2018-06-28 2020-01-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020027551A1 (ko) 2018-07-30 2020-02-06 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US20200068223A1 (en) * 2018-08-27 2020-02-27 Qualcomm Incorporated Deblocking filter for video coding and processing
EP3868109A4 (en) * 2018-10-23 2022-08-17 HFI Innovation Inc. METHOD AND APPARATUS FOR LOOP FILTER BUFFER REDUCTION
CA3118410A1 (en) * 2018-11-02 2020-05-07 Sony Corporation Image processing device and image processing method
WO2020175145A1 (ja) * 2019-02-27 2020-09-03 ソニー株式会社 画像処理装置及び画像処理方法
CN112399235B (zh) * 2019-08-18 2023-05-09 海信视像科技股份有限公司 一种智能电视的摄像头拍照效果增强方法及显示设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
JP2006521065A (ja) * 2003-03-17 2006-09-14 クゥアルコム・インコーポレイテッド 低ビット・レート・ビデオのビデオ品質を改善するための方法及び装置
JP2007036463A (ja) 2005-07-25 2007-02-08 Sony Corp 画像処理装置、画像処理方法およびプログラム
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW293227B (ja) * 1994-11-24 1996-12-11 Victor Company Of Japan
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
JP3464767B2 (ja) * 1998-12-29 2003-11-10 ソニー株式会社 ウェーブレット復号装置及び方法
JP2000341689A (ja) * 1999-05-27 2000-12-08 Sony Corp ウェーブレット逆変換装置及び方法、並びにウェーブレット復号装置及び方法
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US7826535B2 (en) * 2002-04-11 2010-11-02 Broadcom Corporation Adaptive pixel processing
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
KR101000926B1 (ko) * 2004-03-11 2010-12-13 삼성전자주식회사 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법
JP4504078B2 (ja) * 2004-04-26 2010-07-14 オリンパス株式会社 エアギャップ可変式分光透過率可変素子のエアギャップ基準位置調整構造及びエアギャップ可変式分光透過率可変素子のエアギャップ基準位置調整構造を備えた光学装置
JP2008514115A (ja) * 2004-09-14 2008-05-01 ギャリー デモス 高品質広帯域多層画像圧縮符号化システム
US7428342B2 (en) * 2004-12-17 2008-09-23 Microsoft Corporation Reversible overlap operator for efficient lossless data compression
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP4500213B2 (ja) * 2005-05-20 2010-07-14 オリンパスイメージング株式会社 データ符号化装置、データ復号化装置、データ符号化方法、データ復号化方法、プログラム
BRPI0714859A2 (pt) * 2006-08-02 2013-05-21 Thomson Licensing mÉtodo e aparelho para particionamento geomÉtrico adaptativo para codificaÇço de vÍdeo e estrutura de sinal de vÍdeo para codificaÇço de vÍdeo
EP2127391A2 (en) * 2007-01-09 2009-12-02 Nokia Corporation Adaptive interpolation filters for video coding
JP4687918B2 (ja) * 2007-07-24 2011-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
EP2061250B8 (en) * 2007-11-16 2012-02-29 ST-Ericsson SA Deblocking filter
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
JP2011223302A (ja) 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
HUE047906T2 (hu) 2010-06-04 2020-05-28 Sony Corp QP és delta QP kódolása egy minimális méretnél nagyobb képblokkoknál
EP3582497A1 (en) 2010-12-07 2019-12-18 Sony Corporation Image processing device and image processing method
EP3748964A1 (en) 2010-12-07 2020-12-09 Sony Corporation Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP2675161B1 (en) 2011-02-10 2018-11-14 Velos Media International Limited Image processing device and image processing method
US9135724B2 (en) 2011-03-11 2015-09-15 Sony Corporation Image processing apparatus and method
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
SG11201408571RA (en) 2012-06-29 2015-01-29 Sony Corp Decoding device, and decoding method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006521065A (ja) * 2003-03-17 2006-09-14 クゥアルコム・インコーポレイテッド 低ビット・レート・ビデオのビデオ品質を改善するための方法及び装置
JP2005123732A (ja) * 2003-10-14 2005-05-12 Matsushita Electric Ind Co Ltd デブロックフィルタ処理装置およびデブロックフィルタ処理方法
JP2007036463A (ja) 2005-07-25 2007-02-08 Sony Corp 画像処理装置、画像処理方法およびプログラム
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
JP2010081368A (ja) * 2008-09-26 2010-04-08 Toshiba Corp 画像処理装置、動画像復号装置、動画像符号化装置、画像処理方法、動画像復号方法、及び、動画像符号化方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
"H.264/AVC", ADVANCED VIDEO CODING, March 2003 (2003-03-01)
See also references of EP2574055A4
VIDEO CODING USING EXTENDED BLOCK, January 2009 (2009-01-01)

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013108330A1 (ja) * 2012-01-18 2015-05-11 パナソニックＩｐマネジメント株式会社 画像復号装置、画像符号化装置、画像復号方法および画像符号化方法
CN103765903A (zh) * 2012-01-18 2014-04-30 松下电器产业株式会社 图像解码装置、图像编码装置、图像解码方法及图像编码方法
WO2013108330A1 (ja) * 2012-01-18 2013-07-25 パナソニック株式会社 画像復号装置、画像符号化装置、画像復号方法および画像符号化方法
US9153037B2 (en) 2012-01-18 2015-10-06 Panasonic Intellectual Property Management Co., Ltd. Image decoding device, image encoding device, image decoding method, and image encoding method
TWI665908B (zh) * 2012-01-19 2019-07-11 三菱電機股份有限公司 畫像解碼裝置、畫像解碼方法、畫像編碼裝置、畫像編碼方法、電腦可讀取記錄媒體
RU2633140C2 (ru) * 2012-04-06 2017-10-11 Сони Корпорейшн Устройство и способ обработки изображений
CN104429077A (zh) * 2012-07-09 2015-03-18 日本电信电话株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、图像解码程序以及记录介质
US10939135B2 (en) 2013-02-06 2021-03-02 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
US10375414B2 (en) 2013-02-06 2019-08-06 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
US9615086B2 (en) 2013-02-06 2017-04-04 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
US9998759B2 (en) 2013-02-06 2018-06-12 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
US10917661B2 (en) 2013-02-06 2021-02-09 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
KR101468078B1 (ko) * 2013-02-06 2014-12-08 성균관대학교산학협력단 화면 내 예측 방법 및 장치
US10924763B2 (en) 2013-02-06 2021-02-16 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
US10931970B2 (en) 2013-02-06 2021-02-23 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
WO2015053112A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
CN108353192B (zh) * 2015-09-30 2022-01-04 真实网络公司 视频处理系统和方法中的分层去块滤波
US10659779B2 (en) 2015-09-30 2020-05-19 Realnetworks, Inc. Layered deblocking filtering in video processing systems and methods
JP2018530259A (ja) * 2015-09-30 2018-10-11 リアルネットワークス・インコーポレイテッド ビデオ処理システムにおける層状非ブロック化フィルタリングおよび方法
CN108353192A (zh) * 2015-09-30 2018-07-31 真实网络公司 视频处理系统和方法中的分层去块滤波
WO2017056665A1 (ja) * 2015-09-30 2017-04-06 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
CN114173118B (zh) * 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 编码方法、解码方法及发送方法
CN114173117B (zh) * 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 编码方法、解码方法及发送方法
JP2020202595A (ja) * 2016-12-27 2020-12-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
US11570432B2 (en) 2016-12-27 2023-01-31 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US10917641B2 (en) 2016-12-27 2021-02-09 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN114173119B (zh) * 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 解码装置及非暂时性的存储介质
JP7373596B2 (ja) 2016-12-27 2023-11-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法及び復号方法
JPWO2018123800A1 (ja) * 2016-12-27 2019-10-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
TWI847216B (zh) 2016-12-27 2024-07-01 美商松下電器（美國）知識產權公司 編碼裝置及解碼裝置
US20210127109A1 (en) * 2016-12-27 2021-04-29 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
CN114157866B (zh) * 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 编码装置、解码装置及非暂时性的存储介质
WO2018123800A1 (ja) * 2016-12-27 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
CN114157865B (zh) * 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 编码装置、解码装置及非暂时性的存储介质
JP7013537B2 (ja) 2016-12-27 2022-01-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置及び復号装置
CN114157865A (zh) * 2016-12-27 2022-03-08 松下电器（美国）知识产权公司 编码装置、解码装置及非暂时性的存储介质
CN114157866A (zh) * 2016-12-27 2022-03-08 松下电器（美国）知识产权公司 编码装置、解码装置及非暂时性的存储介质
CN114173117A (zh) * 2016-12-27 2022-03-11 松下电器（美国）知识产权公司 编码方法、解码方法及发送方法
CN114173118A (zh) * 2016-12-27 2022-03-11 松下电器（美国）知识产权公司 编码方法、解码方法及发送方法
CN114173119A (zh) * 2016-12-27 2022-03-11 松下电器（美国）知识产权公司 解码装置及非暂时性的存储介质
JP2022066194A (ja) * 2016-12-27 2022-04-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化方法及び復号方法
TWI774718B (zh) * 2016-12-27 2022-08-21 美商松下電器（美國）知識產權公司 編碼裝置及解碼裝置
US10965943B2 (en) 2016-12-28 2021-03-30 Sony Corporation Image processing apparatus and image processing method
JP7310139B2 (ja) 2016-12-28 2023-07-19 ソニーグループ株式会社 画像処理装置及び画像処理方法
JPWO2018123423A1 (ja) * 2016-12-28 2019-10-31 ソニー株式会社 画像処理装置及び画像処理方法
WO2018123423A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
JP7435862B2 (ja) 2016-12-28 2024-02-21 ソニーグループ株式会社 画像処理装置及び画像処理方法
US11095888B2 (en) * 2017-04-06 2021-08-17 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
US11863741B2 (en) 2017-04-06 2024-01-02 Panasonic Intellectual Property Corporation Of America Encoder, decoder, encoding method, and decoding method
JP6998846B2 (ja) 2018-08-30 2022-01-18 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
WO2020044985A1 (ja) * 2018-08-30 2020-03-05 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP2020036223A (ja) * 2018-08-30 2020-03-05 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
US11792389B2 (en) 2018-09-04 2023-10-17 Huawei Technologies Co., Ltd. Bi-directional inter prediction method and apparatus
US11632568B2 (en) 2019-06-19 2023-04-18 Lg Electronics Inc. Image decoding method for performing inter-prediction when prediction mode for current block ultimately cannot be selected, and device for same
US11924419B2 (en) 2019-07-19 2024-03-05 Lg Electronics Inc. Image encoding/decoding method and device using filtering, and method for transmitting bitstream
RU2809518C2 (ru) * 2019-07-19 2023-12-12 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство кодирования/декодирования изображений с использованием фильтрации и способ для передачи потока битов
US11539945B2 (en) 2019-07-19 2022-12-27 Lg Electronics Inc. Image encoding/decoding method and device using filtering, and method for transmitting bitstream
JP2019201438A (ja) * 2019-09-03 2019-11-21 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
RU2803457C2 (ru) * 2019-10-04 2023-09-13 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ кодирования изображения на основе преобразования и устройство для его осуществления
RU2795932C1 (ru) * 2019-10-04 2023-05-15 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ кодирования изображения на основе преобразования и устройство для его осуществления
WO2022229510A1 (en) 2021-04-30 2022-11-03 Andritz Oy System and method for producing microcrystalline cellulose
WO2022229511A1 (en) 2021-04-30 2022-11-03 Andritz Oy Microcrystalline cellulose product

Also Published As

Publication number Publication date
US20200029075A1 (en) 2020-01-23
EP2574055A4 (en) 2017-04-26
RU2012147780A (ru) 2014-07-20
KR20170137959A (ko) 2017-12-13
CN106331714B (zh) 2020-09-15
CN102934429A (zh) 2013-02-13
RU2580056C2 (ru) 2016-04-10
RU2016105592A (ru) 2018-11-22
RU2016105592A3 (ja) 2019-07-17
TW201208382A (en) 2012-02-16
KR101808357B1 (ko) 2017-12-12
US20160044312A1 (en) 2016-02-11
KR102005209B1 (ko) 2019-07-29
CN106851289B (zh) 2020-09-15
US20140355670A1 (en) 2014-12-04
KR20180121670A (ko) 2018-11-07
CN102934429B (zh) 2016-09-28
US8855434B2 (en) 2014-10-07
US9253506B2 (en) 2016-02-02
TWI508534B (zh) 2015-11-11
US20200029074A1 (en) 2020-01-23
CN106851289A (zh) 2017-06-13
TWI600318B (zh) 2017-09-21
US20130028531A1 (en) 2013-01-31
KR20130070597A (ko) 2013-06-27
CN106331714A (zh) 2017-01-11
RU2701840C2 (ru) 2019-10-01
US10477206B2 (en) 2019-11-12
EP2574055A1 (en) 2013-03-27
TW201601523A (zh) 2016-01-01
US20140355696A1 (en) 2014-12-04
BR112012028934B1 (pt) 2022-03-08
BR112012028934A2 (pt) 2016-07-26
KR101914896B1 (ko) 2018-11-02
JPWO2011145601A1 (ja) 2013-07-22
US9167267B2 (en) 2015-10-20

Similar Documents

Publication Publication Date Title
US20200029074A1 (en) Image processing device and image processing method
US10887590B2 (en) Image processing device and method
WO2011125729A1 (ja) 画像処理装置と画像処理方法
WO2012165095A1 (ja) 画像処理装置および方法
WO2014002896A1 (ja) 符号化装置および符号化方法、復号装置および復号方法
US20140086501A1 (en) Image processing device and image processing method
JP5884313B2 (ja) 画像処理装置、画像処理方法、プログラム及び記録媒体
WO2012063878A1 (ja) 画像処理装置と画像処理方法
JP2011223338A (ja) 画像処理装置および方法
WO2011125866A1 (ja) 画像処理装置および方法
WO2013108688A1 (ja) 画像処理装置および方法
WO2012005195A1 (ja) 画像処理装置および方法
JP6217826B2 (ja) 画像処理装置及び画像処理方法
WO2014002900A1 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180023207.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11783535

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 13640243

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011783535

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012515888

Country of ref document: JP

ENP Entry into the national phase

Ref document number: 2012147780

Country of ref document: RU

Kind code of ref document: A

Ref document number: 20127029404

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 9535/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012028934

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012028934

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20121112