WO2012077607A1 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
WO2012077607A1
WO2012077607A1 PCT/JP2011/077953 JP2011077953W WO2012077607A1 WO 2012077607 A1 WO2012077607 A1 WO 2012077607A1 JP 2011077953 W JP2011077953 W JP 2011077953W WO 2012077607 A1 WO2012077607 A1 WO 2012077607A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
filtering
image
determination
deblocking filter
Prior art date
Application number
PCT/JP2011/077953
Other languages
English (en)
French (fr)
Inventor
優 池田
田中　潤一
義祟 森上
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to EP20185680.4A priority Critical patent/EP3748963B1/en
Priority to EP20185677.0A priority patent/EP3748962A1/en
Priority to MX2016005041A priority patent/MX355896B/es
Priority to AU2011339460A priority patent/AU2011339460B2/en
Priority to EP11846148.2A priority patent/EP2651127B1/en
Priority to KR1020187019829A priority patent/KR101963096B1/ko
Priority to US13/990,893 priority patent/US9973763B2/en
Priority to JP2012547833A priority patent/JP6011341B2/ja
Priority to MX2013006131A priority patent/MX2013006131A/es
Priority to EP20185688.7A priority patent/EP3748964A1/en
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to RU2013125498/07A priority patent/RU2585662C2/ru
Priority to ES11846148T priority patent/ES2856823T3/es
Priority to KR1020137013869A priority patent/KR101879890B1/ko
Priority to KR1020187019836A priority patent/KR101963097B1/ko
Priority to CA2815819A priority patent/CA2815819C/en
Priority to CN201180057815.8A priority patent/CN103229506B/zh
Priority to BR112013013509-3A priority patent/BR112013013509B1/pt
Publication of WO2012077607A1 publication Critical patent/WO2012077607A1/ja
Priority to US15/902,870 priority patent/US10362318B2/en
Priority to US16/391,314 priority patent/US10582202B2/en
Priority to US16/693,374 priority patent/US10931955B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present disclosure relates to an image processing apparatus and an image processing method.
  • H.264 which is one of the standard specifications of the image coding method.
  • a deblock filter is applied to block boundaries for each 4 ⁇ 4 pixel block, for example, in order to suppress deterioration in image quality caused by block distortion that occurs during image coding.
  • the amount of processing required for this deblocking filter is large, and it is said that, for example, it may account for 50% of the total amount of processing when decoding an image.
  • JCTVC-A119 In standardization work of HEVC (High Efficiency Video Coding), a next-generation image coding method, a deblock filter is applied to each block of 8 ⁇ 8 pixels or more in JCT VC-A119 (see Non-Patent Document 1 below) It has been proposed to do.
  • JCTVC-A119 the block size of the minimum unit to which the deblocking filter is applied is expanded, and filtering processing is performed in parallel for a plurality of block boundaries in the same direction within one macroblock. It is possible to
  • JCT VC-A 119 Video coding technology proposal by Tandberg, Nokia, and Ericsson
  • JCT-VC Joint Collaborative Team on Video Coding
  • the technology according to the present disclosure is to provide an image processing device and an image processing method that enable further parallelization of processing upon application of a deblocking filter.
  • a decoding unit that decodes an image from a coded stream and a determination process that determines whether a deblock filter is to be applied to an adjacent block adjacent to a block boundary in an image decoded by the decoding unit are performed.
  • the image processing apparatus can be typically realized as an image decoding apparatus that decodes an image.
  • an image processing method including: controlling the determination process so as to be performed using as a pixel.
  • a determination unit that performs a determination process of determining whether to apply a deblock filter to an adjacent block adjacent to a block boundary in an image to be locally decoded when encoding an image to be encoded
  • a filtering unit for applying a deblock filter to an adjacent block determined to apply the deblock filter by the determination unit, and the determination process for a vertical block boundary and a horizontal block boundary, which corresponds to the adjacent block of the reconstruct image
  • An image processing apparatus comprising: a control unit that is executed by the determination unit using pixels as reference pixels; and an encoding unit that encodes the image to be encoded using an image filtered by the filtering unit.
  • the image processing apparatus can be typically realized as an image coding apparatus that codes an image.
  • a process of determining whether to apply a deblocking filter to an adjacent block adjacent to a block boundary in an image to be locally decoded when encoding an image to be encoded is performed.
  • Applying a deblock filter to an adjacent block determined to apply the deblock filter in the determination process, and the determination process on a vertical block boundary and a horizontal block boundary refers to pixels of the adjacent block in the reconstitute image
  • An image processing method comprising: controlling the determination process so as to be performed using as a pixel; and encoding the image to be encoded using an image filtered by the deblocking filter.
  • FIG. 8 is a first explanatory diagram for describing reference pixels in the filtering necessity determination process according to the first embodiment. It is a 2nd explanatory view for explaining the reference pixel in the filtering necessity judging processing concerning a 1st example. It is an explanatory view for explaining the 1st example of the order of processing. It is an explanatory view for explaining the 2nd example of the order of processing. It is a block diagram which shows an example of a detailed structure of the deblocking filter which concerns on a 1st Example.
  • FIG. 14 is an explanatory diagram for describing third and fourth examples of a determination method that can be implemented in the second embodiment.
  • FIG. 18 is an explanatory diagram for describing fifth and sixth examples of a determination method that can be implemented in the second embodiment. It is an explanatory view for explaining the order of processing for every LCU. It is a flowchart which shows an example of the flow of the process for every LCU. It is an explanatory view for explaining an outline of a 3rd example.
  • FIG. 18 is an explanatory diagram for describing a first example of the order of processing implemented in the third embodiment; It is explanatory drawing for demonstrating the 2nd example of the order of the process for a comparison.
  • FIG. 18 is an explanatory diagram for describing a second example of the order of processing implemented in the third embodiment; It is a flowchart which shows an example of the flow of the process by the deblocking filter which concerns on a 3rd Example. It is a flowchart which shows an example of the flow of the pixel value calculation process shown in FIG. It is an explanatory view for explaining a multiview codec. It is explanatory drawing for demonstrating the application to the multi view codec of the image coding process concerning one Embodiment. It is an explanatory view for explaining application to a multi view codec of image decoding processing concerning one embodiment. It is an explanatory view for explaining a scalable codec.
  • FIGS. 1 and 2 An outline of an example of an apparatus to which the technology disclosed in this specification can be applied will be described using FIGS. 1 and 2.
  • the technology disclosed herein is applicable to, for example, an image coding apparatus and an image decoding apparatus.
  • FIG. 1 is a block diagram showing an example of the configuration of an image coding apparatus 10 according to an embodiment.
  • the image coding apparatus 10 includes an A / D (Analogue to Digital) conversion unit 11, a rearrangement buffer 12, a subtraction unit 13, an orthogonal conversion unit 14, a quantization unit 15, a lossless encoding unit 16, Storage buffer 17, rate control unit 18, inverse quantization unit 21, inverse orthogonal transformation unit 22, addition unit 23, deblock filter 24a, frame memory 25, selector 26, intra prediction unit 30, motion search unit 40, and mode selection A unit 50 is provided.
  • a / D Analogue to Digital
  • the A / D converter 11 converts an image signal input in an analog format into image data in a digital format, and outputs a series of digital image data to the sorting buffer 12.
  • the rearrangement buffer 12 rearranges the images included in the series of image data input from the A / D converter 11.
  • the rearrangement buffer 12 rearranges the images according to the GOP (Group of Pictures) structure related to the encoding process, and then outputs the rearranged image data to the subtraction unit 13, the intra prediction unit 30, and the motion search unit 40. Do.
  • GOP Group of Pictures
  • the subtraction unit 13 is supplied with the image data input from the reordering buffer 12 and predicted image data selected by the mode selection unit 50 described later.
  • Subtraction unit 13 calculates prediction error data, which is the difference between the image data input from reordering buffer 12 and the prediction image data input from mode selection unit 50, and sends the calculated prediction error data to orthogonal transform unit 14. Output.
  • the orthogonal transformation unit 14 performs orthogonal transformation on the prediction error data input from the subtraction unit 13.
  • the orthogonal transformation performed by the orthogonal transformation unit 14 may be, for example, Discrete Cosine Transform (DCT) or Karhunen-Loeve Transform.
  • the orthogonal transform unit 14 outputs transform coefficient data acquired by the orthogonal transform process to the quantization unit 15.
  • the quantization unit 15 is supplied with transform coefficient data input from the orthogonal transform unit 14 and a rate control signal from the rate control unit 18 described later.
  • the quantizing unit 15 quantizes the transform coefficient data, and outputs the quantized transform coefficient data (hereinafter, referred to as quantized data) to the lossless encoding unit 16 and the inverse quantization unit 21. Further, the quantization unit 15 changes the bit rate of the quantized data input to the lossless encoding unit 16 by switching the quantization parameter (quantization scale) based on the rate control signal from the rate control unit 18 Let
  • the lossless encoding unit 16 includes quantized data input from the quantization unit 15 and intra prediction or inter prediction generated by the intra prediction unit 30 or the motion search unit 40 described later and selected by the mode selection unit 50.
  • Information about the The information on intra prediction may include, for example, prediction mode information indicating an optimal intra prediction mode for each block.
  • information on inter prediction may include, for example, prediction mode information for prediction of a motion vector for each block, differential motion vector information, and reference image information.
  • the lossless encoding unit 16 generates an encoded stream by performing lossless encoding processing on the quantized data.
  • the lossless coding by the lossless coding unit 16 may be, for example, variable length coding or arithmetic coding.
  • the lossless encoding unit 16 multiplexes the information related to intra prediction or the information related to inter prediction described above in a header (for example, a block header or a slice header) of the encoded stream. Then, the lossless encoding unit 16 outputs the generated encoded stream to the accumulation buffer 17.
  • the accumulation buffer 17 temporarily accumulates the encoded stream input from the lossless encoding unit 16 using a storage medium such as a semiconductor memory. Then, the accumulation buffer 17 outputs the accumulated encoded stream at a rate according to the band of the transmission path (or the output line from the image encoding device 10).
  • the rate control unit 18 monitors the free space of the accumulation buffer 17. Then, the rate control unit 18 generates a rate control signal according to the free space of the accumulation buffer 17, and outputs the generated rate control signal to the quantization unit 15. For example, when the free space of the accumulation buffer 17 is small, the rate control unit 18 generates a rate control signal for reducing the bit rate of the quantized data. Also, for example, when the free space of the accumulation buffer 17 is sufficiently large, the rate control unit 18 generates a rate control signal for increasing the bit rate of the quantized data.
  • the inverse quantization unit 21 performs inverse quantization processing on the quantized data input from the quantization unit 15. Then, the inverse quantization unit 21 outputs the transform coefficient data acquired by the inverse quantization process to the inverse orthogonal transformation unit 22.
  • the inverse orthogonal transform unit 22 restores prediction error data by performing inverse orthogonal transform processing on the transform coefficient data input from the inverse quantization unit 21. Then, the inverse orthogonal transform unit 22 outputs the restored prediction error data to the addition unit 23.
  • the addition unit 23 generates decoded image data by adding the restored prediction error data input from the inverse orthogonal transform unit 22 and the predicted image data input from the mode selection unit 50. Then, the adding unit 23 outputs the generated decoded image data to the deblocking filter 24 a and the frame memory 25.
  • the deblocking filter 24a performs filtering processing to reduce block distortion that occurs during image coding. For example, the deblocking filter 24a determines whether or not filtering is necessary for each of the block boundaries for the decoded image data input from the adding unit 23, and applies the deblocking filter to the boundaries determined to apply the filter. . In addition to the decoded image data from the adding unit 23, the deblocking filter 24a also receives information (for example, mode information, transform coefficient information, and motion vector information) used to determine whether or not filtering is necessary. . Then, the deblocking filter 24 a outputs the decoded image data after filtering from which block distortion has been removed to the frame memory 25. The process performed by the deblocking filter 24a will be described in detail later.
  • the frame memory 25 stores the decoded image data input from the adding unit 23 and the decoded image data after filtering input from the deblocking filter 24 a using a storage medium.
  • the selector 26 reads the decoded image data before filtering used for intra prediction from the frame memory 25 and supplies the read decoded image data to the intra prediction unit 30 as reference image data. Further, the selector 26 reads the decoded image data after filtering used for inter prediction from the frame memory 25 and supplies the read decoded image data to the motion search unit 40 as reference image data.
  • the intra prediction unit 30 performs intra prediction processing in each intra prediction mode based on the image data to be encoded input from the reordering buffer 12 and the decoded image data supplied via the selector 26. For example, the intra prediction unit 30 evaluates the prediction result in each intra prediction mode using a predetermined cost function. Then, the intra prediction unit 30 selects the intra prediction mode in which the cost function value is the smallest, that is, the intra prediction mode in which the compression rate is the highest, as the optimal intra prediction mode. Furthermore, the intra prediction unit 30 outputs, to the mode selection unit 50, prediction mode information indicating the optimal intra prediction mode, predicted image data, and information on intra prediction such as a cost function value.
  • the motion search unit 40 performs inter prediction processing (inter-frame prediction processing) based on the image data to be encoded input from the reordering buffer 12 and the decoded image data supplied via the selector 26. For example, the motion search unit 40 evaluates the prediction result in each prediction mode using a predetermined cost function. Next, the motion search unit 40 selects the prediction mode in which the cost function value is the smallest, that is, the prediction mode in which the compression rate is the highest, as the optimal prediction mode. The motion search unit 40 also generates predicted image data according to the optimal prediction mode. Then, the motion search unit 40 outputs information on inter prediction such as prediction mode information indicating the selected optimal prediction mode, prediction image data, and cost function value to the mode selection unit 50.
  • inter prediction processing inter-frame prediction processing
  • the mode selection unit 50 compares the cost function value for intra prediction input from the intra prediction unit 30 with the cost function value for inter prediction input from the motion search unit 40. Then, the mode selection unit 50 selects a prediction method having a smaller cost function value from intra prediction and inter prediction. When intra prediction is selected, the mode selection unit 50 outputs information on intra prediction to the lossless encoding unit 16 and outputs predicted image data to the subtraction unit 13 and the addition unit 23. In addition, when the inter prediction is selected, the mode selection unit 50 outputs the above-described information on inter prediction to the lossless encoding unit 16 and outputs prediction image data to the subtraction unit 13 and the addition unit 23.
  • FIG. 2 is a block diagram showing an example of the configuration of the image decoding apparatus 60 according to an embodiment.
  • the image decoding apparatus 60 includes an accumulation buffer 61, a lossless decoding unit 62, an inverse quantization unit 63, an inverse orthogonal transformation unit 64, an addition unit 65, a deblocking filter 24b, a rearrangement buffer 67, and D / A. (Digital to Analogue) conversion unit 68, frame memory 69, selectors 70 and 71, intra prediction unit 80, and motion compensation unit 90.
  • D / A. (Digital to Analogue) conversion unit 68 Digital to Analogue conversion unit 68
  • frame memory 69 selectors 70 and 71
  • intra prediction unit 80 intra prediction unit 80
  • motion compensation unit 90 D / A.
  • the accumulation buffer 61 temporarily accumulates the coded stream input through the transmission path using a storage medium.
  • the lossless decoding unit 62 decodes the encoded stream input from the accumulation buffer 61 according to the encoding scheme used during encoding. Further, the lossless decoding unit 62 decodes the information multiplexed in the header area of the encoded stream.
  • the information multiplexed in the header area of the encoded stream may include, for example, information on intra prediction in the block header and information on inter prediction.
  • the lossless decoding unit 62 outputs information on intra prediction to the intra prediction unit 80. In addition, the lossless decoding unit 62 outputs information on inter prediction to the motion compensation unit 90.
  • the inverse quantization unit 63 inversely quantizes the quantized data after being decoded by the lossless decoding unit 62.
  • the inverse orthogonal transform unit 64 generates prediction error data by performing inverse orthogonal transform on the transform coefficient data input from the dequantization unit 63 according to the orthogonal transform scheme used at the time of encoding. Then, the inverse orthogonal transform unit 64 outputs the generated prediction error data to the addition unit 65.
  • the addition unit 65 adds the prediction error data input from the inverse orthogonal transform unit 64 and the prediction image data input from the selector 71 to generate decoded image data. Then, the adding unit 65 outputs the generated decoded image data to the deblocking filter 24b and the frame memory 69.
  • the deblocking filter 24 b performs filtering processing to reduce block distortion appearing in the decoded image.
  • the deblocking filter 24b determines, for example, whether or not filtering is necessary for each of the block boundaries in the decoded image data input from the adding unit 65, and applies the deblocking filter to the boundaries determined to apply the filter. .
  • information used for determining whether or not filtering is necessary is also input to the deblocking filter 24b.
  • the deblocking filter 24 b outputs the decoded image data after filtering, from which block distortion has been removed, to the rearrangement buffer 67 and the frame memory 69. The process performed by the deblocking filter 24b will be described in detail later.
  • the rearrangement buffer 67 rearranges the images input from the deblocking filter 24 b to generate a series of time-series image data. Then, the rearrangement buffer 67 outputs the generated image data to the D / A converter 68.
  • the D / A converter 68 converts the digital image data input from the reordering buffer 67 into an analog image signal. Then, the D / A conversion unit 68 displays an image, for example, by outputting an analog image signal to a display (not shown) connected to the image decoding device 60.
  • the frame memory 69 stores the decoded image data before filtering input from the adding unit 65 and the decoded image data after filtering input from the deblocking filter 24 b using a storage medium.
  • the selector 70 switches the output destination of the image data from the frame memory 69 between the intra prediction unit 80 and the motion compensation unit 90 for each block in the image according to the mode information acquired by the lossless decoding unit 62. .
  • the selector 70 outputs the decoded image data before filtering supplied from the frame memory 69 to the intra prediction unit 80 as reference image data.
  • the selector 70 outputs the decoded image data after filtering supplied from the frame memory 69 to the motion compensation unit 90 as reference image data.
  • the selector 71 outputs an output source of predicted image data to be supplied to the adding unit 65 for each block in the image in accordance with the mode information acquired by the lossless decoding unit 62 between the intra predicting unit 80 and the motion compensating unit 90. Switch between. For example, when the intra prediction mode is designated, the selector 71 supplies predicted image data output from the intra prediction unit 80 to the addition unit 65. The selector 71 supplies predicted image data output from the motion compensation unit 90 to the addition unit 65 when the inter prediction mode is specified.
  • the intra prediction unit 80 performs intra prediction of pixel values based on the information on the intra prediction input from the lossless decoding unit 62 and the reference image data from the frame memory 69, and generates predicted image data. Then, the intra prediction unit 80 outputs the generated predicted image data to the selector 71.
  • the motion compensation unit 90 performs motion compensation processing based on the information on inter prediction input from the lossless decoding unit 62 and the reference image data from the frame memory 69 to generate predicted image data. Then, the motion compensation unit 90 outputs the generated predicted image data to the selector 71.
  • H The processing by the deblocking filter in the existing image coding method such as H.264 / AVC or HEVC includes two types of processing of filtering necessity determination processing and filtering processing. Hereinafter, these two processes will be described by taking HEVC as an example.
  • the filtering necessity determination process is a process of determining whether or not the deblocking filter should be applied, for each block boundary in the input image.
  • Block boundaries include vertical boundaries between adjacent blocks on the left and right, and horizontal boundaries between blocks adjacent on the top and bottom.
  • a block size of 8 ⁇ 8 pixels is the smallest processing unit.
  • there are four 8x8 pixel blocks within a 16x16 pixel macroblock, and one (left) vertical boundary and one (upper) horizontal boundary per block, ie a total of 4 + 4 Eight boundaries are to be judged.
  • the term "macroblock” also includes a coding unit (CU: Coding Unit) in the context of HEVC.
  • CU Coding Unit
  • FIG. 3 is an explanatory view showing an example of pixels in two blocks (adjacent blocks) Ba and Bb adjacent to each other across a boundary.
  • the pixels in the block Ba are indicated by the symbol p ij .
  • i is the column index and j is the row index.
  • the column index i is numbered 0, 1, 2, 3 sequentially from right to left from the column near the vertical boundary.
  • the row index j is numbered from top to bottom as 0, 1, 2,.
  • the left half of the block Ba is omitted in the figure.
  • the pixels in the block Bb are indicated by the symbol q kj .
  • k is the column index and j is the row index.
  • the column index k is numbered 0, 1, 2, 3 (from left to right) sequentially from the column near the vertical boundary.
  • the right half of the block Bb is also omitted in the figure.
  • condition A (A1) block Ba or Bb is in intra prediction mode; (A2) block Ba or Bb has non-zero orthogonal transformation coefficients; or (A3)
  • condition A3 the motion vector of the block Ba with Qpel (1/4 pixel) accuracy is (MVAx, MVAy), and the motion vector of the block Bb is (MVBx, MVBy).
  • ⁇ in the condition B is an edge determination threshold. The initial value of ⁇ is given according to the quantization parameter. Also, the value of ⁇ can be designated by the user by the parameter in the slice header.
  • the filtering process described below is performed on the boundary determined to apply the deblocking filter according to the above-described determination condition.
  • a strong filter is selected if all of the following conditions C1 to C3 are satisfied, and a weak filter is selected if any one of the following conditions is not satisfied: (C1) d ⁇ ( ⁇ >> 2) (C2) (
  • j is the row index for vertical boundaries and the column index for horizontal boundaries.
  • ⁇ Clip (-t C, t C, (13 (q 0j -p 0j) +4 (q 1j -p 1j) -5 (q 2j -p 2j) +16) >> 5))
  • p 0 j Clip 0-255 (p 0 j + ⁇ )
  • q 0j Clip 0-255 (q 0j-? )
  • p 1j Clip 0-255 (p 1j + ⁇ / 2)
  • q 1j Clip 0-255 (q 1j- ⁇ / 2)
  • p 0j Clip 0-255 ((p 2j + 2p 1j + 2p 0j + 2q 0j + q 1j +4) >> 3)
  • q 0j Clip 0-255 ((p 1j + 2p 0j + 2q 0j + 2q 1j + q 2j +4) >> 3)
  • p 1j Clip 0-255 ((p 2j + p 1j + p 0j + q 0j +2) >> 2)
  • q 1j Clip 0-255 ((p 0j + q 0j + q 1j + q 2j +2) >> 2)
  • p 2j Clip 0-255 ((2p 3j + 3p 2j + p 1j + p 0j + q 0j +4) >> 3)
  • q 2j Clip 0-255 ((p 0j + q 0j + 3q 2j + 2q 3j +4) >> 3)
  • Clip (a, b, c) clips the value c in the range of a ⁇ c ⁇ b
  • Clip 0-255 (c) clips the value c in the range of 0 ⁇ c ⁇ 255.
  • ⁇ Clip (-t C, t C, ((((q 0j -p 0j) ⁇ 2) + p 1j -q 1j +4) >> 3))
  • p 0 j Clip 0-255 (p 0 j + ⁇ )
  • q 0j Clip 0-255 (q 0j-? )
  • the dependency between the filtering process for the vertical boundary and the filtering necessity determination process for the horizontal boundary is left. Also, the dependency between the filtering process on the horizontal boundary and the filtering necessity determination process on the vertical boundary is also left. Therefore, for example, when processing the vertical boundary before the horizontal boundary, the filtering necessity determination processing for the horizontal boundary in a certain macroblock is performed after the end of the filtering processing for the vertical boundary. . As an example, referring to FIG.
  • the filtering necessity determination process J H0,0 depends on the result of the filtering process F V0,0 and F V0,1 , and the result of the filtering process F V0,1 It is shown that the filtering necessity determination process J H 0 , 1 depends on Similarly, the filtering necessity determination process for the vertical boundary in a certain macroblock is executed after the end of the filtering process for the horizontal boundary of the adjacent macroblock. As an example, referring to FIG.
  • the macro on the result of the filtering process F H0,1 and F H0,3 blocks MB0 dependent filtering necessity determining process J V1,0 macroblock MB1, filtering of macroblocks MB0 filtering necessity determining process J V1,2 macroblocks MB1 to results F H0,3 is shown to be dependent.
  • FIG. 10 is an explanatory diagram for describing an example of the order of processing of the deblocking filter in the existing method.
  • an image having a size of 32 ⁇ 32 pixels is input to the deblocking filter.
  • the input image includes four macroblocks MB0 to MB3 each having a size of 16 ⁇ 16 pixels.
  • the filtering process F H0,0 for four horizontal boundaries of macro blocks MB0, F H0,1, F H0,2 and F H0,3 are executed in parallel.
  • the processing (fifth step to eighth step) for the macroblock MB1 is sequentially performed.
  • the processing (the ninth to twelfth steps) for the macroblock MB2 is sequentially performed.
  • the processing (the thirteenth step to the sixteenth step) for the macroblock MB3 is sequentially performed.
  • the processing by the deblocking filter 24 includes two types of processing, the above-described filtering necessity determination processing and the filtering processing.
  • the deblocking filter 24 determines whether to apply the deblocking filter to each vertical boundary and each horizontal boundary based on the pixel value of the reference pixel different from the existing method. More specifically, when determining the vertical boundary, the deblocking filter 24 determines, among the pixels of adjacent blocks across the vertical boundary, pixels belonging to a row to which the deblocking filter for the horizontal boundary is not applied as a reference pixel. Do.
  • the deblocking filter 24 determines, as the reference pixel, among the pixels of the blocks adjacent to each other across the horizontal boundary, the deblocking filter 24 belongs to a column to which the deblocking filter for the vertical boundary is not applied. Also in this section, as an example, it is assumed that the processing by the deblocking filter 24 has a block size of 8 ⁇ 8 pixels as one processing unit.
  • FIG. 11 is an explanatory diagram for describing reference pixels in the filtering necessity determination processing for the vertical boundary by the deblocking filter 24.
  • FIG. Referring to FIG. 11, a macroblock MB0 having a size of 16 ⁇ 16 pixels is shown.
  • the deblocking filter 24 uses the pixels belonging to at least one of the fourth and fifth rows (L4 and L5) of each block as a reference pixel as to whether the filtering for the four vertical boundaries of the macroblock MB0 is necessary or not. Use to judge.
  • These two rows are rows to which the deblock filter for the horizontal boundary is not applied (see FIG. 9).
  • Such a configuration eliminates the dependency between the filtering process on the horizontal boundary and the filtering necessity determination process on the vertical boundary.
  • FIG. 12 is an explanatory diagram for describing reference pixels in the filtering necessity determination processing for the horizontal boundary by the deblocking filter 24.
  • FIG. Referring to FIG. 12, the macroblock MB0 is shown again.
  • the deblocking filter 24 determines whether or not the filtering for the four horizontal boundaries of the macroblock MB0 is necessary, using pixels belonging to at least one of the fourth and fifth columns (C4 and C5) of each block as reference pixels. Use to judge. These two columns are columns to which the deblock filter for the vertical boundary is not applied (see FIG. 7 or 8).
  • Such a configuration also eliminates the dependency between the filtering process on the vertical boundary and the filtering necessity determination process on the horizontal boundary.
  • filtering necessity determination processing can be performed in parallel for vertical boundaries and horizontal boundaries of all macroblocks in the input image.
  • FIG. 13 is an explanatory diagram for describing a first example of an order of processing that can be realized by the deblocking filter 24.
  • an image having a size of 32 ⁇ 32 pixels is input to the deblocking filter.
  • the input image includes four macroblocks MB0 to MB3 each having a size of 16 ⁇ 16 pixels.
  • FIG. 13 is an example of maximizing the degree of parallelism (the number of processes executed in parallel) by parallelizing processing between macroblocks
  • the deblocking filter 24 is, as in the example of FIG. Processing for each macroblock can also be realized.
  • the same number of processes as in FIGS. 10 and 13 are integrated into 12 process steps. That is, in the first step, the filtering necessity determination process for four vertical boundaries and four horizontal boundaries of the macroblock MB0 are performed in parallel J V0,0 to J V0,3 and J H0,0 to J H0,3 in parallel. To be executed. Next, in the second step, filtering processes F V0,0 to F V0,3 on the four vertical boundaries of the macroblock MB0 are executed in parallel. Next, in the third step, filtering necessity determination processing for four vertical boundaries and four horizontal boundaries of the macroblock MB1 J V1,0 to J V1,3 and J H1,0 to J H1,3 are parallel. To be executed.
  • filtering processes F V1,0 to F V1,3 for the four vertical boundaries of the macroblock MB1 are executed in parallel.
  • filtering processes F H0,0 to F H0,3 on the four horizontal boundaries of the macroblock MB0 are executed in parallel.
  • filtering necessity determination processing for four vertical boundaries and four horizontal boundaries of the macroblock MB2 J V2,0 to J V2,3 and J H2,0 to J H2,3 are parallel.
  • filtering processes F V2,0 to F V2,3 on the four vertical boundaries of the macroblock MB2 are executed in parallel.
  • filtering processes F H1,0 to F H1,3 on the four horizontal boundaries of the macroblock MB1 are executed in parallel.
  • filtering necessity determination processing for four vertical boundaries and four horizontal boundaries of the macroblock MB3 J V3,0 to J V3,3 and J H3,0 to J H3,3 are parallel.
  • filtering processes F V3,0 to F V3,3 on the four vertical boundaries of the macroblock MB3 are executed in parallel.
  • filtering processes F H2,0 to F H2,3 for the four horizontal boundaries of the macroblock MB2 are executed in parallel.
  • filtering processes F H3,0 to F H3,3 on the four horizontal boundaries of the macroblock MB3 are executed in parallel.
  • the degree of parallelism is lower than in the example of FIG. 13, the processing of the deblocking filter 24 for the entire input image can be performed with a smaller number of processing steps than the existing method.
  • FIG. 15 is a block diagram showing an example of a detailed configuration of the deblocking filter 24 according to the first embodiment for realizing the parallel processing described above.
  • the deblocking filter 24 includes a determination block 110, a horizontal filtering block 130, a vertical filtering block 140, and a parallelization control unit 150.
  • the determination block 110 includes a plurality of vertical boundary determination units 112-1 to 112-n and a plurality of horizontal boundary determination units 114-1 to 114-n. Each vertical boundary determination unit 112 and each horizontal boundary determination unit 114 are supplied with an input image to the deblocking filter 24 and determination information used to determine whether or not filtering is necessary.
  • each demarcation filter should be applied to each vertical boundary using the pixel values of the reference pixels belonging to the row to which the deblocking filter for the horizontal boundary as illustrated in FIG. 11 is not applied.
  • Determine The pixel value of the reference pixel here is an input pixel value to the deblocking filter 24.
  • each vertical boundary determination unit 112 generates information (for example, binary information indicating a determination result that "1" should apply the deblocking filter ") indicating the determination result about each vertical boundary, the horizontal filtering block 130.
  • each demarcation filter should be applied to each horizontal boundary using each pixel value of the reference pixel belonging to the column to which the deblock filter for the vertical boundary as illustrated in FIG. 12 is not applied.
  • Determine The pixel value of the reference pixel here is also an input pixel value to the deblocking filter 24.
  • the determination process by each horizontal boundary determination unit 114 is performed in parallel with the determination process by each vertical boundary determination unit 112. Then, each horizontal boundary determination unit 114 outputs information indicating the determination result for each horizontal boundary to the vertical filtering block 140.
  • FIG. 16 is a block diagram showing an example of a more detailed configuration of each vertical boundary determination unit 112 and each horizontal boundary determination unit 114.
  • each determination unit includes a tap construction unit 121, an operation unit 122, a threshold comparison unit 123, a distortion evaluation unit 124, and a filtering determination unit 125.
  • the tap constructing unit 121 acquires the pixel value of the reference pixel from the pixel values of two blocks adjacent to each other across the boundary of interest in the input image, and taps for determination of the determination condition B of the luminance component described above (see Construct a set of pixel values). For example, in the case where the size of each block is 8 ⁇ 8 pixels, when the boundary of interest is a vertical boundary, the tap constructing unit 121 sets one or both of the fourth and fifth rows of the two left and right blocks. Construct a tap from the pixel values to which it belongs. Also, when the boundary of interest is a horizontal boundary, the tap construction unit 121 constructs a tap from pixel values belonging to one or both of the fourth and fifth columns of the upper and lower two blocks.
  • the calculation unit 122 substitutes the tap constructed by the tap construction unit 121 into the left side of the judgment formula of the judgment condition B, and calculates the value of the edge to be compared with the edge judgment threshold value ⁇ .
  • the threshold comparison unit 123 compares the value calculated by the calculation unit 122 with the edge determination threshold value ⁇ , and outputs the comparison result to the filtering determination unit 125.
  • the distortion evaluation unit 124 evaluates the above-described determination condition A of the luminance component using the mode information (MB mode), the conversion coefficient information, and the motion vector information supplied as the determination information. Then, the distortion evaluation unit 124 outputs the evaluation result to the filtering determination unit 125. For the color difference component, only the determination on the determination condition A1 based on the mode information by the distortion evaluation unit 124 may be performed.
  • the filtering determination unit 125 deblocks the focused boundary based on the comparison result of the determination condition B input from the threshold comparison unit 123 and the evaluation result of the determination condition A input from the distortion evaluation unit 124. To determine if it should apply. Then, the filtering determination unit 125 outputs information indicating the determination result.
  • the horizontal filtering block 130 includes a plurality of horizontal filtering units 132-1 to 132-n. Each horizontal filtering unit 132 is supplied with the input image and the determination result of each vertical boundary from the determination block 110.
  • Each horizontal filtering unit 132 applies the deblocking filter for the vertical boundary to the pixels on the left and right of the corresponding vertical boundary when the determination result by the corresponding vertical boundary determination unit 112 indicates that the filter should be applied. . Then, each horizontal filtering unit 132 outputs the pixel value after filtering for the pixel to which the filter is applied and the pixel value of the input image for the other pixels to the vertical filtering block 140.
  • the vertical filtering block 140 includes a plurality of vertical filtering units 142-1 to 142-n. Each vertical filtering unit 142 is supplied with the input image and the determination result for each horizontal boundary from the determination block 110.
  • Each vertical filtering unit 142 applies the deblock filter for the horizontal boundary to the pixels above and below the corresponding horizontal boundary when the determination result by the corresponding horizontal boundary determination unit 114 indicates that the filter should be applied. . Then, each vertical filtering unit 142 outputs the pixel value after filtering for the pixel to which the filter is applied, and outputs the pixel value supplied from the horizontal filtering block 130 for the other pixels.
  • the output from each vertical filtering unit 142 may constitute the output image from the deblocking filter 24.
  • the parallelization control unit 150 controls the degree of parallelism of the filtering necessity determination process in the determination block 110 and the degree of parallelism of the filtering process in the horizontal filtering block 130 and the vertical filtering block 140.
  • the parallelization control unit 150 may control the degree of parallelism of processing of each block based on the size of the input image. More specifically, when the size of the input image is relatively large, the parallelization control unit 150 increases the degree of parallelism of processing of each block. Thereby, it is possible to adaptively prevent a delay or a decrease in data rate due to an increase in processing amount according to the size of the image. Also, for example, the parallelization control unit 150 may control the degree of parallelism of processing of each block based on parameters included in the sequence parameter set, the picture parameter set, or the slice header. Thus, the degree of parallelism can be set flexibly according to the requirements of each user who develops the device. For example, the degree of parallelism may be set according to the constraints of the implementation environment such as the number of processor cores or the number of software threads.
  • the parallelization control unit 150 can control the order of the filtering necessity determination process in the determination block 110 and the order of the filtering process in the horizontal filtering block 130 and the vertical filtering block 140 for each block.
  • the parallelization control unit 150 may control the order of the filtering process in accordance with the dependency of the filtering process between macroblocks. For example, when attempting to implement parallel processing for each slice in an image in the existing method, processing dependencies between adjacent macroblocks across slice boundaries may cause processing delays. However, in the present embodiment, the parallelization control unit 150 can perform the filtering process on the macroblock adjacent to the slice boundary prior to the other macroblocks.
  • FIG. 17 shows eight macro blocks MB10 to MB13 and MB20 to MB23 adjacent to each other across a slice boundary.
  • the macroblocks MB10 to MB13 belong to the slice SL1.
  • the macroblocks MB20 to MB23 belong to the slice SL2.
  • the filtering process on the horizontal boundary of the macroblock MB20 of the slice SL2 among the macroblocks depends on the filtering process on the vertical boundary of the macroblock MB12 of the slice SL1.
  • the filtering process on the horizontal boundary of the macroblock MB21 of the slice SL2 depends on the filtering process on the vertical boundary of the macroblock MB13 of the slice SL1.
  • the parallelization control unit 150 performs the filtering process on the vertical boundaries of the macroblocks MB12 and MB13 in the filtering process of the slice SL1 from the process on other boundaries. Also give priority to execution. As a result, in the filtering process of slice SL2, a large delay in the filtering process on the horizontal boundaries of macroblocks MB20 and MB21 can be prevented. Also, as in the example of FIG. 19, the horizontal boundaries of macroblocks MB20 and MB21 of slice SL2 are also obtained when the filtering process on the vertical boundaries of all the macroblocks included in slice SL1 is initially performed in parallel. There is no delay in the filtering process for.
  • FIG. 20 is a flowchart showing an example of the flow of processing in a first scenario by the deblocking filter 24.
  • the first scenario is a scenario corresponding to the example of FIG. 13 with a large degree of parallelism.
  • the vertical boundary determination units 112-1 to 112-n determine the necessity of filtering in parallel for all vertical boundaries included in a plurality of macroblocks in the input image (steps S102). Also, the horizontal boundary determination units 114-1 to 114-n determine in parallel whether or not it is necessary to filter all horizontal boundaries included in a plurality of macroblocks in the input image (step S104). The steps S102 and S104 are also performed in parallel.
  • the horizontal filtering units 132-1 to 132-n apply deblocking filters in parallel for all vertical boundaries determined to apply the deblocking filter in step S102 (step S110).
  • the vertical filtering units 142-1 to 142-n apply deblocking filters in parallel to all horizontal boundaries determined to apply the deblocking filter in step S104 (step S120).
  • FIG. 21 is a flow chart showing an example of the flow of processing in a second scenario by the deblocking filter 24.
  • the second scenario is a scenario corresponding to the example of FIG. 14 with a lower degree of parallelism.
  • the vertical boundary determination units 112-1 to 112-n determine in parallel whether or not filtering is necessary for all vertical boundaries included in one target macroblock in the input image (see FIG. 21).
  • Step S202 the horizontal boundary determination units 114-1 to 114-n determine in parallel whether or not it is necessary to filter all horizontal boundaries included in the target macro block (step S204). These steps S202 and S204 are also performed in parallel.
  • the horizontal filtering units 132-1 to 132-n apply the deblocking filter in parallel to the vertical boundaries in the macroblock of interest determined to apply the deblocking filter in step S202 (step S210). ).
  • step S220 The process of the next step S220 is performed on the target macro block in the previous loop.
  • the process of step S220 may be skipped.
  • the vertical filtering units 142-1 to 142-n apply deblocking filters in parallel to horizontal boundaries determined to apply the deblocking filter in step S204 of the immediately preceding loop (step S220).
  • steps S202 to S220 is repeated for a new target macroblock (step S230).
  • the vertical filtering units 142-1 to 142-n determine that the target block in the final loop should be applied to the deblocking filter. Deblock filters are applied in parallel for horizontal boundaries (step S240). Then, the process ends.
  • the processing by the deblocking filter 24 may be parallelized in various units such as a specific number (such as 2 or 4) of macroblocks or a group of blocks arranged horizontally or vertically.
  • FIG. 22 is a flowchart showing an example of the flow of the filtering necessity determination process corresponding to steps S102 and S104 of FIG. 21 and steps S202 and S204 of FIG.
  • the distortion evaluation unit 124 evaluates the distortion of each boundary based on the mode information, transform coefficient information, and motion vector information (step S130).
  • the process proceeds to step S134.
  • the process proceeds to step S140 (step S132).
  • step S134 the value of the edge is calculated by the calculation unit 122 based on the tap of the reference pixel constructed by the tap construction unit 121 (step S134). Then, the threshold comparison unit 123 compares the calculated value with the edge determination threshold ⁇ (step S136). Here, when the edge value is smaller than the threshold value ⁇ (when the determination condition B is true), the process proceeds to step S138. On the other hand, if the edge value is not smaller than the threshold value ⁇ , the process proceeds to step S140.
  • step S138 the filtering determination unit 125 determines that the deblocking filter should be applied to the boundary of the determination target (step S138).
  • step S140 the filtering determination unit 125 determines that the deblocking filter should not be applied to the boundary of the determination target (step S140).
  • Second embodiment> In the first embodiment, pixel values of pixels not updated by the filtering process for other blocks are used for the filtering necessity determination process for one block.
  • the memory for holding the input pixel value to the deblocking filter is provided to eliminate the restriction of the filtering necessity determination process and to use more various determination conditions. Make it possible.
  • FIG. 23 is a block diagram showing an example of a detailed configuration of the deblocking filter 24 according to the second embodiment.
  • the deblocking filter 24 includes a line memory 208, a determination block 210, a horizontal filtering block 130, a vertical filtering block 140, and a parallelization control unit 150.
  • the line memory 208 stores pixel values of the input image input to the deblocking filter 24.
  • the pixel values stored by line memory 208 are not updated by the filtering process in horizontal filtering block 130 and vertical filtering block 140.
  • the pixel values stored in the line memory 208 are referred to in the filtering necessity determination process by each unit in the determination block 210 described below.
  • a memory provided in the apparatus for the purpose different from the processing of the deblocking filter 24 may be reused (shared) as the line memory 208.
  • the determination block 210 includes a plurality of vertical boundary determination units 212-1 to 212-n and a plurality of horizontal boundary determination units 214-1 to 214-n.
  • each vertical boundary determination unit 212 and each horizontal boundary determination unit 214 the pixel value of the input image to the deblocking filter 24 stored by the line memory 208, and the determination information used for determining the necessity of the filtering Is supplied.
  • Each vertical boundary determination unit 212 uses the input pixel value to the deblocking filter 24 to determine whether or not the deblocking filter should be applied to each vertical boundary. Then, each vertical boundary determination unit 212 outputs information indicating the determination result on each vertical boundary to the horizontal filtering block 130.
  • Each horizontal boundary determination unit 214 also uses the input pixel value to the deblocking filter 24 to determine whether or not the deblocking filter should be applied to each horizontal boundary. The determination process by each horizontal boundary determination unit 214 is performed in parallel with the determination process by each vertical boundary determination unit 212. Then, each horizontal boundary determination unit 214 outputs information indicating the determination result on each horizontal boundary to the vertical filtering block 140.
  • each vertical boundary judgment unit 212 refers to the pixels in the third and sixth rows of the block as in the existing method shown in FIG. It may be determined whether or not filtering is required for the vertical boundary of However, the pixel value to be referred to is the pixel value of the input image to the deblocking filter 24 stored by the line memory 208. Similarly, each horizontal boundary determination unit 214 may determine whether or not the filtering of the horizontal boundary of each block is necessary with reference to the pixels of the third and sixth columns of the block. In this case, the configuration according to the present embodiment can be easily realized without changing the determination condition of the filtering necessity determination process implemented in the existing apparatus.
  • each vertical boundary determination unit 212 may refer to pixels in three or more rows of the block at the time of determination.
  • each horizontal boundary determination unit 214 may refer to pixels in three or more columns of the block at the time of determination.
  • each vertical boundary determination unit 212 and each horizontal boundary determination unit 214 may use a determination condition expression different from the existing method.
  • FIGS. 24 to 26 six examples of determination methods that can be realized in the present embodiment will be described using FIGS. 24 to 26, respectively.
  • FIG. 24 is an explanatory view for respectively explaining first and second examples of the determination method.
  • the pixels of all the first to eighth columns of each block are referred to.
  • the determination condition of the luminance component may be defined as follows: -Judgment condition of luminance component (Luma) ... if both condition A and condition B are true-Condition A: (A1) block Ba or Bb is in intra prediction mode; (A2) block Ba or Bb has non-zero orthogonal transformation coefficients; or (A3)
  • -Condition B: iD 0
  • iD 1
  • iD 2
  • the determination condition of the color difference component may be the same as the existing method described above.
  • a weighted average may be calculated when calculating the average value iDave of the four determination parameters iD 0 to iD 3 .
  • iD 1
  • iD 2
  • iD 3
  • Formulas for calculating the four determination parameters iD 0 to iD 3 are the same as in the first example.
  • a condition may be used that not all of the four determination parameters iD 0 to iD 3 but at least three, two or one fall below the edge determination threshold ⁇ .
  • FIG. 25 is an explanatory diagram for describing third and fourth examples of the determination method.
  • pixels in four rows L1, L3, L6, and L8 of each block are referred to in the filtering necessity determination processing (especially determination of the luminance component determination condition B) for the vertical boundary. Ru. Also in the filtering necessity determination process for the horizontal boundary, the pixels in the four columns of each block are referred to.
  • the determination condition of the luminance component may be defined as follows: -Judgment condition of luminance component (Luma) ... if both condition A and condition B are true-Condition A: (A1) block Ba or Bb is in intra prediction mode; (A2) block Ba or Bb has non-zero orthogonal transformation coefficients; or (A3)
  • -Condition B: iD 0
  • iD 2
  • iD ave (iD 0
  • the determination condition of the color difference component may be the same as the existing method described above. Note that when two determination parameter iD 0 and calculating the average value iD ave of iD 2, weighted average may be calculated.
  • iD 2
  • Formulas for calculating the two determination parameters iD 0 and iD 2 are the same as in the third example. Note that the condition that at least one of the two determination parameters iD 0 and iD 2 but not at least one of them falls below the edge determination threshold ⁇ may be used.
  • first, third, sixth and eighth rows (or columns) L1, L3, L6 and L8 of the block are referred to in the determination, the example has been described. Combinations may be referenced.
  • FIG. 26 is an explanatory view for respectively explaining fifth and sixth examples of the determination method.
  • pixels in four rows L1, L3, L5 and L7 of each block are referred to in the filtering necessity determination processing for the vertical boundary.
  • the pixels in the four columns of each block are referred to.
  • the determination condition of the luminance component may be defined as follows: -Judgment condition of luminance component (Luma) ... if both condition A and condition B are true-Condition A: (A1) block Ba or Bb is in intra prediction mode; (A2) block Ba or Bb has non-zero orthogonal transformation coefficients; or (A3)
  • -Condition B: iD 0
  • iD 2
  • iD ave (iD 0 +
  • the determination condition of the color difference component may be the same as the existing method described above. Note that when two determination parameter iD 0 and calculating the average value iD ave of iD 2, weighted average may be calculated.
  • iD 2
  • Formulas for calculating the two determination parameters iD 0 and iD 2 are the same as in the fifth example. Note that the condition that at least one of the two determination parameters iD 0 and iD 2 but not at least one of them falls below the edge determination threshold ⁇ may be used.
  • the variation of the parameter for each row or column may be excessively affected by comparing the average value iD ave of the determination parameter with the edge determination threshold value ⁇ . Instead, appropriate determination can be made on a block basis.
  • the deblocking filter 24 can operate at different degrees of parallelism.
  • the vertical boundary determination units 212-1 to 212-n parallelize necessity / non-necessity of filtering for all vertical boundaries included in a plurality of macroblocks in the input image. judge. Also, the horizontal boundary determination units 214-1 to 214-n determine in parallel whether or not it is necessary to filter all horizontal boundaries included in a plurality of macroblocks in the input image. The determination processing for these vertical boundaries and horizontal boundaries is also performed in parallel. Thereafter, the horizontal filtering units 132-1 to 132-n and the vertical filtering units 142-1 to 142-n apply the deblocking filter to the vertical boundary and the horizontal boundary determined to apply the deblocking filter, respectively ( See Figure 20).
  • the vertical boundary determination units 212-1 to 212-n parallelize the necessity of filtering for all vertical boundaries included in one target macroblock in the input image.
  • the horizontal boundary determination units 214-1 to 214-n determine the necessity of the filtering in parallel for all horizontal boundaries included in the target macroblock. The determination processing for these vertical boundaries and horizontal boundaries is also performed in parallel.
  • the horizontal filtering units 132-1 to 132-n apply the deblocking filter to the vertical boundary determined to apply the deblocking filter.
  • the vertical filtering units 142-1 to 142-n apply the deblocking filter to the horizontal boundary determined to apply the deblocking filter. Such processing is repeated for all macroblocks in the input image (see FIG. 21).
  • processing by the deblocking filter 24 is parallelized in various units such as a specific number (such as 2 or 4) of macroblocks or a group of blocks arranged horizontally or vertically. May be done. Also in the second embodiment, as in the first embodiment, the parallelism and the order of the processes in the deblocking filter 24 may be controlled by the parallelization control unit 150.
  • HEVC High Efficiency Video Coding Unit
  • LCU Large Coding Unit
  • an LCU of 64 ⁇ 64 pixels can be selected.
  • the smallest selectable CU size is 8 ⁇ 8 pixels.
  • processing is usually performed for each LCU in accordance with the order of raster scanning, starting from the LCU at the upper left of the picture (or slice). Therefore, in this section, an example of such processing for each LCU in the deblocking filter 24 will be described.
  • FIG. 27 is an explanatory diagram for describing an order of processing for each LCU related to the second embodiment described above.
  • the size of the LCU is 16 ⁇ 16 pixels
  • the size of the CU is 8 ⁇ 8 pixels.
  • the processes of the second stage on the upper right and the third stage on the lower left in FIG. 27 are processes for the n-th LCU.
  • filtering necessity determination processing for all vertical boundaries and all horizontal boundaries belonging to the n-th LCU is performed in parallel using input pixel values to the deblocking filter 24. It will be.
  • the filtering process for the vertical boundary determined to apply the deblock filter among the vertical boundaries belonging to the n-th LCU uses the input pixel value to the deblock filter 24. It is done in parallel.
  • the filtering process is performed in parallel on the horizontal boundaries determined to apply the deblock filter using the pixel values after the second stage processing. .
  • the fourth stage processing at the lower right of FIG. 27 is processing for the (n + 1) th LCU.
  • the filtering necessity determination processing for all vertical boundaries and all horizontal boundaries belonging to the (n + 1) th LCU is performed in parallel, in the fourth stage, the vertical boundaries determined to apply the deblocking filter The filtering process for is performed in parallel.
  • the size of the LCU is 16 ⁇ 16 pixels as an example, but the size of the LCU may be 32 ⁇ 32 pixels or 64 ⁇ 64 pixels.
  • the size of the selected LCU is larger, the number of vertical boundaries and horizontal boundaries belonging to one LCU also increases, so the effect of shortening the processing time by parallelization is further enhanced.
  • FIG. 28 is a flowchart showing an example of the flow of processing for each LCU by the deblocking filter 24.
  • the vertical boundary determination units 212-1 to 212-n determine the necessity of filtering in parallel for all vertical boundaries included in one target LCU in the input image (steps S252). Also, the horizontal boundary determination units 214-1 to 214-n determine in parallel whether or not it is necessary to filter all horizontal boundaries included in the target LCU (step S254). These steps S252 and S254 are also performed in parallel.
  • the horizontal filtering units 132-1 to 132-n apply the deblocking filter in parallel to the vertical boundaries in the target LCU determined to apply the deblocking filter in step S252 (step S260). .
  • the vertical filtering units 142-1 to 142-n apply deblocking filters in parallel to horizontal boundaries in the target LCU determined to apply the deblocking filter in step S254 (step S270). .
  • FIG. 29 is an explanatory diagram for describing an outline of this embodiment.
  • a graphic representing an input pixel also referred to as a “reconstruct pixel”
  • the input pixel to the deblocking filter is referenced not only in the filtering necessity determination process for the vertical border and the horizontal border but also in both the filtering process for the vertical border and the filtering process for the horizontal border. .
  • the dependency between these two filtering processes is eliminated. Also, these two filtering processes are performed in parallel.
  • the deblocking filter calculates one output pixel value from two filter outputs for pixels that are redundantly updated by two filters operating in parallel.
  • FIG. 30 is a block diagram showing an example of a detailed configuration of the deblocking filter 24 according to the third embodiment.
  • the deblocking filter 24 includes a line memory 208, a determination block 210, a horizontal filtering block 330, a vertical filtering block 340, a parallelization control unit 150, and a calculation unit 360.
  • the determination block 210 includes a plurality of vertical boundary determination units 212-1 to 212-n and a plurality of horizontal boundary determination units 214-1 to 214-n.
  • Each vertical boundary determination unit 212 and each horizontal boundary determination unit 214 may determine the necessity of filtering for each boundary according to various determination conditions as exemplified in the second embodiment.
  • the horizontal filtering block 330 includes a plurality of horizontal filtering units 332-1 to 332-n. Each horizontal filtering unit 332 is supplied with the input pixel value from the line memory 208 and the determination result of each vertical boundary from the determination block 210.
  • Each horizontal filtering unit 332 applies the deblock filter for the vertical boundary to the pixels on the left and right of the corresponding vertical boundary when the determination result by the corresponding vertical boundary determination unit 212 indicates that the filter should be applied. . Then, each horizontal filtering unit 332 outputs the pixel value after filtering for the pixel to which the filter is applied and the input pixel value for the other pixels to the calculation unit 360.
  • the vertical filtering block 340 includes a plurality of vertical filtering units 342-1 to 342-n. Each vertical filtering unit 342 is supplied with the input pixel value from the line memory 208 and the determination result on each horizontal boundary from the determination block 210.
  • Each vertical filtering unit 342 applies the deblock filter for the horizontal boundary to the pixels above and below the corresponding horizontal boundary when the determination result by the corresponding horizontal boundary determination unit 214 indicates that the filter should be applied. .
  • the filtering process by the vertical filtering units 342-1 to 342-n is performed in parallel with the filtering process by the horizontal filtering units 332-1 to 332-n. Then, each vertical filtering unit 342 outputs the pixel value after filtering for the pixel to which the filter is applied and the input pixel value for the other pixels to the calculation unit 360.
  • the output pixel value from the horizontal filtering block 330 and the output pixel value from the vertical filtering block 340 are supplied to the calculation unit 360 in parallel. Furthermore, the determination results from the vertical boundary determination unit 212 and the horizontal boundary determination unit 214 are supplied to the calculation unit 360.
  • the calculator 360 outputs the filter output from the horizontal filtering block 330 and the filter output from the vertical filtering block 340 for pixels filtered by both the horizontal filtering block 330 and the vertical filtering block 340 according to the supplied determination result. Calculate the output pixel value based on it.
  • the calculation unit 360 calculates an average of two filter outputs for pixels to be redundantly filtered.
  • the average of the two filter outputs calculated by the calculation unit 360 may be a simple average.
  • the calculator 360 may calculate a weighted average of the two filter outputs.
  • the calculator 360 may determine, for example, the weight of the weighted average for each pixel according to the distance to the vertical boundary of each pixel and the distance to the horizontal boundary.
  • FIG. 31 is an explanatory diagram for describing determination of weights for weighted averaging by the calculation unit 360.
  • the pixel of interest P Z is located in one of the overlapping position shown in FIG. 29 is shown in black.
  • the distance D V between the pixel of interest P Z and the nearest vertical boundary V Z is three pixels.
  • the distance D H between the pixel of interest P Z and the nearest horizontal boundary H Z is two pixels.
  • the distance D H is smaller than the distance D V.
  • calculation unit 360 a weight for the output of the deblock filter for horizontal boundary H Z, may be determined larger than the weight for the output of the deblock filter for vertical boundary V Z.
  • the weight ratio between the filter output V out for the vertical boundary V Z and the filter output H out for the horizontal boundary H Z is determined to be 2: 3.
  • the deblocking filter 24 may have one two-dimensional filter that simultaneously calculates horizontal filtering, vertical filtering and weighted average. However, in such a case, there is a need to vary the filter coefficients for each pixel, which makes the implementation extremely complicated.
  • the two-dimensional filter is substantially used while utilizing the existing deblocking filter mechanism. Equal processing can be easily realized.
  • the calculator 360 may weight each pixel according to the strength of the edge of the vertical boundary and the horizontal boundary corresponding to each pixel.
  • the weight of the average may be determined.
  • the edge strength here can be expressed by a parameter such as the value of the edge calculated by the calculation unit 122 shown in FIG. 16, for example.
  • the weight of the filter output for stronger edge boundaries may be determined to be greater than the weight of the filter output for weaker edge boundaries.
  • the calculation unit 360 selects the output from the block actually subjected to the filtering for the pixels filtered by one of the horizontal filtering block 330 and the vertical filtering block 340. In addition, for the pixels that are not filtered by any of the horizontal filtering block 330 and the vertical filtering block 340, the calculation unit 360 outputs the input pixel value to the deblocking filter 24 as it is.
  • the output pixel values from the calculation unit 360 according to the determination result of the necessity of filtering are shown in the table of FIG.
  • Example of order of processing Hereinafter, two examples of the processing order that can be realized by the deblocking filter 24 in the present embodiment will be described.
  • the input image includes four macroblocks MB0 to MB3 each having a size of 16 ⁇ 16 pixels.
  • FIG. 34 shows the order of processing when the dependency between the filtering processing for the vertical boundary and the filtering processing for the horizontal boundary remains.
  • the order of the processes shown in FIG. 34 is substantially the same as the order of the processes shown in FIG. 13 in relation to the first embodiment.
  • the filtering necessity determination process for all vertical boundaries and all horizontal boundaries of four macroblocks MB0 to MB3 J V0,0 to J V3,3 and J H0,0 to J H3 , 3 are executed in parallel.
  • filtering processes F V0,0 to F V3,3 are performed on 16 vertical boundaries of four macroblocks MB0 to MB3.
  • each pixel value after the filtering process for the horizontal boundary is stored in a memory for output from the deblocking filter 24.
  • FIG. 35 shows a first example of the order of processing implemented in the present embodiment.
  • the first step filtering necessity determining process J V0,0 on all four vertical boundary and all horizontal boundaries of macro blocks MB0 ⁇ MB3 ⁇ J V3,3 and J H0,0 ⁇ J H3 , 3 are executed in parallel.
  • the filtering processing F V0,0 to F V3,3 and F H0,0 to F H3,3 for all vertical boundaries and all horizontal boundaries of the four macroblocks MB0 to MB3 are performed in parallel. (In fact, only the boundaries determined to require filtering are filtered).
  • each pixel value is stored in a memory for output from the deblocking filter 24. In that case, for pixels filtered by both the horizontal filtering block 330 and the vertical filtering block 340, a weighted average of the two filter outputs may be calculated as an output pixel value.
  • FIG. 36 shows the order of processing for each macroblock in the case where the dependency between the filtering processing for the vertical boundary and the filtering processing for the horizontal boundary remains.
  • the order of the processes shown in FIG. 36 is substantially the same as the order of the processes shown in FIG. 14 in relation to the first embodiment.
  • four processing steps (sixth, tenth, fourteenth and sixteenth steps) for storing the pixel values in the memory for output, which are not shown for simplicity of explanation in FIG. It is clearly stated.
  • the process of FIG. 36 is composed of 16 process steps including these four process steps.
  • FIG. 37 shows a second example of the order of processing implemented in the present embodiment.
  • filtering necessity determination processing for four vertical boundaries and four horizontal boundaries of the macroblock MB0 are paralleled in parallel J V0,0 to J V0,3 and J H0,0 to J H0,3.
  • filtering processes F V0,0 to F V0,3 and F H0,0 to F H0,3 for four vertical boundaries and four horizontal boundaries of the macroblock MB0 are executed in parallel. Ru.
  • each pixel value of the macroblock MB0 is stored in the memory for output from the deblocking filter 24.
  • a weighted average of the two filter outputs may then be calculated as the output pixel value for pixels that have been redundantly filtered by the two filters.
  • the macroblock MB1 is processed in the fourth to sixth steps, the macroblock MB2 in the seventh to ninth steps, and the macroblock MB3 in the tenth to twelfth steps.
  • the process of FIG. 37 is composed of 12 process steps less than the process of FIG.
  • the processing in the deblocking filter 24 can be performed with fewer processing steps.
  • one of the advantages of referencing only the input pixel to the deblocking filter in the filtering process is that the filtering process for the vertical boundary and the filtering process for the horizontal boundary are performed regardless of how the filter taps are configured. There is no dependency between them. Therefore, it is possible to improve the image quality by configuring the filter taps from more pixels than the existing method. For example, in the existing approach, three pixels of filter taps were used on each side of each boundary, as described in connection with FIG.
  • the degree of parallelism and the order of processing in the deblocking filter 24 may be controlled by the parallelization control unit 150.
  • FIG. 38 is a flow chart showing an example of the flow of processing by the deblocking filter according to the third embodiment.
  • FIG. 39 is a flowchart showing an example of the flow of the pixel value calculation process shown in FIG.
  • the vertical boundary determination units 212-1 to 212-n determine in parallel whether or not filtering is necessary for all vertical boundaries in the input image (or in the macro block) (step S302). ). Also, the horizontal boundary determination units 214-1 to 214-n determine in parallel whether or not it is necessary to filter all horizontal boundaries in the input image (or in the macro block) (step S304). These steps S302 and S304 are also performed in parallel.
  • the horizontal filtering units 332-1 to 332-n apply deblocking filters in parallel to all vertical boundaries determined to apply the deblocking filter in step S302 (step S306). Also, the vertical filtering units 342-1 to 342-n apply deblocking filters in parallel to all the horizontal boundaries determined to apply the deblocking filter in step S304 (step S308). These steps S306 and S308 are also performed in parallel.
  • step S310 the pixel value calculation process shown in FIG. 39 is performed by the calculation unit 360 (step S310).
  • step S310 the processing from step S314 to step S326 is looped for each pixel to be processed (step S312).
  • step S314 the calculation unit 360 determines whether the pixel of interest has been filtered by both of the vertical and horizontal filters (step S314). Here, if the pixel of interest is filtered by both of the two filters, the process proceeds to step S322. On the other hand, when the pixel of interest is not filtered by both of the two filters, the process proceeds to step S316.
  • step S316 the calculation unit 360 determines whether the pixel of interest has been filtered by one of the two filters for the vertical boundary and the horizontal boundary (step S316). Here, if the pixel of interest is filtered by one of the two filters, the process proceeds to step S320. On the other hand, when the pixel of interest is not filtered by any filter, the process proceeds to step S318.
  • step S318 the calculation unit 360 acquires an input pixel value to the deblocking filter 24 (step S318).
  • step S320 the calculation unit 360 obtains the filter output from the filter that has actually performed the filtering on the target pixel (step S320).
  • step S322 the calculator 360 calculates the weight value for calculating the weighted average of the filter outputs from the two filters for the pixel of interest, for example, the distance to the vertical boundary of the pixel of interest and the distance to the horizontal boundary, or It is determined according to the strength of the edge of the vertical boundary and the horizontal boundary corresponding to the pixel (step S322). The calculator 360 then uses the determined weights to calculate a weighted average of the filter outputs from the two filters (step S324).
  • the calculation unit 360 stores the pixel value of the pixel of interest acquired in step S318 or step S320 or calculated in step S324 in the memory (step S326).
  • the series of processing shown in FIGS. 38 and 39 is finished.
  • a multi-view codec is an image coding scheme for coding and decoding so-called multi-view video.
  • FIG. 40 is an explanatory diagram for describing a multiview codec. Referring to FIG. 40, a sequence of frames of three views taken respectively at three viewpoints is shown. Each view is assigned a view ID (view_id). One of these multiple views is designated as a base view. Views other than the base view are called non-base views. In the example of FIG. 40, a view whose view ID is "0" is a base view, and two views whose view ID is "1" or "2" are non-base views.
  • the data size of the encoded stream as a whole may be compressed by encoding the non-baseview frame based on the encoding information for the baseview frame.
  • a deblocking filter may be applied to each view in the encoding and decoding processes according to the multiview codec described above.
  • the filtering necessity determination process for vertical block boundaries and horizontal block boundaries in each view may be parallelized in accordance with the technology according to the present disclosure.
  • the filtering necessity determination process and the filtering process in each view may be parallelized.
  • parameters for controlling the filtering necessity determination process or the filtering process may be set for each view.
  • parameters set in the base view may be reused in the non-base view.
  • the filtering necessity determination process or the filtering process may be parallelized across multiple views.
  • Parameters for controlling the filtering necessity determination process or the filtering process may be standardized across a plurality of views.
  • a flag may be additionally specified to indicate whether or not parameters are shared across multiple views.
  • FIG. 41 is an explanatory diagram for describing an application of the image coding process described above to a multiview codec. Referring to FIG. 41, the configuration of an exemplary multi-view coding device 710 is shown.
  • the multiview coding apparatus 710 includes a first coding unit 720, a second coding unit 730, and a multiplexing unit 740.
  • the first encoding unit 720 encodes the base view image to generate a base view encoded stream.
  • the second encoding unit 730 encodes the non-base view image to generate a non-base view encoded stream.
  • the multiplexing unit 740 multiplexes the coded stream of the base view generated by the first coding unit 720 and the coded stream of one or more non-base views generated by the second coding unit 730, Generate a multiview multiplexed stream.
  • the first encoding unit 720 and the second encoding unit 730 illustrated in FIG. 41 have the same configuration as the image encoding device 10 according to the above-described embodiment. Thereby, upon application of the deblocking filter to each view, it is possible to parallelize the filtering necessity determination process for vertical block boundaries and horizontal block boundaries, or to parallelize the filtering necessity determination process and the filtering process. Become. Parameters for controlling these processes may be inserted into the header area of the coded stream of each view, or may be inserted into a common header area in the multiplexed stream.
  • FIG. 42 is an explanatory diagram for describing an application of the image decoding processing described above to a multiview codec.
  • the multiview decoding device 760 includes an inverse multiplexing unit 770, a first decoding unit 780, and a second decoding unit 790.
  • the demultiplexing unit 770 demultiplexes the multiview multiplexed stream into a baseview coded stream and one or more non-base view coded streams.
  • the first decoding unit 780 decodes a base view image from the base view coded stream.
  • the second decoding unit 730 decodes the non-base view image from the non-base view coded stream.
  • the first decoding unit 780 and the second decoding unit 790 illustrated in FIG. 42 have the same configuration as the image decoding device 60 according to the above-described embodiment. Thereby, upon application of the deblocking filter to each view, it is possible to parallelize the filtering necessity determination process for vertical block boundaries and horizontal block boundaries, or to parallelize the filtering necessity determination process and the filtering process. Become. Parameters for controlling these processes may be obtained from the header area of the coded stream of each view, or may be obtained from a common header area in the multiplexed stream.
  • FIG. 43 is an explanatory diagram for describing a scalable codec.
  • a sequence of frames of three layers different in spatial resolution, temporal resolution or image quality is shown.
  • Each layer is assigned a layer ID (layer_id).
  • the layer having the lowest resolution (or image quality) among the plurality of layers is a base layer.
  • Layers other than the base layer are called enhancement layers.
  • a layer whose layer ID is “0” is a base layer
  • two layers whose layer ID is “1” or “2” are enhancement layers.
  • a deblocking filter may be applied to each layer in the encoding process and the decoding process according to the scalable codec described above.
  • the filtering necessity determination process for vertical block boundaries and horizontal block boundaries in each layer may be parallelized according to the technology according to the present disclosure.
  • the filtering necessity determination process and the filtering process in each layer may be parallelized.
  • parameters for controlling the filtering necessity determination process or the filtering process may be set for each layer.
  • parameters set in the base layer may be reused in the enhancement layer.
  • the filtering necessity determination process or the filtering process may be parallelized across multiple layers.
  • Parameters for controlling the filtering necessity determination process or the filtering process may be standardized across multiple layers.
  • a flag indicating whether parameters are shared across multiple layers may be additionally specified.
  • FIG. 44 is an explanatory diagram for describing an application of the image coding process described above to a scalable codec.
  • the scalable coding apparatus 810 includes a first coding unit 820, a second coding unit 830, and a multiplexing unit 840.
  • the first coding unit 820 codes the base layer image to generate a coded stream of the base layer.
  • the second coding unit 830 codes the enhancement layer image to generate a coded stream of the enhancement layer.
  • the multiplexing unit 840 multiplexes the base layer coded stream generated by the first coding unit 820 and the coded stream of one or more enhancement layers generated by the second coding unit 830, Generate a multiplexed stream of layers.
  • the first encoding unit 820 and the second encoding unit 830 illustrated in FIG. 44 have the same configuration as the image encoding device 10 according to the above-described embodiment.
  • Parameters for controlling these processes may be inserted into the header area of the encoded stream of each layer, or may be inserted into a common header area in the multiplexed stream.
  • FIG. 45 is an explanatory diagram for describing an application of the image decoding process described above to a scalable codec.
  • the scalable decoding device 860 includes a demultiplexer 870, a first decoding unit 880, and a second decoding unit 890.
  • the demultiplexing unit 870 demultiplexes the multiplexed stream of the multilayer into the coded stream of the base layer and the coded stream of one or more enhancement layers.
  • the first decoding unit 880 decodes a base layer image from the coded stream of the base layer.
  • the second decoding unit 830 decodes the enhancement layer image from the enhancement layer coded stream.
  • the first decoding unit 880 and the second decoding unit 890 illustrated in FIG. 45 have the same configuration as the image decoding device 60 according to the above-described embodiment.
  • the deblocking filter upon application of the deblocking filter to each layer, it is possible to parallelize filtering necessity determination processing for vertical block boundaries and horizontal block boundaries or to parallelize filtering necessity determination processing and filtering processing.
  • Parameters for controlling these processes may be obtained from the header area of the coded stream of each layer, or may be obtained from a common header area in the multiplexed stream.
  • the image encoding device 10 and the image decoding device 60 according to the embodiments described above are transmitters or receivers for satellite broadcasting, cable broadcasting such as cable TV, distribution over the Internet, distribution to terminals by cellular communication, etc.
  • the present invention can be applied to various electronic devices such as a recording device which records an image on a medium such as an optical disk, a magnetic disk and a flash memory, or a reproducing device which reproduces an image from the storage medium.
  • a recording device which records an image on a medium such as an optical disk, a magnetic disk and a flash memory
  • a reproducing device which reproduces an image from the storage medium.
  • FIG. 46 shows an example of a schematic configuration of a television set to which the embodiment described above is applied.
  • the television device 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, an external interface 909, a control unit 910, a user interface 911, And a bus 912.
  • the tuner 902 extracts a signal of a desired channel from a broadcast signal received via the antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the coded bit stream obtained by demodulation to the demultiplexer 903. That is, the tuner 902 has a role as a transmission means in the television apparatus 900 for receiving a coded stream in which an image is coded.
  • the demultiplexer 903 separates the video stream and audio stream of the program to be viewed from the coded bit stream, and outputs the separated streams to the decoder 904. Also, the demultiplexer 903 extracts auxiliary data such as an EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. When the coded bit stream is scrambled, the demultiplexer 903 may perform descrambling.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. Further, the decoder 904 outputs the audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display a video. Also, the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via the network. Further, the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting. Furthermore, the video signal processing unit 905 may generate an image of a graphical user interface (GUI) such as a menu, a button, or a cursor, for example, and may superimpose the generated image on the output image.
  • GUI graphical user interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays a video or an image on the video surface of a display device (for example, a liquid crystal display, a plasma display, or an OLED).
  • a display device for example, a liquid crystal display, a plasma display, or an OLED.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on audio data input from the decoder 904, and causes the speaker 908 to output audio. Further, the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface 909 is an interface for connecting the television device 900 to an external device or a network.
  • a video stream or an audio stream received via the external interface 909 may be decoded by the decoder 904. That is, the external interface 909 also serves as a transmission means in the television apparatus 900 for receiving the coded stream in which the image is coded.
  • the control unit 910 includes a processor such as a central processing unit (CPU) and memories such as a random access memory (RAM) and a read only memory (ROM).
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the television device 900 is started.
  • the CPU controls the operation of the television apparatus 900 according to an operation signal input from, for example, the user interface 911 by executing a program.
  • the user interface 911 is connected to the control unit 910.
  • the user interface 911 has, for example, buttons and switches for the user to operate the television device 900, a receiver of remote control signals, and the like.
  • the user interface 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 mutually connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface 909, and the control unit 910.
  • the decoder 904 has the function of the image decoding device 60 according to the above-described embodiment.
  • the degree of parallelism of the processing of the deblocking filter can be increased to speed up the processing.
  • FIG. 47 shows an example of a schematic configuration of a mobile phone to which the embodiment described above is applied.
  • the mobile phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a multiplexing and separating unit 928, a recording and reproducing unit 929, a display unit 930, a control unit 931, an operation.
  • a unit 932 and a bus 933 are provided.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 mutually connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931.
  • the cellular phone 920 can transmit and receive audio signals, transmit and receive electronic mail or image data, capture an image, and record data in various operation modes including a voice call mode, a data communication mode, a shooting mode, and a videophone mode. Do the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, and A / D converts and compresses the converted audio data. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates audio data to generate a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the communication unit 922 demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to the audio codec 923.
  • the audio codec 923 decompresses and D / A converts audio data to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting an electronic mail in accordance with an operation by the user via the operation unit 932. Further, the control unit 931 causes the display unit 930 to display characters. Further, the control unit 931 generates electronic mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated electronic mail data to the communication unit 922.
  • a communication unit 922 encodes and modulates electronic mail data to generate a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. The communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the communication unit 922 demodulates and decodes the received signal to restore the e-mail data, and outputs the restored e-mail data to the control unit 931.
  • the control unit 931 causes the display unit 930 to display the content of the e-mail, and stores the e-mail data in the storage medium of the recording and reproduction unit 929.
  • the recording and reproducing unit 929 includes an arbitrary readable and writable storage medium.
  • the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted storage medium such as a hard disk, a magnetic disk, a magnetooptical disk, an optical disk, a USB memory, or a memory card. May be
  • the camera unit 926 captures an image of a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926, and stores the encoded stream in the storage medium of the recording and reproduction unit 929.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the communication unit 922 multiplexes the multiplexed stream.
  • Output to The communication unit 922 encodes and modulates the stream to generate a transmission signal.
  • the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 also amplifies and frequency-converts a radio signal received via the antenna 921 to obtain a reception signal.
  • the transmission signal and the reception signal may include a coded bit stream.
  • the communication unit 922 demodulates and decodes the received signal to restore the stream, and outputs the restored stream to the demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream to generate video data.
  • the video data is supplied to the display unit 930, and the display unit 930 displays a series of images.
  • the audio codec 923 decompresses and D / A converts the audio stream to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 has the functions of the image encoding device 10 and the image decoding device 60 according to the above-described embodiment. As a result, when encoding and decoding an image in the mobile phone 920, the degree of parallelism of the processing of the deblocking filter can be increased to speed up the processing.
  • FIG. 48 shows an example of a schematic configuration of a recording and reproducing apparatus to which the embodiment described above is applied.
  • the recording / reproducing device 940 encodes, for example, audio data and video data of the received broadcast program, and records the encoded data on a recording medium.
  • the recording and reproduction device 940 may encode, for example, audio data and video data acquired from another device and record the encoded data on a recording medium.
  • the recording / reproducing device 940 reproduces the data recorded on the recording medium on the monitor and the speaker, for example, in accordance with the user's instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) 948, a control unit 949, and a user interface. And 950.
  • the tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown) and demodulates the extracted signal. Then, the tuner 941 outputs the coded bit stream obtained by demodulation to the selector 946. That is, the tuner 941 has a role as a transmission means in the recording / reproducing device 940.
  • the external interface 942 is an interface for connecting the recording and reproducing device 940 to an external device or a network.
  • the external interface 942 may be, for example, an IEEE 1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface 942 are input to the encoder 943. That is, the external interface 942 has a role as a transmission unit in the recording / reproducing device 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface 942 are not encoded. Then, the encoder 943 outputs the coded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream obtained by compressing content data such as video and audio, various programs, and other data in an internal hard disk. Also, the HDD 944 reads these data from the hard disk when reproducing video and audio.
  • the disk drive 945 records and reads data on the attached recording medium.
  • the recording medium mounted on the disk drive 945 may be, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + RW, etc.) or a Blu-ray (registered trademark) disk, etc. .
  • the selector 946 selects the coded bit stream input from the tuner 941 or the encoder 943 at the time of recording video and audio, and outputs the selected coded bit stream to the HDD 944 or the disk drive 945. Also, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 at the time of reproduction of video and audio.
  • the decoder 947 decodes the coded bit stream to generate video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD 948. Also, the decoder 904 outputs the generated audio data to an external speaker.
  • the OSD 948 reproduces the video data input from the decoder 947 and displays the video.
  • the OSD 948 may superimpose an image of a GUI such as a menu, a button, or a cursor on the video to be displayed.
  • the control unit 949 includes a processor such as a CPU, and memories such as a RAM and a ROM.
  • the memory stores programs executed by the CPU, program data, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the recording and reproducing device 940 is started.
  • the CPU controls the operation of the recording / reproducing apparatus 940 in accordance with an operation signal input from, for example, the user interface 950 by executing a program.
  • the user interface 950 is connected to the control unit 949.
  • the user interface 950 includes, for example, buttons and switches for the user to operate the recording and reproducing device 940, a receiver of a remote control signal, and the like.
  • the user interface 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image coding apparatus 10 according to the embodiment described above.
  • the decoder 947 has the function of the image decoding device 60 according to the above-described embodiment.
  • FIG. 49 shows an example of a schematic configuration of an imaging device to which the embodiment described above is applied.
  • the imaging device 960 captures an object to generate an image, encodes image data, and records the image data in a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a signal processing unit 963, an image processing unit 964, a display unit 965, an external interface 966, a memory 967, a media drive 968, an OSD 969, a control unit 970, a user interface 971, and a bus. 972 is provided.
  • the optical block 961 is connected to the imaging unit 962.
  • the imaging unit 962 is connected to the signal processing unit 963.
  • the display unit 965 is connected to the image processing unit 964.
  • the user interface 971 is connected to the control unit 970.
  • the bus 972 mutually connects the image processing unit 964, the external interface 966, the memory 967, the media drive 968, the OSD 969, and the control unit 970.
  • the optical block 961 has a focus lens, an aperture mechanism, and the like.
  • the optical block 961 forms an optical image of a subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD or a CMOS, and converts an optical image formed on an imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the signal processing unit 963.
  • the signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the signal processing unit 963 outputs the image data after camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the signal processing unit 963 to generate encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface 966 or the media drive 968. The image processing unit 964 also decodes encoded data input from the external interface 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965.
  • the image processing unit 964 may output the image data input from the signal processing unit 963 to the display unit 965 to display an image. The image processing unit 964 may superimpose the display data acquired from the OSD 969 on the image to be output to the display unit 965.
  • the OSD 969 generates an image of a GUI such as a menu, a button, or a cursor, for example, and outputs the generated image to the image processing unit 964.
  • a GUI such as a menu, a button, or a cursor
  • the external interface 966 is configured as, for example, a USB input / output terminal.
  • the external interface 966 connects the imaging device 960 and the printer, for example, when printing an image.
  • a drive is connected to the external interface 966 as necessary.
  • removable media such as a magnetic disk or an optical disk may be attached to the drive, and a program read from the removable media may be installed in the imaging device 960.
  • the external interface 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted in the media drive 968 may be, for example, any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory.
  • the recording medium may be fixedly attached to the media drive 968, and a non-portable storage unit such as, for example, a built-in hard disk drive or a solid state drive (SSD) may be configured.
  • SSD solid state drive
  • the control unit 970 includes a processor such as a CPU, and memories such as a RAM and a ROM.
  • the memory stores programs executed by the CPU, program data, and the like.
  • the program stored by the memory is read and executed by the CPU, for example, when the imaging device 960 starts up.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from, for example, the user interface 971 by executing a program.
  • the user interface 971 is connected to the control unit 970.
  • the user interface 971 includes, for example, buttons and switches for the user to operate the imaging device 960.
  • the user interface 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the image processing unit 964 has the functions of the image encoding device 10 and the image decoding device 60 according to the above-described embodiment. As a result, when encoding and decoding an image in the imaging device 960, the degree of parallelism of processing of the deblocking filter can be increased to speed up the processing.
  • the pixel values used for determining the necessity of applying the deblock filter for the vertical boundary are the pixel values of the pixels belonging to the row to which the deblock filter for the horizontal boundary is not applied. It is a pixel value.
  • the pixel values used for determining the necessity of application of the deblock filter for the horizontal boundary are pixel values of pixels belonging to the row to which the deblock filter for the vertical boundary is not applied. That is, the pixel values used for the filtering necessity determination process for one block are not updated by the filtering process for another block. Therefore, even when the filtering process for another block is performed before the filtering necessity determination process for a certain block, it is not necessary to hold the input pixel value to the deblocking filter in a separate memory. Thus, the cost of hardware required to implement the device can be saved.
  • the input pixel value to the deblocking filter is stored in the memory not updated in the filtering process, and the input pixel value is referred to in the filtering necessity determination process.
  • the filtering necessity determination process there is no restriction on the position of the pixel to be referred to in the filtering necessity determination process, and therefore, for various purposes (for example, more accurate determination of the necessity of filtering or determination with less processing cost) It is possible to use flexible judgment conditions according to the situation.
  • input pixels to the deblocking filter are filtered in both the filtering process for the vertical boundary and the horizontal boundary.
  • the processing in the deblocking filter can be further speeded up.
  • an output pixel value is calculated based on the two filter outputs.
  • the output pixel value may be calculated as a weighted average of the two filter outputs.
  • the present disclosure may be applied to the case where the filtering process for the horizontal boundary is performed first.
  • the above-mentioned effects of the technique according to the present invention can be equally enjoyed.
  • the size of the processing unit of the deblocking filter or the size of the macroblock is not limited to the example described herein, and may be another size.
  • the method of transmitting information used for parallelization of the deblocking filter process from the encoding side to the decoding side is not limited to the method of multiplexing the information in the header of the encoded stream.
  • the information may be transmitted or recorded as separate data associated with the coded bit stream without being multiplexed into the coded bit stream.
  • the term “associate” allows an image (a slice or a block, which may be a part of an image) included in a bitstream to be linked at the time of decoding with information corresponding to the image. Means That is, the information may be transmitted on a different transmission path from the image (or bit stream).
  • the information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream).
  • the information and the image (or bit stream) may be associated with each other in any unit such as, for example, a plurality of frames, one frame, or a part in a frame.
  • the filtering process on the vertical boundary is expressed as “horizontal filtering”, and the filtering process on the horizontal boundary is expressed as “vertical filtering”.
  • the filter taps of the filtering process for the vertical boundary are arranged along the horizontal direction, and the filter taps of the filtering process for the horizontal boundary are arranged along the vertical direction. Therefore, the name of the filtering process as described above is adopted.

Abstract

【課題】デブロックフィルタの適用に際しての処理のさらなる並列化を可能とすること。 【解決手段】符号化ストリームから画像を復号する復号部と、前記復号部により復号される画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行する判定部と、前記判定部によりデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用するフィルタリング部と、垂直ブロック境界及び水平ブロック境界についての前記判定処理を、リコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて、前記判定部に実行させる制御部と、を備える画像処理装置を提供する。

Description

画像処理装置及び画像処理方法
　本開示は、画像処理装置及び画像処理方法に関する。
　画像符号化方式の標準仕様の１つであるＨ．２６４／ＡＶＣでは、画像の符号化の際に生じるブロック歪みに起因する画質の劣化を抑制するために、例えば４×４画素のブロックごとにブロック境界にデブロックフィルタが適用される。このデブロックフィルタのために要する処理量は多大であり、例えば、画像の復号の際の全処理量の５０％を占めることもあると言われている。
　次世代の画像符号化方式であるＨＥＶＣ（High　Efficiency　Video　Coding）の標準化作業では、ＪＣＴＶＣ－Ａ１１９（下記非特許文献１参照）において、８×８画素以上のサイズのブロックごとにデブロックフィルタを適用することが提案されている。ＪＣＴＶＣ－Ａ１１９において提案された手法では、デブロックフィルタを適用する最小単位のブロックサイズが拡大されることで、１つのマクロブロック内で同一方向の複数のブロック境界についてのフィルタリング処理を並列的に実行することが可能となる。
K.Ugur　(Nokia),　K.R.Andersson　(LM　Ericsson),　A.Fuldseth　(Tandberg　Telecom),　"JCTVC-A119:Video　coding　technology　proposal　by　Tandberg,　Nokia,　and　Ericsson",　Documents　of　the　first　meeting　of　the　Joint　Collaborative　Team　on　Video　Coding　(JCT-VC),　Dresden,　Germany,　15-23　April,　2010.
　しかしながら、ＪＣＴＶＣ－Ａ１１９において提案された手法を採用したとしても、垂直方向のブロック境界についての処理と水平方向のブロック境界についての処理との間の依存関係は残される。よって、１つのマクロブロック（あるいは１つの符号化単位）内で異なる方向のブロック境界についての処理を並列化すること、及びマクロブロック間で処理を並列化することは、依然として困難である。従って、上記手法でも、デブロックフィルタの適用に際しての多大な処理量を原因とする遅延又はデータレートの低下などの課題が十分に解決されるとは言い難い。
　そこで、本開示に係る技術は、デブロックフィルタの適用に際しての処理のさらなる並列化を可能とする、画像処理装置及び画像処理方法を提供しようとするものである。
　本開示によれば、符号化ストリームから画像を復号する復号部と、前記復号部により復号される画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行する判定部と、前記判定部によりデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用するフィルタリング部と、垂直ブロック境界及び水平ブロック境界についての前記判定処理を、リコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて、前記判定部に実行させる制御部と、を備える画像処理装置が提供される。
　上記画像処理装置は、典型的には、画像を復号する画像復号装置として実現され得る。
　また、本開示によれば、符号化ストリームから画像を復号することと、復号される画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行することと、前記判定処理においてデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用することと、垂直ブロック境界及び水平ブロック境界についての前記判定処理がリコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて実行されるように、前記判定処理を制御することと、を含む画像処理方法が提供される。
　また、本開示によれば、符号化対象画像を符号化する際にローカルデコードされる画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行する判定部と、前記判定部によりデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用するフィルタリング部と、垂直ブロック境界及び水平ブロック境界についての前記判定処理を、リコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて、前記判定部に実行させる制御部と、前記フィルタリング部によりフィルタリングされた画像を用いて、前記符号化対象画像を符号化する符号化部と、を備える画像処理装置が提供される。
　上記画像処理装置は、典型的には、画像を符号化する画像符号化装置として実現され得る。
　また、本開示によれば、符号化対象画像を符号化する際にローカルデコードされる画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行することと、前記判定処理においてデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用することと、垂直ブロック境界及び水平ブロック境界についての前記判定処理がリコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて実行されるように、前記判定処理を制御することと、前記デブロックフィルタによりフィルタリングされた画像を用いて、前記符号化対象画像を符号化することと、を含む画像処理方法が提供される。
　以上説明したように、本開示に係る画像処理装置及び画像処理方法によれば、デブロックフィルタの適用に際しての処理のさらなる並列化が可能となる。
一実施形態に係る画像符号化装置の構成の一例を示すブロック図である。 一実施形態に係る画像復号装置の構成の一例を示すブロック図である。 境界を挟んで隣接する画素の一例を示す説明図である。 既存の手法におけるフィルタリング要否判定処理での参照画素について説明するための説明図である。 フィルタリング処理により更新される画素について説明するための説明図である。 実施形態の説明のためのエッジの呼び方について説明するための説明図である。 既存の手法における並列処理について説明するための説明図である。 既存の手法における処理間の依存関係について説明するための第１の説明図である。 既存の手法における処理間の依存関係について説明するための第２の説明図である。 既存の手法における処理の順序の一例について説明するための説明図である。 第１の実施例に係るフィルタリング要否判定処理における参照画素について説明するための第１の説明図である。 第１の実施例に係るフィルタリング要否判定処理における参照画素について説明するための第２の説明図である。 処理の順序の第１の例について説明するための説明図である。 処理の順序の第２の例について説明するための説明図である。 第１の実施例に係るデブロックフィルタの詳細な構成の一例を示すブロック図である。 判定部のさらに詳細な構成の一例を示すブロック図である。 スライス境界を挟んで隣接するブロックの一例について説明するための説明図である。 スライスごとの処理の順序の第１の例について説明するための説明図である。 スライスごとの処理の順序の第２の例について説明するための説明図である。 一実施形態に係るデブロックフィルタによる処理の流れの第１の例を示すフローチャートである。 一実施形態に係るデブロックフィルタによる処理の流れの第２の例を示すフローチャートである。 一実施形態に係るフィルタリング要否判定処理の流れの一例を示すフローチャートである。 第２の実施例に係るデブロックフィルタの詳細な構成の一例を示すブロック図である。 第２の実施例において実現され得る判定の手法の第１及び第２の例について説明するための説明図である。 第２の実施例において実現され得る判定の手法の第３及び第４の例について説明するための説明図である。 第２の実施例において実現され得る判定の手法の第５及び第６の例について説明するための説明図である。 ＬＣＵごとの処理の順序について説明するための説明図である。 ＬＣＵごとの処理の流れの一例を示すフローチャートである。 第３の実施例の概略について説明するための説明図である。 第３の実施例に係るデブロックフィルタの詳細な構成の一例を示すブロック図である。 加重平均のための重みの決定について説明するための説明図である。 加重平均のための重みの一例について説明するための説明図である。 第３の実施例に係る計算部からの出力画素値について説明するための説明図である。 比較のための処理の順序の第１の例について説明するための説明図である。 第３の実施例において実現される処理の順序の第１の例について説明するための説明図である。 比較のための処理の順序の第２の例について説明するための説明図である。 第３の実施例において実現される処理の順序の第２の例について説明するための説明図である。 第３の実施例に係るデブロックフィルタによる処理の流れの一例を示すフローチャートである。 図３８に示した画素値計算処理の流れの一例を示すフローチャートである。 マルチビューコーデックについて説明するための説明図である。 一実施形態に係る画像符号化処理のマルチビューコーデックへの適用について説明するための説明図である。 一実施形態に係る画像復号処理のマルチビューコーデックへの適用について説明するための説明図である。 スケーラブルコーデックについて説明するための説明図である。 一実施形態に係る画像符号化処理のスケーラブルコーデックへの適用について説明するための説明図である。 一実施形態に係る画像復号処理のスケーラブルコーデックへの適用について説明するための説明図である。 テレビジョン装置の概略的な構成の一例を示すブロック図である。 携帯電話機の概略的な構成の一例を示すブロック図である。 記録再生装置の概略的な構成の一例を示すブロック図である。 撮像装置の概略的な構成の一例を示すブロック図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
　また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
　　１．装置の概要
　　　１－１．画像符号化装置
　　　１－２．画像復号装置
　　２．既存の手法の説明
　　　２－１．デブロックフィルタの基本的な構成
　　　２－２．既存の手法における処理間の依存関係
　　３．第１の実施例
　　　３－１．デブロックフィルタの構成例
　　　３－２．処理の流れ
　　４．第２の実施例
　　　４－１．デブロックフィルタの構成例
　　　４－２．処理の流れ
　　　４－３．ＬＣＵごとの処理の例
　　５．第３の実施例
　　　５－１．概略
　　　５－２．デブロックフィルタの構成例
　　　５－３．処理の順序の例
　　　５－４．処理の流れ
　　６．様々なコーデックへの適用
　　　６－１．マルチビューコーデック
　　　６－２．スケーラブルコーデック
　　７．応用例
　　８．まとめ
　＜１．装置の概要＞
　まず、図１及び図２を用いて、本明細書で開示する技術を適用可能な一例としての装置の概要を説明する。本明細書で開示する技術は、例えば、画像符号化装置及び画像復号装置に適用可能である。
　　［１－１．画像符号化装置］
　図１は、一実施形態に係る画像符号化装置１０の構成の一例を示すブロック図である。図１を参照すると、画像符号化装置１０は、Ａ／Ｄ（Analogue　to　Digital）変換部１１、並べ替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８、逆量子化部２１、逆直交変換部２２、加算部２３、デブロックフィルタ２４ａ、フレームメモリ２５、セレクタ２６、イントラ予測部３０、動き探索部４０、及びモード選択部５０を備える。
　Ａ／Ｄ変換部１１は、アナログ形式で入力される画像信号をデジタル形式の画像データに変換し、一連のデジタル画像データを並べ替えバッファ１２へ出力する。
　並べ替えバッファ１２は、Ａ／Ｄ変換部１１から入力される一連の画像データに含まれる画像を並べ替える。並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group　of　Pictures）構造に応じて画像を並べ替えた後、並べ替え後の画像データを減算部１３、イントラ予測部３０及び動き探索部４０へ出力する。
　減算部１３には、並べ替えバッファ１２から入力される画像データ、及び後に説明するモード選択部５０により選択される予測画像データが供給される。減算部１３は、並べ替えバッファ１２から入力される画像データとモード選択部５０から入力される予測画像データとの差分である予測誤差データを算出し、算出した予測誤差データを直交変換部１４へ出力する。
　直交変換部１４は、減算部１３から入力される予測誤差データについて直交変換を行う。直交変換部１４により実行される直交変換は、例えば、離散コサイン変換（Discrete　Cosine　Transform：ＤＣＴ）又はカルーネン・レーベ変換などであってよい。直交変換部１４は、直交変換処理により取得される変換係数データを量子化部１５へ出力する。
　量子化部１５には、直交変換部１４から入力される変換係数データ、及び後に説明するレート制御部１８からのレート制御信号が供給される。量子化部１５は、変換係数データを量子化し、量子化後の変換係数データ（以下、量子化データという）を可逆符号化部１６及び逆量子化部２１へ出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づいて量子化パラメータ（量子化スケール）を切替えることにより、可逆符号化部１６に入力される量子化データのビットレートを変化させる。
　可逆符号化部１６には、量子化部１５から入力される量子化データ、及び、後に説明するイントラ予測部３０又は動き探索部４０により生成されモード選択部５０により選択されるイントラ予測又はインター予測に関する情報が供給される。イントラ予測に関する情報は、例えば、ブロックごとの最適なイントラ予測モードを示す予測モード情報を含み得る。また、インター予測に関する情報は、例えば、ブロックごとの動きベクトルの予測のための予測モード情報、差分動きベクトル情報、及び参照画像情報などを含み得る。
　可逆符号化部１６は、量子化データについて可逆符号化処理を行うことにより、符号化ストリームを生成する。可逆符号化部１６による可逆符号化は、例えば、可変長符号化、又は算術符号化などであってよい。また、可逆符号化部１６は、上述したイントラ予測に関する情報又はインター予測に関する情報を、符号化ストリームのヘッダ（例えばブロックヘッダ又はスライスヘッダなど）内に多重化する。そして、可逆符号化部１６は、生成した符号化ストリームを蓄積バッファ１７へ出力する。
　蓄積バッファ１７は、可逆符号化部１６から入力される符号化ストリームを半導体メモリなどの記憶媒体を用いて一時的に蓄積する。そして、蓄積バッファ１７は、蓄積した符号化ストリームを、伝送路（又は画像符号化装置１０からの出力線）の帯域に応じたレートで出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量を監視する。そして、レート制御部１８は、蓄積バッファ１７の空き容量に応じてレート制御信号を生成し、生成したレート制御信号を量子化部１５へ出力する。例えば、レート制御部１８は、蓄積バッファ１７の空き容量が少ない時には、量子化データのビットレートを低下させるためのレート制御信号を生成する。また、例えば、レート制御部１８は、蓄積バッファ１７の空き容量が十分大きい時には、量子化データのビットレートを高めるためのレート制御信号を生成する。
　逆量子化部２１は、量子化部１５から入力される量子化データについて逆量子化処理を行う。そして、逆量子化部２１は、逆量子化処理により取得される変換係数データを、逆直交変換部２２へ出力する。
　逆直交変換部２２は、逆量子化部２１から入力される変換係数データについて逆直交変換処理を行うことにより、予測誤差データを復元する。そして、逆直交変換部２２は、復元した予測誤差データを加算部２３へ出力する。
　加算部２３は、逆直交変換部２２から入力される復元された予測誤差データとモード選択部５０から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部２３は、生成した復号画像データをデブロックフィルタ２４ａ及びフレームメモリ２５へ出力する。
　デブロックフィルタ２４ａは、画像の符号化の際に生じるブロック歪みを減少させるためのフィルタリング処理を行う。例えば、デブロックフィルタ２４ａは、加算部２３から入力される復号画像データについてブロックの境界ごとにフィルタリングの要否を判定し、フィルタを適用すべきであると判定した境界にデブロックフィルタを適用する。デブロックフィルタ２４ａには、加算部２３からの復号画像データに加えて、フィルタリングの要否の判定のために使用される情報（例えば、モード情報、変換係数情報及び動きベクトル情報）も入力される。そして、デブロックフィルタ２４ａは、ブロック歪みの除去されたフィルタリング後の復号画像データをフレームメモリ２５へ出力する。なお、デブロックフィルタ２４ａによる処理について、後に詳細に説明する。
　フレームメモリ２５は、加算部２３から入力される復号画像データ、及びデブロックフィルタ２４ａから入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
　セレクタ２６は、イントラ予測のために使用されるフィルタリング前の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとしてイントラ予測部３０に供給する。また、セレクタ２６は、インター予測のために使用されるフィルタリング後の復号画像データをフレームメモリ２５から読み出し、読み出した復号画像データを参照画像データとして動き探索部４０に供給する。
　イントラ予測部３０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、各イントラ予測モードのイントラ予測処理を行う。例えば、イントラ予測部３０は、各イントラ予測モードによる予測結果を所定のコスト関数を用いて評価する。そして、イントラ予測部３０は、コスト関数値が最小となるイントラ予測モード、即ち圧縮率が最も高くなるイントラ予測モードを、最適なイントラ予測モードとして選択する。さらに、イントラ予測部３０は、当該最適なイントラ予測モードを示す予測モード情報、予測画像データ、及びコスト関数値などのイントラ予測に関する情報を、モード選択部５０へ出力する。
　動き探索部４０は、並べ替えバッファ１２から入力される符号化対象の画像データ、及びセレクタ２６を介して供給される復号画像データに基づいて、インター予測処理（フレーム間予測処理）を行う。例えば、動き探索部４０は、各予測モードによる予測結果を所定のコスト関数を用いて評価する。次に、動き探索部４０は、コスト関数値が最小となる予測モード、即ち圧縮率が最も高くなる予測モードを、最適な予測モードとして選択する。また、動き探索部４０は、当該最適な予測モードに従って予測画像データを生成する。そして、動き探索部４０は、選択した最適な予測モードを示す予測モード情報、予測画像データ、及びコスト関数値などのインター予測に関する情報を、モード選択部５０へ出力する。
　モード選択部５０は、イントラ予測部３０から入力されるイントラ予測に関するコスト関数値と動き探索部４０から入力されるインター予測に関するコスト関数値とを比較する。そして、モード選択部５０は、イントラ予測及びインター予測のうちコスト関数値がより少ない予測手法を選択する。モード選択部５０は、イントラ予測を選択した場合には、イントラ予測に関する情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。また、モード選択部５０は、インター予測を選択した場合には、インター予測に関する上述した情報を可逆符号化部１６へ出力すると共に、予測画像データを減算部１３及び加算部２３へ出力する。
　　［１－２．画像復号装置］
　図２は、一実施形態に係る画像復号装置６０の構成の一例を示すブロック図である。図２を参照すると、画像復号装置６０は、蓄積バッファ６１、可逆復号部６２、逆量子化部６３、逆直交変換部６４、加算部６５、デブロックフィルタ２４ｂ、並べ替えバッファ６７、Ｄ／Ａ（Digital　to　Analogue）変換部６８、フレームメモリ６９、セレクタ７０及び７１、イントラ予測部８０、並びに動き補償部９０を備える。
　蓄積バッファ６１は、伝送路を介して入力される符号化ストリームを記憶媒体を用いて一時的に蓄積する。
　可逆復号部６２は、蓄積バッファ６１から入力される符号化ストリームを、符号化の際に使用された符号化方式に従って復号する。また、可逆復号部６２は、符号化ストリームのヘッダ領域に多重化されている情報を復号する。符号化ストリームのヘッダ領域に多重化されている情報とは、例えば、ブロックヘッダ内のイントラ予測に関する情報及びインター予測に関する情報を含み得る。可逆復号部６２は、イントラ予測に関する情報をイントラ予測部８０へ出力する。また、可逆復号部６２は、インター予測に関する情報を動き補償部９０へ出力する。
　逆量子化部６３は、可逆復号部６２による復号後の量子化データを逆量子化する。逆直交変換部６４は、符号化の際に使用された直交変換方式に従い、逆量子化部６３から入力される変換係数データについて逆直交変換を行うことにより、予測誤差データを生成する。そして、逆直交変換部６４は、生成した予測誤差データを加算部６５へ出力する。
　加算部６５は、逆直交変換部６４から入力される予測誤差データと、セレクタ７１から入力される予測画像データとを加算することにより、復号画像データを生成する。そして、加算部６５は、生成した復号画像データをデブロックフィルタ２４ｂ及びフレームメモリ６９へ出力する。
　デブロックフィルタ２４ｂは、復号された画像に現れるブロック歪みを減少させるためのフィルタリング処理を行う。デブロックフィルタ２４ｂは、例えば、加算部６５から入力される復号画像データについてブロックの境界ごとにフィルタリングの要否を判定し、フィルタを適用すべきであると判定した境界にデブロックフィルタを適用する。デブロックフィルタ２４ｂには、加算部６５からの復号画像データに加えて、フィルタリングの要否の判定のために使用される情報も入力される。そして、デブロックフィルタ２４ｂは、ブロック歪みの除去されたフィルタリング後の復号画像データを並べ替えバッファ６７及びフレームメモリ６９へ出力する。なお、デブロックフィルタ２４ｂによる処理について、後に詳細に説明する。
　並べ替えバッファ６７は、デブロックフィルタ２４ｂから入力される画像を並べ替えることにより、時系列の一連の画像データを生成する。そして、並べ替えバッファ６７は、生成した画像データをＤ／Ａ変換部６８へ出力する。
　Ｄ／Ａ変換部６８は、並べ替えバッファ６７から入力されるデジタル形式の画像データをアナログ形式の画像信号に変換する。そして、Ｄ／Ａ変換部６８は、例えば、画像復号装置６０と接続されるディスプレイ（図示せず）にアナログ画像信号を出力することにより、画像を表示させる。
　フレームメモリ６９は、加算部６５から入力されるフィルタリング前の復号画像データ、及びデブロックフィルタ２４ｂから入力されるフィルタリング後の復号画像データを記憶媒体を用いて記憶する。
　セレクタ７０は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、フレームメモリ６９からの画像データの出力先をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７０は、イントラ予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング前の復号画像データを参照画像データとしてイントラ予測部８０へ出力する。また、セレクタ７０は、インター予測モードが指定された場合には、フレームメモリ６９から供給されるフィルタリング後の復号画像データを参照画像データとして動き補償部９０へ出力する。
　セレクタ７１は、可逆復号部６２により取得されるモード情報に応じて、画像内のブロックごとに、加算部６５へ供給すべき予測画像データの出力元をイントラ予測部８０と動き補償部９０との間で切り替える。例えば、セレクタ７１は、イントラ予測モードが指定された場合には、イントラ予測部８０から出力される予測画像データを加算部６５へ供給する。セレクタ７１は、インター予測モードが指定された場合には、動き補償部９０から出力される予測画像データを加算部６５へ供給する。
　イントラ予測部８０は、可逆復号部６２から入力されるイントラ予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて画素値の画面内予測を行い、予測画像データを生成する。そして、イントラ予測部８０は、生成した予測画像データをセレクタ７１へ出力する。
　動き補償部９０は、可逆復号部６２から入力されるインター予測に関する情報とフレームメモリ６９からの参照画像データとに基づいて動き補償処理を行い、予測画像データを生成する。そして、動き補償部９０は、生成した予測画像データをセレクタ７１へ出力する。
　＜２．既存の手法の説明＞
　　［２－１．デブロックフィルタの基本的な構成］
　一般的に、Ｈ．２６４／ＡＶＣ又はＨＥＶＣなどの既存の画像符号化方式におけるデブロックフィルタによる処理は、フィルタリング要否判定処理及びフィルタリング処理という２種類の処理を含む。以下、ＨＥＶＣを例にとって、これら２つの処理について説明する。
　　　（１）フィルタリング要否判定処理
　フィルタリング要否判定処理は、入力画像内のブロックの境界ごとにデブロックフィルタを適用すべきか否かを判定する処理である。ブロックの境界は、左右に隣接するブロック間の垂直境界と、上下に隣接するブロック間の水平境界とを含む。ＪＣＴＶＣ－Ａ１１９では、８×８画素のブロックサイズが最小の処理単位である。例えば、１６×１６画素のマクロブロック内には４つの８×８画素のブロックが存在し、ブロックごとに１つの（左の）垂直境界及び１つの（上の）水平境界、即ち合計で４＋４＝８個の境界が判定の対象となる。なお、本明細書において、マクロブロックとの用語は、ＨＥＶＣの文脈における符号化単位（ＣＵ：Coding　Unit）をも含むものとする。
　図３は、境界を挟んで隣接する２つのブロック（隣接ブロック）Ｂａ及びＢｂ内の画素の一例を示す説明図である。ここでは垂直境界を例にとって説明するが、当然ながら、ここで説明される事項は水平境界にも同等に適用可能である。図３の例において、ブロックＢａ内の画素は、ｐｉｊという記号で示されている。ｉは列のインデックス、ｊは行のインデックスである。列のインデックスｉは、垂直境界に近い列から順に（右から左へ）０，１，２，３と付番されている。行のインデックスｊは、上から下へ０，１，２，…，７と付番されている。なお、ブロックＢａの左半分は図中で省略されている。一方、ブロックＢｂ内の画素は、ｑｋｊという記号で示されている。ｋは列のインデックス、ｊは行のインデックスである。列のインデックスｋは、垂直境界に近い列から順に（左から右へ）０，１，２，３と付番されている。なお、ブロックＢｂの右半分もまた図中で省略されている。
　図３に示したブロックＢａ及びＢｂの間の垂直境界について、デブロックフィルタを適用すべきか否かは、次のような条件に従って判定され得る：
　・輝度成分（Luma）の判定条件・・・条件Ａ及び条件Ｂがいずれも真なら適用
　　－条件Ａ：
　　　（Ａ１）ブロックＢａ若しくはＢｂがイントラ予測モードである；
　　　（Ａ２）ブロックＢａ若しくはＢｂが非ゼロの直交変換係数を有する；又は
　　　（Ａ３）｜ＭＶＡｘ－ＭＶＢｘ｜≧４若しくは｜ＭＶＡｙ－ＭＶＢｙ｜≧４
　　－条件Ｂ：
　　　｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２５－２ｐ１５＋ｐ０５｜＋｜ｑ２５－２ｑ１５＋ｑ０５｜＜β
　なお、条件Ａ３に関し、Ｑｐｅｌ（１／４画素）精度のブロックＢａの動きベクトルを（ＭＶＡｘ，ＭＶＡｙ）、ブロックＢｂの動きベクトルを（ＭＶＢｘ，ＭＶＢｙ）とする。また、条件Ｂにおけるβは、エッジ判定閾値である。βの初期値は量子化パラメータに応じて与えられる。また、βの値は、スライスヘッダ内のパラメータでユーザにより指定可能である。
　・色差成分（Chroma）の判定条件・・・条件Ａ１が真なら適用
　　－条件Ａ１：ブロックＢａ又はＢｂがイントラ予測モードである
　即ち、図４において点線枠Ｌ３及びＬ６で示しているように、一般的な垂直境界についてのフィルタリング要否判定処理（特に、輝度成分の判定条件Ｂの判定）では、各ブロックの３番目及び６番目の行（最も上の行を１番目とする）の画素が参照される。同様に、水平境界についてのフィルタリング要否判定処理では、各ブロックの３番目及び６番目の列の画素（図４には示していない）が参照される。そして、上述した判定条件に従ってデブロックフィルタを適用すべきと判定された境界について、次に説明するフィルタリング処理が行われる。
　　　（２）フィルタリング処理
　ある境界についてデブロックフィルタを適用すべきと判定されると、垂直境界については当該境界の左右の画素、水平境界については当該境界の上下の画素に、フィルタリング処理が行われる。輝度成分については、画素値に応じてフィルタ強度が強（strong）フィルタと弱（weak）フィルタとの間で切り替えられ得る。
　・輝度成分のフィルタリング
　　－強度選択・・・１行ごと（又は１列ごと）にフィルタ強度を選択。以下の条件Ｃ１～Ｃ３が全て満たされる場合には強フィルタ、いずれか１つでも満たされない場合には弱フィルタが選択される：
　　　（Ｃ１）ｄ＜（β>>２）
　　　（Ｃ２）（｜ｐ３ｊ－ｐ０ｊ｜＋｜ｑ０ｊ－ｑ３ｊ｜）＜（β>>３）
　　　（Ｃ３）｜ｐ０ｊ－ｑ０ｊ｜＜（（５ｔＣ＋１）>>１）
ここで、ｊは、垂直境界については行、水平境界については列のインデックスである。また、ｄ＝｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２５－２ｐ１５＋ｐ０５｜＋｜ｑ２５－２ｑ１５＋ｑ０５｜である。
　　－弱フィルタリング：
　　　Δ＝Ｃｌｉｐ（－ｔＣ，ｔＣ，（１３（ｑ０ｊ－ｐ０ｊ）＋４（ｑ１ｊ－ｐ１ｊ）－５（ｑ２ｊ－ｐ２ｊ）＋１６）>>５））
　　　ｐ０ｊ＝Ｃｌｉｐ０－２５５（ｐ０ｊ＋Δ）
　　　ｑ０ｊ＝Ｃｌｉｐ０－２５５（ｑ０ｊ－Δ）
　　　ｐ１ｊ＝Ｃｌｉｐ０－２５５（ｐ１ｊ＋Δ／２）
　　　ｑ１ｊ＝Ｃｌｉｐ０－２５５（ｑ１ｊ－Δ／２）
　　－強フィルタリング：
　　　ｐ０ｊ＝Ｃｌｉｐ０－２５５（（ｐ２ｊ＋２ｐ１ｊ＋２ｐ０ｊ＋２ｑ０ｊ＋ｑ１ｊ＋４）>>３）
　　　ｑ０ｊ＝Ｃｌｉｐ０－２５５（（ｐ１ｊ＋２ｐ０ｊ＋２ｑ０ｊ＋２ｑ１ｊ＋ｑ２ｊ＋４）>>３）
　　　ｐ１ｊ＝Ｃｌｉｐ０－２５５（（ｐ２ｊ＋ｐ１ｊ＋ｐ０ｊ＋ｑ０ｊ＋２）>>２）
　　　ｑ１ｊ＝Ｃｌｉｐ０－２５５（（ｐ０ｊ＋ｑ０ｊ＋ｑ１ｊ＋ｑ２ｊ＋２）>>２）
　　　ｐ２ｊ＝Ｃｌｉｐ０－２５５（（２ｐ３ｊ＋３ｐ２ｊ＋ｐ１ｊ＋ｐ０ｊ＋ｑ０ｊ＋４）>>３）
　　　ｑ２ｊ＝Ｃｌｉｐ０－２５５（（ｐ０ｊ＋ｑ０ｊ＋ｑ１ｊ＋３ｑ２ｊ＋２ｑ３ｊ＋４）>>３）
　なお、Ｃｌｉｐ（ａ，ｂ，ｃ）は値ｃをａ≦ｃ≦ｂの範囲でクリップする処理、Ｃｌｉｐ０－２５５（ｃ）は値ｃを０≦ｃ≦２５５の範囲でクリップする処理をそれぞれ表す。
　・色差成分のフィルタリング：
　　　Δ＝Ｃｌｉｐ（－ｔＣ，ｔＣ，（（（（ｑ０ｊ－ｐ０ｊ）<<２）＋ｐ１ｊ－ｑ１ｊ＋４）>>３））
　　　ｐ０ｊ＝Ｃｌｉｐ０－２５５（ｐ０ｊ＋Δ）
　　　ｑ０ｊ＝Ｃｌｉｐ０－２５５（ｑ０ｊ－Δ）
　即ち、図５において点線枠Ｃ６～Ｃ８及びＣ１～Ｃ３で示しているように、一般的な垂直境界についてのフィルタリング処理（特に、輝度成分の強フィルタリング）では、各ブロックの１～３番目及び６～８番目の列の画素値が更新される。同様に、水平境界についてのフィルタリング処理では、各ブロックの１～３番目及び６～８番目の行の画素値が更新される。
　　［２－２．既存の手法における処理間の依存関係］
　ここで、説明のために、図６に示したように、１６×１６画素のサイズを有するマクロブロックＭＢｘ（ＭＢ０、ＭＢ１…）の左上の垂直境界をＶｘ，０、中央上の垂直境界をＶｘ，１、左下の垂直境界をＶｘ，２、中央下の垂直境界をＶｘ，３、左上の水平境界をＨｘ，０、右上の水平境界をＨｘ，１、左中央の水平境界をＨｘ，２、右中央の水平境界をＨｘ，３、と表すものとする。また、例えば境界Ｚについてのフィルタリング要否判定処理をＪＺ、フィルタリング処理をＦＺなどと表すものとする。
　上述した既存の手法では、１つのマクロブロック内で同一方向の複数の境界についての処理の間に依存関係が存在しない。そのため、例えば１つのマクロブロック内で複数の垂直境界についてのフィルタリングを並列的に実行し、及び複数の水平境界についてのフィルタリングを並列的に実行することができる。一例として、図７を参照すると、マクロブロックＭＢ０内で、４つのフィルタリング処理ＦＶ０，０、ＦＶ０，１、ＦＶ０，２及びＦＶ０，３の間に依存関係がなく（即ち、重複して更新される画素がなく）、これらを並列的に実行できることが分かる。
　しかし、上述した既存の手法では、垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング要否判定処理との間の依存関係は残される。また、水平境界についてのフィルタリング処理と垂直境界についてのフィルタリング要否判定処理との間の依存関係も残される。従って、例えば垂直境界を水平境界よりも先に処理する場合、あるマクロブロック内での水平境界についてのフィルタリング要否判定処理は、垂直境界についてのフィルタリング処理の終了を待って実行されることになる。一例として、図８を参照すると、マクロブロックＭＢ０内で、フィルタリング処理ＦＶ０，０及びＦＶ０，１の結果にフィルタリング要否判定処理ＪＨ０，０が依存し、フィルタリング処理ＦＶ０，１の結果にフィルタリング要否判定処理ＪＨ０，１が依存することが示されている。同様に、あるマクロブロック内での垂直境界についてのフィルタリング要否判定処理は、隣りのマクロブロックの水平境界についてのフィルタリング処理の終了を待って実行されることになる。一例として、図９を参照すると、マクロブロックＭＢ０のフィルタリング処理ＦＨ０，１及びＦＨ０，３の結果にマクロブロックＭＢ１のフィルタリング要否判定処理ＪＶ１，０が依存し、マクロブロックＭＢ０のフィルタリング処理ＦＨ０，３の結果にマクロブロックＭＢ１のフィルタリング要否判定処理ＪＶ１，２が依存することが示されている。
　既存の手法は、このような処理間の依存関係を有しているため、例えばＪＣＴＶＣ－Ａ１１９において提案された手法を採用したとしても、非常に限られた範囲でしかデブロックフィルタの処理の並列化を達成することができない。
　図１０は、既存の手法におけるデブロックフィルタの処理の順序の一例について説明するための説明図である。ここでは、一例として、３２×３２画素のサイズを有する画像がデブロックフィルタに入力されるものとする。当該入力画像は、それぞれ１６×１６画素のサイズを有する４つのマクロブロックＭＢ０～ＭＢ３を含む。
　図１０を参照すると、並列的に実行され得る処理が各点線枠内にそれぞれ示されている。例えば、第１ステップでは、マクロブロックＭＢ０の４つの垂直境界についてのフィルタリング要否判定処理ＪＶ０，０、ＪＶ０，１、ＪＶ０，２及びＪＶ０，３が並列的に実行される。次に、第２ステップでは、マクロブロックＭＢ０の４つの垂直境界についてのフィルタリング処理ＦＶ０，０、ＦＶ０，１、ＦＶ０，２及びＦＶ０，３が並列的に実行される。次に、第２ステップが終了した後、第３ステップにおいて、マクロブロックＭＢ０の４つの水平境界についてのフィルタリング要否判定処理ＪＨ０，０、ＪＨ０，１、ＪＨ０，２及びＪＨ０，３が並列的に実行される。次に、第４ステップでは、マクロブロックＭＢ０の４つの水平境界についてのフィルタリング処理ＦＨ０，０、ＦＨ０，１、ＦＨ０，２及びＦＨ０，３が並列的に実行される。次に、第４ステップが終了した後、マクロブロックＭＢ１についての処理（第５ステップ～第８ステップ）が順次行われる。次に、マクロブロックＭＢ１についての処理が終了した後、マクロブロックＭＢ２についての処理（第９ステップ～第１２ステップ）が順次行われる。次に、マクロブロックＭＢ２についての処理が終了した後、マクロブロックＭＢ３についての処理（第１３ステップ～第１６ステップ）が順次行われる。
　このような限られた範囲での処理の並列化では、デブロックフィルタの適用に際しての多大な処理量を原因とする遅延又はデータレートの低下などの課題が十分に解決されるとは言い難い。そこで、以下に説明するデブロックフィルタの３つの実施例により、デブロックフィルタの適用に際しての処理のさらなる並列化を実現する。
　＜３．第１の実施例＞
　　［３－１．デブロックフィルタの構成例］
　本節では、図１に示した画像符号化装置１０のデブロックフィルタ２４ａ及び図２に示した画像復号装置６０のデブロックフィルタ２４ｂの第１の実施例に係る構成の一例を説明する。なお、デブロックフィルタ２４ａ及びデブロックフィルタ２４ｂの構成は、共通であってよい。従って、これ以降の説明では、特に両者を区別する必要が無い場合には、デブロックフィルタ２４ａ及びデブロックフィルタ２４ｂをデブロックフィルタ２４と総称する。
　　（１）新たな処理間の依存関係
　本実施例においても、デブロックフィルタ２４による処理は、上述したフィルタリング要否判定処理及びフィルタリング処理という２種類の処理を含む。但し、デブロックフィルタ２４は、既存の手法とは異なる参照画素の画素値に基づいて、各垂直境界及び各水平境界についてデブロックフィルタを適用すべきか否かを判定する。より具体的には、デブロックフィルタ２４は、垂直境界についての判定に際しては、垂直境界を挟んで隣接するブロックの画素のうち水平境界についてのデブロックフィルタが適用されない行に属する画素を参照画素とする。また、デブロックフィルタ２４は、水平境界についての判定に際しては、水平境界を挟んで隣接するブロックの画素のうち垂直境界についてのデブロックフィルタが適用されない列に属する画素を参照画素とする。なお、本項においても、一例として、デブロックフィルタ２４による処理は８×８画素のブロックサイズを１つの処理単位とするものとする。
　図１１は、デブロックフィルタ２４による垂直境界についてのフィルタリング要否判定処理における参照画素について説明するための説明図である。図１１を参照すると、１６×１６画素のサイズを有するマクロブロックＭＢ０が示されている。デブロックフィルタ２４は、このようなマクロブロックＭＢ０の４つの垂直境界についてのフィルタリングの要否を、各ブロックの４番目及び５番目の行（Ｌ４及びＬ５）の少なくとも一方に属する画素を参照画素として用いて判定する。これら２つの行は、水平境界についてのデブロックフィルタが適用されない行である（図９参照）。このような構成により、水平境界についてのフィルタリング処理と垂直境界についてのフィルタリング要否判定処理との間の依存関係は解消される。
　図１２は、デブロックフィルタ２４による水平境界についてのフィルタリング要否判定処理における参照画素について説明するための説明図である。図１２を参照すると、再びマクロブロックＭＢ０が示されている。デブロックフィルタ２４は、このようなマクロブロックＭＢ０の４つの水平境界についてのフィルタリングの要否を、各ブロックの４番目及び５番目の列（Ｃ４及びＣ５）の少なくとも一方に属する画素を参照画素として用いて判定する。これら２つの列は、垂直境界についてのデブロックフィルタが適用されない列である（図７又は図８参照）。このような構成により、垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング要否判定処理との間の依存関係も解消される。
　このように処理間の依存関係が解消される結果として、１つのマクロブロック内で垂直境界及び水平境界についてのフィルタリング要否判定処理を並列化することが可能となる。また、マクロブロック間で処理を並列化することも可能となる。例えば、入力画像内の全てのマクロブロックの垂直境界及び水平境界についてのフィルタリング要否判定処理を並列的に行うこともできる。
　図１３は、デブロックフィルタ２４により実現可能な処理の順序の第１の例について説明するための説明図である。ここでも、一例として、３２×３２画素のサイズを有する画像がデブロックフィルタに入力されるものとする。当該入力画像は、それぞれ１６×１６画素のサイズを有する４つのマクロブロックＭＢ０～ＭＢ３を含む。
　図１３を参照すると、並列的に実行され得る処理が各点線枠内にそれぞれ示されている。図１０の例では一連の処理に１６個の処理ステップを要していたのに対し、図１３の例では、同じ数の処理が３個の処理ステップに集約されている。即ち、第１ステップでは、全てのマクロブロックＭＢ０～ＭＢ３の全ての垂直境界及び全ての水平境界についてのフィルタリング要否判定処理ＪＶ０，０～ＪＶ３，３及びＪＨ０，０～ＪＨ３，３が並列的に実行される。次に、第２ステップでは、全てのマクロブロックＭＢ０～ＭＢ３の１６個の垂直境界についてのフィルタリング処理ＦＶ０，０～ＦＶ３，３が並列的に実行される。次に、第３ステップでは、全てのマクロブロックＭＢ０～ＭＢ３の１６個の水平境界についてのフィルタリング処理ＦＨ０，０～ＦＨ３，３が並列的に実行される。なお、第２ステップと第３ステップとは、順序が逆であってもよい。
　図１３はマクロブロック間の処理の並列化により並列度（並列的に実行される処理の多さ）を最大限に高める例である一方、デブロックフィルタ２４は、図１４の例のように、マクロブロックごとの処理を実現することもできる。
　図１４の例では、図１０及び図１３と同じ数の処理が、１２個の処理ステップに集約されている。即ち、第１ステップでは、マクロブロックＭＢ０の４つの垂直境界及び４つの水平境界についてのフィルタリング要否判定処理ＪＶ０，０～ＪＶ０，３及びＪＨ０，０～ＪＨ０，３が並列的に実行される。次に、第２ステップでは、マクロブロックＭＢ０の４つの垂直境界についてのフィルタリング処理ＦＶ０，０～ＦＶ０，３が並列的に実行される。次に、第３ステップでは、マクロブロックＭＢ１の４つの垂直境界及び４つの水平境界についてのフィルタリング要否判定処理ＪＶ１，０～ＪＶ１，３及びＪＨ１，０～ＪＨ１，３が並列的に実行される。次に、第４ステップでは、マクロブロックＭＢ１の４つの垂直境界についてのフィルタリング処理ＦＶ１，０～ＦＶ１，３が並列的に実行される。次に、第５ステップでは、マクロブロックＭＢ０の４つの水平境界についてのフィルタリング処理ＦＨ０，０～ＦＨ０，３が並列的に実行される。次に、第６ステップでは、マクロブロックＭＢ２の４つの垂直境界及び４つの水平境界についてのフィルタリング要否判定処理ＪＶ２，０～ＪＶ２，３及びＪＨ２，０～ＪＨ２，３が並列的に実行される。次に、第７ステップでは、マクロブロックＭＢ２の４つの垂直境界についてのフィルタリング処理ＦＶ２，０～ＦＶ２，３が並列的に実行される。次に、第８ステップでは、マクロブロックＭＢ１の４つの水平境界についてのフィルタリング処理ＦＨ１，０～ＦＨ１，３が並列的に実行される。次に、第９ステップでは、マクロブロックＭＢ３の４つの垂直境界及び４つの水平境界についてのフィルタリング要否判定処理ＪＶ３，０～ＪＶ３，３及びＪＨ３，０～ＪＨ３，３が並列的に実行される。次に、第１０ステップでは、マクロブロックＭＢ３の４つの垂直境界についてのフィルタリング処理ＦＶ３，０～ＦＶ３，３が並列的に実行される。次に、第１１ステップでは、マクロブロックＭＢ２の４つの水平境界についてのフィルタリング処理ＦＨ２，０～ＦＨ２，３が並列的に実行される。次に、第１２ステップでは、マクロブロックＭＢ３の４つの水平境界についてのフィルタリング処理ＦＨ３，０～ＦＨ３，３が並列的に実行される。この場合にも、図１３の例よりは並列度は下がるものの、既存の手法よりも少ない数の処理ステップで入力画像全体についてのデブロックフィルタ２４の処理を実行することができる。
　　（２）デブロックフィルタの詳細な構成
　図１５は、上述した並列処理を実現する第１の実施例に係るデブロックフィルタ２４の詳細な構成の一例を示すブロック図である。図１５を参照すると、デブロックフィルタ２４は、判定ブロック１１０、水平フィルタリングブロック１３０、垂直フィルタリングブロック１４０及び並列化制御部１５０を有する。
　　（２－１）判定ブロック
　判定ブロック１１０は、複数の垂直境界判定部１１２－１～１１２－ｎ及び複数の水平境界判定部１１４－１～１１４－ｎを含む。各垂直境界判定部１１２及び各水平境界判定部１１４には、デブロックフィルタ２４への入力画像、及びフィルタリングの要否の判定のために使用される判定情報が供給される。
　各垂直境界判定部１１２は、図１１に例示したような水平境界についてのデブロックフィルタが適用されない行に属する参照画素の画素値を用いて、各垂直境界についてデブロックフィルタを適用すべきか否かを判定する。ここでの参照画素の画素値は、デブロックフィルタ２４への入力画素値である。そして、各垂直境界判定部１１２は、各垂直境界についての判定結果を示す情報（例えば、"１"がデブロックフィルタを適用すべきとの判定結果を示す二値情報）を、水平フィルタリングブロック１３０へ出力する。
　各水平境界判定部１１４は、図１２に例示したような垂直境界についてのデブロックフィルタが適用されない列に属する参照画素の画素値を用いて、各水平境界についてデブロックフィルタを適用すべきか否かを判定する。ここでの参照画素の画素値もまた、デブロックフィルタ２４への入力画素値である。各水平境界判定部１１４による判定処理は、各垂直境界判定部１１２による判定処理と並列的に行われる。そして、各水平境界判定部１１４は、各水平境界についての判定結果を示す情報を、垂直フィルタリングブロック１４０へ出力する。
　図１６は、各垂直境界判定部１１２及び各水平境界判定部１１４のさらに詳細な構成の一例を示すブロック図である。図１６を参照すると、各判定部は、タップ構築部１２１、演算部１２２、閾値比較部１２３、歪み評価部１２４及びフィルタリング判定部１２５を含む。
　タップ構築部１２１は、入力画像内で注目する境界を挟んで隣接する２つのブロックの画素値から参照画素の画素値を取得し、上述した輝度成分の判定条件Ｂの判定のためのタップ（参照画素値のセット）を構築する。例えば、各ブロックのサイズが８×８画素である場合において、注目する境界が垂直境界であるときは、タップ構築部１２１は、左右２つのブロックの４番目及び５番目の行の一方又は双方に属する画素値からタップを構築する。また、注目する境界が水平境界であるときは、タップ構築部１２１は、上下２つのブロックの４番目及び５番目の列の一方又は双方に属する画素値からタップを構築する。演算部１２２は、タップ構築部１２１により構築されたタップを判定条件Ｂの判定式の左辺に代入し、エッジ判定閾値βと比較されるエッジの値を算出する。閾値比較部１２３は、演算部１２２により算出された値をエッジ判定閾値βと比較し、比較結果をフィルタリング判定部１２５へ出力する。
　歪み評価部１２４は、判定情報として供給されるモード情報（ＭＢモード）、変換係数情報及び動きベクトル情報を用いて、上述した輝度成分の判定条件Ａを評価する。そして、歪み評価部１２４は、評価結果をフィルタリング判定部１２５へ出力する。なお、色差成分については、歪み評価部１２４によるモード情報に基づく判定条件Ａ１についての判定のみが行われ得る。
　フィルタリング判定部１２５は、閾値比較部１２３から入力される判定条件Ｂについての比較結果と、歪み評価部１２４から入力される判定条件Ａについての評価結果とに基づいて、注目する境界についてデブロックフィルタを適用すべきか否かを判定する。そして、フィルタリング判定部１２５は、判定結果を示す情報を出力する。
　　（２－２）水平フィルタリングブロック
　図１５に戻り、デブロックフィルタ２４の構成の説明を継続する。水平フィルタリングブロック１３０は、複数の水平フィルタリング部１３２－１～１３２－ｎを含む。各水平フィルタリング部１３２には、入力画像及び判定ブロック１１０からの各垂直境界についての判定結果が供給される。
　各水平フィルタリング部１３２は、対応する垂直境界判定部１１２による判定結果がフィルタを適用すべきことを示している場合に、対応する垂直境界の左右の画素に垂直境界についてのデブロックフィルタを適用する。そして、各水平フィルタリング部１３２は、フィルタを適用した画素についてはフィルタリング後の画素値、その他の画素については入力画像の画素値を、垂直フィルタリングブロック１４０へ出力する。
　　（２－３）垂直フィルタリングブロック
　垂直フィルタリングブロック１４０は、複数の垂直フィルタリング部１４２－１～１４２－ｎを含む。各垂直フィルタリング部１４２には、入力画像及び判定ブロック１１０からの各水平境界についての判定結果が供給される。
　各垂直フィルタリング部１４２は、対応する水平境界判定部１１４による判定結果がフィルタを適用すべきことを示している場合に、対応する水平境界の上下の画素に水平境界についてのデブロックフィルタを適用する。そして、各垂直フィルタリング部１４２は、フィルタを適用した画素についてはフィルタリング後の画素値、その他の画素については水平フィルタリングブロック１３０から供給された画素値を出力する。各垂直フィルタリング部１４２からの出力は、デブロックフィルタ２４からの出力画像を構成し得る。
　　（２－４）並列化制御部
　並列化制御部１５０は、判定ブロック１１０におけるフィルタリング要否判定処理の並列度、並びに水平フィルタリングブロック１３０及び垂直フィルタリングブロック１４０におけるフィルタリング処理の並列度を制御する。
　例えば、並列化制御部１５０は、入力画像のサイズに基づいて、各ブロックの処理の並列度を制御してもよい。より具体的には、並列化制御部１５０は、入力画像のサイズが相対的に大きい場合に、各ブロックの処理の並列度を高める。それにより、画像のサイズに応じて増加する処理量を原因とする遅延又はデータレートの低下を適応的に防止することができる。また、例えば、並列化制御部１５０は、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダ内に含まれるパラメータに基づいて、各ブロックの処理の並列度を制御してもよい。それにより、装置を開発するユーザごとの要件に応じて柔軟に並列度を設定することが可能となる。例えば、プロセッサのコア数又はソフトウェアのスレッド数などの実装環境の制約に応じて並列度が設定されてもよい。
　さらに、本実施例において、マクロブロック間の処理の並列化が可能ということは、画像内のブロックごとの処理の順序をどのように設定しても最終的に出力される結果に影響がないことを意味する。そこで、並列化制御部１５０は、判定ブロック１１０におけるフィルタリング要否判定処理の順序、並びに水平フィルタリングブロック１３０及び垂直フィルタリングブロック１４０におけるフィルタリング処理の順序をブロックごとに制御し得る。
　より具体的には、並列化制御部１５０は、マクロブロック間のフィルタリング処理の依存関係に応じて、フィルタリング処理の順序を制御してもよい。例えば、既存の手法において、画像内のスライスごとの並列処理を実装しようとすると、スライス境界を挟んで隣接するマクロブロック間の処理の依存関係が処理の遅延を引き起こす場合がある。しかし、本実施例では、並列化制御部１５０は、スライス境界に隣接するマクロブロックについてのフィルタリング処理を他のマクロブロックよりも先に行わせることができる。
　例えば、図１７には、スライス境界を挟んで隣接する８つのマクロブロックＭＢ１０～ＭＢ１３及びＭＢ２０～ＭＢ２３が示されている。このうち、マクロブロックＭＢ１０～ＭＢ１３は、スライスＳＬ１に属する。マクロブロックＭＢ２０～ＭＢ２３は、スライスＳＬ２に属する。これらマクロブロックのうち、スライスＳＬ２のマクロブロックＭＢ２０の水平境界についてのフィルタリング処理は、スライスＳＬ１のマクロブロックＭＢ１２の垂直境界についてのフィルタリング処理に依存する。同様に、スライスＳＬ２のマクロブロックＭＢ２１の水平境界についてのフィルタリング処理は、スライスＳＬ１のマクロブロックＭＢ１３の垂直境界についてのフィルタリング処理に依存する。
　このような状況において、図１８の例のように、並列化制御部１５０は、例えば、スライスＳＬ１のフィルタリング処理のうちマクロブロックＭＢ１２及びＭＢ１３の垂直境界についてのフィルタリング処理を他の境界についての処理よりも優先的に実行させる。その結果、スライスＳＬ２のフィルタリング処理において、マクロブロックＭＢ２０及びＭＢ２１の水平境界についてのフィルタリング処理に大きな遅延が生じることが防がれる。また、図１９の例のように、スライスＳＬ１に含まれる全てのマクロブロックの垂直境界についてのフィルタリング処理が並列的に最初に実行される場合にも、スライスＳＬ２のマクロブロックＭＢ２０及びＭＢ２１の水平境界についてのフィルタリング処理に遅延は生じない。
　　［３－２．処理の流れ］
　次に、図２０～図２２を用いて、デブロックフィルタ２４による処理の流れを説明する。
　　　（１）第１のシナリオ
　図２０は、デブロックフィルタ２４による第１のシナリオにおける処理の流れ一例を示すフローチャートである。第１のシナリオは、並列度の大きい図１３の例に対応するシナリオである。
　図２０を参照すると、まず、垂直境界判定部１１２－１～１１２－ｎは、入力画像内の複数のマクロブロックに含まれる全ての垂直境界について、フィルタリングの要否を並列的に判定する（ステップＳ１０２）。また、水平境界判定部１１４－１～１１４－ｎは、入力画像内の複数のマクロブロックに含まれる全ての水平境界について、フィルタリングの要否を並列的に判定する（ステップＳ１０４）。これらステップＳ１０２及びステップＳ１０４もまた並列的に行われる。
　次に、水平フィルタリング部１３２－１～１３２－ｎは、ステップＳ１０２においてデブロックフィルタを適用すべきと判定された全ての垂直境界について、デブロックフィルタを並列的に適用する（ステップＳ１１０）。次に、垂直フィルタリング部１４２－１～１４２－ｎは、ステップＳ１０４においてデブロックフィルタを適用すべきと判定された全ての水平境界について、デブロックフィルタを並列的に適用する（ステップＳ１２０）。
　　　（２）第２のシナリオ
　図２１は、デブロックフィルタ２４による第２のシナリオにおける処理の流れ一例を示すフローチャートである。第２のシナリオは、並列度のより小さい図１４の例に対応するシナリオである。
　図２１を参照すると、まず、垂直境界判定部１１２－１～１１２－ｎは、入力画像内の１つの注目マクロブロックに含まれる全ての垂直境界について、フィルタリングの要否を並列的に判定する（ステップＳ２０２）。また、水平境界判定部１１４－１～１１４－ｎは、当該注目マクロブロックに含まれる全ての水平境界について、フィルタリングの要否を並列的に判定する（ステップＳ２０４）。これらステップＳ２０２及びステップＳ２０４もまた並列的に行われる。
　次に、水平フィルタリング部１３２－１～１３２－ｎは、ステップＳ２０２においてデブロックフィルタを適用すべきと判定された注目マクロブロック内の垂直境界について、デブロックフィルタを並列的に適用する（ステップＳ２１０）。
　次のステップＳ２２０の処理は、１つ前のループにおける注目マクロブロックを対象として行われる。最初の注目マクロブロックについては、ステップＳ２２０の処理はスキップされてよい。垂直フィルタリング部１４２－１～１４２－ｎは、１つ前のループのステップＳ２０４においてデブロックフィルタを適用すべきと判定された水平境界について、デブロックフィルタを並列的に適用する（ステップＳ２２０）。
　その後、入力画像内に未処理の注目マクロブロックが残っている場合には、新たな注目マクロブロックについてステップＳ２０２～Ｓ２２０の処理が繰り返される（ステップＳ２３０）。
　一方、未処理の注目マクロブロックが残っていない場合には、垂直フィルタリング部１４２－１～１４２－ｎは、最後のループの注目マクロブロックを対象とし、デブロックフィルタを適用すべきと判定された水平境界について、デブロックフィルタを並列的に適用する（ステップＳ２４０）。そして、処理は終了する。
　なお、ここでは画像単位及びマクロブロック単位でそれぞれ処理が並列化される典型的な２つのシナリオについて説明したが、これら２つのシナリオは、説明のための例に過ぎない。例えば、特定の数（２つ若しくは４つなど）のマクロブロック、又は水平方向若しくは垂直方向に並ぶ一群のブロックなどの様々な単位で、デブロックフィルタ２４による処理は並列化されてよい。
　　　（３）フィルタリング要否判定処理
　図２２は、図２１のステップＳ１０２及びＳ１０４並びに図２２のステップＳ２０２及びＳ２０４に相当する、フィルタリング要否判定処理の流れの一例を示すフローチャートである。
　図２２を参照すると、まず、歪み評価部１２４は、モード情報、変換係数情報及び動きベクトル情報に基づいて、各境界の歪みを評価する（ステップＳ１３０）。ここで、歪みがあると評価された場合（判定条件Ａが真であった場合）には、処理はステップＳ１３４へ進む。一方、歪みがないと評価された場合には、処理はステップＳ１４０へ進む（ステップＳ１３２）。
　ステップＳ１３４では、タップ構築部１２１により構築された参照画素のタップに基づいて、演算部１２２により、エッジの値が算出される（ステップＳ１３４）。そして、閾値比較部１２３は、算出された値をエッジ判定閾値βと比較する（ステップＳ１３６）。ここで、エッジの値が閾値βよりも小さい場合（判定条件Ｂが真であった場合）には、処理はステップＳ１３８へ進む。一方、エッジの値が閾値βよりも小さくない場合には、処理はステップＳ１４０へ進む。
　ステップＳ１３８では、フィルタリング判定部１２５は、判定の対象の境界にデブロックフィルタを適用すべきであると判定する（ステップＳ１３８）。一方、ステップＳ１４０では、フィルタリング判定部１２５は、判定の対象の境界にデブロックフィルタを適用すべきでないと判定する（ステップＳ１４０）。
　＜４．第２の実施例＞
　第１の実施例では、あるブロックについてのフィルタリング要否判定処理のために、他のブロックについてのフィルタリング処理によって更新されない画素の画素値が使用された。これに対し、本節で説明する第２の実施例では、デブロックフィルタへの入力画素値を保持するメモリを設けることで、フィルタリング要否判定処理の制約をなくし、より多様な判定条件を用いることを可能とする。
　　［４－１．デブロックフィルタの構成例］
　　（１）各部の説明
　図２３は、第２の実施例に係るデブロックフィルタ２４の詳細な構成の一例を示すブロック図である。図２３を参照すると、デブロックフィルタ２４は、ラインメモリ２０８、判定ブロック２１０、水平フィルタリングブロック１３０、垂直フィルタリングブロック１４０及び並列化制御部１５０を有する。
　ラインメモリ２０８は、デブロックフィルタ２４へ入力される入力画像の画素値を記憶する。ラインメモリ２０８により記憶される画素値は、水平フィルタリングブロック１３０及び垂直フィルタリングブロック１４０におけるフィルタリング処理によって更新されない。ラインメモリ２０８により記憶される画素値は、次に説明する判定ブロック２１０内の各部によるフィルタリング要否判定処理において参照される。なお、デブロックフィルタ２４の処理とは異なる目的で装置内に設けられるメモリが、ラインメモリ２０８として再利用（共用）されてもよい。
　判定ブロック２１０は、複数の垂直境界判定部２１２－１～２１２－ｎ及び複数の水平境界判定部２１４－１～２１４－ｎを含む。各垂直境界判定部２１２及び各水平境界判定部２１４には、ラインメモリ２０８により記憶されるデブロックフィルタ２４への入力画像の画素値、及びフィルタリングの要否の判定のために使用される判定情報が供給される。
　各垂直境界判定部２１２は、デブロックフィルタ２４への入力画素値を用いて、各垂直境界についてデブロックフィルタを適用すべきか否かを判定する。そして、各垂直境界判定部２１２は、各垂直境界についての判定結果を示す情報を、水平フィルタリングブロック１３０へ出力する。
　各水平境界判定部２１４もまた、デブロックフィルタ２４への入力画素値を用いて、各水平境界についてデブロックフィルタを適用すべきか否かを判定する。各水平境界判定部２１４による判定処理は、各垂直境界判定部２１２による判定処理と並列的に行われる。そして、各水平境界判定部２１４は、各水平境界についての判定結果を示す情報を、垂直フィルタリングブロック１４０へ出力する。
　　（２）多様な判定条件
　本実施例において、各垂直境界判定部２１２は、図４に示した既存の手法のように、ブロックの３番目及び６番目の行の画素を参照して、各ブロックの垂直境界についてのフィルタリングの要否を判定してもよい。但し、参照される画素値は、ラインメモリ２０８により記憶されているデブロックフィルタ２４への入力画像の画素値である。同様に、各水平境界判定部２１４は、ブロックの３番目及び６番目の列の画素を参照して、各ブロックの水平境界についてのフィルタリングの要否を判定してもよい。この場合には、既存の装置に実装されているフィルタリング要否判定処理の判定条件を変えることなく、本実施例に係る構成を容易に実現することができる。
　また、各垂直境界判定部２１２は、判定に際して、ブロックの３つ以上の行の画素を参照してもよい。同様に、各水平境界判定部２１４は、判定に際して、ブロックの３つ以上の列の画素を参照してもよい。さらに、各垂直境界判定部２１２及び各水平境界判定部２１４は、既存の手法とは異なる判定条件式を使用してもよい。以下、図２４～図２６を用いて、本実施例において実現され得る判定の手法の６つの例をそれぞれ説明する。
　　（２－１）第１の例
　図２４は、判定の手法の第１及び第２の例をそれぞれ説明するための説明図である。第１及び第２の例では、垂直境界についてのフィルタリング要否判定処理（特に、輝度成分の判定条件Ｂの判定）において、各ブロックの１番目から８番目までの全ての行Ｌ１～Ｌ８の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの１番目から８番目までの全ての列の画素が参照される。
　第１の例において、輝度成分の判定条件は、次のように定義され得る：
　・輝度成分（Luma）の判定条件・・・条件Ａ及び条件Ｂがいずれも真なら適用
　　－条件Ａ：
　　　（Ａ１）ブロックＢａ若しくはＢｂがイントラ予測モードである；
　　　（Ａ２）ブロックＢａ若しくはＢｂが非ゼロの直交変換係数を有する；又は
　　　（Ａ３）｜ＭＶＡｘ－ＭＶＢｘ｜≧４若しくは｜ＭＶＡｙ－ＭＶＢｙ｜≧４
　　－条件Ｂ：
　　　ｉＤ０＝｜ｐ２０－２ｐ１０＋ｐ００｜＋｜ｑ２０－２ｑ１０＋ｑ００｜＋｜ｐ２７－２ｐ１７＋ｐ０７｜＋｜ｑ２７－２ｑ１７＋ｑ０７｜
　　　ｉＤ１＝｜ｐ２１－２ｐ１１＋ｐ０１｜＋｜ｑ２１－２ｑ１１＋ｑ０１｜＋｜ｐ２６－２ｐ１６＋ｐ０６｜＋｜ｑ２６－２ｑ１６＋ｑ０６｜
　　　ｉＤ２＝｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２５－２ｐ１５＋ｐ０５｜＋｜ｑ２５－２ｑ１５＋ｑ０５｜
　　　ｉＤ３＝｜ｐ２３－２ｐ１３＋ｐ０３｜＋｜ｑ２３－２ｑ１３＋ｑ０３｜＋｜ｐ２４－２ｐ１４＋ｐ０４｜＋｜ｑ２４－２ｑ１４＋ｑ０４｜
　　　ｉＤａｖｅ＝（ｉＤ０＋ｉＤ１＋ｉＤ２＋ｉＤ３）>>２
　　　とした場合に、ｉＤａｖｅ＜β
　色差成分の判定条件は、既に説明した既存の手法と同様であってよい。なお、４つの判定用パラメータｉＤ０～ｉＤ３の平均値ｉＤａｖｅの算出に際して、重み付け平均が計算されてもよい。
　　（２－２）第２の例
　第２の例において、輝度成分の判定条件Ｂは、次のように定義され得る：
　　－条件Ｂ：
　　　ｉＤ０＝｜ｐ２０－２ｐ１０＋ｐ００｜＋｜ｑ２０－２ｑ１０＋ｑ００｜＋｜ｐ２７－２ｐ１７＋ｐ０７｜＋｜ｑ２７－２ｑ１７＋ｑ０７｜
　　　ｉＤ１＝｜ｐ２１－２ｐ１１＋ｐ０１｜＋｜ｑ２１－２ｑ１１＋ｑ０１｜＋｜ｐ２６－２ｐ１６＋ｐ０６｜＋｜ｑ２６－２ｑ１６＋ｑ０６｜
　　　ｉＤ２＝｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２５－２ｐ１５＋ｐ０５｜＋｜ｑ２５－２ｑ１５＋ｑ０５｜
　　　ｉＤ３＝｜ｐ２３－２ｐ１３＋ｐ０３｜＋｜ｑ２３－２ｑ１３＋ｑ０３｜＋｜ｐ２４－２ｐ１４＋ｐ０４｜＋｜ｑ２４－２ｑ１４＋ｑ０４｜
　　　とした場合に、
　　　ｉＤ０＜β　かつ　ｉＤ１＜β　かつ　ｉＤ２＜β　かつ　ｉＤ３＜β　
　４つの判定用パラメータｉＤ０～ｉＤ３の算出式は、第１の例と同様である。なお、４つの判定用パラメータｉＤ０～ｉＤ３の全てではなく少なくとも３つ、２つ又は１つがエッジ判定閾値βを下回る、という条件が使用されてもよい。
　　（２－３）第３の例
　図２５は、判定の手法の第３及び第４の例をそれぞれ説明するための説明図である。第３及び第４の例では、垂直境界についてのフィルタリング要否判定処理（特に、輝度成分の判定条件Ｂの判定）において、各ブロックの４つの行Ｌ１、Ｌ３、Ｌ６及びＬ８の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの４つの列の画素が参照される。
　第３の例において、輝度成分の判定条件は、次のように定義され得る：
　・輝度成分（Luma）の判定条件・・・条件Ａ及び条件Ｂがいずれも真なら適用
　　－条件Ａ：
　　　（Ａ１）ブロックＢａ若しくはＢｂがイントラ予測モードである；
　　　（Ａ２）ブロックＢａ若しくはＢｂが非ゼロの直交変換係数を有する；又は
　　　（Ａ３）｜ＭＶＡｘ－ＭＶＢｘ｜≧４若しくは｜ＭＶＡｙ－ＭＶＢｙ｜≧４
　　－条件Ｂ：
　　　ｉＤ０＝｜ｐ２０－２ｐ１０＋ｐ００｜＋｜ｑ２０－２ｑ１０＋ｑ００｜＋｜ｐ２７－２ｐ１７＋ｐ０７｜＋｜ｑ２７－２ｑ１７＋ｑ０７｜
　　　ｉＤ２＝｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２５－２ｐ１５＋ｐ０５｜＋｜ｑ２５－２ｑ１５＋ｑ０５｜
　　　ｉＤａｖｅ＝（ｉＤ０＋ｉＤ２）>>１
　　　とした場合に、ｉＤａｖｅ＜β
　色差成分の判定条件は、既に説明した既存の手法と同様であってよい。なお、２つの判定用パラメータｉＤ０及びｉＤ２の平均値ｉＤａｖｅの算出に際して、重み付け平均が計算されてもよい。
　　（２－４）第４の例
　第４の例において、輝度成分の判定条件Ｂは、次のように定義され得る：
　　－条件Ｂ：
　　　ｉＤ０＝｜ｐ２０－２ｐ１０＋ｐ００｜＋｜ｑ２０－２ｑ１０＋ｑ００｜＋｜ｐ２７－２ｐ１７＋ｐ０７｜＋｜ｑ２７－２ｑ１７＋ｑ０７｜
　　　ｉＤ２＝｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２５－２ｐ１５＋ｐ０５｜＋｜ｑ２５－２ｑ１５＋ｑ０５｜
　　　とした場合に、
　　　ｉＤ０＜β　かつ　ｉＤ２＜β
　２つの判定用パラメータｉＤ０及びｉＤ２の算出式は、第３の例と同様である。なお、２つの判定用パラメータｉＤ０及びｉＤ２の双方ではなく少なくとも一方がエッジ判定閾値βを下回る、という条件が使用されてもよい。
　なお、ここではブロックの１番目、３番目、６番目及び８番目の行（又は列）Ｌ１、Ｌ３、Ｌ６及びＬ８が判定の際に参照される例を説明したが、行又は列の他の組合せが参照されてもよい。
　　（２－５）第５の例
　図２６は、判定の手法の第５及び第６の例をそれぞれ説明するための説明図である。第５及び第６の例では、垂直境界についてのフィルタリング要否判定処理において、各ブロックの４つの行Ｌ１、Ｌ３、Ｌ５及びＬ７の画素が参照される。水平境界についてのフィルタリング要否判定処理においても、各ブロックの４つの列の画素が参照される。
　第５の例において、輝度成分の判定条件は、次のように定義され得る：
　・輝度成分（Luma）の判定条件・・・条件Ａ及び条件Ｂがいずれも真なら適用
　　－条件Ａ：
　　　（Ａ１）ブロックＢａ若しくはＢｂがイントラ予測モードである；
　　　（Ａ２）ブロックＢａ若しくはＢｂが非ゼロの直交変換係数を有する；又は
　　　（Ａ３）｜ＭＶＡｘ－ＭＶＢｘ｜≧４若しくは｜ＭＶＡｙ－ＭＶＢｙ｜≧４
　　－条件Ｂ：
　　　ｉＤ０＝｜ｐ２０－２ｐ１０＋ｐ００｜＋｜ｑ２０－２ｑ１０＋ｑ００｜＋｜ｐ２６－２ｐ１６＋ｐ０６｜＋｜ｑ２６－２ｑ１６＋ｑ０６｜
　　　ｉＤ２＝｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２４－２ｐ１４＋ｐ０４｜＋｜ｑ２４－２ｑ１４＋ｑ０４｜
　　　ｉＤａｖｅ＝（ｉＤ０＋ｉＤ２）>>１
　　　とした場合に、ｉＤａｖｅ＜β
　色差成分の判定条件は、既に説明した既存の手法と同様であってよい。なお、２つの判定用パラメータｉＤ０及びｉＤ２の平均値ｉＤａｖｅの算出に際して、重み付け平均が計算されてもよい。
　　（２－６）第６の例
　第６の例において、輝度成分の判定条件Ｂは、次のように定義され得る：
　　－条件Ｂ：
　　　ｉＤ０＝｜ｐ２０－２ｐ１０＋ｐ００｜＋｜ｑ２０－２ｑ１０＋ｑ００｜＋｜ｐ２６－２ｐ１６＋ｐ０６｜＋｜ｑ２６－２ｑ１６＋ｑ０６｜
　　　ｉＤ２＝｜ｐ２２－２ｐ１２＋ｐ０２｜＋｜ｑ２２－２ｑ１２＋ｑ０２｜＋｜ｐ２４－２ｐ１４＋ｐ０４｜＋｜ｑ２４－２ｑ１４＋ｑ０４｜
　　　とした場合に、
　　　ｉＤ０＜β　かつ　ｉＤ２＜β
　２つの判定用パラメータｉＤ０及びｉＤ２の算出式は、第５の例と同様である。なお、２つの判定用パラメータｉＤ０及びｉＤ２の双方ではなく少なくとも一方がエッジ判定閾値βを下回る、という条件が使用されてもよい。
　一般的に、判定の際に参照される行及び列の数が多い程、判定の正確性は向上する。従って、８つの行及び列が参照される第１の例及び第２の例では、本来デブロックフィルタを適用すべきでないブロックがフィルタリングされる可能性、及び本来デブロックフィルタを適用すべきブロックがフィルタリングされない可能性を最小化することができる。その結果、符号化され及び復号される画像の画質が高められる。一方、判定の際に参照される行及び列の数を少なくすれば、処理コストを低減することができる。画質と処理コストとはトレードオフの関係にあるため、判定の際に参照すべき行及び列の数は、装置の用途又は実装の制約などに応じて適応的に選択されてもよい。また、参照すべき行の組合せ及び列の組合せが適応的に選択されてもよい。
　また、第１、第３及び第５の例のように、判定用パラメータの平均値ｉＤａｖｅをエッジ判定閾値βと比較することで、行又は列ごとのパラメータのばらつきに過度に影響を受けることなく、ブロック単位で適切な判定を行うことができる。
　　［４－２．処理の流れ］
　第２の実施例においても、第１の実施例と同様、デブロックフィルタ２４は異なる並列度で動作することができる。
　即ち、並列度の大きい第１のシナリオにおいて、垂直境界判定部２１２－１～２１２－ｎは、入力画像内の複数のマクロブロックに含まれる全ての垂直境界について、フィルタリングの要否を並列的に判定する。また、水平境界判定部２１４－１～２１４－ｎは、入力画像内の複数のマクロブロックに含まれる全ての水平境界について、フィルタリングの要否を並列的に判定する。これら垂直境界及び水平境界についての判定処理もまた並列的に行われる。その後、水平フィルタリング部１３２－１～１３２－ｎ及び垂直フィルタリング部１４２－１～１４２－ｎは、デブロックフィルタを適用すべきと判定された垂直境界及び水平境界についてデブロックフィルタをそれぞれ適用する（図２０参照）。
　また、並列度の小さい第２のシナリオにおいて、垂直境界判定部２１２－１～２１２－ｎは、入力画像内の１つの注目マクロブロックに含まれる全ての垂直境界について、フィルタリングの要否を並列的に判定する。また、水平境界判定部２１４－１～２１４－ｎは、当該注目マクロブロックに含まれる全ての水平境界について、フィルタリングの要否を並列的に判定する。これら垂直境界及び水平境界についての判定処理もまた並列的に行われる。その後、水平フィルタリング部１３２－１～１３２－ｎは、デブロックフィルタを適用すべきと判定された垂直境界についてデブロックフィルタを適用する。垂直フィルタリング部１４２－１～１４２－ｎは、デブロックフィルタを適用すべきと判定された水平境界についてデブロックフィルタを適用する。このような処理が、入力画像内の全てのマクロブロックについて繰り返される（図２１参照）。
　なお、これら２つのシナリオは、説明のための例に過ぎない。第２の実施例においても、特定の数（２つ若しくは４つなど）のマクロブロック、又は水平方向若しくは垂直方向に並ぶ一群のブロックなどの様々な単位で、デブロックフィルタ２４による処理は並列化されてよい。また、第２の実施例においても、第１の実施例と同様、デブロックフィルタ２４における処理の並列度及び順序は、並列化制御部１５０により制御されてよい。
　　［４－３．ＬＣＵごとの処理の例］
　上述したように、本明細書で説明される様々な実施例に係る技術は、ＨＥＶＣの符号化単位（ＣＵ）に基づく処理として実現されてもよい。ＨＥＶＣにおいて、サイズの最も大きい符号化単位はＬＣＵ（Largest　Coding　Unit）と呼ばれ、例えば６４×６４画素のＬＣＵが選択可能である。選択可能な最小のＣＵのサイズは、８×８画素である。画像の符号化及び復号に際しては、通常、ピクチャ（又はスライス）の左上のＬＣＵを起点とし、ラスタスキャンの順序に従って、ＬＣＵごとに処理が行われる。そこで、本項では、デブロックフィルタ２４におけるこのようなＬＣＵごとの処理の例について説明する。
　図２７は、上述した第２の実施例に関連するＬＣＵごとの処理の順序について説明するための説明図である。ここでは、ＬＣＵのサイズは１６×１６画素、ＣＵのサイズは８×８画素であるものとする。
　図２７を参照すると、左上の第１段階において、第ｎ－１番目のＬＣＵまでの各ＬＣＵのフィルタリングが終了している。なお、垂直境界についてのフィルタリングの対象画素は斜線で網掛けされ、水平境界についてのフィルタリングの対象画素は塗りつぶされている。
　図２７の右上の第２段階及び左下の第３段階の処理は、第ｎ番目のＬＣＵを対象とする処理である。まず、第２段階の前に、第ｎ番目のＬＣＵに属する全ての垂直境界及び全ての水平境界についてのフィルタリング要否判定処理が、デブロックフィルタ２４への入力画素値を用いて並列的に行われる。次に、第２段階では、第ｎ番目のＬＣＵに属する垂直境界のうちデブロックフィルタを適用すべきと判定された垂直境界についてのフィルタリング処理が、デブロックフィルタ２４への入力画素値を用いて並列的に行われる。次に、第ｎ番目のＬＣＵに属する水平境界のうちデブロックフィルタを適用すべきと判定された水平境界についてのフィルタリング処理が、第２段階の処理後の画素値を用いて並列的に行われる。
　その後、図２７の右下の第４段階の処理は、第ｎ＋１番目のＬＣＵを対象とする処理である。第ｎ＋１番目のＬＣＵに属する全ての垂直境界及び全ての水平境界についてのフィルタリング要否判定処理が並列的に行われた後、第４段階では、デブロックフィルタを適用すべきと判定された垂直境界についてのフィルタリング処理が並列的に行われる。
　なお、ここでは一例としてＬＣＵのサイズを１６×１６画素としたが、ＬＣＵのサイズは３２×３２画素又は６４×６４画素などであってもよい。特に、選択されるＬＣＵのサイズがより大きければ、１つのＬＣＵに属する垂直境界及び水平境界の数も多くなることから、並列化による処理時間の短縮の効果はより高められる。
　図２８は、デブロックフィルタ２４によるＬＣＵごとの処理の流れの一例を示すフローチャートである。
　図２８を参照すると、まず、垂直境界判定部２１２－１～２１２－ｎは、入力画像内の１つの注目ＬＣＵに含まれる全ての垂直境界について、フィルタリングの要否を並列的に判定する（ステップＳ２５２）。また、水平境界判定部２１４－１～２１４－ｎは、当該注目ＬＣＵに含まれる全ての水平境界について、フィルタリングの要否を並列的に判定する（ステップＳ２５４）。これらステップＳ２５２及びステップＳ２５４もまた並列的に行われる。
　次に、水平フィルタリング部１３２－１～１３２－ｎは、ステップＳ２５２においてデブロックフィルタを適用すべきと判定された注目ＬＣＵ内の垂直境界について、デブロックフィルタを並列的に適用する（ステップＳ２６０）。
　次に、垂直フィルタリング部１４２－１～１４２－ｎは、ステップＳ２５４においてデブロックフィルタを適用すべきと判定された注目ＬＣＵ内の水平境界について、デブロックフィルタを並列的に適用する（ステップＳ２７０）。
　その後、入力画像内に未処理のＬＣＵが残っている場合には、新たな注目ＬＣＵについてステップＳ２５２～Ｓ２７０の処理が繰り返される（ステップＳ２８０）。一方、未処理のＬＣＵが残っていない場合には、処理は終了する。
　＜５．第３の実施例＞
　　［５－１．概略］
　第２の実施例では、垂直境界及び水平境界の双方についてのフィルタリング要否判定処理においてデブロックフィルタへの入力画素値を参照することで、これらフィルタリング要否判定処理の間の依存関係が解消され、判定処理の並列化が可能となる。本節で説明する第３の実施例では、第２の実施例の考え方をフィルタリング処理にも適用する。即ち、垂直境界及び水平境界の双方についてのフィルタリング処理においても、デブロックフィルタへの入力画素値をフィルタリングすることとする。
　図２９は、本実施例の概略について説明するための説明図である。図２９の左下には、デブロックフィルタにより処理される前の入力画素（リコンストラクト画素ともいう）を表す図形が示されている。本実施例において、デブロックフィルタへの入力画素は、垂直境界及び水平境界についてのフィルタリング要否判定処理のみならず、垂直境界についてのフィルタリング処理及び水平境界についてのフィルタリング処理の双方においても参照される。従って、これら２つのフィルタリング処理の間の依存関係は解消される。また、これら２つのフィルタリング処理は並列的に行われる。
　但し、垂直境界についてのフィルタリング処理及び水平境界についてのフィルタリング処理において、重複する画素の値が更新される可能性がある。そのような可能性を有する画素の位置が、図２９において黒く塗りつぶされた画素によって示されている。そこで、本実施例に係るデブロックフィルタは、並列的に動作する２つのフィルタにより重複して更新される画素について、２つのフィルタ出力から１つの出力画素値を計算する。
　　［５－２．デブロックフィルタの構成例］
　図３０は、第３の実施例に係るデブロックフィルタ２４の詳細な構成の一例を示すブロック図である。図３０を参照すると、デブロックフィルタ２４は、ラインメモリ２０８、判定ブロック２１０、水平フィルタリングブロック３３０、垂直フィルタリングブロック３４０、並列化制御部１５０及び計算部３６０を有する。判定ブロック２１０は、複数の垂直境界判定部２１２－１～２１２－ｎ及び複数の水平境界判定部２１４－１～２１４－ｎを含む。各垂直境界判定部２１２及び各水平境界判定部２１４は、第２の実施例において例示したような様々な判定条件に従って、各境界についてのフィルタリングの要否を判定してよい。
　水平フィルタリングブロック３３０は、複数の水平フィルタリング部３３２－１～３３２－ｎを含む。各水平フィルタリング部３３２には、ラインメモリ２０８からの入力画素値及び判定ブロック２１０からの各垂直境界についての判定結果が供給される。
　各水平フィルタリング部３３２は、対応する垂直境界判定部２１２による判定結果がフィルタを適用すべきことを示している場合に、対応する垂直境界の左右の画素に垂直境界についてのデブロックフィルタを適用する。そして、各水平フィルタリング部３３２は、フィルタを適用した画素についてはフィルタリング後の画素値、その他の画素については入力画素値を、計算部３６０へ出力する。
　垂直フィルタリングブロック３４０は、複数の垂直フィルタリング部３４２－１～３４２－ｎを含む。各垂直フィルタリング部３４２には、ラインメモリ２０８からの入力画素値及び判定ブロック２１０からの各水平境界についての判定結果が供給される。
　各垂直フィルタリング部３４２は、対応する水平境界判定部２１４による判定結果がフィルタを適用すべきことを示している場合に、対応する水平境界の上下の画素に水平境界についてのデブロックフィルタを適用する。垂直フィルタリング部３４２－１～３４２－ｎによるフィルタリング処理は、水平フィルタリング部３３２－１～３３２－ｎによるフィルタリング処理と並列的に行われる。そして、各垂直フィルタリング部３４２は、フィルタを適用した画素についてはフィルタリング後の画素値、その他の画素については入力画素値を、計算部３６０へ出力する。
　計算部３６０には、水平フィルタリングブロック３３０からの出力画素値と垂直フィルタリングブロック３４０からの出力画素値とが並列的に供給される。さらに、計算部３６０には、垂直境界判定部２１２及び水平境界判定部２１４による判定結果が供給される。計算部３６０は、供給される判定結果に応じて、水平フィルタリングブロック３３０及び垂直フィルタリングブロック３４０の双方によりフィルタリングされる画素について、水平フィルタリングブロック３３０からのフィルタ出力及び垂直フィルタリングブロック３４０からのフィルタ出力に基づいて出力画素値を計算する。
　例えば、本実施例において、計算部３６０は、重複してフィルタリングされる画素について、２つのフィルタ出力の平均を計算する。計算部３６０により計算される２つのフィルタ出力の平均は、単純な平均であってもよい。その代わりに、計算部３６０は、２つのフィルタ出力の加重平均を計算してもよい。計算部３６０は、例えば、各画素についての加重平均の重みを、各画素の垂直境界までの距離及び水平境界までの距離に応じて決定し得る。
　図３１は、計算部３６０による加重平均のための重みの決定について説明するための説明図である。図３１を参照すると、図２９に示した重複位置の１つに位置する注目画素ＰＺが黒く示されている。注目画素ＰＺと最も近くの垂直境界ＶＺとの間の距離ＤＶは、３画素である。注目画素ＰＺと最も近くの水平境界ＨＺとの間の距離ＤＨは２画素である。距離ＤＨは、距離ＤＶよりも小さい。この場合、計算部３６０は、水平境界ＨＺについてのデブロックフィルタの出力についての重みを、垂直境界ＶＺについてのデブロックフィルタの出力についての重みよりも大きく決定し得る。図３１の例では、垂直境界ＶＺについてのフィルタ出力Ｖｏｕｔと水平境界ＨＺについてのフィルタ出力Ｈｏｕｔとの間の重みの比は、２：３と決定されている。
　図３１から理解されるように、２つのフィルタ出力の加重平均が計算される結果として、水平方向に沿ったフィルタタップと垂直方向に沿ったフィルタタップとを有する１つの２次元フィルタが適用された場合と同等の出力画素値を、各注目画素について得ることができる。それにより、垂直境界及び水平境界についてのフィルタリング処理を並列化させた場合にも、垂直境界及び水平境界の双方に現れるブロック歪みを適切に減少させることができる。他の実施例として、デブロックフィルタ２４は、水平フィルタリング、垂直フィルタリング及び加重平均を同時に計算する１つの２次元フィルタを有していてもよい。但し、その場合には、フィルタ係数を画素ごとに様々に変化させる必要性が生じるため、実装が極めて複雑となる。これに対し、第３の実施例のように２つの１次元フィルタを並列的に実行した後に加重平均を計算することとすれば、既存のデブロックフィルタの仕組みを活かしながら、２次元フィルタに実質的に等しい処理を容易に実現することができる。
　図３２は、図３１の例に従って決定される加重平均のための重みの一例について説明するための説明図である。図３２を参照すると、垂直境界と水平境界との１つの交点の周囲に位置する６×６＝３６個の画素（上述した重複位置の画素）が示されている。これら画素のうち、垂直境界及び水平境界から等距離に位置する画素については、フィルタ出力Ｖｏｕｔとフィルタ出力Ｈｏｕｔとの間の重みの比は１対１（又は２対２若しくは３対３）である。垂直境界により近い画素については、フィルタ出力Ｖｏｕｔへの重みの方がフィルタ出力Ｈｏｕｔへの重みよりも大きく決定されている（例えば、画素Ｐ１の重みの比はＶｏｕｔ：Ｈｏｕｔ＝３：１）。一方、水平境界により近い画素については、フィルタ出力Ｖｏｕｔへの重みの方がフィルタ出力Ｈｏｕｔへの重みよりも小さく決定されている（例えば、画素Ｐ２の重みの比はＶｏｕｔ：Ｈｏｕｔ＝１：３）。
　このように各画素と境界との間の距離に応じて加重平均の重みを変化させることで、ブロック歪みをより効果的に抑制して画質を改善することができる。
　なお、上述した重みは一例に過ぎない。例えば、計算部３６０は、各画素と境界との間の距離の代わりに（又はそれに加えて）、各画素に対応する垂直境界及び水平境界のエッジの強さに応じて、各画素についての加重平均の重みを決定してもよい。ここでのエッジの強さとは、例えば、図１６に示した演算部１２２により算出されるエッジの値のようなパラメータで表現され得る。この場合、よりエッジの強い境界についてのフィルタ出力の重みが、よりエッジの弱い境界についてのフィルタ出力の重みよりも大きく決定され得る。このようにエッジの強さに応じて加重平均の重みを変化させることで、ブロック歪みが強く現れている境界について適応的にデブロックフィルタの効果を高めることができる。
　計算部３６０は、水平フィルタリングブロック３３０及び垂直フィルタリングブロック３４０のいずれか一方によりフィルタリングされる画素については、実際にフィルタリングを行ったブロックからの出力を選択する。また、計算部３６０は、水平フィルタリングブロック３３０及び垂直フィルタリングブロック３４０のいずれによってもフィルタリングされない画素については、デブロックフィルタ２４への入力画素値をそのまま出力する。フィルタリング要否の判定結果に応じた計算部３６０からの出力画素値を、図３３の表に示す。
　　［５－３．処理の順序の例］
　以下、本実施例においてデブロックフィルタ２４により実現可能な処理の順序の２つの例を説明する。ここでも、一例として、３２×３２画素のサイズを有する画像がデブロックフィルタに入力されるものとする。当該入力画像は、それぞれ１６×１６画素のサイズを有する４つのマクロブロックＭＢ０～ＭＢ３を含む。
　　（１）第１の例
　まず、比較のために、垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング処理との間の依存関係が残っている場合の処理の順序を図３４に示す。なお、図３４に示した処理の順序は、第１の実施例に関連して図１３に示した処理の順序と実質的に同じである。図３４において、第１ステップでは、４つのマクロブロックＭＢ０～ＭＢ３の全ての垂直境界及び全ての水平境界についてのフィルタリング要否判定処理ＪＶ０，０～ＪＶ３，３及びＪＨ０，０～ＪＨ３，３が並列的に実行される。次に、第２ステップでは、４つのマクロブロックＭＢ０～ＭＢ３の１６個の垂直境界についてのフィルタリング処理ＦＶ０，０～ＦＶ３，３が実行される。次に、第３ステップでは、４つのマクロブロックＭＢ０～ＭＢ３の１６個の水平境界についてのフィルタリング処理ＦＨ０，０～ＦＨ３，３が実行される。その後、第４ステップ（図１３では省略されている）では、水平境界についてのフィルタリング処理後の各画素値が、デブロックフィルタ２４からの出力用のメモリへ格納される。
　図３５は、本実施例において実現される処理の順序の第１の例を示している。図３５において、第１ステップでは、４つのマクロブロックＭＢ０～ＭＢ３の全ての垂直境界及び全ての水平境界についてのフィルタリング要否判定処理ＪＶ０，０～ＪＶ３，３及びＪＨ０，０～ＪＨ３，３が並列的に実行される。次に、第２ステップでは、４つのマクロブロックＭＢ０～ＭＢ３の全ての垂直境界及び全ての水平境界についてのフィルタリング処理ＦＶ０，０～ＦＶ３，３及びＦＨ０，０～ＦＨ３，３が並列的に実行され得る（実際には、フィルタリングが必要と判定された境界のみがフィルタリングされる）。その後、第３ステップでは、各画素値がデブロックフィルタ２４からの出力用のメモリへ格納される。その際、水平フィルタリングブロック３３０及び垂直フィルタリングブロック３４０の双方によりフィルタリングされた画素については、２つのフィルタ出力の加重平均が出力画素値として計算され得る。
　　（２）第２の例
　上述した第１の例は並列度を最大限に高める例である一方、本実施例においても、デブロックフィルタ２４は、マクロブロックごとの処理を実現することもできる。
　まず、比較のために、垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング処理との間の依存関係が残っている場合のマクロブロックごとの処理の順序を図３６に示す。なお、図３６に示した処理の順序は、第１の実施例に関連して図１４に示した処理の順序と実質的に同じである。図１４において説明の簡明さの観点から図示を省略した、出力用のメモリへの画素値の格納についての４つの処理ステップ（第６、第１０、第１４及び第１６ステップ）が、図３６では明示されている。図３６の処理は、これら４つの処理ステップを含む１６個の処理ステップで構成される。
　図３７は、本実施例において実現される処理の順序の第２の例を示している。図３７において、第１ステップでは、マクロブロックＭＢ０の４つの垂直境界及び４つの水平境界についてのフィルタリング要否判定処理ＪＶ０，０～ＪＶ０，３及びＪＨ０，０～ＪＨ０，３が並列的に実行される。次に、第２ステップでは、マクロブロックＭＢ０の４つの垂直境界及び４つの水平境界についてのフィルタリング処理ＦＶ０，０～ＦＶ０，３及びＦＨ０，０～ＦＨ０，３が並列的に実行される。次に、第３ステップでは、マクロブロックＭＢ０の各画素値がデブロックフィルタ２４からの出力用のメモリへ格納される。その際、２つのフィルタにより重複してフィルタリングされた画素については、２つのフィルタ出力の加重平均が出力画素値として計算され得る。その後、第４ステップから第６ステップにおいてマクロブロックＭＢ１、第７ステップから第９ステップにおいてマクロブロックＭＢ２、第１０ステップから第１２ステップにおいてマクロブロックＭＢ３が同様に処理される。図３７の処理は、図３６の処理よりも少ない１２個の処理ステップで構成されている。
　このように、第３の実施例では、垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング処理との間の依存関係も解消されることから、第１及び第２の実施形態と比較して、デブロックフィルタ２４における処理をより少ない処理ステップで実行することができる。なお、フィルタリング処理においてデブロックフィルタへの入力画素のみが参照されることの利点の１つは、フィルタタップをどのように構成しても垂直境界についてのフィルタリング処理と水平境界についてのフィルタリング処理との間の依存関係が生じないことである。そのため、既存の手法よりも多くの画素からフィルタタップを構成して画質の向上を図ることも可能となる。例えば、既存の手法では、図７に関連して説明したように、各境界の各側につき３画素分のフィルタタップが使用された。しかし、本実施例では、例えば各境界の各画素につき５画素以上のフィルタタップを使用しても、処理間に依存関係が生じることがない。また、デブロックフィルタの処理単位のブロックサイズをより小さくしても、やはり処理間に依存関係が生じることがない。
　第３の実施例においても、第１及び第２の実施例と同様、デブロックフィルタ２４における処理の並列度及び順序は、並列化制御部１５０により制御されてよい。
　　［５－４．処理の流れ］
　図３８は、第３の実施例に係るデブロックフィルタによる処理の流れの一例を示すフローチャートである。また、図３９は、図３８に示した画素値計算処理の流れの一例を示すフローチャートである。
　図３８を参照すると、まず、垂直境界判定部２１２－１～２１２－ｎは、入力画像内（又はマクロブロック内）の全ての垂直境界について、フィルタリングの要否を並列的に判定する（ステップＳ３０２）。また、水平境界判定部２１４－１～２１４－ｎは、入力画像内（又はマクロブロック内）の全ての水平境界について、フィルタリングの要否を並列的に判定する（ステップＳ３０４）。これらステップＳ３０２及びステップＳ３０４もまた並列的に行われる。
　次に、水平フィルタリング部３３２－１～３３２－ｎは、ステップＳ３０２においてデブロックフィルタを適用すべきと判定された全ての垂直境界について、デブロックフィルタを並列的に適用する（ステップＳ３０６）。また、垂直フィルタリング部３４２－１～３４２－ｎは、ステップＳ３０４においてデブロックフィルタを適用すべきと判定された全ての水平境界について、デブロックフィルタを並列的に適用する（ステップＳ３０８）。これらステップＳ３０６及びステップＳ３０８もまた並列的に行われる。
　次に、計算部３６０により、図３９に示す画素値計算処理が行われる（ステップＳ３１０）。図３９を参照すると、ステップＳ３１４からステップＳ３２６までの処理は、処理対象の画素ごとにループされる（ステップＳ３１２）。
　ステップＳ３１４において、計算部３６０は、注目画素が垂直境界及び水平境界についての２つのフィルタの双方によりフィルタリングされたか否かを判定する（ステップＳ３１４）。ここで、注目画素が２つのフィルタの双方によりフィルタリングされた場合には、処理はステップＳ３２２へ進む。一方、注目画素が２つのフィルタの双方によりフィルタリングされてはいない場合には、処理はステップＳ３１６へ進む。
　ステップＳ３１６において、計算部３６０は、注目画素が垂直境界及び水平境界についての２つのフィルタのいずれか一方によりフィルタリングされたか否かを判定する（ステップＳ３１６）。ここで、注目画素が２つのフィルタのいずれか一方によりフィルタリングされた場合には、処理はステップＳ３２０へ進む。一方、注目画素がいずれのフィルタによってもフィルタリングされていない場合には、処理はステップＳ３１８へ進む。
　ステップＳ３１８では、計算部３６０は、デブロックフィルタ２４への入力画素値を取得する（ステップＳ３１８）。ステップＳ３２０では、計算部３６０は、注目画素について実際にフィルタリングを行ったフィルタからのフィルタ出力を取得する（ステップＳ３２０）。
　ステップＳ３２２では、計算部３６０は、注目画素について２つのフィルタからのフィルタ出力の加重平均を計算するための重みの値を、例えば注目画素の垂直境界までの距離及び水平境界までの距離、又は注目画素に対応する垂直境界及び水平境界のエッジの強さに応じて決定する（ステップＳ３２２）。そして、計算部３６０は、決定した重みを用いて、２つのフィルタからのフィルタ出力の加重平均を計算する（ステップＳ３２４）。
　その後、計算部３６０は、ステップＳ３１８若しくはステップＳ３２０において取得し、又はステップＳ３２４において計算した注目画素の画素値をメモリに格納する（ステップＳ３２６）。このような処理が処理対象の全ての画素について行われると、図３８及び図３９に示した一連の処理は終了する。
　＜６．様々なコーデックへの適用＞
　本開示に係る技術は、画像の符号化及び復号に関連する様々なコーデックに適用可能である。本節では、本開示に係る技術がマルチビューコーデック及びスケーラブルコーデックにそれぞれ適用される例について説明する。
　　［６－１．マルチビューコーデック］
　マルチビューコーデックは、いわゆる多視点映像を符号化し及び復号するための画像符号化方式である。図４０は、マルチビューコーデックについて説明するための説明図である。図４０を参照すると、３つの視点においてそれぞれ撮影される３つのビューのフレームのシーケンスが示されている。各ビューには、ビューＩＤ（view_id）が付与される。これら複数のビューのうちいずれか１つのビューが、ベースビュー（base　view）に指定される。ベースビュー以外のビューは、ノンベースビューと呼ばれる。図４０の例では、ビューＩＤが"０"であるビューがベースビューであり、ビューＩＤが"１"又は"２"である２つのビューがノンベースビューである。これらマルチビューの画像データを符号化する際、ベースビューのフレームについての符号化情報に基づいてノンベースビューのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。
　上述したマルチビューコーデックに従った符号化処理及び復号処理において、各ビューにデブロックフィルタが適用され得る。各ビューへのデブロックフィルタの適用にあたり、本開示に係る技術に従って、各ビューにおける垂直ブロック境界及び水平ブロック境界についてのフィルタリング要否判定処理が並列化されてもよい。また、各ビューにおけるフィルタリング要否判定処理とフィルタリング処理とが並列化されてもよい。さらに、フィルタリング要否判定処理又はフィルタリング処理を制御するためのパラメータ（例えば、段落００９４において説明したパラメータ）が、ビューごとに設定されてもよい。また、ベースビューにおいて設定されたパラメータが、ノンベースビューにおいて再利用されてもよい。
　また、複数のビューにわたってフィルタリング要否判定処理又はフィルタリング処理が並列化されてもよい。フィルタリング要否判定処理又はフィルタリング処理を制御するためのパラメータ（例えば、段落００９４において説明したパラメータ）は、複数のビューにわたって共通化されてもよい。また、複数のビューにわたってパラメータが共通化されているか否かを示すフラグが、追加的に指定されてもよい
　図４１は、上述した画像符号化処理のマルチビューコーデックへの適用について説明するための説明図である。図４１を参照すると、一例としてのマルチビュー符号化装置７１０の構成が示されている。マルチビュー符号化装置７１０は、第１符号化部７２０、第２符号化部７３０及び多重化部７４０を備える。
　第１符号化部７２０は、ベースビュー画像を符号化し、ベースビューの符号化ストリームを生成する。第２符号化部７３０は、ノンベースビュー画像を符号化し、ノンベースビューの符号化ストリームを生成する。多重化部７４０は、第１符号化部７２０により生成されるベースビューの符号化ストリームと、第２符号化部７３０により生成される１つ以上のノンベースビューの符号化ストリームとを多重化し、マルチビューの多重化ストリームを生成する。
　図４１に例示した第１符号化部７２０及び第２符号化部７３０は、上述した実施形態に係る画像符号化装置１０と同等の構成を有する。それにより、各ビューへのデブロックフィルタの適用に際して、垂直ブロック境界及び水平ブロック境界についてのフィルタリング要否判定処理を並列化し、又はフィルタリング要否判定処理とフィルタリング処理とを並列化することが可能となる。これら処理を制御するパラメータは、各ビューの符号化ストリームのヘッダ領域に挿入されてもよく、又は多重化ストリーム内の共通的なヘッダ領域に挿入されてもよい。
　図４２は、上述した画像復号処理のマルチビューコーデックへの適用について説明するための説明図である。図４２を参照すると、一例としてのマルチビュー復号装置７６０の構成が示されている。マルチビュー復号装置７６０は、逆多重化部７７０、第１復号部７８０及び第２復号部７９０を備える。
　逆多重化部７７０は、マルチビューの多重化ストリームをベースビューの符号化ストリーム及び１つ以上のノンベースビューの符号化ストリームに逆多重化する。第１復号部７８０は、ベースビューの符号化ストリームからベースビュー画像を復号する。第２復号部７３０は、ノンベースビューの符号化ストリームからノンベースビュー画像を復号する。
　図４２に例示した第１復号部７８０及び第２復号部７９０は、上述した実施形態に係る画像復号装置６０と同等の構成を有する。それにより、各ビューへのデブロックフィルタの適用に際して、垂直ブロック境界及び水平ブロック境界についてのフィルタリング要否判定処理を並列化し、又はフィルタリング要否判定処理とフィルタリング処理とを並列化することが可能となる。これら処理を制御するパラメータは、各ビューの符号化ストリームのヘッダ領域から取得されてもよく、又は多重化ストリーム内の共通的なヘッダ領域から取得されてもよい。
　　［６－２．スケーラブルコーデック］
　スケーラブルコーデックは、いわゆる階層符号化を実現するための画像符号化方式である。図４３は、スケーラブルコーデックについて説明するための説明図である。図４３を参照すると、空間解像度、時間解像度又は画質の異なる３つのレイヤのフレームのシーケンスが示されている。各レイヤには、レイヤＩＤ（layer_id）が付与される。これら複数のレイヤのうち、最も解像度（又は画質）の低いレイヤが、ベースレイヤ（base　layer）である。ベースレイヤ以外のレイヤは、エンハンスメントレイヤと呼ばれる。図４３の例では、レイヤＩＤが"０"であるレイヤがベースレイヤであり、レイヤＩＤが"１"又は"２"である２つのレイヤがエンハンスメントレイヤである。これらマルチレイヤの画像データを符号化する際、ベースレイヤのフレームについての符号化情報に基づいてエンハンスメントレイヤのフレームを符号化することにより、全体としての符号化ストリームのデータサイズが圧縮され得る。
　上述したスケーラブルコーデックに従った符号化処理及び復号処理において、各レイヤにデブロックフィルタが適用され得る。各レイヤへのデブロックフィルタの適用にあたり、本開示に係る技術に従って、各レイヤにおける垂直ブロック境界及び水平ブロック境界についてのフィルタリング要否判定処理が並列化されてもよい。また、各レイヤにおけるフィルタリング要否判定処理とフィルタリング処理とが並列化されてもよい。さらに、フィルタリング要否判定処理又はフィルタリング処理を制御するためのパラメータ（例えば、段落００９４において説明したパラメータ）が、レイヤごとに設定されてもよい。また、ベースレイヤにおいて設定されたパラメータが、エンハンスメントレイヤにおいて再利用されてもよい。
　また、複数のレイヤにわたってフィルタリング要否判定処理又はフィルタリング処理が並列化されてもよい。フィルタリング要否判定処理又はフィルタリング処理を制御するためのパラメータ（例えば、段落００９４において説明したパラメータ）は、複数のレイヤにわたって共通化されてもよい。また、複数のレイヤにわたってパラメータが共通化されているか否かを示すフラグが、追加的に指定されてもよい
　図４４は、上述した画像符号化処理のスケーラブルコーデックへの適用について説明するための説明図である。図４４を参照すると、一例としてのスケーラブル符号化装置８１０の構成が示されている。スケーラブル符号化装置８１０は、第１符号化部８２０、第２符号化部８３０及び多重化部８４０を備える。
　第１符号化部８２０は、ベースレイヤ画像を符号化し、ベースレイヤの符号化ストリームを生成する。第２符号化部８３０は、エンハンスメントレイヤ画像を符号化し、エンハンスメントレイヤの符号化ストリームを生成する。多重化部８４０は、第１符号化部８２０により生成されるベースレイヤの符号化ストリームと、第２符号化部８３０により生成される１つ以上のエンハンスメントレイヤの符号化ストリームとを多重化し、マルチレイヤの多重化ストリームを生成する。
　図４４に例示した第１符号化部８２０及び第２符号化部８３０は、上述した実施形態に係る画像符号化装置１０と同等の構成を有する。それにより、各レイヤへのデブロックフィルタの適用に際して、垂直ブロック境界及び水平ブロック境界についてのフィルタリング要否判定処理を並列化し、又はフィルタリング要否判定処理とフィルタリング処理とを並列化することが可能となる。これら処理を制御するパラメータは、各レイヤの符号化ストリームのヘッダ領域に挿入されてもよく、又は多重化ストリーム内の共通的なヘッダ領域に挿入されてもよい。
　図４５は、上述した画像復号処理のスケーラブルコーデックへの適用について説明するための説明図である。図４５を参照すると、一例としてのスケーラブル復号装置８６０の構成が示されている。スケーラブル復号装置８６０は、逆多重化部８７０、第１復号部８８０及び第２復号部８９０を備える。
　逆多重化部８７０は、マルチレイヤの多重化ストリームをベースレイヤの符号化ストリーム及び１つ以上のエンハンスメントレイヤの符号化ストリームに逆多重化する。第１復号部８８０は、ベースレイヤの符号化ストリームからベースレイヤ画像を復号する。第２復号部８３０は、エンハンスメントレイヤの符号化ストリームからエンハンスメントレイヤ画像を復号する。
　図４５に例示した第１復号部８８０及び第２復号部８９０は、上述した実施形態に係る画像復号装置６０と同等の構成を有する。それにより、各レイヤへのデブロックフィルタの適用に際して、垂直ブロック境界及び水平ブロック境界についてのフィルタリング要否判定処理を並列化し、又はフィルタリング要否判定処理とフィルタリング処理とを並列化することが可能となる。これら処理を制御するパラメータは、各レイヤの符号化ストリームのヘッダ領域から取得されてもよく、又は多重化ストリーム内の共通的なヘッダ領域から取得されてもよい。
　＜７．応用例＞
　上述した実施形態に係る画像符号化装置１０及び画像復号装置６０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、及びセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスク及びフラッシュメモリなどの媒体に画像を記録する記録装置、又は、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　　［７－１．第１の応用例］
　図４６は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース９０９、制御部９１０、ユーザインタフェース９１１、及びバス９１２を備える。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。即ち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリーム及び音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic　Program　Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリーム及び音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタン又はカーソルなどのＧＵＩ（Graphical　User　Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイ又はＯＬＥＤなど）の映像面上に映像又は画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換及び増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。
　外部インタフェース９０９は、テレビジョン装置９００と外部機器又はネットワークとを接続するためのインタフェースである。例えば、外部インタフェース９０９を介して受信される映像ストリーム又は音声ストリームが、デコーダ９０４により復号されてもよい。即ち、外部インタフェース９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　制御部９１０は、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、並びにＲＡＭ（Random　Access　Memory）及びＲＯＭ（Read　Only　Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、及びネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース９１１は、制御部９１０と接続される。ユーザインタフェース９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース９０９及び制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、デブロックフィルタの処理の並列度を高めて処理を高速化することができる。
　　［７－２．第２の応用例］
　図４７は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、及びバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４及びマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、及び制御部９３１を相互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モード及びテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メール又は画像データの送受信、画像の撮像、及びデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調及び復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭ又はフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、又はメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化及び変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅し及び周波数変換し、受信信号を取得する。これら送信信号及び受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調及び復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリーム及び音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張し及びＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、携帯電話機９２０での画像の符号化及び復号に際して、デブロックフィルタの処理の並列度を高めて処理を高速化することができる。
　　［７－３．第３の応用例］
　図４８は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データ及び映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データ及び映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタ及びスピーカ上で再生する。このとき、記録再生装置９４０は、音声データ及び映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）９４８、制御部９４９、及びユーザインタフェース９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。即ち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース９４２は、記録再生装置９４０と外部機器又はネットワークとを接続するためのインタフェースである。外部インタフェース９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、又はフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース９４２を介して受信される映像データ及び音声データは、エンコーダ９４３へ入力される。即ち、外部インタフェース９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース９４２から入力される映像データ及び音声データが符号化されていない場合に、映像データ及び音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像及び音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラム及びその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像及び音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録及び読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等）又はＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。
　セレクタ９４６は、映像及び音声の記録時には、チューナ９４１又はエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４又はディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像及び音声の再生時には、ＨＤＤ９４４又はディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データ及び音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。
　ＯＳＤ９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ９４８は、表示する映像に、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース９５０は、制御部９４９と接続される。ユーザインタフェース９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタン及びスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置６０の機能を有する。それにより、記録再生装置９４０での画像の符号化及び復号に際して、デブロックフィルタの処理の並列度を高めて処理を高速化することができる。
　　［７－４．第４の応用例］
　図４９は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、制御部９７０、ユーザインタフェース９７１、及びバス９７２を備える。
　光学ブロック９６１は、撮像部９６２に接続される。撮像部９６２は、信号処理部９６３に接続される。表示部９６５は、画像処理部９６４に接続される。ユーザインタフェース９７１は、制御部９７０に接続される。バス９７２は、画像処理部９６４、外部インタフェース９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ９６９、及び制御部９７０を相互に接続する。
　光学ブロック９６１は、フォーカスレンズ及び絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤ又はＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号を信号処理部９６３へ出力する。
　信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース９６６又はメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース９６６又はメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ９６９は、例えばメニュー、ボタン又はカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスク又は光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース９６６は、ＬＡＮ又はインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。即ち、外部インタフェース９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、又は半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブ又はＳＳＤ（Solid　State　Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭ及びＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、及びプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース９７１は、制御部９７０と接続される。ユーザインタフェース９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタン及びスイッチなどを有する。ユーザインタフェース９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０及び画像復号装置６０の機能を有する。それにより、撮像装置９６０での画像の符号化及び復号に際して、デブロックフィルタの処理の並列度を高めて処理を高速化することができる。
　＜８．まとめ＞
　ここまで、図１～図４９を用いて、一実施形態に係る画像符号化装置１０及び画像復号装置６０のデブロックフィルタの３つの実施例について詳しく説明した。これら３つの実施例によれば、垂直境界についてのデブロックフィルタの適用の要否の判定及び水平境界についてのデブロックフィルタの適用の要否の判定が、共にデブロックフィルタへの入力画素値を用いて行われる。従って、フィルタリング処理の結果に依存することなく、これら判定処理を並列的に実行することができる。また、マクロブロック間の処理の依存関係も解消され、複数のマクロブロックについての処理の並列化も可能となる。その結果、デブロックフィルタの多大な処理量を原因とする遅延又はデータレートの低下を回避し、処理を高速化することができる。また、画像のサイズ又は実装環境の制約などの様々な条件に応じてデブロックフィルタの処理の並列度及び順序を柔軟に設定することも可能となる。
　また、第１の実施例によれば、垂直境界についてのデブロックフィルタの適用の要否の判定のために使用される画素値は、水平境界についてのデブロックフィルタが適用されない行に属する画素の画素値である。水平境界についてのデブロックフィルタの適用の要否の判定のために使用される画素値は、垂直境界についてのデブロックフィルタが適用されない行に属する画素の画素値である。即ち、あるブロックについてのフィルタリング要否判定処理のために使用される画素値は、他のブロックについてのフィルタリング処理によって更新されない。そのため、あるブロックについてのフィルタリング要否判定処理の前に他のブロックについてのフィルタリング処理が実行される場合にも、デブロックフィルタへの入力画素値を別途のメモリに保持しておく必要がない。従って、装置の実装に要するハードウェアのコストを節約することができる。
　また、第２の実施例によれば、フィルタリング処理において更新されないメモリ内にデブロックフィルタへの入力画素値が記憶され、当該入力画素値がフィルタリング要否判定処理において参照される。この場合には、フィルタリング要否判定処理において参照すべき画素の位置に制約が生じないため、様々な目的（例えば、フィルタリングの要否のより正確な判定、又は少ない処理コストでの判定など）に応じた柔軟な判定条件の利用が可能となる。
　また、第３の実施例によれば、垂直境界及び水平境界についてのフィルタリング処理の双方において、デブロックフィルタへの入力画素がフィルタリングされる。かかる構成によれば、垂直境界及び水平境界についてのフィルタリング処理をも互いに並列化することが可能となる。それにより、デブロックフィルタにおける処理を一層高速化することができる。また、並列的に実行される２つのフィルタリング処理の双方により更新される画素については、２つのフィルタ出力に基づいて出力画素値が計算される。それにより、上記２つのフィルタリング処理を並列化させた場合にも、垂直境界及び水平境界の双方に現れるブロック歪みを適切に減少させることができる。また、出力画素値は、２つのフィルタ出力の加重平均として計算され得る。それにより、デブロックフィルタによるブロック歪みの除去の効果を高め、画質をさらに向上させることもできる。
　なお、本明細書では、主に垂直境界についてのフィルタリング処理が水平境界についてのフィルタリング処理よりも先に行われる例を説明したが、水平境界についてのフィルタリング処理が先に行われる場合にも本開示に係る技術による上述した効果は同等に享受され得る。また、デブロックフィルタの処理単位のサイズ又はマクロブロックのサイズは、本明細書で説明した例に限定されず、他のサイズであってもよい。また、１つの手法として、フィルタリング要否判定処理自体を省略した上で、複数の垂直境界及び複数の水平境界へのデブロックフィルタの適用を並列化することも可能である。
　また、デブロックフィルタの処理の並列化のために使用される情報を符号化側から復号側に伝送する手法は、これら情報を符号化ストリームのヘッダに多重化する手法に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　なお、本明細書では、垂直境界についてのフィルタリング処理を「水平フィルタリング」、水平境界についてのフィルタリング処理を「垂直フィルタリング」と表現している。一般に、垂直境界についてのフィルタリング処理のフィルタタップは水平方向に沿って並び、水平境界についてのフィルタリング処理のフィルタタップは垂直方向に沿って並ぶ。そのため、上述したようなフィルタリング処理の呼称が採用される。
　１０，　６０　　　　　　　　　　画像処理装置
　１１２－１～ｎ，２１２－１～ｎ　第１判定部（垂直境界判定部）
　１１４－１～ｎ，２１４－１～ｎ　第２判定部（水平境界判定部）
　１３２－１～ｎ，３３２－１～ｎ　第１フィルタリング部（水平フィルタリング部）
　１４２－１～ｎ，３４２－１～ｎ　第２フィルタリング部（垂直フィルタリング部）
　１５０　　　　　　　　　　　　　並列化制御部
　２０８　　　　　　　　　　　　　ラインメモリ（メモリ）
　３６０　　　　　　　　　　　　　計算部
 

Claims (12)

  1. 　符号化ストリームから画像を復号する復号部と、
    　前記復号部により復号される画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行する判定部と、
    　前記判定部によりデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用するフィルタリング部と、
    　垂直ブロック境界及び水平ブロック境界についての前記判定処理を、リコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて、前記判定部に実行させる制御部と、
    　を備える画像処理装置。
  2. 　前記制御部は、
    　前記垂直ブロック境界についての前記判定処理の前記参照画素として、前記フィルタリング部による前記水平ブロック境界についてのフィルタリングにおいて更新されない位置の画素を前記判定部に使用させ、
    　前記水平ブロック境界についての前記判定処理の前記参照画素として、前記フィルタリング部による前記垂直ブロック境界についてのフィルタリングにおいて更新されない位置の画素を前記判定部に使用させる、
    　請求項１に記載の画像処理装置。
  3. 　前記制御部は、前記垂直ブロック境界及び前記水平ブロック境界についての前記判定処理を並列的に前記判定部に実行させる、請求項２に記載の画像処理装置。
  4. 　前記制御部は、
    　前記垂直ブロック境界についての前記判定処理の前記参照画素として、前記垂直ブロック境界の中央近傍で前記垂直ブロック境界と直交する水平ラインに含まれる画素を前記判定部に使用させ、
    　前記水平ブロック境界についての前記判定処理の前記参照画素として、前記水平ブロック境界の中央近傍で前記水平ブロック境界と直交する垂直ラインに含まれる画素を前記判定部に使用させる、
    　請求項３に記載の画像処理装置。
  5. 　前記制御部は、
    　前記水平ラインとして、前記垂直ブロック境界の中央近傍で前記垂直ブロック境界と直交する２つのラインを前記判定部に使用させ、
    　前記垂直ラインとして、前記水平ブロック境界の中央近傍で前記水平ブロック境界と直交する２つのラインを前記判定部に使用させる、
    　請求項４に記載の画像処理装置。
  6. 　前記制御部は、シーケンスパラメータセット、ピクチャパラメータセット又はスライスヘッダ内に含まれるパラメータに基づいて、前記判定部による前記判定処理の並列度、又は前記フィルタリング部によるフィルタリングの並列度を制御する、請求項３に記載の画像処理装置。
  7. 　前記制御部は、前記画像のサイズに基づいて、前記判定部による前記判定処理の並列度、又は前記フィルタリング部によるフィルタリングの並列度を制御する、請求項３に記載の画像処理装置。
  8. 　符号化ストリームから画像を復号することと、
    　復号される画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行することと、
    　前記判定処理においてデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用することと、
    　垂直ブロック境界及び水平ブロック境界についての前記判定処理がリコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて実行されるように、前記判定処理を制御することと、
    　を含む画像処理方法。
  9. 　符号化対象画像を符号化する際にローカルデコードされる画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行する判定部と、
    　前記判定部によりデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用するフィルタリング部と、
    　垂直ブロック境界及び水平ブロック境界についての前記判定処理を、リコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて、前記判定部に実行させる制御部と、
    　前記フィルタリング部によりフィルタリングされた画像を用いて、前記符号化対象画像を符号化する符号化部と、
    　を備える画像処理装置。
  10. 　前記制御部は、
    　前記垂直ブロック境界についての前記判定処理の前記参照画素として、前記フィルタリング部による前記水平ブロック境界についてのフィルタリングにおいて更新されない位置の画素を前記判定部に使用させ、
    　前記水平ブロック境界についての前記判定処理の前記参照画素として、前記フィルタリング部による前記垂直ブロック境界についてのフィルタリングにおいて更新されない位置の画素を前記判定部に使用させる、
    　請求項９に記載の画像処理装置。
  11. 　前記制御部は、前記垂直ブロック境界及び前記水平ブロック境界についての前記判定処理を並列的に前記判定部に実行させる、請求項１０に記載の画像処理装置。
  12. 　符号化対象画像を符号化する際にローカルデコードされる画像内のブロック境界に隣接する隣接ブロックにデブロックフィルタを適用するかを判定する判定処理を実行することと、
    　前記判定処理においてデブロックフィルタを適用すると判定された隣接ブロックにデブロックフィルタを適用することと、
    　垂直ブロック境界及び水平ブロック境界についての前記判定処理がリコンストラクト画像の前記隣接ブロックの画素を参照画素として用いて実行されるように、前記判定処理を制御することと、
    　前記デブロックフィルタによりフィルタリングされた画像を用いて、前記符号化対象画像を符号化することと、
    　を含む画像処理方法。
     
PCT/JP2011/077953 2010-12-07 2011-12-02 画像処理装置及び画像処理方法 WO2012077607A1 (ja)

Priority Applications (20)

Application Number Priority Date Filing Date Title
RU2013125498/07A RU2585662C2 (ru) 2010-12-07 2011-12-02 Устройство обработки изображений и способ обработки изображений
EP20185677.0A EP3748962A1 (en) 2010-12-07 2011-12-02 Image processing device and image processing method
AU2011339460A AU2011339460B2 (en) 2010-12-07 2011-12-02 Image processing device and image processing method
EP11846148.2A EP2651127B1 (en) 2010-12-07 2011-12-02 Image processing device and image processing method
KR1020187019829A KR101963096B1 (ko) 2010-12-07 2011-12-02 화상 처리 장치, 화상 처리 방법 및 기록 매체
US13/990,893 US9973763B2 (en) 2010-12-07 2011-12-02 Image processing device and image processing method for applying filtering determination processes in parallel
JP2012547833A JP6011341B2 (ja) 2010-12-07 2011-12-02 画像処理装置、画像処理方法、プログラム及び記録媒体
ES11846148T ES2856823T3 (es) 2010-12-07 2011-12-02 Dispositivo de procesamiento de imágenes y método de procesamiento de imágenes
EP20185688.7A EP3748964A1 (en) 2010-12-07 2011-12-02 Image processing device and image processing method
EP20185680.4A EP3748963B1 (en) 2010-12-07 2011-12-02 Image processing device and image processing method
MX2016005041A MX355896B (es) 2010-12-07 2011-12-02 Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
MX2013006131A MX2013006131A (es) 2010-12-07 2011-12-02 Dispositivo de procesamiento de imagenes y metodo de procesamiento de imagenes.
KR1020137013869A KR101879890B1 (ko) 2010-12-07 2011-12-02 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020187019836A KR101963097B1 (ko) 2010-12-07 2011-12-02 화상 처리 장치 및 화상 처리 방법
CA2815819A CA2815819C (en) 2010-12-07 2011-12-02 Image processing device and image processing method for applying filtering determination processes in parallel
CN201180057815.8A CN103229506B (zh) 2010-12-07 2011-12-02 图像处理设备和图像处理方法
BR112013013509-3A BR112013013509B1 (pt) 2010-12-07 2011-12-02 Dispositivo de processamento de imagem, e, método de processamento de imagem
US15/902,870 US10362318B2 (en) 2010-12-07 2018-02-22 Image processing device and image processing method that horizontal filtering on pixel blocks
US16/391,314 US10582202B2 (en) 2010-12-07 2019-04-23 Image processing device and image processing method that horizontal filtering on pixel blocks
US16/693,374 US10931955B2 (en) 2010-12-07 2019-11-25 Image processing device and image processing method that horizontal filtering on pixel blocks

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2010-272907 2010-12-07
JP2010272907 2010-12-07
JP2011004391 2011-01-12
JP2011-004391 2011-01-12
JP2011-045652 2011-03-02
JP2011045652 2011-03-02
JP2011117557 2011-05-26
JP2011-117557 2011-05-26

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/990,893 A-371-Of-International US9973763B2 (en) 2010-12-07 2011-12-02 Image processing device and image processing method for applying filtering determination processes in parallel
US15/902,870 Continuation US10362318B2 (en) 2010-12-07 2018-02-22 Image processing device and image processing method that horizontal filtering on pixel blocks

Publications (1)

Publication Number Publication Date
WO2012077607A1 true WO2012077607A1 (ja) 2012-06-14

Family

ID=46207095

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/077953 WO2012077607A1 (ja) 2010-12-07 2011-12-02 画像処理装置及び画像処理方法

Country Status (13)

Country Link
US (4) US9973763B2 (ja)
EP (4) EP2651127B1 (ja)
JP (3) JP6011341B2 (ja)
KR (3) KR101963097B1 (ja)
CN (4) CN103229506B (ja)
AU (1) AU2011339460B2 (ja)
CA (1) CA2815819C (ja)
ES (1) ES2856823T3 (ja)
MX (3) MX355896B (ja)
MY (1) MY163146A (ja)
RU (2) RU2691962C2 (ja)
TW (4) TWI520504B (ja)
WO (1) WO2012077607A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014087861A1 (ja) * 2012-12-06 2017-01-05 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2018014743A (ja) * 2010-12-07 2018-01-25 ソニー株式会社 画像処理装置及び画像処理方法
US10334279B2 (en) 2010-12-07 2019-06-25 Sony Corporation Image processing device and image processing method
WO2023047950A1 (ja) * 2021-09-22 2023-03-30 シャープ株式会社 動画像符号化装置、動画像復号装置
JP7386883B2 (ja) 2019-02-27 2023-11-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） サブペル動きベクトルしきい値を使用するデブロッキング

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
AU2011259939B2 (en) 2010-06-04 2015-07-30 Sony Corporation Image processing device and method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5884313B2 (ja) 2011-01-18 2016-03-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム及び記録媒体
SG10201606972VA (en) 2011-02-10 2016-10-28 Sony Corp Image processing device and image processing method
BR122020013609B1 (pt) 2011-03-11 2023-02-23 Sony Corporation Aparelho e método de processamento de imagem
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
CN107318019B (zh) 2011-06-28 2020-02-28 索尼公司 图像处理装置和图像处理方法
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
TWI667913B (zh) * 2012-04-06 2019-08-01 日商新力股份有限公司 Image processing device, image processing method, computer program, and recording medium
CN105451025B (zh) * 2014-07-31 2019-03-01 富士通株式会社 图像处理方法以及装置
US20160173897A1 (en) * 2014-12-10 2016-06-16 Haihua Wu High Parallelism Dependency Pattern for GPU Based Deblock
KR102597231B1 (ko) * 2016-09-30 2023-11-03 삼성디스플레이 주식회사 영상 처리 장치, 표시 장치 및 두부 장착 표시 장치
WO2018137190A1 (en) * 2017-01-25 2018-08-02 Shanghai United Imaging Healthcare Co., Ltd. System and method for image reconstruction
KR102517616B1 (ko) * 2017-04-06 2023-04-04 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
JP2019074967A (ja) * 2017-10-17 2019-05-16 キヤノン株式会社 フィルタ処理装置およびその制御方法
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
JP7155568B2 (ja) 2018-03-26 2022-10-19 東洋製罐グループホールディングス株式会社 金属加工物
CA3094818A1 (en) * 2018-03-29 2019-10-03 Sony Corporation Image processing apparatus and image processing method
CN113545041A (zh) * 2019-03-07 2021-10-22 数字洞察力有限公司 图像编码/解码方法和设备
JP7026065B2 (ja) * 2019-03-12 2022-02-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN110213579A (zh) * 2019-06-11 2019-09-06 上海富瀚微电子股份有限公司 双核心计算单元实现环路滤波的方法
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN116114245A (zh) 2021-09-02 2023-05-12 辉达公司 在视频编码过程中视频帧的并行处理
CN116097649A (zh) * 2021-09-06 2023-05-09 辉达公司 无滤波相依性的视频帧的并行编码

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63104586A (ja) * 1986-10-21 1988-05-10 Sony Corp ブロツク符号化された画像信号の復号装置
JP2003333597A (ja) * 2002-03-07 2003-11-21 Seiko Epson Corp 画像処理装置及び画像処理プログラム、並びに画像処理方法
JP2006174138A (ja) * 2004-12-16 2006-06-29 Sony Corp データ処理装置、画像処理装置、それらの方法およびプログラム
JP2006174486A (ja) * 2004-12-17 2006-06-29 Samsung Electronics Co Ltd ビデオデータの水平及び垂直フィルタリングを同時に行うデブロッキングフィルタ及び動作方法
JP2008048181A (ja) * 2006-08-17 2008-02-28 Fujitsu Ltd デブロッキングフィルタ、画像符号化装置および画像復号化装置

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2757297B1 (fr) * 1996-12-18 1999-03-05 Thomson Multimedia Sa Procede et dispositif d'etiquetage de region
CN1239021C (zh) * 2000-04-21 2006-01-25 索尼公司 信息处理设备及方法、程序和记录介质
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
CN101448162B (zh) * 2001-12-17 2013-01-02 微软公司 处理视频图像的方法
JP4404639B2 (ja) 2002-02-15 2010-01-27 ソニー株式会社 脚式移動ロボットの脚装置並びに脚式移動ロボットの制御方法
US7620109B2 (en) * 2002-04-10 2009-11-17 Microsoft Corporation Sub-pixel interpolation in motion estimation and compensation
WO2003098929A1 (fr) * 2002-05-20 2003-11-27 Sony Corporation Appareil et procede de traitement de signal video
EP1845529B1 (en) * 2003-02-19 2011-05-04 Panasonic Corporation Recording medium, playback apparatus and recording method
KR100644618B1 (ko) * 2004-07-02 2006-11-10 삼성전자주식회사 블록 단위로 부호화된 영상의 블록경계에서의 불연속성제거필터 및 방법
US8116379B2 (en) 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7792385B2 (en) * 2005-01-25 2010-09-07 Globalfoundries Inc. Scratch pad for storing intermediate loop filter data
JP2006270851A (ja) * 2005-03-25 2006-10-05 Victor Co Of Japan Ltd 画像符号化装置及び画像復号装置
CN100420269C (zh) * 2005-12-09 2008-09-17 逐点半导体（上海）有限公司 一种图像增强处理系统和处理方法
JP4591405B2 (ja) * 2006-05-10 2010-12-01 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピュータ・プログラム
US20080123750A1 (en) * 2006-11-29 2008-05-29 Michael Bronstein Parallel deblocking filter for H.264 video codec
WO2008090793A1 (ja) * 2007-01-22 2008-07-31 Nec Corporation 画像再符号化装置、画像再符号化方法及び画像符号化プログラム
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US20110002395A1 (en) * 2008-03-31 2011-01-06 Nec Corporation Deblocking filtering processor and deblocking filtering method
US20090304086A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Method and system for video coder and decoder joint optimization
JP2010014513A (ja) * 2008-07-03 2010-01-21 Fuji Electric Holdings Co Ltd はんだフラックス中の金属成分分析方法
CN101321290B (zh) * 2008-07-17 2010-12-15 北京数码视讯科技股份有限公司 基于数字信号处理器的去块滤波方法
JPWO2010035403A1 (ja) * 2008-09-25 2012-02-16 パナソニック株式会社 フィルタ装置およびフィルタ方法
US8861586B2 (en) * 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
JP2010136245A (ja) * 2008-12-08 2010-06-17 Toshiba Corp 動画像処理装置及び方法
JP2010141513A (ja) * 2008-12-10 2010-06-24 Toshiba Corp 演算装置及び動画像符号化装置
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
CN102860005B (zh) * 2010-02-05 2016-07-06 瑞典爱立信有限公司 去块滤波控制
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JPWO2011129090A1 (ja) 2010-04-13 2013-07-11 パナソニック株式会社 符号化歪み除去方法、符号化方法、復号化方法、符号化歪み除去装置、符号化装置、および復号化装置
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
AU2011259939B2 (en) 2010-06-04 2015-07-30 Sony Corporation Image processing device and method
CN106713934B (zh) 2010-12-07 2019-04-16 索尼公司 图像处理设备和图像处理方法
MY163146A (en) * 2010-12-07 2017-08-15 Sony Corp Image processing device and image processing method
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
SG10201606972VA (en) 2011-02-10 2016-10-28 Sony Corp Image processing device and image processing method
BR122020013609B1 (pt) 2011-03-11 2023-02-23 Sony Corporation Aparelho e método de processamento de imagem
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MX342497B (es) 2012-06-29 2016-10-03 Sony Corp Dispositivo de codificacion y metodo de codificacion.

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63104586A (ja) * 1986-10-21 1988-05-10 Sony Corp ブロツク符号化された画像信号の復号装置
JP2003333597A (ja) * 2002-03-07 2003-11-21 Seiko Epson Corp 画像処理装置及び画像処理プログラム、並びに画像処理方法
JP2006174138A (ja) * 2004-12-16 2006-06-29 Sony Corp データ処理装置、画像処理装置、それらの方法およびプログラム
JP2006174486A (ja) * 2004-12-17 2006-06-29 Samsung Electronics Co Ltd ビデオデータの水平及び垂直フィルタリングを同時に行うデブロッキングフィルタ及び動作方法
JP2008048181A (ja) * 2006-08-17 2008-02-28 Fujitsu Ltd デブロッキングフィルタ、画像符号化装置および画像復号化装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K.UGUR; K.R.ANDERSSON; A.FULDSETH: "JCTVC-A119:Video coding technology proposal", DOCUMENTS OF THE FIRST MEETING OF THE JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC, 15 April 2010 (2010-04-15)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018014743A (ja) * 2010-12-07 2018-01-25 ソニー株式会社 画像処理装置及び画像処理方法
US10334279B2 (en) 2010-12-07 2019-06-25 Sony Corporation Image processing device and image processing method
US10362318B2 (en) 2010-12-07 2019-07-23 Sony Corporation Image processing device and image processing method that horizontal filtering on pixel blocks
US10582202B2 (en) 2010-12-07 2020-03-03 Sony Corporation Image processing device and image processing method that horizontal filtering on pixel blocks
US10785504B2 (en) 2010-12-07 2020-09-22 Sony Corporation Image processing device and image processing method
US10931955B2 (en) 2010-12-07 2021-02-23 Sony Corporation Image processing device and image processing method that horizontal filtering on pixel blocks
US11381846B2 (en) 2010-12-07 2022-07-05 Sony Corporation Image processing device and image processing method
JPWO2014087861A1 (ja) * 2012-12-06 2017-01-05 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP7386883B2 (ja) 2019-02-27 2023-11-27 テレフオンアクチーボラゲット エルエム エリクソン（パブル） サブペル動きベクトルしきい値を使用するデブロッキング
US11902516B2 (en) 2019-02-27 2024-02-13 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking using sub-pel motion vector threshold
WO2023047950A1 (ja) * 2021-09-22 2023-03-30 シャープ株式会社 動画像符号化装置、動画像復号装置

Also Published As

Publication number Publication date
CN106454359B (zh) 2020-05-19
EP2651127A1 (en) 2013-10-16
JP6222305B2 (ja) 2017-11-01
TWI520504B (zh) 2016-02-01
RU2585662C2 (ru) 2016-06-10
US20190253721A1 (en) 2019-08-15
CA2815819A1 (en) 2012-06-04
US20180184095A1 (en) 2018-06-28
TW201528780A (zh) 2015-07-16
TW201528779A (zh) 2015-07-16
US9973763B2 (en) 2018-05-15
US10582202B2 (en) 2020-03-03
CN106385586A (zh) 2017-02-08
BR112013013509A2 (pt) 2020-07-28
ES2856823T3 (es) 2021-09-28
CN103229506A (zh) 2013-07-31
JP2016208533A (ja) 2016-12-08
AU2011339460A2 (en) 2013-07-11
TWI569627B (zh) 2017-02-01
EP3748964A1 (en) 2020-12-09
TW201528778A (zh) 2015-07-16
RU2016105120A3 (ja) 2019-05-23
US20130259142A1 (en) 2013-10-03
RU2016105120A (ru) 2018-11-22
KR101963097B1 (ko) 2019-03-27
JP6011341B2 (ja) 2016-10-19
TWI580249B (zh) 2017-04-21
EP2651127A4 (en) 2015-03-25
US10362318B2 (en) 2019-07-23
CN103229506B (zh) 2016-11-09
EP3748962A1 (en) 2020-12-09
US10931955B2 (en) 2021-02-23
EP3748963A1 (en) 2020-12-09
TW201233188A (en) 2012-08-01
KR101963096B1 (ko) 2019-03-27
JPWO2012077607A1 (ja) 2014-05-19
CN106454358A (zh) 2017-02-22
MX338737B (es) 2016-04-29
RU2691962C2 (ru) 2019-06-19
AU2011339460B2 (en) 2015-10-29
AU2011339460A1 (en) 2013-06-13
MX355896B (es) 2018-05-04
CN106454358B (zh) 2020-03-17
MY163146A (en) 2017-08-15
EP3748963B1 (en) 2022-03-02
CA2815819C (en) 2019-12-24
KR20180085039A (ko) 2018-07-25
US20200092568A1 (en) 2020-03-19
RU2013125498A (ru) 2014-12-10
JP2018014743A (ja) 2018-01-25
KR20180085040A (ko) 2018-07-25
KR20130129381A (ko) 2013-11-28
KR101879890B1 (ko) 2018-07-18
JP6471787B2 (ja) 2019-02-20
MX2013006131A (es) 2013-06-28
EP2651127B1 (en) 2021-02-03
CN106454359A (zh) 2017-02-22
TWI580250B (zh) 2017-04-21

Similar Documents

Publication Publication Date Title
JP6471787B2 (ja) 画像処理装置及び画像処理方法
JP6471786B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11846148

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012547833

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2815819

Country of ref document: CA

ENP Entry into the national phase

Ref document number: 20137013869

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13990893

Country of ref document: US

Ref document number: 2013125498

Country of ref document: RU

Ref document number: MX/A/2013/006131

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2011339460

Country of ref document: AU

Date of ref document: 20111202

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013013509

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013013509

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130531