WO2013001957A1 - 画像処理装置と画像処理方法 - Google Patents

画像処理装置と画像処理方法 Download PDF

Info

Publication number
WO2013001957A1
WO2013001957A1 PCT/JP2012/063606 JP2012063606W WO2013001957A1 WO 2013001957 A1 WO2013001957 A1 WO 2013001957A1 JP 2012063606 W JP2012063606 W JP 2012063606W WO 2013001957 A1 WO2013001957 A1 WO 2013001957A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
filter
image
deblocking filter
boundary
Prior art date
Application number
PCT/JP2012/063606
Other languages
English (en)
French (fr)
Inventor
優 池田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47423858&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2013001957(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to KR1020197020753A priority Critical patent/KR102067368B1/ko
Priority to EP12804900.4A priority patent/EP2728870A4/en
Priority to KR1020207027807A priority patent/KR102477475B1/ko
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to AU2012277049A priority patent/AU2012277049B2/en
Priority to KR1020137033700A priority patent/KR102009050B1/ko
Priority to EP21209484.1A priority patent/EP4009638A1/en
Priority to EP17205955.2A priority patent/EP3313075B1/en
Priority to CN201280030471.6A priority patent/CN103609126B/zh
Priority to BR112013033183-6A priority patent/BR112013033183B1/pt
Priority to KR1020207005974A priority patent/KR102166220B1/ko
Priority to MX2014007788A priority patent/MX356762B/es
Priority to KR1020177011888A priority patent/KR102010160B1/ko
Priority to CA2837055A priority patent/CA2837055C/en
Priority to KR1020197022468A priority patent/KR102105497B1/ko
Priority to KR1020197021962A priority patent/KR102067369B1/ko
Priority to RU2013156835A priority patent/RU2608476C2/ru
Priority to MX2013015405A priority patent/MX352108B/es
Priority to BR122015001053-5A priority patent/BR122015001053B1/pt
Priority to JP2013522538A priority patent/JP6070553B2/ja
Priority to US14/123,375 priority patent/US10291937B2/en
Priority to EP21209483.3A priority patent/EP4009637A1/en
Priority to KR1020197021650A priority patent/KR102071201B1/ko
Priority to EP17205948.7A priority patent/EP3313074B1/en
Publication of WO2013001957A1 publication Critical patent/WO2013001957A1/ja
Priority to ZA2013/09214A priority patent/ZA201309214B/en
Priority to AU2015213302A priority patent/AU2015213302B2/en
Priority to US15/055,245 priority patent/US10298958B2/en
Priority to AU2017202655A priority patent/AU2017202655B2/en
Priority to PH12018501265A priority patent/PH12018501265A1/en
Priority to US16/266,126 priority patent/US11051043B2/en
Priority to US16/266,121 priority patent/US11039172B2/en
Priority to US17/324,110 priority patent/US11647231B2/en
Priority to US18/119,316 priority patent/US11838556B2/en
Priority to US18/374,675 priority patent/US20240031610A1/en
Priority to US18/377,318 priority patent/US12132936B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Definitions

  • This technology relates to an image processing apparatus and an image processing method. Specifically, filtering can be appropriately performed in the deblocking filter process.
  • MPEG2 compressed by orthogonal transform such as discrete cosine transform and motion compensation is used for the purpose of transmission and storage of information with high efficiency.
  • An apparatus conforming to a method such as ISO (International Organization for Standardization) / IEC (International Electrotechnical Commission) 13818-2) is widely used for both information distribution in broadcasting stations and information reception in general households.
  • H.D. can achieve higher encoding efficiency.
  • H.264 and MPEG4 Part 10 AVC (Advanced Video Coding)
  • HEVC High Efficiency Video Coding
  • the next generation image coding method can be used to efficiently compress and deliver high-resolution images of about 4000 x 2000 pixels, four times the size of high-definition images. ) Is being standardized.
  • JCTVC-A119 In the standardization work of HEVC (High Efficiency Video Coding), the next-generation image encoding method, a deblocking filter is applied to each block of 8 ⁇ 8 pixels or more in JCTVC-A119 (see Non-Patent Document 1 below). It has been proposed to do. In the method proposed in JCTVC-A119, the block size of the smallest unit to which the deblocking filter is applied is expanded, so that filtering processing for a plurality of block boundaries in the same direction within one macroblock is executed in parallel. It becomes possible to do.
  • JCT-VC Video coding technology proposal by Tandberg, Nokia, and Ericsson
  • JCT-VC Documents of the team of the int on Video Coding
  • the purpose of this technique is to appropriately apply filtering in the deblocking filter processing.
  • An image processing apparatus includes: a decoding unit that decodes an encoded stream that is encoded in units having a hierarchical structure to generate an image; an image block generated by the decoding unit; A filter unit that applies a deblocking filter to the block boundary according to the strength of the deblocking filter applied to a block boundary that is a boundary between adjacent blocks adjacent to the block, and a strong filter is applied as the strength of the deblocking filter. A control unit that controls the filter unit so as to apply a clipping process to the deblocking filter for the luminance component of the image generated by the decoding unit.
  • the control unit can apply clip processing to the value of a portion that changes when the deblocking filter is applied.
  • the control unit applies the clip processing according to the following formula:
  • the control unit can set a value that is an integer multiple of the parameter of the deblocking filter as a clip value that is used when the clipping process is performed.
  • the control unit can set a value twice as large as the parameter of the deblocking filter as a clip value used when clip processing is performed.
  • a filter strength determining unit that determines the strength of a deblocking filter to be applied to the block boundary is further included, and the filter unit applies a deblocking filter to the block boundary according to the strength determined by the filter strength determining unit.
  • the control unit applies clip processing to the deblocking filter for the luminance component of the image generated by the decoding unit when the filter strength determination unit determines that a strong filter is applied.
  • the filter unit can be controlled.
  • the filter strength determination unit can determine the strength of the deblocking filter using a plurality of lines as processing units.
  • the filter strength determination unit can determine the strength of the deblocking filter with 4 lines as processing units.
  • a filter necessity determining unit that determines whether or not to apply a deblocking filter to the block boundary using a plurality of lines as a processing unit, and the filter strength determining unit includes a deblocking filter by the filter necessity determining unit. When it is determined to apply, the strength of the deblocking filter can be determined.
  • an image processing apparatus generates an image by decoding an encoded stream encoded in units having a hierarchical structure, and generates a block of the generated image and the block. Generated when a deblocking filter is applied to the block boundary according to the strength of the deblocking filter applied to a block boundary that is a boundary with an adjacent block, and a strong filter is applied as the strength of the deblocking filter Control is performed so that the clipping process is applied to the deblocking filter for the luminance component of the image that has been processed.
  • the image processing apparatus uses a strength of a deblocking filter applied to a block boundary that is a boundary between a block of an image locally decoded and an adjacent block adjacent to the block when the image is encoded. And a deblocking filter that applies a deblocking filter to the block boundary, and a luminance component of the locally decoded image when a strong filter is applied as an intensity of the deblocking filter.
  • a control unit that controls the filter unit so as to apply clip processing to the image processing unit, and an encoding unit that encodes the image in units having a hierarchical structure using the image to which the deblocking filter is applied. .
  • the control unit can apply clip processing to the value of a portion that changes when the deblocking filter is applied.
  • the control unit applies the clip processing according to the following formula:
  • the control unit can set a value that is an integer multiple of the parameter of the deblocking filter as a clip value that is used when the clipping process is performed.
  • the control unit can set a value twice as large as the parameter of the deblocking filter as a clip value used when clip processing is performed.
  • a filter strength determining unit that determines the strength of a deblocking filter to be applied to the block boundary is further included, and the filter unit applies a deblocking filter to the block boundary according to the strength determined by the filter strength determining unit.
  • the control unit applies clip processing to the deblocking filter for the luminance component of the image generated by the decoding unit when the filter strength determination unit determines that a strong filter is applied.
  • the filter unit can be controlled.
  • the filter strength determination unit can determine the strength of the deblocking filter using a plurality of lines as processing units.
  • the filter strength determination unit can determine the strength of the deblocking filter with 4 lines as processing units.
  • a filter necessity determining unit that determines whether or not to apply a deblocking filter to the block boundary using a plurality of lines as a processing unit, and the filter strength determining unit includes a deblocking filter by the filter necessity determining unit. When it is determined to apply, the strength of the deblocking filter can be determined.
  • the image processing method is applied to a block boundary, which is a boundary between a block of an image locally decoded and an adjacent block adjacent to the block, when the image processing apparatus encodes the image.
  • the deblocking filter is applied to the block boundary according to the strength of the deblocking filter, and the strong component is applied as the strength of the deblocking filter, the luminance component of the locally decoded image is used as the target.
  • Control is performed so that clipping processing is applied to the blocking filter, and the image is encoded in units having a hierarchical structure using the image to which the deblocking filter is applied.
  • an image is generated by decoding an encoded stream encoded in a unit having a hierarchical structure, and at a boundary between a block of the generated image and an adjacent block adjacent to the block.
  • a deblocking filter is applied to the block boundary according to the strength of the deblocking filter applied to a certain block boundary. Then, when a strong filter is applied as the strength of the deblocking filter, control is performed so that the clipping process is applied to the deblocking filter for the luminance component of the generated image.
  • a deblocking filter applied to a block boundary that is a boundary between a block of an image that is locally decoded and an adjacent block adjacent to the block when the image is encoded.
  • a deblocking filter is applied to the block boundary.
  • the deblocking filter is controlled to apply a clipping process to the deblocking filter for the luminance component of the locally decoded image.
  • the image is encoded in units having a hierarchical structure.
  • FIG. 1 It is a figure which shows the main structural examples of the hierarchy image decoding apparatus to which this technique is applied. It is the figure which showed an example of the schematic structure of a television apparatus. It is the figure which showed an example of the schematic structure of a mobile telephone. It is the figure which showed an example of the schematic structure of a recording / reproducing apparatus. It is the figure which showed an example of the schematic structure of an imaging device.
  • image data for a predetermined line from the boundary BB between blocks is stored in the LCUu that is the upper block.
  • a vertical filter process is performed using the image data stored in the line memory and the image data of LCU1, which is the lower block obtained thereafter.
  • FIG. 1B when performing a filter operation using image data for four lines from the boundary BB, with three lines each from the boundary BB between blocks as the processing range of the vertical filter processing, Four lines of image data from the boundary BB of LCUu, which is the upper block, are stored in the line memory.
  • the target pixel of the deblocking filter is indicated by a double circle
  • the upper boundary of the filter processing range of the deblocking filter is indicated as “DBU”
  • DBL the lower boundary is indicated as “DBL”.
  • the memory capacity of the line memory increases as the number of pixels in the horizontal direction increases. It was.
  • FIG. 2 shows a configuration when the image processing apparatus of the present technology is applied to an image encoding apparatus.
  • the image encoding device 10 includes an analog / digital conversion unit (A / D conversion unit) 11, a screen rearrangement buffer 12, a subtraction unit 13, an orthogonal transformation unit 14, a quantization unit 15, a lossless encoding unit 16, and a storage buffer 17.
  • the rate control unit 18 is provided.
  • the image encoding device 10 includes an inverse quantization unit 21, an inverse orthogonal transform unit 22, an addition unit 23, a deblocking filter processing unit 24, a frame memory 25, a selector 26, an intra prediction unit 31, and a motion prediction / compensation unit 32.
  • the prediction image / optimum mode selection unit 33 is provided.
  • the A / D converter 11 converts an analog image signal into digital image data and outputs the digital image data to the screen rearrangement buffer 12.
  • the screen rearrangement buffer 12 rearranges the frames of the image data output from the A / D conversion unit 11.
  • the screen rearrangement buffer 12 rearranges the frames according to the GOP (Group of Pictures) structure related to the encoding process, and subtracts the image data after the rearrangement, the intra prediction unit 31, and the motion prediction / compensation unit. 32.
  • GOP Group of Pictures
  • the subtraction unit 13 is supplied with the image data output from the screen rearrangement buffer 12 and the predicted image data selected by the predicted image / optimum mode selection unit 33 described later.
  • the subtraction unit 13 calculates prediction error data that is a difference between the image data output from the screen rearrangement buffer 12 and the prediction image data supplied from the prediction image / optimum mode selection unit 33, and sends the prediction error data to the orthogonal transformation unit 14. Output.
  • the orthogonal transform unit 14 performs orthogonal transform processing such as discrete cosine transform (DCT) and Karoonen-Loeve transform on the prediction error data output from the subtraction unit 13.
  • the orthogonal transform unit 14 outputs transform coefficient data obtained by performing the orthogonal transform process to the quantization unit 15.
  • the quantization unit 15 is supplied with transform coefficient data output from the orthogonal transform unit 14 and a rate control signal from a rate control unit 18 described later.
  • the quantization unit 15 quantizes the transform coefficient data and outputs the quantized data to the lossless encoding unit 16 and the inverse quantization unit 21. Further, the quantization unit 15 changes the bit rate of the quantized data by switching the quantization parameter (quantization scale) based on the rate control signal from the rate control unit 18.
  • the lossless encoding unit 16 is supplied with quantized data output from the quantization unit 15 and prediction mode information from an intra prediction unit 31, a motion prediction / compensation unit 32, and a predicted image / optimum mode selection unit 33, which will be described later.
  • the prediction mode information includes a macroblock type, a prediction mode, motion vector information, reference picture information, and the like that can identify a prediction block size according to intra prediction or inter prediction.
  • the lossless encoding unit 16 performs a lossless encoding process on the quantized data by, for example, variable length encoding or arithmetic encoding, generates an encoded stream, and outputs the encoded stream to the accumulation buffer 17.
  • the lossless encoding unit 16 performs lossless encoding of the prediction mode information and adds it to the header information of the encoded stream.
  • the accumulation buffer 17 accumulates the encoded stream from the lossless encoding unit 16.
  • the accumulation buffer 17 outputs the accumulated encoded stream at a transmission rate corresponding to the transmission path.
  • the rate control unit 18 monitors the free capacity of the storage buffer 17, generates a rate control signal according to the free capacity, and outputs it to the quantization unit 15.
  • the rate control unit 18 acquires information indicating the free capacity from the accumulation buffer 17, for example.
  • the rate control unit 18 reduces the bit rate of the quantized data by the rate control signal when the free space is low.
  • the rate control unit 18 increases the bit rate of the quantized data by the rate control signal.
  • the inverse quantization unit 21 performs an inverse quantization process on the quantized data supplied from the quantization unit 15.
  • the inverse quantization unit 21 outputs transform coefficient data obtained by performing the inverse quantization process to the inverse orthogonal transform unit 2 2.
  • the inverse orthogonal transform unit 22 outputs the data obtained by performing the inverse orthogonal transform process on the transform coefficient data supplied from the inverse quantization unit 21 to the addition unit 23.
  • the adding unit 23 adds the data supplied from the inverse orthogonal transform unit 22 and the predicted image data supplied from the predicted image / optimum mode selection unit 33 to generate decoded image data, and the deblocking filter processing unit 24 Output to the frame memory 25.
  • the deblocking filter processing unit 24 performs filter processing for reducing block distortion that occurs during image encoding.
  • the deblocking filter processing unit 24 performs filter processing for removing block distortion from the decoded image data supplied from the addition unit 23, and outputs the image data after the filter processing to the frame memory 25. Further, the deblocking filter processing unit 24 controls an image range used for the filter calculation in the block located above the boundary according to the boundary detected by the boundary detection between the blocks in the vertical direction. In this way, by controlling the image range used for the filter calculation, the deblocking filter processing unit 24 can perform the vertical filter processing even if the memory capacity of the line memory for storing the image data is reduced. Details will be described later.
  • the frame memory 25 holds the decoded image data supplied from the adding unit 23 and the decoded image data after the filtering process supplied from the deblocking filter processing unit 24 as image data of a reference image.
  • the selector 26 supplies the pre-filter reference image data read from the frame memory 25 to the intra prediction unit 31 in order to perform intra prediction.
  • the selector 26 supplies the filtered reference image data read from the frame memory 25 to the motion prediction / compensation unit 32 to perform inter prediction.
  • the intra prediction unit 31 uses the image data of the encoding target image output from the screen rearrangement buffer 12 and the reference image data before the filter processing read from the frame memory 25, and intra of all candidate intra prediction modes. Perform prediction processing. Furthermore, the intra prediction unit 31 calculates a cost function value for each intra prediction mode, and optimizes the intra prediction mode in which the calculated cost function value is minimum, that is, the intra prediction mode in which the encoding efficiency is the best. Select as the intra prediction mode. The intra prediction unit 31 outputs the predicted image data generated in the optimal intra prediction mode, the prediction mode information regarding the optimal intra prediction mode, and the cost function value in the optimal intra prediction mode to the predicted image / optimum mode selection unit 33. In addition, the intra prediction unit 31 sends the prediction mode information related to the intra prediction mode to the lossless encoding unit 16 in the intra prediction process of each intra prediction mode in order to obtain the generated code amount used in the calculation of the cost function value as described later. Output.
  • the motion prediction / compensation unit 32 performs motion prediction / compensation processing with all the prediction block sizes corresponding to the macroblock.
  • the motion prediction / compensation unit 32 uses the filtered reference image data read from the frame memory 25 for each image of each prediction block size in the encoding target image read from the screen rearrangement buffer 12. Detect motion vectors.
  • the motion prediction / compensation unit 32 performs a motion compensation process on the decoded image based on the detected motion vector to generate a predicted image.
  • the motion prediction / compensation unit 32 calculates a cost function value for each prediction block size, and calculates a prediction block size that minimizes the calculated cost function value, that is, a prediction block size that provides the best coding efficiency. And selected as the optimal inter prediction mode.
  • the motion prediction / compensation unit 32 supplies the prediction image data generated in the optimal inter prediction mode, the prediction mode information regarding the optimal inter prediction mode, and the cost function value in the optimal inter prediction mode to the prediction image / optimum mode selection unit 33. Output.
  • the motion prediction / compensation unit 32 outputs the prediction mode information related to the inter prediction mode to the lossless encoding unit 16 in the inter prediction process with each prediction block size in order to obtain the generated code amount used in the calculation of the cost function value. To do. Note that the motion prediction / compensation unit 32 also performs prediction in a skipped macroblock or direct mode as the inter prediction mode.
  • the predicted image / optimum mode selection unit 33 compares the cost function value supplied from the intra prediction unit 31 with the cost function value supplied from the motion prediction / compensation unit 32 in units of macroblocks, and the cost function value is small. Is selected as the optimum mode with the best coding efficiency. Further, the predicted image / optimum mode selection unit 33 outputs the predicted image data generated in the optimal mode to the subtraction unit 13 and the addition unit 23. Further, the predicted image / optimum mode selection unit 33 outputs the prediction mode information of the optimal mode to the lossless encoding unit 16. Note that the predicted image / optimum mode selection unit 33 may perform intra prediction or inter prediction in units of slices.
  • the encoding unit in the claims includes an intra prediction unit 31, a motion prediction / compensation unit 32, a predicted image / optimum mode selection unit 33, a subtraction unit 13, an orthogonal transformation unit 14, and a quantization unit 15 that generate predicted image data.
  • FIG. 3 is a flowchart showing the image encoding processing operation.
  • the A / D converter 11 performs A / D conversion on the input image signal.
  • step ST12 the screen rearrangement buffer 12 performs screen rearrangement.
  • the screen rearrangement buffer 12 stores the image data supplied from the A / D conversion unit 11, and rearranges from the display order of each picture to the encoding order.
  • step ST13 the subtraction unit 13 generates prediction error data.
  • the subtraction unit 13 calculates a difference between the image data of the images rearranged in step ST12 and the predicted image data selected by the predicted image / optimum mode selection unit 33, and generates prediction error data.
  • the prediction error data has a smaller data amount than the original image data. Therefore, the data amount can be compressed as compared with the case where the image is encoded as it is.
  • the predicted image / optimum mode selection unit 33 selects the predicted image supplied from the intra prediction unit 31 and the predicted image from the motion prediction / compensation unit 32 in units of slices, the prediction image / optimum mode selection unit 33 supplied from the intra prediction unit 31. Intra prediction is performed on the slice from which the predicted image is selected. In addition, inter prediction is performed in the slice in which the prediction image from the motion prediction / compensation unit 32 is selected.
  • the orthogonal transform unit 14 performs an orthogonal transform process.
  • the orthogonal transformation unit 14 performs orthogonal transformation on the prediction error data supplied from the subtraction unit 13. Specifically, orthogonal transformation such as discrete cosine transformation and Karhunen-Loeve transformation is performed on the prediction error data, and transformation coefficient data is output.
  • step ST15 the quantization unit 15 performs a quantization process.
  • the quantization unit 15 quantizes the transform coefficient data.
  • rate control is performed as described in the process of step ST25 described later.
  • step ST16 the inverse quantization unit 21 performs an inverse quantization process.
  • the inverse quantization unit 21 inversely quantizes the transform coefficient data quantized by the quantization unit 15 with characteristics corresponding to the characteristics of the quantization unit 15.
  • the inverse orthogonal transform unit 22 performs an inverse orthogonal transform process.
  • the inverse orthogonal transform unit 22 performs inverse orthogonal transform on the transform coefficient data inversely quantized by the inverse quantization unit 21 with characteristics corresponding to the characteristics of the orthogonal transform unit 14.
  • step ST18 the adding unit 23 generates decoded image data.
  • the adder 23 adds the predicted image data supplied from the predicted image / optimum mode selection unit 33 and the data after inverse orthogonal transformation of the position corresponding to the predicted image to generate decoded image data.
  • the deblocking filter processing unit 24 performs deblocking filter processing.
  • the deblocking filter processing unit 24 filters the decoded image data output from the adding unit 23 to remove block distortion. Further, the deblocking filter processing unit 24 can perform the vertical filter processing even if the memory capacity of the line memory for storing the image data is reduced. Specifically, the deblocking filter processing unit 24 controls the image range used for the filter operation in the block located above the boundary according to the boundary detected by the boundary detection between the blocks in the vertical direction.
  • step ST20 the frame memory 25 stores the decoded image data.
  • the frame memory 25 stores the decoded image data before the deblocking filter process.
  • the intra prediction unit 31 and the motion prediction / compensation unit 32 each perform a prediction process. That is, the intra prediction unit 31 performs intra prediction processing in the intra prediction mode, and the motion prediction / compensation unit 32 performs motion prediction / compensation processing in the inter prediction mode.
  • prediction processes in all candidate prediction modes are performed, and cost function values in all candidate prediction modes are calculated.
  • the optimal intra prediction mode and the optimal inter prediction mode are selected, and the prediction image generated in the selected prediction mode and its cost function and prediction mode information are predicted image / optimum mode. It is supplied to the selector 33.
  • the predicted image / optimum mode selection unit 33 selects predicted image data.
  • the predicted image / optimum mode selection unit 33 determines the optimal mode with the best coding efficiency based on the cost function values output from the intra prediction unit 31 and the motion prediction / compensation unit 32. Further, the predicted image / optimum mode selection unit 33 selects the predicted image data of the determined optimal mode and supplies it to the subtraction unit 13 and the addition unit 23. As described above, this predicted image is used for the calculations in steps ST13 and ST18.
  • the lossless encoding unit 16 performs a lossless encoding process.
  • the lossless encoding unit 16 performs lossless encoding on the quantized data output from the quantization unit 15. That is, lossless encoding such as variable length encoding or arithmetic encoding is performed on the quantized data, and the data is compressed.
  • the prediction mode information (for example, including macroblock type, prediction mode, motion vector information, reference picture information, etc.) input to the lossless encoding unit 16 in step ST22 described above is also losslessly encoded.
  • lossless encoded data of prediction mode information is added to header information of an encoded stream generated by lossless encoding of quantized data.
  • step ST24 the accumulation buffer 17 performs an accumulation process and accumulates the encoded stream.
  • the encoded stream stored in the storage buffer 17 is read as appropriate and transmitted to the decoding side via the transmission path.
  • step ST25 the rate control unit 18 performs rate control.
  • the rate control unit 18 controls the quantization operation rate of the quantization unit 15 so that overflow or underflow does not occur in the storage buffer 17 when the encoded buffer is stored in the storage buffer 17.
  • the intra prediction unit 31 performs an intra prediction process.
  • the intra prediction unit 31 performs intra prediction on the image of the block to be processed in all candidate intra prediction modes.
  • stored in the frame memory 25 is used for the image data of the reference image referred in intra prediction, without performing the filter process by the deblocking filter process part 24.
  • FIG. Although details of the intra prediction process will be described later, by this process, intra prediction is performed in all candidate intra prediction modes, and cost function values are calculated for all candidate intra prediction modes. Then, based on the calculated cost function value, one intra prediction mode with the best coding efficiency is selected from all the intra prediction modes.
  • the motion prediction / compensation unit 32 performs inter prediction processing.
  • the motion prediction / compensation unit 32 performs inter prediction processing in all candidate inter prediction modes (all prediction block sizes) using the filtered reference image data stored in the frame memory 25. Although details of the inter prediction process will be described later, by this process, prediction processing is performed in all candidate inter prediction modes, and cost function values are calculated for all candidate inter prediction modes. Then, based on the calculated cost function value, one inter prediction mode with the best coding efficiency is selected from all the inter prediction modes.
  • step ST31 the intra prediction unit 31 performs intra prediction in each prediction mode.
  • the intra prediction unit 31 uses the decoded image data before filter processing stored in the frame memory 25 to generate predicted image data for each intra prediction mode.
  • step ST32 the intra prediction unit 31 calculates a cost function value for each prediction mode. For example, all the prediction modes that are candidates are subjected to the lossless encoding process, and the cost function value represented by the following equation (1) is calculated for each prediction mode.
  • ⁇ indicates the entire set of prediction modes that are candidates for encoding the block or macroblock.
  • D indicates the differential energy (distortion) between the decoded image and the input image when encoding is performed in the prediction mode.
  • R is a generated code amount including orthogonal transform coefficients and prediction mode information, and ⁇ is a Lagrange multiplier given as a function of the quantization parameter QP.
  • ⁇ indicates the entire set of prediction modes that are candidates for encoding the block or macroblock.
  • D indicates the differential energy (distortion) between the decoded image and the input image when encoding is performed in the prediction mode.
  • Header_Bit is a header bit for the prediction mode, and QPtoQuant is a function given as a function of the quantization parameter QP.
  • step ST33 the intra prediction unit 31 determines the optimal intra prediction mode. Based on the cost function value calculated in step ST32, the intra prediction unit 31 selects one intra prediction mode having the minimum cost function value from them, and determines the optimal intra prediction mode.
  • the motion prediction / compensation unit 32 determines a motion vector and a reference image for each prediction mode. That is, the motion prediction / compensation unit 32 determines a motion vector and a reference image for each block to be processed in each prediction mode.
  • step ST42 the motion prediction / compensation unit 32 performs motion compensation for each prediction mode.
  • the motion prediction / compensation unit 32 performs motion compensation on the reference image based on the motion vector determined in step ST41 for each prediction mode (each prediction block size), and generates predicted image data for each prediction mode.
  • the motion prediction / compensation unit 32 In step ST43, the motion prediction / compensation unit 32 generates motion vector information for each prediction mode.
  • the motion prediction / compensation unit 32 generates motion vector information to be included in the encoded stream for the motion vector determined in each prediction mode. For example, a predicted motion vector is determined using median prediction or the like, and motion vector information indicating a difference between the motion vector detected by motion prediction and the predicted motion vector is generated.
  • the motion vector information generated in this way is also used to calculate the cost function value in the next step ST44, and finally when the corresponding predicted image is selected by the predicted image / optimum mode selection unit 33. Is included in the prediction mode information and output to the lossless encoding unit 16.
  • step ST44 the motion prediction / compensation unit 32 calculates a cost function value for each inter prediction mode.
  • the motion prediction / compensation unit 32 calculates the cost function value using the above-described equation (1) or equation (2).
  • step ST45 the motion prediction / compensation unit 32 determines the optimal inter prediction mode. Based on the cost function value calculated in step ST44, the motion prediction / compensation unit 32 selects one prediction mode having the minimum cost function value from them, and determines the optimum inter prediction mode.
  • Configuration when applied to an image decoding device An encoded stream generated by encoding an input image is supplied to an image decoding device via a predetermined transmission path, a recording medium, and the like and decoded.
  • FIG. 6 shows the configuration of the image decoding apparatus.
  • the image decoding device 50 includes an accumulation buffer 51, a lossless decoding unit 52, an inverse quantization unit 53, an inverse orthogonal transform unit 54, an addition unit 55, a deblocking filter processing unit 56, a screen rearrangement buffer 57, and a D / A conversion unit 58. It has. Furthermore, the image decoding device 50 includes a frame memory 61, selectors 62 and 65, an intra prediction unit 63, and a motion compensation unit 64.
  • the accumulation buffer 51 accumulates the transmitted encoded stream.
  • the lossless decoding unit 52 decodes the encoded stream supplied from the accumulation buffer 51 by a method corresponding to the encoding method of the lossless encoding unit 16 of FIG.
  • the lossless decoding unit 52 also outputs prediction mode information obtained by decoding the header information of the encoded stream to the intra prediction unit 63 and the motion compensation unit 64.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 by a method corresponding to the quantization method of the quantization unit 15 of FIG.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform on the output of the inverse quantization unit 53 by a method corresponding to the orthogonal transform method of the orthogonal transform unit 14 of FIG.
  • the addition unit 55 adds the data after inverse orthogonal transformation and the predicted image data supplied from the selector 65 to generate decoded image data, and outputs the decoded image data to the deblocking filter processing unit 56 and the frame memory 61.
  • the deblocking filter processing unit 56 performs filter processing on the decoded image data supplied from the addition unit 55 in the same manner as the deblocking filter processing unit 24 in FIG. And output to the frame memory 61.
  • the screen rearrangement buffer 57 rearranges images. That is, the order of frames rearranged for the encoding order by the screen rearrangement buffer 12 in FIG. 2 is rearranged in the original display order and output to the D / A converter 58.
  • the D / A conversion unit 58 performs D / A conversion on the image data supplied from the screen rearrangement buffer 57 and outputs it to a display (not shown) to display an image.
  • the frame memory 61 holds the decoded image data before the filtering process supplied from the adding unit 55 and the decoded image data after the filtering process supplied from the deblocking filter processing unit 56 as image data of the reference image.
  • the selector 62 Based on the prediction mode information supplied from the lossless decoding unit 52, the selector 62 receives the reference image data before the filter process read from the frame memory 61 when the prediction block subjected to the intra prediction is decoded. This is supplied to the prediction unit 63. The selector 26 also performs reference image data after filter processing read from the frame memory 61 when decoding of the prediction block on which inter prediction has been performed is performed based on the prediction mode information supplied from the lossless decoding unit 52. Is supplied to the motion compensation unit 64.
  • the intra prediction unit 63 generates a predicted image based on the prediction mode information supplied from the lossless decoding unit 52, and outputs the generated predicted image data to the selector 65.
  • the motion compensation unit 64 performs motion compensation based on the prediction mode information supplied from the lossless decoding unit 52, generates predicted image data, and outputs the predicted image data to the selector 65. That is, the motion compensation unit 64 performs motion compensation with the motion vector based on the motion vector information for the reference image indicated by the reference frame information based on the motion vector information and the reference frame information included in the prediction mode information. Predictive image data is generated.
  • the selector 65 supplies the predicted image data generated by the intra prediction unit 63 to the addition unit 55. Further, the selector 65 supplies the predicted image data generated by the motion compensation unit 64 to the addition unit 55.
  • the decoding unit in the claims includes a lossless decoding unit 52, an inverse quantization unit 53, an inverse orthogonal transform unit 54, an addition unit 55, an intra prediction unit 63, a motion compensation unit 64, and the like.
  • step ST51 the accumulation buffer 51 accumulates the transmitted encoded stream.
  • step ST52 the lossless decoding unit 52 performs lossless decoding processing.
  • the lossless decoding unit 52 decodes the encoded stream supplied from the accumulation buffer 51. That is, quantized data of each picture encoded by the lossless encoding unit 16 in FIG. 2 is obtained.
  • the lossless decoding unit 52 ⁇ performs lossless decoding of the prediction mode information included in the header information of the encoded stream, and supplies the obtained prediction mode information to the deblocking filter processing unit 56 and the selectors 62 and 65.
  • the lossless decoding unit 52 outputs the prediction mode information to the intra prediction unit 63 when the prediction mode information is information related to the intra prediction mode.
  • the lossless decoding part 52 outputs prediction mode information to the motion compensation part 64, when prediction mode information is the information regarding inter prediction mode.
  • step ST53 the inverse quantization unit 53 performs an inverse quantization process.
  • the inverse quantization unit 53 inversely quantizes the quantized data decoded by the lossless decoding unit 52 with characteristics corresponding to the characteristics of the quantization unit 15 of FIG.
  • step ST54 the inverse orthogonal transform unit 54 performs an inverse orthogonal transform process.
  • the inverse orthogonal transform unit 54 performs inverse orthogonal transform on the transform coefficient data inversely quantized by the inverse quantization unit 53 with characteristics corresponding to the characteristics of the orthogonal transform unit 14 of FIG.
  • step ST55 the addition unit 55 generates decoded image data.
  • the adder 55 adds the data obtained by performing the inverse orthogonal transform process and the predicted image data selected in step ST59 described later to generate decoded image data. As a result, the original image is decoded.
  • step ST56 the deblocking filter processing unit 56 performs deblocking filter processing.
  • the deblocking filter processing unit 56 performs a filtering process on the decoded image data output from the adding unit 55 to remove block distortion included in the decoded image.
  • step ST57 the frame memory 61 performs a process of storing decoded image data.
  • step ST58 the intra prediction unit 63 and the motion compensation unit 64 perform prediction processing.
  • the intra prediction unit 63 and the motion compensation unit 64 perform a prediction process corresponding to the prediction mode information supplied from the lossless decoding unit 52, respectively.
  • the intra prediction unit 63 performs intra prediction processing based on the prediction mode information, and generates predicted image data.
  • the motion compensation unit 64 performs motion compensation based on the prediction mode information, and generates predicted image data.
  • step ST59 the selector 65 selects predicted image data. That is, the selector 65 selects the prediction image supplied from the intra prediction unit 63 and the prediction image data generated by the motion compensation unit 64 and supplies the selected prediction image data to the adding unit 55. As described above, the selector 65 performs inverse orthogonal in step ST55. It is added to the output of the conversion unit 54.
  • step ST60 the screen rearrangement buffer 57 performs screen rearrangement. That is, the screen rearrangement buffer 57 rearranges the order of frames rearranged for encoding by the screen rearrangement buffer 12 of the image encoding device 10 of FIG. 2 to the original display order.
  • step ST61 the D / A converter 58 D / A converts the image data from the screen rearrangement buffer 57. This image is output to a display (not shown), and the image is displayed.
  • the boundary between blocks includes a boundary detected by detecting a boundary between blocks in the horizontal direction, that is, a boundary between blocks adjacent to the left and right (hereinafter referred to as “vertical boundary”).
  • the boundary between blocks includes a boundary detected by performing boundary detection between blocks in the vertical direction, that is, a boundary between vertically adjacent blocks (hereinafter referred to as “line boundary”).
  • FIG. 8 is an explanatory diagram showing an example of pixels in two blocks BKa and BKb that are adjacent to each other across a boundary.
  • a vertical boundary will be described as an example, but the present invention can be equally applied to a line boundary.
  • the image data of the pixels in the block BKa is indicated by the symbol “pi, j”.
  • i is the column index of the pixel
  • j is the index of the row of the pixel.
  • the minimum encoding processing unit is a block unit of 8 pixels ⁇ 8 pixels, and the column index i is numbered as 0, 1, 2, 3 in order from the column close to the vertical boundary (from right to left). .
  • the row index j is numbered 0, 1, 2,..., 7 from top to bottom.
  • the left half of the block BKa is omitted in the figure.
  • the image data of the pixels in the block BKb is indicated by the symbol “qk, j”.
  • k is the column index of the pixel
  • j is the row index of the pixel.
  • the column index k is numbered 0, 1, 2, 3 in order from the column close to the vertical boundary (from left to right).
  • the right half of the block BKb is also omitted in the figure.
  • the filtering processing of the pixels on the left and right of the boundary is performed.
  • the filter strength is switched between a strong filter and a weak filter in accordance with the value of the image data.
  • Equation (3) to (5) it is determined for each line (or for each column) whether or not the discrimination conditions of Equations (3) to (5) are satisfied, and Equations (3) to (5) A strong filter is selected when all the determination conditions are satisfied, and a weak filter is selected when any one of the determination conditions is not satisfied.
  • Equation (3) is a value calculated based on Equation (6).
  • ⁇ in equations (4) and (5) and “tc” in equation (5) are values set based on the quantization parameter Q as shown in Table 1.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (7) to (11).
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (12) to (18).
  • the color difference component of each pixel in the haze filter processing range is calculated by performing the calculations of Expressions (19) to (21).
  • a filtering process is performed by performing an operation performed for each line using pixels in the horizontal direction on the vertical boundary for each column using pixels in the vertical direction.
  • the deblocking filter processing unit 24 of the image encoding device 10 and the deblocking filter processing unit 56 of the image decoding device 50 have the same configuration and the same operation, and only the deblocking filter processing unit 24 will be described. Do.
  • FIG. 9 illustrates the configuration of the first embodiment of the deblocking filter processing unit.
  • the deblocking filter processing unit 24 includes a line memory 241, a line boundary detection unit 242, a filter strength determination unit 243, a coefficient memory 244, a filter calculation unit 245, and a filter control unit 246.
  • the line memory 241 stores the image data supplied from the adding unit 23 based on the control signal from the filter control unit 246. In addition, the stored image data is read and output to the line boundary detection unit 242, the filter strength determination unit 243, and the filter calculation unit 245.
  • the line boundary detection unit 242 detects a line boundary that performs vertical filter processing.
  • the line boundary detection unit 242 performs the above-described filtering necessity determination process for each block using the image data supplied from the addition unit 23 and the image data read from the line memory 241, and performs a vertical filter process. Is detected.
  • the line boundary detection unit 242 outputs the detection result to the filter strength determination unit 243.
  • the filter strength determination unit 243 determines the filter strength as described above.
  • the filter strength determination unit 243 determines whether to perform the vertical filter processing with strong filtering or weak filtering using the image data of two blocks adjacent to each other with the line boundary on which vertical filtering is performed. The result is output to the filter calculation unit 245.
  • the coefficient memory 244 stores filter coefficients used for the filter operation of the deblocking filter process.
  • the filter calculation unit 245 uses the image data supplied from the addition unit 23, the image data stored in the line memory 241, and the filter coefficient read from the coefficient memory 244 to determine the filter determined by the filter strength determination unit 243. Perform filter calculation by intensity.
  • the filter calculation unit 245 outputs the image data subjected to the vertical filter processing to the frame memory 25.
  • the filter calculation unit 245 controls the image range used for the filter calculation in the block located above the line boundary based on the block boundary determination result supplied from the filter control unit 246.
  • the filter control unit 246 controls the line memory 241 to store image data for a predetermined number of lines on the lower end side in the block. Also, the stored image data is read out. Further, the filter control unit 246 includes a line boundary determination unit 2461. The line boundary determination unit 2461 determines whether the line boundary is between block units that are sequentially processed in the raster scan direction, for example, an LCU, and outputs the determination result to the filter calculation unit 245. The filter calculation unit 245 performs control so that vertical filter processing can be performed even if the memory capacity of the line memory is reduced.
  • FIG. 10 shows the operation of the first embodiment of the deblocking filter processing unit.
  • the deblocking filter processing unit 24 detects a line boundary.
  • the deblocking filter processing unit 24 detects a line boundary for performing vertical filter processing.
  • step ST72 the deblocking filter processing unit 24 determines the filter strength.
  • the deblocking filter processing unit 24 determines which of the strong filter and the weak filter is used for the line boundary on which the vertical filter process is performed.
  • step ST73 the deblocking filter processing unit 24 determines whether the boundary for performing the vertical filter processing is a line boundary between LCUs.
  • the deblocking filter processing unit 24 proceeds to step ST74 when the boundary for performing the vertical filter processing is a line boundary between LCUs, and proceeds to step ST75 when the boundary is not a line boundary between LCUs.
  • step ST74 the deblocking filter processing unit 24 performs range reduction vertical filter processing.
  • the deblocking filter processing unit 24 performs vertical filter processing by reducing the image range used for the filter operation for the LCU adjacent on the upper side, and proceeds to step ST76.
  • step ST75 the deblocking filter processing unit 24 performs normal vertical filter processing.
  • the deblocking filter processing unit 24 performs vertical filter processing using preset taps and coefficients without reducing the image range used for the filter calculation, and proceeds to step ST76.
  • step ST76 the deblocking filter processing unit 24 determines whether or not the boundary vertical filter processing has been completed. If the vertical filtering process for each column at the boundary is not completed, the deblocking filter processing unit 24 returns to step ST76 and performs the process for the next column. On the other hand, when the vertical filter processing of each column at the boundary is completed, the process proceeds to step ST77.
  • step ST77 the deblocking filter processing unit 24 determines whether the processing is completed up to the end of the screen. When the process has not been performed to the end of the screen, the deblocking filter processing unit 24 returns to step ST71, detects a new boundary, and performs the vertical filter process. Moreover, the deblocking filter process part 24 complete
  • FIG. 11 shows the configuration of the filter operation unit when the vertical filter processing is performed by changing the tap image data.
  • FIG. 12 shows the configuration of the filter calculation unit when the vertical filter processing is performed by changing the number of taps.
  • the filter calculation unit 245 includes a data storage unit 2451, a data selection unit 2452, and a calculation processing unit 2453.
  • the data storage unit 2451 stores image data used as a tap of the line position that has been reduced.
  • the data storage unit 2451 outputs the stored image data to the data selection unit 2452 as the image data of the tap at the position of the reduced line.
  • the data selection unit 2452 selects the image data stored in the data storage unit 2451 and the image data stored in the line memory, and outputs the selected image data to the arithmetic processing unit 2453.
  • the calculation processing unit 2453 performs calculation using the image data supplied from the addition unit 23 and the data selection unit 2452 and the filter coefficient read from the coefficient memory 244 to generate image data after the vertical filter processing to generate the frame memory 25. Output to.
  • the filter calculation unit 245 includes a calculation processing unit 2455 and a calculation processing unit 2456.
  • the arithmetic processing unit 2455 performs arithmetic processing with a predetermined number of taps, and outputs the image data after the vertical filter processing to the data selection unit 2457.
  • the arithmetic processing unit 2456 performs arithmetic processing without using the image data of the reduced lines by reducing the number of taps according to the reduction of the line memory, and the image data after the vertical filter processing is used as the data selection unit 2457. Output to.
  • the data selection unit 2457 selects image data depending on whether the boundary is a line boundary between LCUs.
  • the data selection unit 2457 selects the image data output from the arithmetic processing unit 2455 when the boundary is not a line boundary between LCUs. Further, the data selection unit 2457 selects the image data output from the arithmetic processing unit 2456 when the boundary is a line boundary between LCUs.
  • FIG. 13 is a diagram for explaining the operation of the filter calculation unit 245.
  • the image data of each pixel of two adjacent blocks BKu and BKl is shown.
  • the filter processing range of the vertical filter processing is a range of 3 pixels from the boundary (line boundary) BB, and the filter operation is performed using 4 pixels from the boundary BB as taps.
  • the arithmetic processing units 2453 and 2455 perform the above-described equations (12) to (18) for each column.
  • the arithmetic processing units 2453 and 2455 perform the above-described equations (7) to (10) for each column.
  • the filter calculation unit 245 controls the image range used for the filter calculation in the block located above the boundary BB, so that the vertical filter processing can be performed even if the memory capacity of the line memory is reduced.
  • image data for three lines from the boundary BB is stored, and vertical filter processing is performed using the stored image data. That is, the arithmetic processing unit 2453 illustrated in FIG. 11 performs the calculation of Expression (25). 12 performs the calculation of Expression (26), and the data selection unit 2457 selects and outputs the image data from the calculation processing unit 2456.
  • the arithmetic processing unit 2453 uses the upper pixel of the filter processing range by copying it upward in the upper block BKu. That is, by using the image data p2 of the pixel at the upper end of the filter processing range stored in the data storage unit 2451 as the image data p3, the image data p2i ′ after the filter processing is calculated by the calculation of Expression (25).
  • the arithmetic processing unit 2456 the number of taps is reduced, and the image data p2i ′ after the filter processing is calculated by the calculation of Expression (26) by using the coefficient changed corresponding to the reduction in the number of taps.
  • the coefficient is changed by changing the coefficient of the image data p2 from “3 ⁇ 5” in correspondence with copying of the pixel at the upper end of the tap range.
  • the boundary BB is not a line boundary between LCUs, it is not necessary to use the image data in the line memory 241. Therefore, the same filter operation is performed without narrowing the image range used for the filter operation. That is, the arithmetic processing unit 2453 shown in FIG. 11 performs the same filter operation as that of the prior art. Also, the arithmetic processing unit 2455 shown in FIG. 12 performs the same filter operation as the conventional one, and the data selection unit 2457 selects and outputs the image data from the arithmetic processing unit 2455.
  • the deblocking filter process can be performed.
  • one line in a 4K ⁇ 2K image corresponds to two lines in a 2K ⁇ 1K image.
  • H.264 / AVC system includes a line memory for four lines, and the memory capacity for one line in a 4K ⁇ 4 ⁇ 2K image is H.264. This corresponds to a memory capacity of 50% of the H.264 / AVC format. That is, the effect of reducing the memory capacity is increased in a high resolution image.
  • the second embodiment of the deblocking filter processing unit differs from the first embodiment in the operations of the arithmetic processing unit 2453 and the arithmetic processing unit 2456.
  • boundary BB is a line boundary between LCUs in the strong filtering
  • the block above the boundary BB is shown in FIG. In BKu, it is necessary to store image data for four lines from the boundary BB in the line memory.
  • the filter calculation unit 245 controls the image range used for the filter calculation in the block located above the boundary BB, so that the vertical filter processing can be performed even if the memory capacity of the line memory is reduced.
  • image data for three lines from the boundary BB is stored, and vertical filter processing is performed using the stored image data. That is, the arithmetic processing unit 2453 illustrated in FIG. 11 performs the calculation of Expression (27). 12 performs the calculation of Expression (28), and the data selection unit 2457 selects and outputs the image data from the calculation processing unit 2456.
  • the arithmetic processing unit 2453 performs mirror copying in the upper block BKu with reference to the uppermost pixel of the filter processing range. That is, the image data p1 is stored in the data storage unit 2451, and this image data p1 is mirror-copied using the uppermost pixel of the filter processing range as a reference and used as the image data p3.
  • the processed image data p2i ′ is calculated.
  • the calculation processing unit 2456 calculates the image data p2i ′ after the filter processing by the calculation of Expression (28) by reducing the number of taps and using the coefficient changed corresponding to the reduction in the number of taps.
  • the coefficient is changed by changing the coefficient of the image data p1 from “2 ⁇ 3” so as to correspond to mirror copying with the uppermost pixel of the filter processing range as a reference.
  • the boundary BB is not a line boundary between LCUs, it is not necessary to use the image data in the line memory 241. Therefore, the same filter operation is performed without narrowing the image range used for the filter operation. That is, the arithmetic processing unit 2453 shown in FIG. 11 performs the same filter operation as that of the prior art. Also, the arithmetic processing unit 2455 shown in FIG. 12 performs the same filter operation as the conventional one, and the data selection unit 2457 selects and outputs the image data from the arithmetic processing unit 2455.
  • the memory capacity can be reduced by controlling the image range used for the filter calculation, as in the first embodiment. Even deblocking filter processing can be performed.
  • the third embodiment of the deblocking filter processing unit is different from the first and second embodiments in the operations of the arithmetic processing unit 2453 and the arithmetic processing unit 2456.
  • FIG. 14 is a diagram for explaining the operation of the filter calculation unit 245.
  • the image data of each pixel of two adjacent blocks BKu and BKl is shown.
  • the filter processing range of the vertical filter processing is a range of 3 pixels from the boundary (line boundary) BB, and the filter operation is performed using 4 pixels from the boundary BB as taps.
  • the arithmetic processing units 2453 and 2455 perform the calculations of the above formulas (12) to (18) for each column.
  • the arithmetic processing units 2453 and 2455 perform the above-described equations (7) to (10) for each column.
  • the filter calculation unit 245 can perform vertical filter processing even if the memory capacity of the line memory is reduced by controlling the filter processing range and the image range used for the filter calculation in the block located above the boundary BB.
  • the filter processing range in the upper block BKu is set to a range of two pixels from the boundary BB, and image data for two lines from the boundary BB is stored.
  • vertical filter processing is performed using the stored image data as in the first embodiment. That is, the arithmetic processing unit 2453 shown in FIG. 11 performs the calculations of equations (29) and (30). Further, the arithmetic processing unit 2456 shown in FIG.
  • the arithmetic processing unit 2453 uses the upper pixel of the filter processing range by copying it upward in the upper block BKu. That is, by using the image data p1 of the pixel at the upper end of the filter processing range stored in the data storage unit 2451 as the image data p2, the image data p1i ′ and p0i ′ after the filter processing by the calculation of Expressions (29) and (30). Is calculated.
  • the arithmetic processing unit 2456 the number of taps is reduced, and the coefficient changed in response to the reduction in the number of taps is used, whereby the image data p1i ′, p0i 'is calculated.
  • the coefficient is changed so that the coefficient of the image data p1 in the equation (31) is “1 ⁇ 2” and the coefficient of the image data p1 in the equation (32) is set to correspond to the double copy of the pixel at the upper end of the tap range. Change to “2 ⁇ 3”.
  • the boundary BB is not the boundary of the LCU, it is not necessary to use the image data in the line memory 241. Therefore, the same filter operation is performed without narrowing the image range used for the filter operation. That is, the arithmetic processing unit 2453 shown in FIG. 11 performs the same filter operation as that of the prior art. Also, the arithmetic processing unit 2455 shown in FIG. 12 performs the same filter operation as the conventional one, and the data selection unit 2457 selects and outputs the image data from the arithmetic processing unit 2455.
  • the boundary is a line boundary of a block that is sequentially processed in the raster scan direction
  • the same as before the reduction Deblocking filtering can be performed.
  • the memory capacity can be further reduced.
  • the fourth embodiment of the deblocking filter processing unit is different from the third embodiment in the operations of the arithmetic processing unit 2453 and the arithmetic processing unit 2456.
  • boundary BB is a line boundary between LCUs in the strong filtering
  • the block above the boundary BB is shown in FIG. In BKu, it is necessary to store image data for four lines from the boundary BB in the line memory.
  • the filter calculation unit 245 can perform vertical filter processing even if the memory capacity of the line memory is reduced by controlling the filter processing range and the image range used for the filter calculation in the block located above the boundary BB.
  • the filter processing range in the upper block BKu is set to a range of two pixels from the boundary BB, and image data for two lines from the boundary BB is stored.
  • vertical filter processing is performed using the stored image data as in the second embodiment. That is, the arithmetic processing unit 2453 illustrated in FIG. 11 performs the calculations of Expressions (33) and (34). Further, the arithmetic processing unit 2456 shown in FIG.
  • Expressions (35) and (36) perform the arithmetic operations of Expressions (35) and (36), and the data selection unit 2457 selects and outputs the image data from the arithmetic processing unit 2456.
  • the arithmetic processing unit 2453 performs mirror copying in the upper block BKu with reference to the uppermost pixel of the filter processing range. That is, the image data p0 is stored in the data storage unit 2451, and the image data p0 is mirror-copied using the uppermost pixel of the filter processing range as a reference and used as the image data p2. To calculate the image data p1 i ′, p0i ′.
  • the arithmetic processing unit 2456 the number of taps is reduced, and the coefficient changed in response to the reduction in the number of taps is used, so that the image data p1i ′, p0i 'is calculated.
  • the change of the coefficient in this case corresponds to mirror copying with the uppermost pixel of the filter processing range as a reference, the coefficient of the image data p0 in the equation (35) is “1 ⁇ 2”, and the image data in the equation (36) The coefficient of p0 is changed from “2 ⁇ 3”.
  • the boundary BB is not a line boundary between LCUs, it is not necessary to use the image data in the line memory 241. Therefore, the same filter operation is performed without narrowing the image range used for the filter operation. That is, the arithmetic processing unit 2453 shown in FIG. 11 performs the same filter operation as that of the prior art. Also, the arithmetic processing unit 2455 shown in FIG. 12 performs the same filter operation as the conventional one, and the data selection unit 2457 selects and outputs the image data from the arithmetic processing unit 2455.
  • the boundary is a line boundary of a block that is sequentially processed in the raster scan direction
  • the same as before the reduction Deblocking filtering can be performed.
  • the memory capacity can be further reduced.
  • the above-described deblocking filter processing unit controls the image range and the filter processing range used for the filter calculation in the block located above the boundary depending on whether or not the boundary BB is a line boundary between LCUs. I am doing so.
  • a mode for controlling the image range only for the line boundary between the LCUs and a mode for controlling the image range regardless of whether the boundary BB is a line boundary between the LCUs The case where it is provided will be described.
  • FIG. 15 is a flowchart showing the operation of the fifth embodiment.
  • the deblocking filter processing unit 24 detects a line boundary.
  • the deblocking filter processing unit 24 detects a line boundary for performing vertical filter processing.
  • step ST82 the deblocking filter processing unit 24 determines the filter strength. The deblocking filter processing unit 24 determines whether to use strong filtering or weak filtering for the line boundary on which the vertical filtering process is performed.
  • step ST83 the deblocking filter processing unit 24 determines whether or not to perform the vertical filter processing by reducing the range of the vertical boundary only for the line boundary between the LCUs, that is, reducing the image range used for the filter calculation.
  • the deblocking filter processing unit 24 performs the range reduction vertical filter processing not only on the line boundary between LCUs but also on the line boundary of a block having a size smaller than the LCU, the process proceeds to step ST84. Further, when the deblocking filter processing unit 24 performs the range reduction vertical filter processing only on the line boundary between LCUs, the process proceeds to step ST85.
  • the deblocking filter processing unit 24 determines whether or not to perform the range reduction vertical filter processing only on the line boundary between LCUs based on, for example, a quantization parameter set in units of frames. When the quantization parameter is small, the image quality is better than when the quantization parameter is large. Therefore, the deblocking filter processing unit 24 performs the range reduction vertical filter processing only on the line boundary between the LCUs when the quantization parameter is larger than the preset threshold value, and the line boundary of the block smaller in size than the LCU. Is determined to be a mode for improving image quality by performing normal vertical filter processing, and the process proceeds to step ST84.
  • the deblocking filter processing unit 24 performs range reduction vertical filter processing not only on the line boundary between LCUs but also on the line boundary between blocks having a size smaller than the LCU. Is determined as a mode that facilitates control, and the process proceeds to step ST85.
  • step ST84 the deblocking filter processing unit 24 determines whether the boundary for performing the vertical filter processing is a line boundary between LCUs.
  • the deblocking filter processing unit 24 proceeds to step ST85 when the boundary for performing the vertical filter processing is a line boundary between LCUs, and proceeds to step ST86 when the boundary is a line boundary of a block having a size smaller than the LCU.
  • step ST85 the deblocking filter processing unit 24 performs range reduction vertical filter processing.
  • the deblocking filter processing unit 24 reduces the image range used for the filter operation on the adjacent upper block, performs vertical filter processing, and proceeds to step ST87.
  • the filter target range may be reduced.
  • step ST86 the deblocking filter processing unit 24 performs normal vertical filter processing.
  • the deblocking filter processing unit 24 performs the vertical filter process without reducing the image range used for the filter calculation, and proceeds to step ST87.
  • step ST87 the deblocking filter processing unit 24 determines whether the boundary vertical filter processing has been completed. The deblocking filter processing unit 24 returns to step ST87 when the vertical filter processing for each column at the boundary is not completed, and performs the processing for the next column. On the other hand, when the vertical filter processing of each column at the boundary is completed, the process proceeds to step ST88.
  • step ST88 the deblocking filter processing unit 24 determines whether the processing is completed up to the end of the screen. If the process has not been performed to the end of the screen, the deblocking filter processing unit 24 returns to step ST81, detects a new boundary, and performs the vertical filter process. Moreover, the deblocking filter process part 24 complete
  • FIG. 16 is an explanatory diagram illustrating an example of pixels in two blocks BKu and BKl that are vertically adjacent to each other across a line boundary.
  • the image data of the pixels in the block BKu is indicated by the symbol “pj i ”.
  • j is the row index of the pixel
  • i is the index of the pixel column.
  • the minimum encoding processing unit is a block unit of 8 pixels ⁇ 8 pixels, and the row index j is numbered 0, 1, 2, 3 in order from the row closest to the line boundary BB (from bottom to top). Yes.
  • the column index i is numbered 0, 1, 2,..., 7 from right to left in the block. Note that the upper half of the block BKu is omitted in the figure.
  • the image data of the pixels in the block BKl is indicated by the symbol “qk i ”.
  • k is a pixel row index
  • i is a pixel column index.
  • the row index k is numbered 0, 1, 2, 3 in order from the row close to the line boundary BB (from top to bottom). Note that the lower half of the block BKl is also omitted in the figure.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (37) to (42).
  • the expressions (37) to (42) are expressions corresponding to the expressions (14), (16), (13), (17), (12), and (18), respectively. .
  • Clip 0-255 represents clip processing that rounds up to 0 when it is 0 or less, and rounds it down to 255 when it is 255 or more. The same applies to the following equations.
  • R2W2 indicates that the filtering process is applied to two pixels on the LCU line boundary with reference to two pixels on the LCU line boundary.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (43) to (47).
  • the strong filtering equation (43) in the conventional proposal is different in that “p2 i ” in the strong filtering equation (37) in the HEVC scheme is replaced with “p1 i ”.
  • the strong filtering equation (45) in the conventional proposal is different in that “p2 i ” in the strong filtering equation (39) in the HEVC scheme is replaced with “p1 i ”.
  • the strong filtering in the conventional proposal is different in that the expression corresponding to the strong filtering expression (41) in the HEVC method is deleted.
  • the strong filtering equations (44), (46), and (47) in the conventional proposal are common to the strong filtering equations (38), (40), and (42) in the HEVC scheme, respectively. is doing.
  • the pixel “p2 i ” in the third row above the line boundary BB of the block Bku is not referred to, the pixel “p1 i ” in the row immediately below the same column is instead used. It is used by copying.
  • the strong filtering in the conventional proposal uses the strong filtering formula (41 The expression corresponding to) has been deleted.
  • the first term on the left side of Expression (48) is an expression for determining the pixels in the third column from the left of the block Bku, as shown in FIG. 17, and the difference difference (secondary difference) is as follows: That is, it can be expressed by a second derivative with a constant slope.
  • p2 2 -2 * p1 2 + p0 2 (p2 2 -p1 2) - (p1 2 -p0 2)
  • the second to fourth terms on the left side of Expression (48) are respectively an expression for determining pixels in the sixth column from the left of the block Bku, an expression for determining pixels in the third column from the left of the block Bkl, and a block Bkl. This is an expression for determining the pixels in the sixth column from the left. The same applies to the second to fourth terms on the left side of Equation (48).
  • a waveform having a constant inclination is a processing target. Therefore, in the deblocking processing of the line boundary of the LCU, the inclination of the waveform in the boundary determination between the blocks is used. .
  • one line in a 4K ⁇ 2K image corresponds to two lines of a 2K ⁇ 1K image.
  • H.264 / AVC system includes a line memory for four lines, and the memory capacity for one line in a 4K ⁇ 4 ⁇ 2K image is H.264. This corresponds to a memory capacity of 50% of the H.264 / AVC format. That is, the effect of reducing the memory capacity is increased in a high resolution image.
  • R2 indicates a pixel to be referred to
  • W2 indicates a pixel to which filter processing is applied. That is, as shown in FIG. 19, R2W2 refers to two pixels on the LCU line boundary being referred to and filtering processing applied to the two pixels on the LCU line boundary.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (50) to (55).
  • Expressions (50) to (55) are expressions corresponding to Expressions (37) to (42), respectively.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (56) to (60).
  • the strong filtering equation (56) in the case of R2W2 is obtained by replacing the linear filtering equation (49) with “p2 i + 2 * p1 i + 2 * p0 i ” of the strong filtering equation (50) in the HEVC scheme. 4 * p1 i + p0 i ”is different.
  • the strong filtering in the case of R2W2 is different in that the expression corresponding to the strong filtering expression (54) in the HEVC method is deleted.
  • the luminance signal weak filtering determination expression and weak filtering calculate the luminance component of each pixel in the filter processing range by performing the calculations of Expressions (61) to (63). Note that the first expression in the expressions (61) to (63) is a weak filtering determination expression.
  • Clip 0-255 represents a clip process that rounds up to 0 when it is 0 or less, and rounds it down to 255 when it is 255 or more.
  • Clip (-tc) -tc represents clip processing that is rounded up to -tc when it is equal to or less than -tc, and rounded down to tc when equal to or greater than tc.
  • tc is a value set based on the parameter Q as shown in Table 1.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (64) to (66).
  • the inside of the clip of the second expression tc2 which is the weak filtering expression is expressed by the linear approximation expression (49), among the expressions (62) in the HEVC method. It differs from the clip of tc2 in the second formula. That is, the clip of tc2 in the second expression is included in the clip of tc2 in the second expression of the HEVC system “(((((p2 i + p0 i +1) >> 1) ⁇ p1 i + delta) >> 1)”. Is replaced by “((((p1 i + p1 i +1) >> 1) ⁇ p1 i + delta) >> 1)”.
  • the inside of the first expression if sentence which is a weak filtering judgment expression, is different from the expression in the HEVC system (62) in the first expression if sentence. ing. That is, in the if statement of the first expression, the “ifs (p2 2 ⁇ 2 * p1 2 + p0 2 ) + abs (p2 5 ⁇ 2 * p1 5 + p0 5 )” in the if statement of the first expression of the HEVC method is , “Abs (0 ⁇ (p1 2 ⁇ p0 2 )) + abs (0 ⁇ (p1 5 ⁇ p0 5 ))”.
  • the first expression in the expression (65) is not linearly approximated, and is copied (padding) at the pixel immediately below, as shown in the following expression (67).
  • a boundary determination formula between luminance signal blocks in the HEVC scheme is expressed by the following formula (68), and a determination formula for strong filtering is expressed by the following formula (69).
  • the first item and the second item in the “if” sentence of the boundary determination formula (70) of the block in the case of R2W2 are expressed by the formula (67) of the boundary between blocks in the HEVC method (padding formula (67)).
  • 68) is different from the first item and the second item in the if sentence. That is, the first item and the second item in the if statement are the first item and the second item “abs (p2 2 ⁇ 2 * p1 2 + p0 2 ) + abs (p2 5 ⁇ 2 * p1) in the HEVC system if statement. 5 + p0 5 ) ”is replaced with“ abs (0 ⁇ (p1 2 ⁇ p0 2 )) + abs (0 ⁇ (p1 5 ⁇ p0 5 )) ”.
  • the absolute value of the first row of the strong filtering determination formula (71) in the case of R2W2 is the first row of the strong filtering determination formula (69) in the HEVC method by the padding formula (67). It is different from the absolute value of. That is, the absolute value in the first row of the equation (71) is within the absolute value of the first row of the equation (69) “abs (p2 2 ⁇ 2 * p1 2 + p0 2 ) + abs (p2 5 ⁇ 2 * p1 5 + p0 5) "has replaced the" abs (0- (p1 2 -p0 2 )) + abs (0- (p1 5 -p0 5)) ".
  • the expression after the first “and” of the strong filtering determination expression (71) in the case of R2W2 is the following expression after the first “and” of the strong filtering determination expression (69) in the HEVC scheme. Is different. That is, the expression after the first “and” in the expression (71) is the expression “(
  • the linear approximation formula (49) and the copying formula (67) are used. That is, the first expression after “and” in the expression (71) is the same as the expression after the first “and” in the expression (69). First, “p3 i ” is changed to “p2 i ” by copying. Then, “p2 i ” is generated by approximation to “2 * p1 i ⁇ p0 i ” linearly.
  • R2W1 indicates a pixel to be referred to
  • W1 indicates a pixel to which filter processing is applied. That is, as shown in FIG. 19, R2W1 refers to the fact that the filtering process is applied to one pixel on the LCU line boundary with reference to two pixels on the LCU line boundary.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculations of Expressions (72) to (75).
  • the strong filtering equation (72) in the case of R2W1 is expressed by the linear approximation equation (49), where “p2 i + 2 * p1 i + 2 * p0 i ” of the strong filtering equation (50) in the HEVC scheme is “ 4 * p1 i + p0 i ”is different.
  • the strong filtering in the case of R2W1 is different in that the expressions corresponding to the strong filtering expressions (52) and (54) in the HEVC method are deleted.
  • the pixel “p1 0 ” in the second row and the pixel “p2 0 ” in the third row above the line boundary BB of the block Bku are not filtered. Therefore, in the strong filtering in the case of R2W1, the expressions corresponding to the strong filtering expressions (52) and (54) in the HEVC scheme are deleted.
  • the luminance component of each pixel in the filter processing range is calculated by performing the calculation of Expression (76) and Expression (77).
  • the first item and the second item in the if statement of the boundary determination equation (78) between blocks are expressed by the equation (67) for the boundary determination between blocks in the HEVC method (padding equation (67)).
  • 68) is different from the first item and the second item in the if sentence. That is, the first item and the second item in the if statement are the first item and the second item “abs (p2 2 ⁇ 2 * p1 2 + p0 2 ) + abs (p2 5 ⁇ 2 * p1) in the HEVC system if statement. 5 + p0 5 ) ”is replaced with“ abs (0 ⁇ (p1 2 ⁇ p0 2 )) + abs (0 ⁇ (p1 5 ⁇ p0 5 )) ”.
  • the absolute value of the first row of the strong filtering determination formula (79) in the case of R2W1 is the first row of the strong filtering determination formula (69) in the HEVC scheme by the padding formula (67). It is different from the absolute value of. That is, the absolute value in the first row of the formula (79) is within the absolute value in the first row of the formula (69) “abs (p2 2 ⁇ 2 * p1 2 + p0 2 ) + abs (p2 5 ⁇ 2 * p1 5 + p0 5) "has replaced the" abs (0- (p1 2 -p0 2 )) + abs (0- (p1 5 -p0 5)) ".
  • the expression after the first “and” of the strong filtering determination expression (79) in the case of R2W1 is the expression after the first “and” of the strong filtering determination expression (69) in the HEVC scheme. Is different. That is, the expression after the first “and” in the expression (79) is the expression “(
  • the boundary determination between blocks at the line boundary and the strong filtering determination formula are changed using the linear approximation formula (49) and the copying formula (67). Yes. For this reason, a clip process is added to the strong filtering process as a response to the case where the determination formula is mistakenly passed and the deblocking filter process is erroneously performed.
  • the strong filtering expression (80) is an expression for calculating p0 0 after filtering.
  • the value obtained by performing the clipping process of ( ⁇ tc) to tc on the difference between the clipping process of 0 to 255 and the difference of p0 0 in the expression (56) is p0 0.
  • a clip process from 0 to 255 is performed on the value added to.
  • the strong filtering expression (81) is an expression for calculating q0 0 after filtering.
  • the value obtained by performing the clipping processing of ( ⁇ tc) to tc on the difference between the clipping processing of 0 to 255 and the difference of q0 0 in the equation (57) is q0 0.
  • a clip process from 0 to 255 is performed on the value added to.
  • Strong filtering expression (82) is a calculation formula of p1 0 after filtering.
  • the value clipping of (-tc) to tc relative difference is applied between the p1 0 is, p1 0
  • a clip process from 0 to 255 is performed on the value added to.
  • Strong filtering expression (83) is a calculation formula for q1 0 after filtering.
  • the value clipping of (-tc) to tc relative difference is applied between q1 0 is, q1 0
  • a clip process from 0 to 255 is performed on the value added to.
  • Strong filtering expression (84) is a calculation formula of q2 0 after filtering.
  • the value obtained by performing the clipping process of ( ⁇ tc) to tc on the difference between the clipping process of 0 to 255 and the difference of q2 0 in the expression (60) is q2 0.
  • a clip process from 0 to 255 is performed on the value added to.
  • Non-Patent Document 2 Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T TC16 WP SC29 / WG11-7th Meeting, Geneva, CH, 21-30 November, 2011 (hereinafter referred to as Non-Patent Document 2) has been proposed.
  • Non-Patent Document 2 describes determination processing of strong filtering and weak filtering in units of blocks. However, in the determination process described in Non-Patent Document 2, when the target line and the determination of the block unit including the line are different (the target line is a weak filtering determination, the block including the target line is a strong filtering). When strong filtering is applied to the line of interest in the determination), excessive filtering is applied.
  • Non-Patent Document 2 since the strong filtering and weak filtering determination processing is performed in units of four lines, a mismatch occurs between the determination and the filtering processing. As an example of the mismatch, a weak filter is performed even though it is necessary to be determined to be strong, and a strong filter is performed even though it is necessary to determine that it is weak.
  • the clip process represented by the following expressions (90) to (94).
  • Expression (90) since it is desired to perform the clipping process on the partial ⁇ value that is changed by the filtering process, p0 i is out of the clipping process.
  • the clip value pv is any one of the parameter tc, which is 1 time, 2 times, 3 times, 4 times, 5 times, 6 times, 7 times, or 8 times.
  • pv tc, 2 * tc, 3 * tc, 4 * tc, 5 * tc, 6 * tc, 7 * tc, 8 * tc.
  • the clip value pv is considered to be preferably twice the parameter tc, but is assumed to be any one of 1 to 8 times. Moreover, if an equivalent effect is acquired, it will not be limited to 1 to 8 times.
  • tc varies depending on the quantization parameter QP. Therefore, the multiple of tc in the clip value can be increased as QP increases (that is, it varies according to QP).
  • a parameter related to the clip processing (a clip value or a multiple of tc in the clip value) may be set in advance, or added to the encoded stream and transmitted to the decoding side.
  • equations (90) to (94) may be clipped as in the following equations (95) to (99).
  • the luminance signal strong filtering equations (85) to (89) in the HEVC method (HM-5.0) described above are the luminance signal strong filtering equations at the line boundary. That is, in the HEVC method (HM-5.0), the strong filtering of the luminance signal is actually expressed by the following equations (100) to (105).
  • the clip value pv is considered to be preferably twice the parameter tc, but is assumed to be any one of 1 to 8 times. Moreover, if an equivalent effect is acquired, it will not be limited to 1 to 8 times.
  • tc varies depending on the quantization parameter QP. Therefore, the multiple of tc in the clip value can be increased as QP increases (that is, it varies according to QP).
  • a parameter related to the clip processing (a clip value or a multiple of tc in the clip value) may be set in advance, or added to the encoded stream and transmitted to the decoding side.
  • FIG. 20 is a diagram showing the maximum value of the pixel value that is changed by strong filtering of the luminance signal in the HEVC method (HM-5.0) of the above-described formulas (100) to (105) by experiment.
  • AI_HE, RA_HE, LB_HE, and LP_HE indicate the condition of this experiment.
  • AI_HE indicates that the experiment was performed at ALL INTRA High Efficiency.
  • RA_HE indicates that the experiment was performed with Random Access High Efficiency.
  • LB_HE indicates that the experiment was performed at Low Delay B High Efficiency.
  • LP_HE represents that the experiment was performed at Low Delay P High Efficiency.
  • Class A to Class F indicate the types of test sequences used in the experiment.
  • the pixel value that changes due to the strong filtering of the luminance signal in the HEVC method (HM-5.0), that is, the pixel value that changes due to the strong filtering when there is no clipping processing, is 100 or more in some cases. It will change greatly.
  • the values of the pixel p2 i , the pixel p1 i , and the pixel p0 i are 255, and the values of the pixel q0 i , the pixel q1 i , and the pixel q2 i Is 0, and the difference D between the values of the pixels p0 i and q0 i is 255.
  • the value of the pixel p2 i after the deblocking process is 223, the value of the pixel p1 i is 191 and the value of the pixel p0 i is 159, and the pixel p2 i ,
  • the pixel values of the pixel p1 i and the pixel p0 i have changed greatly.
  • the value of the pixel q0 i after the deblocking process is 96, the value of the pixel q1 i is 64, the value of the pixel q2 i is 32, and the values of the pixels q0 i , q1 i , and q2 i The pixel value has changed greatly.
  • clip processing with a clip value of 10 is performed in the above-described strong filtering of Expressions (106) to (111).
  • the values of the pixel p2 i , the pixel p1 i , and the pixel p0 i are 245, and the values of the pixel q0 i , the pixel q1 i , and the pixel q2 i are 255
  • the above-described change in pixel value can be minimized.
  • FIG. 22 illustrates the configuration of the sixth embodiment of the deblocking filter processing unit.
  • the deblocking filter processing unit 24 includes an image memory 71, a block boundary determination unit 72-1, a filter strength determination unit 73-1, a filter calculation unit 74-1, a selector 75, a coefficient memory 76, and a filter control unit 77. Configured.
  • the deblocking filter processing unit 24 is further configured to include a line boundary block boundary determination unit 72-2, a line boundary filter strength determination unit 73-2, and a line boundary filter calculation unit 74-2.
  • the image memory 71 is a part corresponding to the line memory 241 in FIG. 9, and is composed of a line memory.
  • the image memory 71 stores the image data supplied from the adding unit 23.
  • the image memory 71 reads the stored image data and supplies it to the block boundary determination unit 72-1, the filter strength determination unit 73-1, and the filter calculation unit 74-1.
  • the image memory 71 also reads out the stored image data and supplies it to the line boundary block boundary determination unit 72-2, the line boundary filter strength determination unit 73-2, and the line boundary filter calculation unit 74-2. .
  • the block boundary determination unit 72-1 performs boundary determination between blocks under the control of the control unit 77. That is, the block boundary determination unit 72-1 performs the above-described boundary determination process between blocks for each block using the image data read from the image memory 71, and detects the boundary between the blocks on which the filter process is performed. The block boundary determination unit 72-1 outputs the detection result to the filter strength determination unit 73-1.
  • the filter strength determination unit 73-1 determines the filter strength as described above under the control of the control unit 77. In other words, the filter strength determination unit 73-1 uses the image data of two blocks adjacent to each other across the block boundary from the image memory 71, and performs filtering with either strong filtering or weak filtering for each line. It is determined whether or not processing is performed, and the determination result is output to the filter calculation unit 74-1.
  • the filter calculation unit 74-1 uses the image data stored in the image memory 71 and the filter coefficient read from the coefficient memory 76 under the control of the control unit 77, and for each line, the filter strength determination unit 73. The filter operation is performed with the filter strength determined at -1. The filter calculation unit 74-1 outputs the image data subjected to the filter process to the selector 75.
  • the line boundary block boundary determination unit 72-2 determines a boundary between blocks when the line boundary of the LCU is under the control of the control unit 77. That is, the line boundary block boundary determination unit 72-2 performs the above-described boundary determination processing between blocks for each block using the image data read from the image memory 71, and detects the boundary between the blocks for performing the filter processing. To do. The line boundary block boundary determination unit 72-2 outputs the detection result to the line boundary filter strength determination unit 73-2.
  • the line boundary filter strength determination unit 73-2 determines the filter strength as described above when the line boundary of the LCU is under the control of the control unit 77. That is, the line boundary filter strength determination unit 73-2 uses either strong filtering or weak filtering strength for each line using the image data of two blocks adjacent to each other across the block boundary from the image memory 71. To determine whether to perform the filter processing, and outputs the determination result to the line boundary filter calculation unit 74-2.
  • the line boundary filter calculation unit 74-2 uses the image data stored in the image memory 71 and the filter coefficient read from the coefficient memory 76 under the control of the control unit 77 to perform line boundary filter for each line. The filter calculation is performed with the filter strength determined by the strength determination unit 73-2. The line boundary filter calculation unit 74-2 outputs the filtered image data to the selector 75.
  • the selector 75 selects either image data from the filter calculation unit 74-1 or image data from the line boundary filter calculation unit 74-2 under the control of the control unit 77, and selects the selected image data. Output to the frame memory 25.
  • the coefficient memory 76 stores filter coefficients used for the filter operation of the deblocking filter process.
  • the coefficient memory 76 reads out the stored filter coefficients and supplies them to the filter calculation unit 74-1 and the line boundary filter calculation unit 74-2.
  • the control unit 77 controls each unit of the deblocking filter processing unit 24.
  • the control unit 77 controls the image memory 71 to store image data for a predetermined number of lines on the lower end side in the block, and reads the stored image data.
  • the control unit 77 is configured to include an in-LCU line determination unit 77A.
  • the intra-LCU line determination unit 77A determines, for example, a line boundary between LCUs in units of blocks that are sequentially processed in the raster scan direction, and determines a determination result, and a block boundary determination unit 72-1, a filter strength determination unit 73. ⁇ 1 and the filter calculation unit 74-1, and processing is performed when the line boundary is not reached.
  • the in-LCU line determination unit 77A also supplies the determination result to the line boundary block boundary determination unit 72-2, the line boundary filter strength determination unit 73-2, and the line boundary filter calculation unit 74-2. If it is a boundary, processing is performed.
  • the in-LCU line determination unit 77A supplies the determination result to the selector 75, and when it is a line boundary, causes the image data from the line boundary filter calculation unit 74-2 to be selected.
  • the image data from the filter calculation unit 74-1 is selected.
  • R2W2 processing may be set in advance, and the filter processing range and the filter calculation range may be controlled as in the example of FIG. You may comprise so that it can do.
  • step S91 the in-LCU line determination unit 77A determines whether or not the filter to be applied to the block unit that is sequentially processed in the raster scan direction is a vertical filter at the LCU boundary. That is, in step S91, it is determined whether or not the filter to be applied is a vertical filter at the line boundary between LCUs.
  • step S91 If it is determined in step S91 that the filter to be applied is a vertical filter at the LCU boundary, the process proceeds to step S92.
  • step S92 the line boundary block boundary determination unit 72-2 performs boundary determination between the blocks of the line boundary when the line boundary of the LCU is under the control of the control unit 77.
  • the line boundary block boundary determination unit 72-2 uses the image data read from the image memory 71 to perform the boundary determination process between the blocks for each block according to the above equation (70), and performs the filter process. Detect boundaries between blocks to be performed.
  • the line boundary block boundary determination unit 72-2 outputs the detection result to the line boundary filter strength determination unit 73-2.
  • step S93 under the control of the control unit 77, the line boundary filter strength determination unit 73-2 determines the filter strength of the line boundary as described above when it is the line boundary of the LCU.
  • the line boundary filter strength determination unit 73-2 uses the image data of two blocks adjacent to each other across the block boundary from the image memory 71 to perform filter processing with either strong filtering or weak filtering strength. Determine whether to do it. Note that the strong filtering is determined by the above-described equation (71). Further, the weak filtering is determined by the first expression of the expressions (64) to (66). The line boundary filter strength determining unit 73-2 outputs the determination result to the line boundary filter calculating unit 74-2.
  • step S94 the line boundary filter calculation unit 74-2 performs line boundary filtering under the control of the control unit 77. That is, the line boundary filter calculation unit 74-2 uses the image data stored in the image memory 71 and the filter coefficient read from the coefficient memory 76 to determine the filter determined by the line boundary filter strength determination unit 73-2. Perform filter calculation by intensity.
  • the filter operation is performed according to the above-described equations (56) to (60).
  • the filter operation is performed by the second and third expressions of the above-described expressions (64) to (66).
  • the line boundary filter calculation unit 74-2 outputs the filtered image data to the selector 75.
  • step S95 the in-LCU line determination unit 77A determines whether the processing target line is the last eighth line in the LCU. If it is determined in step S95 that the processing target line is not the last 8th line in the LCU, the process returns to step S93, and the subsequent processes are repeated.
  • step S95 If it is determined in step S95 that the processing target line is the last 8th line in the LCU, the process proceeds to step S100.
  • step S91 if it is determined in step S91 that the filter to be applied is not an LCU boundary vertical filter, the process proceeds to step S96.
  • step S96 the block boundary determination unit 72-1 performs boundary determination between blocks under the control of the control unit 77.
  • the block boundary determination unit 72-1 uses the image data read from the image memory 71, performs the boundary determination process between blocks for each block by the above-described equation (68), and performs the filter process. Detect the boundary between.
  • the block boundary determination unit 72-1 outputs the detection result to the filter strength determination unit 73-1.
  • the filter strength determination unit 73-1 determines the filter strength as described above under the control of the control unit 77 in step S97. In other words, the filter strength determination unit 73-1 uses the image data of two blocks adjacent to each other across the block boundary from the image memory 71, and performs filtering with either strong filtering or weak filtering for each line. Determine whether to perform processing. Note that the strong filtering is determined by the above-described equation (69). In addition, the weak filtering is determined by the first expression of the expressions (61) to (63) described above. The filter strength determination unit 73-1 outputs the determination result to the filter calculation unit 74-1.
  • step S98 the filter calculation unit 74-1 performs the filter calculation of the block boundary under the control of the control unit 77. That is, the filter calculation unit 74-1 uses the image data stored in the image memory 71 and the filter coefficient read from the coefficient memory 76, and the filter determined by the filter strength determination unit 73-1 for each line. Perform filter calculation by intensity.
  • the filter operation is performed according to the above-described equations (50) to (55).
  • the filter operation is performed by the second and third expressions of the above-described expressions (61) to (63).
  • the filter calculation unit 74-1 outputs the image data subjected to the filter process to the selector 75.
  • step S99 the in-LCU line determination unit 77A determines whether the processing target line is the last 8th line in the LCU. If it is determined in step S99 that the processing target line is not the last 8th line in the LCU, the process returns to step S97, and the subsequent processes are repeated.
  • step S99 If it is determined in step S99 that the processing target line is the last 8th line in the LCU, the process proceeds to step S100.
  • step S100 the in-LCU line determination unit 77A determines whether it is the last block of the image. That is, in step S100, it is determined whether it is the line boundary of the block in the screen again.
  • step S100 If it is determined in step S100 that the block is the last block of the image, the deblocking process ends. If it is determined in step S100 that the block is not the last block of the image, the process returns to step S91, and the subsequent processes are repeated for the next LCU in the raster scan order.
  • the filter calculation unit 74-1 uses a coefficient other than the line boundary
  • the line boundary filter calculation unit 74-2 uses the coefficient in the case of the line boundary.
  • coefficients 1, 2, and 2 are used from the left. Therefore, it is possible to switch between the filter processing at the line boundary and the filter processing other than the line boundary simply by replacing the pixel value to be multiplied by the coefficient (changing the read address) using the same coefficient. .
  • FIG. 24 shows the configuration of the seventh embodiment of the deblocking filter processing unit.
  • the deblocking filter processing unit 24 is configured to include an image memory 71, a block boundary determination unit 72, a filter strength determination unit 73, a filter calculation unit 74, a coefficient memory 76, and a control unit 77. Yes.
  • deblocking filter processing unit 24 in FIG. 24 is the same as the image memory 71, the coefficient memory 76, and the control unit 77 in common with the deblocking filter processing unit 24 in FIG.
  • the deblocking processing unit 24 of FIG. 24 is different from the block boundary determining unit 72-1 and the line boundary block boundary determining unit 72-2 in that the block boundary determining unit 72 is replaced by the deblocking filter processing of FIG. It is different from the part 24.
  • the deblocking processing unit 24 in FIG. 24 is different from the deblocking filtering process in FIG. 22 in that the filter strength determining unit 73-1 and the line boundary filter strength determining unit 73-2 are collectively replaced by the filter strength determining unit 73. It is different from the part 24. 24 is different from the deblocking filter processing unit 24 in FIG. 22 in that the filter calculation unit 74-1 and the line boundary filter calculation unit 74-2 are collectively replaced by the filter calculation unit 74. Is different.
  • the deblocking processing unit 24 in FIG. 24 differs from the deblocking filter processing unit 24 in FIG. 22 in that the in-LCU line determination unit 77A of the control unit 77 is replaced with the in-LCU line determination unit 77B.
  • the in-LCU line determination unit 77B controls the address of the pixel read from the image memory 71 as described above, taking the calculation of P0 0 in the strong filtering of R2W2. Therefore, the image memory 71 reads out pixels based on control by the in-LCU line determination unit 77B, and supplies the read pixels to the block boundary determination unit 72, the filter strength determination unit 73, and the filter calculation unit 74.
  • the block boundary determination unit 72 performs boundary determination between blocks. That is, the block boundary determination unit 72 uses the image data read from the image memory 71 to perform the above-described boundary determination processing between blocks for each block, and detects a boundary between blocks on which filter processing is performed. The block boundary determination unit 72 outputs the detection result to the filter strength determination unit 73.
  • the filter strength determination unit 73 determines the filter strength as described above. In other words, the filter strength determination unit 73 uses the image data of two blocks adjacent to each other across the block boundary from the image memory 71 to perform filter processing with either strong filtering or weak filtering for each line. It is determined whether to perform the determination, and the determination result is output to the filter calculation unit 74.
  • the filter calculation unit 74 uses the image data stored in the image memory 71 and the filter coefficient read from the coefficient memory 76 to perform the filter calculation with the filter strength determined by the filter strength determination unit 73 for each line. .
  • the filter calculation unit 74 outputs the image data subjected to the filter process to the frame memory 25.
  • deblocking filter process by the deblocking processing unit 24 in FIG. 24 is basically the same process as the deblocking filter process described above with reference to FIG.
  • the pixels that cannot be referred to due to the narrowed image range used for the filter calculation are interpolated using the slope of the waveform in the block boundary determination.
  • the deblocking process when there is an inclination between the pixel values can be performed even if the image range is narrowed at the line boundary of the LCU.
  • interpolation is performed using the slope of the waveform and padding in the block boundary determination and the determination of the strength filter. I made it. This makes it possible to perform deblocking determination processing when there is an inclination between pixel values even if the image range is narrowed at the LCU line boundary.
  • FIG. 25 illustrates the configuration of the eighth embodiment of the deblocking filter processing unit.
  • the deblocking filter processing unit 24 is configured to include an image memory 81, a block boundary determination unit 82, a filter strength determination unit 83, a filter calculation unit 84, a coefficient memory 85, and a control unit 86. Yes.
  • the image memory 81 is a part corresponding to the image memory 71 of FIG. 22, and is composed of a line memory.
  • the image memory 81 stores the image data supplied from the adding unit 23.
  • the image memory 81 reads the stored image data and supplies it to the block boundary determination unit 82, the filter strength determination unit 83, and the filter calculation unit 84.
  • the block boundary determination unit 82 derives a boundary for every 8 lines under the control of the control unit 86, calculates parameters used for determination, and performs boundary determination between blocks every 4 lines. That is, the block boundary determination unit 82 derives the boundary between the TU and the PU using the image data read from the image memory 81, and derives the BS value. Further, the block boundary determination unit 82 obtains the average of the quantization parameters QP of two regions adjacent to the boundary to be processed, calculates the average QP (quantization parameter), and based on the calculated average QP, the parameter tc and ⁇ are calculated.
  • the block boundary determination unit 82 determines whether to perform the filter every four lines using the image data of the two blocks adjacent to each other with the block boundary from the image memory 81 and the calculated parameters. To do.
  • the block boundary determination unit 82 supplies the calculated parameter together with the boundary determination result to the filter strength determination unit 83.
  • the filter strength determination unit 83 determines the filter strength every four lines under the control of the control unit 86. That is, when the block boundary determination unit 82 determines that the filter is to be filtered, the filter strength determination unit 83 determines whether the filtering process is performed with strong filtering or weak filtering, and the determination result is used as the filter calculation unit 84. Output to.
  • the filter calculation unit 84 uses the image data stored in the image memory 81 and the filter coefficient read from the coefficient memory 85 under the control of the control unit 86, and the filter strength determination unit 83 performs every four lines. A filter operation is performed with the determined filter strength. In particular, when the filter strength determination unit 83 determines that a strong filter is to be performed, the filter calculation unit 84 performs a strong filter process with clip processing using the above-described equations (106) to (111). The filter calculation unit 84 outputs the image data subjected to the filter process to the frame memory 25 at the subsequent stage.
  • the coefficient memory 85 stores filter coefficients used for the filter operation of the deblocking filter process.
  • the coefficient memory 85 reads out the stored filter coefficients and supplies them to the filter calculation unit 84.
  • the control unit 86 receives information (deblocking filter ON / OFF information, offset values of parameters ⁇ and tc, parameters for clip processing, and the like) from an operation unit (not shown) (in the case of decoding, the lossless decoding unit 52). Enter.
  • the controller 86 is also supplied with parameters necessary for the deblocking filter, such as prediction mode information and quantization parameters.
  • control unit 86 supplies the input information to the corresponding unit, or controls each unit of the deblocking filter processing unit 24 based on the input ON / OFF information.
  • the control unit 86 controls, for example, the image memory 81, stores image data for a predetermined number of lines on the lower end side in the block, and reads the stored image data.
  • the control unit 86 controls the filter calculation unit 84 to perform strong filter processing with clip processing when performing strong filter.
  • the control unit 86 supplies the parameter (for example, a clip value pv or a multiple of tc in the clip value) related to the clip processing to the filter calculation unit 84.
  • ON / OFF information, ⁇ offset value, Tc offset value, and parameters related to clip processing are input to the control unit 86 via an operation unit (not shown) (lossless decoding unit 52 in the case of decoding). .
  • the controller 86 is also supplied with parameters necessary for the deblocking filter, such as prediction mode information and quantization parameters.
  • step S201 the control unit 86 sets filter offsets ( ⁇ offset and Tc offset), and supplies the set offset information to the filter strength determination unit 83.
  • step S202 the control unit 86 determines whether or not the deblocking filter is unavailable based on the ON / OFF information. If it is determined in step S202 that the deblocking filter is not usable, the deblocking filter process is terminated.
  • step S202 When it is determined in step S202 that the deblocking filter is not usable, the control unit 86 notifies the block boundary determination unit 82, the filter strength determination unit 83, and the filter calculation unit 84 to that effect. The process proceeds to step S203. At that time, parameters necessary for each unit are also supplied from the control unit 86.
  • step S203 the block boundary determination unit 82 derives the boundary between the TU and the PU in units of 8 lines.
  • the block boundary determination unit 82 derives a BS (Boundary Strength) value based on information such as the boundary between the TU and PU derived in step S203, prediction mode information from the control unit 86, and the like.
  • step S205 the block boundary determination unit 82, the filter strength determination unit 83, and the filter calculation unit 84 perform a luminance boundary filtering process.
  • the luminance boundary filtering process will be described later with reference to FIG. 27, and the luminance boundary filter is applied to the luminance signal by the process of step S205.
  • step S206 the block boundary determination unit 82, the filter strength determination unit 83, and the filter calculation unit 84 perform color difference boundary filter processing.
  • a color difference boundary filter is applied to the color difference signal.
  • step S207 the control unit 86 determines whether all the boundaries have been processed. If it is determined in step S207 that not all boundaries have been processed, the process returns to step S205, and the subsequent processing is repeated. If it is determined in step S207 that all boundaries have been processed, the process proceeds to step S208.
  • step S208 the control unit 86 determines whether all the CUs have been processed. If it is determined in step S208 that all CUs have not yet been processed, the process returns to step S203, and the subsequent processing is repeated.
  • step S208 If it is determined in step S208 that all CUs have been processed, the deblocking filter process is terminated.
  • step S231 the block boundary determination unit 82 determines whether the BS value is greater than 0 in units of 8 lines. If it is determined in step S231 that the BS value is not greater than 0, the luminance boundary filtering process ends. In other words, the filter processing by the filter calculation unit 84 is not performed on the luminance boundary in this case, and the pixel value before the filter is output as it is.
  • step S231 If it is determined in step S231 that the BS value is greater than 0, the process proceeds to step S232.
  • step S232 the block boundary determination unit 82 obtains the average of the quantization parameters QP of two regions adjacent to the boundary to be processed using the pixel value from the pixel memory 81 in units of eight lines, and calculates the average QP (Quantization parameter) is calculated.
  • the quantization parameter QP at this time is supplied from the control unit 86.
  • step S233 the block boundary determination unit 82 calculates the parameters tc and ⁇ based on the average QP calculated in step S232 in units of 8 lines.
  • step S234 the block boundary determination unit 82 performs on / off determination of the filter in units of four lines. That is, the block boundary determination unit 82 performs on / off determination of the filter in units of four lines using the calculated parameter ⁇ and the like. For example, the above-described equation (68) is used for this determination processing, for example.
  • step S234 The on / off determination result in step S234 is supplied to the filter strength determination unit 83 together with the calculated parameter as a boundary determination result.
  • step S235 the filter strength determination unit 83 performs filter strength determination in units of four lines. That is, the filter strength determination unit 83 performs filter strength determination in units of four lines using the parameter ⁇ and the parameter tc calculated by the block boundary determination unit 82.
  • the filter strength determination unit 83 performs filter strength determination in units of four lines using the parameter ⁇ and the parameter tc calculated by the block boundary determination unit 82.
  • the first expression in the above-described Expression (69) or Expression (61) to Expression (63) is used.
  • the on / off determination result in step S234 and the filter strength determination result in step S235 are supplied to the filter calculation unit 84.
  • the parameter tc is also supplied to the filter calculation unit 84.
  • step S236 the filter calculation unit 84 determines whether or not to apply the strong filter to the four lines to be processed based on the determination result from the filter strength determination unit 83. If it is determined in step S236 that the strong filter is to be applied to the four lines to be processed, the process proceeds to step S237.
  • step S237 the filter calculation unit 84 performs strong filter processing with clip processing using the above-described equations (106) to (111) under the control of the control unit 86.
  • the filter calculation unit 84 outputs the pixel value after the filter processing to the subsequent stage.
  • step S2308 the filter calculation unit 84 applies a weak filter to the four lines to be processed based on the determination result from the filter strength determination unit 83. Determine whether to apply. If it is determined in step S238 that the weak filter is to be applied, the process proceeds to step 239.
  • step S239 the filter calculation unit 84 performs weak filter processing.
  • the filter calculation unit 84 outputs the pixel value after the filter processing to the subsequent stage.
  • step S238 If it is determined in step S238 that the weak filter is not applied, the process proceeds to step 240.
  • the filter calculation unit 84 does not perform processing on the four lines to be processed, and outputs the pixel value after the filter processing to the subsequent stage as it is. To do.
  • step S240 the filter calculation unit 84 determines whether or not the processing of 8 lines has been completed. When it is determined that the processing of 8 lines has been completed, the deblocking of the luminance signal is terminated. If it is determined in step S240 that the 8-line processing has not been completed, the processing returns to step S234, and the subsequent processing is repeated.
  • the strong filter when the strong filter is determined to be applied, the strong filtering with the clip process is performed, so that the influence of the mismatch of the determination process and the imperfection of the determination process can be minimized. . Thereby, filtering can be appropriately applied in the deblocking process.
  • the circle on the dotted line represents each pixel value after strong filtering of the luminance signal in the HEVC method. That is, in this case, the difference between the pixel value before filtering and the pixel value after strong filtering is 1/8 * D for q2 i , 2/8 * D for q1 i , and 3 for q0 i . / 8 * D. Similarly, the difference between the pixel values before the filter and strong filtering after the pixel values for p0 i, a 3/8 * D, the p1 i, for p2 i, a 2/8 * D, 1/ 8 * D.
  • p2 i is a pixel value of a dotted circle on the solid line, and a difference from the pixel value indicated by the dotted line of p1 i is large, and the pixel value of p2 i indicated by the dotted circle on the solid line is It has a steep slope only between the pixel value of p1 i indicated by.
  • ⁇ p1 i is a value that is half the difference ⁇ p0 i between the pixel value before filtering (white circle) of p0 i and the pixel value after strong filtering (hatching circle) 3/16 * D) was led to take.
  • the coefficient multiplied by each pixel value of the first item on the right side in the last approximate expression of Expression (112) is used as the coefficient of strong filtering in the case of R3W2.
  • the result after strong filtering in the case of R3W2 can be made gentler than the conventional dotted line as shown by the thick line in FIG.
  • the strong filtering determination formula in the case of R3W2 is expressed by the following formula (113).
  • the expression after the first “and” in the expression (113) is the expression “(
  • ) ” ⁇ ( ⁇ >> 3))” is replaced with “(
  • the strong filtering in the case of R3W2 can be performed without degrading the accuracy.
  • the size of the processing unit of the deblocking filter is, for example, H.264. It may be the size of a macro block of H.264 / AVC, the size of a coding tree block (Coding Tree Block) of a coding unit in HEVC, or the like.
  • the term “block” or “macroblock” also includes a coding unit (CU: Coding Unit), a prediction unit (PU: Prediction Unit), and a transform unit (TU: Transform Unit) in the context of HEVC. Shall be.
  • the series of processes described in the specification can be executed by hardware, software, or a combined configuration of both.
  • a program in which a processing sequence is recorded is installed and executed in a memory in a computer incorporated in dedicated hardware.
  • the program can be installed and executed on a general-purpose computer capable of executing various processes.
  • the program can be recorded in advance on a hard disk or ROM (Read Only Memory) as a recording medium.
  • the program can be temporarily or permanently stored on a removable recording medium such as a flexible disk, CD-ROM (Compact Disc Read Only Memory), MO (Magneto optical disc), DVD (Digital Versatile Disc), magnetic disk, or semiconductor memory. It can be stored (recorded).
  • a removable recording medium can be provided as so-called package software.
  • the program is installed on the computer from the removable recording medium as described above, or is wirelessly transferred from the download site to the computer, or is wired to the computer via a network such as a LAN (Local Area Network) or the Internet. .
  • the computer can receive the program transferred in this way and install it on a recording medium such as a built-in hard disk.
  • FIG. 29 shows an example of a multi-view image encoding method.
  • the multi-viewpoint image includes a plurality of viewpoint images, and a predetermined one viewpoint image among the plurality of viewpoints is designated as the base view image.
  • Each viewpoint image other than the base view image is treated as a non-base view image.
  • the parameters for clip processing set in the base view are used in at least one non-base view.
  • the parameters for clip processing set in the base view are used in at least one non-base view.
  • FIG. 30 is a diagram illustrating a multi-view image encoding apparatus that performs the above-described multi-view image encoding.
  • the multi-view image encoding device 600 includes an encoding unit 601, an encoding unit 602, and a multiplexing unit 603.
  • the encoding unit 601 encodes the base view image and generates a base view image encoded stream.
  • the encoding unit 602 encodes the non-base view image and generates a non-base view image encoded stream.
  • the multiplexing unit 603 multiplexes the base view image encoded stream generated by the encoding unit 601 and the non-base view image encoded stream generated by the encoding unit 602 to generate a multi-view image encoded stream. To do.
  • the image encoding device 10 (FIG. 1) can be applied to the encoding unit 601 and the encoding unit 602 of the multi-view image encoding device 600.
  • the multi-view image encoding apparatus 600 sets and transmits the parameter for the strong filtering clip process set by the encoding unit 601 and the parameter for the strong filtering clip process set by the encoding unit 602.
  • the parameters related to the clipping processing of strong filtering set by the encoding unit 601 may be set and transmitted so as to be shared by the encoding unit 601 and the encoding unit 602.
  • the parameters related to the clipping processing of strong filtering set by the encoding unit 602 may be set to be shared by the encoding unit 601 and the encoding unit 602 and transmitted.
  • FIG. 31 is a diagram illustrating a multi-view image decoding apparatus that performs the above-described multi-view image decoding.
  • the multi-view image decoding device 610 includes a demultiplexing unit 611, a decoding unit 612, and a decoding unit 613.
  • the demultiplexing unit 611 demultiplexes the multi-view image encoded stream in which the base view image encoded stream and the non-base view image encoded stream are multiplexed, and the base view image encoded stream and the non-base view image The encoded stream is extracted.
  • the decoding unit 612 decodes the base view image encoded stream extracted by the demultiplexing unit 611 to obtain a base view image.
  • the decoding unit 613 decodes the non-base view image encoded stream extracted by the demultiplexing unit 611 to obtain a non-base view image.
  • the image decoding device 50 (FIG. 6) can be applied to the decoding unit 612 and the decoding unit 613 of the multi-view image decoding device 610.
  • the multi-viewpoint image decoding apparatus 610 is set by the encoding unit 601, parameters for strong filtering clip processing decoded by the decoding unit 612, and the strong unit set by the encoding unit 602 and decoded by the decoding unit 613. Processing is performed using parameters relating to filtering clip processing.
  • the parameters related to the clipping processing of strong filtering set by the encoding unit 601 are set so as to be shared by the encoding unit 601 and the encoding unit 602 and transmitted. May have been.
  • the encoding unit 601 (or encoding 602) sets and the parameters for the strong filtering clip processing decoded by the decoding unit 612 (or decoding unit 613) are used. Processing is performed.
  • FIG. 32 shows an example of the multi-view image encoding method.
  • the hierarchical image includes images of a plurality of layers (resolutions), and an image of a predetermined one layer among the plurality of resolutions is designated as a base layer image. Images in each layer other than the base layer image are treated as non-base layer images.
  • the parameter for the strong filtering clip processing set in the base layer is used in at least one non-base layer.
  • the parameter for the strong filtering clip processing set in the base layer is used in at least one non-base layer.
  • FIG. 33 is a diagram illustrating a hierarchical image encoding apparatus that performs the hierarchical image encoding described above.
  • the hierarchical image encoding device 620 includes an encoding unit 621, an encoding unit 622, and a multiplexing unit 623.
  • the encoding unit 621 encodes the base layer image and generates a base layer image encoded stream.
  • the encoding unit 622 encodes the non-base layer image and generates a non-base layer image encoded stream.
  • the multiplexing unit 623 multiplexes the base layer image encoded stream generated by the encoding unit 621 and the non-base layer image encoded stream generated by the encoding unit 622 to generate a hierarchical image encoded stream. .
  • the image encoding device 10 (FIG. 1) can be applied to the encoding unit 621 and the encoding unit 622 of the hierarchical image encoding device 620.
  • the hierarchical image encoding device 620 sets and transmits the parameter related to the strong filtering clip process set by the encoding unit 621 and the parameter related to the strong filtering clip process set by the encoding unit 602. .
  • the parameters related to the clipping processing of strong filtering set by the encoding unit 621 may be set and transmitted so as to be shared by the encoding unit 621 and the encoding unit 622.
  • the parameters related to the clipping processing of strong filtering set by the encoding unit 622 may be set to be shared by the encoding unit 621 and the encoding unit 622 and transmitted.
  • FIG. 34 is a diagram illustrating a hierarchical image decoding apparatus that performs the hierarchical image decoding described above.
  • the hierarchical image decoding device 630 includes a demultiplexing unit 631, a decoding unit 632, and a decoding unit 633.
  • the demultiplexing unit 631 demultiplexes the hierarchical image encoded stream in which the base layer image encoded stream and the non-base layer image encoded stream are multiplexed, and the base layer image encoded stream and the non-base layer image code Stream.
  • the decoding unit 632 decodes the base layer image encoded stream extracted by the demultiplexing unit 631 to obtain a base layer image.
  • the decoding unit 633 decodes the non-base layer image encoded stream extracted by the demultiplexing unit 631 to obtain a non-base layer image.
  • the image decoding device 50 (FIG. 6) can be applied to the decoding unit 632 and the decoding unit 633 of the multi-view image decoding device 630.
  • the multi-viewpoint image decoding apparatus 630 is set by the encoding unit 621, the parameters for the strong filtering clip process decoded by the decoding unit 632, and the strong unit set by the encoding unit 622 and decoded by the decoding unit 633. Processing is performed using parameters relating to filtering clip processing.
  • the parameters for the strong filtering clip processing set by the encoding unit 621 are set so as to be shared by the encoding unit 621 and the encoding unit 622 and transmitted. May have been.
  • the parameters related to the strong filtering clip process set by the encoding unit 621 (or encoding 622) and decoded by the decoding unit 632 (or decoding unit 633) are used. Are processed.
  • the image encoding device 10 and the image decoding device 50 are a transmitter or a receiver in satellite broadcasting, cable broadcasting such as cable TV, distribution on the Internet, and distribution to terminals by cellular communication
  • the present invention can be applied to various electronic devices such as a recording device that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory, or a playback device that reproduces an image from these storage media.
  • a recording device that records an image on a medium such as an optical disk, a magnetic disk, and a flash memory
  • a playback device that reproduces an image from these storage media.
  • FIG. 35 shows an example of a schematic configuration of a television apparatus to which the above-described embodiment is applied.
  • the television apparatus 900 includes an antenna 901, a tuner 902, a demultiplexer 903, a decoder 904, a video signal processing unit 905, a display unit 906, an audio signal processing unit 907, a speaker 908, and an external interface unit 909. Furthermore, the television apparatus 900 includes a control unit 910, a user interface unit 911, and the like.
  • Tuner 902 extracts a signal of a desired channel from a broadcast signal received via antenna 901, and demodulates the extracted signal. Then, the tuner 902 outputs the encoded bit stream obtained by the demodulation to the demultiplexer 903. That is, the tuner 902 has a role as a transmission unit in the television device 900 that receives an encoded stream in which an image is encoded.
  • the demultiplexer 903 separates the video stream and audio stream of the viewing target program from the encoded bit stream, and outputs each separated stream to the decoder 904. In addition, the demultiplexer 903 extracts auxiliary data such as EPG (Electronic Program Guide) from the encoded bit stream, and supplies the extracted data to the control unit 910. Note that the demultiplexer 903 may perform descrambling when the encoded bit stream is scrambled.
  • EPG Electronic Program Guide
  • the decoder 904 decodes the video stream and audio stream input from the demultiplexer 903. Then, the decoder 904 outputs the video data generated by the decoding process to the video signal processing unit 905. In addition, the decoder 904 outputs audio data generated by the decoding process to the audio signal processing unit 907.
  • the video signal processing unit 905 reproduces the video data input from the decoder 904 and causes the display unit 906 to display the video.
  • the video signal processing unit 905 may cause the display unit 906 to display an application screen supplied via a network.
  • the video signal processing unit 905 may perform additional processing such as noise removal on the video data according to the setting.
  • the video signal processing unit 905 may generate a GUI (Graphical User Interface) image such as a menu, a button, or a cursor, and superimpose the generated image on the output image.
  • GUI Graphic User Interface
  • the display unit 906 is driven by a drive signal supplied from the video signal processing unit 905, and displays a video or an image on a video screen of a display device (for example, a liquid crystal display, a plasma display, or an OLED).
  • a display device for example, a liquid crystal display, a plasma display, or an OLED.
  • the audio signal processing unit 907 performs reproduction processing such as D / A conversion and amplification on the audio data input from the decoder 904, and outputs audio from the speaker 908.
  • the audio signal processing unit 907 may perform additional processing such as noise removal on the audio data.
  • the external interface unit 909 is an interface for connecting the television apparatus 900 to an external device or a network. For example, a video stream or an audio stream received via the external interface unit 909 may be decoded by the decoder 904. That is, the external interface unit 909 also has a role as a transmission unit in the television apparatus 900 that receives an encoded stream in which an image is encoded.
  • the control unit 910 has a processor such as a CPU (Central Processing Unit) and a memory such as a RAM (Random Access Memory) and a ROM (Read Only Memory).
  • the memory stores a program executed by the CPU, program data, EPG data, data acquired via a network, and the like.
  • the program stored in the memory is read and executed by the CPU when the television device 900 is activated, for example.
  • the CPU controls the operation of the television apparatus 900 according to an operation signal input from the user interface unit 911, for example, by executing the program.
  • the user interface unit 911 is connected to the control unit 910.
  • the user interface unit 911 includes, for example, buttons and switches for the user to operate the television device 900, a remote control signal receiving unit, and the like.
  • the user interface unit 911 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 910.
  • the bus 912 connects the tuner 902, the demultiplexer 903, the decoder 904, the video signal processing unit 905, the audio signal processing unit 907, the external interface unit 909, and the control unit 910 to each other.
  • the decoder 904 has the function of the image decoding device 50 according to the above-described embodiment. Thereby, when the image is decoded by the television apparatus 900, filtering can be appropriately performed in the deblocking filter processing.
  • FIG. 36 shows an example of a schematic configuration of a mobile phone to which the above-described embodiment is applied.
  • a cellular phone 920 includes an antenna 921, a communication unit 922, an audio codec 923, a speaker 924, a microphone 925, a camera unit 926, an image processing unit 927, a demultiplexing unit 928, a recording / reproducing unit 929, a display unit 930, a control unit 931, an operation A portion 932 and a bus 933.
  • the antenna 921 is connected to the communication unit 922.
  • the speaker 924 and the microphone 925 are connected to the audio codec 923.
  • the operation unit 932 is connected to the control unit 931.
  • the bus 933 connects the communication unit 922, the audio codec 923, the camera unit 926, the image processing unit 927, the demultiplexing unit 928, the recording / reproducing unit 929, the display unit 930, and the control unit 931 to each other.
  • the mobile phone 920 has various operation modes including a voice call mode, a data communication mode, a shooting mode, and a video phone mode, such as voice signal transmission / reception, e-mail or image data transmission / reception, image capturing, and data recording. Perform the action.
  • the analog voice signal generated by the microphone 925 is supplied to the voice codec 923.
  • the audio codec 923 converts an analog audio signal into audio data, A / D converts the converted audio data, and compresses it. Then, the audio codec 923 outputs the compressed audio data to the communication unit 922.
  • the communication unit 922 encodes and modulates audio data, and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921. In addition, the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • Communication unit 922 then demodulates and decodes the received signal to generate audio data, and outputs the generated audio data to audio codec 923.
  • the audio codec 923 expands the audio data and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the control unit 931 generates character data constituting the e-mail in response to an operation by the user via the operation unit 932.
  • the control unit 931 causes the display unit 930 to display characters.
  • the control unit 931 generates e-mail data in response to a transmission instruction from the user via the operation unit 932, and outputs the generated e-mail data to the communication unit 922.
  • the communication unit 922 encodes and modulates the e-mail data, and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • Communication unit 922 then demodulates and decodes the received signal to restore the email data, and outputs the restored email data to control unit 931.
  • the control unit 931 displays the content of the electronic mail on the display unit 930 and stores the electronic mail data in the storage medium of the recording / reproducing unit 929.
  • the recording / reproducing unit 929 has an arbitrary readable / writable storage medium.
  • the storage medium may be a built-in storage medium such as a RAM or a flash memory, or an externally mounted storage medium such as a hard disk, a magnetic disk, a magneto-optical disk, an optical disk, a USB memory, or a memory card. May be.
  • the camera unit 926 images a subject to generate image data, and outputs the generated image data to the image processing unit 927.
  • the image processing unit 927 encodes the image data input from the camera unit 926 and stores the encoded stream in the storage medium of the recording / playback unit 929.
  • the demultiplexing unit 928 multiplexes the video stream encoded by the image processing unit 927 and the audio stream input from the audio codec 923, and the multiplexed stream is the communication unit 922. Output to.
  • the communication unit 922 encodes and modulates the stream and generates a transmission signal. Then, the communication unit 922 transmits the generated transmission signal to a base station (not shown) via the antenna 921.
  • the communication unit 922 amplifies a radio signal received via the antenna 921 and performs frequency conversion to acquire a received signal.
  • These transmission signal and reception signal may include an encoded bit stream.
  • Communication unit 922 then demodulates and decodes the received signal to restore the stream, and outputs the restored stream to demultiplexing unit 928.
  • the demultiplexing unit 928 separates the video stream and the audio stream from the input stream, and outputs the video stream to the image processing unit 927 and the audio stream to the audio codec 923.
  • the image processing unit 927 decodes the video stream and generates video data.
  • the video data is supplied to the display unit 930, and a series of images is displayed on the display unit 930.
  • the audio codec 923 decompresses the audio stream and performs D / A conversion to generate an analog audio signal. Then, the audio codec 923 supplies the generated audio signal to the speaker 924 to output audio.
  • the image processing unit 927 has the functions of the image encoding device 10 and the image decoding device 50 according to the above-described embodiment. Thereby, when encoding and decoding an image by the mobile phone 920, it is possible to appropriately perform filtering in the deblocking filter process.
  • FIG. 37 shows an example of a schematic configuration of a recording / reproducing apparatus to which the above-described embodiment is applied.
  • the recording / reproducing device 940 encodes audio data and video data of a received broadcast program and records the encoded data on a recording medium.
  • the recording / reproducing device 940 may encode audio data and video data acquired from another device and record them on a recording medium, for example.
  • the recording / reproducing device 940 reproduces data recorded on the recording medium on a monitor and a speaker, for example, in accordance with a user instruction. At this time, the recording / reproducing device 940 decodes the audio data and the video data.
  • the recording / reproducing apparatus 940 includes a tuner 941, an external interface unit 942, an encoder 943, an HDD (Hard Disk Drive) 944, a disk drive 945, a selector 946, a decoder 947, an OSD (On-Screen Display) unit 948, a control unit 949, and A user interface unit 950 is provided.
  • Tuner 941 extracts a signal of a desired channel from a broadcast signal received via an antenna (not shown), and demodulates the extracted signal. Then, the tuner 941 outputs the encoded bit stream obtained by the demodulation to the selector 946. That is, the tuner 941 has a role as a transmission unit in the recording / reproducing apparatus 940.
  • the external interface unit 942 is an interface for connecting the recording / reproducing device 940 to an external device or a network.
  • the external interface unit 942 may be, for example, an IEEE 1394 interface, a network interface, a USB interface, or a flash memory interface.
  • video data and audio data received via the external interface unit 942 are input to the encoder 943. That is, the external interface unit 942 serves as a transmission unit in the recording / reproducing apparatus 940.
  • the encoder 943 encodes video data and audio data when the video data and audio data input from the external interface unit 942 are not encoded. Then, the encoder 943 outputs the encoded bit stream to the selector 946.
  • the HDD 944 records an encoded bit stream in which content data such as video and audio are compressed, various programs, and other data are recorded on an internal hard disk. Further, the HDD 944 reads out these data from the hard disk when reproducing video and audio.
  • the disk drive 945 performs recording and reading of data to and from the mounted recording medium.
  • the recording medium loaded in the disk drive 945 is, for example, a DVD disk (DVD-Video, DVD-RAM, DVD-R, DVD-RW, DVD + R, DVD + R W, etc.) or a Blu-ray (registered trademark) disk. Good.
  • the selector 946 selects an encoded bit stream input from the tuner 941 or the encoder 943 when recording video and audio, and outputs the selected encoded bit stream to the HDD 944 or the disk drive 945. In addition, the selector 946 outputs the encoded bit stream input from the HDD 944 or the disk drive 945 to the decoder 947 during video and audio reproduction.
  • the decoder 947 decodes the encoded bit stream and generates video data and audio data. Then, the decoder 947 outputs the generated video data to the OSD unit 948.
  • the decoder 904 outputs the generated audio data to an external speaker.
  • the OSD unit 948 reproduces the video data input from the decoder 947 and displays the video. In addition, the OSD unit 948 may superimpose a GUI image such as a menu, a button, or a cursor on the video to be displayed.
  • the control unit 949 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the recording / reproducing apparatus 940 is activated, for example.
  • the CPU controls the operation of the recording / reproducing device 940 according to an operation signal input from the user interface unit 950, for example, by executing the program.
  • the user interface unit 950 is connected to the control unit 949.
  • the user interface unit 950 includes, for example, buttons and switches for the user to operate the recording / reproducing device 940, a remote control signal receiving unit, and the like.
  • the user interface unit 950 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 949.
  • the encoder 943 has the function of the image encoding apparatus 10 according to the above-described embodiment.
  • the decoder 947 has the function of the image decoding device 50 according to the above-described embodiment.
  • FIG. 38 illustrates an example of a schematic configuration of an imaging apparatus to which the above-described embodiment is applied.
  • the imaging device 960 images a subject to generate an image, encodes the image data, and records it on a recording medium.
  • the imaging device 960 includes an optical block 961, an imaging unit 962, a camera signal processing unit 963, an image processing unit 964, a display unit 965, an external interface unit 966, a memory 967, a media drive 968, an OSD unit 969, a control unit 970, and a user interface.
  • the optical block 961 has a focus lens and a diaphragm mechanism.
  • the optical block 961 forms an optical image of the subject on the imaging surface of the imaging unit 962.
  • the imaging unit 962 includes an image sensor such as a CCD or a CMOS, and converts an optical image formed on the imaging surface into an image signal as an electrical signal by photoelectric conversion. Then, the imaging unit 962 outputs the image signal to the camera signal processing unit 963.
  • the camera signal processing unit 963 performs various camera signal processing such as knee correction, gamma correction, and color correction on the image signal input from the imaging unit 962.
  • the camera signal processing unit 963 outputs the image data after the camera signal processing to the image processing unit 964.
  • the image processing unit 964 encodes the image data input from the camera signal processing unit 963, and generates encoded data. Then, the image processing unit 964 outputs the generated encoded data to the external interface unit 966 or the media drive 968. In addition, the image processing unit 964 decodes encoded data input from the external interface unit 966 or the media drive 968 to generate image data. Then, the image processing unit 964 outputs the generated image data to the display unit 965. In addition, the image processing unit 964 may display the image by outputting the image data input from the camera signal processing unit 963 to the display unit 965. Further, the image processing unit 964 may superimpose display data acquired from the OSD unit 969 on an image output to the display unit 965.
  • the OSD unit 969 generates a GUI image such as a menu, a button, or a cursor, for example, and outputs the generated image to the image processing unit 964.
  • the external interface unit 966 is configured as a USB input / output terminal, for example.
  • the external interface unit 966 connects, for example, the imaging device 960 and a printer when printing an image. Further, a drive is connected to the external interface unit 966 as necessary.
  • a removable medium such as a magnetic disk or an optical disk is attached to the drive, and a program read from the removable medium can be installed in the imaging device 960.
  • the external interface unit 966 may be configured as a network interface connected to a network such as a LAN or the Internet. That is, the external interface unit 966 has a role as a transmission unit in the imaging device 960.
  • the recording medium mounted on the media drive 968 may be any readable / writable removable medium such as a magnetic disk, a magneto-optical disk, an optical disk, or a semiconductor memory. Further, a recording medium may be fixedly attached to the media drive 968, and a non-portable storage unit such as a built-in hard disk drive or an SSD (Solid State Drive) may be configured.
  • a non-portable storage unit such as a built-in hard disk drive or an SSD (Solid State Drive) may be configured.
  • the control unit 970 includes a processor such as a CPU and memories such as a RAM and a ROM.
  • the memory stores a program executed by the CPU, program data, and the like.
  • the program stored in the memory is read and executed by the CPU when the imaging device 960 is activated, for example.
  • the CPU controls the operation of the imaging device 960 according to an operation signal input from the user interface unit 971, for example, by executing the program.
  • the user interface unit 971 is connected to the control unit 970.
  • the user interface unit 971 includes buttons and switches for the user to operate the imaging device 960, for example.
  • the user interface unit 971 detects an operation by the user via these components, generates an operation signal, and outputs the generated operation signal to the control unit 970.
  • the bus 972 connects the image processing unit 964, the external interface unit 966, the memory 967, the media drive 968, the OSD unit 969, and the control unit 970 to each other.
  • the image processing unit 964 has the functions of the image encoding device 10 and the image decoding device 50 according to the above-described embodiment. Accordingly, when the image is encoded and decoded by the imaging device 960, filtering can be appropriately performed in the deblocking filter process.
  • the method for transmitting such information is not limited to such an example.
  • these pieces of information may be transmitted or recorded as separate data associated with the encoded bitstream without being multiplexed into the encoded bitstream.
  • the term “associate” means that an image (which may be a part of an image such as a slice or a block) included in the bitstream and information corresponding to the image can be linked at the time of decoding. Means. That is, information may be transmitted on a transmission path different from that of the image (or bit stream).
  • Information may be recorded on a recording medium (or another recording area of the same recording medium) different from the image (or bit stream). Furthermore, the information and the image (or bit stream) may be associated with each other in an arbitrary unit such as a plurality of frames, one frame, or a part of the frame.
  • the image processing apparatus of the present technology may also have the following configuration.
  • a decoding unit that decodes an encoded stream encoded in units having a hierarchical structure to generate an image
  • a filter unit that applies a deblocking filter to the block boundary according to the strength of the deblocking filter applied to a block boundary that is a boundary between an image block generated by the decoding unit and an adjacent block adjacent to the block;
  • the filter unit is controlled to apply a clipping process to the deblocking filter for the luminance component of the image generated by the decoding unit.
  • An image processing apparatus comprising: a control unit.
  • a filter strength determination unit that determines the strength of a deblocking filter applied to the block boundary, The filter unit performs a deblocking filter on the block boundary according to the strength determined by the filter strength determination unit, The control unit applies a clipping process to the deblocking filter for the luminance component of the image generated by the decoding unit when the strong filter is determined to be applied by the filter strength determination unit.
  • the image processing apparatus according to any one of (1) to (5), wherein the filter unit is controlled.
  • the filter strength determination unit determines the strength of the deblocking filter using a plurality of lines as processing units.
  • the image processing apparatus is Decoding an encoded stream encoded in a unit having a hierarchical structure to generate an image; Applying a deblocking filter to the block boundary according to the strength of the deblocking filter applied to a block boundary that is a boundary between a block of the generated image and an adjacent block adjacent to the block, An image processing method for controlling to apply a clip process to the deblocking filter for a luminance component of a generated image when a strong filter is applied as the strength of the deblocking filter. (11) When the image is encoded, the block boundary is deblocked according to the strength of a deblocking filter applied to a block boundary that is a boundary between the block of the locally decoded image and an adjacent block adjacent to the block.
  • a filter section for applying a filter A control unit that controls the filter unit to apply a clipping process to the deblocking filter for a luminance component of the locally decoded image when a strong filter is applied as the strength of the deblocking filter
  • the image processing device (14) The image processing device according to (13), wherein the control unit sets a value that is an integral multiple of the parameter of the deblocking filter as a clip value that is used when clip processing is performed. (15) The image processing device according to (14), wherein the control unit sets a value twice as large as the parameter of the deblocking filter as a clip value used when clip processing is performed. (16) A filter strength determination unit that determines the strength of a deblocking filter applied to the block boundary, The filter unit performs a deblocking filter on the block boundary according to the strength determined by the filter strength determination unit, The control unit applies a clipping process to the deblocking filter for the luminance component of the image generated by the decoding unit when the strong filter is determined to be applied by the filter strength determination unit.
  • the image processing apparatus according to any one of (11) to (15), wherein the filter unit is controlled.
  • the filter strength determination unit determines the strength of the deblocking filter using a plurality of lines as processing units.
  • the filter strength determination unit determines the strength of the deblocking filter using four lines as a processing unit.
  • a filter necessity determining unit that determines whether to apply a deblocking filter to the block boundary using a plurality of lines as processing units, The image processing apparatus according to (17), wherein the filter strength determination unit determines the strength of the deblocking filter when the filter necessity determination unit determines to apply a deblocking filter.
  • the image processing apparatus is When the image is encoded, a deblocking filter is applied to the block boundary according to the strength of the deblocking filter applied to a block boundary that is a boundary between a block of the locally decoded image and an adjacent block adjacent to the block. , When a strong filter is applied as the strength of the deblocking filter, the luminance component of the locally decoded image is controlled so that clipping processing is applied to the deblocking filter, An image processing method for encoding the image in a unit having a hierarchical structure using an image to which the deblocking filter is applied.
  • Storage buffer 52 ... Lossless decoding unit, 61 ... Frame memory 64... Motion compensation unit 71... Image memory 72 and 72-1 ..Block boundary determination unit, 72-2 ... Line boundary block boundary determination unit, 73, 73-1 ... Filter strength determination unit, 73-2 ... Line boundary filter strength determination unit, 74, 74- DESCRIPTION OF SYMBOLS 1 ... Filter calculating part, 74-2 ... Line boundary filter calculating part, 75 ... Selector, 76 ... Coefficient memory, 77 ... Control part, 77A, 77B ... Line determination in LCU 241 ... Line memory, 242 ... Line boundary detection unit, 243 ... Filter strength determination unit, 244 ... Coefficient memory, 245 ... Filter operation unit, 246 ... Filter control unit, 2451 ... Data storage unit, 2452 ... Data selection unit, 2453, 2455, 2456 ... Calculation unit, 2457 ... Data selection unit, 2461 ... Line boundary determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本技術は、デブロッキングフィルタ処理において、適切にフィルタリングがかかるようにする画像処理装置と画像処理方法に関する。デブロッキング処理前には、２５５（実線）である画素ｐ０ｉの値は、従来のデブロッキング処理後に１５９（点線）となり、大きく変化してしまう。そこで、強フィルタリングにおいてクリップ値が１０のクリップ処理を行うことにより、デブロッキング処理前には、２５５（実線）である画素ｐ０ｉの値は、２４５（太線）となり、従来において生じていた画素値の変化を最小限に抑えることができる。本開示は、例えば、画像処理装置に適用することができる。

Description

画像処理装置と画像処理方法
　この技術は、画像処理装置と画像処理方法に関する。詳しくは、デブロッキングフィルタ処理において、適切にフィルタリングをかけることができるようにする。
　近年、画像情報をディジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧ２（ISO（International Organization for Standardization）/IEC（International Electrotechnical Commission）13818-2）などの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及している。また、ＭＰＥＧ２等に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることができるＨ．２６４およびＭＰＥＧ４ Ｐａｒｔ１０（ＡＶＣ（Advanced Video Coding））と呼ばれる方式も用いられるようになった。さらに、昨今、ハイビジョン画像の４倍の、４０００×２０００画素程度の高解像度画像の圧縮や配信等を効率よく行うことができるように、次世代の画像符号化方式であるＨＥＶＣ（High　Efficiency　Video　Coding）の標準化作業が行われている。
　次世代の画像符号化方式であるＨＥＶＣ（High　Efficiency　Video　Coding）の標準化作業では、ＪＣＴＶＣ－Ａ１１９（下記非特許文献１参照）において、８×８画素以上のサイズのブロック毎にデブロックフィルタを適用することが提案されている。ＪＣＴＶＣ－Ａ１１９において提案された手法では、デブロックフィルタを適用する最小単位のブロックサイズが拡大されることで、１つのマクロブロック内で同一方向の複数のブロック境界についてのフィルタリング処理を並列的に実行することが可能となる。
K.Ugur　(Nokia),　K.R.Andersson　(LM　Ericsson),　A.Fuldseth　(Tandberg　Telecom),　"JCTVC-A119:Video　coding　technology　proposal　by　Tandberg,　Nokia,　and　Ericsson",　Documents　of　the　first　meeting　of　the　Joint　Collaborative　Team　on　Video　Coding　(JCT-VC),　Dresden,　Germany,　15-23　April,　2010.
　しかしながら、従来のデブロッキングフィルタ処理においては、適切にフィルタリングがなされていなかった。
　そこで、この技術では、デブロッキングフィルタ処理において、適切にフィルタリングがかかるようにすることを目的とする。
　この技術の第１の側面の画像処理装置は、階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成する復号部と、前記復号部により生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施すフィルタ部と、前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する制御部とを備える。
　前記制御部は、前記デブロッキングフィルタを適用する際に変化する部分の値にクリップ処理を適用することができる。
　前記制御部は、下記式に従って、前記クリップ処理を適用する
Figure JPOXMLDOC01-appb-M000003
 　ここで、i=0,7、pvはクリップ値である。
　前記制御部は、前記デブロッキングフィルタのパラメータの整数倍の値を、クリップ処理を行う際に用いるクリップ値として設定することができる。
　前記制御部は、前記デブロッキングフィルタのパラメータの２倍の値を、クリップ処理を行う際に用いるクリップ値として設定することができる。
　前記ブロック境界に適用するデブロッキングフィルタの強度を判定するフィルタ強度判定部をさらに備え、前記フィルタ部は、前記フィルタ強度判定部により判定された強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、前記制御部は、前記フィルタ強度判定部によりストロングフィルタが適用されると判定された場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御することができる。
　前記フィルタ強度判定部は、複数のラインを処理単位として、前記デブロッキングフィルタの強度を判定することができる。
　前記フィルタ強度判定部は、４ラインを処理単位として、前記デブロッキングフィルタの強度を判定することができる。
　複数のラインを処理単位として、前記ブロック境界にデブロッキングフィルタを適用するか否かを判定するフィルタ要否判定部をさらに備え、前記フィルタ強度判定部は、前記フィルタ要否判定部によりデブロッキングフィルタを適用すると判定された場合に、前記デブロッキングフィルタの強度を判定することができる。
　この技術の第１の側面の画像処理方法は、画像処理装置が、階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成し、生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御する。
　この技術の第２の側面の画像処理装置は、画像を符号化する際にローカルデコードされた画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施すフィルタ部と、前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記ローカルデコードされた画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する制御部と、前記デブロッキングフィルタが適用された画像を用いて、前記画像を階層構造を有する単位で符号化する符号化部とを備える。
　前記制御部は、前記デブロッキングフィルタを適用する際に変化する部分の値にクリップ処理を適用することができる。
　前記制御部は、下記式に従って、前記クリップ処理を適用する
Figure JPOXMLDOC01-appb-M000004
 　ここで、i=0,7、pvはクリップ値である。
　前記制御部は、前記デブロッキングフィルタのパラメータの整数倍の値を、クリップ処理を行う際に用いるクリップ値として設定することができる。
　前記制御部は、前記デブロッキングフィルタのパラメータの２倍の値を、クリップ処理を行う際に用いるクリップ値として設定することができる。
　前記ブロック境界に適用するデブロッキングフィルタの強度を判定するフィルタ強度判定部をさらに備え、前記フィルタ部は、前記フィルタ強度判定部により判定された強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、前記制御部は、前記フィルタ強度判定部によりストロングフィルタが適用されると判定された場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御することができる。
　前記フィルタ強度判定部は、複数のラインを処理単位として、前記デブロッキングフィルタの強度を判定することができる。
　前記フィルタ強度判定部は、４ラインを処理単位として、前記デブロッキングフィルタの強度を判定することができる。
　複数のラインを処理単位として、前記ブロック境界にデブロッキングフィルタを適用するか否かを判定するフィルタ要否判定部をさらに備え、前記フィルタ強度判定部は、前記フィルタ要否判定部によりデブロッキングフィルタを適用すると判定された場合に、前記デブロッキングフィルタの強度を判定することができる。
　この技術の第２の側面の画像処理方法は、画像処理装置が、画像を符号化する際にローカルデコードされた画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記ローカルデコードされた画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御し、前記デブロッキングフィルタが適用された画像を用いて、前記画像を階層構造を有する単位で符号化する。
　この技術の第１の側面においては、階層構造を有する単位で符号化された符号化ストリームを復号して画像が生成され、生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタが施される。そして、前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御される。
　この技術の第２の側面においては、画像を符号化する際にローカルデコードされた画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタが施される。そして、前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記ローカルデコードされた画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御され、前記デブロッキングフィルタが適用された画像を用いて、前記画像が階層構造を有する単位で符号化される。
　この技術によれば、デブロッキングフィルタ処理において、適切にフィルタ処理をかけることができる。
従来のデブロッキングフィルタ処理を説明するための図である。 画像符号化装置に適用した場合の構成を示す図である。 画像符号化動作を示すフローチャートである。 イントラ予測処理を示すフローチャートである。 インター予測処理を示すフローチャートである。 画像復号装置に適用した場合の構成を示す図である。 画像復号動作を示すフローチャートである。 デブロッキングフィルタ処理部の基本的な動作を説明するための図である。 デブロッキングフィルタ処理部の第１の実施の形態の構成を示す図である。 デブロッキングフィルタ処理部の第１の実施の形態の動作を示すフローチャートである。 フィルタ演算部の構成を示す図である。 フィルタ演算部の構成を示す図である。 フィルタ演算部の動作を説明するための図である。 フィルタ演算部の動作を説明するための図である。 第５の実施の形態の動作を示すフローチャートである。 従来のデブロッキングフィルタ処理を説明するための図である。 本技術（第６の実施の形態）を説明するための図である。 本技術（第６の実施の形態）を説明するための図である。 本技術のデブロッキングフィルタ処理に用いられる画素を明示する図である。 従来の強フィルタリングによって変化する画素値について説明する図である。 クリップ処理付き強フィルタリングによる効果について説明する図である。 デブロッキングフィルタ処理部の第６の実施の形態の構成を示す図である。 デブロッキングフィルタ処理部の第６の実施の形態の動作を示すフローチャートである。 デブロッキングフィルタ処理部の第７の実施の形態の構成を示す図である。 デブロッキングフィルタ処理部の第８の実施の形態の構成を示す図である。 デブロッキングフィルタ処理部の第８の実施の形態の動作を示すフローチャートである。 輝度信号のデブロッキング処理について説明するフローチャートである。 Ｒ３Ｗ２の場合の例を説明する図である。 多視点画像符号化方式の例を示す図である。 本技術を適用した多視点画像符号化装置の主な構成例を示す図である。 本技術を適用した多視点画像復号装置の主な構成例を示す図である。 階層画像符号化方式の例を示す図である。 本技術を適用した階層画像符号化装置の主な構成例を示す図である。 本技術を適用した階層画像復号装置の主な構成例を示す図である。 テレビジョン装置の概略的な構成の一例を示した図である。 携帯電話機の概略的な構成の一例を示した図である。 記録再生装置の概略的な構成の一例を示した図である。 撮像装置の概略的な構成の一例を示した図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　　１．従来の技術
　　２．画像符号化装置に適用した場合の構成
　　３．画像符号化装置の動作
　　４．画像復号装置に適用した場合の構成
　　５．画像復号装置の動作
　　６．デブロッキングフィルタ処理部の基本的な動作
　　７．デブロッキングフィルタ処理部の第１の実施の形態
　　８．デブロッキングフィルタ処理部の第２の実施の形態
　　９．デブロッキングフィルタ処理部の第３の実施の形態
　　１０．デブロッキングフィルタ処理部の第４の実施の形態
　　１１．デブロッキングフィルタ処理部の第５の実施の形態
　　１２．第６乃至第８の実施の形態の説明
　　１３．デブロッキングフィルタ処理部の第６の実施の形態
　　１４．デブロッキングフィルタ処理部の第７の実施の形態
　　１５．デブロッキングフィルタ処理部の第８の実施の形態
　　１６．第９の実施の形態
　　１７．第１０の実施の形態（多視点画像符号化・多視点画像復号装置）
　　１８．第１１の実施の形態（階層画像符号化・階層画像復号装置
　　１９．応用例
　＜１．従来の技術＞
　従来のデブロッキングフィルタ処理について図１を参照して説明する。
　図１の（Ａ）に示すように、例えばＬＣＵ(Largest Coding Unit)単位でラスター順にデブロッキングフィルタ処理を行う場合、上側ブロックであるＬＣＵｕにおいて、ブロック間の境界ＢＢから所定ライン分の画像データがラインメモリに記憶されて、この画像データと、その後に得られる下側ブロックであるＬＣＵｌの画像データを用いて垂直フィルタ処理が行われる。例えば、図１の（Ｂ）に示すように、ブロック間の境界ＢＢからそれぞれ３ライン分を垂直フィルタ処理の処理範囲として、境界ＢＢから４ライン分の画像データを用いてフィルタ演算を行う場合、上側ブロックであるＬＣＵｕの境界ＢＢから４ラインの画像データがラインメモリに記憶される。なお、図では、デブロッキングフィルタの対象画素を二重丸で示しており、デブロッキングフィルタのフィルタ処理範囲の上側境界を「ＤＢＵ」、下側境界を「ＤＢＬ」として示している。
　このように、フィルタ演算に用いられる画像データをブロック間の境界ＢＢから所定ラ イン分だけラインメモリに記憶しておくため、水平方向の画素数が増大するとラインメモリのメモリ容量が大きくなってしまっていた。
　＜２．画像符号化装置に適用した場合の構成＞
　図２は、本技術の画像処理装置を画像符号化装置に適用した場合の構成を示している。画像符号化装置１０は、アナログ／ディジタル変換部（Ａ／Ｄ変換部）１１、画面並び替えバッファ１２、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、レート制御部１８を備えている。さらに、画像符号化装置１０は、逆量子化部２１、逆直交変換部２２、加算部２３、デブロッキングフィルタ処理部２４、フレームメモリ２５、セレクタ２６、イントラ予測部３１、動き予測・補償部３２、予測画像・最適モード選択部３３を備えている。
　Ａ／Ｄ変換部１１は、アナログの画像信号をディジタルの画像データに変換して画面並べ替えバッファ１２に出力する。
　画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１から出力された画像データに対してフレームの並べ替えを行う。画面並べ替えバッファ１２は、符号化処理に係るＧＯＰ（Group of Pictures）構造に応じてフレームの並べ替えを行い、並べ替え後の画像データを減算部１３とイントラ予測部３１と動き予測・補償部３２に出力する。
　減算部１３には、画面並べ替えバッファ１２から出力された画像データと、後述する予測画像・最適モード選択部３３で選択された予測画像データが供給される。減算部１３は、画面並べ替えバッファ１２から出力された画像データと予測画像・最適モード選択部３３から供給された予測画像データとの差分である予測誤差データを算出して、直交変換部１４に出力する。
　直交変換部１４は、減算部１３から出力された予測誤差データに対して、離散コサイン変換（DCT；Discrete Cosine Transform）、カルーネン・レーベ変換等の直交変換処理を行う。直交変換部１４は、直交変換処理を行うことにより得られた変換係数データを量子化部１５に出力する。
　量子化部１５には、直交変換部１４から出力された変換係数データと、後述するレート制御部１８からレート制御信号が供給されている。量子化部１５は変換係数データの量子化を行い、量子化データを可逆符号化部１６と逆量子化部２１に出力する。また、量子化部１５は、レート制御部１８からのレート制御信号に基づき量子化パラメータ（量子化スケール）を切り替えて、量子化データのビットレートを変化させる。
　可逆符号化部１６には、量子化部１５から出力された量子化データと、後述するイントラ予測部３１と動き予測・補償部３２および予測画像・最適モード選択部３３から予測モード情報が供給される。なお、予測モード情報には、イントラ予測またはインター予測に応じて、予測ブロックサイズを識別可能とするマクロブロックタイプ、予測モード、動きベクトル情報、参照ピクチャ情報等が含まれる。可逆符号化部１６は、量子化データに対して例えば可変長符号化、または算術符号化等により可逆符号化処理を行い、符号化ストリームを生成して蓄積バッファ１７に出力する。また、可逆符号化部１６は、予測モード情報を可逆符号化して、符号化ストリームのヘッダ情報に付加する。
　蓄積バッファ１７は、可逆符号化部１６からの符号化ストリームを蓄積する。また、蓄積バッファ１７は、蓄積した符号化ストリームを伝送路に応じた伝送速度で出力する。
　レート制御部１８は、蓄積バッファ１７の空き容量の監視を行い、空き容量に応じてレート制御信号を生成して量子化部１５に出力する。レート制御部１８は、例えば蓄積バッファ１７から空き容量を示す情報を取得する。レート制御部１８は空き容量が少なくなっているとき、レート制御信号によって量子化データのビットレートを低下させる。また、レート制御部１８は蓄積バッファ１７の空き容量が十分大きいとき、レート制御信号によって量子化データのビットレートを高くする。
　逆量子化部２１は、量子化部１５から供給された量子化データの逆量子化処理を行う。逆量子化部２１は、逆量子化処理を行うことで得られた変換係数データを逆直交変換部２ ２に出力する。
　逆直交変換部２２は、逆量子化部２１から供給された変換係数データの逆直交変換処理を行うことで得られたデータを加算部２３に出力する。
　加算部２３は、逆直交変換部２２から供給されたデータと予測画像・最適モード選択部３３から供給された予測画像データを加算して復号画像データを生成して、デブロッキングフィルタ処理部２４とフレームメモリ２５に出力する。
　デブロッキングフィルタ処理部２４は、画像の符号化時に生じるブロック歪みを減少させるためのフィルタ処理を行う。デブロッキングフィルタ処理部２４は、加算部２３から供給された復号画像データからブロック歪みを除去するフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリ２５に出力する。また、デブロッキングフィルタ処理部２４は、垂直方向のブロック間の境界検出によって検出された境界に応じて、境界の上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御する。このように、フィルタ演算に用いる画像範囲を制御することで、デブロッキングフィルタ処理部２４は、画像データを記憶するラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようにする。なお、詳細は後述する。
　フレームメモリ２５は、加算部２３から供給された復号画像データとデブロッキングフィルタ処理部２４から供給されたフィルタ処理後の復号画像データを参照画像の画像データとして保持する。
　セレクタ２６は、イントラ予測を行うためにフレームメモリ２５から読み出されたフィルタ処理前の参照画像データをイントラ予測部３１に供給する。また、セレクタ２６は、インター予測を行うためフレームメモリ２５から読み出されたフィルタ処理後の参照画像データを動き予測・補償部３２に供給する。
　イントラ予測部３１は、画面並べ替えバッファ１２から出力された符号化対象画像の画像データとフレームメモリ２５から読み出したフィルタ処理前の参照画像データを用いて、候補となる全てのイントラ予測モードのイントラ予測処理を行う。さらに、イントラ予測部３１は、各イントラ予測モードに対してコスト関数値を算出して、算出したコスト関数値が最小となるイントラ予測モード、すなわち符号化効率が最良となるイントラ予測モードを、最適イントラ予測モードとして選択する。イントラ予測部３１は、最適イントラ予測モードで生成された予測画像データと最適イントラ予測モードに関する予測モード情報、および最適イントラ予測モードでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、イントラ予測部３１は、後述するようにコスト関数値の算出で用いる発生符号量を得るため、各イントラ予測モードのイントラ予測処理において、イントラ予測モードに関する予測モード情報を可逆符号化部１６に出力する。
　動き予測・補償部３２は、マクロブロックに対応する全ての予測ブロックサイズで動き予測・補償処理を行う。動き予測・補償部３２は、画面並べ替えバッファ１２から読み出された符号化対象画像における各予測ブロックサイズの画像毎に、フレームメモリ２５から読み出されたフィルタ処理後の参照画像データを用いて動きベクトルを検出する。さらに、動き予測・補償部３２は、検出した動きベクトルに基づいて復号画像に動き補償処理を施して予測画像の生成を行う。また、動き予測・補償部３２は、各予測ブロックサイズに対してコスト関数値を算出して、算出したコスト関数値が最小となる予測ブロックサイズ、すなわち符号化効率が最良となる予測ブロックサイズを、最適インター予測モードとして選択する。動き予測・補償部３２は、最適インター予測モードで生成された予測画像データと最適インター予測モードに関する予測モード情報、および最適インター予測モー ドでのコスト関数値を予測画像・最適モード選択部３３に出力する。また、動き予測・補償部３２は、コスト関数値の算出で用いる発生符号量を得るため、各予測ブロックサイズでのインター予測処理において、インター予測モードに関する予測モード情報を可逆符号化部１６に出力する。なお、動き予測・補償部３２は、インター予測モードとして、スキップドマクロブロックやダイレクトモードでの予測も行う。
　予測画像・最適モード選択部３３は、イントラ予測部３１から供給されたコスト関数値と動き予測・補償部３２から供給されたコスト関数値を、マクロブロック単位で比較して、コスト関数値が少ない方を、符号化効率が最良となる最適モードとして選択する。また、予測画像・最適モード選択部３３は、最適モードで生成した予測画像データを減算部１３と加算部２３に出力する。さらに、予測画像・最適モード選択部３３は、最適モードの予測モード情報を可逆符号化部１６に出力する。なお、予測画像・最適モード選択部３３は、スライス単位でイントラ予測またはインター予測を行うようにしてもよい。
　なお、請求項における符号化部は、予測画像データを生成するイントラ予測部３１や動き予測・補償部３２、予測画像・最適モード選択部３３、減算部１３、直交変換部１４、量子化部１５、可逆符号化部１６等で構成される。
　＜３．画像符号化装置の動作＞
　図３は、画像符号化処理動作を示すフローチャートである。ステップＳＴ１１において、Ａ／Ｄ変換部１１は入力された画像信号をＡ／Ｄ変換する。
　ステップＳＴ１２において画面並べ替えバッファ１２は、画面並べ替えを行う。画面並べ替えバッファ１２は、Ａ／Ｄ変換部１１より供給された画像データを記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。
　ステップＳＴ１３において減算部１３は、予測誤差データの生成を行う。減算部１３は、ステップＳＴ１２で並べ替えられた画像の画像データと予測画像・最適モード選択部３３で選択された予測画像データとの差分を算出して予測誤差データを生成する。予測誤差データは、元の画像データに比べてデータ量が小さい。したがって、画像をそのまま符号化する場合に比べて、データ量を圧縮することができる。なお、予測画像・最適モード選択部３３でイントラ予測部３１から供給された予測画像と動き予測・補償部３２からの予測画像の選択がスライス単位で行われるとき、イントラ予測部３１から供給された予測画像が選択されたスライスでは、イントラ予測が行われる。また、動き予測・補償部３２からの予測画像が選択されたスライスでは、インター予測が行われる。
　ステップＳＴ１４において直交変換部１４は、直交変換処理を行う。直交変換部１４は、減算部１３から供給された予測誤差データを直交変換する。具体的には、予測誤差データに対して離散コサイン変換、カルーネン・レーベ変換等の直交変換が行われ、変換係数データを出力する。
　ステップＳＴ１５において量子化部１５は、量子化処理を行う。量子化部１５は、変換係数データを量子化する。量子化に際しては、後述するステップＳＴ２５の処理で説明されるように、レート制御が行われる。
　ステップＳＴ１６において逆量子化部２１は、逆量子化処理を行う。逆量子化部２１は、量子化部１５により量子化された変換係数データを量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ１７において逆直交変換部２２は、逆直交変換処理を行う。逆直交変換部 ２２は、逆量子化部２１により逆量子化された変換係数データを直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ１８において加算部２３は、復号画像データの生成を行う。加算部２３は、予測画像・最適モード選択部３３から供給された予測画像データと、この予測画像と対応する位置の逆直交変換後のデータを加算して、復号画像データを生成する。
　ステップＳＴ１９においてデブロッキングフィルタ処理部２４は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部２４は、加算部２３より出力された復号画像データをフィルタリングしてブロック歪みを除去する。また、デブロッキングフィルタ処理部２４は、画像データを記憶するラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようする。具体的には、デブロッキングフィルタ処理部２４は、垂直方向のブロック間の境界検出によって検出された境界に応じて、境界の上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御する。
　ステップＳＴ２０においてフレームメモリ２５は、復号画像データを記憶する。フレームメモリ２５は、デブロッキングフィルタ処理前の復号画像データを記憶する。
　ステップＳＴ２１においてイントラ予測部３１と動き予測・補償部３２は、それぞれ予測処理を行う。すなわち、イントラ予測部３１は、イントラ予測モードのイントラ予測処理を行い、動き予測・補償部３２は、インター予測モードの動き予測・補償処理を行う。この処理により、候補となる全ての予測モードでの予測処理がそれぞれ行われ、候補となる全ての予測モードでのコスト関数値がそれぞれ算出される。そして、算出されたコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードが選択され、選択された予測モードで生成された予測画像とそのコスト関数および予測モード情報が予測画像・最適モード選択部３３に供給される。
　ステップＳＴ２２において予測画像・最適モード選択部３３は、予測画像データの選択を行う。予測画像・最適モード選択部３３は、イントラ予測部３１および動き予測・補償部３２より出力された各コスト関数値に基づいて、符号化効率が最良となる最適モードに決定する。さらに、予測画像・最適モード選択部３３は、決定した最適モードの予測画像データを選択して、減算部１３と加算部２３に供給する。この予測画像が、上述したように、ステップＳＴ１３，ＳＴ１８の演算に利用される。
　ステップＳＴ２３において可逆符号化部１６は、可逆符号化処理を行う。可逆符号化部１６は、量子化部１５より出力された量子化データを可逆符号化する。すなわち、量子化データに対して可変長符号化や算術符号化等の可逆符号化が行われて、データ圧縮される。このとき、上述したステップＳＴ２２において可逆符号化部１６に入力された予測モード情報（例えばマクロブロックタイプや予測モード、動きベクトル情報、参照ピクチャ情報等を含む）なども可逆符号化される。さらに、量子化データを可逆符号化して生成された符号化ストリームのヘッダ情報に、予測モード情報の可逆符号化データが付加される。
　ステップＳＴ２４において蓄積バッファ１７は、蓄積処理を行い符号化ストリームを蓄積する。この蓄積バッファ１７に蓄積された符号化ストリームは適宜読み出され、伝送路を介して復号側に伝送される。
　ステップＳＴ２５においてレート制御部１８は、レート制御を行う。レート制御部１８は、蓄積バッファ１７で符号化ストリームを蓄積するとき、オーバーフローまたはアンダーフローが蓄積バッファ１７で発生しないように、量子化部１５の量子化動作のレートを制御する。
　次に、図３のステップＳＴ２１における予測処理を説明する。イントラ予測部３１はイントラ予測処理を行う。イントラ予測部３１は処理対象のブロックの画像を、候補となる全てのイントラ予測モードでイントラ予測する。なお、イントラ予測において参照される参照画像の画像データは、デブロッキングフィルタ処理部２４によりフィルタ処理が行われることなくフレームメモリ２５に記憶されている参照画像データが用いられる。イントラ予測処理の詳細は後述するが、この処理により、候補となる全てのイントラ予測モードでイントラ予測が行われ、候補となる全てのイントラ予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのイントラ予測モードの中から、符号化効率が最良となる１つのイントラ予測モードが選択される。動き予測・補償部３２はインター予測処理を行う。動き予測・補償部３２は、フレームメモリ２５に記憶されているフィルタ処理後の参照画像データを用いて、候補となる全てのインター予測モード（全ての予測ブロックサイズ）のインター予測処理を行う。インター予測処理の詳細は後述するが、この処理により、候補となる全てのインター予測モードで予測処理が行われ、候補となる全てのインター予測モードに対してコスト関数値が算出される。そして、算出されたコスト関数値に基づいて、全てのインター予測モードの中から、符号化効率が最良となる１つのインター予測モードが選択される。
　図４のフローチャートを参照してイントラ予測処理について説明する。ステップＳＴ３１でイントラ予測部３１は、各予測モードのイントラ予測を行う。イントラ予測部３１は、フレームメモリ２５に記憶されているフィルタ処理前の復号画像データを用いて、イントラ予測モード毎に予測画像データを生成する。
　ステップＳＴ３２でイントラ予測部３１は、各予測モードに対するコスト関数値を算出する。例えば、候補となる全ての予測モードに対して、仮に可逆符号化処理までを行い、次の式（１）で表されるコスト関数値を各予測モードに対して算出する。
　Cost(Mode∈Ω)=Ｄ+λ・Ｒ　　　　　　・・・（１）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Ｒは、直交変換係数や予測モード情報等を含んだ発生符号量、λは、量子化パラメータＱＰの関数として与えられるラグランジュ乗数である。
　また、候補となる全ての予測モードに対して、予測画像の生成、および、動きベクトル情報や予測モード情報などのヘッダビットまでを算出し、次の式（２）で表されるコスト関数値を各予測モードに対して算出する。
　　Cost(Mode∈Ω)=Ｄ+QPtoQuant(QP)・Header_Bit　　・・・（２）
　Ωは、当該ブロック乃至マクロブロックを符号化するための候補となる予測モードの全体集合を示している。Ｄは、予測モードで符号化を行った場合の復号画像と入力画像との差分エネルギー（歪み）を示している。Header_Bitは、予測モードに対するヘッダビット、QPtoQuantは、量子化パラメータＱＰの関数として与えられる関数である。
　ステップＳＴ３３でイントラ予測部３１は、最適イントラ予測モードを決定する。イントラ予測部３１は、ステップＳＴ３２において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つのイントラ予測モードを選択して最適イントラ予測モードに決定する。
　次に、図５のフローチャートを参照して、インター予測処理について説明する。ステップＳＴ４１で動き予測・補償部３２は、各予測モードに対して動きベクトルと参照画像をそれぞれ決定する。すなわち、動き予測・補償部３２は、各予測モードの処理対象のブロックについて、動きベクトルと参照画像をそれぞれ決定する。
　ステップＳＴ４２で動き予測・補償部３２は、各予測モードに対して動き補償を行う。動き予測・補償部３２は、各予測モード（各予測ブロックサイズ）について、ステップＳＴ４１で決定された動きベクトルに基づいて、参照画像に対する動き補償を行い、各予測モードについて予測画像データを生成する。
　ステップＳＴ４３で動き予測・補償部３２は、各予測モードに対して動きベクトル情報の生成を行う。動き予測・補償部３２は、各予測モードで決定された動きベクトルについて、符号化ストリームに含める動きベクトル情報を生成する。例えば、メディアン予測等を用いて予測動きベクトルを決定して、動き予測により検出した動きベクトルと予測動きベクトルの差を示す動きベクトル情報を生成する。このようにして生成された動きベクトル情報は、次のステップＳＴ４４におけるコスト関数値の算出にも用いられて、最終的に予測画像・最適モード選択部３３で対応する予測画像が選択された場合には、予測モード情報に含まれて可逆符号化部１６へ出力される。
　ステップＳＴ４４で動き予測・補償部３２は、各インター予測モードに対して、コスト関数値の算出を行う。動き予測・補償部３２は、上述した式（１）または式（２）を用いてコスト関数値の算出を行う。
　ステップＳＴ４５で動き予測・補償部３２は、最適インター予測モードを決定する。動き予測・補償部３２は、ステップＳＴ４４において算出されたコスト関数値に基づいて、それらの中から、コスト関数値が最小値である１つの予測モードを選択して最適インター予測モードに決定する。
　＜４．画像復号装置に適用した場合の構成＞
　入力画像を符号化して生成された符号化ストリームは、所定の伝送路や記録媒体等を介して画像復号装置に供給されて復号される。
　図６は、画像復号装置の構成を示している。画像復号装置５０は、蓄積バッファ５１、可逆復号部５２、逆量子化部５３、逆直交変換部５４、加算部５５、デブロッキングフィルタ処理部５６、画面並べ替えバッファ５７、Ｄ／Ａ変換部５８を備えている。さらに、画像復号装置５０は、フレームメモリ６１、セレクタ６２，６５、イントラ予測部６３、動き補償部６４を備えている。
　蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。可逆復号部５２は、蓄積バッファ５１より供給された符号化ストリームを、図２の可逆符号化部１６の符号化方式に対応する方式で復号する。また、可逆復号部５２は、符号化ストリームのヘッダ情報を復号して得られた予測モード情報をイントラ予測部６３や動き補償部６４に出力する。
　逆量子化部５３は、可逆復号部５２で復号された量子化データを、図２の量子化部１５の量子化方式に対応する方式で逆量子化する。逆直交変換部５４は、図２の直交変換部１４の直交変換方式に対応する方式で逆量子化部５３の出力を逆直交変換して加算部５５に出力する。
 　加算部５５は、逆直交変換後のデータとセレクタ６５から供給される予測画像データを加算して復号画像データを生成してデブロッキングフィルタ処理部５６とフレームメモリ６１に出力する。
　デブロッキングフィルタ処理部５６は、加算部５５から供給された復号画像データに対して、図２のデブロッキングフィルタ処理部２４と同様にフィルタ処理を行い、ブロック歪みを除去して画面並べ替えバッファ５７とフレームメモリ６１に出力する。
　画面並べ替えバッファ５７は、画像の並べ替えを行う。すなわち、図２の画面並べ替えバッファ１２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられて、Ｄ／Ａ変換部５８に出力される。
　Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７から供給された画像データをＤ／Ａ変換し、図示せぬディスプレイに出力することで画像を表示させる。
　フレームメモリ６１は、加算部５５から供給されたフィルタ処理前の復号画像データとデブロッキングフィルタ処理部５６から供給されたフィルタ処理後の復号画像データとを、参照画像の画像データとして保持する。
　セレクタ６２は、可逆復号部５２から供給された予測モード情報に基づき、イントラ予測が行われた予測ブロックの復号が行われるとき、フレームメモリ６１から読み出されたフィルタ処理前の参照画像データをイントラ予測部６３に供給する。また、セレクタ２６は、可逆復号部５２から供給された予測モード情報に基づき、インター予測が行われた予測ブロックの復号が行われるとき、フレームメモリ６１から読み出されたフィルタ処理後の参照画像データを動き補償部６４に供給する。
　イントラ予測部６３は、可逆復号部５２から供給された予測モード情報に基づいて予測画像の生成を行い、生成した予測画像データをセレクタ６５に出力する。
　動き補償部６４は、可逆復号部５２から供給された予測モード情報に基づいて、動き補償を行い、予測画像データを生成してセレクタ６５に出力する。すなわち、動き補償部６４は、予測モード情報に含まれる動きベクトル情報と参照フレーム情報に基づいて、参照フレーム情報で示された参照画像に対して動きベクトル情報に基づく動きベクトルで動き補償を行い、予測画像データを生成する。
　セレクタ６５は、イントラ予測部６３で生成された予測画像データを加算部５５に供給する。また、セレクタ６５は、動き補償部６４で生成された予測画像データを加算部５５に供給する。
　なお、請求項における復号部は、可逆復号部５２、逆量子化部５３、逆直交変換部５４、加算部５５、イントラ予測部６３、動き補償部６４等で構成される。
　＜５．画像復号装置の動作＞
　次に、図７のフローチャートを参照して、画像復号装置５０で行われる画像復号動作について説明する。
　ステップＳＴ５１で蓄積バッファ５１は、伝送されてきた符号化ストリームを蓄積する。ステップＳＴ５２で可逆復号部５２は、可逆復号処理を行う。可逆復号部５２は、蓄積バッファ５１から供給される符号化ストリームを復号する。すなわち、図２の可逆符号化部１６により符号化された各ピクチャの量子化データが得られる。また、可逆復号部５２ 、符号化ストリームのヘッダ情報に含まれている予測モード情報の可逆復号を行い、得られた予測モード情報をデブロッキングフィルタ処理部５６やセレクタ６２，６５に供給する。さらに、可逆復号部５２は、予測モード情報がイントラ予測モードに関する情報である場合、予測モード情報をイントラ予測部６３に出力する。また、可逆復号部５２は、予測モード情報がインター予測モードに関する情報である場合、予測モード情報を動き補償部６４に出力する。
　ステップＳＴ５３において逆量子化部５３は、逆量子化処理を行う。逆量子化部５３は、可逆復号部５２により復号された量子化データを、図２の量子化部１５の特性に対応する特性で逆量子化する。
　ステップＳＴ５４において逆直交変換部５４は、逆直交変換処理を行う。逆直交変換部５４は、逆量子化部５３により逆量子化された変換係数データを、図２の直交変換部１４の特性に対応する特性で逆直交変換する。
　ステップＳＴ５５において加算部５５は、復号画像データの生成を行う。加算部５５は、逆直交変換処理を行うことにより得られたデータと、後述するステップＳＴ５９で選択された予測画像データを加算して復号画像データを生成する。これにより元の画像が復号される。
　ステップＳＴ５６においてデブロッキングフィルタ処理部５６は、デブロッキングフィルタ処理を行う。デブロッキングフィルタ処理部５６は、加算部５５より出力された復号画像データのフィルタ処理を行い、復号画像に含まれているブロック歪みを除去する。
　ステップＳＴ５７においてフレームメモリ６１は、復号画像データの記憶処理を行う。
　ステップＳＴ５８においてイントラ予測部６３と動き補償部６４は、予測処理を行う。イントラ予測部６３と動き補償部６４は、可逆復号部５２から供給される予測モード情報に対応してそれぞれ予測処理を行う。
　すなわち、可逆復号部５２からイントラ予測の予測モード情報が供給された場合、イントラ予測部６３は、予測モード情報に基づいてイントラ予測処理を行い、予測画像データを生成する。また、可逆復号部５２からインター予測の予測モード情報が供給された場合、動き補償部６４は、予測モード情報に基づき動き補償を行い、予測画像データを生成する。
　ステップＳＴ５９において、セレクタ６５は予測画像データの選択を行う。すなわち、セレクタ６５は、イントラ予測部６３から供給された予測画像と動き補償部６４で生成された予測画像データを選択して加算部５５に供給して、上述したように、ステップＳＴ５５において逆直交変換部５４の出力と加算させる。
　ステップＳＴ６０において画面並べ替えバッファ５７は、画面並べ替えを行う。すなわち画面並べ替えバッファ５７は、図２の画像符号化装置１０の画面並べ替えバッファ１２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。
　ステップＳＴ６１において、Ｄ／Ａ変換部５８は、画面並べ替えバッファ５７からの画像データをＤ／Ａ変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。
　＜６．デブロッキングフィルタ処理部の基本的な動作＞
　一般的に、Ｈ．２６４／ＡＶＣまたはＨＥＶＣなどの画像符号化方式におけるデブロックフィルタ処理は、フィルタリング要否判定を行い、フィルタリングが必要と判別されたブロック間の境界に対してフィルタリング処理を行う。
　ブロック間の境界は、水平方向にブロック間の境界検出を行って検出される境界、すなわち左右に隣接するブロック間の境界（以下「垂直境界」という）含む。また、ブロック間の境界は、垂直方向にブロック間の境界検出を行って検出される境界、すなわち上下に隣接するブロック間の境界（以下「ライン境界」という）を含む。
　図８は、境界を挟んで隣接する２つのブロックＢＫａおよびＢＫｂ内の画素の一例を示す説明図である。ここでは垂直境界を例にとって説明するが、ライン境界にも同等に適用可能である。図８の例において、ブロックＢＫａ内の画素の画像データを、「ｐi,j」という記号で示されている。ｉは画素の列インデックス、ｊは画素の行のインデックスである。また、最小符号化処理単位は、８画素×８画素のブロック単位として、列インデックスｉは、垂直境界に近い列から順に（右から左へ）０，１，２，３と付番されている。行インデックスｊは、上から下へ０，１，２，…，７と付番されている。なお、ブロックＢＫａの左半分は図中で省略されている。一方、ブロックＢＫｂ内の画素の画像データは、「ｑk,j」という記号で示されている。ｋは画素の列インデックス、ｊは画素の行インデックスである。列インデックスｋは、垂直境界に近い列から順に（左から右へ）０，１，２，３と付番されている。なお、ブロックＢＫｂの右半分もまた図中で省略されている。
　境界がデブロックフィルタを適用すべきと判定された場合、例えば垂直境界については当該境界の左右の画素のフィルタリング処理が行われる。輝度成分については、画像データの値に応じてフィルタ強度が強（strong）フィルタと弱（weak）フィルタとの間で切り替えられる。
　・輝度成分のフィルタリング
　　強度選択では、式（３）乃至式（５）の判別条件を満たすか否かを１ラインごと（または１列毎）判定して、式（３）乃至式（５）の判別条件を全て満たす場合には強フィルタ、何れか１つでも判定条件が満たされない場合には弱フィルタが選択される。
Figure JPOXMLDOC01-appb-M000005
　なお、式（３）における「ｄ」は、式（６）に基づいて算出される値である。また、式（４）（５）における「β」と、式（５）における「ｔc」は、表１に示すように、量子化パラメータＱに基づいて設定される値である。
Figure JPOXMLDOC01-appb-M000006
Figure JPOXMLDOC01-appb-T000007
　弱フィルタリングでは、式（７）乃至式（１１）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。
Figure JPOXMLDOC01-appb-M000008
　強フィルタリングでは、式（１２）乃至式（１８）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。
Figure JPOXMLDOC01-appb-M000009
　また、色差成分のフィルタリングでは、式（１９）乃至式（２１）の演算を行うことで、 フィルタ処理範囲の各画素の色差成分が算出される。
Figure JPOXMLDOC01-appb-M000010
　なお、上述の式において「Ｃｌｉｐ１Y」「Ｃｌｉｐ１c」は、式（２２），（２３）の演算を示しており、式（２２）（２３）の「Ｃｌｉｐ３（ｘ，ｙ，ｚ）」は式（２４）で決定される値を示している。
Figure JPOXMLDOC01-appb-M000011
　また、ライン境界については、垂直境界において水平方向に画素を用いてライン毎に行われている演算を、垂直方向に画素を用いて列毎に行いフィルタリング処理が行われる。
　デブロッキングフィルタ処理において、ラインメモリが必要とされる処理は垂直フィルタ処理であり、以下、垂直フィルタ処理においてラインメモリのメモリ容量の削減について詳細に説明する。なお、画像符号化装置１０のデブロッキングフィルタ処理部２４と画像復号装置５０のデブロッキングフィルタ処理部５６は、同一の構成および同一の動作とされており、デブロッキングフィルタ処理部２４についてのみ説明を行う。
　＜７．デブロッキングフィルタ処理部の第１の実施の形態＞
　図９は、デブロッキングフィルタ処理部の第１の実施の形態の構成を例示している。デブロッキングフィルタ処理部２４は、ラインメモリ２４１、ライン境界検出部２４２、フィルタ強度判定部２４３、係数メモリ２４４、フィルタ演算部２４５、フィルタ制御部２４６を備えている。
　ラインメモリ２４１は、フィルタ制御部２４６からの制御信号に基づき、加算部２３から供給された画像データを記憶する。また、記憶している画像データを読み出して、ライン境界検出部２４２、フィルタ強度判定部２４３、フィルタ演算部２４５に出力する。
　ライン境界検出部２４２は、垂直フィルタ処理を行うライン境界を検出する。ライン境界検出部２４２は、加算部２３から供給された画像データやラインメモリ２４１から読み出された画像データを用いて上述のフィルタリング要否判定処理をブロック毎に行い、垂直フィルタ処理を行うライン境界を検出する。ライン境界検出部２４２は、検出結果をフィルタ強度判定部２４３に出力する。
　フィルタ強度判定部２４３は、上述のようにフィルタ強度の判定を行う。フィルタ強度判定部２４３は、垂直フィルタ処理を行うライン境界を挟んで隣接する２つのブロックの画像データを用いて、強フィルタリングまたは弱フィルタリングの何れの強度で垂直フィルタ処理を行うか判定して、判定結果をフィルタ演算部２４５に出力する。
　係数メモリ２４４は、デブロッキングフィルタ処理のフィルタ演算に用いるフィルタ係数を記憶している。
　フィルタ演算部２４５は、加算部２３から供給された画像データやラインメモリ２４１に記憶されている画像データ、および係数メモリ２４４から読み出したフィルタ係数を用いて、フィルタ強度判定部２４３で判定されたフィルタ強度でフィルタ演算を行う。フィルタ演算部２４５は、垂直フィルタ処理がなされた画像データをフレームメモリ２５に出力する。また、フィルタ演算部２４５は、フィルタ制御部２４６から供給されたブロック境界判定結果に基づき、ライン境界の上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御する。
　フィルタ制御部２４６は、ラインメモリ２４１を制御して、ブロック内の下端側の所定ライン数分の画像データを記憶させる。また、記憶されている画像データの読み出しを行う。また、フィルタ制御部２４６はライン境界判定部２４６１を備えている。ライン境界判定部２４６１は、ラスタースキャン方向に順次処理が行われるブロック単位例えばＬＣＵ間のライン境界であるか判定して判定結果をフィルタ演算部２４５に出力する。フィルタ演算部２４５は、ラインメモリのメモリ容量が削減されていても垂直フィルタ処理を行うことができるように制御する。
　図１０は、デブロッキングフィルタ処理部の第１の実施の形態の動作を示している。ステップＳＴ７１でデブロッキングフィルタ処理部２４はライン境界の検出を行う。デブロッキングフィルタ処理部２４は、垂直フィルタ処理を行うライン境界を検出する。
　ステップＳＴ７２でデブロッキングフィルタ処理部２４は、フィルタ強度の判定を行う。デブロッキングフィルタ処理部２４は、垂直フィルタ処理を行うライン境界についての、強フィルタと弱フィルタの何れのフィルタ強度とするか判定する。
　ステップＳＴ７３でデブロッキングフィルタ処理部２４は、垂直フィルタ処理を行う境界がＬＣＵ間のライン境界であるか判別する。デブロッキングフィルタ処理部２４は、垂直フィルタ処理を行う境界がＬＣＵ間のライン境界である場合はステップＳＴ７４に進み、境界がＬＣＵ間のライン境界でない場合はステップＳＴ７５に進む。
　ステップＳＴ７４でデブロッキングフィルタ処理部２４は、範囲削減垂直フィルタ処理を行う。デブロッキングフィルタ処理部２４は、上側に隣接するＬＣＵに対してフィルタ演算に用いる画像範囲を削減して垂直フィルタ処理を行いステップＳＴ７６に進む。
　ステップＳＴ７５でデブロッキングフィルタ処理部２４は、通常垂直フィルタ処理を行う。デブロッキングフィルタ処理部２４は、フィルタ演算に用いる画像範囲を削減することなく予め設定されたタップおよび係数を用いて垂直フィルタ処理を行ってステップＳＴ７６に進む。
　ステップＳＴ７６でデブロッキングフィルタ処理部２４は、境界の垂直フィルタ処理が完了したか判別する。デブロッキングフィルタ処理部２４は、境界の各列の垂直フィルタ処理が完了していない場合にはステップＳＴ７６に戻り、次の列の処理を行う。また、境界の各列の垂直フィルタ処理が完了した場合は、ステップＳＴ７７に進む。
 　ステップＳＴ７７でデブロッキングフィルタ処理部２４は、画面の最後まで処理が完了したか判別する。デブロッキングフィルタ処理部２４は、画面の最後まで処理が行われていない場合にはステップＳＴ７１に戻り、新たな境界を検出して垂直フィルタ処理を行う。また、デブロッキングフィルタ処理部２４は、画面の最後まで処理が行われた場合、１1画面の処理を終了する。
　　［フィルタ演算部の構成と動作］
　図１１と図１２はフィルタ演算部の構成を示している。フィルタ演算部２４５は、タップ変更垂直フィルタ処理を行う場合、画像データを記憶するライン数を削減しても、垂直フィルタ処理を行うことができるように、タップの画像データの変更またはタップ数の変更を行う。なお、図１１は、タップの画像データを変更して垂直フィルタ処理を行う場合のフィルタ演算部の構成を示している。また、図１２は、タップ数を変更して垂直フィルタ処理を行う場合のフィルタ演算部の構成を示している。
　図１１において、フィルタ演算部２４５は、データ記憶部２４５１とデータ選択部２４５２、および演算処理部２４５３を備えている。
　データ記憶部２４５１は、ラインメモリのメモリ容量を削減した場合に、削減されているラインの位置のタップとして用いる画像データを記憶する。データ記憶部２４５１は、記憶している画像データを、削減されているラインの位置のタップの画像データとしてデータ選択部２４５２に出力する。
　データ選択部２４５２は、データ記憶部２４５１に記憶されている画像データと、ラインメモリに記憶されている画像データの選択を行い、選択した画像データを演算処理部２４５３に出力する。
　演算処理部２４５３は、加算部２３とデータ選択部２４５２から供給された画像データと係数メモリ２４４から読み出したフィルタ係数を用いて演算を行い、垂直フィルタ処理後の画像データを生成してフレームメモリ２５に出力する。
　図１２において、フィルタ演算部２４５は、演算処理部２４５５と演算処理部２４５６を備えている。
　演算処理部２４５５は所定のタップ数で演算処理を行い、垂直フィルタ処理後の画像データをデータ選択部２４５７に出力する。
　演算処理部２４５６は、ラインメモリの削減に応じてタップ数を削減することで、削減されているラインの画像データを用いることなく演算処理を行い、垂直フィルタ処理後の画像データをデータ選択部２４５７に出力する。
　データ選択部２４５７は、境界がＬＣＵ間のライン境界であるか否かに応じて、画像データの選択を行う。データ選択部２４５７は、境界がＬＣＵ間のライン境界でない場合、演算処理部２４５５から出力された画像データを選択する。また、データ選択部２４５７は、境界がＬＣＵ間のライン境界である場合、演算処理部２４５６から出力された画像データを選択する。
　図１３は、フィルタ演算部２４５の動作を説明するための図である。隣接する２つのブロックＢＫｕ，ＢＫｌの各画素の画像データを示している。ここで、垂直フィルタ処理のフィルタ処理範囲は、境界（ライン境界）ＢＢからそれぞれ３画素の範囲として、境界ＢＢからそれぞれ４画素をタップとしてフィルタ演算を行う。フィルタ強度判定によって強 フィルタリングが判定された場合、上述の式（１２）乃至式（１８）の演算を演算処理部２４５３，２４５５で列毎に行う。また、フィルタ強度判定によって弱フィルタリングが判定された場合、上述の式（７）乃至式（１０）の演算を演算処理部２４５３，２４５５で列毎に行う。
　ＬＣＵ単位でラスター順にデブロッキングフィルタ処理を行う場合、垂直フィルタ処理が強フィルタリングと判定されて上述の式（１２）乃至式（１８）の演算を行うためには、図１３の（Ａ）に示すように境界ＢＢの上側のブロックＢＫｕにおいて、境界ＢＢから４ライン分の画像データをラインメモリに記憶しておく必要がある。
　ここで、フィルタ演算部２４５は、境界ＢＢの上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御することで、ラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようにする。例えば、図１３の（Ｂ）に示すように境界ＢＢから３ライン分の画像データを記憶して、この記憶された画像データを用いて垂直フィルタ処理を行う。すなわち、図１１に示す演算処理部２４５３は、式（２５）の演算を行う。また、図１２に示す演算処理部２４５６は、式（２６）の演算を行い、データ選択部２４５７は、演算処理部２４５６からの画像データを選択して出力する。なお、式（２５），（２６）において、ｉは画素の列インデックスを示しており、フィルタ処理を８×８画素のブロック単位で行う場合「ｉ＝０乃至７」となる。
Figure JPOXMLDOC01-appb-M000012
　演算処理部２４５３は、上側のブロックＢＫｕにおいて、フィルタ処理範囲の上端の画素を上方向に複写して用いる。すなわち、データ記憶部２４５１に記憶したフィルタ処理範囲の上端の画素の画像データｐ２を画像データｐ３として用いることで、式（２５）の演算によってフィルタ処理後の画像データｐ２i’を算出する。
　演算処理部２４５６では、タップ数を削減して、タップ数の削減に対応して変更されている係数を用いることで、式（２６）の演算によってフィルタ処理後の画像データｐ２i’を算出する。この場合の係数の変更は、タップ範囲の上端の画素の複写に対応させて、画像データｐ２の係数を「３→５」に変更する。
　なお、境界ＢＢがＬＣＵ間のライン境界でない場合は、ラインメモリ２４１の画像データを用いる必要がないことから、フィルタ演算に用いる画像範囲を狭くすることなく従来と同様なフィルタ演算を行う。すなわち、図１１に示す演算処理部２４５３は、従来と同様なフィルタ演算を行う。また、図１２に示す演算処理部２４５５は、従来と同様なフィルタ演算を行い、データ選択部２４５７は、演算処理部２４５５からの画像データを選択して出力する。
　このように、境界がラスタースキャン方向に順次処理が行われるブロックのライン境界である場合、フィルタ演算に用いる画像範囲を制御することで、ラインメモリのメモリ容量を削減しても、削減前と同様にデブロッキングフィルタ処理を行うことができる。また、例えば４Ｋ×２Ｋの画像における１ラインは、２Ｋ×１Ｋの画像の２ライン分に相当する。また、Ｈ．２６４／ＡＶＣ方式では、４ライン分のラインメモリを備えており、４Ｋ ×２Ｋの画像における１ライン分のメモリ容量は、Ｈ．２６４／ＡＶＣ方式の５０％のメモリ容量に相当する。すなわち、高解像度画像においてメモリ容量の削減効果が高くなる。
　＜８．デブロッキングフィルタ処理部の第２の実施の形態＞
　デブロッキングフィルタ処理部の第２の実施の形態は、第１の実施の形態に対して、演算処理部２４５３と演算処理部２４５６の動作が相違する。
　強フィルタリングにおいて境界ＢＢがＬＣＵ間のライン境界である場合、上述の式（１２）乃至式（１８）の演算を行う場合には、図１３の（Ａ）に示すように境界ＢＢの上側のブロックＢＫｕにおいて、境界ＢＢから４ライン分の画像データをラインメモリに記憶しておく必要がある。
　ここで、フィルタ演算部２４５は、境界ＢＢの上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御することで、ラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようにする。例えば、図１３の（Ｂ）に示すように境界ＢＢから３ライン分の画像データを記憶して、この記憶された画像データを用いて垂直フィルタ処理を行う。すなわち、図１１に示す演算処理部２４５３は、式（２７）の演算を行う。また、図１２に示す演算処理部２４５６は、式（２８）の演算を行い、データ選択部２４５７は、演算処理部２４５６からの画像データを選択して出力する。なお、式（２７），（２８）において、ｉは画素の列インデックスを示しており、フィルタ処理を８×８画素のブロック単位で行う場合「ｉ＝０乃至７」となる。
Figure JPOXMLDOC01-appb-M000013
　演算処理部２４５３は、上側のブロックＢＫｕにおいて、フィルタ処理範囲の上端の画素を基準としてミラー複写を行う。すなわち、データ記憶部２４５１に画像データｐ１を記憶して、この画像データｐ１をフィルタ処理範囲の上端の画素を基準としてミラー複写して画像データｐ３として用いることで、式（２７）の演算によってフィルタ処理後の画像データｐ２i’を算出する。
　演算処理部２４５６では、タップ数を削減して、タップ数の削減に対応して変更されている係数を用いることで、式（２８）の演算によってフィルタ処理後の画像データｐ２i’を算出する。この場合の係数の変更は、フィルタ処理範囲の上端の画素を基準としたミラー複写に対応させて、画像データｐ１の係数を「２→３」に変更する。
　なお、境界ＢＢがＬＣＵ間のライン境界でない場合は、ラインメモリ２４１の画像データを用いる必要がないことから、フィルタ演算に用いる画像範囲を狭くすることなく従来と同様なフィルタ演算を行う。すなわち、図１１に示す演算処理部２４５３は、従来と同様なフィルタ演算を行う。また、図１２に示す演算処理部２４５５は、従来と同様なフィルタ演算を行い、データ選択部２４５７は、演算処理部２４５５からの画像データを選択して出力する。
　このように、境界がラスタースキャン方向に順次処理が行われるブロックのライン境界 である場合、フィルタ演算に用いる画像範囲を制御することで、第１の実施の形態と同様に、メモリ容量を削減してもデブロッキングフィルタ処理を行うことができる。
　＜９．デブロッキングフィルタ処理部の第３の実施の形態＞
　デブロッキングフィルタ処理部の第３の実施の形態は、第１，第２の実施の形態に対して、演算処理部２４５３と演算処理部２４５６の動作が相違する。
　図１４は、フィルタ演算部２４５の動作を説明するための図である。隣接する２つのブロックＢＫｕ，ＢＫｌの各画素の画像データを示している。ここで、垂直フィルタ処理のフィルタ処理範囲は、境界（ライン境界）ＢＢからそれぞれ３画素の範囲として、境界ＢＢからそれぞれ４画素をタップとしてフィルタ演算を行う。フィルタ強度判定によって強フィルタリングが判定された場合、上述の式（１２）乃至式（１８）の演算を演算処理部２４５３，２４５５で列毎に行う。また、フィルタ強度判定によって弱フィルタリングが判定された場合、上述の式（７）乃至式（１０）の演算を演算処理部２４５３，２４５５で列毎に行う。
　ＬＣＵ単位でラスター順にデブロッキングフィルタ処理を行う場合、垂直フィルタ処理が強フィルタリングと判定されて上述の式（１２）乃至式（１８）の演算を行うためには、図１４の（Ａ）に示すように境界ＢＢの上側のブロックＢＫｕにおいて、境界ＢＢから４ライン分の画像データをラインメモリに記憶しておく必要がある。
　ここで、フィルタ演算部２４５は、フィルタ処理範囲と境界ＢＢの上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御することで、ラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようにする。例えば、図１４の（Ｂ）に示すように、上側のブロックＢＫｕにおけるフィルタ処理範囲を境界ＢＢから２画素の範囲として、境界ＢＢから２ライン分の画像データを記憶する。さらに、この記憶された画像データを用いて、第１の実施の形態と同様に垂直フィルタ処理を行う。すなわち、図１１に示す演算処理部２４５３は、式（２９）（３０）の演算を行う。また、図１２に示す演算処理部２４５６は、式（３１）（３２）の演算を行い、データ選択部２４５７は、演算処理部２４５６からの画像データを選択して出力する。なお、式（２９）乃至（３２）において、ｉは画素の列インデックスを示しており、フィルタ処理を８×８画素のブロック単位で行う場合「ｉ＝０乃至７」となる。
Figure JPOXMLDOC01-appb-M000014
　演算処理部２４５３は、上側のブロックＢＫｕにおいて、フィルタ処理範囲の上端の画素を上方向に複写して用いる。すなわち、データ記憶部２４５１に記憶したフィルタ処理範囲の上端の画素の画像データｐ１を画像データｐ２として用いることで、式（２９）（３０）の演算によってフィルタ処理後の画像データｐ１i’，ｐ０i’を算出する。
　演算処理部２４５６では、タップ数を削減して、タップ数の削減に対応して変更されている係数を用いることで、式（３１）（３２）の演算によってフィルタ処理後の画像データｐ１i’，ｐ０i’を算出する。この場合の係数の変更は、タップ範囲の上端の画素の複 写に対応させて、式（３１）における画像データｐ１の係数を「１→２」、式（３２）における画像データｐ１の係数を「２→３」に変更する。
　なお、境界ＢＢがＬＣＵの境界でない場合は、ラインメモリ２４１の画像データを用いる必要がないことから、フィルタ演算に用いる画像範囲を狭くすることなく従来と同様なフィルタ演算を行う。すなわち、図１１に示す演算処理部２４５３は、従来と同様なフィルタ演算を行う。また、図１２に示す演算処理部２４５５は、従来と同様なフィルタ演算を行い、データ選択部２４５７は、演算処理部２４５５からの画像データを選択して出力する。
　このように、境界がラスタースキャン方向に順次処理が行われるブロックのライン境界である場合、フィルタ処理範囲とフィルタ演算に用いる画像範囲を制御してメモリ容量を削減しても、削減前と同様にデブロッキングフィルタ処理を行うことができる。また、メモリ容量をより多く削減することが可能となる。
　＜１０．デブロッキングフィルタ処理部の第４の実施の形態＞
　デブロッキングフィルタ処理部の第４の実施の形態は、第３の実施の形態に対して、演算処理部２４５３と演算処理部２４５６の動作が相違する。
　強フィルタリングにおいて境界ＢＢがＬＣＵ間のライン境界である場合、上述の式（１２）乃至式（１８）の演算を行う場合には、図１４の（Ａ）に示すように境界ＢＢの上側のブロックＢＫｕにおいて、境界ＢＢから４ライン分の画像データをラインメモリに記憶しておく必要がある。
　ここで、フィルタ演算部２４５は、フィルタ処理範囲と境界ＢＢの上側に位置するブロックにおけるフィルタ演算に用いる画像範囲を制御することで、ラインメモリのメモリ容量を削減しても、垂直フィルタ処理を行えるようにする。例えば、図１４の（Ｂ）に示すように、上側のブロックＢＫｕにおけるフィルタ処理範囲を境界ＢＢから２画素の範囲として、境界ＢＢから２ライン分の画像データを記憶する。さらに、この記憶された画像データを用いて、第２の実施の形態と同様に垂直フィルタ処理を行う。すなわち、図１１に示す演算処理部２４５３は、式（３３）（３４）の演算を行う。また、図１２に示す演算処理部２４５６は、式（３５）（３６）の演算を行い、データ選択部２４５７は、演算処理部２４５６からの画像データを選択して出力する。なお、式（３３）乃至（３６）において、ｉは画素の列インデックスを示しており、フィルタ処理を８×８画素のブロック単位で行う場合「ｉ＝０乃至７」となる。
Figure JPOXMLDOC01-appb-M000015
　演算処理部２４５３は、上側のブロックＢＫｕにおいて、フィルタ処理範囲の上端の画素を基準としてミラー複写を行う。すなわち、データ記憶部２４５１に画像データｐ０を記憶して、画像データｐ０をフィルタ処理範囲の上端の画素を基準としてミラー複写して画像データｐ２として用いることで、式（３３）（３４）の演算によって画像データｐ１ i’,ｐ０i’を算出する。
　演算処理部２４５６では、タップ数を削減して、タップ数の削減に対応して変更されている係数を用いることで、式（３５）（３６）の演算によってフィルタ処理後の画像データｐ１i’，ｐ０i’を算出する。この場合の係数の変更は、フィルタ処理範囲の上端の画素を基準としたミラー複写に対応させて、式（３５）における画像データｐ０の係数を「１→２」、式（３６）における画像データｐ０の係数を「２→３」に変更する。
　なお、境界ＢＢがＬＣＵ間のライン境界でない場合は、ラインメモリ２４１の画像データを用いる必要がないことから、フィルタ演算に用いる画像範囲を狭くすることなく従来と同様なフィルタ演算を行う。すなわち、図１１に示す演算処理部２４５３は、従来と同様なフィルタ演算を行う。また、図１２に示す演算処理部２４５５は、従来と同様なフィルタ演算を行い、データ選択部２４５７は、演算処理部２４５５からの画像データを選択して出力する。
　このように、境界がラスタースキャン方向に順次処理が行われるブロックのライン境界である場合、フィルタ処理範囲とフィルタ演算に用いる画像範囲を制御してメモリ容量を削減しても、削減前と同様にデブロッキングフィルタ処理を行うことができる。また、メモリ容量をより多く削減することが可能となる。
　＜１１．デブロッキングフィルタ処理部の第５の実施の形態＞
　上述のデブロッキングフィルタ処理部は、境界ＢＢがＬＣＵ間のライン境界であるか否かに応じて、境界の上側に位置するブロックにおけるフィルタ演算に用いる画像範囲の制御やフィルタ処理範囲の制御を行うようにしている。次に、第５の実施の形態では、ＬＣＵ間のライン境界のみ画像範囲の制御を行うモードと、境界ＢＢがＬＣＵ間のライン境界であるか否かに係らず画像範囲の制御を行うモードを設けた場合を説明する。
　図１５は、第５の実施の形態の動作を示すフローチャートである。ステップＳＴ８１でデブロッキングフィルタ処理部２４はライン境界の検出を行う。デブロッキングフィルタ処理部２４は、垂直フィルタ処理を行うライン境界を検出する。
　ステップＳＴ８２でデブロッキングフィルタ処理部２４は、フィルタ強度の判定を行う。デブロッキングフィルタ処理部２４は、垂直フィルタ処理を行うライン境界についての、強フィルタリングと弱フィルタリングの何れのフィルタ強度とするか判定する。
　ステップＳＴ８３でデブロッキングフィルタ処理部２４は、ＬＣＵ間のライン境界のみ範囲削減垂直フィルタ処理、すなわち、フィルタ演算に用いる画像範囲を削減して垂直フィルタ処理を行うか判別する。デブロッキングフィルタ処理部２４は、ＬＣＵ間のライン境界だけでなく、ＬＣＵよりもサイズの小さいブロックのライン境界についても範囲削減垂直フィルタ処理を行う場合は、ステップＳＴ８４に進む。また、デブロッキングフィルタ処理部２４は、範囲削減垂直フィルタ処理をＬＣＵ間のライン境界だけ行う場合はステップＳＴ８５に進む。
　デブロッキングフィルタ処理部２４は、例えばフレーム単位で設定された量子化パラメータに基づき、範囲削減垂直フィルタ処理をＬＣＵ間のライン境界のみに対して行うか判別する。量子化パラメータが小さい場合には、量子化パラメータが大きい場合に比べて画質が良好である。したがって、デブロッキングフィルタ処理部２４は、量子化パラメータが予め設定した閾値よりも大きい場合に、ＬＣＵ間のライン境界のみに範囲削減垂直フィルタ処理を行い、ＬＣＵよりもサイズの小さいブロックのライン境界については通常垂直フィルタ処理を行うことで画質を向上させるモードと判定してステップＳＴ８４に進む。また、デブロッキングフィルタ処理部２４は、量子化パラメータが予め設定した閾値以下である場合は、ＬＣＵ間のライン境界だけでなくＬＣＵよりもサイズの小さいブロック間のライン境界についても範囲削減垂直フィルタ処理を行うことで制御を容易とするモードと判定してステップＳＴ８５に進む。
　ステップＳＴ８４でデブロッキングフィルタ処理部２４は、垂直フィルタ処理を行う境界がＬＣＵ間のライン境界であるか判別する。デブロッキングフィルタ処理部２４は、垂直フィルタ処理を行う境界がＬＣＵ間のライン境界である場合はステップＳＴ８５に進み、境界がＬＣＵよりもサイズの小さいブロックのライン境界の場合はステップＳＴ８６に進む。
　ステップＳＴ８５でデブロッキングフィルタ処理部２４は、範囲削減垂直フィルタ処理を行う。デブロッキングフィルタ処理部２４は、隣接する上側ブロックに対してフィルタ演算に用いる画像範囲を削減して垂直フィルタ処理を行いステップＳＴ８７に進む。なお、範囲削減垂直フィルタ処理ではフィルタ対象範囲を削減してもよい。
　ステップＳＴ８６でデブロッキングフィルタ処理部２４は、通常垂直フィルタ処理を行う。デブロッキングフィルタ処理部２４は、フィルタ演算に用いる画像範囲を削減することなく垂直フィルタ処理を行ってステップＳＴ８７に進む。
　ステップＳＴ８７でデブロッキングフィルタ処理部２４は、境界の垂直フィルタ処理が完了したか判別する。デブロッキングフィルタ処理部２４は、境界の各列の垂直フィルタ処理が完了していない場合にはステップＳＴ８７に戻り、次の列の処理を行う。また、境界の各列の垂直フィルタ処理が完了した場合は、ステップＳＴ８８に進む。
　ステップＳＴ８８でデブロッキングフィルタ処理部２４は、画面の最後まで処理が完了したか判別する。デブロッキングフィルタ処理部２４は、画面の最後まで処理が行われていない場合にはステップＳＴ８１に戻り、新たな境界を検出して垂直フィルタ処理を行う。また、デブロッキングフィルタ処理部２４は、画面の最後まで処理が行われた場合、１画面の処理を終了する。
　このような処理を行えば、ラインメモリのメモリ容量を削減できるだけでなく、範囲削減垂直フィルタ処理をＬＣＵ間のライン境界だけでなく他のライン境界にも行えば、フィルタ処理の切り替えが必要なく制御が容易となる。また、範囲削減垂直フィルタ処理をＬＣＵ間のライン境界だけ行うようにすれば、良好な画質を得ることができる。
　＜１２．第６乃至第８の実施の形態の説明＞
　　［従来の説明］
　なお、上記説明においては、フィルタ演算に用いる画像範囲を狭くしたことにより、画像範囲に含まれなくなったタップの画像データとして、画像範囲内のタップの画像データを複写またはミラー複写して用いる例を説明した。ここで、本明細書における複写は、Paddingと同意である。
　このような本技術と同様に、ＬＣＵのライン境界のみにおいてPaddingを利用してフィルタ処理を行う方法が、従来、JCTVC-F053において提案されている。
　図１６を参照して、ＨＥＶＣ方式における輝度信号の強（strong）フィルタのフィルタ処理と、Paddingを利用したフィルタ処理について説明する。
　図１６は、ライン境界を挟んで上下に隣接する２つのブロックＢＫｕおよびＢＫｌ内の画素の一例を示す説明図である。図１６の例において、ブロックＢＫｕ内の画素の画像データを、「ｐｊｉ」という記号で示されている。ｊは画素の行インデックス、ｉは画素の列のインデックスである。また、最小符号化処理単位は、８画素×８画素のブロック単位として、行インデックスｊは、ライン境界ＢＢに近い行から順に（下から上へ）０，１，２，３と付番されている。列インデックスｉは、ブロックにおける右から左へ０，１，２，…，７と付番されている。なお、ブロックＢＫｕの上半分は図中で省略されている。一方、ブロックＢＫｌ内の画素の画像データは、「ｑkｉ」という記号で示されている。ｋは画素の行インデックス、ｉは画素の列インデックスである。行インデックスｋは、ライン境界ＢＢに近い行から順に（上から下へ）０，１，２，３と付番されている。なお、ブロックＢＫｌの下半分もまた図中で省略されている。
　ＨＥＶＣ方式における輝度信号の強フィルタリングでは、式（３７）乃至式（４２）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。なお、式（３７）乃至式（４２）は、式（１４）、式（１６）、式（１３）、式（１７）、式（１２）、および式（１８）にそれぞれ対応する式である。
Figure JPOXMLDOC01-appb-M000016
 　ここで、Ｃｌｉｐ０－２５５は、０以下である場合、０に切り上げ、２５５以上である場合、２５５に切り下げるクリップ処理を表している。以降の式についても同様である。
　これに対して、上述した従来の提案においては、ＬＣＵのライン境界のみであるが、Ｒ２Ｗ２削減でPaddingを利用したフィルタ処理が行われる。ここで、Ｒ２Ｗ２とは、ＬＣＵのライン境界上の２画素を参照して、ＬＣＵのライン境界上の２画素にフィルタ処理が適用されることを表す。
　従来の提案における輝度信号の強フィルタリングでは、式（４３）乃至式（４７）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。
Figure JPOXMLDOC01-appb-M000017
　ここで、従来の提案における強フィルタリングの式（４３）は、ＨＥＶＣ方式における強フィルタリングの式（３７）の「ｐ２ｉ」が「ｐ１ｉ」に入れ替わっている点が異なっている。従来の提案における強フィルタリングの式（４５）は、ＨＥＶＣ方式における強フィルタリングの式（３９）の「ｐ２ｉ」が「ｐ１ｉ」に入れ替わっている点が異なっている。従来の提案における強フィルタリングにおいては、ＨＥＶＣ方式における強フィルタリングの式（４１）に対応する式が削除されている点が異なっている。
　なお、従来の提案における強フィルタリングの式（４４）、式（４６）、および式（４７）は、ＨＥＶＣ方式における強フィルタリングの式（３８）、式（４０）、および式（４２）にそれぞれ共通している。
　すなわち、従来の提案においては、ブロックＢｋｕのライン境界ＢＢから上に３行目の行の画素「ｐ２ｉ」が参照されないので、代わりに、同じ列のすぐ下の行の画素「ｐ１ｉ」が複写（Padding）して用いられている。
　また、ブロックＢｋｕのライン境界ＢＢから上に３行目の行の画素「ｐ２０」には、フィルタ処理が施されないので、従来の提案における強フィルタリングにおいては、ＨＥＶＣ方式における強フィルタリングの式（４１）に対応する式が削除されている。
　以上のようにすることで、従来の提案においては、ＨＥＶＣ方式よりも、ラインメモリのメモリ容量が大きくなることを抑制している。
　しかしながら、４ｋ画像の場合には大量のラインメモリを持つ必要があるので、デブロッキング処理において、ラインメモリを削減することがさらに求められている。また、ラインメモリ削減に際しては、この従来の提案の方法よりも、デブロッキングのブロックノイズリダクションの機能を保つことが求められている。
　ここで、ＨＥＶＣ方式のブロック間の境界判定においては、次の式（４８）に示されるように、ライン境界を挟んだ両側で、傾き一定の波形を処理対象としている。そこで、本技術においては、以下に詳しく説明するが、ブロック間の境界判定における波形の傾きを利用することで、ＬＣＵのライン境界のデブロッキング処理を行う。
Figure JPOXMLDOC01-appb-M000018
　　［本技術の説明（線形近似）］
　図１７の例においては、式（４８）のＨＥＶＣ方式のブロック間の境界判定式が示されている。
　式（４８）の左辺の第１項は、図１７に示されるように、ブロックＢｋｕの左から３列目の画素を判定する式であり、次のように、差分の差分（２次差分）、すなわち、傾きが一定の２次微分で表すことができる。
ｐ２２－２＊ｐ１２＋ｐ０２　＝　（ｐ２２－ｐ１２）－（ｐ１２－ｐ０２）
　式（４８）の左辺の第２項乃至第４項は、それぞれ、ブロックＢｋｕの左から６列目の画素を判定する式、ブロックＢｋｌの左から３列目の画素を判定する式、ブロックＢｋｌの左から６列目の画素を判定する式である。式（４８）の左辺の第２項乃至第４項についても、同様なことがいえる。
　このように、ＨＥＶＣ方式のブロック間の境界判定においては、傾き一定の波形を処理対象としていることから、ＬＣＵのライン境界のデブロッキング処理においては、ブロック間の境界判定における波形の傾きを利用する。
　従来の技術においては、ＬＣＵのライン境界のデブロッキング処理においては、参照できない画素に対しては、複写（Padding）が利用されていた。これに対して、本技術においては、ＬＣＵのライン境界のデブロッキング処理においては、参照できない画素に対して波形の傾きを利用した線形近似を行う。
　すなわち、本技術のＬＣＵのライン境界のデブロッキング処理においては、次の線形近似の式（４９）が用いられる。
Figure JPOXMLDOC01-appb-M000019
　なお、図１８に示されるように、ｐ２ｉ、ｐ１ｉ、ｐ０ｉの画素値に傾きがある場合、従来のＲ２Ｗ２による複写（Padding）においては、ｐ２ｉの画素値は参照できない。したがって、ｐ２ｉの画素値の代わりに、ハッチングの丸に示されるように、直下のｐ１ｉの画素値が複写（Padding）して用いられるが、実際のｐ２ｉの画素値は、点線の丸の位置であるので、誤差が生じてしまう。
　これに対して、本技術のＲ２Ｗ２による一次線形予測においては、ｐ２ｉの画素値は参照できないので、ｐ２ｉの画素値は、ハッチングの丸に示されるように、ｐ１ｉおよびｐ０ｉの画素値に傾きから一次線形により予測された画素値（＝実際と同じ画素値）が用いられる。
　以上のようにすることで、画素値に傾きがある場合においては、本技術によれば、従来の複写（Padding）の方法よりも誤差が生じることがない。したがって、Ｒ２Ｗ２であっても、デブロッキングのブロックノイズリダクションの機能を保ちつつ、ラインメモリの削減を実現することができる。
　また、例えば４Ｋ×２Ｋの画像における１ラインは、２Ｋ×１Ｋの画像の２ライン分に相当する。また、Ｈ．２６４／ＡＶＣ方式では、４ライン分のラインメモリを備えており、４Ｋ ×２Ｋの画像における１ライン分のメモリ容量は、Ｈ．２６４／ＡＶＣ方式の５０％のメモリ容量に相当する。すなわち、高解像度画像においてメモリ容量の削減効果が高くなる。
　なお、ｐ２ｉ、ｐ１ｉ、ｐ０ｉの画素値に傾きがない場合には、実質的に、直下のｐ１ｉの画素値が用いられることと同等となる。この場合も、Ｒ２Ｗ２であっても、デブロッキングのブロックノイズリダクションの機能を保ちつつ、ラインメモリの削減を実現することができる。
　　［Ｒ２Ｗ２の場合のフィルタ処理］
　次に、Ｒ２Ｗ２の場合の輝度信号のフィルタ処理について説明する。Ｒ２は、参照される画素を示し、Ｗ２は、フィルタ処理が適用される画素を示す。すなわち、Ｒ２Ｗ２とは、図１９に示されるように、ＬＣＵのライン境界上の２画素を参照して、ＬＣＵのライン境界上の２画素にフィルタ処理が適用されることを表す。
　なお、図１９の例においては、図１６におけるブロックＢＫｕ内のライン境界ＢＢから上に３列目と４列目の画素が参照できないことが明示されている。
　比較として再度示すが、ＨＥＶＣ方式における輝度信号の強フィルタリングでは、式（５０）乃至式（５５）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。なお、式（５０）乃至式（５５）は、式（３７）乃至式（４２）にそれぞれ対応する式である。
Figure JPOXMLDOC01-appb-M000020
　これに対して、本技術のＲ２Ｗ２の場合の輝度信号の強フィルタリングでは、式（５６）乃至式（６０）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。
Figure JPOXMLDOC01-appb-M000021
　ここで、Ｒ２Ｗ２の場合の強フィルタリングの式（５６）は、線形近似の式（４９）により、ＨＥＶＣ方式における強フィルタリングの式（５０）の「ｐ２ｉ＋２＊ｐ１ｉ＋２＊ｐ０ｉ」が「４＊ｐ１ｉ＋ｐ０ｉ」に入れ替わっている点が異なっている。
　Ｒ２Ｗ２の場合の強フィルタリングの式（５８）は、線形近似の式（４９）により、ＨＥＶＣ方式における強フィルタリングの式（５２）の「ｐ２ｉ＋ｐ１ｉ＋ｐ０ｉ」が「３＊ｐ１ｉ」に入れ替わっている点が異なっている。
　Ｒ２Ｗ２の場合の強フィルタリングにおいては、ＨＥＶＣ方式における強フィルタリングの式（５４）に対応する式が削除されている点が異なっている。
　すなわち、本技術のＲ２Ｗ２の場合においては、ブロックＢｋｕのライン境界ＢＢから上に３行目の行の画素「ｐ２ｉ」が参照されないので、代わりに、線形近似の式（４９）が代入して用いられる。
　また、ブロックＢｋｕのライン境界ＢＢから上に３行目の行の画素「ｐ２０」には、フにィルタ処理が施されないので、Ｒ２Ｗ２の場合の強フィルタリングにおいては、ＨＥＶＣ方式における強フィルタリングの式（５４）に対応する式が削除される。
　次に、ライン境界における輝度信号の弱フィルタリングの判定式と弱フィルタリングについて説明する。
　まず、ＨＥＶＣ方式における輝度信号の弱フィルタリングの判定式と弱フィルタリングでは、式（６１）乃至式（６３）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。なお、式（６１）乃至式（６３）における第１式目が、弱フィルタリングの判定式である。
Figure JPOXMLDOC01-appb-M000022
 　ここで、Ｃｌｉｐ０－２５５は、上述したように、０以下である場合、０に切り上げ、２５５以上である場合、２５５に切り下げるクリップ処理を表している。また、Ｃｌｉｐ(-tc)－tcは、-tc以下である場合、-tcに切り上げ、tc以上である場合、tcに切り下げるクリップ処理を表している。tc2についてのクリップも同様である。なお、以降の式についても同様である。なお、tcは、表１に示したように、パラメータＱに基づいて設定される値である。
　これに対して、Ｒ２Ｗ２の場合の輝度信号の弱フィルタリングの判定式と弱フィルタリングでは、式（６４）乃至式（６６）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。なお、式（６４）乃至式（６６）における第１式目が、弱フィルタリングの判定式である。
Figure JPOXMLDOC01-appb-M000023
　ここで、Ｒ２Ｗ２の場合の式（６５）のうち、弱フィルタリングの式である第２式目のtc2のクリップ内は、線形近似の式（４９）により、ＨＥＶＣ方式における式（６２）のうち、第２式目のtc2のクリップ内と異なっている。すなわち、第２式目のtc2のクリップ内は、ＨＥＶＣ方式の第２式目のtc2のクリップ内「（（（（ｐ２ｉ＋ｐ０ｉ＋１）＞＞１）－ｐ１ｉ＋ｄｅｌｔａ）＞＞１）」が、「（（（（ｐ１ｉ＋ｐ１ｉ＋１）＞＞１）－ｐ１ｉ＋ｄｅｌｔａ）＞＞１）」に入れ替わっている。
　また、Ｒ２Ｗ２の場合の式（６５）のうち、弱フィルタリングの判定式である第１式目のｉｆ文内は、ＨＥＶＣ方式における式（６２）のうち、第１式目のｉｆ文内と異なっている。すなわち、第１式目のｉｆ文内は、ＨＥＶＣ方式の第１式目のｉｆ文内「ａｂｓ（ｐ２２－２＊ｐ１２＋ｐ０２）＋ａｂｓ（ｐ２５－２＊ｐ１５＋ｐ０５）」が、「ａｂｓ（０－（ｐ１２－ｐ０２））＋ａｂｓ（０－（ｐ１５－ｐ０５））」に入れ替わっている。
　すなわち、式（６５）のうち、第１式目については、線形近似ではなく、次の式（６７）に示される、直下の画素での複写（padding）が行われる。換言するに、「ａｂｓ（０－（ｐ１２－ｐ０２））」における０は、「０＝ｐ２２－ｐ１２」を表しており、「ａｂｓ（０－（ｐ１５－ｐ０５））」における０は、「０＝ｐ２５－ｐ１５」を表している。
Figure JPOXMLDOC01-appb-M000024
　これは、フィルタリングの判定式における傾きについての判定に関して、線形近似を用いると、実際にはスルーできないものについての判定までスルーしてしまうためである。したがって、弱フィルタリングの判定式における傾きの判定については、式（６７）に示されるように、直下の画素での複写（padding）が行われるものとする。これは、次に述べる強フィルタリングの判定式やブロック間の境界判定式についても同じことがいえる。
　次に、ライン境界における輝度信号のブロック間の境界判定式と強フィルタリングの判定式について説明する。
　まず、ＨＥＶＣ方式における輝度信号のブロック間の境界判定式は、次の式（６８）で表わされ、強フィルタリングの判定式は、次の式（６９）で表わされる。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
　これに対して、本技術のＲ２Ｗ２の場合のブロック間の境界判定式は、次の式（７０）で表わされ、強フィルタリングの判定式は、次の式（７１）で表わされる。
Figure JPOXMLDOC01-appb-M000027
Figure JPOXMLDOC01-appb-M000028
　Ｒ２Ｗ２の場合のブロック間の境界判定の式（７０）のｉｆ文内の第１項目および第２項目は、複写（padding）の式（６７）により、ＨＥＶＣ方式におけるブロック間の境界判定の式（６８）のｉｆ文内の第１項目および第２項目と異なっている。すなわち、ｉｆ文内の第１項目と第２項目は、ＨＥＶＣ方式のｉｆ文内の第１項目と第２項目「ａｂｓ（ｐ２２－２＊ｐ１２＋ｐ０２）＋ａｂｓ（ｐ２５－２＊ｐ１５＋ｐ０５）」が、「ａｂｓ（０－（ｐ１２－ｐ０２））＋ａｂｓ（０－（ｐ１５－ｐ０５））」に入れ替わっている。
　また、Ｒ２Ｗ２の場合の強フィルタリング判定の式（７１）の１行目の絶対値内が、複写（padding）の式（６７）により、ＨＥＶＣ方式における強フィルタリング判定の式（６９）の１行目の絶対値内と異なっている。すなわち、式（７１）の１行目の絶対値内は、式（６９）の１行目の絶対値内「ａｂｓ（ｐ２２－２＊ｐ１２＋ｐ０２）＋ａｂｓ（ｐ２５－２＊ｐ１５＋ｐ０５）」が、「ａｂｓ（０－（ｐ１２－ｐ０２））＋ａｂｓ（０－（ｐ１５－ｐ０５））」に入れ替わっている。
　さらに、Ｒ２Ｗ２の場合の強フィルタリング判定の式（７１）の１つ目の「ａｎｄ」以降の式が、ＨＥＶＣ方式における強フィルタリング判定の式（６９）の１つ目の「ａｎｄ」以降の式と異なっている。すなわち、式（７１）の１つ目の「ａｎｄ」以降の式は、式（６９）の１つ目の「ａｎｄ」以降の式「（｜ｐ３ｉ－ｐ０ｉ＜＜１｜＋｜ｑ０ｉ－ｑ３ｉ｜）」＜（β＞＞３））」が、「（｜ｐ１ｉ－ｐ０ｉ＜＜１｜＋｜ｑ０ｉ－ｑ３ｉ｜）」＜（β＞＞３））」に入れ替わっている。
　なお、この部分の判定は、画素値の大きさの判定であるので、線形近似の式（４９）および複写（padding）の式（６７）が用いられている。すなわち、式（７１）の１つ目の「ａｎｄ」以降の式は、式（６９）１つ目の「ａｎｄ」以降の式において、まず、「ｐ３ｉ」が、複写により「ｐ２ｉ」に近似されて、その後、「ｐ２ｉ」が、線形により「２＊ｐ１ｉ－ｐ０ｉ」に近似されて生成されている。
　　［Ｒ２Ｗ１の場合のフィルタ処理］
　次に、Ｒ２Ｗ１の場合の輝度信号のフィルタ処理について説明する。Ｒ２は、参照される画素を示し、Ｗ１は、フィルタ処理が適用される画素を示す。すなわち、Ｒ２Ｗ１とは、図１９に示されるように、ＬＣＵのライン境界上の２画素を参照して、ＬＣＵのライン境界上の１画素にフィルタ処理が適用されることを表す。
　Ｒ２Ｗ１の場合の本技術の輝度信号の強フィルタリングでは、式（７２）乃至式（７５）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。
Figure JPOXMLDOC01-appb-M000029
　ここで、Ｒ２Ｗ１の場合の強フィルタリングの式（７２）は、線形近似の式（４９）により、ＨＥＶＣ方式における強フィルタリングの式（５０）の「ｐ２ｉ＋２＊ｐ１ｉ＋２＊ｐ０ｉ」が「４＊ｐ１ｉ＋ｐ０ｉ」に入れ替わっている点が異なっている。
　Ｒ２Ｗ１の場合の強フィルタリングにおいては、ＨＥＶＣ方式における強フィルタリングの式（５２）および式（５４）に対応する式が削除されている点が異なっている。
　すなわち、本技術においては、ブロックＢｋｕのライン境界ＢＢから上に３行目の行の画素「ｐ２ｉ」が参照されないので、代わりに、線形近似の式（４９）が代入して用いられる。
　また、ブロックＢｋｕのライン境界ＢＢから上に２行目の行の画素「ｐ１０」および３行目の行の画素「ｐ２０」には、フィルタ処理が施されない。したがって、Ｒ２Ｗ１の場合の強フィルタリングにおいては、ＨＥＶＣ方式における強フィルタリングの式（５２）および式（５４）に対応する式が削除される。
　次に、ライン境界における輝度信号の弱フィルタリングの判定式と弱フィルタリングについて説明する。
　Ｒ２Ｗ１の場合の輝度信号の弱フィルタリングの判定式と弱フィルタリングでは、式（７６）および式（７７）の演算を行うことで、フィルタ処理範囲の各画素の輝度成分が算出される。
Figure JPOXMLDOC01-appb-M000030
　ここで、Ｒ２Ｗ１の場合、ブロックＢｋｕのライン境界ＢＢから上に２行目の行の画素「ｐ１０」には、フィルタ処理が施されない。したがって、Ｒ２Ｗ１の場合の弱フィルタリングの判定式と弱フィルタリングにおいては、ＨＥＶＣ方式における式（６２）に対応する式が削除される。
　次に、ライン境界における輝度信号のブロック間の境界判定式と強フィルタリングの判定式について説明する。
　Ｒ２Ｗ１の場合のブロック間の境界判定式は、次の式（７８）で表わされ、強フィルタリングの判定式は、次の式（７９）で表わされる。
Figure JPOXMLDOC01-appb-M000031
Figure JPOXMLDOC01-appb-M000032
　Ｒ２Ｗ１の場合のブロック間の境界判定の式（７８）のｉｆ文内の第１項目および第２項目は、複写（padding）の式（６７）により、ＨＥＶＣ方式におけるブロック間の境界判定の式（６８）のｉｆ文内の第１項目および第２項目と異なっている。すなわち、ｉｆ文内の第１項目と第２項目は、ＨＥＶＣ方式のｉｆ文内の第１項目と第２項目「ａｂｓ（ｐ２２－２＊ｐ１２＋ｐ０２）＋ａｂｓ（ｐ２５－２＊ｐ１５＋ｐ０５）」が、「ａｂｓ（０－（ｐ１２－ｐ０２））＋ａｂｓ（０－（ｐ１５－ｐ０５））」に入れ替わっている。
　また、Ｒ２Ｗ１の場合の強フィルタリング判定の式（７９）の１行目の絶対値内が、複写（padding）の式（６７）により、ＨＥＶＣ方式における強フィルタリング判定の式（６９）の１行目の絶対値内と異なっている。すなわち、式（７９）の１行目の絶対値内は、式（６９）の１行目の絶対値内「ａｂｓ（ｐ２２－２＊ｐ１２＋ｐ０２）＋ａｂｓ（ｐ２５－２＊ｐ１５＋ｐ０５）」が、「ａｂｓ（０－（ｐ１２－ｐ０２））＋ａｂｓ（０－（ｐ１５－ｐ０５））」に入れ替わっている。
　さらに、Ｒ２Ｗ１の場合の強フィルタリング判定の式（７９）の１つ目の「ａｎｄ」以降の式が、ＨＥＶＣ方式における強フィルタリング判定の式（６９）の１つ目の「ａｎｄ」以降の式と異なっている。すなわち、式（７９）の１つ目の「ａｎｄ」以降の式は、式（６９）１つ目の「ａｎｄ」以降の式「（｜ｐ３ｉ－ｐ０ｉ＜＜１｜＋｜ｑ０ｉ－ｑ３ｉ｜）」＜（β＞＞３））」が、「（｜ｐ１ｉ－ｐ０ｉ＜＜１｜＋｜ｑ０ｉ－ｑ３ｉ｜）」＜（β＞＞３））」に入れ替わっている。
　Ｒ２Ｗ２の場合に上述したように、この部分の判定は、画素値の大きさの判定であるので、線形近似の式（４９）および複写（padding）の式（６７）が用いられている。すなわち、式（７９）の１つ目の「ａｎｄ」以降の式は、式（６９）１つ目の「ａｎｄ」以降の式にいおいて、まず、「ｐ３ｉ」が「ｐ２ｉ」に近似されて、その後、「ｐ２ｉ」が「２＊ｐ１ｉ－ｐ０ｉ」に近似されて生成されている。
　なお、以上の線形近似による判定処理を実現するための構成例と動作については、デブロッキングフィルタ処理部の第６および第７の実施の形態として、後述する図２２乃至図２４を参照して説明する。
　なお、上述したように、本技術においては、ライン境界におけるブロック間の境界判定と強フィルタリング判定式を、線形近似の式（４９）および複写（padding）の式（６７）を用いて変更している。このため、上記判定式を誤ってスルーし、誤ってデブロッキングフィルタ処理が行われてしまった場合の対応として、強フィルタリング処理にクリップ処理を追加する。
　　［本技術の説明（強フィルタリングにおけるクリップ処理）］
　次に、第８の実施の形態である強フィルタリングにおけるクリップ処理について説明する。Ｒ２Ｗ２の場合の輝度信号の強フィルタリングは、クリップ処理が追加された、次の式（８０）乃至式（８４）を用いることも可能である。
Figure JPOXMLDOC01-appb-M000033
　強フィルタリングの式（８０）は、フィルタリング後のｐ００の算出式である。強フィルタリングの式（８０）においては、式（５６）における０乃至２５５のクリップ処理内と、ｐ００との差分に対して(-tc)乃至tcのクリップ処理が施された値が、ｐ００に加算されたものに対して、０乃至２５５によるクリップ処理が行われている。
　強フィルタリングの式（８１）は、フィルタリング後のｑ００の算出式である。強フィルタリングの式（８１）においては、式（５７）における０乃至２５５のクリップ処理内と、ｑ００との差分に対して(-tc)乃至tcのクリップ処理が施された値が、ｑ００に加算されたものに対して、０乃至２５５によるクリップ処理が行われている。
　強フィルタリングの式（８２）は、フィルタリング後のｐ１０の算出式である。強フィルタリングの式（８２）においては、式（５８）における０乃至２５５のクリップ処理内と、ｐ１０との差分に対して(-tc)乃至tcのクリップ処理が施された値が、ｐ１０に加算されたものに対して、０乃至２５５によるクリップ処理が行われている。
　強フィルタリングの式（８３）は、フィルタリング後のｑ１０の算出式である。強フィルタリングの式（８３）においては、式（５９）における０乃至２５５のクリップ処理内と、ｑ１０との差分に対して(-tc)乃至tcのクリップ処理が施された値が、ｑ１０に加算されたものに対して、０乃至２５５によるクリップ処理が行われている。
　強フィルタリングの式（８４）は、フィルタリング後のｑ２０の算出式である。強フィルタリングの式（８４）においては、式（６０）における０乃至２５５のクリップ処理内と、ｑ２０との差分に対して(-tc)乃至tcのクリップ処理が施された値が、ｑ２０に加算されたものに対して、０乃至２５５によるクリップ処理が行われている。
　以上のようにすることで、過度なフィルタ処理がかかるのを抑制することが可能である。
　なお、ここで、Matthias　Narroschke,　Tomas Wedi,　Semih Esenlik, “Results for modified decisions for deblocking”,　JCTVC-G590,　Joint　Collaborative　Team　on　Video　Coding　(JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting,　Geneva,　CH,　21-30　November,　2011（以下、非特許文献２と称する）が提案されている。
　非特許文献２においては、ブロック単位で強フィルタリング・弱フィルタリングの判定処理が記載されている。しかしながら、非特許文献２に記載の判定処理では、注目ラインとそのラインが含まれるブロック単位の判定が異なる場合(注目ラインは弱フィルタリングの判定であるのに対して，それを含むブロックは強フィルタリング判定で、注目ラインに強フィルタリングが適用される場合）、過度なフィルタ処理がかかる。
　また、非特許文献２においては、強フィルタリング、弱フィルタリングの判定処理が４ライン単位で行われるため、判定とフィルタリング処理との間でミスマッチが起こる。ミスマッチの例としては、強と判定される必要があるのに、弱フィルタが行われたり、弱と判定される必要があるのに、強フィルタが行われたりする。
　なお、ＨＥＶＣ方式(HM-5.0)における輝度信号の強フィルタリングでは、次の式（８５）乃至式（８９）が採用されている。
Figure JPOXMLDOC01-appb-M000034
　本技術では、判定処理のミスマッチ及び判定処理の不完全さを解消するために、次の式（９０）乃至式（９４）で示すクリップ処理を適用することも可能である。なお、式（９０）においては、フィルタ処理によって変化する部分Δ値にクリップ処理を行いたいので、ｐ０ｉがクリップ処理の外に出されている。他の式（９１）乃至式（９４）についても同様である。
Figure JPOXMLDOC01-appb-M000035
 　ここで、クリップ値pvは、パラメータtcの１倍，２倍，３倍，４倍，５倍，６倍，７倍，８倍のいずれかとする。すなわち、pv=tc,2*tc,3*tc,4*tc,5*tc,6*tc,7*tc,8*tcである。なお、クリップ値pvは、パラメータtcの２倍が好適と考えられるが、１乃至８倍のいずれかでよいと想定される。また、同等の効果が得られれば、１乃至８倍には限定されない。
　また、tcは、量子化パラメータＱＰに応じて変動する。よって、クリップ値におけるtcにかかる倍数もＱＰが大きくなると大きくなる（すなわち、ＱＰに応じて変動する）ようにすることも可能である。このクリップ処理にかかるパラメータ（クリップ値やクリップ値におけるtcにかかる倍数の値）は、予め設定されていてもよいし、符号化ストリームに付加して、復号側へ伝送することも可能である。
　なお、上述した式（９０）乃至式（９４）は、次の式（９５）乃至式（９９）のようにクリップ処理を行うようにしてもよい。
Figure JPOXMLDOC01-appb-M000036
　ここで、上述したＨＥＶＣ方式(HM-5.0)における輝度信号の強フィルタリングの式（８５）乃至式（８９）は、ライン境界における輝度信号の強フィルタリングの式である。すなわち、ＨＥＶＣ方式(HM-5.0)において、輝度信号の強フィルタリングは、実際には、次の式（１００）乃至式（１０５）で表わされている。
Figure JPOXMLDOC01-appb-M000037
　これらの式（１００）乃至式（１０５）に対応して、本技術では、判定処理のミスマッチ及び判定処理の不完全さを解消するために、輝度信号の強フィルタリングに、次の式（１０６）乃至式（１１１）で示すように、クリップ処理を適用することが可能である。なお、式（１０６）の第１式においては、上述した式（９０）乃至（９４）の例と同様に、フィルタ処理によって変化する部分Δ値にクリップ処理を行いたいので、ｐ０ｉがクリップ処理の外に出されている。他の式（１０７）乃至式（１１１）の第１式についても同様である。
Figure JPOXMLDOC01-appb-M000038
 　ここで、クリップ値pvは、パラメータtcの１倍，２倍，３倍，４倍，５倍，６倍，７倍，８倍のいずれかとする。すなわち、pv=tc,2*tc,3*tc,4*tc,5*tc,6*tc,7*tc,8*tcである。なお、クリップ値pvは、パラメータtcの２倍が好適と考えられるが、１乃至８倍のいずれかでよいと想定される。また、同等の効果が得られれば、１乃至８倍には限定されない。
　また、tcは、量子化パラメータＱＰに応じて変動する。よって、クリップ値におけるtcにかかる倍数もＱＰが大きくなると大きくなる（すなわち、ＱＰに応じて変動する）ようにすることも可能である。このクリップ処理にかかるパラメータ（クリップ値やクリップ値におけるtcにかかる倍数の値）は、予め設定されていてもよいし、符号化ストリームに付加して、復号側へ伝送することも可能である。
　図２０は、実験による、上述した式（１００）乃至式（１０５）のＨＥＶＣ方式(HM-5.0)における輝度信号の強フィルタリングによって変化する画素値の最大値を示す図である。
　AI_HE、RA_HE、LB_HE、およびLP_HEは、本実験のコンディションを示している。AI_HE は、実験がALL INTRA High Efficiencyで行われたことを表している。RA_HE は、実験がRandom Access High Efficiencyで行われたことを表している。LB_HEは、実験がLow Delay B High Efficiencyで行われたことを表している。LP_HEは、実験がLow Delay P High Efficiencyで行われたことを表している。
　AI_HE、RA_HE、LB_HE、およびLP_HEの下に示される「２２、２７、３２、３７」は、実験に用いられた量子化パラメータの値である。また、Class A乃至Class Fは、実験に用いられたテストシーケンスの種類を示している。
　図２０に示されるように、ＨＥＶＣ方式(HM-5.0)における輝度信号の強フィルタリングによって変化する画素値は、すなわち、クリップ処理がない場合に強フィルタリングによって変化する画素値は、場合によっては１００以上大きく変化してしまう。
　そこで、輝度信号の強フィルタリングにクリップ処理を適用する。これにより、次の図２１に示されるように、判定処理のミスマッチ及び判定処理の不完全さの影響を最小限に抑えることができる。
　図２１の例においては、実線で示されるエッジ（ブロック境界ではない）がある場合で、本来はデブロッキング処理を行いたくないが、非特許文献２の技術により、デブロッキング処理が施されてしまうと、点線に示されるように画素値が大きく変化してしまう。
　例えば、デブロッキング処理前には、実線で示されるように、画素ｐ２ｉ、画素ｐ１ｉ、および画素ｐ０ｉの値は、２５５であり、画素ｑ０ｉ、画素ｑ１ｉ、および画素ｑ２ｉの値は、０であり、画素ｐ０ｉおよび画素ｑ０ｉの値の差Ｄは、２５５である。
　これに対して、点線で示されるように、デブロッキング処理後の画素ｐ２ｉの値は２２３となり、画素ｐ１ｉの値は、１９１となり、画素ｐ０ｉの値は、１５９となり、画素ｐ２ｉ、画素ｐ１ｉ、および画素ｐ０ｉの画素値が大きく変化してしまっていた。また、デブロッキング処理後の画素ｑ０ｉの値は、９６となり、画素ｑ１ｉの値は、６４となり、画素ｑ２ｉの値は、３２となり、画素ｑ０ｉ、画素ｑ１ｉ、および画素ｑ２ｉの画素値が大きく変化してしまっていた。
　このような場合に、例えば、上述した式（１０６）乃至式（１１１）の強フィルタリングにおいて、クリップ値が１０のクリップ処理を行う。
　これにより、太線で示されるように、デブロッキング後、画素ｐ２ｉ、画素ｐ１ｉ、および画素ｐ０ｉの値は、２４５となり、画素ｑ０ｉ、画素ｑ１ｉ、および画素ｑ２ｉの値は、２５５となり、上述した画素値の変化を最小限に抑えることができる。
　なお、以上の強フィルタリングにおけるクリップ処理を実現するための構成例と動作については、デブロッキングフィルタ処理部の第８の実施の形態として、後述する図２５乃至図２７を参照して説明する。
　＜１３．デブロッキングフィルタ処理部の第６の実施の形態＞
　　［デブロッキングフィルタ処理部の構成例］
　図２２は、デブロッキングフィルタ処理部の第６の実施の形態の構成を例示している。デブロッキングフィルタ処理部２４は、画像メモリ７１、ブロック境界判定部７２－１、フィルタ強度判定部７３－１、フィルタ演算部７４－１、セレクタ７５、係数メモリ７６、およびフィルタ制御部７７を含むように構成される。デブロッキングフィルタ処理部２４は、さらに、ライン境界ブロック境界判定部７２－２、ライン境界フィルタ強度判定部７３－２、およびライン境界フィルタ演算部７４－２を含むように構成されている。
　画像メモリ７１は、図９のラインメモリ２４１に相当する部であり、ラインメモリで構成されている。画像メモリ７１は、加算部２３から供給された画像データを記憶する。画像メモリ７１は、記憶している画像データを読み出して、ブロック境界判定部７２－１、フィルタ強度判定部７３－１、およびフィルタ演算部７４－１に供給する。画像メモリ７１は、また、記憶している画像データを読み出して、ライン境界ブロック境界判定部７２－２、ライン境界フィルタ強度判定部７３－２、およびライン境界フィルタ演算部７４－２にも供給する。
　なお、ライン境界ではないところでは、画像メモリ７１に画像データは記憶されず、加算部２３から供給された画像データが各部に供給されて、それが処理される場合もある。しかしながら、図２２の例においては、説明の便宜上、画像メモリ７１を経由した画像データが処理されるとして説明する。
　ブロック境界判定部７２－１は、制御部７７の制御のもと、ブロック間の境界判定を行う。すなわち、ブロック境界判定部７２－１は、画像メモリ７１から読み出された画像データを用いて上述のブロック間の境界判定処理をブロック毎に行い、フィルタ処理を行うブロック間の境界を検出する。ブロック境界判定部７２－１は、検出結果をフィルタ強度判定部７３－１に出力する。
　フィルタ強度判定部７３－１は、制御部７７の制御のもと、上述のようにフィルタ強度の判定を行う。すなわち、フィルタ強度判定部７３－１は、画像メモリ７１からの、ブロックの境界を挟んで隣接する２つのブロックの画像データを用いて、ライン毎に、強フィルタリングまたは弱フィルタリングの何れの強度でフィルタ処理を行うか判定して、判定結果をフィルタ演算部７４－１に出力する。
　フィルタ演算部７４－１は、制御部７７の制御のもと、画像メモリ７１に記憶されている画像データ、および係数メモリ７６から読み出したフィルタ係数を用いて、ライン毎に、フィルタ強度判定部７３－１で判定されたフィルタ強度でフィルタ演算を行う。フィルタ演算部７４－１は、フィルタ処理がなされた画像データをセレクタ７５に出力する。
　ライン境界ブロック境界判定部７２－２は、制御部７７の制御のもと、ＬＣＵのライン境界である場合に、ブロック間の境界判定を行う。すなわち、ライン境界ブロック境界判定部７２－２は、画像メモリ７１から読み出された画像データを用いて上述のブロック間の境界判定処理をブロック毎に行い、フィルタ処理を行うブロック間の境界を検出する。ライン境界ブロック境界判定部７２－２は、検出結果をライン境界フィルタ強度判定部７３－２に出力する。
　ライン境界フィルタ強度判定部７３－２は、制御部７７の制御のもと、ＬＣＵのライン境界である場合に、上述のようにフィルタ強度の判定を行う。すなわち、ライン境界フィルタ強度判定部７３－２は、画像メモリ７１からの、ブロックの境界を挟んで隣接する２つのブロックの画像データを用いて、ライン毎に、強フィルタリングまたは弱フィルタリングの何れの強度でフィルタ処理を行うか判定して、判定結果をライン境界フィルタ演算部７４－２に出力する。
　ライン境界フィルタ演算部７４－２は、制御部７７の制御のもと、画像メモリ７１に記憶されている画像データ、および係数メモリ７６から読み出したフィルタ係数を用いて、ライン毎に、ライン境界フィルタ強度判定部７３－２で判定されたフィルタ強度でフィルタ演算を行う。ライン境界フィルタ演算部７４－２は、フィルタ処理がなされた画像データをセレクタ７５に出力する。
　セレクタ７５は、制御部７７の制御のもと、フィルタ演算部７４－１からの画像データまたはライン境界フィルタ演算部７４－２からの画像データのどちらかを選択して、選択した画像データを、フレームメモリ２５に出力する。
　係数メモリ７６は、デブロッキングフィルタ処理のフィルタ演算に用いるフィルタ係数を記憶している。係数メモリ７６は、記憶しているフィルタ係数を読み出し、フィルタ演算部７４－１およびライン境界フィルタ演算部７４－２に供給する。
　制御部７７は、デブロッキングフィルタ処理部２４の各部を制御する。制御部７７は、例えば、画像メモリ７１を制御して、ブロック内の下端側の所定ライン数分の画像データを記憶させ、記憶されている画像データの読み出しを行う。制御部７７は、ＬＣＵ内ライン判定部７７Ａを含むように構成されている。
　ＬＣＵ内ライン判定部７７Ａは、ラスタースキャン方向に順次処理が行われるブロック単位に、例えばＬＣＵ間のライン境界であるか判定して判定結果を、ブロック境界判定部７２－１、フィルタ強度判定部７３－１、およびフィルタ演算部７４－１に供給し、ライン境界ではない場合に、処理を行わせる。また、ＬＣＵ内ライン判定部７７Ａは、その判定結果を、ライン境界ブロック境界判定部７２－２、ライン境界フィルタ強度判定部７３－２、およびライン境界フィルタ演算部７４－２にも供給し、ライン境界であった場合に、処理を行わせる。さらに、ＬＣＵ内ライン判定部７７Ａは、その判定結果を、セレクタ７５に供給し、ライン境界であった場合、ライン境界フィルタ演算部７４－２からの画像データを選択させ、ライン境界ではない場合、フィルタ演算部７４－１からの画像データを選択させる。
　なお、図２２のデブロッキングフィルタ処理部２４においては、例えば、Ｒ２Ｗ２処理を行うことが予め設定されていてもよいし、図９の例と同様に、フィルタ処理範囲やフィルタ演算範囲を制御することができるように構成してもよい。
　　［デブロッキングフィルタ処理部の動作］
　次に、図２３のフローチャートを参照して、図２２のデブロッキングフィルタ処理部２４のデブロッキング処理について説明する。なお、図２３の例においては、Ｒ２Ｗ２の処理が行われる場合について説明する。
　ステップＳ９１において、ＬＣＵ内ライン判定部７７Ａは、ラスタースキャン方向に順次処理が行われるブロック単位に、かけるフィルタが、ＬＣＵ境界の垂直フィルタであるか否かを判定する。すなわち、ステップＳ９１においては、ＬＣＵ間のライン境界であって、かけるフィルタが垂直フィルタであるか否かが判定される。
　ステップＳ９１において、かけるフィルタが、ＬＣＵ境界の垂直フィルタであると判定された場合、処理は、ステップＳ９２に進む。ステップＳ９２において、ライン境界ブロック境界判定部７２－２は、制御部７７の制御のもと、ＬＣＵのライン境界である場合に、ライン境界のブロック間の境界判定を行う。
　すなわち、ライン境界ブロック境界判定部７２－２は、画像メモリ７１から読み出された画像データを用いて、上述した式（７０）により、ブロック間の境界判定処理をブロック毎に行い、フィルタ処理を行うブロック間の境界を検出する。ライン境界ブロック境界判定部７２－２は、検出結果をライン境界フィルタ強度判定部７３－２に出力する。
　ステップＳ９３において、ライン境界フィルタ強度判定部７３－２は、制御部７７の制御のもと、ＬＣＵのライン境界である場合に、上述のように、ライン境界のフィルタ強度の判定を行う。
　すなわち、ライン境界フィルタ強度判定部７３－２は、画像メモリ７１からの、ブロックの境界を挟んで隣接する２つのブロックの画像データを用いて、強フィルタリングまたは弱フィルタリングの何れの強度でフィルタ処理を行うか判定する。なお、上述した式（７１）により強フィルタリングの判定が行われる。また、上述した式（６４）乃至式（６６）の第１式目により、弱フィルタリングの判定が行われる。ライン境界フィルタ強度判定部７３－２は、判定結果をライン境界フィルタ演算部７４－２に出力する。
　ステップＳ９４において、ライン境界フィルタ演算部７４－２は、制御部７７の制御のもと、ライン境界のフィルタ処理を行う。すなわち、ライン境界フィルタ演算部７４－２は、画像メモリ７１に記憶されている画像データ、および係数メモリ７６から読み出したフィルタ係数を用いて、ライン境界フィルタ強度判定部７３－２で判定されたフィルタ強度でフィルタ演算を行う。
　強フィルタリングの場合、上述した式（５６）乃至式（６０）によりフィルタ演算が行われる。また、弱フィルタリングの場合、上述した式（６４）乃至式（６６）の第２式目および第３式目によりフィルタ演算が行われる。ライン境界フィルタ演算部７４－２は、フィルタ処理がなされた画像データをセレクタ７５に出力する。
　ＬＣＵ内ライン判定部７７Ａは、ステップＳ９５において、処理対象のラインが、ＬＣＵにおける最後の８ライン目であるか否かを判定する。ステップＳ９５において、処理対象のラインが、ＬＣＵにおける最後の８ライン目ではないと判定された場合、処理は、ステップＳ９３に戻り、それ以降の処理が繰り返される。
　また、ステップＳ９５において、処理対象のラインが、ＬＣＵにおける最後の８ライン目であると判定された場合、処理は、ステップＳ１００に進む。
　一方、ステップＳ９１において、かけるフィルタが、ＬＣＵ境界の垂直フィルタではないと判定された場合、処理は、ステップＳ９６に進む。ステップＳ９６において、ブロック境界判定部７２－１は、制御部７７の制御のもと、ブロック間の境界判定を行う。
　すなわち、ブロック境界判定部７２－１は、画像メモリ７１から読み出された画像データを用いて、上述した式（６８）により、ブロック間の境界判定処理をブロック毎に行い、フィルタ処理を行うブロック間の境界を検出する。ブロック境界判定部７２－１は、検出結果をフィルタ強度判定部７３－１に出力する。
　フィルタ強度判定部７３－１は、ステップＳ９７において、制御部７７の制御のもと、上述のようにフィルタ強度の判定を行う。すなわち、フィルタ強度判定部７３－１は、画像メモリ７１からの、ブロックの境界を挟んで隣接する２つのブロックの画像データを用いて、ライン毎に、強フィルタリングまたは弱フィルタリングの何れの強度でフィルタ処理を行うか判定する。なお、上述した式（６９）により強フィルタリングの判定が行われる。また、上述した式（６１）乃至式（６３）の第１式目により、弱フィルタリングの判定が行われる。フィルタ強度判定部７３－１は、判定結果をフィルタ演算部７４－１に出力する。
　フィルタ演算部７４－１は、ステップＳ９８において、制御部７７の制御のもと、ブロック境界のフィルタ演算を行う。すなわち、フィルタ演算部７４－１は、画像メモリ７１に記憶されている画像データ、および係数メモリ７６から読み出したフィルタ係数を用いて、ライン毎に、フィルタ強度判定部７３－１で判定されたフィルタ強度でフィルタ演算を行う。
　強フィルタリングの場合、上述した式（５０）乃至式（５５）によりフィルタ演算が行われる。また、弱フィルタリングの場合、上述した式（６１）乃至式（６３）の第２式目および第３式目によりフィルタ演算が行われる。フィルタ演算部７４－１は、フィルタ処理がなされた画像データをセレクタ７５に出力する。
　ＬＣＵ内ライン判定部７７Ａは、ステップＳ９９において、処理対象のラインが、ＬＣＵにおける最後の８ライン目であるか否かを判定する。ステップＳ９９において、処理対象のラインが、ＬＣＵにおける最後の８ライン目ではないと判定された場合、処理は、ステップＳ９７に戻り、それ以降の処理が繰り返される。
　また、ステップＳ９９において、処理対象のラインが、ＬＣＵにおける最後の８ライン目であると判定された場合、処理は、ステップＳ１００に進む。
　ステップＳ１００において、ＬＣＵ内ライン判定部７７Ａは、画像の最後のブロックであるか否かを判定する。すなわち、ステップＳ１００においては、画面内の再度のブロックのライン境界であるかが判定される。
　ステップＳ１００において、画像の最後のブロックであると判定された場合、デブロッキング処理は終了する。ステップＳ１００において、画像の最後のブロックではないと判定された場合、処理は、ステップＳ９１に戻り、ラスタースキャン順に次のＬＣＵについてそれ以降の処理が繰り返される。
　なお、図２２の例においては、フィルタ演算部７４－１においてライン境界以外の場合の係数を用い、ライン境界フィルタ演算部７４－２においてライン境界の場合の係数を用いて、どちらを用いるかが、ＬＣＵ内ライン判定部７７Ａにおいて選択される。これにより、ライン境界におけるフィルタ処理とライン境界以外のフィルタ処理を切り替えるようにする例を説明した。
　これに対して、用いる係数を１つにして、読み出す画素のアドレスを制御することで、ライン境界におけるフィルタ処理とライン境界以外のフィルタ処理を切り替えるようにすることも可能である。
　例えば、Ｒ２Ｗ２の強フィルタリングにおけるＰ００の算出を例に説明する。ＨＥＶＣ方式における強フィルタリングの式（５０）において、
　ｐ（ブロックＢＫｕ）にかかる項は、「ｐ２ｉ＋２＊Ｐ１ｉ＋２＊ｑ０ｉ」となっている。
　一方、ＨＥＶＣ方式における強フィルタリングの式（５６）においては、
　ｐ（ブロックＢＫｕ）にかかる項は、「４＊Ｐ１ｉ＋ｑ０ｉ」となっている。
　ここで、　４＊Ｐ１ｉ＋ｑ０ｉ　＝　ｑ０ｉ　＋　２＊Ｐ１ｉ＋　２＊Ｐ１ｉである。
　すなわち、式（５０）におけるｐにかかる項も、式（５６）におけるｐにかかる項も、係数は、左から、１、２、２が用いられている。したがって、同じ係数を用いて、その係数の乗算対象の画素値を入れ替える（読み出すアドレスを変更する）だけで、ライン境界におけるフィルタ処理とライン境界以外のフィルタ処理を切り替えるようにすることが可能である。
　＜１４．デブロッキングフィルタ処理部の第７の実施の形態＞
　　［デブロッキングフィルタ処理部の構成例］
　図２４は、デブロッキングフィルタ処理部の第７の実施の形態の構成を示している。
　図２４の例において、デブロッキングフィルタ処理部２４は、画像メモリ７１、ブロック境界判定部７２、フィルタ強度判定部７３、フィルタ演算部７４、係数メモリ７６、および制御部７７を含むように構成されている。
　なお、図２４のデブロッキングフィルタ処理部２４は、画像メモリ７１、係数メモリ７６、制御部７７は、図２２のデブロッキングフィルタ処理部２４と共通している。
　図２４のデブロッキング処理部２４は、ブロック境界判定部７２－１とライン境界ブロック境界判定部７２－２とがまとめて、ブロック境界判定部７２に入れ替わった点が、図２２のデブロッキングフィルタ処理部２４と異なっている。図２４のデブロッキング処理部２４は、フィルタ強度判定部７３－１とライン境界フィルタ強度判定部７３－２とがまとめて、フィルタ強度判定部７３に入れ替わった点が、図２２のデブロッキングフィルタ処理部２４と異なっている。図２４のデブロッキング処理部２４は、フィルタ演算部７４－１とライン境界フィルタ演算部７４－２とがまとめて、フィルタ演算部７４に入れ替わった点が、図２２のデブロッキングフィルタ処理部２４と異なっている。
　さらに、図２４のデブロッキング処理部２４は、制御部７７のＬＣＵ内ライン判定部７７Ａが、ＬＣＵ内ライン判定部７７Ｂと入れ替わった点が、図２２のデブロッキングフィルタ処理部２４と異なっている。
　すなわち、ＬＣＵ内ライン判定部７７Ｂは、Ｒ２Ｗ２の強フィルタリングにおけるＰ００の算出を例に、上述したように、画像メモリ７１から読み出される画素のアドレスを制御する。したがって、画像メモリ７１は、ＬＣＵ内ライン判定部７７Ｂによる制御に基づいて、画素を読み出し、読み出した画素を、ブロック境界判定部７２、フィルタ強度判定部７３、フィルタ演算部７４に供給する。
　ブロック境界判定部７２は、ブロック間の境界判定を行う。すなわち、ブロック境界判定部７２は、画像メモリ７１から読み出された画像データを用いて上述のブロック間の境界判定処理をブロック毎に行い、フィルタ処理を行うブロック間の境界を検出する。ブロック境界判定部７２は、検出結果をフィルタ強度判定部７３に出力する。
　フィルタ強度判定部７３は、上述のようにフィルタ強度の判定を行う。すなわち、フィルタ強度判定部７３は、画像メモリ７１からの、ブロックの境界を挟んで隣接する２つのブロックの画像データを用いて、ライン毎に、強フィルタリングまたは弱フィルタリングの何れの強度でフィルタ処理を行うか判定して、判定結果をフィルタ演算部７４に出力する。
　フィルタ演算部７４は、画像メモリ７１に記憶されている画像データ、および係数メモリ７６から読み出したフィルタ係数を用いて、ライン毎に、フィルタ強度判定部７３で判定されたフィルタ強度でフィルタ演算を行う。フィルタ演算部７４は、フィルタ処理がなされた画像データをフレームメモリ２５に出力する。
　なお、図２４のデブロッキング処理部２４によるデブロッキングフィルタ処理は、図２３を参照して上述したデブロッキングフィルタ処理と基本的に同様の処理であるので、その説明は省略される。
　以上のように、フィルタ演算に用いる画像範囲が狭くなったことにより参照できなくなった画素について、ブロックの境界判定における波形の傾きを用いて補間するようにした。これにより、画素値間に傾きがある場合のデブロッキング処理について、ＬＣＵのライン境界において画像範囲を狭くしても行えるようになる。
　また、フィルタ演算に用いる画像範囲が狭くなったことにより参照できなくなった画素について、ブロックの境界判定、並びに強弱フィルタの判定においては、ブロックの境界判定における波形の傾きとPaddingを用いて補間するようにした。これにより、画素値間に傾きがある場合のデブロッキングの判定処理について、ＬＣＵのライン境界において画像範囲を狭くしても、行えるようになる。
　以上により、ＬＣＵのライン境界においては、画像範囲を狭くしても、デブロッキングの処理の機能を保ちつつ、ラインメモリの削減を実現することが可能である。
　＜１５．デブロッキングフィルタ処理部の第８の実施の形態＞
　　［デブロッキングフィルタ処理部の構成例］
　図２５は、デブロッキングフィルタ処理部の第８の実施の形態の構成を示している。
　図２５の例において、デブロッキングフィルタ処理部２４は、画像メモリ８１、ブロック境界判定部８２、フィルタ強度判定部８３、フィルタ演算部８４、係数メモリ８５、および制御部８６を含むように構成されている。
　画像メモリ８１は、図２２の画像メモリ７１に相当する部であり、ラインメモリで構成されている。画像メモリ８１は、加算部２３から供給された画像データを記憶する。画像メモリ８１は、記憶している画像データを読み出して、ブロック境界判定部８２、フィルタ強度判定部８３、およびフィルタ演算部８４に供給する。
　なお、ライン境界ではないところでは、画像メモリ８１に画像データは記憶されず、加算部２３から供給された画像データが各部に供給されて、それが処理される場合もある。しかしながら、図２５の例においては、説明の便宜上、画像メモリ８１を経由した画像データが処理されるとして説明する。
　ブロック境界判定部８２は、制御部８６の制御のもと、８ライン毎に、境界を導出し、判定に用いるパラメータを算出したりして、４ライン毎に、ブロック間の境界判定を行う。すなわち、ブロック境界判定部８２は、画像メモリ８１から読み出された画像データを用いて、ＴＵおよびＰＵの境界を導出し、ＢＳ値を導出する。さらに、ブロック境界判定部８２は、処理対象の境界に隣接する２つの領域の量子化パラメータＱＰの平均を求めて、平均ＱＰ（量子化パラメータ）を算出し、算出した平均ＱＰに基づいて、パラメータtcおよびβを算出する。
　そして、ブロック境界判定部８２は、画像メモリ８１からの、ブロックの境界を挟んで隣接する２つのブロックの画像データと、算出したパラメータを用いて、４ライン毎に、フィルタを行うかどうかを判定する。ブロック境界判定部８２は、ブロック境界判定部８２は、境界判定結果とともに、算出したパラメータを、フィルタ強度判定部８３に供給する。
　フィルタ強度判定部８３は、制御部８６の制御のもと、４ライン毎に、フィルタ強度の判定を行う。すなわち、フィルタ強度判定部８３は、ブロック境界判定部８２によりフィルタを行うと判定された場合、強フィルタリングまたは弱フィルタリングの何れの強度でフィルタ処理を行うか判定して、判定結果をフィルタ演算部８４に出力する。
　フィルタ演算部８４は、制御部８６の制御のもと、画像メモリ８１に記憶されている画像データ、および係数メモリ８５から読み出したフィルタ係数を用いて、４ライン毎に、フィルタ強度判定部８３で判定されたフィルタ強度でフィルタ演算を行う。特に、フィルタ強度判定部８３により強フィルタを行うと判定された場合、フィルタ演算部８４は、上述した式（１０６）乃至式（１１１）を用いて、クリップ処理付きの強フィルタ処理を行う。フィルタ演算部８４は、フィルタ処理がなされた画像データを後段のフレームメモリ２５に出力する。
　係数メモリ８５は、デブロッキングフィルタ処理のフィルタ演算に用いるフィルタ係数を記憶している。係数メモリ８５は、記憶しているフィルタ係数を読み出し、フィルタ演算部８４に供給する。
　制御部８６は、図示せぬ操作部（復号側の場合、可逆復号部５２）から情報(デブロッキングフィルタのON/OFF情報、パラメータβ、tcの各オフセット値、およびクリップ処理にかかるパラメータなど)を入力する。また、制御部８６には、予測モード情報や量子化パラメータなどデブロッキングフィルタに必要なパラメータも供給される。
　例えば、制御部８６は、入力される情報を、対応する部に供給したり、入力されるON/OFF情報に基づいて、デブロッキングフィルタ処理部２４の各部を制御する。
　制御部８６は、例えば、画像メモリ８１を制御して、ブロック内の下端側の所定ライン数分の画像データを記憶させ、記憶されている画像データの読み出しを行う。また、制御部８６は、フィルタ演算部８４を制御し、強フィルタを行う場合に、クリップ処理付き強フィルタ処理を行わせる。その際、制御部８６は、このクリップ処理にかかるパラメータ（例えば、クリップ値pvやクリップ値におけるtcの倍数値）をフィルタ演算部８４に供給する。
　　［デブロッキングフィルタ処理部の動作］
　次に、図２６のフローチャートを参照して、図２５のデブロッキングフィルタ処理部２４のデブロッキング処理について説明する。
　例えば、図示せぬ操作部（復号側の場合、可逆復号部５２）を介してON/OFF情報、βオフセットの値、およびTcオフセットの値、クリップ処理にかかるパラメータが制御部８６に入力される。また、制御部８６には、予測モード情報や量子化パラメータなどデブロッキングフィルタに必要なパラメータも供給される。
　ステップＳ２０１において、制御部８６は、フィルタのオフセット（βオフセットおよびTcオフセット）を設定し、設定したオフセットの情報を、フィルタ強度判定部８３に供給する。
　ステップＳ２０２において、制御部８６は、ON/OFF情報に基づいて、デブロッキングフィルタが利用不可であるか否かを判定する。ステップＳ２０２において、デブロッキングフィルタが利用不可であると判定した場合、デブロッキングフィルタ処理は終了される。
　ステップＳ２０２において、デブロッキングフィルタが利用不可ではないと判定された場合、制御部８６は、ブロック境界判定部８２、フィルタ強度判定部８３、およびフィルタ演算部８４に、その旨を通知し、処理は、ステップＳ２０３に進む。その際、各部に必要なパラメータなども制御部８６から供給される。
　ステップＳ２０３において、ブロック境界判定部８２は、８ライン単位で、ＴＵとＰＵの境界を導出する。ステップＳ２０４において、ブロック境界判定部８２は、ステップＳ２０３で導出したＴＵとＰＵの境界などの情報や、制御部８６からの予測モード情報などを基に、ＢＳ(Boundary Strength)値の導出を行う。
　ステップＳ２０５において、ブロック境界判定部８２、フィルタ強度判定部８３、およびフィルタ演算部８４は、輝度境界のフィルタ処理を行う。この輝度境界のフィルタ処理は、次の図２７を参照して後述するが、ステップＳ２０５の処理により、輝度信号に対して、輝度境界のフィルタが施される。
　ステップＳ２０６において、ブロック境界判定部８２、フィルタ強度判定部８３、およびフィルタ演算部８４は、色差境界のフィルタ処理を行う。ステップＳ２０６の処理により、色差信号に対して、色差境界のフィルタが施される。
　ステップＳ２０７において、制御部８６は、全部の境界を処理したか否かを判定する。ステップＳ２０７において、全部の境界を処理していないと判定された場合、処理は、ステップＳ２０５に戻り、それ以降の処理が繰り返される。ステップＳ２０７において、全部の境界を処理したと判定された場合、処理は、ステップＳ２０８に進む。
　ステップＳ２０８において、制御部８６は、全部のＣＵを処理したか否かを判定する。ステップＳ２０８において、まだ全部のＣＵを処理していないと判定された場合、処理は、ステップＳ２０３に戻り、それ以降の処理が繰り返される。
　ステップＳ２０８において、全部のＣＵを処理したと判定された場合、デブロッキングフィルタ処理は終了される。
　　［輝度境界のフィルタ処理の例］
　次に、図２７のフローチャートを参照して、図２６のステップＳ２０５における輝度境界のフィルタ処理について説明する。
　ブロック境界判定部８２は、ステップＳ２３１において、８ライン単位で、ＢＳ値が０より大きいか否かを判定する。ステップＳ２３１において、ＢＳ値が０より大きくはないと判定された場合、輝度境界のフィルタ処理は終了する。すなわち、この場合の輝度境界には、フィルタ演算部８４によるフィルタ処理は施されず、フィルタ前の画素値がそのまま出力される。
　ステップＳ２３１において、ＢＳ値が０より大きいと判定された場合、処理は、ステップＳ２３２に進む。ステップＳ２３２において、ブロック境界判定部８２は、８ライン単位で、画素メモリ８１からの画素値を用いて、処理対象の境界に隣接する２つの領域の量子化パラメータＱＰの平均を求めて、平均ＱＰ（量子化パラメータ）を算出する。このときの量子化パラメータＱＰは、制御部８６から供給される。
　ステップＳ２３３において、ブロック境界判定部８２は、８ライン単位で、ステップＳ２３２により算出された平均ＱＰに基づいて、パラメータtcおよびβを算出する。
　ステップＳ２３４において、ブロック境界判定部８２は、４ライン単位のフィルタのon/off判定を行う。すなわち、ブロック境界判定部８２は、算出したパラメータβなどを用いて、４ライン単位のフィルタのon/off判定を行う。この判定処理には、例えば、例えば、上述した式（６８）が用いられる。
　ステップＳ２３４におけるon/off判定結果は、境界判定結果として、算出したパラメータと一緒に、フィルタ強度判定部８３に供給される。
　また、ステップＳ２３５において、フィルタ強度判定部８３は、４ライン単位のフィルタ強度判定を行う。すなわち、フィルタ強度判定部８３は、ブロック境界判定部８２により算出されたパラメータβやパラメータtcなどを用いて、４ライン単位のフィルタ強度判定を行う。この判定処理には、例えば、上述した式（６９）や式（６１）乃至式（６３）における第１式目が用いられる。
　ステップＳ２３４におけるon/off判定結果およびステップＳ２３５におけるフィルタ強度判定結果は、フィルタ演算部８４に供給される。なお、このとき、パラメータtcもフィルタ演算部８４に供給される。
　ステップＳ２３６において、フィルタ演算部８４は、フィルタ強度判定部８３からの判定結果に基づいて、処理対象の４ラインに対して、強フィルタを適用するか否かを判定する。ステップＳ２３６において、処理対象の４ラインに対して、強フィルタを適用すると判定された場合、処理は、ステップＳ２３７に進む。
　ステップＳ２３７において、フィルタ演算部８４は、制御部８６による制御のもと、上述した式（１０６）乃至式（１１１）を用いて、クリップ処理付き強フィルタ処理を行う。フィルタ演算部８４は、フィルタ処理後の画素値を、後段に出力する。
　ステップＳ２３６において、強フィルタを適用しないと判定された場合、ステップＳ２３８において、フィルタ演算部８４は、フィルタ強度判定部８３からの判定結果に基づいて、処理対象の４ラインに対して、弱フィルタを適用するか否かを判定する。ステップＳ２３８において、弱フィルタを適用すると判定された場合、処理は、ステップ２３９に進む。
　ステップＳ２３９において、フィルタ演算部８４は、弱フィルタ処理を行う。フィルタ演算部８４は、フィルタ処理後の画素値を、後段に出力する。
　ステップＳ２３８において、弱フィルタを適用しないと判定された場合、処理は、ステップ２４０に進む。ステップＳ２４０において、フィルタ演算部８４は、フィルタ強度判定部８３からの判定結果に基づいて、処理対象の４ラインに対して、処理を施さず、そのまま、フィルタ処理後の画素値を、後段に出力する。
　ステップＳ２４０において、フィルタ演算部８４は、８ラインの処理が完了したか否かを判定し、８ラインの処理が完了したと判定した場合、輝度信号のデブロッキングを終了する。ステップＳ２４０において、８ラインの処理がまだ完了していないと判定された場合、処理は、ステップＳ２３４に戻り、それ以降の処理が繰り返される。
　以上のように、強フィルタを適用すると判定された場合に、クリップ処理付きの強フィルタリングを行うようにしたので、判定処理のミスマッチ及び判定処理の不完全さの影響を最小限に抑えることができる。これにより、デブロッキング処理において、適切にフィルタリングがかかるようにすることができる。
　なお、上記説明においては、線形近似およびクリップ処理付き強フィルタリングについて説明した。そして、線形近似の説明においては、例として、Ｒ２Ｗ２およびＲ２Ｗ１の場合について説明したが、Ｒ３Ｗ２、Ｒ１Ｗ１の場合も同様の方法で線形近似の処理を行うことが可能である。
　＜１６．第９の実施の形態＞
　　［Ｒ３Ｗ２の例］
　次に、図２８を参照して、Ｒ３Ｗ２の例の場合について説明する。図２８の例においては、実線上の白丸がデブロックフィルタ前の、図１６に示された境界ＢＢ付近のｐ２ｉ，ｐ１ｉ，ｐ０ｉ，ｑ０ｉ，ｑ１ｉ，ｑ２ｉの各画素値を表している。図２８に示されるように、ブロックＢＫｕとブロックＢＫｌの段差（ギャップ）は、Ｄ＝ｐ０ｉ－ｑ０ｉである。
　また、点線上の丸は、ＨＥＶＣ方式における輝度信号の強フィルタリング後の各画素値を表している。すなわち、この場合、フィルタ前の画素値と強フィルタリング後の画素値の差は、ｑ２ｉについて、１／８＊Ｄであり、ｑ１ｉについて、２／８＊Ｄであり、ｑ０ｉについて、３／８＊Ｄである。同様に、フィルタ前の画素値と強フィルタリング後の画素値の差は、ｐ０ｉについて、３／８＊Ｄであり、ｐ１ｉについて、ｐ２ｉについて、２／８＊Ｄであり、１／８＊Ｄである。
　ここで、Ｒ３Ｗ２の場合の輝度信号のフィルタ処理を考えると、ｐ２ｉについてはフィルタリングが行われない。すなわち、ｐ２ｉは、実線上にある点線丸の画素値となり、ｐ１ｉの点線で示される画素値との差が大きくなり、実線上にある点線丸で示されるｐ２ｉの画素値と、点線で示されるｐ１ｉの画素値との間のみ、急な傾きを有することとなる。
　そこで、Ｒ３Ｗ２の場合には、この傾きが緩やかになるように、ｐ０ｉのフィルタ前の画素値（白丸）と、強フィルタリング後の画素値（ハッチング丸）との差Δｐ１ｉは、次の式（１１２）で表わされる。
Figure JPOXMLDOC01-appb-M000039
　すなわち、この式（１１２）は、Δｐ１ｉが、ｐ０ｉのフィルタ前の画素値（白丸）と、強フィルタリング後の画素値（ハッチング丸）の差Δｐ０ｉの半分の値である３／１６＊Ｄ）をとるように導かれていたものである。
　そして、式（１１２）の最後の近似式における右辺の第２項目が、フィルタ前の画素値（白丸）であるので、式（１１２）の最後の近似式における右辺の第１項目は、ハッチング丸で示されるｐ１ｉの強フィルタリング後の画素値を表していることになる。
　すなわち、式（１１２）の最後の近似式における右辺の第１項目の各画素値に乗算されている係数を、Ｒ３Ｗ２の場合の強フィルタリングの係数として用いる。これにより、Ｒ３Ｗ２の場合の強フィルタリング後の結果を、図２８の太線の傾きに示されるように、従来の点線の傾きと比してなだらかにすることができる。
　なお、Ｒ３Ｗ２の場合の強フィルタリングの判定式は、次の式（１１３）で表わされる。
Figure JPOXMLDOC01-appb-M000040
 　Ｒ３Ｗ２の場合の強フィルタリング判定の式（１１３）の１つ目の「ａｎｄ」以降の式が、ＨＥＶＣ方式における強フィルタリング判定の式（６９）の１つ目の「ａｎｄ」以降の式と異なっている。Ｒ３Ｗ２であるので、ｐ３ｉが参照できないため、Padding（すなわち、ｐ３ｉ＝ｐ２ｉ）が適用される。
　したがって、式（１１３）の１つ目の「ａｎｄ」以降の式は、式（６９）の１つ目の「ａｎｄ」以降の式「（｜ｐ３ｉ－ｐ０ｉ＜＜１｜＋｜ｑ０ｉ－ｑ３ｉ｜）」＜（β＞＞３））」が、「（｜ｐ２ｉ－ｐ０ｉ＜＜１｜＋｜ｑ０ｉ－ｑ３ｉ｜）」＜（β＞＞３））」に入れ替わっているところだけが異なっている。
　また、Ｒ３Ｗ２の場合の強フィルタリングについては、上述した式（１１２）より、ｐ１０に係る式が、式（１１４）に示されるように、ＨＥＶＣ方式における強フィルタリングの式（５２）と異なっている。
Figure JPOXMLDOC01-appb-M000041
　なお、Ｒ３Ｗ２の場合の強フィルタリングについては、ＨＥＶＣ方式における強フィルタリングのＰ２０に係る式（５４）は、必要ないので除かれている。
　以上により、Ｒ３Ｗ２の場合の強フィルタリングについても、精度を劣化させないように行うことができる。
　また、本明細書において、デブロックフィルタの処理単位のサイズは、例えば、Ｈ．２６４／ＡＶＣのマクロブロックのサイズやＨＥＶＣにおける符号化単位の符号化ツリーブロック（Coding　Tree　Block）のサイズ等であってもよい。また、本明細書において、ブロック又はマクロブロックとの用語は、ＨＥＶＣの文脈における符号化単位（ＣＵ：Coding　Unit）、予測単位(ＰＵ：Prediction Unit)、変換単位(ＴＵ：Transform Unit)をも含むものとする。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、または両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることも可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory) に予め記録しておくことができる。または、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送する。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
＜１９．第１０の実施の形態＞
　［多視画像点符号化・多視点画像復号への適用］
　上述した一連の処理は、多視点画像符号化・多視点画像復号に適用することができる。図２９は、多視点画像符号化方式の一例を示す。
　図２９に示されるように、多視点画像は、複数の視点の画像を含み、その複数の視点のうちの所定の１つの視点の画像が、ベースビューの画像に指定されている。ベースビューの画像以外の各視点の画像は、ノンベースビューの画像として扱われる。
　図２９のような多視点画像符号化を行う場合、各ビュー（同一ビュー）において、強フィルタリングのクリップ処理にかかるパラメータ（例えば、クリップ値やクリップ値におけるtcにかかる倍数など）を設定することができる。また、各ビュー(異なるビュー)において、他のビューで設定された強フィルタリングのクリップ処理にかかるパラメータを共有することもできる。
　この場合、ベースビューにおいて設定されたクリップ処理にかかるパラメータが、少なくとも１つのノンベースビューで用いられる。あるいは、例えば、ノンベースビュー(view_id=0)において設定されたクリップ処理にかかるパラメータが、ベースビューおよびノンベースビュー(view_id=1)の少なくともどちらか一方で用いられる。
　さらに、各ビュー（同一ビュー）において、強フィルタリングのクリップ処理にかかるパラメータを設定することもできる。また、各ビュー（異なるビュー）において、他のビューで設定された強フィルタリングのクリップ処理にかかるパラメータを共有することもできる。
　この場合、ベースビューにおいて設定されたクリップ処理にかかるパラメータが、少なくとも１つのノンベースビューで用いられる。あるいは、例えば、ノンベースビュー(view_id=0)において設定されたクリップ処理にかかるパラメータが、ベースビューおよびノンベースビュー(view_id=1)の少なくともどちらか一方で用いられる。
　これにより、デブロッキング処理において、適切にフィルタリングがかかるようにすることができる。
　［多視点画像符号化装置］
　図３０は、上述した多視点画像符号化を行う多視点画像符号化装置を示す図である。図３０に示されるように、多視点画像符号化装置６００は、符号化部６０１、符号化部６０２、および多重化部６０３を有する。
　符号化部６０１は、ベースビュー画像を符号化し、ベースビュー画像符号化ストリームを生成する。符号化部６０２は、ノンベースビュー画像を符号化し、ノンベースビュー画像符号化ストリームを生成する。多重化部６０３は、符号化部６０１において生成されたベースビュー画像符号化ストリームと、符号化部６０２において生成されたノンベースビュー画像符号化ストリームとを多重化し、多視点画像符号化ストリームを生成する。
　この多視点画像符号化装置６００の符号化部６０１および符号化部６０２に対して、画像符号化装置１０（図１）を適用することができる。この場合、多視点画像符号化装置６００は、符号化部６０１が設定した強フィルタリングのクリップ処理にかかるパラメータと、符号化部６０２が設定した強フィルタリングのクリップ処理にかかるパラメータとを設定して伝送させる。
　なお、上述したように符号化部６０１が設定した強フィルタリングのクリップ処理にかかるパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６０２が設定した強フィルタリングのクリップ処理にかかるパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送させるようにしてもよい。
　［多視点画像復号装置］
　図３１は、上述した多視点画像復号を行う多視点画像復号装置を示す図である。図３１に示されるように、多視点画像復号装置６１０は、逆多重化部６１１、復号部６１２、および復号部６１３を有する。
　逆多重化部６１１は、ベースビュー画像符号化ストリームとノンベースビュー画像符号化ストリームとが多重化された多視点画像符号化ストリームを逆多重化し、ベースビュー画像符号化ストリームと、ノンベースビュー画像符号化ストリームとを抽出する。復号部６１２は、逆多重化部６１１により抽出されたベースビュー画像符号化ストリームを復号し、ベースビュー画像を得る。復号部６１３は、逆多重化部６１１により抽出されたノンベースビュー画像符号化ストリームを復号し、ノンベースビュー画像を得る。
　この多視点画像復号装置６１０の復号部６１２および復号部６１３に対して、画像復号装置５０（図６）を適用することができる。この場合、多視点画像復号装置６１０は、符号化部６０１が設定し、復号部６１２が復号した強フィルタリングのクリップ処理にかかるパラメータと、符号化部６０２が設定し、復号部６１３が復号した強フィルタリングのクリップ処理にかかるパラメータを用いて処理を行う。
　なお、上述したように符号化部６０１（または、符号化６０２）が設定した強フィルタリングのクリップ処理にかかるパラメータを、符号化部６０１および符号化部６０２で共有して用いるように設定して伝送されている場合がある。この場合、多視点画像復号装置６１０においては、符号化部６０１（または、符号化６０２）が設定し、復号部６１２（または復号部６１３）が復号した強フィルタリングのクリップ処理にかかるパラメータを用いて処理が行われる。
　＜１８．第１１の実施の形態＞
　［階層画像点符号化・階層画像復号への適用］
　上述した一連の処理は、階層画像符号化・階層画像復号に適用することができる。図３２は、多視点画像符号化方式の一例を示す。
　図３２に示されるように、階層画像は、複数の階層(解像度)の画像を含み、その複数の解像度のうちの所定の１つの階層の画像が、ベースレイヤの画像に指定されている。ベースレイヤの画像以外の各階層の画像は、ノンベースレイヤの画像として扱われる。
　図３２のような階層画像符号化(空間スケーラビリティ)を行う場合、各レイヤ(同一レイヤ)において、強フィルタリングのクリップ処理にかかるパラメータを設定することができる。また、各レイヤ(異なるレイヤ)において、他のレイヤで設定された強フィルタリングのクリップ処理にかかるパラメータを共有することができる。
　この場合、ベースレイヤにおいて設定された強フィルタリングのクリップ処理にかかるパラメータが、少なくとも１つのノンベースレイヤで用いられる。あるいは、例えば、ノンベースレイヤ(layer _id=0)において設定された強フィルタリングのクリップ処理にかかるパラメータが、ベースレイヤおよびノンベースレイヤ(layer_id=1)の少なくともどちらか一方で用いられる。
　さらに、各レイヤ（同一レイヤ）において、強フィルタリングのクリップ処理にかかるパラメータを設定することもできる。また、各レイヤ（異なるレイヤ）において、他のビューで設定された強フィルタリングのクリップ処理にかかるパラメータを共有することもできる。
　この場合、ベースレイヤにおいて設定された強フィルタリングのクリップ処理にかかるパラメータが、少なくとも１つのノンベースレイヤで用いられる。あるいは、例えば、ノンベースレイヤ(layer _id=0)において設定された強フィルタリングのクリップ処理にかかるパラメータが、ベースレイヤおよびノンベースレイヤ(layer_id=1)の少なくともどちらか一方で用いられる。
　これにより、デブロッキング処理において、適切にフィルタリングがかかるようにすることができる。
　［階層画像符号化装置］
　図３３は、上述した階層画像符号化を行う階層画像符号化装置を示す図である。図３３に示されるように、階層画像符号化装置６２０は、符号化部６２１、符号化部６２２、および多重化部６２３を有する。
　符号化部６２１は、ベースレイヤ画像を符号化し、ベースレイヤ画像符号化ストリームを生成する。符号化部６２２は、ノンベースレイヤ画像を符号化し、ノンベースレイヤ画像符号化ストリームを生成する。多重化部６２３は、符号化部６２１において生成されたベースレイヤ画像符号化ストリームと、符号化部６２２において生成されたノンベースレイヤ画像符号化ストリームとを多重化し、階層画像符号化ストリームを生成する。
　この階層画像符号化装置６２０の符号化部６２１および符号化部６２２に対して、画像符号化装置１０（図１）を適用することができる。この場合、階層画像符号化装置６２０は、符号化部６２１が設定した強フィルタリングのクリップ処理にかかるパラメータと、符号化部６０２が設定した強フィルタリングのクリップ処理にかかるパラメータとを設定して伝送させる。
　なお、上述したように符号化部６２１が設定した強フィルタリングのクリップ処理にかかるパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。逆に、符号化部６２２が設定した強フィルタリングのクリップ処理にかかるパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送させるようにしてもよい。
　［階層画像復号装置］
　図３４は、上述した階層画像復号を行う階層画像復号装置を示す図である。図３４に示されるように、階層画像復号装置６３０は、逆多重化部６３１、復号部６３２、および復号部６３３を有する。
　逆多重化部６３１は、ベースレイヤ画像符号化ストリームとノンベースレイヤ画像符号化ストリームとが多重化された階層画像符号化ストリームを逆多重化し、ベースレイヤ画像符号化ストリームと、ノンベースレイヤ画像符号化ストリームとを抽出する。復号部６３２は、逆多重化部６３１により抽出されたベースレイヤ画像符号化ストリームを復号し、ベースレイヤ画像を得る。復号部６３３は、逆多重化部６３１により抽出されたノンベースレイヤ画像符号化ストリームを復号し、ノンベースレイヤ画像を得る。
　この多視点画像復号装置６３０の復号部６３２および復号部６３３に対して、画像復号装置５０（図６）を適用することができる。この場合、多視点画像復号装置６３０は、符号化部６２１が設定し、復号部６３２が復号した強フィルタリングのクリップ処理にかかるパラメータと、符号化部６２２が設定し、復号部６３３が復号した強フィルタリングのクリップ処理にかかるパラメータを用いて処理を行う。
　なお、上述したように符号化部６２１（または、符号化６２２）が設定した強フィルタリングのクリップ処理にかかるパラメータを、符号化部６２１および符号化部６２２で共有して用いるように設定して伝送されている場合がある。この場合、多視点画像復号装置６３０においては、符号化部６２１（または、符号化６２２）が設定し、復号部６３２（または、復号部６３３）が復号した強フィルタリングのクリップ処理にかかるパラメータを用いて処理が行われる。
　＜１９．応用例＞
　上述した実施形態に係る画像符号化装置１０および画像復号装置５０は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機若しくは受信機、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録する記録装置、または、これら記憶媒体から画像を再生する再生装置などの様々な電子機器に応用され得る。以下、４つの応用例について説明する。
　　［第１の応用例］
　図３５は、上述した実施形態を適用したテレビジョン装置の概略的な構成の一例を示している。テレビジョン装置９００は、アンテナ９０１、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、表示部９０６、音声信号処理部９０７、スピーカ９０８、外部インタフェース部９０９を有している。さらに、テレビジョン装置９００は、制御部９１０、ユーザインタフェース部９１１等を有している。
　チューナ９０２は、アンテナ９０１を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９０２は、復調により得られた符号化ビットストリームをデマルチプレクサ９０３へ出力する。すなわち、チューナ９０２は、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　デマルチプレクサ９０３は、符号化ビットストリームから視聴対象の番組の映像ストリームおよび音声ストリームを分離し、分離した各ストリームをデコーダ９０４へ出力する。また、デマルチプレクサ９０３は、符号化ビットストリームからＥＰＧ（Electronic　Program　Guide）などの補助的なデータを抽出し、抽出したデータを制御部９１０に供給する。なお、デマルチプレクサ９０３は、符号化ビットストリームがスクランブルされている場合には、デスクランブルを行ってもよい。
　デコーダ９０４は、デマルチプレクサ９０３から入力される映像ストリームおよび音声ストリームを復号する。そして、デコーダ９０４は、復号処理により生成される映像データを映像信号処理部９０５へ出力する。また、デコーダ９０４は、復号処理により生成される音声データを音声信号処理部９０７へ出力する。
　映像信号処理部９０５は、デコーダ９０４から入力される映像データを再生し、表示部９０６に映像を表示させる。また、映像信号処理部９０５は、ネットワークを介して供給されるアプリケーション画面を表示部９０６に表示させてもよい。また、映像信号処理部９０５は、映像データについて、設定に応じて、例えばノイズ除去などの追加的な処理を行ってもよい。さらに、映像信号処理部９０５は、例えばメニュー、ボタンまたはカーソルなどのＧＵＩ（Graphical　User　Interface）の画像を生成し、生成した画像を出力画像に重畳してもよい。
　表示部９０６は、映像信号処理部９０５から供給される駆動信号により駆動され、表示デバイス（例えば、液晶ディスプレイ、プラズマディスプレイまたはＯＬＥＤなど）の映像面上に映像または画像を表示する。
　音声信号処理部９０７は、デコーダ９０４から入力される音声データについてＤ／Ａ変換および増幅などの再生処理を行い、スピーカ９０８から音声を出力させる。また、音声信号処理部９０７は、音声データについてノイズ除去などの追加的な処理を行ってもよい。外部インタフェース部９０９は、テレビジョン装置９００と外部機器またはネットワークとを接続するためのインタフェースである。例えば、外部インタフェース部９０９を介して受信される映像ストリームまたは音声ストリームが、デコーダ９０４により復号されてもよい。すなわち、外部インタフェース部９０９もまた、画像が符号化されている符号化ストリームを受信する、テレビジョン装置９００における伝送手段としての役割を有する。
　制御部９１０は、ＣＰＵ（Central　Processing　Unit）などのプロセッサ、並びにＲＡＭ（Random　Access　Memory）およびＲＯＭ（Read　Only　Memory）などのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、プログラムデータ、ＥＰＧデータ、およびネットワークを介して取得されるデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、テレビジョン装置９００の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９１１から入力される操作信号に応じて、テレビジョン装置９００の動作を制御する。
　ユーザインタフェース部９１１は、制御部９１０と接続される。ユーザインタフェース部９１１は、例えば、ユーザがテレビジョン装置９００を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９１１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９１０へ出力する。
　バス９１２は、チューナ９０２、デマルチプレクサ９０３、デコーダ９０４、映像信号処理部９０５、音声信号処理部９０７、外部インタフェース部９０９および制御部９１０を相互に接続する。
　このように構成されたテレビジョン装置９００において、デコーダ９０４は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、テレビジョン装置９００での画像の復号に際して、デブロッキングフィルタ処理において、適切にフィルタリングをかけることができる。
　　［第２の応用例］
　図３６は、上述した実施形態を適用した携帯電話機の概略的な構成の一例を示している。携帯電話機９２０は、アンテナ９２１、通信部９２２、音声コーデック９２３、スピーカ９２４、マイクロホン９２５、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、制御部９３１、操作部９３２、およびバス９３３を備える。
　アンテナ９２１は、通信部９２２に接続される。スピーカ９２４およびマイクロホン９２５は、音声コーデック９２３に接続される。操作部９３２は、制御部９３１に接続される。バス９３３は、通信部９２２、音声コーデック９２３、カメラ部９２６、画像処理部９２７、多重分離部９２８、記録再生部９２９、表示部９３０、および制御部９３１を相 互に接続する。
　携帯電話機９２０は、音声通話モード、データ通信モード、撮影モードおよびテレビ電話モードを含む様々な動作モードで、音声信号の送受信、電子メールまたは画像データの送受信、画像の撮像、およびデータの記録などの動作を行う。
　音声通話モードにおいて、マイクロホン９２５により生成されるアナログ音声信号は、音声コーデック９２３に供給される。音声コーデック９２３は、アナログ音声信号を音声データへ変換し、変換された音声データをＡ／Ｄ変換し圧縮する。そして、音声コーデック９２３は、圧縮後の音声データを通信部９２２へ出力する。通信部９２２は、音声データを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して音声データを生成し、生成した音声データを音声コーデック９２３へ出力する。音声コーデック９２３は、音声データを伸張しおよびＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　また、データ通信モードにおいて、例えば、制御部９３１は、操作部９３２を介するユーザによる操作に応じて、電子メールを構成する文字データを生成する。また、制御部９３１は、文字を表示部９３０に表示させる。また、制御部９３１は、操作部９３２を介するユーザからの送信指示に応じて電子メールデータを生成し、生成した電子メールデータを通信部９２２へ出力する。通信部９２２は、電子メールデータを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。そして、通信部９２２は、受信信号を復調および復号して電子メールデータを復元し、復元した電子メールデータを制御部９３１へ出力する。制御部９３１は、表示部９３０に電子メールの内容を表示させると共に、電子メールデータを記録再生部９２９の記憶媒体に記憶させる。
　記録再生部９２９は、読み書き可能な任意の記憶媒体を有する。例えば、記憶媒体は、ＲＡＭまたはフラッシュメモリなどの内蔵型の記憶媒体であってもよく、ハードディスク、磁気ディスク、光磁気ディスク、光ディスク、ＵＳＢメモリ、またはメモリカードなどの外部装着型の記憶媒体であってもよい。
　また、撮影モードにおいて、例えば、カメラ部９２６は、被写体を撮像して画像データを生成し、生成した画像データを画像処理部９２７へ出力する。画像処理部９２７は、カメラ部９２６から入力される画像データを符号化し、符号化ストリームを記録再生部９２９の記憶媒体に記憶させる。
　また、テレビ電話モードにおいて、例えば、多重分離部９２８は、画像処理部９２７により符号化された映像ストリームと、音声コーデック９２３から入力される音声ストリームとを多重化し、多重化したストリームを通信部９２２へ出力する。通信部９２２は、ストリームを符号化および変調し、送信信号を生成する。そして、通信部９２２は、生成した送信信号をアンテナ９２１を介して基地局（図示せず）へ送信する。また、通信部９２２は、アンテナ９２１を介して受信される無線信号を増幅しおよび周波数変換し、受信信号を取得する。これら送信信号および受信信号には、符号化ビットストリームが含まれ得る。そして、通信部９２２は、受信信号を復調および復号してストリームを復元し、復元したストリームを多重分離部９２８へ出力する。多重分離部９２８は、入力されるストリームから映像ストリームおよび音声ストリームを分離し、映像ストリームを画像処理部９２７、音声ストリームを音声コーデック９２３へ出力する。画像処理部９２７は、映像ストリームを復号し、映像データを生成する。映像データは、表示部９３０に供給され、表示部９３０により一連の画像が表示される。音声コーデック９２３は、音声ストリームを伸張しおよびＤ／Ａ変換し、アナログ音声信号を生成する。そして、音声コーデック９２３は、生成した音声信号をスピーカ９２４に供給して音声を出力させる。
　このように構成された携帯電話機９２０において、画像処理部９２７は、上述した実施形態に係る画像符号化装置１０および画像復号装置５０の機能を有する。それにより、携帯電話機９２０での画像の符号化および復号に際して、デブロッキングフィルタ処理において、適切にフィルタリングをかけることができる。
　　［第３の応用例］
　図３７は、上述した実施形態を適用した記録再生装置の概略的な構成の一例を示している。記録再生装置９４０は、例えば、受信した放送番組の音声データおよび映像データを符号化して記録媒体に記録する。また、記録再生装置９４０は、例えば、他の装置から取得される音声データおよび映像データを符号化して記録媒体に記録してもよい。また、記録再生装置９４０は、例えば、ユーザの指示に応じて、記録媒体に記録されているデータをモニタおよびスピーカ上で再生する。このとき、記録再生装置９４０は、音声データおよび映像データを復号する。
　記録再生装置９４０は、チューナ９４１、外部インタフェース部９４２、エンコーダ９４３、ＨＤＤ（Hard　Disk　Drive）９４４、ディスクドライブ９４５、セレクタ９４６、デコーダ９４７、ＯＳＤ（On-Screen　Display）部９４８、制御部９４９、およびユーザインタフェース部９５０を備える。
　チューナ９４１は、アンテナ（図示せず）を介して受信される放送信号から所望のチャンネルの信号を抽出し、抽出した信号を復調する。そして、チューナ９４１は、復調により得られた符号化ビットストリームをセレクタ９４６へ出力する。すなわち、チューナ９４１は、記録再生装置９４０における伝送手段としての役割を有する。
　外部インタフェース部９４２は、記録再生装置９４０と外部機器またはネットワークとを接続するためのインタフェースである。外部インタフェース部９４２は、例えば、ＩＥＥＥ１３９４インタフェース、ネットワークインタフェース、ＵＳＢインタフェース、またはフラッシュメモリインタフェースなどであってよい。例えば、外部インタフェース部９４２を介して受信される映像データおよび音声データは、エンコーダ９４３へ入力される。すなわち、外部インタフェース部９４２は、記録再生装置９４０における伝送手段としての役割を有する。
　エンコーダ９４３は、外部インタフェース部９４２から入力される映像データおよび音声データが符号化されていない場合に、映像データおよび音声データを符号化する。そして、エンコーダ９４３は、符号化ビットストリームをセレクタ９４６へ出力する。
　ＨＤＤ９４４は、映像および音声などのコンテンツデータが圧縮された符号化ビットストリーム、各種プログラムおよびその他のデータを内部のハードディスクに記録する。また、ＨＤＤ９４４は、映像および音声の再生時に、これらデータをハードディスクから読み出す。
　ディスクドライブ９４５は、装着されている記録媒体へのデータの記録および読み出しを行う。ディスクドライブ９４５に装着される記録媒体は、例えばＤＶＤディスク（ＤＶＤ－Ｖｉｄｅｏ、ＤＶＤ－ＲＡＭ、ＤＶＤ－Ｒ、ＤＶＤ－ＲＷ、ＤＶＤ＋Ｒ、ＤＶＤ＋Ｒ Ｗ等）またはＢｌｕ－ｒａｙ（登録商標）ディスクなどであってよい。セレクタ９４６は、映像および音声の記録時には、チューナ９４１またはエンコーダ９４３から入力される符号化ビットストリームを選択し、選択した符号化ビットストリームをＨＤＤ９４４またはディスクドライブ９４５へ出力する。また、セレクタ９４６は、映像および音声の再生時には、ＨＤＤ９４４またはディスクドライブ９４５から入力される符号化ビットストリームをデコーダ９４７へ出力する。
　デコーダ９４７は、符号化ビットストリームを復号し、映像データおよび音声データを生成する。そして、デコーダ９４７は、生成した映像データをＯＳＤ部９４８へ出力する。また、デコーダ９０４は、生成した音声データを外部のスピーカへ出力する。ＯＳＤ部９４８は、デコーダ９４７から入力される映像データを再生し、映像を表示する。また、ＯＳＤ部９４８は、表示する映像に、例えばメニュー、ボタンまたはカーソルなどのＧＵＩの画像を重畳してもよい。
　制御部９４９は、ＣＰＵなどのプロセッサ、並びにＲＡＭおよびＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、記録再生装置９４０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９５０から入力される操作信号に応じて、記録再生装置９４０の動作を制御する。
　ユーザインタフェース部９５０は、制御部９４９と接続される。ユーザインタフェース部９５０は、例えば、ユーザが記録再生装置９４０を操作するためのボタンおよびスイッチ、並びに遠隔制御信号の受信部などを有する。ユーザインタフェース部９５０は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９４９へ出力する。
　このように構成された記録再生装置９４０において、エンコーダ９４３は、上述した実施形態に係る画像符号化装置１０の機能を有する。また、デコーダ９４７は、上述した実施形態に係る画像復号装置５０の機能を有する。それにより、記録再生装置９４０での画像の符号化および復号に際して、デブロッキングフィルタ処理において、適切にフィルタリングをかけることができる。
　　［第４の応用例］
　図３８は、上述した実施形態を適用した撮像装置の概略的な構成の一例を示している。撮像装置９６０は、被写体を撮像して画像を生成し、画像データを符号化して記録媒体に記録する。
　撮像装置９６０は、光学ブロック９６１、撮像部９６２、カメラ信号処理部９６３、画像処理部９６４、表示部９６５、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ部９６９、制御部９７０、ユーザインタフェース部９７１、およびバス９７２を備える。
　光学ブロック９６１は、フォーカスレンズおよび絞り機構などを有する。光学ブロック９６１は、被写体の光学像を撮像部９６２の撮像面に結像させる。撮像部９６２は、ＣＣＤまたはＣＭＯＳなどのイメージセンサを有し、撮像面に結像した光学像を光電変換によって電気信号としての画像信号に変換する。そして、撮像部９６２は、画像信号をカメラ信号処理部９６３へ出力する。
　カメラ信号処理部９６３は、撮像部９６２から入力される画像信号に対してニー補正、ガンマ補正、色補正などの種々のカメラ信号処理を行う。カメラ信号処理部９６３は、カメラ信号処理後の画像データを画像処理部９６４へ出力する。
　画像処理部９６４は、カメラ信号処理部９６３から入力される画像データを符号化し、符号化データを生成する。そして、画像処理部９６４は、生成した符号化データを外部インタフェース部９６６またはメディアドライブ９６８へ出力する。また、画像処理部９６４は、外部インタフェース部９６６またはメディアドライブ９６８から入力される符号化データを復号し、画像データを生成する。そして、画像処理部９６４は、生成した画像データを表示部９６５へ出力する。また、画像処理部９６４は、カメラ信号処理部９６３から入力される画像データを表示部９６５へ出力して画像を表示させてもよい。また、画像処理部９６４は、ＯＳＤ部９６９から取得される表示用データを、表示部９６５へ出力する画像に重畳してもよい。
　ＯＳＤ部９６９は、例えばメニュー、ボタンまたはカーソルなどのＧＵＩの画像を生成して、生成した画像を画像処理部９６４へ出力する。
　外部インタフェース部９６６は、例えばＵＳＢ入出力端子として構成される。外部インタフェース部９６６は、例えば、画像の印刷時に、撮像装置９６０とプリンタとを接続する。また、外部インタフェース部９６６には、必要に応じてドライブが接続される。ドライブには、例えば、磁気ディスクまたは光ディスクなどのリムーバブルメディアが装着され、リムーバブルメディアから読み出されるプログラムが、撮像装置９６０にインストールされ得る。さらに、外部インタフェース部９６６は、ＬＡＮまたはインターネットなどのネットワークに接続されるネットワークインタフェースとして構成されてもよい。すなわち、外部インタフェース部９６６は、撮像装置９６０における伝送手段としての役割を有する。
　メディアドライブ９６８に装着される記録媒体は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリなどの、読み書き可能な任意のリムーバブルメディアであってよい。また、メディアドライブ９６８に記録媒体が固定的に装着され、例えば、内蔵型ハードディスクドライブまたはＳＳＤ（Solid　State　Drive）のような非可搬性の記憶部が構成されてもよい。
　制御部９７０は、ＣＰＵなどのプロセッサ、並びにＲＡＭおよびＲＯＭなどのメモリを有する。メモリは、ＣＰＵにより実行されるプログラム、およびプログラムデータなどを記憶する。メモリにより記憶されるプログラムは、例えば、撮像装置９６０の起動時にＣＰＵにより読み込まれ、実行される。ＣＰＵは、プログラムを実行することにより、例えばユーザインタフェース部９７１から入力される操作信号に応じて、撮像装置９６０の動作を制御する。
　ユーザインタフェース部９７１は、制御部９７０と接続される。ユーザインタフェース部９７１は、例えば、ユーザが撮像装置９６０を操作するためのボタンおよびスイッチなどを有する。ユーザインタフェース部９７１は、これら構成要素を介してユーザによる操作を検出して操作信号を生成し、生成した操作信号を制御部９７０へ出力する。
　バス９７２は、画像処理部９６４、外部インタフェース部９６６、メモリ９６７、メディアドライブ９６８、ＯＳＤ部９６９、および制御部９７０を相互に接続する。
　このように構成された撮像装置９６０において、画像処理部９６４は、上述した実施形態に係る画像符号化装置１０および画像復号装置５０の機能を有する。それにより、撮像装置９６０での画像の符号化および復号に際して、デブロッキングフィルタ処理において、適切にフィルタリングをかけることができる。
　なお、本明細書では、強フィルタリングのクリップ処理にかかるパラメータ等の各種情報が、符号化ストリームに多重化されて、符号化側から復号側へ伝送される例について説明した。しかしながら、これら情報を伝送する手法はかかる例に限定されない。例えば、これら情報は、符号化ビットストリームに多重化されることなく、符号化ビットストリームと関連付けられた別個のデータとして伝送され又は記録されてもよい。ここで、「関連付ける」という用語は、ビットストリームに含まれる画像（スライス若しくはブロックなど、画像の一部であってもよい）と当該画像に対応する情報とを復号時にリンクさせ得るようにすることを意味する。即ち、情報は、画像（又はビットストリーム）とは別の伝送路上で伝送されてもよい。また、情報は、画像（又はビットストリーム）とは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されてもよい。さらに、情報と画像（又はビットストリーム）とは、例えば、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられてよい。
　さらに、本技術は、上述した実施形態に限定して解釈されるべきではない。この実施形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　なお、本技術の画像処理装置は以下のような構成も取ることができる。
（１）　階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成する復号部と、
　前記復号部により生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施すフィルタ部と、
　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する制御部と
　を備える画像処理装置。
（２）　前記制御部は、前記デブロッキングフィルタを適用する際に変化する部分の値にクリップ処理を適用する
　（１）記載の画像処理装置。
（３）　前記制御部は、下記式に従って、前記クリップ処理を適用する
Figure JPOXMLDOC01-appb-M000042
 　ここで、i=0,7、pvはクリップ値である
　（２）に記載の画像処理装置。
（４）　前記制御部は、前記デブロッキングフィルタのパラメータの整数倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
　（３）に記載の画像処理装置。
（５）　前記制御部は、前記デブロッキングフィルタのパラメータの２倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
　（４）に記載の画像処理装置。
（６）　前記ブロック境界に適用するデブロッキングフィルタの強度を判定するフィルタ強度判定部をさらに備え、
　前記フィルタ部は、前記フィルタ強度判定部により判定された強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
　前記制御部は、前記フィルタ強度判定部によりストロングフィルタが適用されると判定された場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する
　（１）乃至（５）のいずれかに記載の画像処理装置。
（７）　前記フィルタ強度判定部は、複数のラインを処理単位として、前記デブロッキングフィルタの強度を判定する
　（６）に記載の画像処理装置。
（８）　前記フィルタ強度判定部は、４ラインを処理単位として、前記デブロッキングフィルタの強度を判定する
　（７）に記載の画像処理装置。
（９）　複数のラインを処理単位として、前記ブロック境界にデブロッキングフィルタを適用するか否かを判定するフィルタ要否判定部をさらに備え、
　前記フィルタ強度判定部は、前記フィルタ要否判定部によりデブロッキングフィルタを適用すると判定された場合に、前記デブロッキングフィルタの強度を判定する
　（７）に記載の画像処理装置。
（１０）　画像処理装置が、
　階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成し、
　生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御する
　画像処理方法。
　（１１）　画像を符号化する際にローカルデコードされた画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施すフィルタ部と、
　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記ローカルデコードされた画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する制御部と、
　前記デブロッキングフィルタが適用された画像を用いて、前記画像を階層構造を有する単位で符号化する符号化部と
　を備える画像処理装置。
（１２）　前記制御部は、前記デブロッキングフィルタを適用する際に変化する部分の値にクリップ処理を適用する
　（１１）記載の画像処理装置。
（１３）　前記制御部は、下記式に従って、前記クリップ処理を適用する
Figure JPOXMLDOC01-appb-M000043
 　ここで、i=0,7、pvはクリップ値である
　（１２）に記載の画像処理装置。
（１４）　前記制御部は、前記デブロッキングフィルタのパラメータの整数倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
　（１３）に記載の画像処理装置。
（１５）　前記制御部は、前記デブロッキングフィルタのパラメータの２倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
　（１４）に記載の画像処理装置。
（１６）　前記ブロック境界に適用するデブロッキングフィルタの強度を判定するフィルタ強度判定部をさらに備え、
　前記フィルタ部は、前記フィルタ強度判定部により判定された強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
　前記制御部は、前記フィルタ強度判定部によりストロングフィルタが適用されると判定された場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する
　（１１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）　前記フィルタ強度判定部は、複数のラインを処理単位として、前記デブロッキングフィルタの強度を判定する
　（１６）に記載の画像処理装置。
（１８）　前記フィルタ強度判定部は、４ラインを処理単位として、前記デブロッキングフィルタの強度を判定する
　（１７）に記載の画像処理装置。
（１９）　複数のラインを処理単位として、前記ブロック境界にデブロッキングフィルタを適用するか否かを判定するフィルタ要否判定部をさらに備え、
　前記フィルタ強度判定部は、前記フィルタ要否判定部によりデブロッキングフィルタを適用すると判定された場合に、前記デブロッキングフィルタの強度を判定する
　（１７）に記載の画像処理装置。
（２０）　画像処理装置が、
　画像を符号化する際にローカルデコードされた画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記ローカルデコードされた画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御し、
　前記デブロッキングフィルタが適用された画像を用いて、前記画像を階層構造を有する単位で符号化する
　画像処理方法。
　１０・・・画像符号化装置、１１・・・Ａ／Ｄ変換部、１２，５７・・・画面並べ替えバッファ、１３・・・減算部、１４・・・直交変換部、１５・・・量子化部、１６・・・可逆符号化部、１７・・・蓄積バッファ、１８・・・レート制御部、２１，５３・・・逆量子化部、２２、５４・・・逆直交変換部、２３，５５・・・加算部、２４，５６・・・デブロッキングフィルタ処理部、２５，６１・・・フレームメモリ、２６，６２，６５・・・セレクタ、３１，６３・・・イントラ予測部、３２・・・動き予測・補償部、３３・・・予測画像・最適モード選択部、５０・・・画像復号装置、５１・・・蓄積バッファ、５２・・・可逆復号部、６１・・・フレームメモリ、６４・・・動き補償部、７１・・・画像メモリ、７２，７２－１・・・ブロック境界判定部、７２－２・・・ライン境界ブロック境界判定部、７３，７３－１・・・フィルタ強度判定部、７３－２・・・ライン境界フィルタ強度判定部、７４，７４－１・・・フィルタ演算部、７４－２・・・ライン境界フィルタ演算部、７５・・・セレクタ、７６・・・係数メモリ、７７・・・制御部、７７Ａ，７７Ｂ・・・ＬＣＵ内ライン判定部、２４１・・・ラインメモリ、２４２・・・ライン境界検出部、２４３・・・フィルタ強度判定部、２４４・・・係数メモリ、２４５・・・フィルタ演算部、２４６・・・フィルタ制御部、２４５１・・・データ記憶部、２４５２・・・データ選択部、２４５３，２４５５，２４５６・・・演算部、２４５７・・・データ選択部、２４６１・・・ライン境界判定部

Claims (20)

  1. 　階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成する復号部と、
    　前記復号部により生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施すフィルタ部と、
    　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する制御部と
    　を備える画像処理装置。
  2. 　前記制御部は、前記デブロッキングフィルタを適用する際に変化する部分の値にクリップ処理を適用する
    　請求項１記載の画像処理装置。
  3. 　前記制御部は、下記式に従って、前記クリップ処理を適用する
    Figure JPOXMLDOC01-appb-M000001
     　ここで、i=0,7、pvはクリップ値である
    　請求項２記載の画像処理装置。
  4. 　前記制御部は、前記デブロッキングフィルタのパラメータの整数倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
    　請求項３記載の画像処理装置。
  5. 　前記制御部は、前記デブロッキングフィルタのパラメータの２倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
    　請求項４記載の画像処理装置。
  6. 　前記ブロック境界に適用するデブロッキングフィルタの強度を判定するフィルタ強度判定部をさらに備え、
    　前記フィルタ部は、前記フィルタ強度判定部により判定された強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
    　前記制御部は、前記フィルタ強度判定部によりストロングフィルタが適用されると判定された場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する
    　請求項１に記載の画像処理装置。
  7. 　前記フィルタ強度判定部は、複数のラインを処理単位として、前記デブロッキングフィルタの強度を判定する
    　請求項６記載の画像処理装置。
  8. 　前記フィルタ強度判定部は、４ラインを処理単位として、前記デブロッキングフィルタの強度を判定する
    　請求項７記載の画像処理装置。
  9. 　複数のラインを処理単位として、前記ブロック境界にデブロッキングフィルタを適用するか否かを判定するフィルタ要否判定部をさらに備え、
    　前記フィルタ強度判定部は、前記フィルタ要否判定部によりデブロッキングフィルタを適用すると判定された場合に、前記デブロッキングフィルタの強度を判定する
    　請求項７記載の画像処理装置。
  10. 　画像処理装置が、
    　階層構造を有する単位で符号化された符号化ストリームを復号して画像を生成し、
    　生成された画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
    　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御する
    　画像処理方法。
  11. 　画像を符号化する際にローカルデコードされた画像のブロックと前記ブロックに隣接する隣接ブロックとの境界であるブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施すフィルタ部と、
    　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記ローカルデコードされた画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する制御部と、
    　前記デブロッキングフィルタが適用された画像を用いて、前記画像を階層構造を有する単位で符号化する符号化部と
    　を備える画像処理装置。
  12. 　前記制御部は、前記デブロッキングフィルタを適用する際に変化する部分の値にクリップ処理を適用する
    　請求項１１記載の画像処理装置。
  13. 　前記制御部は、下記式に従って、前記クリップ処理を適用する
    Figure JPOXMLDOC01-appb-M000002
     　ここで、i=0,7、pvはクリップ値である
    　請求項１２記載の画像処理装置。
  14. 　前記制御部は、前記デブロッキングフィルタのパラメータの整数倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
    　請求項１３記載の画像処理装置。
  15. 　前記制御部は、前記デブロッキングフィルタのパラメータの２倍の値を、クリップ処理を行う際に用いるクリップ値として設定する
    　請求項１４記載の画像処理装置。
  16. 　前記ブロック境界に適用するデブロッキングフィルタの強度を判定するフィルタ強度判定部をさらに備え、
    　前記フィルタ部は、前記フィルタ強度判定部により判定された強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
    　前記制御部は、前記フィルタ強度判定部によりストロングフィルタが適用されると判定された場合に、前記復号部により生成された画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように、前記フィルタ部を制御する
    　請求項１１に記載の画像処理装置。
  17. 　前記フィルタ強度判定部は、複数のラインを処理単位として、前記デブロッキングフィルタの強度を判定する
    　請求項１６記載の画像処理装置。
  18. 　前記フィルタ強度判定部は、４ラインを処理単位として、前記デブロッキングフィルタの強度を判定する
    　請求項１７記載の画像処理装置。
  19. 　複数のラインを処理単位として、前記ブロック境界にデブロッキングフィルタを適用するか否かを判定するフィルタ要否判定部をさらに備え、
    　前記フィルタ強度判定部は、前記フィルタ要否判定部によりデブロッキングフィルタを適用すると判定された場合に、前記デブロッキングフィルタの強度を判定する
    　請求項１７記載の画像処理装置。
  20. 　画像処理装置が、
    　画像を符号化する際にローカルデコードされた画像のブロックと前記ブロックに隣接する隣接ブロックとのブロック境界に適用するデブロッキングフィルタの強度に応じて、前記ブロック境界にデブロッキングフィルタを施し、
    　前記デブロッキングフィルタの強度としてストロングフィルタが適用される場合に、前記ローカルデコードされた画像の輝度成分を対象として、前記デブロッキングフィルタにクリップ処理を適用するように制御し、
    　前記デブロッキングフィルタが適用された画像を用いて、前記画像を階層構造を有する単位で符号化する
    　画像処理方法。
PCT/JP2012/063606 2011-06-28 2012-05-28 画像処理装置と画像処理方法 WO2013001957A1 (ja)

Priority Applications (34)

Application Number Priority Date Filing Date Title
EP17205948.7A EP3313074B1 (en) 2011-06-28 2012-05-28 Image processing device, image processing method
BR122015001053-5A BR122015001053B1 (pt) 2011-06-28 2012-05-28 Dispositivo e método de processamento de imagem
RU2013156835A RU2608476C2 (ru) 2011-06-28 2012-05-28 Устройство обработки изображений и способ обработки изображений
EP12804900.4A EP2728870A4 (en) 2011-06-28 2012-05-28 IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
AU2012277049A AU2012277049B2 (en) 2011-06-28 2012-05-28 Image processing device and image processing method
KR1020137033700A KR102009050B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
EP21209484.1A EP4009638A1 (en) 2011-06-28 2012-05-28 Image processing device, image processing method, program, and storage medium
EP17205955.2A EP3313075B1 (en) 2011-06-28 2012-05-28 Image processing device, image processing method
CN201280030471.6A CN103609126B (zh) 2011-06-28 2012-05-28 图像处理装置和图像处理方法
BR112013033183-6A BR112013033183B1 (pt) 2011-06-28 2012-05-28 Dispositivo e método de processamento de imagem
KR1020207005974A KR102166220B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
MX2014007788A MX356762B (es) 2011-06-28 2012-05-28 Dispositivo para procesamiento de imagenes y metodo de procesamiento de imagenes.
KR1020177011888A KR102010160B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
CA2837055A CA2837055C (en) 2011-06-28 2012-05-28 Image processing device and image processing method
KR1020197022468A KR102105497B1 (ko) 2011-06-28 2012-05-28 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 화상 처리 방법,
KR1020197021962A KR102067369B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
KR1020207027807A KR102477475B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
KR1020197020753A KR102067368B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치 및 화상 처리 방법
MX2013015405A MX352108B (es) 2011-06-28 2012-05-28 Dispositivo para procesamiento de imagenes y metodo de procesamiento de imagenes.
JP2013522538A JP6070553B2 (ja) 2011-06-28 2012-05-28 画像処理装置、画像処理方法、プログラム、並びに記録媒体
US14/123,375 US10291937B2 (en) 2011-06-28 2012-05-28 Image processing device and image processing method
EP21209483.3A EP4009637A1 (en) 2011-06-28 2012-05-28 Image processing device, image processing method, program, and storage medium
KR1020197021650A KR102071201B1 (ko) 2011-06-28 2012-05-28 화상 처리 장치, 화상 처리 방법 및 기록 매체
ZA2013/09214A ZA201309214B (en) 2011-06-28 2013-12-06 Image processing device and image processing method
AU2015213302A AU2015213302B2 (en) 2011-06-28 2015-08-12 Image Processing Device and Image Processing Method
US15/055,245 US10298958B2 (en) 2011-06-28 2016-02-26 Image processing device and image processing method
AU2017202655A AU2017202655B2 (en) 2011-06-28 2017-04-21 Image processing device and image processing method
PH12018501265A PH12018501265A1 (en) 2011-06-28 2018-06-13 Image processing device and image processing method
US16/266,126 US11051043B2 (en) 2011-06-28 2019-02-04 Image processing device and image processing method
US16/266,121 US11039172B2 (en) 2011-06-28 2019-02-04 Image processing device and image processing method
US17/324,110 US11647231B2 (en) 2011-06-28 2021-05-19 Image processing device and image processing method
US18/119,316 US11838556B2 (en) 2011-06-28 2023-03-09 Image processing device and image processing method
US18/374,675 US20240031610A1 (en) 2011-06-28 2023-09-29 Image processing device and image processing method
US18/377,318 US12132936B2 (en) 2011-06-28 2023-10-06 Image processing device and image processing method

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2011143461 2011-06-28
JP2011-143461 2011-06-28
JP2011240550 2011-11-01
JP2011-240550 2011-11-01
JP2011-243839 2011-11-07
JP2011243839 2011-11-07
JP2012-009326 2012-01-19
JP2012009326 2012-01-19

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US14/123,375 A-371-Of-International US10291937B2 (en) 2011-06-28 2012-05-28 Image processing device and image processing method
US15/055,245 Continuation US10298958B2 (en) 2011-06-28 2016-02-26 Image processing device and image processing method
US16/266,126 Continuation US11051043B2 (en) 2011-06-28 2019-02-04 Image processing device and image processing method
US16/266,121 Continuation US11039172B2 (en) 2011-06-28 2019-02-04 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
WO2013001957A1 true WO2013001957A1 (ja) 2013-01-03

Family

ID=47423858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063606 WO2013001957A1 (ja) 2011-06-28 2012-05-28 画像処理装置と画像処理方法

Country Status (20)

Country Link
US (7) US10291937B2 (ja)
EP (6) EP2728870A4 (ja)
JP (6) JP6070553B2 (ja)
KR (8) KR102010160B1 (ja)
CN (15) CN107454400B (ja)
AU (3) AU2012277049B2 (ja)
BR (2) BR122015001053B1 (ja)
CA (2) CA3059756C (ja)
CO (1) CO6842008A2 (ja)
DK (1) DK3313074T3 (ja)
ES (1) ES2893754T3 (ja)
HU (1) HUE056075T2 (ja)
MX (2) MX356762B (ja)
MY (1) MY167204A (ja)
PH (1) PH12018501265A1 (ja)
RU (4) RU2607243C2 (ja)
SG (3) SG10201404907QA (ja)
TW (3) TWI571104B (ja)
WO (1) WO2013001957A1 (ja)
ZA (1) ZA201309214B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014519250A (ja) * 2011-11-03 2014-08-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ フィルタリング方法およびフィルタリング装置
US9102788B2 (en) 2012-07-27 2015-08-11 E I Du Pont De Nemours And Company Process for forming an aramid copolymer
JP2016506701A (ja) * 2013-01-09 2016-03-03 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 大きなｈｅｖｃブロックアーティファクト用のブロッキネスメトリック
JP2017507571A (ja) * 2014-01-30 2017-03-16 クアルコム，インコーポレイテッド 低複雑度サンプル適応オフセット符号化
JP2019037012A (ja) * 2011-11-25 2019-03-07 サン パテント トラスト 画像復号装置および画像復号方法
KR20200136395A (ko) * 2018-03-29 2020-12-07 소니 주식회사 화상 처리 장치 및 화상 처리 방법
JPWO2019225459A1 (ja) * 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
KR20210068563A (ko) * 2018-10-12 2021-06-09 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 디블로킹 필터를 위한 장치 및 방법
RU2770650C1 (ru) * 2018-11-14 2022-04-20 Шарп Кабусики Кайся Системы и способы применения фильтров деблокирования к восстановленным видеоданным

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY167204A (en) * 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
US9973784B2 (en) 2012-09-20 2018-05-15 Sony Corporation Image processing device and method
JP7310139B2 (ja) * 2016-12-28 2023-07-19 ソニーグループ株式会社 画像処理装置及び画像処理方法
CN106911934B (zh) * 2017-03-01 2020-03-03 北京奇艺世纪科技有限公司 块效应去除方法及去块效应滤波器
WO2018225593A1 (ja) * 2017-06-05 2018-12-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法および復号方法
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
US10448009B1 (en) * 2017-12-14 2019-10-15 Amazon Technologies, Inc. Determining sample adaptive offset filter parameters
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
KR102584455B1 (ko) * 2018-09-24 2023-10-05 후아웨이 테크놀러지 컴퍼니 리미티드 품질 최적화된 디블로킹을 수행하기 위한 이미지 처리 디바이스 및 방법
WO2020073969A1 (en) * 2018-10-10 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
CN117157977A (zh) * 2021-03-31 2023-12-01 瑞典爱立信有限公司 超长抽头去块
US20230245286A1 (en) * 2022-01-28 2023-08-03 V-Silicon Semiconductor (Hefei) Co., Ltd. 2d recursive de-banding

Family Cites Families (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2435757C (en) * 2001-11-29 2013-03-19 Matsushita Electric Industrial Co., Ltd. Video coding distortion removal method and apparatus using a filter
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
JP2004328634A (ja) 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
CN101616330B (zh) * 2003-07-16 2012-07-04 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
KR100855466B1 (ko) * 2004-01-27 2008-09-01 삼성전자주식회사 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
KR100614647B1 (ko) * 2004-07-02 2006-08-22 삼성전자주식회사 디블록킹 필터에서의 효과적인 에지 필터링 연산을 위한레지스터 어레이 구조
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
KR100722972B1 (ko) * 2004-10-26 2007-05-30 삼성전자주식회사 디지털방송 수신기의 영상신호 처리 장치 및 방법
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
RU2276355C1 (ru) * 2005-01-27 2006-05-10 Олег Федорович Меньших Устройство распознавания внутренних неоднородностей объекта
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
JP4825524B2 (ja) 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
JP4605052B2 (ja) * 2006-03-03 2011-01-05 日本電気株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、フィルタ装置及びプログラム
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
TWI384437B (zh) * 2006-12-18 2013-02-01 Sony Corp An image signal processing device, an image signal processing method, and a computer program product
WO2008084996A1 (en) * 2007-01-11 2008-07-17 Samsung Electronics Co, . Ltd. Method and apparatus for deblocking-filtering video data
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法
US8913670B2 (en) 2007-08-21 2014-12-16 Blackberry Limited System and method for providing dynamic deblocking filtering on a mobile device
US8145977B2 (en) * 2007-10-15 2012-03-27 Joseph Schweiray Lee Methods and apparatus for providing error correction to unwritten pages and for identifying unwritten pages in flash memory
WO2009051719A2 (en) * 2007-10-16 2009-04-23 Thomson Licensing Methods and apparatus for video encoding and decoding geometically partitioned super blocks
CN101472177B (zh) * 2007-12-27 2013-03-06 宝利微电子系统控股公司 一种块效应检测方法
JP5232175B2 (ja) * 2008-01-24 2013-07-10 パナソニック株式会社 動画像圧縮装置
WO2009126299A1 (en) * 2008-04-11 2009-10-15 Thomson Licensing Deblocking filtering for displaced intra prediction and template matching
US8761538B2 (en) * 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
KR101073150B1 (ko) * 2009-08-28 2011-10-12 성균관대학교산학협력단 공통 데이터 패스 구조를 포함하는 디블록킹 필터링 연산 장치 및 그 방법
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI508534B (zh) 2010-05-18 2015-11-11 Sony Corp Image processing apparatus and image processing method
DK3177017T3 (da) 2010-06-04 2020-03-02 Sony Corp Kodning af en qp og en delta qp for billedblokke, der er større end en minimumsstørrelse
CN103716632B (zh) 2010-12-07 2017-04-19 索尼公司 图像处理设备和图像处理方法
CN106385586A (zh) 2010-12-07 2017-02-08 索尼公司 图像处理设备和图像处理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
US9565436B2 (en) * 2011-01-14 2017-02-07 Telefonaktiebolaget Lm Ericsson (Publ) Method for filter control and a filtering control device
KR20190069613A (ko) 2011-02-10 2019-06-19 벨로스 미디어 인터내셔널 리미티드 화상 처리 장치 및 화상 처리 방법
MY186854A (en) 2011-03-11 2021-08-26 Sony Corp Image processing apparatus and method
US9338476B2 (en) * 2011-05-12 2016-05-10 Qualcomm Incorporated Filtering blockiness artifacts for video coding
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
MY167204A (en) * 2011-06-28 2018-08-13 Sony Corp Image processing device and image processing method
EP2869560A4 (en) 2012-06-29 2016-09-07 Sony Corp DEVICE AND METHOD OF ENCODING
US10820017B2 (en) * 2017-03-15 2020-10-27 Mediatek Inc. Method and apparatus of video coding

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
"Test Model under Consideration", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 2ND MEETING, 21 July 2010 (2010-07-21), GENEVA,CH, pages 100 - 110,P140-141, XP008168686, Retrieved from the Internet <URL:http://wftp3.itu.int/av-arch/jctvc-site/2010_07_B_Geneva/> *
K. UGUR (NOKIA; K. R. ANDERSSON (LM ERICSSON; A. FULDSETH (TANDBERG TELECOM: "JCTVC-A119: Video coding technology proposal by Tandberg, Nokia, and Ericsson", DOCUMENTS OF THE FIRST MEETING OF THE JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC, 15 April 2010 (2010-04-15)
MATTHIAS NARROSCHKE; TOMAS WEDI; SEMIH ESENLIK: "Results for modified decisions for deblocking", JCTVC-G590, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 7TH MEETING, 21 November 2011 (2011-11-21)
See also references of EP2728870A4
THOMAS DAVIES ET AL.: "Suggestion for a Test Model", JOINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 1ST MEETING, 15 April 2010 (2010-04-15), DRESDEN,DE, XP030007526, Retrieved from the Internet <URL:http://wftp3.itu.int/av-arch/jctvc-site/> *
THOMAS WIEGAND: "WD2:Working Draft 2 of High- Efficiency Video Coding", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH MEETING, 20 January 2011 (2011-01-20), DAEGU, KR, XP002679642, Retrieved from the Internet <URL:http://wftp3.itu.int/av-arch/jctvc-site/2011_01_D_Daegu/JCTVC-D503.doc> *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148979B2 (en) 2011-11-03 2018-12-04 Sun Patent Trust Efficient rounding for deblocking
US10958935B2 (en) 2011-11-03 2021-03-23 Sun Patent Trust Efficient rounding for deblocking
JP7246008B2 (ja) 2011-11-03 2023-03-27 サン パテント トラスト 復号装置および符号化装置
US11178425B2 (en) 2011-11-03 2021-11-16 Sun Patent Trust Efficient rounding for deblocking
US9118925B2 (en) 2011-11-03 2015-08-25 Panasonic Intellectual Property Corporation Of America Efficient rounding for deblocking
JP2021145386A (ja) * 2011-11-03 2021-09-24 サン パテント トラスト 復号装置および符号化装置
US9503749B2 (en) 2011-11-03 2016-11-22 Sun Patent Trust Efficient rounding for deblocking
JP2014519250A (ja) * 2011-11-03 2014-08-07 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ フィルタリング方法およびフィルタリング装置
US9749654B2 (en) 2011-11-03 2017-08-29 Sun Patent Trust Efficient rounding for deblocking
JP2014239557A (ja) * 2011-11-03 2014-12-18 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像符号化装置
JP5624687B2 (ja) * 2011-11-03 2014-11-12 パナソニックインテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法および画像復号装置
US9083978B2 (en) 2011-11-03 2015-07-14 Panasonic Intellectual Property Corporation Of America Efficient rounding for deblocking
JP2019037012A (ja) * 2011-11-25 2019-03-07 サン パテント トラスト 画像復号装置および画像復号方法
US9102788B2 (en) 2012-07-27 2015-08-11 E I Du Pont De Nemours And Company Process for forming an aramid copolymer
JP2016506701A (ja) * 2013-01-09 2016-03-03 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ 大きなｈｅｖｃブロックアーティファクト用のブロッキネスメトリック
JP2017507571A (ja) * 2014-01-30 2017-03-16 クアルコム，インコーポレイテッド 低複雑度サンプル適応オフセット符号化
KR102714827B1 (ko) * 2018-03-29 2024-10-11 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
KR20200136395A (ko) * 2018-03-29 2020-12-07 소니 주식회사 화상 처리 장치 및 화상 처리 방법
KR102673135B1 (ko) * 2018-03-29 2024-06-10 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
KR20240019383A (ko) * 2018-03-29 2024-02-14 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
KR102632984B1 (ko) * 2018-03-29 2024-02-05 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JPWO2019225459A1 (ja) * 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
JP7326439B2 (ja) 2018-10-12 2023-08-15 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおけるデブロッキングフィルタのための装置および方法
KR102606722B1 (ko) * 2018-10-12 2023-11-24 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 디블로킹 필터를 위한 장치 및 방법
KR20230162161A (ko) * 2018-10-12 2023-11-28 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 디블로킹 필터를 위한 장치 및 방법
US11683533B2 (en) 2018-10-12 2023-06-20 Huawei Technologies Co., Ltd. Apparatus and method for deblocking filter in video coding
JP2022502976A (ja) * 2018-10-12 2022-01-11 ホアウェイ・テクノロジーズ・カンパニー・リミテッド ビデオコーディングにおけるデブロッキングフィルタのための装置および方法
KR102711388B1 (ko) * 2018-10-12 2024-09-26 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 디블로킹 필터를 위한 장치 및 방법
KR20210068563A (ko) * 2018-10-12 2021-06-09 후아웨이 테크놀러지 컴퍼니 리미티드 비디오 코딩에서 디블로킹 필터를 위한 장치 및 방법
US11870984B2 (en) 2018-11-14 2024-01-09 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
RU2770650C1 (ru) * 2018-11-14 2022-04-20 Шарп Кабусики Кайся Системы и способы применения фильтров деблокирования к восстановленным видеоданным

Also Published As

Publication number Publication date
MX352108B (es) 2017-11-09
AU2017202655A1 (en) 2017-05-11
CN113347420A (zh) 2021-09-03
SG10201404907QA (en) 2014-10-30
SG10201507034QA (en) 2015-10-29
US20240056611A1 (en) 2024-02-15
EP3313074B1 (en) 2021-09-22
SG10201507031PA (en) 2015-10-29
AU2017202655B2 (en) 2018-07-26
JP2015136147A (ja) 2015-07-27
CN110611810A (zh) 2019-12-24
US10291937B2 (en) 2019-05-14
KR102105497B1 (ko) 2020-04-29
KR20170055554A (ko) 2017-05-19
RU2643468C1 (ru) 2018-02-01
CN113347419A (zh) 2021-09-03
CN110602492A (zh) 2019-12-20
CN107426571B (zh) 2019-12-10
CN107295335A (zh) 2017-10-24
CN107318019A (zh) 2017-11-03
CA3059756C (en) 2022-10-18
BR122015001053B1 (pt) 2019-07-09
ES2893754T3 (es) 2022-02-10
KR102067368B1 (ko) 2020-01-16
TW201304550A (zh) 2013-01-16
CN107454401A (zh) 2017-12-08
TWI542195B (zh) 2016-07-11
CN107426571A (zh) 2017-12-01
AU2015213302B2 (en) 2017-04-06
CA2837055C (en) 2019-12-31
KR20190090888A (ko) 2019-08-02
US11039172B2 (en) 2021-06-15
CO6842008A2 (es) 2014-01-20
US20210344965A1 (en) 2021-11-04
KR20140043758A (ko) 2014-04-10
JP2018113698A (ja) 2018-07-19
CN110519592A (zh) 2019-11-29
CN107318019B (zh) 2020-02-28
US11647231B2 (en) 2023-05-09
MY167204A (en) 2018-08-13
TW201707450A (zh) 2017-02-16
KR102009050B1 (ko) 2019-08-08
EP3313075B1 (en) 2021-12-29
AU2015213302A1 (en) 2015-09-03
CN110611811B (zh) 2021-07-06
JPWO2013001957A1 (ja) 2015-02-23
KR20190090066A (ko) 2019-07-31
CN110611812A (zh) 2019-12-24
CN104113764A (zh) 2014-10-22
CN103609126B (zh) 2017-09-08
MX2013015405A (es) 2015-10-27
CN107318018B (zh) 2019-11-01
KR20200115675A (ko) 2020-10-07
JP2017060202A (ja) 2017-03-23
KR102166220B1 (ko) 2020-10-15
JP6065037B2 (ja) 2017-01-25
JP6468380B2 (ja) 2019-02-13
MX356762B (es) 2018-06-12
CA3059756A1 (en) 2013-01-03
US20160286240A1 (en) 2016-09-29
EP2728870A4 (en) 2015-01-14
CN110611812B (zh) 2021-07-06
CN110611810B (zh) 2021-06-01
CN103609126A (zh) 2014-02-26
TW201603560A (zh) 2016-01-16
CN107454400B (zh) 2020-10-20
BR112013033183B1 (pt) 2019-07-16
KR102071201B1 (ko) 2020-01-29
PH12018501265A1 (en) 2021-01-18
TWI571104B (zh) 2017-02-11
RU2013156835A (ru) 2015-06-27
ZA201309214B (en) 2014-06-25
HUE056075T2 (hu) 2022-01-28
EP4009637A1 (en) 2022-06-08
CN110602492B (zh) 2021-06-01
US11838556B2 (en) 2023-12-05
EP3001684A3 (en) 2016-07-20
AU2012277049B2 (en) 2017-04-06
CN110519592B (zh) 2021-06-01
CN107454400A (zh) 2017-12-08
AU2012277049A1 (en) 2013-12-12
CN107454401B (zh) 2019-11-19
US20140112396A1 (en) 2014-04-24
EP3313074A1 (en) 2018-04-25
KR102477475B1 (ko) 2022-12-14
US20190230383A1 (en) 2019-07-25
JP6468381B2 (ja) 2019-02-13
CN107318018A (zh) 2017-11-03
US11051043B2 (en) 2021-06-29
EP4009638A1 (en) 2022-06-08
BR112013033183A2 (pt) 2017-03-01
KR102067369B1 (ko) 2020-01-16
TWI637626B (zh) 2018-10-01
CN107295335B (zh) 2020-03-17
EP2728870A1 (en) 2014-05-07
DK3313074T3 (da) 2021-10-25
KR20190088573A (ko) 2019-07-26
JP2018113699A (ja) 2018-07-19
CN110611811A (zh) 2019-12-24
US10298958B2 (en) 2019-05-21
JP6459005B2 (ja) 2019-01-30
US20230232049A1 (en) 2023-07-20
EP3001684A2 (en) 2016-03-30
RU2608476C2 (ru) 2017-01-18
KR20190092623A (ko) 2019-08-07
RU2015103069A (ru) 2015-06-20
CA2837055A1 (en) 2013-01-03
JP6477939B2 (ja) 2019-03-06
JP2018113697A (ja) 2018-07-19
JP6070553B2 (ja) 2017-02-01
KR20200024958A (ko) 2020-03-09
KR102010160B1 (ko) 2019-08-12
US20240031610A1 (en) 2024-01-25
BR122015001053A2 (pt) 2018-03-20
US20190191186A1 (en) 2019-06-20
RU2607243C2 (ru) 2017-01-10
RU2680349C1 (ru) 2019-02-19
EP3313075A1 (en) 2018-04-25
CN104113764B (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
JP6477939B2 (ja) テレビジョン装置、携帯電話機、再生装置、カメラ、および画像処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12804900

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013522538

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2837055

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14123375

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2012277049

Country of ref document: AU

Date of ref document: 20120528

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20137033700

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/015405

Country of ref document: MX

Ref document number: 2012804900

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2013156835

Country of ref document: RU

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13300252

Country of ref document: CO

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013033183

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013033183

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20131220

WWE Wipo information: entry into national phase

Ref document number: 12018501265

Country of ref document: PH