WO2013001727A1 - 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 Download PDF

Info

Publication number
WO2013001727A1
WO2013001727A1 PCT/JP2012/003680 JP2012003680W WO2013001727A1 WO 2013001727 A1 WO2013001727 A1 WO 2013001727A1 JP 2012003680 W JP2012003680 W JP 2012003680W WO 2013001727 A1 WO2013001727 A1 WO 2013001727A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
block
coding
prediction
unit
Prior art date
Application number
PCT/JP2012/003680
Other languages
English (en)
French (fr)
Inventor
関口　俊一
杉本　和夫
坂手　寛治
村上　篤道
彰 峯澤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47423659&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=WO2013001727(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority to KR1020197027576A priority Critical patent/KR102111917B1/ko
Priority to KR1020167007538A priority patent/KR20160038070A/ko
Priority to KR1020167036262A priority patent/KR102026519B1/ko
Priority to BR112013028175-8A priority patent/BR112013028175B1/pt
Priority to JP2013522711A priority patent/JP5709996B2/ja
Priority to US14/110,366 priority patent/US9210426B2/en
Priority to KR1020187013151A priority patent/KR102024516B1/ko
Priority to KR1020147001468A priority patent/KR101607781B1/ko
Priority to EP12804396.5A priority patent/EP2728877A4/en
Priority to CN201280028658.2A priority patent/CN103621083B/zh
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to KR1020147034099A priority patent/KR101860606B1/ko
Publication of WO2013001727A1 publication Critical patent/WO2013001727A1/ja
Priority to US14/707,940 priority patent/US9654773B2/en
Priority to US15/479,584 priority patent/US9906795B2/en
Priority to US15/868,253 priority patent/US10334251B2/en
Priority to US16/399,178 priority patent/US10863180B2/en
Priority to US17/083,441 priority patent/US11575906B2/en
Priority to US18/093,082 priority patent/US11831881B2/en
Priority to US18/490,949 priority patent/US20240048721A1/en
Priority to US18/490,939 priority patent/US20240048720A1/en
Priority to US18/490,964 priority patent/US20240048722A1/en
Priority to US18/490,979 priority patent/US20240048723A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Definitions

  • the present invention relates to an image coding apparatus and an image coding method for compressing and coding an image and transmitting the same, and an image decoding apparatus and an image decoding method for decoding an image from coded data transmitted by the image coding apparatus. is there.
  • MPEG and ITU-T H.264 In the international standard video coding method such as 26x, an input video frame is divided into macro block units consisting of 16 ⁇ 16 pixel blocks, motion compensated prediction is performed, and then orthogonal transformation is performed on the prediction differential signal in block units. Information compression is performed by quantization. However, if the compression rate is high, there is a problem that the compression efficiency is disturbed due to the deterioration of the quality of the prediction reference image used in performing the motion compensation prediction. Therefore, MPEG-4 AVC / H. In the H.264 coding method (see Non-Patent Document 1), block distortion of the predicted reference image generated along with the quantization of the orthogonal transformation coefficient is removed by performing the processing of the in-loop blocking filter. There is.
  • FIG. 16 is a block diagram showing an image coding apparatus disclosed in Non-Patent Document 1.
  • the image division unit 101 when the block division unit 101 receives an image signal to be coded, the image division unit divides the image signal into macro block units and outputs the image signal of macro block units to the prediction unit 102 as divided image signals. .
  • the prediction unit 102 predicts the image signal of each color component in the macroblock within or between the frames to calculate a prediction difference signal.
  • a motion vector is searched in units of a macroblock itself or subblocks obtained by further dividing the macroblock. Then, using the motion vector, motion compensated prediction is performed on the reference image signal stored in the memory 107 to generate a motion compensated predicted image, and a prediction signal indicating the motion compensated predicted image and the divided image signal are generated.
  • the prediction difference signal is calculated by obtaining the difference.
  • the prediction unit 102 outputs, to the variable-length coding unit 108, the prediction signal generation parameter determined when obtaining the prediction signal.
  • the prediction signal generation parameters include, for example, information such as a motion vector indicating the amount of motion between frames.
  • the compression unit 103 When receiving the prediction difference signal from the prediction unit 102, the compression unit 103 performs DCT (Discrete Cosine Transform) processing on the prediction difference signal to remove signal correlation, and then quantizes to obtain compressed data.
  • DCT Discrete Cosine Transform
  • the local decoding unit 104 receives the compressed data from the compression unit 103, the local decoding unit 104 inversely quantizes the compressed data and performs inverse DCT processing to obtain a prediction difference signal corresponding to the prediction difference signal output from the prediction unit 102.
  • the adder 105 When the adder 105 receives the prediction difference signal from the local decoding unit 104, the adder 105 adds the prediction difference signal and the prediction signal output from the prediction unit 102 to generate a local decoded image.
  • the loop filter 106 removes block distortion superimposed on the local decoded image signal indicating the local decoded image generated by the adder 105, and stores the local decoded image signal after distortion removal in the memory 107 as a reference image signal. .
  • variable-length coding unit 108 When the variable-length coding unit 108 receives the compressed data from the compression unit 103, the variable-length coding unit 108 entropy codes the compressed data, and outputs a bit stream that is the coding result. When outputting a bitstream, the variable-length coding unit 108 multiplexes the prediction signal generation parameters output from the prediction unit 102 into a bitstream and outputs the multiplexed signal.
  • the loop filter 106 uses information on the roughness of the quantization, the encoding mode, the degree of variation of the motion vector, and the like for the peripheral pixels of the block boundary of the DCT.
  • the smoothing strength filter strength
  • it is intended to reduce distortion (block distortion) occurring at block boundaries. This improves the quality of the reference image signal and can increase the efficiency of motion compensated prediction in subsequent encoding.
  • MPEG-4 AVC ISO / IEC 14496-10
  • the filter strength for the luminance signal component of the block is determined based on the coding mode etc.
  • the filter strength for the color difference signal component of the block is used. For this reason, the strength of the filter for the color difference signal component is not necessarily appropriate, and there is a problem that the improvement effect of the image quality is limited.
  • the present invention has been made to solve the problems as described above, and it is an object of the present invention to provide an image coding apparatus and an image coding method capable of improving block distortion removal accuracy and improving the quality of a coded image. With the goal. Another object of the present invention is to provide an image decoding apparatus and an image decoding method capable of improving block distortion removal accuracy and improving the quality of a decoded image.
  • the image coding apparatus comprises: a block division unit that divides an input image into blocks serving as processing units when the prediction processing is performed; and a code that determines the coding mode for the block divided by the block division unit.
  • the prediction process is performed on the blocks divided by the block dividing unit while referring to the local decoded image of the coded block according to the coding mode determining unit and the coding mode determined by the coding mode determining unit.
  • Prediction image generation means for generating an image
  • difference image generation means for generating a difference image between the block divided by the block division means and the prediction image generated by the prediction image generation means, and generation by a difference image generation means
  • Image compression means for compressing a difference image and outputting compressed data of the difference image
  • image compression means Locally decoded image generation means for generating a locally decoded image by expanding the differential image compressed in advance and adding the difference image after expansion and the predicted image generated by the predicted image generation means;
  • Distortion removing means for performing filtering processing on the locally decoded image to remove block distortion of the locally decoded image, compressed data output from the image compression means, and encoding mode determined by the encoding mode determination means
  • encoding means for generating a bit stream in which the compressed data and the encoded data of the encoding mode are multiplexed, and the distortion removing means removes the block distortion of the locally decoded image,
  • the strength of the filter for removing block distortion is set according to the signal component according to
  • block division means for dividing an input image into blocks serving as processing units when prediction processing is performed, and coding mode determination means for determining the coding mode for blocks divided by the block division means And performing prediction processing on the blocks divided by the block dividing unit while referring to the locally decoded image of the coded block according to the coding mode determined by the coding mode determining unit, and generating a predicted image
  • a prediction image generation means a difference image generation means for generating a difference image between a block divided by the block division means and a prediction image generated by the prediction image generation means, and a difference image generated by the difference image generation means
  • Image compression means for outputting compressed data of the difference image, and compressed by the image compression means
  • Local decoded image generation means for generating a local decoded image by expanding a divided image and adding the differential image after expansion and the predicted image generated by the predicted image generation means, and local decoding generated by the local decoded image generation means
  • the image data is subjected to filtering processing to remove block distortion of the local decoded image,
  • FIG. 6 is an explanatory view showing a bit stream generated by the variable length coding unit 13;
  • Embodiment 1 In the first embodiment, compression processing by orthogonal transformation or quantization is performed on a prediction difference signal obtained by inputting each frame image of video and performing motion compensation prediction between adjacent frames, and then variable length An image coding apparatus that performs coding to generate a bitstream and an image decoding apparatus that decodes a bitstream output from the image coding apparatus will be described.
  • the image coding apparatus divides the video signal into regions of various sizes and adapts intra-frame and inter-frame adaptive coding in accordance with local changes in the space and time directions of the video signal. It is characterized by doing.
  • the video signal has a characteristic that the complexity of the signal changes locally in space and time.
  • some images have uniform signal characteristics in a relatively large image area such as the sky or a wall, while small images such as people or paintings with fine textures
  • patterns with complicated texture patterns are mixed in the area.
  • the sky and walls have locally small changes in the pattern in the time direction, but moving people and objects have rigid and non-rigid movements in time, so the time changes large.
  • the coding process reduces the overall code amount by generating a prediction differential signal with small signal power and entropy by temporal and spatial prediction, but the parameters for prediction are uniformly distributed over as large an image signal area as possible. If applicable, the code amount of the parameter can be reduced. On the other hand, when the same prediction parameter is applied to an image signal pattern that changes temporally and spatially, the number of prediction errors increases, so the code amount of the prediction differential signal can not be reduced. Therefore, for image signal patterns with large temporal and spatial changes, the power and entropy of the prediction difference signal are reduced even if the area to be predicted is reduced and the data amount of parameters for prediction is increased. It is more desirable.
  • the image coding apparatus In order to perform encoding adapted to the general nature of such a video signal, the image coding apparatus according to the first embodiment divides the area of the video signal hierarchically from a predetermined maximum block size and divides the area. The prediction process and the coding process of the prediction difference are performed for each area.
  • the video signal to be processed by the image coding apparatus is a color video of an arbitrary color space such as a YUV signal consisting of a luminance signal and two color difference signals, and an RGB signal output from a digital image sensor.
  • the image frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, which is composed of horizontal and vertical two-dimensional digital sample (pixel) columns.
  • the gradation of each pixel may be 8 bits, or may be 10 bits, 12 bits or the like.
  • the input video signal is a YUV signal, unless otherwise specified.
  • a processing data unit corresponding to each frame of video is referred to as a "picture", and in the first embodiment, the "picture” will be described as a signal of a video frame which is sequentially scanned (progressive scan). However, when the video signal is an interlaced signal, the "picture” may be a field image signal which is a unit constituting a video frame. Also, in the following description, a group of spatially continuous coded blocks may be referred to as a "slice".
  • FIG. 1 is a block diagram showing an image coding apparatus according to a first embodiment of the present invention.
  • the coding control unit 1 determines the maximum size of a coding block which is a processing unit when motion compensation prediction processing (interframe prediction processing) or intra prediction processing (intraframe prediction processing) is performed. A process is performed to determine the upper limit hierarchy number when the coding block of the largest size is divided hierarchically.
  • the coding control unit 1 may be configured to divide each of the coding blocks that are hierarchically divided among the available one or more coding modes (one or more intra coding modes, one or more inter coding modes). Implement a process to select a suitable coding mode.
  • the coding control unit 1 constitutes coding mode determination means.
  • the block division unit 2 divides the input image indicated by the video signal into coding blocks of the maximum size determined by the coding control unit 1 and determines the input image by the coding control unit 1.
  • the encoded block is hierarchically divided up to the upper limit hierarchy number.
  • the block division unit 2 constitutes block division means.
  • the changeover switch 3 outputs the coding block divided by the block division unit 2 to the intra prediction unit 4 and the coding control unit 1
  • the coding mode selected by the above is the inter coding mode
  • a process of outputting the coding block divided by the block division unit 2 to the motion compensation prediction unit 5 is performed.
  • the intra prediction unit 4 receives the encoded block divided by the block division unit 2 from the changeover switch 3, the intra prediction unit 4 refers to the locally decoded image (reference image) of the encoded block stored in the intra prediction memory 10.
  • the intra prediction process is performed on the encoded block using the intra prediction parameter output from the encoding control unit 1, and the process of generating a predicted image is performed.
  • motion compensation prediction unit 5 receives the encoded block divided by block division unit 2 from changeover switch 3, locally decoded image of the encoded block and the encoded block stored by motion compensated prediction frame memory 12 ( The motion prediction is performed by comparing the reference image to calculate the motion vector, and using the motion vector and the inter prediction parameter output from the coding control unit 1, the inter prediction process (motion A compensation prediction process is performed to perform a process of generating a predicted image.
  • the switch 3, the intra prediction unit 4 and the motion compensation prediction unit 5 constitute a prediction image generation means.
  • the transform / quantization unit 7 transforms the differential image generated by the subtractor 6 (for example, DCT (discrete (discrete) (discrete)) in units of transform block size included in the prediction differential encoding parameter output from the encoding control unit 1.
  • the transform / quantization unit 7 constitutes an image compression means.
  • the inverse quantization / inverse transform unit 8 inverse quantizes the compressed data output from the transform / quantization unit 7 using the quantization parameter included in the predictive difference encoding parameter output from the encoding control unit 1.
  • inverse transform such as inverse DCT (inverse discrete cosine transform) or inverse KL transform, etc. of the compressed data after inverse quantization in units of transform block size included in the prediction differential encoding parameter Processing is performed to execute processing for outputting the compressed data after the inverse conversion processing as a local decoded prediction differential signal (data indicating a differential image after expansion).
  • the addition unit 9 adds a local decoded prediction difference signal output from the inverse quantization / inverse conversion unit 8 to a prediction signal indicating a predicted image generated by the intra prediction unit 4 or the motion compensation prediction unit 5 to perform local decoding.
  • a process of generating a locally decoded image signal indicating an image is performed.
  • a local decoded image is configured by the inverse quantization / inverse transform unit 8 and the addition unit 9.
  • the intra prediction memory 10 is a recording medium such as a RAM that stores a locally decoded image indicated by a locally decoded image signal generated by the addition unit 9 as an image used by the intra prediction unit 4 in the next intra prediction process.
  • the loop filter unit 11 performs a filtering process (loop filter process) on the local decoded image signal generated by the adding unit 9 to perform a process of removing distortion (block distortion) generated at a block boundary.
  • a filtering process loop filter process
  • the loop filter unit 11 removes block distortion of the local decoded image, it is a filter that removes block distortion according to the encoding mode (intra encoding mode, inter encoding mode) selected by the encoding control unit 1
  • the intensity is set separately for each signal component (luminance signal component, color difference signal component).
  • the loop filter unit 11 constitutes distortion removing means.
  • the motion compensation prediction frame memory 12 is a recording medium such as a RAM that stores a locally decoded image after filtering processing by the loop filter unit 11 as a reference image used by the motion compensation prediction unit 5 in the next motion compensation prediction process.
  • variable-length coding unit 13 receives the compressed data output from the transform / quantization unit 7, the coding mode and the prediction differential coding parameter output from the coding control unit 1, and the intra output from the intra prediction unit 4. Variable length coding is performed on the prediction parameter or the inter prediction parameter (including the motion vector) output from the motion compensation prediction unit 5, and the compressed data, coding mode, prediction difference coding parameter, intra prediction parameter / inter prediction parameter A process is performed to generate a bit stream in which the encoded data of H is multiplexed.
  • the variable-length coding unit 13 constitutes coding means.
  • a coding control unit 1 a block division unit 2, a changeover switch 3, an intra prediction unit 4, a motion compensation prediction unit 5, a subtraction unit 6, a transform / quantization unit 7 which are components of the image coding apparatus.
  • Hardware for which the inverse quantization / inverse conversion unit 8, the addition unit 9, the loop filter unit 11, and the variable-length coding unit 13 are each dedicated for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer
  • the coding control unit 1, block division unit 2, changeover switch 3, intra prediction unit 4, motion compensation prediction unit are assumed.
  • FIG. 2 is a flow chart showing the processing content of the image coding apparatus according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing an image decoding apparatus according to Embodiment 1 of the present invention.
  • the variable-length decoding unit 21 calculates compressed data, coding mode, prediction differential coding parameter, intra regarding each coding block hierarchically divided from coding data multiplexed in a bit stream.
  • Variable-length decoding prediction parameters / inter-prediction parameters including motion vectors
  • the inter prediction parameter is output to the changeover switch 22, and the encoding mode is output to the loop filter unit 28.
  • the variable length decoding unit 21 constitutes a decoding means.
  • the changeover switch 22 When the coding mode according to the coding block output from the variable length decoding unit 21 is the intra coding mode, the changeover switch 22 outputs the intra prediction parameter output from the variable length decoding unit 21 to the intra prediction unit 23
  • the coding mode is the inter coding mode
  • a process of outputting the inter prediction parameter output from the variable length decoding unit 21 to the motion compensation unit 24 is performed.
  • the intra prediction unit 23 refers to the decoded image (reference image) of the decoded block stored in the intra prediction memory 27 and uses the intra prediction parameter output from the changeover switch 22 to select the intra corresponding block.
  • a prediction process is performed to perform a process of generating a predicted image.
  • the motion compensation unit 24 uses the motion vector included in the inter prediction parameter output from the changeover switch 22 and the decoded image (reference image) of the decoded block stored in the motion compensated prediction frame memory 29, The inter prediction process is performed on the quantization block to perform a process of generating a predicted image.
  • the changeover switch 22, the intra prediction unit 23, and the motion compensation unit 24 constitute a prediction image generation means.
  • the inverse quantization / inverse transform unit 25 inversely quantizes the compressed data output from the variable length decoding unit 21 using the quantization parameter included in the prediction differential encoding parameter output from the variable length decoding unit 21.
  • Inverse transformation of compressed data after inverse quantization for example, inverse DCT (inverse discrete cosine transformation), inverse KL transformation, etc.
  • inverse DCT inverse discrete cosine transformation
  • inverse KL transformation inverse KL transformation, etc.
  • the inverse quantization / inverse transform unit 25 constitutes a difference image generation unit.
  • the addition unit 26 adds the decoded prediction difference signal output from the inverse quantization / inverse conversion unit 25 and a prediction signal indicating a prediction image generated by the intra prediction unit 23 or the motion compensation unit 24 to indicate a decoded image. A process of generating a decoded image signal is performed.
  • the addition unit 26 constitutes a decoded image generation unit.
  • the intra prediction memory 27 is a recording medium such as a RAM that stores a decoded image indicated by the decoded image signal generated by the addition unit 26 as an image used by the intra prediction unit 23 in the next intra prediction process.
  • the loop filter unit 28 performs a filtering process (loop filter process) on the decoded image signal generated by the adding unit 26 to perform a process of removing distortion (block distortion) generated at a block boundary.
  • a filtering process loop filter process
  • the strength of the filter for removing block distortion according to the coding mode (intra coding mode, inter coding mode) output from the variable length decoding unit 21 are set for each signal component (luminance signal component, color difference signal component).
  • the loop filter unit 28 constitutes distortion removing means.
  • the motion compensation prediction frame memory 29 is a recording medium such as a RAM that stores a decoded image after filtering processing by the loop filter unit 28 as a reference image used by the motion compensation unit 24 in the next motion compensation prediction process.
  • variable length decoding unit 21, the changeover switch 22, the intra prediction unit 23, the motion compensation unit 24, the inverse quantization / inverse conversion unit 25, the addition unit 26, and the loop filter unit 28 which are components of the image decoding apparatus. It is assumed that each is configured with dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, or a one-chip microcomputer), but when the image decoding apparatus is configured by a computer,
  • the program that describes the processing contents of the variable-length decoding unit 21, the changeover switch 22, the intra prediction unit 23, the motion compensation unit 24, the inverse quantization / inverse conversion unit 25, the addition unit 26 and the loop filter unit 28 is The program may be stored in a memory and the CPU of the computer may execute a program stored in the memory.
  • FIG. 4 is a flow chart showing the contents of processing of the image decoding apparatus according to the first embodiment of the present invention.
  • the coding control unit 1 determines the maximum size of a coding block as a processing unit when motion compensation prediction processing (inter-frame prediction processing) or intra prediction processing (in-frame prediction processing) is performed.
  • the upper limit hierarchy number is determined when the coding block of the largest size is divided hierarchically (step ST1 in FIG. 2).
  • a method of determining the maximum size of the coding block for example, a method of determining the size according to the resolution of the input image for all pictures can be considered.
  • a method of quantifying differences in local motion complexity of the input image as parameters determining the maximum size as a small value for a picture with large motion, and determining the maximum size as a large value for a picture with little movement.
  • the upper limit hierarchy number for example, as the movement of the input image is intense, the hierarchy number is set deeper so that finer movement can be detected, and when the movement of the input image is small, the hierarchy number is set to be suppressed. There is a way to do it.
  • the coding control unit 1 is configured to hierarchically divide each coding block out of the available one or more coding modes (M types of intra coding modes, N types of inter coding modes).
  • the method of selecting the coding mode by the coding control unit 1 is a known technique, the detailed description will be omitted. Then, there is a method of verifying the coding efficiency and selecting a coding mode with the highest coding efficiency among a plurality of available coding modes.
  • FIG. 5 is an explanatory view showing how a coding block of maximum size is hierarchically divided into a plurality of coding blocks.
  • the coding block of the largest size is the coding block B 0 of the zeroth layer, and has the size of (L 0 , M 0 ) in the luminance component.
  • a coding block B n is obtained by hierarchically dividing to a predetermined depth separately defined in a quadtree structure, starting from the coding block B 0 of the largest size. There is.
  • the coding block B n is an image area of size (L n , M n ).
  • the size of the encoded block B n is defined as the size of the luminance component of the encoded block B n (L n, M n ).
  • the encoding mode m (B n ) may be configured to use an individual mode for each color component, but thereafter, unless otherwise specified, YUV It will be described as referring to the coding mode for the luminance component of the signal, a 4: 2: 0 format coded block.
  • the coding mode m (B n ) includes one or more intra coding modes (generally "INTRA") and one or more inter coding modes (generally "INTER"), As described above, the coding control unit 1 selects the coding mode with the highest coding efficiency for the coding block B n among all the coding modes available for the picture or the subset thereof. .
  • the coding block B n is further divided into one or more prediction processing units (partitions) as shown in FIG.
  • the partition belonging to the coding block B n P i n: is denoted as (i partition number in the n layer).
  • the partitioning P i n that belong to the coding block B n is how made is included as information in the coding mode m (B n).
  • Partition P i n is the prediction processing is carried out all in accordance with the coding mode m (B n), for each partition P i n, it is possible to select individual prediction parameters.
  • the coding control unit 1 generates, for example, a block division state as illustrated in FIG. 6 for the coding block of the maximum size, and specifies the coding block B n .
  • Shaded portion in FIG. 6 (a) shows the distribution of the partitions after splitting
  • FIG. 6 (b) is a quadtree graph the situation where the coding mode m (B n) is assigned to the partition after the hierarchical division It shows by.
  • nodes enclosed by ⁇ indicate nodes (coding block B n ) to which the coding mode m (B n ) is assigned.
  • the encoding control unit 1 selects the optimal coding mode m (B n) for the partition P i n in each of the coding blocks B n, the encoding mode m (B n) is if intra-coding mode (step ST4), and outputs the partition P i n coded blocks B n which are divided by the block division unit 2 to the intra prediction unit 4.
  • the long coding mode m (B n) is an inter coding mode (step ST4), the output partition P i n coded blocks B n which are divided by the block division unit 2 to the motion compensation prediction unit 5 Do.
  • the intra prediction unit 4 When receiving the partition P i n of the coding block B n from the changeover switch 3, the intra prediction unit 4 performs coding control while referring to the locally decoded image of the coded block stored in the memory for intra prediction 10. using intra prediction parameters corresponding to the selected coding mode m (B n) by Part 1, by implementing the intra prediction process for partition P i n in the coded blocks B n, the intra prediction image P i n Are generated (step ST5).
  • Intra prediction unit 4 when generating an intra prediction image P i n, but outputs the intra prediction image P i n to the subtraction unit 6 and the addition unit 9, same intra prediction in the image decoding apparatus image of FIG.
  • the intra prediction parameters are output to the variable length coding unit 13 so that
  • the intra prediction process of the intra prediction unit 4 is, for example, AVC / H. Although it follows the algorithm defined in the H.264 standard (ISO / IEC 14496-10), it is not limited to this algorithm.
  • Motion compensated prediction unit 5 receives the partition P i n coded blocks B n from the changeover switch 3, the encoding stored by the partition P i n and the motion compensated prediction frame memory 12 of the encoding block B n Search is performed by comparing locally decoded images of the finished blocks to calculate a motion vector, and using the motion vector and the inter prediction parameter output from the coding control unit 1, the inter prediction for the coded block is performed processing is carried out and generates an inter prediction image P i n (step ST6).
  • the motion compensation prediction unit 5 and generates an inter prediction image P i n, but outputs the inter prediction image P i n to the subtraction unit 6 and the addition unit 9, same inter prediction image decoding apparatus of FIG. 3 image P i
  • the inter prediction parameter is output to the variable length coding unit 13.
  • the inter prediction parameters include the following information.
  • n motion vectors can indicate multiple pixel accuracy (half pixel, 1/4 pixel, 1/8 pixel, etc.), either pixel accuracy Selection information indicating whether to use
  • Subtraction unit 6 the intra prediction unit 4 or the motion compensation prediction unit 5 is predicted picture (intra prediction image P i n, inter prediction image P i n) when generating a coded block B n which are divided by the block division unit 2 from the partition P i n, the intra prediction unit 4 or the motion compensation prediction unit predicted image generated by 5 (the intra prediction image P i n, inter prediction image P i n) to generate a difference image by subtracting the, the prediction difference signal e i n representing a difference image is output to the transform and quantization unit 7 (step ST7).
  • Transform and quantization unit 7 receives the prediction difference signal e i n that indicates a difference image from the subtraction unit 6, conversion block size contained in the predictive differential coding parameter output from the coding controller 1 Performing transformation processing of the difference image (for example, DCT (Discrete Cosine Transformation) or orthogonal transformation processing such as KL transformation in which a basic design is previously performed on a specific learning sequence) and the prediction differential encoding
  • transformation processing of the difference image for example, DCT (Discrete Cosine Transformation) or orthogonal transformation processing such as KL transformation in which a basic design is previously performed on a specific learning sequence
  • the inverse quantization / inverse transform unit 8 and the variable length transform coefficient after quantization are compressed data of the difference image It is output to the encoding unit 13 (step ST8).
  • the inverse quantization / inverse transform unit 8 uses the quantization parameter included in the predictive difference encoding parameter output from the encoding control unit 1.
  • Compressed data of the difference image, and inverse transform processing eg, inverse DCT (inverse discrete cosine) of the compressed data after inverse quantization in units of transform block size included in the predictive differential encoding parameter Conversion
  • inverse conversion processing such as inverse KL conversion
  • the addition unit 9 receives the locally decoded prediction difference signal from the inverse quantization / inverse conversion unit 8, the addition unit 9 receives the locally decoded prediction difference signal and the predicted image generated by the intra prediction unit 4 or the motion compensation prediction unit 5 (intra prediction by adding the prediction signal indicating the image P i n, an inter prediction image P i n), the local decoded partition image, or to generate a local decoded image is a local decoded coded block image as the collection (step ST10 ).
  • the addition unit 9 stores the locally decoded image signal indicating the locally decoded image in the intra prediction memory 10 and outputs the locally decoded image signal to the loop filter unit 11.
  • the loop filter unit 11 When the loop filter unit 11 receives the locally decoded image signal from the addition unit 9, the loop filter unit 11 performs filtering processing on the locally decoded image signal to remove distortion (block distortion) generated at the block boundary (step ST11).
  • the details of the processing contents in the loop filter unit 11 will be described later, but when block distortion of the local decoded image is removed, according to the coding mode (intra coding mode, inter coding mode) selected by the coding control unit 1 Then, the filter strength for removing block distortion is set separately for each signal component (luminance signal component, color difference signal component).
  • the filtering process by the loop filter unit 11 may be performed in units of the largest coding block of the local decoded image signal output from the adding unit 9 or in units of individual coding blocks, and corresponds to a macroblock for one screen It may be performed collectively for one screen after the local decoded image signal is output.
  • steps ST4 to ST10 are repeatedly performed until the process for all the coding blocks B n divided hierarchically is completed, and when the process for all the coding blocks B n is completed, the process proceeds to step ST13. (Step ST12).
  • the variable-length coding unit 13 includes the compressed data output from the transform / quantization unit 7, the coding mode (including information indicating the division state of the coding block) and the prediction difference output from the coding control unit 1.
  • the encoding parameter and the intra prediction parameter output from the intra prediction unit 4 or the inter prediction parameter (including the motion vector) output from the motion compensation prediction unit 5 are entropy encoded.
  • the variable-length coding unit 13 multiplexes compressed data which is a coding result of entropy coding, coding data, coding mode, prediction differential coding parameter, and intra prediction parameter / inter prediction parameter to generate a bit stream. (Step ST13).
  • the loop filter unit 11 is a non-linear smoothing filter that reduces block noise generated at the boundary between the partition, which is the above-described prediction processing unit, and the transform block.
  • FIG. 7 is an explanatory view showing the position of the filter application pixel in the coding block. In FIG. 7, the position where the vertical edge and the horizontal edge overlap the block boundary of the partition or transform block is the target of the filtering process. In FIG. 7, vertical edges and horizontal edges are represented by a K ⁇ K pixel grid. The value of K may be determined by a fixed value, or may be set according to the maximum size of a coding block, the maximum size of a partition, a conversion block, and the like.
  • FIG. 8 is a flowchart showing the processing content of the loop filter unit 11.
  • the filtering process by the loop filter unit 11 is performed for each coding block.
  • the loop filter unit 11 determines whether the vertical edge and the horizontal edge coincide with the boundary of the partition or the transformation block (step ST41).
  • the loop filter unit 11 performs filter strength determination on the portion coincident with the boundary (steps ST42 and ST43). The method of determining the filter strength will be described later.
  • the loop filter unit 11 When the filter strength determination is performed, the loop filter unit 11 performs the filtering process while changing the final strength of the filter according to the determination result of the filter strength and the amount of change in the pixel value to be actually subjected to the filtering process. (Steps ST44 and ST45). The method of the filtering process will be described later.
  • the loop filter unit 11 repeatedly performs the process of steps ST41 to 45 until the process for all the encoded blocks in the picture is completed (step ST46). Note that in the slice header, identification information as to whether or not the processing of this loop filter is to be performed on all coding blocks in the slice is multiplexed. A value is determined and configured to be transmitted to the image decoding apparatus.
  • FIG. 9 is a flowchart showing a method of determining the filter strength.
  • the loop filter unit 11 obtains the filter strength bS under the following conditions for all pixels adjacent to the vertical edge and the horizontal edge (step ST51).
  • the coding block includes a block of a luminance signal component and a block of a color difference signal component.
  • the loop filter unit 11 determines the filter strength under the following conditions. (1) Whether the coding mode of the coding block to be filtered is intra coding mode or inter coding mode (2)
  • the signal component to be subjected to the filtering process is a luminance signal component or a color difference Whether it is a signal component or not (3) whether or not non-zero transform coefficients are included in the transform block including the pixel to be filtered (4) the state of the motion parameter in the partition including the pixel to be filtered
  • the loop filter unit 11 determines the filter strength in the following procedure. (Step 1) When the coding mode of the coding block including the p 0 or the coding block including the q 0 is the “intra coding mode”
  • Step 2 If the condition in step 1 does not apply, When the coding mode of the coding block including p 0 or the coding block including q 0 is “intra coding mode”
  • Step 3 If the conditions in Steps 1 and 2 do not apply,
  • a partition including p 0 and a partition including q 0 Two motion vectors are used each In at least one motion vector pair (a motion vector at p 0 and a motion vector at q 0 ) pointing to the same reference picture,
  • the difference absolute value of the horizontal component or vertical component of both motion vectors is 4 or more with 1/4 pixel precision
  • Step 5 If the conditions in steps 1 to 4 do not apply (edges other than the partition / conversion block boundaries also apply to this condition)
  • both the luminance signal and the color difference signal have a large prediction residual power and are quantized There is a high probability that the distribution of the coefficients greatly differs for each signal component. Since the degree of block distortion depends on how much subjectively effective transform coefficients are eliminated by the quantization, the value of the filter strength, which is a measure of the degree of block distortion, is particularly important in intra coding. , It is desirable to be able to adjust with brightness and color difference.
  • the filter strength of the color difference signal component is always set to the same value as the filter strength of the luminance signal component. Since the filter strength is set separately for each signal component (luminance signal component and color difference signal component), filter strength that contributes to the improvement of the image quality compared to the prior art can be obtained.
  • the loop filter unit 11 When the filter strength determination is performed, the loop filter unit 11 performs the filtering process in the order of the vertical edge and the horizontal edge based on the determination result of the filter strength. First, for the vertical edge, the loop filter unit 11 obtains the maximum value of the filter strength bS for each K line, and sets the maximum value as bSVer. The loop filter unit 11 performs filtering processing on pixels near the edge of the K line based on the maximum value bSVer.
  • FIG. 11 is an explanatory view showing the unit of the filtering process for the vertical edge. K ⁇ K pixels centered on the vertical edge become the same bSVer. The final filter strength bS applied to each pixel is determined by the maximum value bSVer and the amount of change of the pixel value at each pixel position.
  • FIG. 12 shows the unit of the filtering process for the horizontal edge. It is the same as the vertical edge except that the direction of processing changes from vertical to horizontal.
  • the loop filter unit 11 performs the filtering process in the following procedure in the vertical edge direction of the luminance signal component.
  • the filtering process in the horizontal edge direction of the luminance signal component is the same procedure, but instead of the maximum value bSVer, the maximum value bSHor of the filter strength bS for each K line with respect to the horizontal edge is used.
  • the loop filter unit 11 performs the filtering process in the following procedure with respect to the vertical edge direction of the color difference signal component.
  • the filtering process in the horizontal edge direction of the color difference signal component is the same procedure, but the maximum value bSHor is used instead of the maximum value bSVer.
  • bSVer and bSVer are values calculated at the luminance at the same position.
  • the loop filter unit 11 of the image coding apparatus and the loop filter unit 28 of the image decoding apparatus perform common processing, but the loop filter unit 11 of the image coding apparatus provides control parameters for the determination of the filter strength. It may be configured as follows. For example, the setting value of the filter strength bS may be changed for each slice by multiplexing identification information indicating whether to signal the value of the filter strength bS at the slice level. In this case, only the luminance signal component may be changed, and the color difference signal component may be fixed. Conversely, the luminance signal component may be fixed so that only the color difference signal component can be changed.
  • the signaling of the set value may be the value itself or may be in the form of an offset value with the filter strength bS as the default value.
  • the filter strength of the color difference signal component may be expressed as an offset value of the filter strength of the luminance signal component.
  • the setting value of the filter strength bS when the coding mode is the intra coding mode can be signaled as a value itself or as an offset value.
  • the loop filter unit 11 can be configured to determine the filter strength in the following procedure.
  • Step 1 When the coding mode of the coding block including the po or the coding block including the qo is the “intra coding mode”
  • max (A, B) is a function that outputs the larger value of A and B.
  • Step 2 If the condition in step 1 does not apply, When the coding mode of the coding block including po or the coding block including qo is “intra coding mode”
  • the coding mode is the intra coding mode
  • motion prediction does not function effectively in the compression processing process, and if intra coding is performed inevitably, cyclic and intentional in view of error resistance and random access. May cause intra coding to occur.
  • distortion is superimposed corresponding to the difficulty of coding, whereas in the case of periodically / intentionally generating intra coding, the difficulty of coding is direct and direct
  • intra coding is used regardless of, there is a difference in how block distortion occurs.
  • FIG. 14 is an explanatory view showing a bit stream generated by the variable length coding unit 13.
  • the example of FIG. 14 shows that slice encoded data is configured from a slice header and the maximum encoded block encoded data for the number of slices in the subsequent slice.
  • Each maximum coded block coded data contains a coding mode.
  • the maximum coded block coded data includes, for each coding block, prediction parameters such as a motion vector in units of partitions, prediction differential coding parameters such as a transform block size, and predictive differential coding data (quantum Conversion factor)).
  • the slice header indicates whether or not to signal the set value of the loop filter ON / OFF flag and the filter strength bS, which is identification information as to whether or not the processing of this loop filter is to be performed on all coding blocks in the slice.
  • the filter strength information multiplexing flag which is a flag, and the filter strength information to be multiplexed when the filter strength information multiplexing flag is “1” is included.
  • the filter strength information multiplexing flag and the filter strength information may be configured to be multiplexed in a header information area defined in units of pictures, sequences, GOPs (Group Of Pictures) and the like.
  • variable-length decoding unit 21 receives a bit stream output from the image coding apparatus shown in FIG. 1, it executes variable-length decoding processing on the bit stream (step ST21 shown in FIG. 4).
  • Information that defines the picture size (the number of horizontal pixels and the number of vertical lines) is decoded in sequence units or picture units configured.
  • the variable-length decoding unit 21 is a unit of processing when motion compensation prediction processing (inter-frame prediction processing) or intra prediction processing (in-frame prediction processing) is performed in the same procedure as the coding control unit 1 in FIG.
  • the maximum size of the encoded block is determined, and the number of layers at the upper limit when the encoded block of the maximum size is hierarchically divided is determined (step ST22). For example, in the image coding apparatus, when the maximum size of the coding block is determined according to the resolution of the input image, the maximum size of the coding block is determined based on the previously decoded frame size. When information indicating the maximum size of the coding block and the number of layers at the upper limit is multiplexed in the bit stream, the information decoded from the bit stream is referred to. When the configuration of the bit stream is the configuration of FIG. 14, the variable-length decoding unit 21 decodes the loop filter ON / OFF flag from the slice header prior to the decoding of the maximum coding block level.
  • the coding mode m (B 0 ) of the coding block B 0 of the largest size multiplexed in the bit stream includes information indicating the division state of the coding block B 0 of the largest size, it is variable.
  • the long decoding unit 21 decodes the coding mode m (B 0 ) of the coding block B 0 of the maximum size multiplexed in the bit stream, and divides each coding block B n divided hierarchically. Are identified (step ST23).
  • the variable-length decoding unit 21 decodes the coding mode m (B n ) of the coding block B n , and belongs to the coding mode m (B n ).
  • Variable-length decoding unit 21 has determined the partition P i n that belong to coded blocks B n, for each partition P i n, compressed data, coding mode, predictive differential coding parameters, intra prediction parameters / inter prediction
  • the parameters are decoded (step ST24).
  • Step ST25 when the coding mode m of partitions P i n that belong to coded blocks B n output from the variable length decoding unit 21 (B n) is an intra coding mode (step ST25), the variable The intra prediction parameter output from the long decoding unit 21 is output to the intra prediction unit 23.
  • the partition P i n coding modes m (B n) is an inter coding mode (step ST25), and outputs the inter prediction parameter outputted from the variable length decoding unit 21 to the motion compensation prediction unit 24.
  • the intra prediction unit 23 uses the intra prediction parameter while referring to the decoded image (reference image) of the decoded block stored in the intra prediction memory 27.
  • the intra prediction process for partition P i n in the coded blocks B n implemented, generates an intra prediction image P i n (step ST26).
  • the motion compensation unit 24 When receiving the inter prediction parameter output from the changeover switch 22, the motion compensation unit 24 receives the motion vector included in the inter prediction parameter and the decoded image of the decoded block stored in the motion compensated prediction frame memory 29 ( reference picture) using, to implement the inter-prediction processing for the encoded block, and generates an intra prediction image P i n (step ST27).
  • the inverse quantization / inverse transform unit 25 inverse quantizes the compressed data output from the variable length decoding unit 21 using the quantization parameter included in the prediction differential encoding parameter output from the variable length decoding unit 21.
  • inverse transform such as inverse DCT (inverse discrete cosine transform) or inverse KL transform, etc. of the compressed data after inverse quantization in units of transform block size included in the prediction differential encoding parameter Processing is performed to output the compressed data after the inverse conversion processing to the addition unit 26 as a decoded predicted difference signal (a signal indicating a difference image before compression) (step ST28).
  • the adding unit 26 When the adding unit 26 receives the decoded predicted difference signal from the inverse quantization / inverse converting unit 25, the adding unit 26 adds the decoded predicted difference signal and a predicted signal indicating a predicted image generated by the intra prediction unit 23 or the motion compensation unit 24. As a result, a decoded image is generated, and the decoded image signal indicating the decoded image is stored in the memory for intra prediction 27, and the decoded image signal is output to the loop filter unit 28 (step ST29).
  • steps ST23 to ST29 are repeatedly performed until the process for all the coding blocks B n hierarchically divided is completed (step ST30).
  • the loop filter unit 28 When receiving the decoded image signal from the adding unit 26, the loop filter unit 28 performs filtering processing on the decoded image signal to remove distortion (block distortion) generated at the block boundary, and the decoded image after distortion removal
  • the decoded image indicated by the signal is stored in the motion compensated prediction frame memory 29.
  • the filtering process in the loop filter unit 28 is the same as the filtering process in the loop filter unit 11 of FIG.
  • the coding mode intra code
  • the strength of the filter for removing block distortion is set separately for each signal component (luminance signal component and color difference signal component).
  • the loop filter unit 28 of the image decoding apparatus removes block distortion of the decoded image
  • the coding mode intra Since the filter strength for removing block distortion is set separately for each signal component (brightness signal component and color difference signal component) according to the coding mode and inter coding mode
  • the block distortion removal accuracy is enhanced. The effect is that the quality of the decoded image can be improved.
  • inter-frame motion compensation prediction processing intra-frame prediction processing
  • the loop filter sections 11 and 28 may be configured to remove block distortion even in the image encoding apparatus and the image decoding apparatus that perform the above.
  • the image coding device and the image decoding device that combine intraframe prediction processing (intra prediction processing) and interframe motion compensation prediction processing (inter prediction processing) are set to encode all frames by intra prediction processing It is also possible to control so that the operation of the loop filter units 11 and 28 is not used.
  • (L n + 1 , M n + 1 ) (L n , M n )
  • An image coding apparatus, an image decoding apparatus, an image coding method, and an image decoding method according to the present invention include setting filter strengths for respective signal components according to a coding mode, and improving block distortion removal accuracy. Since the quality of the encoded image can be improved, MPEG and ITU-T H.2 can be used. The present invention can be applied to the international standard video coding method such as 26x.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　画像符号化装置のループフィルタ部１１が、局所復号画像のブロック歪みを除去する際、符号化制御部１により選択された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定してから、信号成分別にフィルタリング処理を実施する。

Description

画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
　この発明は、画像を圧縮符号化して伝送する画像符号化装置及び画像符号化方法と、画像符号化装置により伝送された符号化データから画像を復号する画像復号装置及び画像復号方法とに関するものである。
　従来、ＭＰＥＧやＩＴＵ－Ｔ　Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測差分信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
　ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
　そのため、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内ブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。
　ここで、図１６は非特許文献１に開示されている画像符号化装置を示す構成図である。
　この画像符号化装置では、ブロック分割部１０１が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
　予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測差分信号を算出する。
　特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
　そして、その動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測差分信号を算出する。
　また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
　なお、予測信号生成用パラメータには、例えば、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
　圧縮部１０３は、予測部１０２から予測差分信号を受けると、その予測差分信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
　局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測差分信号に相当する予測差分信号を算出する。
　加算器１０５は、局所復号部１０４から予測差分信号を受けると、その予測差分信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
　ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。
　可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
　なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
　ここで、非特許文献１に開示されている方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて平滑化強度（フィルタ強度）を決定し、局所復号画像に対するフィルタリング処理を実施することで、ブロック境界に発生する歪み（ブロック歪み）の低減を図っている。
　これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
ＭＰＥＧ－４　ＡＶＣ（ＩＳＯ／ＩＥＣ　１４４９６－１０）／ＩＴＵ－Ｔ　Ｈ．２６４規格
　従来の画像符号化装置は以上のように構成されているので、ループフィルタ１０６がブロック歪みを除去する際、当該ブロックの輝度信号成分に対するフィルタの強度については符号化モード等に基づいて決定されるが、当該ブロックの色差信号成分に対するフィルタの強度については、輝度信号成分に対するフィルタの強度を流用するものである。このため、色差信号成分に対するフィルタの強度は必ずしも適正であるとは限らず、画質の改善効果が限定的であるなどの課題があった。
　この発明は上記のような課題を解決するためになされたもので、ブロック歪みの除去精度を高めて、符号化画像の品質を改善することができる画像符号化装置及び画像符号化方法を得ることを目的とする。
　また、この発明は、ブロック歪みの除去精度を高めて、復号画像の品質を改善することができる画像復号装置及び画像復号方法を得ることを目的とする。
　この発明に係る画像符号化装置は、入力画像を予測処理が実施される際の処理単位となるブロックに分割するブロック分割手段と、ブロック分割手段により分割されるブロックに対する符号化モードを決定する符号化モード決定手段と、符号化モード決定手段により決定された符号化モードにしたがって符号化済みブロックの局所復号画像を参照しながら、ブロック分割手段により分割されたブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、ブロック分割手段により分割されたブロックと予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段により圧縮された差分画像を伸張し、伸張後の差分画像と予測画像生成手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、局所復号画像生成手段により生成された局所復号画像に対するフィルタリング処理を実施して、その局所復号画像のブロック歪みを除去する歪み除去手段と、画像圧縮手段から出力された圧縮データ及び符号化モード決定手段により決定された符号化モードを符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する符号化手段とを備え、歪み除去手段が局所復号画像のブロック歪みを除去する際、符号化モード決定手段により決定された符号化モードに応じてブロック歪みを除去するフィルタの強度を信号成分別に設定するようにしたものである。
　この発明によれば、入力画像を予測処理が実施される際の処理単位となるブロックに分割するブロック分割手段と、ブロック分割手段により分割されるブロックに対する符号化モードを決定する符号化モード決定手段と、符号化モード決定手段により決定された符号化モードにしたがって符号化済みブロックの局所復号画像を参照しながら、ブロック分割手段により分割されたブロックに対する予測処理を実施して、予測画像を生成する予測画像生成手段と、ブロック分割手段により分割されたブロックと予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、差分画像生成手段により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮手段と、画像圧縮手段により圧縮された差分画像を伸張し、伸張後の差分画像と予測画像生成手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、局所復号画像生成手段により生成された局所復号画像に対するフィルタリング処理を実施して、その局所復号画像のブロック歪みを除去する歪み除去手段と、画像圧縮手段から出力された圧縮データ及び符号化モード決定手段により決定された符号化モードを符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する符号化手段とを備え、歪み除去手段が局所復号画像のブロック歪みを除去する際、符号化モード決定手段により決定された符号化モードに応じてブロック歪みを除去するフィルタの強度を信号成分別に設定するように構成したので、ブロック歪みの除去精度を高めて、符号化画像の品質を改善することができる効果がある。
この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。 最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。 （ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示す説明図である。 符号化ブロック内のフィルタ適用画素の位置を示す説明図である。 ループフィルタ部１１の処理内容を示すフローチャートである。 フィルタ強度の判定方法を示すフローチャートである。 エッジ位置と画素位置の関係を示す説明図である。 垂直エッジに対するフィルタリング処理の単位を示す説明図である。 水平エッジに対するフィルタリング処理の単位を示す説明図である。 Ｑ（輝度のｑＰ値）とパラメータβ，Ｔｃの対応関係を示す説明図である。 可変長符号化部１３により生成されるビットストリームを示す説明図である。 符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎである例を示す説明図である。 非特許文献１に開示されている画像符号化装置を示す構成図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　この実施の形態１では、映像の各フレーム画像を入力し、近接フレーム間で動き補償予測を実施することで得られる予測差分信号に対して直交変換や量子化による圧縮処理を実施した後に可変長符号化を行ってビットストリームを生成する画像符号化装置と、その画像符号化装置から出力されたビットストリームを復号する画像復号装置について説明する。
　この実施の形態１の画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズの領域に分割してフレーム内・フレーム間適応符号化を行うことを特徴としている。
　一般的に映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある特定の映像フレーム上では、空や壁などのような比較的広い画像領域中で均一な信号特性を持つ絵柄もあれば、人物や細かいテクスチャを持った絵画など小さい画像領域内で複雑なテクスチャパターンを持つ絵柄も混在することがある。
　時間的に見ても、空や壁は局所的に時間方向の絵柄の変化が小さいが、動く人物や物体はその輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
　符号化処理は、時間・空間的な予測によって信号電力やエントロピーの小さい予測差分信号を生成することで、全体の符号量を削減するが、予測のためのパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
　一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを適用すると、予測の誤りが増えるため、予測差分信号の符号量を削減することができない。
　そこで、時間的・空間的に変化の大きい画像信号パターンに対しては、予測対象の領域を小さくして、予測のためのパラメータのデータ量を増やしても予測差分信号の電力・エントロピーを低減するほうが望ましい。
　このような映像信号の一般的な性質に適応した符号化を行うため、この実施の形態１の画像符号化装置では、所定の最大ブロックサイズから階層的に映像信号の領域を分割して、分割領域毎に予測処理や、予測差分の符号化処理を実施するようにしている。
　この実施の形態１の画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
　各画素の階調は８ビットでもよいし、１０ビット、１２ビットなどの階調であってもよい。
　ただし、以下の説明においては、特に断らない限り、入力される映像信号がＹＵＶ信号であるものとする。また、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号であるものとする。
　なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。また、以降の説明において、空間的に連続する符号化ブロックのグループを「スライス」と記すことがある。
　図１はこの発明の実施の形態１による画像符号化装置を示す構成図である。
　図１において、符号化制御部１は動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する処理を実施する。
　また、符号化制御部１は利用可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する処理を実施する。なお、符号化制御部１は符号化モード決定手段を構成している。
　ブロック分割部２は入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する処理を実施する。なお、ブロック分割部２はブロック分割手段を構成している。
　切替スイッチ３は符号化制御部１により選択された符号化モードがイントラ符号化モードであれば、ブロック分割部２により分割された符号化ブロックをイントラ予測部４に出力し、符号化制御部１により選択された符号化モードがインター符号化モードであれば、ブロック分割部２により分割された符号化ブロックを動き補償予測部５に出力する処理を実施する。
　イントラ予測部４は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、イントラ予測用メモリ１０により格納されている符号化済みブロックの局所復号画像（参照画像）を参照しながら、符号化制御部１から出力されたイントラ予測パラメータを用いて、その符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する処理を実施する。
　動き補償予測部５は切替スイッチ３からブロック分割部２により分割された符号化ブロックを受けると、その符号化ブロックと動き補償予測フレームメモリ１２により格納されている符号化済みブロックの局所復号画像（参照画像）を比較することで動き探索を実施して動きベクトルを算出し、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を実施して予測画像を生成する処理を実施する。
　なお、切替スイッチ３、イントラ予測部４及び動き補償予測部５から予測画像生成手段が構成されている。
　減算部６はブロック分割部２により分割された符号化ブロックから、イントラ予測部４又は動き補償予測部５により生成された予測画像を減算することで、差分画像（＝符号化ブロック－予測画像）を生成する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
　変換・量子化部７は符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、減算部６により生成された差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
　逆量子化・逆変換部８は符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、変換・量子化部７から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号（伸張後の差分画像を示すデータ）として出力する処理を実施する。
　加算部９は逆量子化・逆変換部８から出力された局所復号予測差分信号とイントラ予測部４又は動き補償予測部５により生成された予測画像を示す予測信号を加算することで、局所復号画像を示す局所復号画像信号を生成する処理を実施する。
　なお、逆量子化・逆変換部８及び加算部９から局所復号画像が構成されている。
　イントラ予測用メモリ１０はイントラ予測部４により次回のイントラ予測処理で用いられる画像として、加算部９により生成された局所復号画像信号が示す局所復号画像を格納するＲＡＭなどの記録媒体である。
　ループフィルタ部１１は加算部９により生成された局所復号画像信号に対するフィルタリング処理（ループフィルタ処理）を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去する処理を実施する。
　ループフィルタ部１１は局所復号画像のブロック歪みを除去する際、符号化制御部１により選択された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
　なお、ループフィルタ部１１は歪み除去手段を構成している。
　動き補償予測フレームメモリ１２は動き補償予測部５により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部１１によるフィルタリング処理後の局所復号画像を格納するＲＡＭなどの記録媒体である。
　可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（動きベクトルを含む）とを可変長符号化して、その圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データが多重化されているビットストリームを生成する処理を実施する。なお、可変長符号化部１３は符号化手段を構成している。
　図１では、画像符号化装置の構成要素である符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、符号化制御部１、ブロック分割部２、切替スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図２はこの発明の実施の形態１による画像符号化装置の処理内容を示すフローチャートである。
　図３はこの発明の実施の形態１による画像復号装置を示す構成図である。
　図３において、可変長復号部２１はビットストリームに多重化されている符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（動きベクトルを含む）を可変長復号して、その圧縮データ及び予測差分符号化パラメータを逆量子化・逆変換部２５に出力するとともに、その符号化モード及びイントラ予測パラメータ／インター予測パラメータを切替スイッチ２２に出力し、また、その符号化モードをループフィルタ部２８に出力する処理を実施する。なお、可変長復号部２１は復号手段を構成している。
　切替スイッチ２２は可変長復号部２１から出力された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力し、その符号化モードがインター符号化モードである場合、可変長復号部２１から出力されたインター予測パラメータを動き補償部２４に出力する処理を実施する。
　イントラ予測部２３はイントラ予測用メモリ２７により格納されている復号済みブロックの復号画像（参照画像）を参照しながら、切替スイッチ２２から出力されたイントラ予測パラメータを用いて、当該符号化ブロックに対するイントラ予測処理を実施して、予測画像を生成する処理を実施する。
　動き補償部２４は切替スイッチ２２から出力されたインター予測パラメータに含まれている動きベクトルと動き補償予測フレームメモリ２９により格納されている復号済みブロックの復号画像（参照画像）を用いて、当該符号化ブロックに対するインター予測処理を実施して、予測画像を生成する処理を実施する。
　なお、切替スイッチ２２、イントラ予測部２３及び動き補償部２４から予測画像生成手段が構成されている。
　逆量子化・逆変換部２５は可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として出力する処理を実施する。なお、逆量子化・逆変換部２５は差分画像生成手段を構成している。
　加算部２６は逆量子化・逆変換部２５から出力された復号予測差分信号とイントラ予測部２３又は動き補償部２４により生成された予測画像を示す予測信号を加算することで、復号画像を示す復号画像信号を生成する処理を実施する。なお、加算部２６は復号画像生成手段を構成している。
　イントラ予測用メモリ２７はイントラ予測部２３により次回のイントラ予測処理で用いられる画像として、加算部２６により生成された復号画像信号が示す復号画像を格納するＲＡＭなどの記録媒体である。
　ループフィルタ部２８は加算部２６により生成された復号画像信号に対するフィルタリング処理（ループフィルタ処理）を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去する処理を実施する。
　ループフィルタ部２８は復号画像のブロック歪みを除去する際、可変長復号部２１から出力された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
　なお、ループフィルタ部２８は歪み除去手段を構成している。
　動き補償予測フレームメモリ２９は動き補償部２４により次回の動き補償予測処理で用いられる参照画像として、ループフィルタ部２８によるフィルタリング処理後の復号画像を格納するＲＡＭなどの記録媒体である。
　図３では、画像復号装置の構成要素である可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路、あるいは、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部２１、切替スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８の処理内容を記述しているプログラムを当該コンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図４はこの発明の実施の形態１による画像復号装置の処理内容を示すフローチャートである。
　次に動作について説明する。
　最初に、図１の画像符号化装置の処理内容を説明する。
　まず、符号化制御部１は、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（図２のステップＳＴ１）。
　符号化ブロックの最大サイズの決め方として、例えば、全てのピクチャに対して、入力画像の解像度に応じたサイズに決定する方法が考えられる。
　また、入力画像の局所的な動きの複雑さの違いをパラメータとして定量化しておき、動きの激しいピクチャでは最大サイズを小さな値に決定し、動きが少ないピクチャでは最大サイズを大きな値に決定する方法などが考えられる。
　上限の階層数については、例えば、入力画像の動きが激しい程、階層数を深くして、より細かい動きが検出できるように設定し、入力画像の動きが少なければ、階層数を抑えるように設定する方法が考えられる。
　また、符号化制御部１は、利用可能な１以上の符号化モード（Ｍ種類のイントラ符号化モード、Ｎ種類のインター符号化モード）の中から、階層的に分割される各々の符号化ブロックに適する符号化モードを選択する（ステップＳＴ２）。
　符号化制御部１による符号化モードの選択方法は公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
　ブロック分割部２は、入力画像を示す映像信号を入力すると、その映像信号が示す入力画像を符号化制御部１により決定された最大サイズの符号化ブロックに分割するとともに、符号化制御部１により決定された上限の階層数に至るまで、その符号化ブロックを階層的に分割する（ステップＳＴ３）。
　ここで、図５は最大サイズの符号化ブロックが階層的に複数の符号化ブロックに分割される様子を示す説明図である。
　図５の例では、最大サイズの符号化ブロックは、第０階層の符号化ブロックＢ０であり、輝度成分で（Ｌ０，Ｍ０）のサイズを有している。
　また、図５の例では、最大サイズの符号化ブロックＢ０を出発点として、４分木構造で、別途定める所定の深さまで階層的に分割を行うことによって、符号化ブロックＢｎを得ている。
　深さｎにおいては、符号化ブロックＢｎはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
　ただし、ＬｎとＭｎは同じであってもよいし異なっていてもよいが、図５の例ではＬｎ＝Ｍｎのケースを示している。
　以降、符号化ブロックＢｎのサイズは、符号化ブロックＢｎの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
　ブロック分割部２は、４分木分割を行うため、常に（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
　ただし、ＲＧＢ信号などのように、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックのサイズは（Ｌｎ／２，Ｍｎ／２）である。
　以降、第ｎ階層の符号化ブロックＢｎで選択しうる符号化モードをｍ（Ｂｎ）と記する。
　複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、各色成分ごとに、それぞれ個別のモードを用いるように構成されてもよいが、以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードのことを指すものとして説明を行う。
　符号化モードｍ（Ｂｎ）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」)、１つないし複数のインター符号化モード（総称して「ＩＮＴＥＲ」）があり、符号化制御部１は、上述したように、当該ピクチャで利用可能な全ての符号化モードないしは、そのサブセットの中から、符号化ブロックＢｎに対して最も符号化効率がよい符号化モードを選択する。
　符号化ブロックＢｎは、図５に示すように、更に１つないし複数の予測処理単位（パーティション）に分割される。
　以降、符号化ブロックＢｎに属するパーティションをＰｉ ｎ（ｉ： 第ｎ階層におけるパーティション番号）と表記する。
　符号化ブロックＢｎに属するパーティションＰｉ ｎの分割がどのようになされているかは符号化モードｍ（Ｂｎ）の中に情報として含まれる。
　パーティションＰｉ ｎは、すべて符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、パーティションＰｉ ｎ毎に、個別の予測パラメータを選択することができる。
　符号化制御部１は、最大サイズの符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックＢｎを特定する。
　図６（ａ）の網がけ部分は分割後のパーティションの分布を示し、また、図６（ｂ）は階層分割後のパーティションに符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示している。
　図６（ｂ）において、□で囲まれているノードが、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロックＢｎ）を示している。
　切替スイッチ３は、符号化制御部１が各々の符号化ブロックＢｎのパーティションＰｉ ｎに対して最適な符号化モードｍ（Ｂｎ）を選択すると、その符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ステップＳＴ４）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎをイントラ予測部４に出力する。
　一方、その符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ステップＳＴ４）、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎを動き補償予測部５に出力する。
　イントラ予測部４は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉ ｎを受けると、イントラ予測用メモリ１０により格納されている符号化済みブロックの局所復号画像を参照しながら、符号化制御部１により選択された符号化モードｍ（Ｂｎ）に対応するイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉ ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉ ｎを生成する（ステップＳＴ５）。
　イントラ予測部４は、イントラ予測画像Ｐｉ ｎを生成すると、そのイントラ予測画像Ｐｉ ｎを減算部６及び加算部９に出力するが、図３の画像復号装置でも同じイントラ予測画像Ｐｉ ｎを生成できるようにするため、そのイントラ予測パラメータを可変長符号化部１３に出力する。
　なお、イントラ予測部４のイントラ予測処理は、例えば、ＡＶＣ／Ｈ．２６４規格（ＩＳＯ／ＩＥＣ １４４９６－１０）に定められているアルゴリズムに従うが、このアルゴリズムに限定されるものではない。
　動き補償予測部５は、切替スイッチ３から符号化ブロックＢｎのパーティションＰｉ ｎを受けると、その符号化ブロックＢｎのパーティションＰｉ ｎと動き補償予測フレームメモリ１２により格納されている符号化済みブロックの局所復号画像を比較することで動き探索を実施して動きベクトルを算出し、その動きベクトルと符号化制御部１から出力されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理を実施して、インター予測画像Ｐｉ ｎを生成する（ステップＳＴ６）。
　動き補償予測部５は、インター予測画像Ｐｉ ｎを生成すると、そのインター予測画像Ｐｉ ｎを減算部６及び加算部９に出力するが、図３の画像復号装置でも同じインター予測画像Ｐｉ ｎを生成できるようにするため、そのインター予測パラメータを可変長符号化部１３に出力する。
　なお、インター予測パラメータには、下記の情報が含まれている。
（１）符号化ブロックＢｎ内のパーティションＰｉ ｎの分割状況を記述しているモード情報
（２）パーティションＰｉ ｎの動きベクトル
（３）動き補償予測フレームメモリ１２により複数の局所復号画像（参照画像）が格納されている場合、いずれの参照画像を用いて、インター予測処理を実施するかを示す参照画像の指示インデックス情報
（４）複数の動きベクトルの予測値候補がある場合、いずれの動きベクトルの予測値を選択して使用するかを示すインデックス情報
（５）複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報
（６）パーティションＰｉ ｎの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
　減算部６は、イントラ予測部４又は動き補償予測部５が予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を生成すると、ブロック分割部２により分割された符号化ブロックＢｎのパーティションＰｉ ｎから、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を減算することで差分画像を生成し、その差分画像を示す予測差分信号ｅｉ ｎを変換・量子化部７に出力する（ステップＳＴ７）。
　変換・量子化部７は、減算部６から差分画像を示す予測差分信号ｅｉ ｎを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、その差分画像の変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施するとともに、その予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の変換係数を量子化することで、量子化後の変換係数を差分画像の圧縮データとして逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ８）。
　逆量子化・逆変換部８は、変換・量子化部７から差分画像の圧縮データを受けると、符号化制御部１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、その差分画像の圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを局所復号予測差分信号として加算部９に出力する（ステップＳＴ９）。
　加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４又は動き補償予測部５により生成された予測画像（イントラ予測画像Ｐｉ ｎ、インター予測画像Ｐｉ ｎ）を示す予測信号を加算することで、局所復号パーティション画像、ないしは、その集まりとしての局所復号符号化ブロック画像である局所復号画像を生成する（ステップＳＴ１０）。
　加算部９は、局所復号画像を生成すると、その局所復号画像を示す局所復号画像信号をイントラ予測用メモリ１０に格納するとともに、その局所復号画像信号をループフィルタ部１１に出力する。
　ループフィルタ部１１は、加算部９から局所復号画像信号を受けると、その局所復号画像信号に対するフィルタリング処理を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去する（ステップＳＴ１１）。
　ループフィルタ部１１における処理内容の詳細は後述するが、局所復号画像のブロック歪みを除去する際、符号化制御部１により選択された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
　なお、ループフィルタ部１１によるフィルタリング処理は、加算部９から出力される局所復号画像信号の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１画面分のマクロブロックに相当する局所復号画像信号が出力された後に１画面分まとめて行ってもよい。
　ステップＳＴ４～ＳＴ１０の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了するとステップＳＴ１３の処理に移行する（ステップＳＴ１２）。
　可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部１から出力された符号化モード（符号化ブロックの分割状態を示す情報を含む）及び予測差分符号化パラメータと、イントラ予測部４から出力されたイントラ予測パラメータ又は動き補償予測部５から出力されたインター予測パラメータ（動きベクトルを含む）とをエントロピー符号化する。
　可変長符号化部１３は、エントロピー符号化の符号化結果である圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータの符号化データを多重化してビットストリームを生成する（ステップＳＴ１３）。
　以下、ループフィルタ部１１によるフィルタリング処理を具体的に説明する。
　ループフィルタ部１１は、上述した予測処理単位であるパーティションと変換ブロックの境界に発生するブロックノイズを低減させる非線形平滑化フィルタである。
　図７は符号化ブロック内のフィルタ適用画素の位置を示す説明図である。
　図７において、垂直エッジ及び水平エッジと、パーティションまたは変換ブロックのブロック境界が重なる位置がフィルタ処理の対象になる。
　図７では、垂直エッジ及び水平エッジがＫ×Ｋ画素グリッドで表されている。Ｋの値は固定値で定めてもよいし、符号化ブロックの最大サイズやパーティション・変換ブロックの最大サイズ等に応じて設定してもよい。
　図８はループフィルタ部１１の処理内容を示すフローチャートである。
　ループフィルタ部１１によるフィルタリング処理は、符号化ブロック毎に実行される。
　まず、ループフィルタ部１１は、垂直エッジ及び水平エッジが、パーティションまたは変換ブロックの境界と一致するか否かを判定する（ステップＳＴ４１）。
　ループフィルタ部１１は、パーティションまたは変換ブロックの境界と一致している垂直エッジ又は水平エッジが存在する場合、境界と一致している箇所のフィルタ強度判定を行う（ステップＳＴ４２，ＳＴ４３）。フィルタ強度の判定方法は後述する。
　ループフィルタ部１１は、フィルタ強度判定を行うと、そのフィルタ強度の判定結果や実際にフィルタリング処理の対象となる画素値の変化量に応じて、最終的なフィルタの強度を変えながらフィルタリング処理を行う（ステップＳＴ４４，ＳＴ４５）。フィルタリング処理の方法は後述する。
　ループフィルタ部１１は、ピクチャ内の全ての符号化ブロックに対する処理が完了するまで、ステップＳＴ４１～４５の処理を繰り返し実施する（ステップＳＴ４６）。
　なお、スライスヘッダには、スライス内の全ての符号化ブロックに本ループフィルタの処理を行うか否かの識別情報を多重化することとし、画像符号化装置は、状況に応じて同識別情報の値を決定して画像復号装置に伝送するように構成する。
　次に、ループフィルタ部１１によるフィルタ強度の判定処理を説明する。
　図９はフィルタ強度の判定方法を示すフローチャートである。
　ループフィルタ部１１は、垂直エッジと水平エッジに隣接する全画素に対して、下記の条件でフィルタ強度ｂＳを求める（ステップＳＴ５１）。
　以下の説明では、エッジ近傍の画素をｐｉ（ｉ＝０，１，２，３），ｑｊ（ｊ＝０，１，２，３）の記号で表しているが、エッジ位置と画素位置の関係は、図１０のように定義する。
　符号化ブロックの中には、輝度信号成分のブロックと色差信号成分のブロックが含まれるが、ループフィルタ部１１では、以下の条件で、フィルタ強度の判定を行う。
（１）フィルタ処理対象の符号化ブロックの符号化モードが、イントラ符号化モードであるか、インター符号化モードであるか
（２）フィルタリング処理を行う信号成分が、輝度信号成分であるか、色差信号成分であるか
（３）フィルタ処理対象の画素を含む変換ブロック内に、非ゼロの変換係数が含まれているか否か
（４）フィルタ処理対象の画素を含むパーティションの中の動きパラメータの状態
　ループフィルタ部１１は、以下の手順でフィルタ強度の判定を行う。
（手順１）
　符号化ブロックの境界に位置するエッジであり、ｐ０を含む符号化ブロック、または、ｑ０を含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
　　　　処理対象信号成分が輝度信号成分　→　ｂＳ＝２
　　　　処理対象信号成分が色差信号成分　→　ｂＳ＝４
　に決定する。
（手順２）
　手順１での条件に該当しない場合において、
　ｐ０を含む符号化ブロック、または、ｑ０を含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
　　　　処理対象信号成分が輝度信号成分　→　ｂＳ＝１
　　　　処理対象信号成分が色差信号成分　→　ｂＳ＝３
　に決定する。
（手順３）
　手順１，２での条件に該当しない場合において、
　ｐ０またはｑ０が非ゼロ直交変換係数を持つ変換ブロックに属する場合
　　　　処理対象信号成分が輝度信号成分　→　ｂＳ＝２
　　　　処理対象信号成分が色差信号成分　→　ｂＳ＝２
　に決定する。
（手順４）
　手順１～３での条件に該当しない場合において、以下のいずれかの条件を満たす場合
　　　　処理対象信号成分が輝度信号成分　→　ｂＳ＝１
　　　　処理対象信号成分が色差信号成分　→　ｂＳ＝１
　に決定する。
　［条件］
　　・ｐ０を含むパーティションとｑ０を含むパーティションが、
　　　異なる参照ピクチャを持っているか、または、異なる数の動きベクトルを持ってい
　　　る
　　・ｐ０を含むパーティションとｑ０を含むパーティションで、
　　　それぞれ１本の動きベクトルが使用され、
　　　双方の動きベクトルの水平成分又は垂直成分の差分絶対値が１／４画素精度で４以
　　　上である
　　・ｐ０を含むパーティションとｑ０を含むパーティションで、
　　　それぞれ２本の動きベクトルが使用され、
　　　同じ参照ピクチャを指す動きベクトルペア（ｐ０における動きベクトルと、ｑ０に
　　　おける動きベクトルのペア）の少なくとも１組において、
　　　双方の動きベクトルの水平成分又は垂直成分の差分絶対値が１／４画素精度で４以
　　　上である
（手順５）
　手順１～４での条件に該当しない場合（パーティション／変換ブロックの境界以外のエッジも本条件に該当）
　　　　処理対象信号成分が輝度信号成分　→　ｂＳ＝０
　　　　処理対象信号成分が色差信号成分　→　ｂＳ＝０
　に決定する。
　処理対象の符号化ブロックの符号化モードがイントラ符号化モードである場合、インター予測によるフレーム間予測の場合と比べて、輝度信号・色差信号ともに、予測残差電力が大きく、量子化された変換係数の分布が信号成分毎に大きく異なる確率が高くなる。
　ブロック歪みの程度は、量子化によって、どれだけ主観的に有効な変換係数がなくなってしまうかに左右されるため、ブロック歪みの程度を測る尺度であるフィルタ強度の値は、特にイントラ符号化において、輝度と色差で調整できることが望ましい。
　従来のループフィルタ１０６（図１６を参照）では、色差信号成分のフィルタ強度は、常に、輝度信号成分のフィルタ強度と同じ値に設定されているが、この実施の形態１では、条件に応じて信号成分（輝度信号成分、色差信号成分）別にフィルタ強度を設定しているので、従来よりも画質の改善に寄与するフィルタ強度が得られる。
　ループフィルタ部１１は、フィルタ強度判定を行うと、フィルタ強度の判定結果に基づいて、垂直エッジ、水平エッジの順にフィルタリング処理を行う。
　まず、ループフィルタ部１１は、垂直エッジに対して、Ｋライン毎にフィルタ強度ｂＳの最大値を求め、その最大値をｂＳＶｅｒとする。
　ループフィルタ部１１は、最大値ｂＳＶｅｒに基づいて、当該Ｋラインのエッジ近傍画素に対するフィルタリング処理を行う。
　図１１は垂直エッジに対するフィルタリング処理の単位を示す説明図である。垂直エッジを中心とするＫ×Ｋ画素が同一のｂＳＶｅｒになる。各画素に適用される最終的なフィルタ強度ｂＳは、最大値ｂＳＶｅｒと各画素位置での画素値の変化量によって決まる。
　図１２には、水平エッジに対するフィルタリング処理の単位を示している。処理の方向が垂直から水平に変化する以外は垂直エッジと同じである。
　以下、処理対象画素に対するフィルタリング処理を説明する。
　ループフィルタ部１１は、輝度信号成分の垂直エッジ方向に対して、以下の手順でフィルタリング処理を行う。輝度信号成分の水平エッジ方向に対するフィルタリング処理も同じ手順であるが、最大値ｂＳＶｅｒの代わりに、水平エッジに対するＫライン毎のフィルタ強度ｂＳの最大値ｂＳＨｏｒを用いる。
［ａ］ｂＳＶｅｒ＝０の場合
　　　フィルタリング処理を行わない。
［ｂ］ｂＳＶｅｒ≦２の場合
　（１）図１３において、Ｑ＝（輝度のｑＰ値）とする場合のパラメータβ，Ｔｃ
　　　を求める。
　　　図１３はＱ（輝度のｑＰ値）とパラメータβ，Ｔｃの対応関係を示す説明図である。
Figure JPOXMLDOC01-appb-I000001
［ｃ］ｂＳＶｅｒ＞２の場合
　　　図１３において、Ｑ＝（輝度のｑＰ値）とする場合のパラメータβと、Ｑ＝（輝度のｑＰ値＋４）とする場合のパラメータＴｃを求める。以降の処理はｂＳＶｅｒ≦２の場合と同様である。
　ループフィルタ部１１は、色差信号成分の垂直エッジ方向に対して、以下の手順でフィルタリング処理を行う。色差信号成分の水平エッジ方向に対するフィルタリング処理も同じ手順であるが、最大値ｂＳＶｅｒの代わりに、最大値ｂＳＨｏｒを用いる。ｂＳＶｅｒとｂＳＶｅｒは、同一ポジションの輝度で算出した値である。
［ａ］ｂＳＶｅｒ＞２の場合
Figure JPOXMLDOC01-appb-I000002
［ｂ］ｂＳＶｅｒ≦２の場合
　　　フィルタリング処理を行わない。
　画像符号化装置のループフィルタ部１１と画像復号装置のループフィルタ部２８は、共通の処理を行うが、画像符号化装置のループフィルタ部１１が、フィルタ強度の判定に関して、制御用のパラメータを設けるように構成してもよい。
　例えば、スライスレベルでフィルタ強度ｂＳの値をシグナリングするか否かを示す識別情報を多重することで、スライス毎に、フィルタ強度ｂＳの設定値を変更できるように構成してもよい。
　その際の変更は、輝度信号成分だけとして、色差信号成分は固定にしてもよいし、逆に輝度信号成分は固定として、色差信号成分だけを変更できるように構成してもよい。
　設定値のシグナリングは値そのものでもよいし、フィルタ強度ｂＳをデフォルト値とするオフセット値の形式でも構わない。色差信号成分のフィルタ強度を輝度信号成分のフィルタ強度のオフセット値として表現するようにしてもよい。
　また、特に符号化モードがイントラ符号化モードである場合のフィルタ強度ｂＳの設定値を値そのもの、ないしは、オフセット値としてシグナリングするように構成することもできる。例えば、ループフィルタ部１１は、以下の手順でフィルタ強度の判定を行うように構成できる。
　イントラ符号化モードで符号化される符号化ブロックについて、輝度成分に対するフィルタ強度値をｂＳL、色差成分に対するフィルタ強度値をｂＳCとし、ｂＳLとｂＳCとはピクチャレベルのヘッダやスライスヘッダなどのシンタックス情報としてビットストリームに多重化して符号化装置と復号化装置で共有できるようにしておく。このとき、
（手順１）
　符号化ブロックの境界に位置するエッジであり、ｐｏを含む符号化ブロック、または、ｑｏを含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
　　　　処理対象信号成分が輝度信号成分　→　ｂＳ＝max（４－ｂSL、０）
　　　　処理対象信号成分が色差信号成分　→　ｂＳ＝max（４－ｂSC、０）
　に決定する。ここで、max（A,B）は、AとBのうち大きいほうの値を出力する関数である。
（手順２）
　手順１での条件に該当しない場合において、
　ｐｏを含む符号化ブロック、または、ｑｏを含む符号化ブロックの符号化モードが「イントラ符号化モード」である場合
　　　　処理対象信号成分が輝度信号成分　→　ｂＳ＝max（３－ｂSL、０）
　　　　処理対象信号成分が色差信号成分　→　ｂＳ＝max（３－ｂSC、０）
　に決定する。
　符号化モードがイントラ符号化モードである場合には、圧縮処理過程で動き予測が有効に機能せずに、やむを得ずイントラ符号化を行う場合と、誤り耐性やランダムアクセスの観点で周期的・意図的にイントラ符号化を発生させる場合がある。
　やむを得ずイントラ符号化を行う場合は、符号化の難しさに対応して歪みが重畳されるのに対して、周期的・意図的にイントラ符号化を発生させる場合は、符号化の難しさと直接的に関係なくイントラ符号化が用いられるため、それぞれブロック歪みの発生の仕方に差異が生じる。
　従来のループフィルタでは、これらを判別して、フィルタ強度を制御する手段がない。
　周期イントラ挿入はスライスやピクチャの単位で実行されるため、これらの単位でフィルタ強度を用途に応じて制御することで、ブロック歪みをより良く抑制することが可能になる。
　また、逆に符号化モードがインター符号化モードである場合のフィルタ強度ｂＳの設定値をシグナリングするように構成しても構わない。
　ここで、図１４は可変長符号化部１３により生成されるビットストリームを示す説明図である。
　図１４の例では、スライス符号化データがスライスヘッダと、それに続くスライス内の個数分の最大符号化ブロック符号化データから構成される様子を示している。
　各最大符号化ブロック符号化データは、符号化モードを含んでいる。図示していないが、最大符号化ブロック符号化データには、符号化ブロック毎に、パーティション単位の動きベクトルなどの予測パラメータ、変換ブロックサイズなどの予測差分符号化パラメータ、予測差分符号化データ（量子化済み変換係数）を含んでいる。
　スライスヘッダには、スライス内の全ての符号化ブロックに本ループフィルタの処理を行うか否かの識別情報であるループフィルタＯＮ／ＯＦＦフラグ、フィルタ強度ｂＳの設定値をシグナリングするか否かを示すフラグであるフィルタ強度情報多重化フラグ、フィルタ強度情報多重化フラグが“１”の場合に多重するフィルタ強度情報が含まれている。
　フィルタ強度情報多重化フラグ及びフィルタ強度情報は、ピクチャ、シーケンスやＧＯＰ（Ｇｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ）などの単位で定義されるヘッダ情報領域に多重するように構成してもよい。
　次に、図３の画像復号装置の処理内容を説明する。
　可変長復号部２１は、図１の画像符号化装置から出力されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位あるいはピクチャ単位にピクチャサイズ（水平画素数・垂直ライン数）を規定する情報を復号する。
　可変長復号部２１は、図１の符号化制御部１と同様の手順で、動き補償予測処理（フレーム間予測処理）又はイントラ予測処理（フレーム内予測処理）が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定する（ステップＳＴ２２）。
　例えば、画像符号化装置において、符号化ブロックの最大サイズが、入力画像の解像度に応じて決定されている場合、先に復号しているフレームサイズに基づいて符号化ブロックの最大サイズを決定する。
　なお、符号化ブロックの最大サイズ及び上限の階層数を示す情報がビットストリームに多重化されている場合には、そのビットストリームから復号した情報を参照する。
　ビットストリームの構成が図１４の構成である場合、可変長復号部２１は、最大符号化ブロックレベルの復号に先立ち、スライスヘッダからループフィルタＯＮ／ＯＦＦフラグを復号する。
　ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）には、最大サイズの符号化ブロックＢ０の分割状態を示す情報が含まれているので、可変長復号部２１は、ビットストリームに多重化されている最大サイズの符号化ブロックＢ０の符号化モードｍ（Ｂ０）を復号して、階層的に分割されている各々の符号化ブロックＢｎを特定する（ステップＳＴ２３）。
　可変長復号部２１は、各々の符号化ブロックＢｎを特定すると、その符号化ブロックＢｎの符号化モードｍ（Ｂｎ）を復号し、その符号化モードｍ（Ｂｎ）に属しているパーティションＰｉ ｎの情報に基づいて、符号化ブロックＢｎに属しているパーティションＰｉ ｎを特定する。
　可変長復号部２１は、符号化ブロックＢｎに属しているパーティションＰｉ ｎを特定すると、パーティションＰｉ ｎ毎に、圧縮データ、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ／インター予測パラメータ（動きベクトルを含む）を復号する（ステップＳＴ２４）。
　切替スイッチ２２は、可変長復号部２１から出力された符号化ブロックＢｎに属しているパーティションＰｉ ｎの符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたイントラ予測パラメータをイントラ予測部２３に出力する。
　一方、パーティションＰｉ ｎの符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ステップＳＴ２５）、可変長復号部２１から出力されたインター予測パラメータを動き補償予測部２４に出力する。
　イントラ予測部２３は、切替スイッチ２２からイントラ予測パラメータを受けると、イントラ予測用メモリ２７により格納されている復号済みブロックの復号画像（参照画像）を参照しながら、そのイントラ予測パラメータを用いて、その符号化ブロックＢｎのパーティションＰｉ ｎに対するイントラ予測処理を実施して、イントラ予測画像Ｐｉ ｎを生成する（ステップＳＴ２６）。
　動き補償部２４は、切替スイッチ２２から出力されたインター予測パラメータを受けると、そのインター予測パラメータに含まれている動きベクトルと動き補償予測フレームメモリ２９により格納されている復号済みブロックの復号画像（参照画像）を用いて、当該符号化ブロックに対するインター予測処理を実施して、イントラ予測画像Ｐｉ ｎを生成する（ステップＳＴ２７）。
　逆量子化・逆変換部２５は、可変長復号部２１から出力された予測差分符号化パラメータに含まれている量子化パラメータを用いて、可変長復号部２１から出力された圧縮データを逆量子化し、その予測差分符号化パラメータに含まれている変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理（例えば、逆ＤＣＴ（逆離散コサイン変換）や、逆ＫＬ変換等の逆変換処理）を実施することで、逆変換処理後の圧縮データを復号予測差分信号（圧縮前の差分画像を示す信号）として加算部２６に出力する（ステップＳＴ２８）。
　加算部２６は、逆量子化・逆変換部２５から復号予測差分信号を受けると、その復号予測差分信号とイントラ予測部２３又は動き補償部２４により生成された予測画像を示す予測信号を加算することで復号画像を生成して、その復号画像を示す復号画像信号をイントラ予測用メモリ２７に格納するとともに、その復号画像信号をループフィルタ部２８に出力する（ステップＳＴ２９）。
　ステップＳＴ２３～ＳＴ２９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施される（ステップＳＴ３０）。
　ループフィルタ部２８は、加算部２６から復号画像信号を受けると、その復号画像信号に対するフィルタリング処理を実施することで、ブロック境界に発生する歪み（ブロック歪み）を除去し、歪み除去後の復号画像信号が示す復号画像を動き補償予測フレームメモリ２９に格納する。
　ループフィルタ部２８におけるフィルタリング処理は、図１のループフィルタ部１１におけるフィルタリング処理と同様であり、その復号画像のブロック歪みを除去する際、可変長復号部２１から出力された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定する。
　なお、可変長復号部２１によりスライスヘッダからフィルタ強度情報多重化フラグ及びフィルタ強度情報が復号されている場合には、そのフィルタ強度情報が示すフィルタ強度ｂＳでフィルタリング処理を実行する。
　以上で明らかなように、この実施の形態１によれば、画像復号装置のループフィルタ部２８が、復号画像のブロック歪みを除去する際、可変長復号部２１から出力された符号化モード（イントラ符号化モード、インター符号化モード）に応じて、ブロック歪みを除去するフィルタの強度を信号成分（輝度信号成分、色差信号成分）別に設定するように構成したので、ブロック歪みの除去精度を高めて、復号画像の品質を改善することができる効果を奏する。
　以上の説明では、フレーム間動き補償予測処理（インター予測処理）を実施する画像符号化装置及び画像復号装置の例を示したが、すべてのフレームに対して、フレーム内予測処理（イントラ予測処理）を実施する画像符号化装置及び画像復号装置であっても、ループフィルタ部１１，２８がブロック歪みを除去するように構成してもよい。
　フレーム内予測処理（イントラ予測処理）とフレーム間動き補償予測処理（インター予測処理）を組み合わせて実施する画像符号化装置及び画像復号装置において、すべてのフレームをイントラ予測処理で符号化するように設定したときに、ループフィルタ部１１，２８の動作を利用しないように制御することも可能である。
　この実施の形態１では、図５に示すように、符号化ブロックＢｎのサイズがＬｎ＝Ｍｎであるものを示したが、符号化ブロックＢｎのサイズがＬｎ≠Ｍｎであってもよい。
　例えば、図１５に示すように、符号化ブロックＢｎのサイズがＬｎ＝ｋＭｎとなる場合が考えられる。
　次の分割では、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ，Ｍｎ）となり、以降の分割は、図５と同様の分割を行ってもよいし、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）のように分割を行ってもよい。
　このような構成により、例えば、Ｍ０＝１６とすることにより、ＭＰＥＧ－２（ＩＳＯ／ＩＥＣ　１３８１８－２）やＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ １４４９６－１０）のような１６×１６画素からなるマクロブロックを横に連結する構成の最大符号化ブロックを定義することができ、既存方式との互換性を維持した画像符号化装置を構成し易いという効果がある。
　なお、Ｌｎ＝ｋＭｎではなく、ｋＬｎ＝Ｍｎのように、縦に連結したものであっても同様の考えで、分割が可能であることは言うまでもない。
　なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
この発明に係る画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法は、符号化モードに応じてフィルタの強度を信号成分別に設定することを備え、ブロック歪みの除去精度を高めて、符号化画像の品質を改善することができるので、ＭＰＥＧやＩＴＵ－Ｔ　Ｈ．２６ｘ等の国際標準映像符号化方式に適用することができる。
　１　符号化制御部（符号化モード決定手段）、２　ブロック分割部（ブロック分割手段）、３　切替スイッチ（予測画像生成手段）、４　イントラ予測部（予測画像生成手段）、５　動き補償予測部（予測画像生成手段）、６　減算部（差分画像生成手段）、７　変換・量子化部（画像圧縮手段）、８　逆量子化・逆変換部（局所復号画像）、９　加算部（局所復号画像）、１０　イントラ予測用メモリ、１１　ループフィルタ部（歪み除去手段）、１２　動き補償予測フレームメモリ、１３　可変長符号化部（符号化手段）、２１　可変長復号部（復号手段）、２２　切替スイッチ（予測画像生成手段）、２３　イントラ予測部（予測画像生成手段）、２４　動き補償部（予測画像生成手段）、２５　逆量子化・逆変換部（差分画像生成手段）、２６　加算部（復号画像生成手段）、２７　イントラ予測用メモリ、２８　ループフィルタ部（歪み除去手段）、２９　動き補償予測フレームメモリ、１０１　ブロック分割部、１０２　予測部、１０３　圧縮部、１０４　局所復号部、１０５　加算器、１０６　ループフィルタ、１０７　メモリ、１０８　可変長符号化部。

Claims (4)

  1. 　入力画像を符号化処理単位のブロックに分割するブロック分割手段と、上記ブロック分割手段により分割されるブロックに対する符号化モードを決定する符号化モード決定手段と、上記符号化モード決定手段により決定された符号化モードにしたがって、上記ブロック分割手段により分割されたブロックに対する符号化処理を実施して、圧縮データを出力する画像符号化装置であって、
    　前記ブロック分割手段により分割されたブロックの予測画像を生成する予測画像生成手段と、上記ブロック分割手段により分割されたブロックと上記予測画像生成手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段により圧縮された差分画像を伸張し、伸張後の差分画像と上記予測画像生成手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、上記局所復号画像生成手段により生成された局所復号画像に対するフィルタリング処理を実施して、上記局所復号画像のブロック歪みを除去する歪み除去手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化モード決定手段により決定された符号化モードを符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する符号化手段とを備え、
    　上記歪み除去手段は、上記局所復号画像のブロック歪みを除去する際、上記符号化モード決定手段により決定された符号化モードに応じてブロック歪みを除去するフィルタの強度を信号成分別に設定することを特徴とする画像符号化装置。
  2. 　画像をブロック単位に圧縮符号化したビットストリームを入力して符号画像を生成する画像符号装置であって、
    　符号化データから各々のブロックに係る圧縮データ及び符号化モードを復号する復号手段と、上記復号手段により復号された符号化モードにしたがって復号済みブロックの復号画像を参照しながら、各々のブロックに対する予測画像を生成する予測画像生成手段と、上記復号手段により復号された圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段により生成された復号画像に対するフィルタリング処理を実施して、上記復号画像のブロック歪みを除去する歪み除去手段とを備え、
    　上記歪み除去手段は、上記復号画像のブロック歪みを除去する際、上記復号手段により復号された符号化モードに応じてブロック歪みを除去するフィルタの強度を信号成分別に設定することを特徴とする画像復号装置。
  3. 　ブロック分割手段が、入力画像を符号化処理単位となるブロックに分割するブロック分割処理ステップと、符号化モード決定手段が、上記ブロック分割処理ステップで分割されるブロックに対する符号化モードを決定する符号化モード決定処理ステップと、予測画像生成手段が、上記符号化モード決定処理ステップで決定された符号化モードにしたがって符号化済みブロックの局所復号画像を参照しながら、上記ブロック分割処理ステップで分割されたブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割されたブロックと上記予測画像生成処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、局所復号画像生成手段が、上記画像圧縮処理ステップで圧縮された差分画像を伸張し、伸張後の差分画像と上記予測画像生成処理ステップで生成された予測画像を加算して局所復号画像を生成する局所復号画像生成処理ステップと、歪み除去手段が、上記局所復号画像生成処理ステップで生成された局所復号画像に対するフィルタリング処理を実施して、上記局所復号画像のブロック歪みを除去する歪み除去処理ステップと、符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化モード決定処理ステップで決定された符号化モードを符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されているビットストリームを生成する符号化処理ステップとを備え、
    　上記歪み除去処理ステップでは、上記局所復号画像のブロック歪みを除去する際、上記符号化モード決定処理ステップで決定された符号化モードに応じてブロック歪みを除去するフィルタの強度を信号成分別に設定することを特徴とする画像符号化方法。
  4. 　復号手段が、ビットストリームに多重化されている符号化データから各々のブロックに係る圧縮データ及び符号化モードを復号する復号処理ステップと、予測画像生成手段が、上記復号処理ステップで復号された符号化モードにしたがって復号済みブロックの復号画像を参照しながら、各々のブロックに対する予測処理を実施して、予測画像を生成する予測画像生成処理ステップと、差分画像生成手段が、上記復号処理ステップで復号された圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測画像生成処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップと、歪み除去手段が、上記復号画像生成処理ステップで生成された復号画像に対するフィルタリング処理を実施して、上記復号画像のブロック歪みを除去する歪み除去処理ステップとを備え、
    　上記歪み除去処理ステップでは、上記復号画像のブロック歪みを除去する際、上記復号処理ステップで復号された符号化モードに応じてブロック歪みを除去するフィルタの強度を信号成分別に設定することを特徴とする画像復号方法。
PCT/JP2012/003680 2011-06-30 2012-06-05 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 WO2013001727A1 (ja)

Priority Applications (21)

Application Number Priority Date Filing Date Title
KR1020147034099A KR101860606B1 (ko) 2011-06-30 2012-06-05 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
KR1020167007538A KR20160038070A (ko) 2011-06-30 2012-06-05 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
KR1020167036262A KR102026519B1 (ko) 2011-06-30 2012-06-05 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
BR112013028175-8A BR112013028175B1 (pt) 2011-06-30 2012-06-05 Dispositivos e métodos de codificação e de decodificação de imagem
JP2013522711A JP5709996B2 (ja) 2011-06-30 2012-06-05 画像復号装置及び画像復号方法
KR1020197027576A KR102111917B1 (ko) 2011-06-30 2012-06-05 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US14/110,366 US9210426B2 (en) 2011-06-30 2012-06-05 Image coding device, image decoding device, image coding method, and image decoding method
KR1020187013151A KR102024516B1 (ko) 2011-06-30 2012-06-05 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
KR1020147001468A KR101607781B1 (ko) 2011-06-30 2012-06-05 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
EP12804396.5A EP2728877A4 (en) 2011-06-30 2012-06-05 IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD
CN201280028658.2A CN103621083B (zh) 2011-06-30 2012-06-05 图像解码装置以及图像解码方法
US14/707,940 US9654773B2 (en) 2011-06-30 2015-05-08 Image coding device, image decoding device, image coding method, and image decoding method
US15/479,584 US9906795B2 (en) 2011-06-30 2017-04-05 Image coding device, image decoding device, image coding method, and image decoding method
US15/868,253 US10334251B2 (en) 2011-06-30 2018-01-11 Image coding device, image decoding device, image coding method, and image decoding method
US16/399,178 US10863180B2 (en) 2011-06-30 2019-04-30 Image coding device, image decoding device, image coding method, and image decoding method
US17/083,441 US11575906B2 (en) 2011-06-30 2020-10-29 Image coding device, image decoding device, image coding method, and image decoding method
US18/093,082 US11831881B2 (en) 2011-06-30 2023-01-04 Image coding device, image decoding device, image coding method, and image decoding method
US18/490,949 US20240048721A1 (en) 2011-06-30 2023-10-20 Image coding device, image decoding device, image coding method, and image decoding method
US18/490,939 US20240048720A1 (en) 2011-06-30 2023-10-20 Image coding device, image decoding device, image coding method, and image decoding method
US18/490,964 US20240048722A1 (en) 2011-06-30 2023-10-20 Image coding device, image decoding device, image coding method, and image decoding method
US18/490,979 US20240048723A1 (en) 2011-06-30 2023-10-20 Image coding device, image decoding device, image coding method, and image decoding method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011145612 2011-06-30
JP2011-145612 2011-06-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/110,366 A-371-Of-International US9210426B2 (en) 2011-06-30 2012-06-05 Image coding device, image decoding device, image coding method, and image decoding method
US14/707,940 Division US9654773B2 (en) 2011-06-30 2015-05-08 Image coding device, image decoding device, image coding method, and image decoding method

Publications (1)

Publication Number Publication Date
WO2013001727A1 true WO2013001727A1 (ja) 2013-01-03

Family

ID=47423659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/003680 WO2013001727A1 (ja) 2011-06-30 2012-06-05 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Country Status (7)

Country Link
US (11) US9210426B2 (ja)
EP (1) EP2728877A4 (ja)
JP (6) JP5709996B2 (ja)
KR (6) KR102111917B1 (ja)
CN (6) CN106713914B (ja)
BR (1) BR112013028175B1 (ja)
WO (1) WO2013001727A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6042001B2 (ja) * 2014-02-03 2016-12-14 三菱電機株式会社 動画像符号化装置及び動画像符号化方法
WO2016199330A1 (ja) * 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
CN113170206A (zh) * 2018-11-02 2021-07-23 索尼集团公司 图像处理装置和图像处理方法
WO2021161914A1 (ja) * 2020-02-10 2021-08-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5705833B2 (ja) * 2010-04-13 2015-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法および画像復号化方法
KR102111917B1 (ko) 2011-06-30 2020-05-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US9967558B1 (en) * 2013-12-17 2018-05-08 Google Llc Adaptive motion search control for variable block size partitions in video coding
CN105981389B (zh) * 2014-02-03 2019-03-01 三菱电机株式会社 图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法
JP2015173312A (ja) * 2014-03-11 2015-10-01 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
CN111373751B (zh) * 2017-08-10 2023-02-28 夏普株式会社 图像滤波装置、图像解码装置以及图像编码装置
CN115955562A (zh) 2017-11-29 2023-04-11 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
CN110062226B (zh) * 2018-01-18 2021-06-11 杭州海康威视数字技术股份有限公司 一种视频编码方法、视频解码方法、装置、系统及介质
AU2018416684B2 (en) * 2018-03-29 2022-12-01 Sony Corporation Image processing apparatus and image processing method
JP7082529B2 (ja) * 2018-06-06 2022-06-08 ルネサスエレクトロニクス株式会社 半導体装置及び半導体装置による処理方法
CN118042170A (zh) * 2018-12-13 2024-05-14 Sk电信有限公司 视频编码设备、视频解码方法和发送设备
KR20200073124A (ko) 2018-12-13 2020-06-23 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
JP7026065B2 (ja) * 2019-03-12 2022-02-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7267191B2 (ja) * 2019-12-26 2023-05-01 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN113709504B (zh) * 2021-10-27 2022-02-15 深圳传音控股股份有限公司 图像处理方法、智能终端及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330436A (ja) * 2001-03-26 2002-11-15 Sharp Corp 選択的な画像フィルタリングを行うための方法、画像の符号化または復号化を実行するための方法およびコーデック
JP2005524346A (ja) * 2002-05-01 2005-08-11 トムソン　ライセンシング　ソシエテ　アノニム クロマ・デブロッキング・フィルタ
WO2005122588A1 (en) * 2004-06-14 2005-12-22 Tandberg Telecom As Method for chroma deblocking
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5150432A (en) * 1990-03-26 1992-09-22 Kabushiki Kaisha Toshiba Apparatus for encoding/decoding video signals to improve quality of a specific region
JP2806308B2 (ja) * 1995-06-30 1998-09-30 日本電気株式会社 音声復号化装置
US6064776A (en) * 1995-10-27 2000-05-16 Kabushiki Kaisha Toshiba Image processing apparatus
US6749339B1 (en) 1999-09-03 2004-06-15 Sumitomo Electric Industries, Ltd. Hydrodynamic bearing assembly and spindle motor having the same
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
EP1515567B1 (en) * 2001-09-12 2006-08-23 Matsushita Electric Industrial Co., Ltd. Image coding method and image decoding method
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
BRPI0303901B1 (pt) * 2002-07-11 2018-03-06 Godo Kaisha Ip Bridge 1 “Método de determinação de poder de filtragem para determinar um poder de filtragem para remover uma distorção de codificação entre blocos que constituem uma imagem, método de decodificação de imagem móvel para decodificar os dados de imagem móvel codificados, aparelho de determinação de poder de filtragem, e aparelho de codificação de imagem móvel”
US7292733B2 (en) * 2002-10-16 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
CN101616329B (zh) * 2003-07-16 2013-01-02 三星电子株式会社 用于色彩图像的视频编码/解码装置和方法
WO2005018239A1 (ja) * 2003-08-19 2005-02-24 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7486740B2 (en) 2004-04-02 2009-02-03 Qualcomm Incorporated Calibration of transmit and receive chains in a MIMO communication system
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
EP1646243B1 (en) * 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
JP4457346B2 (ja) * 2004-11-12 2010-04-28 ノーリツ鋼機株式会社 画像ノイズ除去方法
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8149926B2 (en) * 2005-04-11 2012-04-03 Intel Corporation Generating edge masks for a deblocking filter
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7920628B2 (en) * 2005-07-29 2011-04-05 Broadcom Corporation Noise filter for video compression
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
CN101371584B (zh) * 2006-01-09 2011-12-14 汤姆森特许公司 提供用于多视图视频编码的降低分辨率的更新模式的方法和装置
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4649347B2 (ja) * 2006-02-28 2011-03-09 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP4769605B2 (ja) * 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
JP4360379B2 (ja) * 2006-05-16 2009-11-11 ソニー株式会社 画像処理装置及び画像処理方法、プログラム及び記録媒体
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
CN105430399A (zh) * 2006-11-08 2016-03-23 汤姆逊许可证公司 用于环内去伪影滤波的方法和设备
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
JP5467637B2 (ja) * 2007-01-04 2014-04-09 トムソン ライセンシング マルチビュー・コード化ビデオにおける照度補償および／または色補償についてのコーディング・アーチファクトを低減する方法および装置
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
WO2008090793A1 (ja) 2007-01-22 2008-07-31 Nec Corporation 画像再符号化装置、画像再符号化方法及び画像符号化プログラム
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
JP2008289134A (ja) * 2007-04-20 2008-11-27 Panasonic Corp 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置
JPWO2009001793A1 (ja) * 2007-06-26 2010-08-26 株式会社東芝 画像符号化と画像復号化の方法及び装置
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8619880B2 (en) * 2007-10-10 2013-12-31 Qualcomm Incorporated Universal blockiness correction
CN101212665B (zh) * 2007-12-25 2012-01-25 海信集团有限公司 一种环路滤波方法
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
EP2229782A2 (en) 2008-01-14 2010-09-22 Thomson Licensing Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
JP4919231B2 (ja) * 2008-03-24 2012-04-18 株式会社メガチップス 画像処理装置
JP2010028347A (ja) * 2008-07-17 2010-02-04 Ntt Electornics Corp プレフィルタ
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
CN101754010A (zh) * 2008-12-18 2010-06-23 北京中星微电子有限公司 视频数据编码的环路滤波方法和滤波器
CN101567964B (zh) * 2009-05-15 2011-11-23 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP2011049740A (ja) 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
US10291938B2 (en) * 2009-10-05 2019-05-14 Interdigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
JPWO2011061880A1 (ja) 2009-11-19 2013-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
WO2011136896A1 (en) * 2010-04-27 2011-11-03 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
JP5942990B2 (ja) * 2011-05-27 2016-06-29 ソニー株式会社 画像処理装置および方法
KR102111917B1 (ko) 2011-06-30 2020-05-18 미쓰비시덴키 가부시키가이샤 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
US20130016769A1 (en) * 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
US8396127B1 (en) * 2012-06-27 2013-03-12 Google Inc. Segmentation for video coding using predictive benefit
US9344729B1 (en) * 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
JP6787667B2 (ja) * 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
WO2014107709A2 (en) * 2013-01-07 2014-07-10 Vid Scale, Inc. Enhanced deblocking filters for video coding
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
US8983569B2 (en) 2013-06-22 2015-03-17 Zinus, Inc. Comfortably securing physiological sensors onto a person during sleep
KR102264679B1 (ko) * 2013-10-14 2021-06-14 삼성전자주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
CN105981389B (zh) * 2014-02-03 2019-03-01 三菱电机株式会社 图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法
US10306246B2 (en) * 2015-02-13 2019-05-28 Mediatek Inc. Method and apparatus of loop filters for efficient hardware implementation
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
US11683487B2 (en) * 2019-03-26 2023-06-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002330436A (ja) * 2001-03-26 2002-11-15 Sharp Corp 選択的な画像フィルタリングを行うための方法、画像の符号化または復号化を実行するための方法およびコーデック
JP2005524346A (ja) * 2002-05-01 2005-08-11 トムソン　ライセンシング　ソシエテ　アノニム クロマ・デブロッキング・フィルタ
WO2005122588A1 (en) * 2004-06-14 2005-12-22 Tandberg Telecom As Method for chroma deblocking
JP2009004920A (ja) * 2007-06-19 2009-01-08 Panasonic Corp 画像符号化装置および画像符号化方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2728877A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6042001B2 (ja) * 2014-02-03 2016-12-14 三菱電機株式会社 動画像符号化装置及び動画像符号化方法
US9756340B2 (en) 2014-02-03 2017-09-05 Mitsubishi Electric Corporation Video encoding device and video encoding method
WO2016199330A1 (ja) * 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
JPWO2016199330A1 (ja) * 2015-06-12 2018-04-05 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US10681380B2 (en) 2015-06-12 2020-06-09 Panasonic Intellectual Property Management Co., Ltd. Image encoding method, image decoding method, image encoding apparatus, and image decoding apparatus
CN113170206A (zh) * 2018-11-02 2021-07-23 索尼集团公司 图像处理装置和图像处理方法
WO2021161914A1 (ja) * 2020-02-10 2021-08-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法

Also Published As

Publication number Publication date
US20150319463A1 (en) 2015-11-05
US10334251B2 (en) 2019-06-25
CN106658014B (zh) 2021-01-08
KR20170003705A (ko) 2017-01-09
US10863180B2 (en) 2020-12-08
CN103621083A (zh) 2014-03-05
KR20180054893A (ko) 2018-05-24
KR20190110159A (ko) 2019-09-27
CN106658015B (zh) 2020-08-18
EP2728877A4 (en) 2014-12-03
KR20150009984A (ko) 2015-01-27
JP2016158283A (ja) 2016-09-01
CN106941608B (zh) 2021-01-15
CN106954067B (zh) 2020-08-18
JP5921651B2 (ja) 2016-05-24
JP2018082498A (ja) 2018-05-24
JP2020102855A (ja) 2020-07-02
JP2019050637A (ja) 2019-03-28
US20140044369A1 (en) 2014-02-13
JP6463521B2 (ja) 2019-02-06
US9210426B2 (en) 2015-12-08
JP6863669B2 (ja) 2021-04-21
JPWO2013001727A1 (ja) 2015-02-23
KR20160038070A (ko) 2016-04-06
CN106941608A (zh) 2017-07-11
CN106658014A (zh) 2017-05-10
CN106954067A (zh) 2017-07-14
US11831881B2 (en) 2023-11-28
US20240048722A1 (en) 2024-02-08
US20240048720A1 (en) 2024-02-08
CN103621083B (zh) 2017-04-12
JP6632456B2 (ja) 2020-01-22
US20180139452A1 (en) 2018-05-17
CN106713914B (zh) 2021-06-01
US20240048723A1 (en) 2024-02-08
CN106658015A (zh) 2017-05-10
US20240048721A1 (en) 2024-02-08
KR101607781B1 (ko) 2016-03-30
US20190261002A1 (en) 2019-08-22
KR102026519B1 (ko) 2019-09-27
CN106713914A (zh) 2017-05-24
KR101860606B1 (ko) 2018-05-23
KR102111917B1 (ko) 2020-05-18
KR102024516B1 (ko) 2019-09-24
US11575906B2 (en) 2023-02-07
US20230147899A1 (en) 2023-05-11
US9906795B2 (en) 2018-02-27
BR112013028175A2 (pt) 2017-01-10
US20170244971A1 (en) 2017-08-24
US20210044806A1 (en) 2021-02-11
EP2728877A1 (en) 2014-05-07
JP6667609B2 (ja) 2020-03-18
JP5709996B2 (ja) 2015-04-30
US9654773B2 (en) 2017-05-16
KR20140027483A (ko) 2014-03-06
JP2015062312A (ja) 2015-04-02
BR112013028175B1 (pt) 2022-05-31

Similar Documents

Publication Publication Date Title
JP6863669B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
JP6005087B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及び符号化データのデータ構造
JP6082073B2 (ja) 画像復号装置、画像復号方法、画像符号化装置、画像符号化方法及びビットストリーム
WO2012081162A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2014049981A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
WO2013108882A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2013522711

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12804396

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14110366

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012804396

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20147001468

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013028175

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013028175

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20131031