WO2013042923A1 - 영상 정보 인코딩/디코딩 방법 및 장치 - Google Patents

영상 정보 인코딩/디코딩 방법 및 장치 Download PDF

Info

Publication number
WO2013042923A1
WO2013042923A1 PCT/KR2012/007468 KR2012007468W WO2013042923A1 WO 2013042923 A1 WO2013042923 A1 WO 2013042923A1 KR 2012007468 W KR2012007468 W KR 2012007468W WO 2013042923 A1 WO2013042923 A1 WO 2013042923A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
boundary
deblocking filtering
filtering
target
Prior art date
Application number
PCT/KR2012/007468
Other languages
English (en)
French (fr)
Inventor
박승욱
임재현
전용준
김철근
김정선
박내리
헨드리헨드리
전병문
박준영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020217030108A priority Critical patent/KR102392019B1/ko
Priority to KR1020147010209A priority patent/KR102047491B1/ko
Priority to KR1020227045533A priority patent/KR102590030B1/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP12834499.1A priority patent/EP2750385A4/en
Priority to CN201280055187.4A priority patent/CN103947203B/zh
Priority to KR1020207021265A priority patent/KR102219231B1/ko
Priority to KR1020217004740A priority patent/KR102305587B1/ko
Priority to KR1020227013638A priority patent/KR102482777B1/ko
Priority to KR1020197033742A priority patent/KR102138260B1/ko
Publication of WO2013042923A1 publication Critical patent/WO2013042923A1/ko
Priority to US14/220,753 priority patent/US8971419B2/en
Priority to US14/615,771 priority patent/US9986263B2/en
Priority to US14/615,724 priority patent/US9264739B2/en
Priority to US15/962,939 priority patent/US10298962B2/en
Priority to US16/387,251 priority patent/US10666983B2/en
Priority to US16/848,659 priority patent/US11172234B2/en
Priority to US17/500,823 priority patent/US20220038694A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Definitions

  • the present invention relates to image information compression technology, and more particularly, to a method of applying a deblocking filter as an in-loop filter.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • inter prediction and intra prediction may be used.
  • the pixel value of the current picture is predicted by referring to information of another picture
  • the intra prediction method the pixel value is predicted by using the correlation between pixels in the same picture. do.
  • Various methods for making an image identical to an original may be applied to a processing unit, eg, a block, of a predicted image. This allows the decoding apparatus to decode the image more accurately (more consistent with the original), and the encoding apparatus can encode the image so that it can be more accurately reconstructed.
  • An object of the present invention is to provide a method and apparatus for effectively reconstructing an image close to an original by effectively removing deblocking artifacts in applying deblocking filtering.
  • An object of the present invention is to provide a method and apparatus that can increase the compression efficiency by reducing the complexity in applying the deblocking filtering.
  • An object of the present invention is to provide a method and apparatus that can reduce complexity by effectively setting a unit block for determining boundary strength (bS) in applying deblocking filtering.
  • An object of the present invention is to provide a method and apparatus capable of reducing complexity by effectively setting a bS value in applying deblocking filtering.
  • An embodiment of the present invention provides a method for deriving a boundary strength (bS), comprising: deriving a boundary of a deblocking filtering unit block, which is a unit block to which deblocking filtering is applied, and setting a boundary strength (bS) in the deblocking filtering unit block And setting bS for each unit block, and in the bS setting step, a bS value may be set for a target boundary corresponding to a boundary of the deblocking filtering unit block as a boundary of the bS setting unit block.
  • the bS value of the target boundary is set to bS2, and at least one of the two blocks bordering the target boundary is intra coding. If the target boundary is the target of deblocking filtering, the bS value of the target boundary is set to bS1. If the target boundary is not the target of deblocking filtering, the bS value of the target boundary is not applied. May be set to bS0, and bS0, bS1, and bS2 may have a relationship of bS0 ⁇ bS1 ⁇ bS2.
  • bS When bS is set to bS1, at least one of two blocks bordering the target boundary is not intra-coded, and at least one of two blocks bordering the target boundary has a non-zero transform coefficient. And a case in which two blocks bordering the target boundary have different reference pictures or different motion vectors.
  • the deblocking filtering unit block may be any one of a coding block, a transform block, a prediction block, and an 8x8 pixel block.
  • the bS determination unit block may be a 4x4 pixel block.
  • Another embodiment of the present invention is a deblocking filtering method, comprising: setting bS for each boundary block (bS) setting unit block for a target boundary, and applying deblocking filtering for each target block to deblocking filtering for the target boundary.
  • bS boundary block
  • a bS value may be set for a target boundary corresponding to a boundary of the deblocking filtering unit block as a boundary of the bS setting unit block.
  • the bS value of the target boundary is set to bS2, and at least one of the two blocks bordering the target boundary is intra coding. If the target boundary is the target of deblocking filtering, the bS value of the target boundary is set to bS1. If the target boundary is not the target of deblocking filtering, the bS value of the target boundary is not applied. May be set to bS0, and bS0, bS1, and bS2 may have a relationship of bS0 ⁇ bS1 ⁇ bS2.
  • bS When bS is set to bS1, at least one of two blocks bordering the target boundary is not intra-coded, and at least one of two blocks bordering the target boundary has a non-zero transform coefficient. And a case in which two blocks bordering the target boundary have different reference pictures or different motion vectors.
  • the bS value set for the target boundary is greater than bS0 and deblocking filtering is applied, it may be determined whether to apply strong filtering or weak filtering.
  • Whether to apply the strong filtering or the weak filtering may be determined based on samples of two blocks bordering the target boundary. If the target boundary is a vertical edge, the sample rows bounded by the target boundary may be determined. Based on samples that are subject to deblocking filtering among samples, when the object boundary is a horizontal edge, based on samples that are subject to deblocking filtering among samples of sample columns bounded by the object boundary. In addition, it may be determined whether to apply the strong filtering or the weak filtering.
  • filtering may be applied only to predetermined samples among samples that are subject to deblocking filtering.
  • the deblocking filtering unit block may be any one of a coding block, a transform block, a prediction block, and an 8x8 pixel block.
  • the bS determination unit block may be a 4x4 pixel block.
  • the present invention in applying the deblocking filtering, it is possible to effectively remove the deblocking artifacts and to reconstruct the image closer to the original.
  • the complexity may be reduced to increase the compression efficiency.
  • complexity in applying deblocking filtering, complexity can be reduced by effectively setting a unit block for determining boundary strength (bS).
  • the complexity can be reduced by effectively setting the bS value in applying the deblocking filtering.
  • FIG. 1 is a block diagram schematically illustrating an encoding apparatus (video encoding apparatus) according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a flowchart schematically illustrating a method of applying a deblocking filter according to the present invention.
  • FIG. 4 is a diagram schematically illustrating a method of deblocking filtering according to the present invention.
  • FIG. 5 is a flowchart schematically illustrating an example of a method of obtaining bS.
  • FIG. 6 is a diagram illustrating an object boundary of deblocking filtering when the unit block of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block.
  • FIG. 7 is a diagram schematically illustrating an example of a method of determining a representative bS value in a unit block for performing deblocking filtering.
  • FIG. 8 is a diagram schematically illustrating another example of a method of determining a representative bS value in a unit block for performing deblocking filtering.
  • FIG. 9 is a flowchart schematically illustrating another example of a method of determining bS.
  • FIG. 10 is a flowchart schematically illustrating another example of a method of obtaining bS.
  • FIG. 11 is a flowchart schematically illustrating a method of determining bS as an example of a bS decision tree applied when OMBC is applied.
  • FIG. 12 is a flowchart schematically illustrating a method of determining bS as another example of a bS decision tree applied when OMBC is applied.
  • FIG. 13 is a diagram schematically illustrating an example of a method of determining bS to apply deblocking filtering.
  • FIG. 14 is a diagram schematically illustrating another example of a method of determining bS to apply deblocking filtering.
  • 15 and 16 are flowcharts schematically illustrating examples of a method of determining a representative bS.
  • 17 is a flowchart schematically illustrating a method of encoding an image according to the present invention.
  • FIG. 18 is a flowchart schematically illustrating a method of decoding an image according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of different characteristic functions in the image encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit block.
  • the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
  • the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
  • the processing unit in which the prediction is performed and the processing unit in which the details of the prediction method and the prediction method are determined may be different.
  • the prediction method and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block having the same size as the PU may be selected.
  • the reference block may be selected in integer pixel units.
  • a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
  • the motion vector may also be expressed in units of integer pixels or less. For example, it may be expressed in units of 1/4 pixels for luminance samples and in units of 1/8 pixels for chrominance samples.
  • the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transformer 115 performs transform on the residual block in transform units and generates transform coefficients.
  • the transform unit in the converter 115 may be a TU and may have a quad tree structure. In this case, the size of the transform unit may be determined within a range of a predetermined maximum and minimum size.
  • the transform unit 115 may convert the residual block using a discrete cosine transform (DCT) and / or a discrete sine transform (DST).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the quantizer 120 may generate quantization coefficients by quantizing the residual values transformed by the converter 115.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantization coefficients provided from the quantization unit 120. By reordering the quantization coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantization coefficients in the form of a two-dimensional block into a one-dimensional vector form through a coefficient scanning method.
  • the reordering unit 125 may increase the entropy encoding efficiency of the entropy encoding unit 130 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
  • the entropy encoding unit 130 may perform entropy encoding on the quantization coefficients rearranged by the reordering unit 125.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoding unit 130 may include quantization coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, motion vector information, etc. of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • the inverse quantization unit 135 inverse quantizes the quantized values in the quantization unit 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantization unit 135.
  • the reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • the image decoding apparatus 200 may include an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the image encoding apparatus.
  • variable length coding such as CAVLC (VLC)
  • VLC variable length coding
  • the entropy decoding unit 210 also uses the VLC used in the encoding apparatus. Entropy decoding may be performed by implementing the same VLC table as the table.
  • CABAC CABAC is used to perform entropy encoding in the image encoding apparatus
  • the entropy decoding unit 210 may perform entropy decoding using CABAC correspondingly.
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the prediction unit 230, and the residual value where the entropy decoding is performed by the entropy decoding unit 210 is transferred to the reordering unit 215. Can be entered.
  • the reordering unit 215 may reorder the entropy decoded bitstream by the entropy decoding unit 210 based on a method of reordering the image encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may be realigned by receiving information related to coefficient scanning performed by the encoding apparatus and performing reverse scanning based on the scanning order performed by the encoding apparatus.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the image encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transform unit 225 of the decoding apparatus is configured in the transformation unit of the encoding apparatus.
  • Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
  • motion information required for inter prediction of the current PU provided by the image encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • FIG. 2 it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the residual is not transmitted and the prediction block may be a reconstruction block.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
  • SAO sample adaptive offset
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • the filter unit of the encoding device and the decoding device may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) as an in-loop filter.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter removes artifacts between blocks due to block-by-block prediction, transformation, and quantization.
  • the deblocking filter is applied to the prediction unit edge or the transform unit edge, and can set a predetermined minimum block size for applying the deblocking filter.
  • the deblocking filter To apply the deblocking filter, first determine the BS (Boundary Strength) of the horizontal or vertical filter boundary. Whether to perform filtering based on the BS is determined in units of blocks. If you decide to perform filtering, decide which filter to apply.
  • the filter to be applied may be selected from a weak filter and a strong filter.
  • the filtering unit applies the selected filter to the boundary of the corresponding block.
  • the adaptive loop filter may be applied after performing the SAO described later.
  • ALF compensates for encoding errors by using a Wiener filter, and unlike SAO, ALF is applied globally in a slice.
  • ALF may be applied only in the case of HE (High Efficiency).
  • SAO is a procedure for restoring the offset difference from the original image on a pixel-by-pixel basis for the deblocking filtering image.
  • a coding error may be compensated for through SAO, and the coding error may be due to quantization.
  • SAO There are two types of SAO: band offset and edge offset.
  • block distortion may occur at a boundary between reconstructed blocks.
  • the deblocking filter may be applied to prevent block distortion, and the deblocking filter may be applied by distinguishing a position where block distortion easily occurs and a position where block distortion does not easily occur within the same image or picture.
  • the deblocking filter may be applied in different ways to positions where block distortion is likely to occur and positions where block distortion is unlikely to occur.
  • the boundary boundary (bS) for the boundary between blocks is referred to as 'bS'.
  • deblocking filtering based on the determined bS.
  • the CU is an I_PCM CU, that is, a PCM (Pulse Coding Modulation) CU to which intra prediction is applied, deblocking filtering is not applied. Since the I_PCM mode does not go through quantization and transformation, the same value as the original data is restored.
  • I_PCM CU that is, a PCM (Pulse Coding Modulation) CU to which intra prediction is applied
  • deblocking filtering is not applied. Since the I_PCM mode does not go through quantization and transformation, the same value as the original data is restored.
  • the in-loop filter is not applied to the CU of the I_PCM mode (I_PCM CU).
  • the deblocking filtering process may set the quantization parameter qP for the I_PCM CU to zero to prevent the deblocking filter from being applied to the I_PCM CU.
  • FIG. 3 is a flowchart schematically illustrating a method of applying a deblocking filter according to the present invention.
  • the deblocking filtering described in FIG. 3 may be performed in the encoding apparatus and the decoding apparatus.
  • the filtering unit of FIGS. 1 and 2 may perform the deblocking filtering described in FIG. 3.
  • Deblocking filtering is applied first to a vertical edge between blocks in the current picture and then to a horizontal edge between blocks in the current picture. Deblocking filtering is applied to the horizontal edges in the current picture with the modified sample by deblocking filtering of vertical edges.
  • the deblocking filtering procedure described in FIG. 3 may be applied to the vertical edge in the current picture and then to the horizontal edge in the current picture.
  • a block boundary is derived to apply deblocking filtering (S310).
  • the filter unit sets the size of the current coding block or the current Large Coding Unit (LCU) (hereinafter referred to as a coding block for convenience of description), and the boundary of the current coding block is It may be determined whether the boundary of the current coding block is not the picture boundary, the boundary of which the deblocking filter is applied as the boundary of the tile, and the boundary of the current coding block is the boundary to which the deblocking filter is applied as the boundary of the slice.
  • LCU Large Coding Unit
  • the left boundary of the current coding block may be excluded from the object of the deblocking filtering. If the left boundary of the current coding block is the left boundary of the current tile and you decide not to apply a filter to the edges of the current tile, or if the left boundary of the current coding block is the left boundary of the current slice and you decide not to apply the filter to the edges of the current slice. In this case, the left boundary of the current coding block may be excluded from the object of deblocking filtering. Accordingly, for the deblocking filtering of the vertical edge, the deblocking filtering may be applied to the left boundary of the current coding block if not the case.
  • the deblocking filter when the deblocking filter is applied to the horizontal edge, if a top boundary of the current coding block is an upper boundary of the current picture, the upper boundary of the current coding block may be excluded from the object of the deblocking filtering. If the upper boundary of the current coding block is the upper boundary of the current tile and you decide not to apply a filter to the edges of the current tile, or the upper boundary of the current coding block is the upper boundary of the current slice and you decide not to apply the filter to the edges of the current slice. In this case, the upper boundary of the current coding block may be excluded from the object of deblocking filtering. For the deblocking filtering of the horizontal edge, the deblocking filtering may be applied to the upper boundary of the current coding block if not the case.
  • applying filtering to a boundary means performing filtering on predetermined samples located at both sides of the boundary.
  • the filter unit may induce block boundaries with respect to the vertical edges of the transform block and the prediction block when the deblocking filtering is applied to the vertical edges in the picture, and when the deblocking filtering is applied to the horizontal edges in the picture.
  • Block boundaries can be derived for the horizontal edges of the transform block and the prediction block.
  • a boundary of the transform block may be derived for the corresponding edge depending on whether deblocking filtering is applied to the corresponding edge of the coding block.
  • a boundary may be derived for each block to be divided.
  • the filter unit may induce a boundary for each partition of the prediction block.
  • the partitions of the prediction block are 2NxN pixel blocks, NxN pixel blocks, 2NxnU pixel blocks, 2NxnD pixel blocks (N, U, and D are integers corresponding to the number of pixels, and n is an integer corresponding to the number of prediction blocks in the coding block. )
  • Edges can be derived for each partition.
  • bS for a block boundary to which the deblocking filter is applied is derived (S320).
  • bS is determined for each edge in the current coding block.
  • bS may be derived for each vertical edge
  • bS may be derived for each horizontal edge when deblocking filtering is applied to horizontal edges in the picture.
  • bS may be derived per edge of the transform block or may be derived per edge of the prediction block.
  • bS may be derived in units of blocks of a predetermined size, for example, in units of 8x8 pixel blocks or 4x4 pixel blocks.
  • bS may be derived for an edge of a block satisfying a specific condition among a transform block, a prediction block, and a predetermined size block in the current coding block.
  • a bS may be derived for each smaller block of a transform block (eg, TU) and a prediction block (eg, a PU) and a larger block of a predetermined size block (eg, an 8x8 pixel block).
  • bS is a pixel unit corresponding to the size of a block that is a unit of bS determination at the boundary of a block to which deblocking is applied (for example, L pixel unit if the unit of bS determination is an LxL pixel block (L is an integer)). Can be determined. Derivation of specific values of bS will be described later.
  • deblocking filtering may not be applied to the edge.
  • deblocking filtering may not be applied to the edge.
  • deblocking filtering may not be applied to the edge.
  • the reference bS bS th1 and bS th2 may be set identically or differently.
  • an additional threshold value (called Th1 for convenience of description) may be set. For example, when the reference bS value is set to 0, when the bS value for the target edge is larger than 0, Th1 may be used to determine whether to turn on / off the deblocking filtering at the block level. For example, the deblocking filter may be applied to the target edge when the value derived from the target edge is larger than Th1.
  • deblocking filtering is applied to vertical edges in a picture is a value derived from the target vertical edge for comparison with Th1, which is defined in two blocks bounded by the corresponding vertical edge in a specific sample row.
  • the difference between the samples to be filtered may be considered. For example, for samples in the k th sample row (k is an integer), the sum of the differences between the samples to be filtered adjacent to the vertical edge in the left block of the vertical edge, DL k (eg, a deblocking filter is applied).
  • the sum of the difference between the first sample from the vertical edge and the second sample from the vertical edge and the difference between the third sample from the vertical edge and the second sample from the vertical edge The sum of the difference between the samples to be filtered adjacent to the vertical edge in the right block (current block) of the vertical edge DR k (e.g., if the deblocking filter is applied three samples from the vertical edge are to be filtered).
  • the first sample from the vertical edge and the second sample from the vertical edge and the third sample from the vertical edge and the second sample from the vertical edge The sum of the differences of the players).
  • the sum D k of the DL k and the DR k may be compared with the Th1 to apply the deblocking filtering to the corresponding vertical edge when the D k is smaller than the Th1. If D k is less than Th1, then considering the quantization parameter, it is considered that the vertical boundary is not an effective boundary (e.g., the actual boundary of the image in the original picture, etc.) and does not apply the deblocking filter. It can be judged to be close to the original.
  • the D value may be derived by collecting the absolute values of the sums of the differences between the sample to be filtered for each sample row and each block.
  • the D value considering the k th sample row and the k + j th sample rows of the left block L and the right block R with respect to the vertical edge may be derived as in Equation 1 below.
  • DL K is the sum of the differences between samples to be filtered adjacent to the vertical edge in the k th sample row of the left block. If deblocking filtering is applied to three samples adjacent to the vertical edge, then DL K is perpendicular to the difference between the first sample from the vertical edge and the second sample from the vertical edge in the kth sample row of the left block of the vertical edge. It can be derived as the sum of the difference between the third sample from the edge and the second sample from the vertical edge. DR K is the sum of the differences between samples to be filtered adjacent to the vertical edge in the k th sample row of the right block.
  • DR K is the difference between the first sample from the vertical edge and the second sample from the vertical edge in the kth sample row of the right edge of the vertical edge. And the sum of the difference between the third sample from the vertical edge and the second sample from the vertical edge.
  • D k may be defined as Equation 2 considering only k sample rows.
  • D is less than Th1 and D k and k + 3 for the k th sample row. If D k + 3 for the first sample row is smaller than half of Th1 (Th1 / 2), respectively, strong filtering may be applied to the corresponding vertical edge. Alternatively, if D is less than Th1 but D k is not less than Th1 / 2 or D k + 3 is not less than Th1 / 2, weak filtering may be applied to the corresponding vertical edge.
  • the filtering may be applied only to a specific sample among the samples to be filtered.
  • the filter coefficient may be applied differently from the strong filtering. For example, consider the case where the samples to be filtered are six samples (three samples on the left and three samples on the right) positioned to the left and right of the vertical edge, while the strong filtering is applied to all the samples to be filtered. The filtering may be applied to two samples located on the left side of the target edge and two samples located on the right side of the target edge. In this case, the filter coefficients of the strong filtering and the weak filtering may also be different.
  • the sum DT k of the difference between the samples to be filtered adjacent to the horizontal edge in the upper block of the horizontal edge e.g, If a deblocking filter is applied, the difference between the first sample from the horizontal edge and the second sample from the horizontal edge and the third sample from the horizontal edge and the second sample from the horizontal edge, Sum of the differences
  • the sum of the differences between the samples to be filtered adjacent to the horizontal edge in the lower block (current block) of the horizontal edge DB k e.g., three samples from the horizontal edge if a deblocking filter is applied.
  • the samples are three times from the horizontal edge and the difference between the first sample from the horizontal edge and the second sample from the horizontal edge. From the sample and a horizontal edge it can be derived the sum of two difference in the second sample). Compare DT k D k and the sum of k and the DB Th1, it could be to apply a deblocking filter to the horizontal edges in the case where D k is less than Th1.
  • the sample row considered for the vertical edge and the sample column considered for the horizontal edge may be the sample row and the sample column corresponding to each other. For example, if the 0th sample row and the 3rd sample row are targeted for the vertical edge, the 0th sample column and the 3rd sample column may be targeted for the horizontal edge.
  • an absolute value may be respectively applied to the sums of differences between the sample column and the sample to be filtered for each block.
  • the D value considering the k th sample column and the k + j th sample columns of the upper block T and the right block B with respect to the horizontal edge may be derived as in Equation 3 below.
  • DT K is the sum of the differences between the samples to be filtered adjacent to the horizontal edges in the k-th sample column of the upper block. If deblocking filtering is applied to three samples adjacent to the horizontal edge, DT K is the horizontal difference between the first sample from the horizontal edge and the second from the horizontal edge in the kth sample column of the block above the horizontal edge. It can be derived as the sum of the difference between the third sample from the edge and the second sample from the horizontal edge. DB K is the sum of the differences between the samples to be filtered adjacent to the horizontal edge in the k th sample column of the lower block.
  • DB K is the difference between the first sample from the horizontal edge and the second sample from the horizontal edge in the kth sample column of the horizontal edge lower block. And the sum of the difference between the third sample from the horizontal edge and the second sample from the horizontal edge.
  • the deblocking filtering can be applied more effectively by considering the sum of the differences between adjacent samples to be filtered for each sample column.
  • D k may be defined as Equation 4 by considering only k sample columns.
  • D is less than Th1 and the D k and k + 3 th samples for the k th sample column. If D k + 3 for a column is less than half of Th1 (Th1 / 2), respectively, then strong filtering may be applied to the corresponding horizontal edge. Alternatively, if D is less than Th1 but D k is not less than Th1 / 2 or D k + 3 is not less than Th1 / 2, weak filtering may be applied to the corresponding horizontal edge.
  • the filtering may be applied only to a specific sample among the samples to be filtered.
  • the filter coefficient may be applied differently from the strong filter. For example, consider the case where the samples to be filtered are six samples located above and below the horizontal edge (three samples on the edge and three samples on the edge), while strong filtering is applied to all the samples to be filtered. The filtering may be applied to two samples located above the target edge and two samples located below the target edge. In this case, the filter coefficients of the strong filtering and the weak filtering may also be different.
  • Strong and weak filtering may be applied to the vertical and horizontal edges in the same way (eg, with the same filter coefficients or offsets).
  • a predetermined method for example, , Deblocking filter can be applied according to the filter coefficient or offset.
  • Deblocking filter can be applied according to the filter coefficient or offset.
  • FIG. 3 illustrates a method of applying deblocking filtering in large steps such as derivation of block boundaries (S310), derivation of bS (S320), and filtering application (S330), a process of applying filtering from determination of bS is described. The above description may be divided into more detailed steps.
  • the bS determination target edge is the edge for the smaller block of the TU and the PU. It may be an edge of a predetermined unit block (eg, an 8 ⁇ 8 pixel block), and may be an edge of a small unit block among TUs and a PU and a large block among predetermined unit blocks.
  • a predetermined sample row of blocks on either side of the boundary (edge) as described above. (E.g., second and fifth sample rows) may be used.
  • the bS determination target edge may be the edge for the smaller block of the TU and the PU. It may be an edge of a predetermined unit block (eg, an 8 ⁇ 8 pixel block), or an edge of a smaller unit block of a TU or a PU and a larger block of a predetermined unit block.
  • a predetermined sample sequence of blocks on either side of the boundary (edge) can be used.
  • deblocking filtering is performed 401 on an edge within a coding block in units of a coding block (eg, LCU). As described above, after performing deblocking filtering (horizontal filtering) on the vertical edge of the entire current picture, deblocking filtering (vertical filtering) on the horizontal edge is performed on the entire current picture.
  • deblocking filtering horizontal filtering
  • vertical filtering vertical filtering
  • FIG. 5 is a flowchart schematically illustrating an example of a method of obtaining bS.
  • the current block is denoted by Q in the deblocking filtering process
  • the block encoded / decoded earlier than the current block is denoted by P as a block neighboring the current block.
  • the left block is called P and the right block is Q at the boundary of the vertical edge.
  • the upper block is called P and the lower block is Q, with the horizontal edge as a boundary.
  • the boundary between P and Q is a CU boundary (S520).
  • the CU boundary may be a boundary of the LCU.
  • step S520 when the boundary between P and Q is the boundary of the CU, the value of bS for the boundary between P and Q is determined as 4 (S530).
  • step S520 when the boundary between P and Q is not the boundary of the CU, the value of bS for the boundary between P and Q is determined as 3 (S540).
  • P and / or Q are not intra coded, it is determined whether P and / or Q include nonzero coefficients (transform coefficients) (S550).
  • the filter unit may determine whether the presence of the non-zero transform coefficient is based on the transform coefficient before dequantization. In addition, the filter unit may determine whether a non-zero transform coefficient exists based on the transform coefficient after dequantization.
  • step S550 when P and / or Q includes a coefficient (a nonzero transform coefficient), bS for the boundary between P and Q is determined as 2 (S560).
  • step S570 when P and Q have different reference pictures or different motion vectors, bS for the boundary between P and Q is determined as 1 (S580).
  • bS for the boundary between P and Q is set to 0 (S590).
  • S590 a case in which all of the above conditions are not described is described as an example for convenience of description.
  • values of variables required for deblocking filtering may be set according to the bS value.
  • t C offset is a value set by the user to determine the t C value optimized for the image characteristic.
  • t C is one of a threshold value used to quantify the blocking artifact according to the degree of quantization to determine a parameter related to deblocking filtering.
  • an example is set to 0 when the bS value is 0, 1 or 2, and is set to 2 when the bS value is 3 or 4.
  • the block unit and the determination method for determining bS described above with reference to FIGS. 3 and 5 may be modified and applied.
  • the bS may be determined in a unit equal to or smaller than a block unit performing the actual deblocking filtering.
  • bS when the actual deblocking filtering is performed on a luma sample in units of 8x8 pixels, bS may be determined in units of 4x4 pixels.
  • BS can be determined only at the boundary corresponding to In other words, when determining bS for each LxL (L is integer) pixel block, bS is determined in L pixel units at the boundary of a unit block for performing deblocking filtering.
  • the block unit for determining bS is a 4x4 pixel block, and the actual deblocking filtering is performed in 8x8 pixel block units. That is, bS is determined in units of 4 pixels at the boundary of the 8x8 pixel block in which the deblocking filtering is performed. Therefore, it is not necessary to determine bS for the edge of the 4x4 pixel block inside the 8x8 pixel block, which is a unit of deblocking filtering.
  • FIG. 6 is a diagram illustrating an object boundary of deblocking filtering when the unit block of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block.
  • bS may not be determined for a boundary located inside the unit block for performing deblocking filtering among the boundary of the unit block for determining bS.
  • a representative bS for edges of a unit block to which deblocking filtering is applied may be determined.
  • FIG. 7 is a diagram schematically illustrating an example of a method of determining a representative bS value in a unit block for performing deblocking filtering.
  • the unit block 700 of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block will be described as an example.
  • a vertical edge which is a boundary (edge) of a 4x4 pixel block that becomes a unit block of the determination of bS and a boundary of the unit block 700 of the deblocking filtering and There is a horizontal edge.
  • the vertical edge in the unit block 700 of the deblocking filtering, there are two vertical edges 710 and 720 which are objects of the bS determination.
  • the bS of the first vertical edge 710 and the bS of the second vertical edge 720 are compared to determine a larger bS as the representative bS for the vertical edge of the unit block 700 of the deblocking filtering. .
  • the unit block 700 of the deblocking filtering is 2, which is the bS value of the second vertical edge 720. This can be determined by the representative bS value for the vertical edge that is the left boundary of.
  • the vertical edge is described as an example for convenience of description, but the same method may be applied to the horizontal edge.
  • deriving bS for each of the two edges that become the upper boundary of the 4x4 pixel block in the unit block 700 of the deblocking filtering and deblocking the larger bS. It can be determined as a representative bS for the horizontal edge that is the upper boundary of the unit block 700 of filtering.
  • one of the two bS values may be used as the representative bS value.
  • a method of deriving only bS for one edge among the edges for the unit block of the deblocking filtering may be considered.
  • FIG. 8 is a diagram schematically illustrating another example of a method of determining a representative bS value in a unit block for performing deblocking filtering. Also in FIG. 8, the case where the unit block 800 of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block will be described as an example.
  • bS is determined only for the 0 th edge 810 of two vertical edges 810 and 820 to be determined in the unit block 800 of the deblocking filtering. .
  • bS is calculated only for the vertical edge and the horizontal edge of the unit block of the 0th bS determination for each unit block of deblocking filtering, and the calculated bS is used as the representative bS for the unit block of the deblocking filtering.
  • the unit block of the deblocking filtering is an 8x8 pixel block and the unit block of the bS determination is a 4x4 pixel block
  • bS can be determined only for the vertical edge and the horizontal edge of the 0th block (the upper left block) and used as the representative bS for the unit block of the deblocking filtering.
  • the process of determining the bS can be simplified to determine the bS as a process corresponding to 1/4 of the existing process, and the memory for storing the bS is also 1/4 of the existing process. Can be reduced.
  • the bS determination process may be simplified in consideration of the bS decision tree (bS decision tree) as shown in FIG. 5.
  • the deblocking filtering process may not use the bS values in detail. For example, only bS> 0 may be determined, only bS> 1 may be determined, or only bS> 2 may be determined.
  • the deblocking filtering may be performed by further simplifying the bS decision tree as in the example of FIG. 5.
  • FIG. 9 is a flowchart schematically illustrating another example of a method of determining bS.
  • bS for the boundary between P and Q is determined as bS3 (S920).
  • the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient to which inverse quantization is applied.
  • step S930 when P and / or Q includes a coefficient (a nonzero transform coefficient), the bS value for the boundary between P and Q is determined as bS2 (S940).
  • step S930 If P and / or Q do not include coefficients (non-zero transform coefficients) in step S930, it is determined whether P and Q have different reference pictures or P and Q have different motion vectors (S950). ).
  • step S950 when P and Q have different reference pictures or P and Q have different motion vectors, bS for the boundary between P and Q is determined as bS1 (S960).
  • bS for the boundary between P and Q is set to bS0 (S970).
  • bS values determined in steps S920, S940, S960, and S970 are represented as bS3, bS2, bS1, and bS0, respectively, but are for convenience of description.
  • bS3 is determined to be 3/4 in operation S920.
  • bS values are 3 and 4 in the example of FIG. 5, a single value of bS3 in the example of FIG. It is easy to understand that it is determined by).
  • the bS decision tree may be used to set values of variables required for deblocking filtering.
  • t C offset simply setting t C offset to a specific value (for example, 2) for the largest bS value and 0 for other bS values is simply illustrated as an example.
  • the deblocking filtering may be used by reducing the bS values from three (bS0, bS1, bS2) instead of four (bS0, bS1, bS2, bS3) as in the example of FIG.
  • the case where P and / or Q is intra coded is determined as bS2, which is the largest bS value, and the bS value for other cases where deblocking filtering can be applied is determined as bS1, and the deblocking filtering is not applied.
  • the bS value for the case may be determined as bS0.
  • FIG. 10 is a flowchart schematically illustrating a method of determining a bS value as one of three values as described above.
  • bS for the boundary between P and Q is determined as bS2 (S1020).
  • the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient to which inverse quantization is applied.
  • step S1030 if P and Q include nonzero coefficients (transform coefficients), P and Q have different reference pictures, or P and Q have different motion vectors, bS for the boundary between P and Q is calculated.
  • bS1 is set (S1040).
  • bS is set to bS0 (S1040).
  • the bS decision tree may be used to set values of variables required for deblocking filtering.
  • t C offset simply setting t C offset to a specific value (for example, 2) for the largest bS value and 0 for other bS values is simply illustrated as an example.
  • OBMC overlapped block motion compensation
  • the above-described bS determination process needs to be modified to suit the OBMC. For example, if motion information between blocks is different, block artifacts may be severe, and one of the criteria for determining values 0 and 1 of bS may be similarity of motion information. However, when using the OBMC technique, block artifacts are reduced at the boundary of the region performing the motion compensation. As a result, unnecessary deblocking filtering can be reduced, but the bS decision process (bS decision tree) needs to be modified to reflect this.
  • FIG. 11 is a flowchart schematically illustrating a method of determining bS as an example of a bS decision tree applied when OMBC is applied.
  • the coding block includes a CU and an LCU.
  • step S1110 when the boundary between P and Q is the boundary of the coding block, the value of bS for the boundary between P and Q is determined as bS4 (S1120).
  • step S1120 when the boundary between P and Q is not the boundary of the coding block, the value of bS for the boundary between P and Q is determined as bS3 (S1130).
  • step S1100 if P and Q are not intra coded, it is determined whether P and Q are in a rectangular or asymmetric partition in a single coding block (eg, CU) (S1140).
  • a single coding block eg, CU
  • step S1140 when P and Q are not in a rectangular or asymmetric partition in a single coding block (eg, CU), it is determined whether P and / or Q include coefficients (non-zero transform coefficients) (S1150).
  • the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient after inverse quantization is applied.
  • step S1150 when P and / or Q includes a coefficient (a nonzero transform coefficient), bS for the boundary between P and Q is determined as bS2 (S1160).
  • a step S1150 if P and / or Q does not include a coefficient (a transform coefficient other than zero), it is determined whether P and Q have different reference pictures or motion vectors (S1170).
  • step S1170 when P and Q have different reference pictures or motion vectors, bS for the boundary between P and Q is determined as bS1 (S1180).
  • bS is set to bS0 (S1190). If bS is set to bS0, P and Q are not in a rectangular or asymmetric partition in a single coding block (e.g., CU) in step S1140 or P and Q do not have different reference pictures or motion vectors in step S1170. Includes cases.
  • the relationship of bS4> bS3> bS2> bS1> bS0 is maintained in the same manner as the examples related to the previous bS determination.
  • t C offset is set to a specific value (for example, 2) is set for the two largest bS values, and t C offset is set to 0 for other bS values.
  • P and Q are in the same coding block (e.g., CU), while being in a rectangular partition (e.g., prediction block, PU, etc.) or an asymmetric partition (e.g., predictive block, PU, etc.). ),
  • the value of bS for the boundary between P and Q can be determined as 0.
  • FIG. 12 is a flowchart schematically illustrating a method of determining bS as another example of a bS decision tree applied when OMBC is applied.
  • the coding block includes a CU and an LCU.
  • step S1210 when the boundary between P and Q is the boundary of the coding block, the value of bS for the boundary between P and Q is determined as bS4 (S1220).
  • step S1220 when the boundary between P and Q is not the boundary of the coding block, the value of bS for the boundary between P and Q is determined as bS3 (S1230).
  • step S1200 if P and Q are not intra coded, it is determined whether P and Q are in a rectangular or asymmetric partition in a single coding block (eg, CU) (S1240).
  • a single coding block eg, CU
  • the transform coefficient may be a transform coefficient before inverse quantization is applied or a transform coefficient after inverse quantization is applied.
  • step S1250 when P and / or Q includes a coefficient (a nonzero transform coefficient), bS for a boundary between P and Q is determined as bS2 (S1260).
  • step S1240 P and Q are in a rectangular or asymmetric partition in a single coding block (e.g., CU), or in step S1250, if P and / or Q does not include a coefficient (a nonzero transform coefficient), In step S1270, it is determined whether P and Q have different reference pictures or motion vectors.
  • step S1270 when P and Q have different reference pictures or motion vectors, bS for the boundary between P and Q is determined as bS1 (S1280).
  • bS is set to bS0 (S1290).
  • the relationship of bS4> bS3> bS2> bS1> bS0 is maintained similarly to the examples related to the bS determination.
  • bS the value of bS.
  • the target boundary is the boundary of the coding block (eg, CU)
  • bS is determined to be 4. If bS is determined to be 3 on the other boundary, the value of bS is 3 or 4 for all I slices.
  • FIG. 13 is a diagram schematically illustrating an example of a method of determining bS to apply deblocking filtering.
  • bS is determined to apply deblocking filtering (S1310), block-based filtering on / off is determined according to the determined bS (S1320), and a strong filter is applied to a predetermined bS. It is determined whether to apply or a weak filter (S1330) to perform a filtering operation (S1340).
  • the method of applying the deblocking filter may be identical to or similar to the method described above with reference to FIG. 3.
  • the bS value may be determined by distinguishing whether a target boundary is a boundary of a coding block.
  • FIG. 14 is a diagram schematically illustrating another example of a method of determining bS to apply deblocking filtering.
  • bS is not separately determined.
  • bS is determined as one value (for example, 4), unlike the example of FIG. 13 (S1430).
  • the block-based filtering on / off is determined according to the determined bS (S1440), and whether to apply a strong filter or a weak filter to a predetermined bS is determined (S1450).
  • a filtering operation is performed (S1460).
  • another method of modifying and applying the method of deblocking filtering described above may be considered to perform deblocking filtering by modifying the method of using the representative bS described in the example of FIG. 7.
  • 15 is a flowchart schematically illustrating an example of a method of determining a representative bS.
  • step S1510 If bS1 is greater than bS2 in step S1510, the representative bS is determined as bS1 (S1520). On the contrary, if bS2 is greater than bS1 in step S1510, the representative bS is determined as bS2 (S1530).
  • bS1 and bS2 may be bSs for two vertical edges in a unit block of deblocking filtering, or bSs for two horizontal edges.
  • the method of FIG. 15 is performed in the deblocking filtering process for the vertical edge and used to determine the representative bS for the vertical edge, and then used in the deblocking filtering process for the horizontal edge to determine the representative bS for the horizontal edge. Can be.
  • the filtering unit may perform deblocking filtering using the determined representative bS.
  • FIG. 15 illustrates a method of using bS having a large value as the representative bS as in the example of FIG. 7.
  • the method of determining the representative bS may be different to reduce excessive deblocking filtering and reduce the amount of filtering.
  • 16 is a flowchart schematically illustrating another example of a method of determining a representative bS.
  • step S1610 If bS1 is smaller than bS2 in step S1610, the representative bS is determined as bS1 (S1620). On the contrary, if bS2 is smaller than bS1 in step S1610, the representative bS is determined as bS2 (S1630).
  • bS1 and bS2 may be bSs for two vertical edges in a unit block of deblocking filtering, or bSs for two horizontal edges.
  • the method of FIG. 16 is also performed in the deblocking filtering process for the vertical edge and used to determine the representative bS for the vertical edge, and then used in the deblocking filtering process for the horizontal edge to determine the representative bS for the horizontal edge. Can be.
  • the filtering unit may perform deblocking filtering using the determined representative bS.
  • 17 is a flowchart schematically illustrating a method of encoding an image according to the present invention.
  • the encoder divides an input image and performs prediction on a current block (S1710). Prediction on the current block may be performed by the prediction unit of the encoder.
  • the prediction unit may perform intra prediction on the current block or may perform inter prediction. Whether to perform intra prediction or inter prediction may be determined in consideration of Rate Distortion Optimization (RDO).
  • RDO Rate Distortion Optimization
  • the prediction unit may generate a prediction signal and generate a residual signal that is a difference between the original signal and the prediction signal.
  • the encoder may convert and quantize the residual signal (S1720). Transformation of the residual signal may be performed in the transform unit, and quantization of the transformed signal (eg, transform coefficient) may be performed in the quantization unit.
  • Transformation of the residual signal may be performed in the transform unit, and quantization of the transformed signal (eg, transform coefficient) may be performed in the quantization unit.
  • the transformed and quantized signal may be transmitted through an entropy encoding process.
  • the encoder restores the current block by inverse quantization and inverse transformation of the transformed and quantized signal (S1730).
  • the inverse quantized and inversely converted signal is added to the residual signal to recover the original signal.
  • the encoder may apply deblocking filtering to the reconstructed signal (S1740).
  • the recovered signal may be recovered to a signal closer to the original by deblocking filtering.
  • the deblocking filtering may be performed in the filter unit, and the filter unit may apply SAO (Sample Adaptive Offset) after applying the deblocking filtering.
  • the signal to which deblocking filtering is applied is stored in a memory such as a decoded picture buffer (DPB), and may be referred to for prediction of another block or another picture.
  • DPB decoded picture buffer
  • the generation and transmission of the residual signal by the prediction has been described. However, when the skip mode is applied, the residual signal is not generated / transmitted.
  • FIG. 18 is a flowchart schematically illustrating a method of decoding an image according to the present invention.
  • the decoding apparatus entropy decodes the received bitstream and performs prediction for the current block (S1810). Prediction on the current block may be performed by a prediction unit in the decoding apparatus.
  • the prediction unit may perform inter prediction or intra prediction on the current block based on the information signaled from the encoding apparatus.
  • the prediction unit generates a prediction signal (prediction block) for the current block by prediction.
  • the decoding apparatus reconstructs the current block based on the prediction for the current block (S1820).
  • the decoding apparatus generates a residual signal (residual block) from the bitstream received from the encoding apparatus through inverse quantization / inverse transformation, and adds the prediction signal (prediction block) and the residual signal (prediction block) to the reconstruction signal (restored block). ) Can be created.
  • the prediction signal is not transmitted, and the prediction signal may be used as a reconstruction signal.
  • the decoding apparatus applies deblocking filtering to the reconstruction signal (restoration block) (S1830).
  • Deblocking filtering may be performed in a filter unit in the decoding apparatus.
  • the filter unit applies the deblocking filtering to the reconstruction block to modify the reconstruction block closer to the reconstruction block.
  • the filter unit may apply SAO (Sample Adaptive Offset) to the reconstruction block based on the information received from the encoding apparatus after applying the deblocking filtering.
  • SAO Sample Adaptive Offset
  • the signal reconstructed through the filter unit may be stored in a memory such as a decoded picture buffer (DPB) to be referred to prediction of another block or another picture, or may be output as a reconstructed picture.
  • a decoded picture buffer DPB
  • the deblocking filtering according to the present invention is schematically illustrated in the encoding / decoding process, and the process of the encoding / decoding process described above in detail with reference to the drawings. Note that can be applied together.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 디블록킹 필터링의 방법과 이를 위해 bS(boundary Strength)를 유도하는 방법 및 이를 이용하는 인코딩/디코딩 방법 및 장치에 관한 것으로서, 본 발명에 따른 bS 유도 방법은, 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 유도하는 단계 및 상기 디블록킹 필터링 단위 블록 내의 bS (boundary Strength) 설정 단위 블록별로 bS를 설정(set)하는 단계를 포함하며, 상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있다.

Description

영상 정보 인코딩/디코딩 방법 및 장치
본 발명은 영상 정보 압축 기술에 관한 것으로서, 더 구체적으로는 인-루프 필터(in-loop filter)로서 디블록킹 필터(deblocking filter)를 적용하는 방법에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
예측된 영상의 처리 단위, 예컨대 블록에 대하여는 영상을 원본과 동일하게 만들기 위한 다양한 방법이 적용될 수 있다. 이를 통해 디코딩 장치는 해당 영상을 더 정확하게(원본과 더 일치하게) 디코딩할 수 있으며, 인코딩 장치는 해당 영상이 더 정확하게 복원될 수 있도록 인코딩할 수 있다.
본 발명은 디블록킹 필터링을 적용함에 있어서, 디블로킹 아티팩트를 효과적으로 제거하여 원본에 가깝게 영상을 복원하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서 복잡도를 낮추어 압축 효율을 높일 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서, bS (boundary Strength)를 결정하는 단위 블록을 효과적으로 설정하여 복잡도를 줄일 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서, bS 값을 효과적으로 설정함으로써 복잡도를 줄일 수 있은 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 bS (boundary Strength) 유도 방법으로서, 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 유도하는 단계 및 상기 디블록킹 필터링 단위 블록 내의 bS (boundary Strength) 설정 단위 블록별로 bS를 설정(set)하는 단계를 포함하며, 상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있다.
상기 bS 설정 단계에서는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고, 상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정할 수 있으며, 상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가질 수 있다.
bS가 bS1으로 설정되는 경우는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우 및 상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함할 수 있다.
상기 디블록킹 필터링 단위 블록의 경계를 유도하는 단계 및 bS 설정하는 단계는, 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들에 대하여 적용된 후에, 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수평 에지들에 대하여 적용될 수도 있다.
상기 디블록킹 필터링 단위 블록은 코딩 블록, 변환 블록, 예측 블록 및 8x8 픽셀 블록 중 어느 하나일 수 있다. 또한, 상기 bS 결정 단위 블록은 4x4 픽셀 블록일 수 있다.
본 발명의 다른 실시형태는 디블록킹 필터링 방법으로서, 대상 경계에 대하여 bS (boundary Strength) 설정 단위 블록별로 bS를 설정하는 단계 및 상기 대상 경계에 대하여 디블록킹 필터링를 적용 단위 블록별로 디블록킹 필터링을 적용하는 단계를 포함하며, 상기 bS를 설정하는 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있다.
상기 bS 설정 단계에서는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고, 상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정할 수 있으며, 상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가질 수 있다.
bS가 bS1으로 설정되는 경우는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우 및 상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함할 수 있다.
상기 bS를 설정하는 단계 및 상기 디블록킹 필터링을 적용하는 단계는 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들에 대하여 적용된 후에, 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수평 에지들에 대하여 적용될 수도 있다.
상기 대상 경계에 대하여 설정된 bS 값이 bS0보다 크고 디블록킹 필터링을 적용하는 경우에는 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정할 수 있다.
상기 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지는 상기 대상 경계를 경계로 하는 두 블록의 샘플들을 기반으로 결정할 수 있으며, 상기 대상 경계가 수직 에지인 경우에는 상기 대상 경계를 경계로 하는 샘플 행들의 샘플들 중 디블록킹 필터링의 대상이 되는 샘플들에 기반하여, 상기 대상 경계가 수평 에지인 경우에는 상기 대상 경계를 경계로 하는 샘플 열들의 샘플들 중 디블록킹 필터링의 대상이 되는 샘플들에 기반하여, 상기 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정할 수 있다.
약한 필터링을 적용하는 것으로 결정된 경우에는, 디블록킹 필터링의 대상이 되는 샘플들 중 소정의 샘플들에만 필터링을 적용할 수도 있다.
상기 디블록킹 필터링 단위 블록은 코딩 블록, 변환 블록, 예측 블록 및 8x8 픽셀 블록 중 어느 하나일 수 있다. 또한, 상기 bS 결정 단위 블록은 4x4 픽셀 블록일 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서 디블로킹 아티팩트를 효과적으로 제거하여 원본에 가깝게 영상을 복원할 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서 복잡도를 낮추어 압축 효율을 높일 수 있다.
예컨대, 본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서, bS (boundary Strength)를 결정하는 단위 블록을 효과적으로 설정하여 복잡도를 줄일 수 있다. 또한, 본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서, bS 값을 효과적으로 설정함으로써 복잡도를 줄일 수도 있다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 본 발명에 따라서 디블록킹 필터를 적용하는 방법을 개략적으로 설명하는 순서도이다.
도 4는 본 발명에 따른 디블록킹 필터링의 진행 방식을 개략적으로 설명하는 도면이다.
도 5는 bS를 구하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 6은 디블록킹 필터링의 단위 블록이 8x8 픽셀 블록이고, bS 결정의 단위 블록이 4x4 픽셀 블록인 경우에, 디블록킹 필터링의 대상 경계를 설명하는 도면이다.
도 7은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 8은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 9는 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 10은 bS를 구하는 방법의 또 다른 예를 개략적으로 설명하는 순서도이다.
도 11은 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 일 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 12는 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 다른 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 13은 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 14는 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 15 및 도 16은 대표 bS를 결정하는 방법의 예들을 개략적으로 설명하는 순서도이다.
도 17은 본 발명에 따라서, 영상을 인코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 18은 본 발명에 따라서 영상을 디코딩하는 방법을 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예컨대 휘도 샘플에 대해서는 1/4 픽셀 단위로, 색차 샘플에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 인코딩부(130)에서의 엔트로피 인코딩 효율을 높일 수도 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림을 영상 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 인코딩 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 인코딩 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 영상 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 상술한 바와 같이, 인코딩 장치 및 디코딩 장치의 필터부는 인-루프(in-loop) 필터로서 디블록킹 필터(deblocking filter), ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 적용할 수 있다.
디블록킹 필터는 블록 단위의 예측, 변환, 양자화에 따른 블록 간의 아티팩트(artifacts)를 제거한다. 디블록킹 필터는 예측 유닛 에지(edge) 또는 변환 유닛 에지에 적용되며, 디블록킹 필터를 적용하기 위한 소정의 최저 블록 사이즈를 설정할 수 있다.
디블록킹 필터를 적용하기 위해서, 우선 수평 혹은 수직 필터 경계(boundary)의 BS(Boundary Strength)를 결정한다. BS를 기반으로 필터링을 수행할 것인지를 블록 단위로 결정한다. 필터링을 수행하기로 결정하면, 어떤 필터를 적용할 것인지를 정한다. 적용할 필터는 위크 필터(weak filter)와 스트롱 필터(strong filter) 중에서 선택될 수 있다. 필터링부는 선택된 필터를 해당 블록의 경계에 적용한다.
ALF(Adaptive Loop Filter)는 후술하는 SAO를 수행한 뒤에 적용할 수도 있다. ALF는 빈너 필터(Wiener filter)를 이용하여 부호화 에러를 보상하는 것으로서, SAO와 달리 슬라이스(slice) 내에 글로벌(global)하게 적용된다. ALF는 HE(High Efficiency)의 경우에만 적용되도록 할 수도 있다.
SAO는 디블록킹 필터링을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 절차이다. SAO를 통해서 부호화 에러(coding error)를 보상할 수 있으며, 부호화 에러는 양자화 등에 기인한 것일 수 있다. SAO에는 밴드 오프셋(band offset)과 에지 오프셋(edge offset)의 두 가지 타입이 있다.
상술한 바와 같이, 영상 복원을 블록 단위(예컨대, CU, PU, TU 등)로 수행하는 경우에는, 복원된 블록 사이의 경계에서 블록 왜곡이 발생할 수 있다. 블록 왜곡을 방지하기 위해 디블록킹 필터가 적용될 수 있는데, 디블록킹 필터는 동일한 영상 또는 픽처 내에서도 블록 왜곡이 생기기 쉬운 위치와 블록 왜곡이 생기기 어려운 위치를 구분하여 적용될 수 있다. 예컨대, 블록 왜곡이 생기기 쉬운 위치와 블록 왜곡이 생기기 어려운 위치에 서로 다른 방식으로 디블록킹 필터를 적용할 수 있다.
이를 위해, 블록 사이의 경계가 디블록킹 필터를 적용할 경계에 해당하는지, 이웃하는 블록들이 인트라 코딩이 적용된 블록들인지 등을 고려하여 블록 사이 경계에 대한 블록 경계 강도(Boundary Strength, 이하 ‘bS’라 함)를 결정하고, 결정된 bS를 기반으로 디블록킹 필터링을 적용할 수 있다.
한편, CU가 I_PCM CU인 경우, 즉 인트라 예측이 적용되는 PCM(Pulse Coding Modulation) CU의 경우에는, 디블록킹 필터링을 적용하지 않는다. I_PCM 모드는 양자화(quantization), 변환(transformation) 과정을 거치지 않기 때문에, 원본 데이터와 동일한 값이 복원된다.
따라서, 최상의 화질(원본 화질)을 복원하기 위해서 I_PCM 모드의 CU(I_PCM CU)에 대해서는 인루프 필터를 적용하지 않는다. 예컨대, 디블록킹 필터링 프로세스에서 I_PCM CU에 대한 양자화 파라미터(qP)를 0(zero)로 설정하여 I_PCM CU에 디블록킹 필터가 적용되지 않도록 할 수 있다.
도 3은 본 발명에 따라서 디블록킹 필터를 적용하는 방법을 개략적으로 설명하는 순서도이다. 도 3에서 설명하는 디블록킹 필터링은 인코딩 장치와 디코딩 장치에서 수행될 수 있다, 예컨대, 도 1 및 도 2의 필터링부가 도 3에서 설명하는 디블록킹 필터링을 수행할 수 있다.
디블록킹 필터링은 현재 픽처 내 블록들 간의 수직 에지(vertical edge)에 먼저 적용된 후 현재 픽처 내 블록들 간의 수평 에지(horizontal edge)에 적용된다. 수직 에지에 적용된 디블록킹 필터링에 의해 수정된 샘플들을 가지고(with the modified sample by deblocking filtering of vertical edges) 현재 픽처 내 수평 에지에 디블록킹 필터링이 적용된다.
따라서, 도 3에서 설명하는 디블록킹 필터링의 절차는 현재 픽처 내의 수직 에지에 적용된 후, 현재 픽처 내의 수평 에지에 적용될 수 있다.
블록 간의 에지에 대하여 도 3을 참조하면, 디블록킹 필터링을 적용하기 위해 블록 경계가 유도된다 (S310).
필터부는 현재 코딩 블록 또는 현재 LCU(Largest Coding Unit)(이하, 설명의 편의를 위해 본 명세서에서 코딩 블록라 함은 LCU를 포함한다)의 크기를 설정하고, 현재 코딩 블록의 경계(boundary)가 현재 픽처의 경계가 아닌지, 현재 코딩 블록의 경계가 타일의 경계로서 디블록킹 필터가 적용되는 경계인지, 현재 코딩 블록의 경계가 슬라이스의 경계로서 디블록킹 필터가 적용되는 경계인지를 판단할 수 있다.
예컨대, 수직 에지에 디블록킹 필터를 적용하는 경우에, 현재 코딩 블록의 좌측 경계가 현재 픽처의 좌측 경계(left boundary)이면 디블록킹 필터링의 대상에서 현재 코딩 블록의 좌측 경계를 제외할 수 있다. 현재 코딩 블록의 좌측 경계가 현재 타일의 좌측 경계이고 현재 타일의 에지에 필터를 적용하지 않도록 결정한 경우나 현재 코딩 블록의 좌측 경계가 현재 슬라이스의 좌측 경계이고 현재 슬라이스의 에지에 필터를 적용하지 않도록 결정한 경우에는, 디블록킹 필터링의 대상에서 현재 코딩 블록의 좌측 경계를 제외할 수 있다. 따라서, 수직 에지의 디블록킹 필터링에 대하여, 상기 경우가 아니라면 현재 코딩 블록의 좌측 경계에 디블록킹 필터링을 적용할 수 있다.
또한, 수평 에지에 디블록킹 필터를 적용하는 경우라면, 현재 코딩 블록의 상측 경계(top boundary)가 현재 픽처의 상측 경계이면 디블록킹 필터링의 대상에서 현재 코딩 블록의 상측 경계를 제외할 수 있다. 현재 코딩 블록의 상측 경계가 현재 타일의 상측 경계이고 현재 타일의 에지에 필터를 적용하지 않도록 결정한 경우나 현재 코딩 블록의 상측 경계가 현재 슬라이스의 상측 경계이고 현재 슬라이스의 에지에 필터를 적용하지 않도록 결정한 경우에는, 디블록킹 필터링의 대상에서 현재 코딩 블록의 상측 경계를 제외할 수 있다. 수평 에지의 디블록킹 필터링에 대하여, 상기 경우가 아니라면 현재 코딩 블록의 상측 경계에 디블록킹 필터링을 적용할 수 있다.
본 명세서에서 경계에 필터링을 적용한다는 것은, 상기 경계 양쪽에 위치하는 소정의 샘플들에 대하여 필터링을 수행한다는 것을 의미한다.
또한, 필터부는 픽처 내 수직 에지에 대한 디블록킹 필터링을 적용하는 경우에는 변환 블록과 예측 블록의 수직 에지에 대하여 블록 경계를 유도할 수 있으며, 픽처 내 수평 에지에 대한 디블록킹 필터링을 적용하는 경우에는 변환 블록과 예측 블록의 수평 에지에 대하여 블록 경계를 유도할 수 있다.
변환 블록의 에지가 코딩 블록의 에지라면 해당 에지에 대해서는 코딩 블록의 해당 에지에 대한 디블록킹 필터링 적용 여부에 따라서 변환 블록의 경계를 유도할 수 있다. 변환 블록이 분할되는 경우에는 분할되는 각 블록에 대하여 경계를 유도할 수 있다.
필터부는 예측 블록의 각 파티션별로 경계를 유도할 수 있다. 예컨대, 예측 블록의 파티션이 2NxN 픽셀 블록, NxN 픽셀 블록, 2NxnU 픽셀 블록, 2NxnD 픽셀 블록(N, U, D는 픽셀 수에 대응하는 정수이며, n은 코딩 블록 내 예측 블록의 개수에 대응하는 정수)인 경우에 각 파티션 별로 에지를 유도할 수 있다. 이어서, 디블록킹 필터를 적용할 블록 경계에 대한 bS가 유도된다(S320). bS는 현재 코딩 블록 내의 에지별로 결정된다. 픽처 내 수직 에지에 대한 디블록킹 필터링이 적용되는 경우에는 수직 에지별로 bS가 유도되며, 픽처 내 수평 에지에 대한 디블록킹 필터링이 적용되는 경우에는 수평 에지별로 bS가 유도될 수 있다.
bS의 유도는 소정의 단위별로 수행될 수 있다. 예컨대, bS는 변환 블록의 에지마다 유도될 수도 있고, 예측 블록의 에지마다 유도될 수도 있다. 또한, bS는 소정 사이즈의 블록을 단위로, 예컨대 8x8 픽셀 블록이나 4x4 픽셀 블록을 단위로 유도될 수도 있다.
더 나아가 bS는 현재 코딩 블록 내 변환 블록, 예측 블록, 그리고 미리 설정된 소정 사이즈의 블록 중 특정 조건을 만족하는 블록의 에지에 대해 유도될 수도 있다. 가령, 변환 블록(예컨대 TU)와 예측 블록(예컨대 PU) 중 작은 블록과 미리 정해진 사이즈의 블록(예컨대 8x8 픽셀 블록) 중 더 큰 블록별로 bS가 유도될 수도 있다.
다시 말하면, bS는 디블록킹을 적용할 블록의 경계에서 bS 결정의 단위가 되는 블록의 크기에 대응하는 픽셀 단위(예컨대, bS 결정의 단위가 LxL 픽셀 블록(L은 정수)이면 L 픽셀 단위)로 결정될 수 있다. bS의 구체적인 값을 유도하는 것에 관해서는 후술하도록 한다.
이어서, bS에 따라서 블록 경계에 필터링이 수행된다(S330).
예컨대, 루마(luma) 샘플의 경우에, 대상 에지에 대한bS가 소정의 기준 bS, 예컨대 bSth1 이하이면, 해당 에지에 대해서는 디블록킹 필터링을 적용하지 않도록 할 수 있다. 크로마(chroma) 샘플의 경우에도 대상 에지에 대한bS가 소정의 기준 bS, 예컨대 bSth2 이하인 경우에는 해당 에지에 디블록킹 필터링을 적용하지 않도록 할 수 있다. 기준 bS bSth1과 bSth2는 동일하게 설정될 수도 있고, 상이하게 설정될 수도 있다.
디블록킹 필터링을 효율적으로 적용하기 위해 추가적인 임계값(설명의 편의를 위해 Th1이라 함)을 설정할 수도 있다. 가령, 기준 bS 값을 0으로 설정하면, 대상 에지에 대한 bS 값이 0보다 큰 경우에 Th1을 이용하여 블록 레벨에서의 디블록킹 필터링에 대한 온/오프 여부를 결정할 수 있다. 예컨대, 대상 에지로부터 유도한 값이 Th1보다 큰 경우에 디블록킹 필터를 대상 에지에 적용하도록 할 수도 있다.
디블록킹 필터링이 픽처 내 수직 에지들에 적용되는 경우를 먼저 설명하면, Th1과의 비교를 위해 대상 수직 에지로부터 유도되는 값으로서, 특정 샘플 행(row)에서 해당 수직 에지를 경계로 하는 두 블록 내 필터링 대상 샘플들 간의 차를 고려할 수 있다. 예를 들어, k번째 샘플 행(k는 정수)의 샘플들에 대하여, 수직 에지의 좌측 블록에서 상기 수직 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DLk(가령, 디블록킹 필터가 적용된다면 수직 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합)을 산출하고, 수직 에지의 우측 블록(현재 블록)에서 상기 수직 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DRk(가령, 디블록킹 필터가 적용된다면 수직 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합)을 유도할 수 있다. DLk와 DRk의 합 Dk를 상기 Th1과 비교하여, Dk 가 Th1보다 작은 경우에 해당 수직 에지에 디블록킹 필터링을 적용하도록 할 수 있다. Dk 가 Th1보다 작은 경우에는 양자화 파라미터를 고려할 때, 상기 수직 경계가 디블록킹 필터링을 적용하지 않는 것이 효과적인 경계(예컨대 원본 픽처 내 영상의 실제 경계 등)는 아닌 것으로 보고 디블록킹 필터를 적용하는 것이 원본에 가깝게 복원된다고 판단할 수 있다.
이때, 수직 에지를 경계로 하는 두 블록 내에서 상술한 바와 같이 하나의 샘플 행(row)에 대해서만 이웃하는 필터링 대상 샘플 간 차이의 합을 고려하지 않고, 복수의 샘플 행에 대하여 이웃하는 필터링 대상 샘플 간 차이의 합을 고려할 수도 있다. 예컨대, 수직 에지를 경계로 하는 두 블록에서 k번째 샘플 행(row)에 대한 필터링 대상 샘플 간 차이의 합 Dk와 k+j 번째 행(j는 정수)에 대한 필터링 대상 샘플 간 차이의 합 Dk+j를 합한 D(=Dk+Dk+j)가 임계값 Th1보다 작은 경우에 해당 수직 에지에 대한 디블록킹 필터를 적용하는 것으로 결정할 수도 있다.
두 샘플 행 사이의 차이j를 3으로 설정한 경우를 예로서 살펴보면, 2번째 샘플 행과 5 번째 샘플 행에 대하여, D(=D2+D5) 가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수 있다. 두 샘플 행 사이의 차이j를 3으로 설정하고, 0번째 샘플 행과 3번째 샘플 행에 대하여 샘플 간 차의 합 D(=D0+D3)를 Th1과 비교하여 D가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수도 있다.
이때, 각 블록과 샘플 행에 따른 특성을 효과적으로 반영하기 위해, 각 샘플 행별 그리고 각 블록별로 구한 필터링 대상 샘플 간 차들의 합에 대한 절대값들을 취합한 D값을 유도할 수도 있다. 이 경우, 수직 에지를 경계로 좌측 블록(L)과 우측 블록(R)의 k 번째 샘플 행과 k+j번째 샘플 행을 고려하는 D 값은 아래의 수식 1과 같이 유도될 수 있다.
<수식 1>
D = abs(DLk)+abs(DLk+j)+abs(DRk)+abs(DRk+j)
상술한 바와 같이, DLK는 좌측 블록의 k 번째 샘플 행에서 수직 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 디블록킹 필터링을 적용할 때 수직 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DLK는 수직 에지 좌측 블록의 k 번째 샘플 행에서 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다. DRK는 우측 블록의 k 번째 샘플 행에서 수직 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 예컨대, 디블록킹 필터링을 적용할 때 수직 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DRK는 수직 에지 우측 블록의 k 번째 샘플 행에서 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다.
복수의 샘플 행을 고려하여 상술한 바와 같이 인접하는 필터링 대상 샘플 간 차이 값의 합을 취합하는 경우에도, 각 샘플 행에 대한 인접하는 필터링 대상 샘플 간 차이의 합을 고려함으로써 더 효과적으로 디블록킹 필터링을 적용할 수 있다. 예컨대, 수식 1을 참조하면, k 샘플 행만을 고려하여 Dk를 수식 2와 같이 정의할 수 있다.
<수식 2>
Dk = abs(DLk)+abs(DRk)
예를 들어, 해당 수직 에지에 대하여, 앞서의 예와 같이, k번째 샘플 행과 k+3번째 샘플 행을 고려하는 경우에, D가 Th1보다 작고 k 번째 샘플 행에 대한 Dk와 k+3 번째 샘플 행에 대한 Dk+3이 각각 Th1의 절반(Th1/2)보다 작은 경우에는 해당 수직 에지에 강한(strong) 필터링을 적용하도록 할 수 있다. 이와 달리, D가 Th1보다 작지만, Dk가 Th1/2보다 작지 않거나 Dk+3이 Th1/2보다 작지 않은 경우에는 해당 수직 에지에 약한(weak) 필터링을 적용하도록 할 수도 있다.
약한 필터링을 적용하는 경우에는 필터링 대상 샘플들 중에서 특정 샘플에 대해서만 필터링을 적용할 수 있으며, 이 경우에 필터 계수를 강한 필터링과 달리 적용할 수도 있다. 예컨대, 필터링 대상 샘플들이 수직 에지 좌우에 위치하는 6개의 샘플(에지의 좌측 3개 샘플, 에지의 우측 3개 샘플)인 경우를 생각하면, 강한 필터링이 필터링 대상 샘플들에 모두 적용되는 반면, 약한 필터링은 대상 에지의 좌측에 위치하는 2 개의 샘플과 대상 에지의 우측에 위치하는 2 개의 샘플에 적용될 수 있다. 이때, 강한 필터링과 약한 필터링의 필터 계수 또한 상이할 수 있다.
디블록킹 필터링이 픽처 내 수평 에지들에 적용되는 경우에도, Th1과의 비교를 위해 대상 수평 에지로부터 유도되는 값으로서, 특정 샘플 열(column)에서 해당 수평 에지를 경계로 하는 두 블록 내 필터링 대상 샘플들 간의 차를 고려할 수 있다. 수직 에지의 예에서 설명한 바와 같이, k번째 샘플 열(k는 정수)의 샘플들에 대하여, 수평 에지의 상측 블록에서 상기 수평 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DTk(가령, 디블록킹 필터가 적용된다면 수평 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합)을 산출하고, 수평 에지의 하측 블록(현재 블록)에서 상기 수평 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DBk(가령, 디블록킹 필터가 적용된다면 수평 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 샘플들이 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합)을 유도할 수 있다. DTk와 DBk의 합 Dk를 상기 Th1과 비교하여, Dk 가 Th1보다 작은 경우에 해당 수평 에지에 디블록킹 필터링을 적용하도록 할 수 있다.
이때, 수평 에지를 경계로 하는 두 블록 내에서 복수의 샘플 열에 대하여 이웃하는 필터링 대상 샘플 간 차이의 합을 고려할 수도 있다. 예컨대, 수평 에지를 경계로 하는 두 블록에서 k번째 샘플 열(column)에 대한 필터링 대상 샘플 간 차이의 합 Dk와 k+j 번째 열(j는 정수)에 대한 필터링 대상 샘플 간 차이의 합 Dk+j를 합한 D(=Dk+Dk+j)가 임계값 Th1보다 작은 경우에 해당 수평 에지에 대한 디블록킹 필터를 적용하는 것으로 결정할 수도 있다.
두 샘플 열 사이의 차이j를 3으로 설정한 경우를 예로서 살펴보면, 2번째 샘플 열과 5 번째 샘플 열에 대하여, D(=D2+D5) 가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수 있다. 두 샘플 열 사이의 차이j를 3으로 설정하고, 0번째 샘플 열과 3번째 샘플 열에 대하여 샘플 간 차의 합 D(=D0+D3)를 Th1과 비교하여 D가 Th1보다 작은 경우에 디블록킹 필터를 해당 수평 에지에 적용하도록 할 수도 있다.
수직 에지에 대해 고려하는 샘플 행과 수평 에지에 대해 고려하는 샘플 열은 서로 대응하는 샘플 행과 샘플 열일 수 있다. 예컨대, 수직 에지에 대하여 0번째 샘플 행과 3번째 샘플 행을 대상으로 하였다면, 수평 에지에 대하여는 0번째 샘플 열과 3번째 샘플 열을 대상으로 할 수 있다.
수직 에지의 경우와 마찬가지로, 각 블록과 샘플 열에 따른 특성을 효과적으로 반영하기 위해, 샘플 열 그리고 각 블록별로 구한 필터링 대상 샘플 간 차들의 합들에 각각 절대값을 취할 수도 있다. 이 경우, 수평 에지를 경계로 상측 블록(T)과 우측 블록(B)의 k 번째 샘플 열과 k+j번째 샘플 열을 고려하는 D 값은 아래의 수식 3과 같이 유도될 수 있다.
<수식 3>
D = abs(DTk)+abs(DTk+j)+abs(DBk)+abs(DBk+j)
상술한 바와 같이, DTK는 상측 블록의 k 번째 샘플 열에서 수평 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 디블록킹 필터링을 적용할 때 수평 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DTK는 수평 에지 상측 블록의 k 번째 샘플 열에서 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다. DBK는 하측 블록의 k 번째 샘플 열에서 수평 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 예컨대, 디블록킹 필터링을 적용할 때 수평 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DBK는 수평 에지 하측 블록의 k 번째 샘플 열에서 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다.
수직 에지의 예에서 설명한 바와 같이, 각 샘플 열별로, 서로 인접하는 필터링 대상 샘플 간 차이의 합을 고려함으로써 더 효과적으로 디블록킹 필터링을 적용할 수 있다. 예컨대, 수식 3을 참조하면, k 샘플 열만을 고려하여 Dk를 수식 4와 같이 정의할 수 있다.
<수식 4>
Dk = abs(DTk)+abs(DBk)
예를 들어, 해당 수평 에지에 대하여, 앞서의 예와 같이, k번째 샘플 열과 k+3번째 샘플 열을 고려하는 경우에, D가 Th1보다 작고 k 번째 샘플 열에 대한 Dk와 k+3 번째 샘플 열에 대한 Dk+3이 각각 Th1의 절반(Th1/2)보다 작은 경우에는 해당 수평 에지에 강한(strong) 필터링을 적용하도록 할 수 있다. 이와 달리, D가 Th1보다 작지만, Dk가 Th1/2보다 작지 않거나 Dk+3이 Th1/2보다 작지 않은 경우에는 해당 수평 에지에 약한(weak) 필터링을 적용하도록 할 수도 있다.
약한 필터링을 적용하는 경우에는 필터링 대상 샘플들 중에서 특정 샘플에 대해서만 필터링을 적용할 수 있으며, 이 경우에 필터 계수를 강한 필터와 달리 적용할 수도 있다. 예컨대, 필터링 대상 샘플들이 수평 에지 상하에 위치하는 6개의 샘플(에지의 상측 3개 샘플, 에지의 하측 3개 샘플)인 경우를 생각하면, 강한 필터링이 필터링 대상 샘플들에 모두 적용되는 반면, 약한 필터링은 대상 에지의 상측에 위치하는 2 개의 샘플과 대상 에지의 하측에 위치하는 2 개의 샘플에 적용될 수 있다. 이때, 강한 필터링과 약한 필터링의 필터 계수 또한 상이할 수 있다.
강한 필터링과 약한 필터링은 수직 에지와 수평 에지에 동일한 방법(예컨대, 동일한 필터 계수나 오프셋 등)으로 적용할 수도 있다.
필터부는 상술한 바와 같이 디블록킹 필터를 적용할 것인지, 스트롱 필터와 위크 필터 중 어떤 필터를 적용할 것인지, 위크 필터를 적용하는 경우라면 어떤 샘플을 대상으로 할 것인지가 결정되면, 미리 정해진 방법(예컨대, 필터 계수나 오프셋 등)에 따라서 디블록킹 필터를 적용할 수 있다. 앞서 설명한 바와 같이, 픽처 내 수직 에지들에 대하여 디블록킹 필터링을 적용한 후 픽처 내 수평 에지들에 대하여 디블록킹 필터링을 적용할 수 있다.
도 3에서는 블록 경계의 유도(S310), bS의 유도(S320), 필터링 적용(S330)과 같은 큰 스텝으로 디블록킹 필터링을 적용하는 방법을 설명하였으나, bS의 결정으로부터 필터링을 적용하는 과정에 대하여, 상술한 내용은 더 세부적인 스텝으로 구분될 수도 있다.
예컨대, 픽처 내 수직 에지에 대한 수평 디블록킹 필터링에 대하여, (1) 코딩 블록(LCU 일 수 있음) 내 수직 에지에 대하여, bS를 결정 - bS 결정 대상 에지는 TU와 PU 중 작은 블록에 대한 에지일 수 있고, 미리 정해진 단위 블록(예컨대, 8x8 픽셀 블록)의 에지일 수 있으며, TU와 PU 중 작은 단위 블록과 미리 정해진 단위 블록 중 큰 블록의 에지일 수 있다. (2) bS가 0보다 큰 에지에 대하여, 블록 레벨에서 디블록킹 필터링의 온(on)/오프(off) 결정 - 이를 위해, 상술한 바와 같이, 경계(에지) 양측의 블록들 중 소정 샘플 행(예컨대, 2번째와 5번째 샘플 행)을 이용할 수 있다. (3) 필터링을 온(on)하는 영역에 대해서 강한(strong) 필터링을 적용할지 약한(weak) 필터링을 적용할지를 결정. (4) 약한 필터링을 적용하는 경우에 추가적인 필터링 온/오프 결정-추가적인 필터링 온/오프는, 앞서 설명한 바와 같이, 특정 샘플별 필터링 온/오프 결정을 포함한다. (5) 현재 픽처 내 다음 코딩 블록(LCU를 포함)로 이동하여 상기 스텝을 반복 - 픽처 내 모든 수직 에지에 대한 디블록킹 필터링 처리를 수행한다.
픽처 내 수평 에지에 대한 수직 디블록킹 필터링에 대하여는, (1) 코딩 블록(LCU 일 수 있음) 내 수평 에지에 대하여, bS를 결정 - bS 결정 대상 에지는 TU와 PU 중 작은 블록에 대한 에지일 수 있고, 미리 정해진 단위 블록(예컨대, 8x8 픽셀 블록)의 에지일 수 있으며, TU와 PU 중 작은 단위 블록과 미리 정해진 단위 블록 중 큰 블록의 에지일 수 있다. (2) bS가 0보다 큰 에지에 대하여, 블록 레벨에서 디블록킹 필터링의 온(on)/오프(off) 결정 - 이를 위해, 상술한 바와 같이, 경계(에지) 양측의 블록들 중 소정 샘플 열(예컨대, 2번째와 5번째 샘플 열)을 이용할 수 있다. (3) 필터링을 온(on)하는 영역에 대해서 강한(strong) 필터링을 적용할지 약한(weak) 필터링을 적용할지를 결정. (4) 약한 필터링을 적용하는 경우에 추가적인 필터링 온/오프 결정-추가적인 필터링 온/오프는, 앞서 설명한 바와 같이, 특정 샘플별 필터링 온/오프 결정을 포함한다. (5) 현재 픽처 내 다음 코딩 블록(LCU를 포함)로 이동하여 상기 스텝을 반복 - 픽처 내 모든 수평 에지에 대한 디블록킹 필터링 처리를 수행한다.
도 4는 본 발명에 따른 디블록킹 필터링의 진행 방식을 개략적으로 설명하는 도면이다. 도 4를 참조하면, 코딩 블록(예컨대, LCU) 단위로 해당 코딩 블록 내의 에지에 대하여 디블록킹 필터링이 진행(401)된다. 앞서 설명한 바와 같이, 현재 픽처 전체에 대하여 수직 에지에 대한 디블록킹 필터링(수평 필터링)을 수행한 후, 현재 픽처 전체에 대하여 수평 에지에 대한 디블록킹 필터링(수직 필터링)을 수행한다.
도 5는 bS를 구하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
설명의 편의를 위해, 본 명세서에서는 디블록킹 필터링 프로세스에 있어서 현재 블록을 Q로 나타내고, 현재 블록에 이웃하는 블록으로서 현재 블록보다 먼저 부호화/복호화된 블록을 P로 나타낸다. 예컨대, 수직 에지에 대한 디블록킹 필터링을 수행하는 경우에는, 수직 에지를 경계로 좌측 블록을 P라고 하고 우측 블록을 Q라고 한다. 또한, 수평 에지에 대한 디블록킹 필터링을 수행하는 경우에는, 수평 에지를 경계로 상측 블록을 P라고 하고 하측 블록을 Q라고 한다.
도 5를 참조하면, bS를 결정하기 위해 우선, P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S510).
P 및/또는 Q가 인트라 코딩된 경우에는, P와 Q 사이의 경계가 CU 경계인지를 판단한다(S520). 이때, CU 경계는 LCU의 경계일 수도 있다.
S520 단계에서, P와 Q 사이의 경계가 CU의 경계인 경우에는 P와 Q 사이의 경계에 대한 bS의 값을 4로 결정한다(S530).
S520 단계에서, P와 Q 사이의 경계가 CU의 경계가 아닌 경우에는 P와 Q 사이의 경계에 대한 bS의 값을 3으로 결정한다(S540)
P및/또는 Q가 인트라 코딩된 경우가 아니라면, P 및/또는 Q가 0이 아닌 계수(변환 계수)를 포함하는지를 판단한다(S550). 이때, 필터부는 0이 아닌 변환 계수의 존부를 역양자화 전의 변환 계수를 기준으로 판단할 수 있다. 또한, 필터부는 0이 아닌 변환 계수의 존부를 역양자화 후의 변환 계수를 기준으로 판단할 수도 있다.
S550 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 P와 Q 사이의 경계에 대한 bS를 2로 결정한다(S560).
S550 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 상이한 참조 픽처 또는 상이한 움직임 벡터를 가지는지를 판단한다(S570).
S570 단계에서, P와 Q가 서로 상이한 참조 픽처 또는 상이한 움직임 벡터를 가지는 경우에는 P와 Q 사이의 경계에 대한 bS를 1로 결정한다(S580).
그 외의 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에 해당하면, P와 Q 사이의 경계에 대한 bS를 0으로 설정한다(S590). 도 5에서는, bS를 적용하지 않는 경우의 일 예로서, 상술한 조건에 모두 해당하지 않는 경우를 설명의 편의를 위해 예로서 설명하고 있다.
한편, bS 값에 따라서 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다.
예컨대, 도 5에 도시된 tCoffset과 같은 변수의 경우를 예로서 들 수 있다. tCoffset은 영상 특성에 최적화된 tC값을 결정하기 위해 사용자에 의해 설정되는 값이다. tC는 양자화 정도에 따른 블록킹 아티팩트를 정량화하여 디블록킹 필터링과 관련된 파라미터를 결정하는데 이용되는 임계값(threshold value)의 하나이다.
도 5에서는, bS 값이 0, 1 또는 2 인 경우에는 0으로 설정하고, bS 값이 3 또는 4인 경우에는 2로 설정되는 일 예를 간단히 나타내고 있다.
한편, 효과적으로 디블록킹 필터링을 적용하기 위해, 앞서 도 3 및 도 5에서 설명한 bS를 결정하는 블록 단위와 결정 방법을 수정하여 적용할 수도 있다.
bS는 실제 디블록킹 필터링을 수행하는 블록 단위와 같거나 작은 단위에서 결정될 수 있다.
예컨대, 루마 샘플에 대하여 실제 디블록킹 필터링을 8x8 픽셀 단위로 수행하는 경우에 bS는 4x4 픽셀 단위로 결정될 수 있다. 이렇게 디블록킹 필터링을 수행하는 단위 블록의 크기가 bS를 결정하는 단위 블록의 크기보다 큰 경우에는, bS를 결정하는 단위 블록의 경계(에지)들 중에서 디블록킹 필터링을 수행하는 단위 블록의 경계(에지)에 해당하는 경계에서만 bS를 결정하도록 할 수 있다. 다시 말하면, LxL (L은 정수) 픽셀 블록별로 bS를 결정하는 경우에, 디블록킹 필터링을 수행하는 단위 블록의 경계에서 L 픽셀 단위로 bS가 결정된다.
구체적으로, bS를 결정하는 블록 단위는 4x4 픽셀 블록이고, 실제 디블록킹 필터링은 8x8 픽셀 블록 단위로 수행한다. 즉, bS는 디블록킹 필터링이 수행되는 8x8 픽셀 블록의 경계에서 4 픽셀 단위로 결정된다. 따라서, 디블록킹 필터링의 단위인 8x8 픽셀 블록 내부의 4x4 픽셀 블록 에지에 대해서는 bS를 결정할 필요가 없다.
도 6은 디블록킹 필터링의 단위 블록이 8x8 픽셀 블록이고, bS 결정의 단위 블록이 4x4 픽셀 블록인 경우에, 디블록킹 필터링의 대상 경계를 설명하는 도면이다.
도시된 바와 같이, bS를 결정하는 단위 블록의 경계들 중 디블록킹 필터링을 수행하는 단위 블록의 내부에 위치하는 경계에 대해서는 bS를 결정하지 않을 수 있다.
bS 결정 과정을 단순화하고 복잡도를 낮추기 위해, 디블록킹 필터링을 적용하는 단위 블록의 에지들에 대한 대표 bS를 결정할 수도 있다.
도 7은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 7에서는, 디블록킹 필터링의 단위 블록(700)이 8x8 픽셀 블록이고 bS 결정의 단위 블록이 4x4 픽셀 블록인 경우를 예로서 설명한다.
도 7을 참조하면, 디블록킹 필터링의 단위 블록(700) 내에는 bS의 결정의 단위 블록이 되는 4x4 픽셀 블록의 경계(에지)로서 디블록킹 필터링의 단위 블록(700)의 경계가 되는 수직 에지와 수평 에지가 존재한다.
수직 에지의 경우를 예로서 설명하면, 디블록킹 필터링의 단위 블록(700)에는 bS 결정의 대상이 되는 두 개의 수직 에지(710, 720)가 존재한다. 도 7의 예에서는 첫 번째 수직 에지(710)의 bS와 두 번째 수직 에지(720)의 bS를 비교하여 더 큰 bS를 디블록킹 필터링의 단위 블록(700)의 수직 에지에 대한 대표 bS로 결정한다.
예컨대, 첫 번째 수직 에지(710)의 bS가 1이고, 두 번째 수직 에지(720)의 bS가 2인 경우에는 두 번째 수직 에지(720)의 bS 값인 2를 디블록킹 필터링의 단위 블록(700)의 좌측 경계가 되는 수직 에지에 대한 대표 bS 값으로 결정할 수 있다.
도 7에서는 설명의 편의를 위해 수직 에지에 대한 경우를 예로서 설명하였으나, 수평 에지의 경우에도 동일한 방법을 적용할 수 있다. 예컨대, 디블록킹 필터링의 단위 블록(700)의 상측 경계로서, 디블록킹 필터링의 단위 블록(700) 내 4x4 픽셀 블록의 상측 경계가 되는 두 에지에 대하여 bS를 각각 유도하고, 더 큰 bS를 디블록킹 필터링의 단위 블록(700)의 상측 경계가 되는 수평 에지에 대한 대표 bS로서 결정할 수 있다.
도 7의 예에서 두 bS의 값이 동일한 경우에는, 두 bS 값 중 어느 하나를 대표 bS값으로 사용할 수 있음은 물론이다.
bS 결정 절차를 더 단순화하여 복잡도를 줄이고 디블록킹 필터링의 효과를 높이기 위해, 디블록킹 필터링의 단위 블록에 대한 에지들 중에서 하나의 에지에 대한 bS만을 유도하는 방법을 고려할 수도 있다.
도 8은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 8에서도, 디블록킹 필터링의 단위 블록(800)이 8x8 픽셀 블록이고 bS 결정의 단위 블록이 4x4 픽셀 블록인 경우를 예로서 설명한다.
도 8을 참조하면, 도 7의 예와 달리, 디블록킹 필터링의 단위 블록(800) 내 bS 결정 대상이 되는 두 개의 수직 에지(810, 820) 중 0번째 에지(810)에 대해서만 bS를 결정한다. 다시 말하면, 디블록킹 필터링의 단위 블록마다 0번째 bS 결정의 단위 블록의 수직 에지 및 수평 에지에 대해서만 bS를 산출하고, 산출된 bS 를 해당 디블록킹 필터링의 단위 블록에 대한 대표 bS 로 이용한다. 예컨대, 디블록킹 필터링의 단위 블록이 8x8 픽셀 블록이고, bS 결정의 단위 블록이 4x4 픽셀 블록인 경우에, 디블록킹 필터링의 단위 블록 내에는 네 개의 bS 결정의 단위 블록이 존재한다. 이 중 0번째 블록(좌상측 블록)의 수직 에지 및 수평 에지에 대해서만 bS를 결정하여 디블록팅 필터링의 단위 블록에 대한 대표 bS로 이용할 수 있다.
도 8의 예와 같이 bS를 결정하면, bS를 결정하는 프로세스를 단순화하여 기존 프로세스의 1/4에 해당하는 프로세스로 bS를 결정할 수 있으며, bS를 저장하기 위한 메모리도 기존 프로세스의 1/4로 감축할 수 있다.
한편, bS를 결정하는 단위 블록을 고려하여 bS 결정 프로세스를 단순화하는 방법 외에, 도 5와 같은 bS 결정 순서(bS 결정 트리(bS decision tree))를 고려하여 bs 결정 프로세스를 단순화할 수도 있다. 도 5의 예에서와 같이 bS 값을 0부터 4까지 구분하여 유도하더라도, 디블록킹 필터링 프로세스에서는 bS의 값을 세분해서 이용하지 않을 수 있다. 예컨대, bS > 0 인가만을 판단하거나, bS>1인가만을 판단하거나, bS>2인가만을 판단할 수도 있다.
따라서, 도 5의 예와 같은 bS 결정 트리를 더 단순화하여 디블록킹 필터링을 수행할 수도 있다.
도 9는 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 9를 참조하면, 우선 P 및/또는 Q가 인트라 코딩 되었는지를 판단한다(S910).
P 및/또는 Q가 인트라 코딩되어 있는 경우에는 P와 Q 사이 경계에 대한 bS를 bS3으로 결정한다(S920).
P및/또는 Q가 인트라 코딩된 경우가 아니라면, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S930). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
S930 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는, P와 Q 사이 경계에 대한 bS 값을 bS2로 결정한다(S940).
S930 단계에서 P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 서로 상이한 참조 픽처를 가지거나 P와 Q가 서로 상이한 움직임 벡터를 가지는지를 판단한다(S950).
S950 단계에서 P와 Q가 서로 상이한 참조 픽처를 가지거나 P와 Q가 서로 상이한 움직임 벡터를 가지는 경우에는 P와 Q 사이 경계에 대한 bS를 bS1으로 결정한다(S960).
그 외의 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에 해당하면, P와 Q 사이의 경계에 대한 bS를 bS0으로 설정한다(S970)
여기서는, S920, S940, S960, S970 단계에서 결정되는 bS 값을 각각 bS3, bS2, bS1, bS0으로 나타내었으나 이는 설명의 편의를 위한 것이다. 도 9의 예에서 bS 값을 4가지로 구분하여 유도하는 것을 감안하면, bS0내지 bS3의 값은 도 9에 도시된 바와 같이 bS0=0, bS1=1, bS2=2, bS3=3/4로 설정될 수 있다. 도 9의 예에서는, S920 단계에서 bS3이 3/4로 결정되는 것으로 설명하고 있는데, 이는 도 5의 예에서 bS 값이 3과 4인 경우가 도 9의 예에서 bS3의 단일 값(예컨대, 3)으로 결정된다는 것을 이해하기 쉽게 나타낸 것이다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 9에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
도 9의 예에 설명된 것보다 결정 분지(decision branch)를 더 줄이는 방법도 고려할 수 있다. 이 경우, bS 값들도 도 9의 예에서와 같이 4개(bS0, bS1, bS2, bS3)가 아니라, 3개(bS0, bS1, bS2) 로부터 줄여서 디블록킹 필터링을 이용할 수 있다.
이 경우, P 및/또는 Q가 인트라 코딩된 경우를 가장 큰 bS 값인 bS2로 결정하고, 그 외 디블록킹 필터링이 적용될 수 있는 경우에 대한 bS 값을 bS1으로 결정하며, 디블록킹 필터링이 적용되는 않는 경우에 대한 bS 값을 bS0으로 결정할 수 있다. 세 가지 bS 값이 유도되는 것을 고려하여, bS0, bS1, bS2의 값을 예컨대, bS0=0, bS1=1, bS2=2로 설정할 수 있다.
도 10은 상술한 바와 같이 bS 값을 3가지 값 중 어느 하나로 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 10을 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S1010).
P 및/또는 Q가 인트라 코딩된 경우에는 P와 Q 사이의 경계에 대한 bS를 bS2로 결정한다(S1020). bS2는 도 5의 예에서 bS 값이 3과 4인 경우(bS=3/4)에 대응한다. 3가지 bS 값 중 가장 큰 값이 bS2 이므로, bS2의 값을 예컨대 2로 설정할 수 있다.
P 및/또는 Q가 인트라 코딩된 경우가 아니면, P와 Q가 0이 아닌 계수(변환 계수)를 포함하거나 P와 Q가 상이한 참조 픽처를 가지거나 P와 Q가 상이한 움직임 벡터를 가지는지를 판단한다(S1030). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
S1030 단계에서 P와 Q가 0이 아닌 계수(변환 계수)를 포함하거나 P와 Q가 상이한 참조 픽처를 가지거나 P와 Q가 상이한 움직임 벡터를 가지는 경우에는, P와 Q 사이의 경계에 대한 bS를 bS1으로 설정한다(S1040). bS1는 P와 Q가 인트라 코딩되지 않은 경우로서 디블록킹 필터를 적용하는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 1과 2인 경우(bS=1/2)에 대응한다. 3가지 bS 값 중 중간 값이 bS1 이므로, bS1의 값을 예컨대 1로 설정할 수 있다.
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0으로 설정한다(S1040). bS0은 디블록킹 필터를 적용하지 않는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 0인 경우(bS=0)에 대응한다. 3가지 bS 값 중 가장 작은 값이 bS0 이므로, bS0의 값을 예컨대 0로 설정할 수 있다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 10에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
한편, 블록 경계에서 블록킹 아티팩트(blocking artifact)를 유발하는 주 원인 중 하나는 블록 기반의 움직임 보상(block based motion compensation)이다. 이를 극복하기 위해 OBMC(Overlapped Block Motion Compensation)이 사용될 수 있다.
OBMC를 사용하는 경우에는 상술한 bS 결정 과정도, OBMC에 맞게 수정할 필요가 있다. 예컨대, 블록 간의 움직임 정보가 상이하면 블록 아티팩트가 심할 수 있기 때문에, bS의 값 0과 1을 결정하는 기준 중 한 가지는 움직임 정보의 유사성이라고 할 수 있다. 하지만, OBMC 기술을 사용하게 되면, 움직임 보상을 수행하는 영역의 경계에서 블록 아티팩트가 줄어들게 된다. 결과적으로 불필요한 디블록킹 필터링을 줄일 수 있게 되지만, 이를 반영하여 bS 결정 프로세스(bS 결정 트리)를 수정할 필요가 있다.
도 11은 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 일 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 11을 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S1100).
P 및/또는 Q가 인트라 코딩된 경우에는 Q의 경계, 즉 P와 Q의 경계가 코딩 블록의 경계인지를 판단한다(S1110). 이때, 코딩 블록이라 함은 CU와 LCU를 포함한다.
S1110 단계에서, P와 Q의 경계가 코딩 블록의 경계인 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS4로 결정한다(S1120).
S1120 단계에서, P와 Q의 경계가 코딩 블록의 경계가 아닌 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS3으로 결정한다(S1130).
S1100 단계에서, P 및 Q가 인트라 코딩되지 않는 경우에는 P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션(partition) 안에 있는지를 판단한다(S1140).
S1140 단계에서, P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있지 않은 경우에는 P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S1150). 이때, 변환 계수는 역양자화가 적용되기 전의 변환 계수일 수도 있고, 역양자화가 적용된 후의 변환 계수일 수도 있다.
S1150 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS2로 결정한다(S1160).
S1150 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는지를 판단한다(S1170).
S1170 단계에서, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS1으로 결정한다(S1180).
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0으로 설정한다(S1190). bS를 bS0으로 설정하는 경우는, S1140 단계에서 P와 Q가 단일 코딩 블록(예컨대 CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우가 아니거나 S1170 단계에서 P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지지 않는 경우를 포함한다.
도 11의 예에서도, 앞선 bS 결정에 관한 예들과 마찬가지로 bS4 > bS3 > bS2 > bS1 > bS0의 관계를 유지한다. 따라서, bS0 ~ bS4의 값을 도시된 바와 같이, bS4=4, bS3=3, bS2=2, bS1=1, bS0=0으로 설정할 수 있다.
또한, 앞서의 예들과 마찬가지로, bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 11에서는, 가장 큰 두 bS 값에 대해서는 tCoffset를 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 tCoffset를 0으로 설정하는 일 예를 간단히 나타내고 있다.
도 11의 예에서는, P와 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형(rectangular) 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭(asymmetric) 파티션(예컨대, 예측 블록, PU 등) 안에 있으면 P와 Q 사이의 경계에 대한 bS의 값을 0으로 결정할 수 있다.
이와 달리, P와 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭 파티션(예컨대, 예측 블록, PU 등) 안에 있더라도, P의 움직임 정보와 Q의 움직임 정보의 차이가 크다면 P와 Q 사이의 경계에 대한 bS 값을 1로 결정하고, P의 움직임 정보와 Q의 움직임 정보의 차이가 작다면 P와 Q 사이의 경계에 대한 bS를 0으로 결정할 수도 있다.
도 12는 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 다른 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 12를 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S1200).
P 및/또는 Q가 인트라 코딩된 경우에는 Q의 경계, 즉 P와 Q의 경계가 코딩 블록의 경계인지를 판단한다(S1210). 이때, 코딩 블록이라 함은 CU와 LCU를 포함한다.
S1210 단계에서, P와 Q의 경계가 코딩 블록의 경계인 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS4로 결정한다(S1220).
S1220 단계에서, P와 Q의 경계가 코딩 블록의 경계가 아닌 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS3으로 결정한다(S1230).
S1200 단계에서, P 및 Q가 인트라 코딩되지 않는 경우에는 P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션(partition) 안에 있는지를 판단한다(S1240).
S1240 단계에서, P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우가 아니라면, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S1250). 이때, 변환 계수는 역양자화가 적용되기 전의 변환 계수일 수도 있고, 역양자화가 적용된 후의 변환 계수일 수도 있다.
S1250 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS2로 결정한다(S1260).
S1240 단계에서, P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우이거나, S1250 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는지를 판단한다(S1270).
S1270 단계에서, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS1으로 결정한다(S1280).
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0으로 설정한다(S1290).
도 12의 예에서도, 앞선 bS 결정에 관한 예들과 마찬가지로 bS4 > bS3 > bS2 > bS1 > bS0의 관계를 유지한다. 따라서, bS0 ~ bS4의 값을 도시된 바와 같이, bS4=4, bS3=3, bS2=2, bS1=1, bS0=0으로 설정할 수 있다.
상술한 바와 같이, 도 12의 예에서는 P와 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭 파티션(예컨대, 예측 블록, PU 등) 안에 있더라도 P와 Q 사이의 경계에 대한 bS 값을 bS1(예컨대 bS=1)로 결정할 수 있다.
또한, 앞서의 예들과 마찬가지로, bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 12에서는 가장 큰 두 bS 값에 대해서는 tCoffset를 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 tCoffset를 0으로 설정하는 일 예를 간단히 나타내고 있다.
한편, P 및/또는 Q가 인트라 코딩된 경우에 bS의 값을 구분할 필요가 없을 수도 있다. 예컨대, 도 5, 도 11 또는 도 12의 예와 같이, I 슬라이스(인트라 코딩된 슬라이스)에서 대상 경계가 코딩 블록(예컨대 CU)의 경계인지를 판단하여, 코딩 블록의 경계이면 bS를 4로 결정하고 그 외의 경계이면 bS를 3으로 결정하는 경우라면, 모든 I 슬라이스에 대하여 결국 bS의 값은 3 또는 4로 귀결된다.
이와 관련하여, 도 10과 같이 bS 결정 트리를 수정하여 복잡도를 낮추는 방법이 적용된다면, 결국 bS의 값은 0보다 큰가 또는 1 이나 2보다 큰지를 고려해서 단순하게 적용될 가능성도 있다. 따라서, bS의 값이 3이냐 4이냐를 구별할 필요가 없을 수도 있다.
도 13은 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 13을 참조하면, 디블록킹 필터링을 적용하기 위해 bS를 결정하고(S1310), 결정된 bS에 따라서 블록 기반의 필터링 온/오프를 결정하고(S1320), 소정의 bS에 대하여 강한(strong) 필터를 적용할 것인지 약한(weak) 필터를 적용할 것인지를 결정하여(S1330), 필터링 동작(filtering operation)을 수행한다(S1340).
도 13의 예에서 디블록킹 필터를 적용하는 방법은 앞서 도 3을 기반으로 설명한 방법과 동일하거나 유사한 것을 확인할 수 있다.
이때, bS 결정 단계(S1310)에서는 도 5, 도 11 또는 도 12와 같이, P 및/또는 Q가 인트라 코딩된 경우에 대상 경계가 코딩 블록의 경계인지를 구분하여 bS값을 결정할 수도 있다.
도 14는 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 14에서는 도 13과 달리 P 및/또는 Q가 인트라 코딩된 경우(I 슬라이스인 경우)에 bS를 추가적으로 구분하여 결정하지 않는다.
도 14를 참조하면, 디블록킹 필터링을 적용하기 위해 P 및/또는 Q가 인트라 코딩되었는지(I 슬라이스인지)를 판단한다(S1410).
P 및/또는 Q가 인트라 코딩된 경우가 아니라면, 도 13의 예와 같이 bS를 결정하는 일반적인 단계를 수행한다(S1420).
P 및/또는 Q가 인트라 코딩된 경우(I 슬라이스인 경우)라면, 도 13의 예와 달리 bS를 하나의 값(예컨대 4)로 결정한다(S1430).
이어서, 결정된 bS에 따라서 블록 기반의 필터링 온/오프를 결정하고(S1440), 소정의 bS에 대하여 강한(strong) 필터를 적용할 것인지 약한(weak) 필터를 적용할 것인지를 결정하여(S1450), 필터링 동작(filtering operation)을 수행한다(S1460).
도 14의 예 이외에, 앞서 설명한 디블록킹 필터링의 방법을 수정하여 적용하는 또 하나의 방법으로서, 도 7의 예에서 설명한 대표 bS를 이용하는 방법을 수정하여 디블록킹 필터링을 수행하는 것을 고려할 수 있다.
도 7의 예에서는 8x8 픽셀 블록 단위로 디블록킹 필터링을 수행하는 경우에, 4x4 픽셀 단위로 결정되는 두 bS 중 큰 값을 가지는 bS를 대표 bS로 이용하는 방법을 설명하였다.
도 15는 대표 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 15를 참조하면, 대표 bS를 선정하기 위해, 디블록킹 필터링의 단위 블록에서 bS1과 bS2의 크기를 비교한다(S1510).
S1510 단계에서 bS1이 bS2보다 크면 대표 bS를 bS1으로 결정한다(S1520). 반대로, S1510 단계에서 bS2가 bS1보다 크면 대표 bS를 bS2로 결정한다(S1530).
bS1과 bS2는 디블록킹 필터링의 단위 블록에서 두 수직 에지에 대한 bS들일 수도 있고, 두 수평 에지에 대한 bS일 수도 있다. 도 15의 방법은 수직 에지에 대한 디블록킹 필터링 과정에서 수행되어 수직 에지에 대한 대표 bS를 결정하는데 이용된 후에, 수평 에지에 대한 디블록킹 필터링 과정에서 수행되어 수평 에지에 대한 대표 bS를 결정하는데 이용될 수 있다.
결정된 대표 bS를 이용하여 필터링부는 디블록킹 필터링을 수행할 수 있다.
도 15의 예는 도 7의 예와 같이 큰 값을 가지는 bS를 대표 bS로 이용하는 방법을 설명하고 있다. 이와 달리, 과도한 디블록킹 필터링을 줄이고 필터링의 연산량을 감소시키기 위해 대표 bS를 결정하는 방법을 달리할 수도 있다.
도 16은 대표 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 16을 참조하면, 대표 bS를 선정하기 위해, 디블록킹 필터링의 단위 블록에서 bS1과 bS2의 크기를 비교한다(S1610).
S1610 단계에서 bS1이 bS2보다 작으면 대표 bS를 bS1으로 결정한다(S1620). 반대로, S1610 단계에서 bS2가 bS1보다 작으면 대표 bS를 bS2로 결정한다(S1630).
bS1과 bS2는 디블록킹 필터링의 단위 블록에서 두 수직 에지에 대한 bS들일 수도 있고, 두 수평 에지에 대한 bS일 수도 있다. 도 16의 방법 역시 수직 에지에 대한 디블록킹 필터링 과정에서 수행되어 수직 에지에 대한 대표 bS를 결정하는데 이용된 후에, 수평 에지에 대한 디블록킹 필터링 과정에서 수행되어 수평 에지에 대한 대표 bS를 결정하는데 이용될 수 있다.
결정된 대표 bS를 이용하여 필터링부는 디블록킹 필터링을 수행할 수 있다.
도 17은 본 발명에 따라서, 영상을 인코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 17을 참조하면, 인코딩 방법은 인코더는 입력된 영상을 분할하고, 현재 블록에 대한 예측을 수행한다(S1710). 현재 블록에 대한 예측은 인코더의 예측부에서 수행할 수 있다. 예측부는 현재 블록에 대하여 인트라 예측을 수행할 수도 있고, 인터 예측을 수행할 수도 있다. 인트라 예측을 수행할 것인지 인터 예측을 수행할 것인지는 RDO(Rate Distortion Optimization) 등을 고려하여 결정될 수 있다.
스킵 모드가 적용되는 경우가 아니면, 예측부는 예측 신호를 생성하고, 원본 신호와 예측 신호의 차인 레지듀얼 신호를 생성할 수 있다.
인코더는 레지듀얼 신호를 변환 및 양자화 할 수 있다(S1720). 레지듀얼 신호의 변환은 변환부에서 수행될 수 있으며, 변환된 신호(예컨대 변환 계수)의 양자화는 양자화부에서 수행될 수 있다.
변환 및 양자화된 신호는 엔트로피 인코딩 과정을 거쳐 전송될 수 있다.
인코더는 변환 및 양자화된 신호를 역양자화 및 역변환하여 현재 블록을 복원한다(S1730). 역양자화 및 역변환된 신호는 레지듀얼 신호와 더해져서 원본 신호로 복원된다.
인코더는 복원된 신호에 디블록킹 필터링을 적용할 수 있다(S1740). 복원된 신호는 디블록킹 필터링에 의해 원본에 더 가까운 신호로 복원될 수 있다. 디블록킹 필터링은 필터부에서 수행될 수 있으며, 필터부는 디블록킹 필터링을 적용한 후 SAO(Sample Adaptive Offset)를 적용할 수도 있다.
디블록킹 필터링의 구체적인 방법은 도면과 함께 앞서 설명한 바와 같다.
디블록킹 필터링이 적용된 신호는 DPB(Decoded Picture Buffer)와 같은 메모리에 저장되며, 다른 블록 또는 다른 픽처의 예측에 참조될 수 있다.
여기서는 예측에 의해 레지듀얼 신호를 생성하고 전송하는 것을 설명하였으나, 스킵 모드가 적용되는 경우에는 레지듀얼 신호를 생성/전송하지 않는다.
도 18은 본 발명에 따라서 영상을 디코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 18을 참조하면, 디코딩 장치는 수신한 비트스트림을 엔트로피 디코딩하고 현재 블록에 대한 예측을 수행한다(S1810). 현재 블록에 대한 예측은 디코딩 장치 내의 예측부에서 수행할 수 있다. 예측부는 인코딩 장치로부터 시그널링된 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하거나 인트라 예측을 수행할 수 있다. 예측부는 예측에 의해 현재 블록에 대한 예측 신호(예측 블록)을 생성한다.
디코딩 장치는 현재 블록에 대한 예측을 기반으로 현재 블록을 복원한다(S1820). 디코딩 장치는 인코딩 장치로부터 수신한 비트스트림으로부터 역양자화/역변환을 통해 레지듀얼 신호(레지듀얼 블록)을 생성하고, 예측 신호(예측 블록)과 레지듀얼 신호(예측 블록)을 더하여 복원 신호(복원 블록)을 생성할 수 있다. 스킵 모드가 적용된 경우에는 레지듀얼 신호가 전송되지 않으며, 예측 신호를 복원 신호로 할 수 있다.
디코딩 장치는 복원 신호(복원 블록)에 디블록킹 필터링을 적용한다(S1830). 디블록킹 필터링은 디코딩 장치 내의 필터부에서 수행될 수 있다. 필터부는 복원 블록에 디블록킹 필터링을 적용하여 복원 블록을 원복 블록에 더 가깝게 수정(modify)한다.
디블록킹 필터링의 구체적인 내용은 앞서 도면과 함께 상세하게 설명했던 바와 같다.
필터부는 디블록킹 필터링을 적용한 후에 인코딩 장치로부터 수신한 정보에 기반하여 복원 블록에 SAO(Sample Adaptive Offset)을 적용할 수도 있다.
필터부를 거쳐 복원된 신호는 DPB(Decoded Picture Buffer)와 같은 메모리에 저장되어 다른 블록 또는 다른 픽처의 예측에 참조될 수 있으며, 복원 영상으로서 출력될 수도 있다.
도 17 및 도 18에서는 발명의 이해를 돕기 위해, 본 발명에 따른 디블록킹 필터링이 인코딩/디코딩 과정에서 적용되는 것을 개략적으로 설명하기 위한 것이며, 앞서 도면과 함께 상세하게 설명하였던 인코딩/디코딩 과정의 프로세스가 함께 적용될 수 있음에 유의한다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (15)

  1. 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 유도하는 단계; 및
    상기 디블록킹 필터링 단위 블록 내의 bS (boundary Strength) 설정 단위 블록별로 bS를 설정(set)하는 단계를 포함하며,
    상기 bS 설정 단계에서는,
    상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정하는 것을 특징으로 하는 bS 유도 방법.
  2. 제1항에 있어서, 상기 bS 설정 단계에서는,
    상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며,
    상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고,
    상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정하며,
    상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가지는 것을 특징으로 하는 bS 유도 방법.
  3. 제2항에 있어서, bS가 bS1으로 설정되는 경우는,
    상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우; 및
    상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함하는 것을 특징으로 하는 bS 유도 방법.
  4. 제1항에 있어서, 상기 디블록킹 필터링 단위 블록의 경계를 유도하는 단계 및 bS 설정하는 단계는
    상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들에 대하여 적용된 후에,
    상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수평 에지들에 대하여 적용되는 것을 특징으로 하는 bS 유도 방법.
  5. 제1항에 있어서, 상기 디블록킹 필터링 단위 블록은 코딩 블록, 변환 블록, 예측 블록 및 8x8 픽셀 블록 중 어느 하나인 것을 특징으로 하는 bS 유도 방법.
  6. 제1항에 있어서, 상기 bS 결정 단위 블록은 4x4 픽셀 블록인 것을 특징으로 하는 bS 유도 방법.
  7. 대상 경계에 대하여 bS (boundary Strength) 설정 단위 블록별로 bS를 설정하는 단계; 및
    상기 대상 경계에 대하여 디블록킹 필터링를 적용 단위 블록별로 디블록킹 필터링을 적용하는 단계를 포함하며,
    상기 bS를 설정하는 단계에서는,
    상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정하는 것을 특징으로 하는 디블록킹 필터링 방법.
  8. 제7항에 있어서, 상기 bS 설정 단계에서는,
    상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며,
    상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고,
    상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정하며,
    상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가지는 것을 특징으로 하는 디블록킹 필터링 방법.
  9. 제8항에 있어서, bS가 bS1으로 설정되는 경우는,
    상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우; 및
    상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  10. 제7항에 있어서, 상기 bS를 설정하는 단계 및 상기 디블록킹 필터링을 적용하는 단계는
    상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들에 대하여 적용된 후에,
    상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수평 에지들에 대하여 적용되는 것을 특징으로 하는 디블록킹 필터링 방법.
  11. 제7항에 있어서, 상기 대상 경계에 대하여 설정된 bS 값이 bS0보다 크고 디블록킹 필터링을 적용하는 경우에는 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정하는 것을 특징으로 하는 디블록킹 필터링 방법.
  12. 제11항에 있어서, 상기 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지는 상기 대상 경계를 경계로 하는 두 블록의 샘플들을 기반으로 결정하며,
    상기 대상 경계가 수직 에지인 경우에는 상기 대상 경계를 경계로 하는 샘플 행들의 샘플들 중 디블록킹 필터링의 대상이 되는 샘플들에 기반하여,
    상기 대상 경계가 수평 에지인 경우에는 상기 대상 경계를 경계로 하는 샘플 열들의 샘플들 중 디블록킹 필터링의 대상이 되는 샘플들에 기반하여,
    상기 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정하는 것을 특징으로 하는 디블록킹 필터링 방법.
  13. 제11항에 있어서, 약한 필터링을 적용하는 것으로 결정된 경우에는, 디블록킹 필터링의 대상이 되는 샘플들 중 선택된 샘플들에 필터링을 적용하는 것을 특징으로 하는 디블록킹 필터링 방법.
  14. 제7항에 있어서, 상기 디블록킹 필터링 단위 블록은 코딩 블록, 변환 블록, 예측 블록 및 8x8 픽셀 블록 중 어느 하나인 것을 특징으로 하는 디블록킹 필터링 방법.
  15. 제7항에 있어서, 상기 bS 결정 단위 블록은 4x4 픽셀 블록인 것을 특징으로 하는 디블록킹 필터링 방법.
PCT/KR2012/007468 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치 WO2013042923A1 (ko)

Priority Applications (16)

Application Number Priority Date Filing Date Title
KR1020197033742A KR102138260B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020147010209A KR102047491B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020227013638A KR102482777B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
EP12834499.1A EP2750385A4 (en) 2011-09-20 2012-09-18 METHOD AND APPARATUS FOR ENCODING / DECODING IMAGE INFORMATION
CN201280055187.4A CN103947203B (zh) 2011-09-20 2012-09-18 用于编码/解码图像信息的方法和装置
KR1020207021265A KR102219231B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020217004740A KR102305587B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020217030108A KR102392019B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020227045533A KR102590030B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
US14/220,753 US8971419B2 (en) 2011-09-20 2014-03-20 Method and apparatus for encoding/decoding image information
US14/615,771 US9986263B2 (en) 2011-09-20 2015-02-06 Method and apparatus for encoding/decoding image information
US14/615,724 US9264739B2 (en) 2011-09-20 2015-02-06 Method and apparatus for encoding/decoding image information
US15/962,939 US10298962B2 (en) 2011-09-20 2018-04-25 Method and apparatus for encoding/decoding image information
US16/387,251 US10666983B2 (en) 2011-09-20 2019-04-17 Method and apparatus for encoding/decoding image information
US16/848,659 US11172234B2 (en) 2011-09-20 2020-04-14 Method and apparatus for encoding/decoding image information
US17/500,823 US20220038694A1 (en) 2011-09-20 2021-10-13 Method and apparatus for encoding/decoding image information

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161537029P 2011-09-20 2011-09-20
US61/537,029 2011-09-20
US201161545594P 2011-10-11 2011-10-11
US61/545,594 2011-10-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/220,753 Continuation US8971419B2 (en) 2011-09-20 2014-03-20 Method and apparatus for encoding/decoding image information

Publications (1)

Publication Number Publication Date
WO2013042923A1 true WO2013042923A1 (ko) 2013-03-28

Family

ID=47914614

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/007468 WO2013042923A1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치

Country Status (5)

Country Link
US (7) US8971419B2 (ko)
EP (1) EP2750385A4 (ko)
KR (7) KR102219231B1 (ko)
CN (5) CN103947203B (ko)
WO (1) WO2013042923A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020114513A1 (en) * 2018-12-07 2020-06-11 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter
RU2783348C1 (ru) * 2018-12-07 2022-11-11 Хуавей Текнолоджиз Ко., Лтд. Кодер, декодер и соответствующие способы получения граничной мощности фильтра деблокинга

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
CA2844761C (en) 2011-10-31 2016-11-29 Mediatek Singapore Pte. Ltd. Method and apparatus of deblocking filter with simplified boundary strength decision
KR102350071B1 (ko) * 2011-11-04 2022-01-11 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
US9565451B1 (en) * 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
KR20180006411A (ko) * 2015-06-07 2018-01-17 엘지전자 주식회사 디블록킹 필터링을 수행하는 방법 및 장치
CN115134609A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US11695958B2 (en) * 2016-02-01 2023-07-04 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using edge-adaptive graph-based transform
WO2017175898A1 (ko) * 2016-04-07 2017-10-12 엘지전자(주) 인트라 예측 필터링을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20240066303A (ko) * 2016-12-28 2024-05-14 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
CN107181953B (zh) * 2017-03-31 2019-09-17 北京奇艺世纪科技有限公司 一种边界滤波强度的确定方法及装置
KR20230079466A (ko) * 2017-04-11 2023-06-07 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
AU2018416684B2 (en) * 2018-03-29 2022-12-01 Sony Corporation Image processing apparatus and image processing method
CN118042167A (zh) * 2018-03-29 2024-05-14 艾锐势有限责任公司 用于对hdr内容进行去方块的系统和方法
CN110675401B (zh) * 2018-07-02 2023-07-11 浙江大学 一种全景图像像素块滤波方法及装置
WO2020073904A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
KR102605674B1 (ko) * 2019-01-02 2023-11-23 엘지전자 주식회사 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치
WO2020147782A1 (en) 2019-01-17 2020-07-23 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of deblocking filter adaptation
US11418811B2 (en) 2019-03-12 2022-08-16 Apple Inc. Method for encoding/decoding image signal, and device therefor
CN109905709B (zh) * 2019-03-21 2021-05-07 南京威翔科技有限公司 一种基于流水线重组方式的去方块滤波方法
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
KR20220027986A (ko) * 2019-07-19 2022-03-08 엘지전자 주식회사 필터링을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220049520A (ko) 2019-08-23 2022-04-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록 또는 서브블록 경계에서의 디블로킹 필터링
CN115315959A (zh) * 2020-03-25 2022-11-08 Lg电子株式会社 通过确定边界强度执行去块滤波的图像编码/解码方法和设备及发送比特流的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100819289B1 (ko) * 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
JP2009246432A (ja) * 2008-03-28 2009-10-22 Toshiba Corp 動画像復号化装置および動画像復号化方法
KR100959436B1 (ko) * 2005-03-18 2010-05-26 샤프 가부시키가이샤 공간 계위 강화 계층 내의 인접 블록들 간의 블록 경계를특징화하는 방법 및 그 시스템
KR20110020391A (ko) * 2009-08-24 2011-03-03 성균관대학교산학협력단 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
EP1555832A3 (en) * 2004-01-14 2011-05-18 Samsung Electronics Co., Ltd. Adaptive loop filtering for reducing blocking artifacts
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US8638862B2 (en) 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
US8175168B2 (en) 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US7953161B2 (en) * 2005-04-27 2011-05-31 Broadcom Corporation System and method for overlap transforming and deblocking
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR20080076817A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 디지털 동영상 처리 시스템의 디블록 필터링 장치 및 방법
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US20080298472A1 (en) * 2007-06-04 2008-12-04 Texas Instruments Incorporated Throughput Performance When Applying Deblocking Filters On Reconstructed Image Frames
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置
KR100968027B1 (ko) * 2007-06-27 2010-07-07 티유미디어 주식회사 가변블록 기반의 디블록킹 필터링 방법 및 장치와, 이에적용되는 디블록킹 필터
CN100493196C (zh) * 2007-07-27 2009-05-27 武汉大学 一种快速计算h.264视频标准中去块滤波边界强度值的方法
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
CN101472173B (zh) * 2007-12-29 2012-07-25 安凯(广州)微电子技术有限公司 一种去块滤波方法、系统及去块滤波器
US20090245351A1 (en) 2008-03-28 2009-10-01 Kabushiki Kaisha Toshiba Moving picture decoding apparatus and moving picture decoding method
US8995559B2 (en) * 2008-03-28 2015-03-31 Qualcomm Incorporated Signaling message transmission in a wireless communication network
US9794597B2 (en) * 2008-04-11 2017-10-17 Thomson Licensing Dtv Methods and apparatus for deblocking filtering of non-local intra prediction
CN101754010A (zh) * 2008-12-18 2010-06-23 北京中星微电子有限公司 视频数据编码的环路滤波方法和滤波器
TWI413415B (zh) * 2009-06-17 2013-10-21 Novatek Microelectronics Corp 以ｈ２６４解方塊為基礎的多源過濾器以及多源過濾方法
CN101651829A (zh) * 2009-06-29 2010-02-17 北京中星微电子有限公司 一种环路滤波的方法、装置及一种移动多媒体终端芯片
KR20110014000A (ko) 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
EP2323404A1 (en) * 2009-11-17 2011-05-18 Research In Motion Limited Additional information for in-loop video deblocking
CN102098501B (zh) * 2009-12-09 2013-05-08 中兴通讯股份有限公司 一种视频图像去块效应的方法和装置
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
KR102350071B1 (ko) * 2011-11-04 2022-01-11 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
JPWO2013108689A1 (ja) * 2012-01-19 2015-05-11 ソニー株式会社 画像処理装置および方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100959436B1 (ko) * 2005-03-18 2010-05-26 샤프 가부시키가이샤 공간 계위 강화 계층 내의 인접 블록들 간의 블록 경계를특징화하는 방법 및 그 시스템
KR100819289B1 (ko) * 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
JP2009246432A (ja) * 2008-03-28 2009-10-22 Toshiba Corp 動画像復号化装置および動画像復号化方法
KR20110020391A (ko) * 2009-08-24 2011-03-03 성균관대학교산학협력단 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020114513A1 (en) * 2018-12-07 2020-06-11 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of boundary strength derivation of deblocking filter
CN113170143A (zh) * 2018-12-07 2021-07-23 华为技术有限公司 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
US11240493B2 (en) 2018-12-07 2022-02-01 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods of boundary strength derivation of deblocking filter
RU2783348C1 (ru) * 2018-12-07 2022-11-11 Хуавей Текнолоджиз Ко., Лтд. Кодер, декодер и соответствующие способы получения граничной мощности фильтра деблокинга
CN113170143B (zh) * 2018-12-07 2024-01-02 华为技术有限公司 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
US11895292B2 (en) 2018-12-07 2024-02-06 Huawei Technologies Co., Ltd. Encoder, decoder and corresponding methods of boundary strength derivation of deblocking filter

Also Published As

Publication number Publication date
US8971419B2 (en) 2015-03-03
CN108696752A (zh) 2018-10-23
KR102047491B1 (ko) 2019-11-21
CN108989803B (zh) 2021-05-28
KR20200090972A (ko) 2020-07-29
US20200260121A1 (en) 2020-08-13
KR102482777B1 (ko) 2022-12-29
KR102219231B1 (ko) 2021-02-23
US9986263B2 (en) 2018-05-29
KR20140071437A (ko) 2014-06-11
CN108989806B (zh) 2021-07-27
CN108696753B (zh) 2021-07-27
KR20230003458A (ko) 2023-01-05
KR20210119556A (ko) 2021-10-05
KR20190130677A (ko) 2019-11-22
CN103947203B (zh) 2018-08-07
KR102138260B1 (ko) 2020-07-28
US20190246145A1 (en) 2019-08-08
US20220038694A1 (en) 2022-02-03
KR102305587B1 (ko) 2021-09-28
US9264739B2 (en) 2016-02-16
CN103947203A (zh) 2014-07-23
EP2750385A1 (en) 2014-07-02
KR102590030B1 (ko) 2023-10-17
US20150156516A1 (en) 2015-06-04
US10666983B2 (en) 2020-05-26
US20140204999A1 (en) 2014-07-24
CN108696753A (zh) 2018-10-23
KR20210021139A (ko) 2021-02-24
CN108989806A (zh) 2018-12-11
US20180242022A1 (en) 2018-08-23
US11172234B2 (en) 2021-11-09
CN108989803A (zh) 2018-12-11
KR20220057643A (ko) 2022-05-09
CN108696752B (zh) 2021-07-27
KR102392019B1 (ko) 2022-04-28
US20150156489A1 (en) 2015-06-04
US10298962B2 (en) 2019-05-21
EP2750385A4 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
KR102047491B1 (ko) 영상 정보 인코딩/디코딩 방법 및 장치
JP6950055B2 (ja) 映像情報符号化／復号方法及び装置
WO2013077714A1 (ko) 영상 정보 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12834499

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012834499

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20147010209

Country of ref document: KR

Kind code of ref document: A