WO2012173403A2 - 영상 정보 인코딩 및 디코딩 방법 - Google Patents

영상 정보 인코딩 및 디코딩 방법 Download PDF

Info

Publication number
WO2012173403A2
WO2012173403A2 PCT/KR2012/004692 KR2012004692W WO2012173403A2 WO 2012173403 A2 WO2012173403 A2 WO 2012173403A2 KR 2012004692 W KR2012004692 W KR 2012004692W WO 2012173403 A2 WO2012173403 A2 WO 2012173403A2
Authority
WO
WIPO (PCT)
Prior art keywords
band
offset
sao
information
range
Prior art date
Application number
PCT/KR2012/004692
Other languages
English (en)
French (fr)
Other versions
WO2012173403A3 (ko
Inventor
박승욱
김정선
전용준
박준영
전병문
임재현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to PL12800855T priority Critical patent/PL2723073T3/pl
Priority to KR1020207033433A priority patent/KR102241992B1/ko
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to MX2013014951A priority patent/MX2013014951A/es
Priority to EP22175532.5A priority patent/EP4075799B1/en
Priority to KR1020217010984A priority patent/KR102349348B1/ko
Priority to KR1020227043928A priority patent/KR102656595B1/ko
Priority to US14/126,544 priority patent/US9565453B2/en
Priority to EP20201588.9A priority patent/EP3787289B1/en
Priority to EP12800855.4A priority patent/EP2723073B1/en
Priority to ES12800855.4T priority patent/ES2657827T3/es
Priority to KR1020207006631A priority patent/KR102183214B1/ko
Priority to PL17187999T priority patent/PL3280144T4/pl
Priority to EP17187999.2A priority patent/EP3280144B1/en
Priority to EP24160172.3A priority patent/EP4373090A3/en
Priority to CN201280038587.4A priority patent/CN103733627B/zh
Priority to KR1020247011541A priority patent/KR20240051308A/ko
Priority to KR1020197013569A priority patent/KR102088014B1/ko
Priority to KR1020227000381A priority patent/KR102479046B1/ko
Priority to KR1020137034257A priority patent/KR101979387B1/ko
Publication of WO2012173403A2 publication Critical patent/WO2012173403A2/ko
Publication of WO2012173403A3 publication Critical patent/WO2012173403A3/ko
Priority to US14/694,499 priority patent/US9300982B2/en
Priority to US15/217,765 priority patent/US9992515B2/en
Priority to US15/996,877 priority patent/US10531126B2/en
Priority to US16/715,895 priority patent/US10798421B2/en
Priority to US17/023,090 priority patent/US10924767B2/en
Priority to US17/154,844 priority patent/US11418815B2/en
Priority to US17/862,673 priority patent/US11671630B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/98—Adaptive-dynamic-range coding [ADRC]

Definitions

  • the present invention relates to image information compression technology, and more particularly, to a method of applying a sample adaptive offset (SAO) as an in-loop filter.
  • SAO sample adaptive offset
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • inter prediction and intra prediction may be used.
  • the pixel value of the current picture is predicted by referring to information of another picture
  • the intra prediction method the pixel value is predicted by using the correlation between pixels in the same picture. do.
  • An object of the present invention is to provide a method for adaptively applying SAO to improve the image reconstruction effect.
  • Another object of the present invention is to provide a method of applying a band offset in consideration of intensity, that is, frequency of pixels for each pixel value.
  • Another technical problem of the present invention is to provide a method for transferring information from an encoding device to a decoding device for applying a band offset only to an effective band.
  • Another object of the present invention is to provide a method of applying a plurality of SAO according to the SAO application unit.
  • Another object of the present invention is to provide a method and apparatus for applying SAO to chroma pixels to enhance an image reconstruction effect.
  • a video information encoding method comprising: generating a reconstruction block, applying a deblocking filter to the reconstructed block, and applying a sample adaptive offset (SAO) to the reconstructed block to which the deblocking filter is applied. And transmitting image information including information on the applied SAO, wherein in the transmitting step, when a band offset is applied in the SAO applying step, the band offset covers a range of pixel values to which the band offset is applied.
  • Information specifying bands may be transmitted.
  • information of the offset values for the bands covering the range of pixel values to which the band offset is applied may be transmitted together with information specifying bands covering the range of pixel values to which the band offset is applied. have.
  • Information specifying bands covering a range of pixel values to which the band offset is applied may include information specifying first bands of bands covering a range of pixel values to which the band offset is applied.
  • the information for designating bands covering a pixel value to which the band offset is applied may include information for designating a last band among bands covering a range of pixel values to which the band offset is applied.
  • Another embodiment of the present invention is a method for decoding image information, the method comprising: receiving image information including SAO information about an applied sample adaptive offset (SAO), generating a reconstruction block based on the received information, and restoring the received information And applying a deblocking filter to the block and applying a sample adaptive offset (SAO) to the reconstructed block to which the deblocking filter is applied, wherein the SAO information covers a range of pixel values to which the band offset is applied.
  • the band offset may be applied to pixels corresponding to the bands specified based on the band information.
  • the SAO information may include a value of an offset for bands covering a range of pixel values to which the band offset is applied.
  • the information for designating bands covering a range of pixel values to which the band offset is applied may include information for designating a last band among bands covering a range of pixel values to which the band offset is applied.
  • bands covering a range of pixel values to which the band offset is applied may be designated for each SAO application unit.
  • Another embodiment of the present invention is an image information encoding apparatus, comprising: a filter unit for applying a sample adaptive offset (SAO) to a reconstruction block, and an entropy encoding unit for entropy encoding and transmitting image information including SAO information applied by the filter unit.
  • the SAO information may include information designating bands covering a range of pixel values to which the band offset is applied when a band offset is applied in the filter unit.
  • Information specifying bands covering a range of pixel values to which the band offset is applied may include information specifying first bands of bands covering a range of pixel values to which the band offset is applied.
  • the information for designating bands covering a pixel value to which the band offset is applied may include information for designating a last band among bands covering a range of pixel values to which the band offset is applied.
  • Information specifying bands covering a range of pixel values to which the band offset is applied may include information specifying first bands of bands covering a range of pixel values to which the band offset is applied.
  • Bands covering a range of pixel values to which the band offset is applied may be designated for each SAO application unit.
  • the effect of image reconstruction can be enhanced by adaptively applying SAO.
  • the amount of information can be reduced by applying a band offset only to the effective band and transferring related information from the encoding device to the decoding device.
  • the effect of image reconstruction can be enhanced by applying a plurality of SAOs according to the SAO application unit.
  • an image reconstruction effect can be enhanced by applying SAO to chroma pixels.
  • FIG. 1 is a block diagram schematically illustrating an encoding apparatus (video encoding apparatus) according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating a band offset.
  • 5 to 7 schematically illustrate examples of a method of applying a band offset by dividing an entire range of pixel values adaptively or variably.
  • FIG. 8 is a diagram schematically illustrating an example of a method of indicating bands to which a band offset is applied according to the present invention.
  • FIG. 10 is a view schematically illustrating another example of a method of indicating bands to which a band offset is applied according to the present invention.
  • FIG. 11 illustrates by way of example the shape of a representative edge that may appear in a direction in a block.
  • FIG. 12 illustrates four edge types of the edge offset with respect to the current pixel C.
  • FIG. 13 is a view for explaining an intensity comparison between a current pixel and a neighboring pixel and dividing into four categories.
  • 15 and 16 schematically illustrate examples of applying a band offset to only a part of all bands for a chroma pixel.
  • 17 is a flowchart schematically illustrating an operation of an encoding apparatus in a system to which the present invention is applied.
  • FIG. 18 is a flowchart schematically illustrating an operation of a decoding apparatus in a system to which the present invention is applied.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of different characteristic functions in the image encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit.
  • the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). May be used).
  • a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block having the same size as the PU may be selected.
  • the reference block may be selected in integer pixel units.
  • a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
  • the motion vector may also be expressed in units of integer pixels or less. For example, it may be expressed in units of 1/4 pixels for luminance samples and in units of 1/8 pixels for chrominance samples.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transformer 115 performs transform on the residual block in transform units and generates transform coefficients.
  • the transform unit in the converter 115 may be a TU and may have a quad tree structure. In this case, the size of the transform unit may be determined within a range of a predetermined maximum and minimum size.
  • the transform unit 115 may convert the residual block using a discrete cosine transform (DCT) and / or a discrete sine transform (DST).
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the reordering unit 125 rearranges the quantization coefficients provided from the quantization unit 120. By reordering the quantization coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantization coefficients in the form of a two-dimensional block into a one-dimensional vector form through a coefficient scanning method.
  • the reordering unit 125 may increase the entropy encoding efficiency of the entropy encoding unit 130 by changing the order of coefficient scanning based on probabilistic statistics of coefficients transmitted from the quantization unit.
  • the entropy encoding unit 130 may perform entropy encoding on the quantization coefficients rearranged by the reordering unit 125.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoding unit 130 may include quantization coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, motion vector information, etc. of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • the image decoding apparatus 200 may include an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the image encoding apparatus.
  • variable length coding such as CAVLC (VLC)
  • VLC variable length coding
  • the entropy decoding unit 210 also uses the VLC used in the encoding apparatus. Entropy decoding may be performed by implementing the same VLC table as the table.
  • CABAC CABAC is used to perform entropy encoding in the image encoding apparatus
  • the entropy decoding unit 210 may perform entropy decoding using CABAC correspondingly.
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the prediction unit 230, and the residual value where the entropy decoding is performed by the entropy decoding unit 210 is transferred to the reordering unit 215. Can be entered.
  • the reordering unit 215 may reorder the entropy decoded bitstream by the entropy decoding unit 210 based on a method of reordering the image encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may be realigned by receiving information related to coefficient scanning performed by the encoding apparatus and performing reverse scanning based on the scanning order performed by the encoding apparatus.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the image encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transform unit 225 of the decoding apparatus is configured in the transformation unit of the encoding apparatus.
  • Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
  • motion information required for inter prediction of the current PU provided by the image encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • FIG. 2 it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • the filter unit of the encoding device and the decoding device may apply a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) as an in-loop filter.
  • a deblocking filter a sample adaptive offset (SAO)
  • ALF adaptive loop filter
  • the deblocking filter removes artifacts between blocks due to block-by-block prediction, transformation, and quantization.
  • the deblocking filter is applied to the prediction unit edge or the transform unit edge, and can set a predetermined minimum block size for applying the deblocking filter.
  • the deblocking filter To apply the deblocking filter, first determine the BS (Boundary Strength) of the horizontal or vertical filter boundary. Whether to perform filtering based on the BS is determined in units of blocks. If you decide to perform filtering, decide which filter to apply.
  • the filter to be applied may be selected from a weak filter and a strong filter.
  • the filtering unit applies the selected filter to the boundary of the corresponding block.
  • the adaptive loop filter may be applied after performing the SAO described later.
  • ALF compensates for encoding errors by using a Wiener filter, and unlike SAO, ALF is applied globally in a slice.
  • ALF may be applied only in the case of HE (High Efficiency).
  • SAO is a procedure for restoring the offset difference from the original image on a pixel-by-pixel basis for the deblocking filtering image.
  • a coding error may be compensated for through SAO, and a coding error may be due to quantization or the like.
  • two types of SAO include a band offset and an edge offset. There is this.
  • FIG. 3 is a diagram schematically illustrating a band offset.
  • the pixels in the SAO application unit may be classified according to the intensity of each pixel, that is, the pixel value.
  • An intensity range of the pixels that is, a range of pixel values, may be divided into a predetermined number of intensity intervals (a range of pixel values), that is, a predetermined number of bands.
  • 'pixel value' is mixed with 'pixel intensity', but 'pixel value' and 'pixel intensity' have the same meaning or 'pixel value' includes 'pixel intensity'. Can be).
  • the value of the offset applied to the pixel may be set for each band.
  • the offset of the band to which the pixel value belongs may be applied to the pixel.
  • each band is eight.
  • the 32 bands can be divided into a central first group and a peripheral second group. If each group consists of the same number of bands, the first group may consist of 16 bands, and the second group may also consist of 16 bands.
  • the offset is applied for each band, and the offset value for each band may be transmitted to the decoding apparatus.
  • the pixels are grouped in the same manner as the process of applying the band offset in the encoding apparatus, and the transmitted offset value is applied to the pixels according to the band to which the pixel belongs.
  • FIG. 4 illustrates an example of a histogram according to characteristics of a corresponding image in a predetermined image.
  • FIG. 4 illustrates various examples of histograms of luma and chroma components according to image characteristics of respective partial images in the image of FIG. 4 (a).
  • the two upper and lower histograms on the left side of FIG. 4D show the chroma component (Cb) histograms of the original image.
  • the two top and bottom histograms on the right represent the chroma component (Cb) histograms of the reconstructed image.
  • the encoding device or the decoding device may apply a band offset by dividing the pixel range adaptively. That is, the band interval may be set by dividing an intensity range that a pixel may have adaptively or variably.
  • the center of the pixel value range is divided more finely to set a band having narrow intervals, and the periphery of the pixel value range is divided slightly less finely.
  • a band with a larger interval can be set.
  • a small intensity interval that is, a small pixel value interval is placed at the center.
  • the branches may set M bands, and L bands having a large intensity section (large pixel value section) may be set in the periphery. At this time, M and L may be set to the same value, or may be set to a different value.
  • the band can be considered by dividing the periphery more finely, and dividing the central part a little less finely.
  • the M number having a small intensity interval and a small pixel value interval at the periphery is large.
  • a band may be set, and L bands having a large intensity section (large pixel value section) may be set in the center portion.
  • M and L may be set to the same value, or may be set to a different value.
  • FIG. 5 is a diagram schematically illustrating an example of a method of applying a band offset by dividing an entire range of pixel values adaptively or variably.
  • FIG. 5 the case where there are many pixels corresponding to the center of the pixel value range is described as an example.
  • the first group in the center is divided into 12 bands with 16 pixel values as one band, as opposed to the example of FIG.
  • the second group of periphery may be divided into 16 bands with 4 pixel values as one band.
  • 6 is a diagram schematically illustrating another example of a method of applying a band offset by dividing an entire pixel range adaptively or variably. 6 illustrates a case where there are many pixels corresponding to the periphery of the entire pixel value range.
  • a method of classifying the entire pixel value into more band groups according to the SAO application unit may be used without classifying the range of the entire pixel value into two band groups. Since the offset can be applied by dividing the range of all pixel values more densely, the effect of image reconstruction can be enhanced. For example, rather than dividing the band into two groups, it is possible to divide the band into N groups so that the encoding apparatus can provide finer offset information for some pixel value ranges. Accordingly, the decoding apparatus may receive finer offset information from the encoding apparatus for some pixel value ranges, and apply a fine offset according to the pixel value ranges.
  • a range of all pixel values is divided into a predetermined number of bands, and bands are divided into four groups to apply band offsets.
  • the range of the entire pixel value may be 256 values of 0 to 255. If the total pixel value range is divided into 32 bands, and four groups of the same number of bands are set, each group includes eight bands, and each band has an interval of eight pixel values.
  • the encoding apparatus may transmit a range of band offsets to be used for the current picture. That is, the range or section of the bands corresponding to the band offset to be used for the current picture may be transmitted.
  • the encoding apparatus may transmit information indicating bands covering a range of pixel values to which the band offset is applied and information about offset values for the corresponding bands to the decoding apparatus.
  • the encoding apparatus may designate bands that can cover the range of pixel values to which the band offset is applied, or specify bands that cover only the range of pixel values to which the band offset is applied.
  • the information of the transmitted bands may be information of a band section including bands covering a range of pixel values to which a band offset is applied, or information specifying a band section covering only a range of pixel values to which a band offset is applied. It may be.
  • FIG. 8 is a diagram schematically illustrating an example of a method of indicating bands to which a band offset is applied according to the present invention.
  • a method of indicating a first band among bands covering a range of pixel values to which a band offset is applied is described.
  • the encoding apparatus may transmit information indicating the last band among the n bands to the decoding apparatus. send.
  • the encoding apparatus when the number of bands covering a range of pixel values to which a band offset is to be applied is n among all N bands, the encoding apparatus indicates information indicating the first and last bands of the n bands. Is transmitted to the decoding apparatus.
  • a band including a pixel value of zero in a range of all pixel values is called a 0th band
  • a band including a pixel value largest in a range of all pixel values is called an N-1th band.
  • the encoding apparatus decodes the information indicating the i-th band, the first band, and the j-th band, which is the first band, of the n bands covering the range of pixel values to which the band offset is applied, and the offset information for the n bands. Can be sent to.
  • the decoding apparatus receives information indicating the i-th band and the j-th band and offset information for n bands from the encoding apparatus. Pixels in the current picture or the current SAO application unit have a pixel value corresponding to any one of the n bands, and the decoding apparatus may apply a band offset to each pixel according to the pixel value.
  • the encoding apparatus covers a range of pixel values to which the band offset is to be applied, from the 0th band to the 31st band.
  • the first and last bands of the bands can be indicated. For example, if the number of bands covering the range of pixel values to which the band offset is to be applied is four, the first band of the four bands is the i th band and the last band is the j th band, the encoding apparatus is the i th band and the j th band.
  • the encoding apparatus may further transmit information about which band an offset value is transmitted to the decoding apparatus.
  • edge offset As a second type of SAO, there is an edge offset in addition to the above band offset.
  • the edge offset is applied by considering the edge information per pixel, for example, the direction of the edge with respect to the current pixel, and the intensity of the current pixel and surrounding pixels.
  • FIG. 11 illustrates by way of example the shape of a representative edge that may appear in a direction in a block.
  • (a) of FIG. 11 is an edge having a direction of 90 degrees
  • (b) is an edge having a direction of 0 degrees
  • (c) is an edge having a direction of 45 degrees
  • (d) is a direction of 135 degrees.
  • Each edge is shown.
  • FIG. 12 illustrates four edge types of the edge offset with respect to the current pixel C.
  • (a) of FIG. 12 represents an edge type of one dimensional 0 degree
  • (b) represents an edge type of one dimensional 90 degrees
  • (c) is an edge type of one dimensional 135 degrees
  • (D) shows the one-dimensional 45 degree edge type.
  • edge offset may be used.
  • the edge offset is applied to reflect the relationship between the current pixel and the surrounding pixels.
  • FIG. 13 is a view for explaining an intensity comparison between a current pixel and a neighboring pixel and dividing into four categories.
  • FIGS. 13A to 13F illustrate a relationship between a current pixel and an adjacent pixel for each category.
  • Table 1 shows the four categories shown in FIG. 13.
  • C represents the current pixel.
  • Category 1 of Table 1 corresponds to FIG. 13A
  • Category 2 of Table 1 corresponds to FIGS. 13B and 13C
  • Category 3 of Table 1 corresponds to FIGS. corresponds to e
  • category 4 of Table 1 corresponds to FIG. 13 (f).
  • the encoding apparatus transmits an edge offset value for each category.
  • the decoding apparatus may reconstruct the pixel by adding an edge offset value corresponding to the category and the edge type for the pixels. For example, after determining which one of the four edge types of FIG. 11 belongs to, one of the categories of Table 1 may be determined to apply an offset of the corresponding category to the current pixel.
  • a unit to which SAO is applied is an area in which one picture is divided into a quadtree structure, and the encoding apparatus may determine whether to apply SAO, an offset type, and an offset value to each decoding apparatus, for each SAO applying unit. Determining the offset type here is to determine which of the plurality of band offsets and the plurality of edge offsets to apply.
  • the SAO application unit may be set separately for the luma component and the chroma component, and the information for the SAO application unit may be transmitted separately for the luma component and the chroma component.
  • FIG. 14 is a diagram schematically illustrating a SAO application unit.
  • the SAO application unit corresponds to an area divided by a dotted line.
  • a SAO application unit which splits a WQVGA (416x240) image into a quadtree structure is illustrated.
  • Each SAO application unit must be at least larger than the LCU and can be divided along the boundaries of the LCU.
  • Table 2 shows an example of signaling indicating whether SAO is applied to the current sequence.
  • a value of sao_used_flag of 0 indicates that SAO is disabled for the current sequence
  • a value of sao_used_flag of 1 indicates that SAO can be used for the current sequence. Instruct.
  • Table 3 schematically shows an example of slice header syntax as a syntax structure for applying SAO.
  • Table 4 schematically shows an example of SAO parameter syntax as a syntax structure for applying SAO.
  • Parameters necessary for applying SAO may be transmitted through the SAO parameter syntax.
  • the transmitted parameters include sao_split_param for partitioning the SAO application area and sao_offset_param for an offset applied to SAO, as in the example of Table 4.
  • a value of sao_flag of 1 indicates that SAO may be enabled for at least a portion of the current picture.
  • a value of sao_flag of 0 indicates that SAO cannot be applied to the entire current picture. ) Indicates that. Therefore, if the value of sao_flag is 1, SAO parameters may be indicated.
  • sao_split_param (x, y, Depth) signals through sao_split_flag whether the location specified by (x, y) and the SAO application unit at the depth specified by 'Depth' are further divided.
  • a value of 0 sao_split_flag indicates that the current region is a leaf. Thus, the current area is no longer partitioned for SAO application.
  • a value of sao_split_flag of 1 indicates that the current region is further divided into four child regions.
  • a splitting parameter pqao_split_param for four divided areas may be indicated.
  • pqao_split_param indicates whether the SAO applying unit is further divided for each divided region when the SAO applying unit is further divided.
  • the syntax sao_split_param may be used again for the divided region instead of the syntax pqao_split_param, but the depth of the indicated region may be changed and applied. For example, in indicating whether to divide a region for applying SAO, when the region to be divided and its depth are (x0, y0, saoDepth), sao_split_param (x0, y0, saoDepth) is the corresponding region.
  • each divided area (x0 + 0, y0 + 0), (x0 + 0, y0 + 1), (x0 + 1, y0 + 0), (x0)
  • the depth may be adjusted to 'saoDepth + 1' to indicate whether to divide again.
  • Table 6 schematically shows an example of a method for transmitting the offset information for predetermined bands to which the band offset is applied as a syntax for applying the band offset according to the present invention.
  • the value of sao_type_idx indicates which of the band offset and edge offset of SAO is applied. In the example of Table 6, when the value of sao_type_idx is 0, it indicates that the band offset and the edge offset are not applied.
  • the encoding apparatus may indicate a first band among bands covering a range of pixel values to which the band offset is applied through syntax of start_offset . Subsequently, a band offset (SAO offset) value for n bands including the band indicated by start_offset may be transmitted.
  • SAO offset band offset
  • the decoding apparatus determines, based on the information received from the encoding apparatus, a first band among bands covering a range of pixel values to which the band offset is to be applied, and obtains offset information for n bands including the first band. Can be.
  • the decoding apparatus may apply the band offset value of the band to which the pixel value belongs to the corresponding pixel.
  • Table 7 schematically shows another example of a method for transmitting offset information for predetermined bands to which a band offset is applied as a syntax for applying a band offset according to the present invention.
  • the value of sao_type_idx indicates which of the band offset and the edge offset of SAO is applied, and when the value of sao_type_idx is 0, it indicates that the band offset and the edge offset are not applied.
  • the encoding apparatus may indicate the last band among the bands covering the range of pixel values to which the band offset is to be applied through syntax of end_offset . Subsequently, a band offset (SAO offset) value for n bands including the band indicated by end_offset may be transmitted.
  • SAO offset band offset
  • the decoding apparatus may determine the last band among the bands covering the range of pixel values to which the band offset is to be applied, and obtain offset information for n bands including the last band, based on the information received from the encoding apparatus. .
  • the decoding apparatus may apply the band offset value of the band to which the pixel value belongs to the corresponding pixel.
  • Table 8 schematically illustrates another example of a method for transmitting offset information for predetermined bands to which a band offset is applied as a syntax for applying a band offset according to the present invention.
  • the value of sao_type_idx indicates which of the band offset and the edge offset of SAO is applied, and indicates that the band offset and the edge offset are not applied when the value of sao_type_idx is zero.
  • the encoding apparatus may indicate a first band and a last band among bands covering a range of pixel values to which the band offset is to be applied through syntax of start_offset and end_offset . Subsequently, a band offset (SAO offset) value for n bands may be transmitted from the designated first band to the last band.
  • SAO offset band offset
  • the decoding apparatus determines, based on the information received from the encoding apparatus, bands covering the range of pixel values to which the band offset is to be applied through the first band and the last band, and for n bands from the first band to the last band. Offset information can be obtained.
  • the decoding apparatus may apply the band offset value of the band to which the pixel value belongs to the corresponding pixel.
  • the encoding apparatus may transmit information indicating a range of bands covering a pixel value to which the band offset is applied to the current picture or the current SAO applying unit, to the decoding apparatus.
  • the encoding apparatus may transmit a band offset value for the bands belonging to the range to the decoding apparatus.
  • the decoding apparatus may receive information indicating bands to which a band offset is applied and band offset information of the bands from the encoding apparatus.
  • the decoding apparatus may apply an offset value of a band corresponding to the case where the pixel value belongs to bands to which the band offset is applied, to the corresponding pixel.
  • Table 9 schematically shows an example of syntax for performing SAO when applying a band offset according to the present invention.
  • an offset parameter may be indicated for each divided area.
  • sao_type_idx indicates an offset type applied to the current region.
  • the number of SAO offsets or the number of SAO categories may be determined according to the SAO type (sao_type_idx) applied to the current region.
  • sao_type_idx when the value of sao_type_idx is 0, it may mean that SAO is not applied.
  • the value of sao_type_idx is 1 to 4, it may indicate that an edge offset is applied.
  • 1 to 4 of values of sao_type_idx may correspond to four types of edge offsets shown in FIG. 12.
  • the value of sao_type_idx is 4 or more, it may be indicated that the band offset is applied.
  • Tables 6 to 7 in the case of indicating a band of a predetermined range to be applied to the band offset, it can be set to indicate the application of the band offset when the value of sao_type_idx is 5.
  • the values of sao_type_idx greater than 4 are each band. You can also indicate a group of people.
  • PqaoOffsetNum [sao_type_idx] is an example of syntax information indicating the number of SAO offsets or the number of SAO categories according to the offset type.
  • start_offset may indicate the smallest number of band or edge type, that is, the band or edge type of the smallest index, to which the offset is applied. If start_offset is not available (if 'start_offset' is not available), it may be assumed that start_offset has a value of zero. In addition, end_offset may indicate the largest number of bands or edge types among the band or edge types used, that is, the band or edge type of the largest index.
  • the value of the end_offset may be set to the number of SAO categories (the number of offsets) and PqaoOffsetNum [sao_type_idx] determined according to the sao type (sao_type_idx) as described above.
  • Table 10 schematically shows an example of the SAO offset type.
  • the SAO category (the number of offsets) may be determined according to the offset type.
  • the SAO type index may indicate one of an edge offset and a band offset.
  • Table 10 an example of applying a band offset by dividing the entire band into two groups is shown as an example.
  • the SAO type index indicates one of four edge offsets and two band offsets.
  • the offset value is set for each category constituting each SOA type. For example, in the case of an edge offset, an offset value may be set for each of the four edge categories according to four categories according to the intensity of the current pixel and neighboring pixels.
  • Table 11 schematically illustrates an example of an SAO offset type when a band offset is applied by adaptively setting the number of band groups.
  • the number of categories of the center band and the surrounding bands is different. For example, in the case of 256 pixels, in the case of Table 10, a central band and a peripheral band consisting of 16 bands of 8 pixel values are configured, while in the case of Table 11, a center band and 16 of 16 bands of 4 pixel values are configured.
  • the band offset is applied using a peripheral band consisting of 12 bands of pixel values. Thus, the offset can be applied more precisely to the center bands.
  • Table 12 schematically shows another example of the SAO offset type when the band group is adaptively divided to apply the band offset.
  • Table 12 shows an example of applying a band offset by dividing the surrounding band in more detail than in the case of Table 11.
  • a band offset is applied using a center band of 12 bands of 16 pixel values and a peripheral band of 16 bands of 4 pixel values.
  • the offset can be applied more finely to the surrounding bands.
  • Table 13 is an example of a table relating to the SAO type when a band offset is applied by designating more band groups.
  • each band group is formed of 8 bands of 8 pixel values.
  • Each band group may be grouped in order from the left for the entire band as shown in FIG. 7.
  • Table 14 is an example of a table regarding a SAO type for applying a band offset to a band offset by designating predetermined bands covering a pixel value to which the band offset is applied.
  • the encoding apparatus may transmit a value of 5 as the value of sao_type_idx to the decoding apparatus.
  • the encoding apparatus may designate a range of bands to which the band offset is to be applied and transmit a value of the band offset for the bands of the corresponding range to the decoding apparatus as described above.
  • the SAO type to be applied to the current pixel among the SAO types (edge types) shown in Tables 10 to 14 may be indicated through the above-described sao_type_idx.
  • the band offset is applied as described above.
  • Table 15 schematically shows another example of the sao_offset_param syntax regarding an offset among SAO parameters as a syntax structure for applying SAO.
  • Table 15 shows an example of a syntax structure for transmitting only a valid band offset.
  • the valid band offset here means an applicable band offset.
  • total_offset_num_minus_one indicates the total number of offsets of the band offset.
  • offset_idx [i] indicates which category corresponds to the band offset indicated by sao_type_idx.
  • sao_offset indicates an offset value for a category indicated by offset_idx [i] at a corresponding position and depth.
  • a plurality of edge offsets may be applied to one SAO application unit.
  • Table 16 schematically shows an example of a syntax structure in the case of applying a plurality of edge offsets to one SAO application unit.
  • the edge offset is applied when the value of sao_type_idx is less than five.
  • num_edge_offset indicates the total number of offsets of the edge offset.
  • edge offset may be applied to a corresponding SAO application area as indicated by num_edge_offset.
  • SAO may be applied to chroma in consideration of the difference between luma and chroma.
  • FIG. 4 shows a local distribution of a histogram for the same image.
  • FIG. 4 (b) shows a histogram difference between a luma original image and a reconstructed image. .
  • FIG. 4 (c) shows a histogram of the chroma (Cr) original image (upper left and lower left of FIG. 4 (c)) and a histogram of the reconstructed image for regions A and B of FIG. 4 (a). The difference between the right and the bottom of) is shown.
  • FIG. 4 (d) shows a difference between the histogram of the chroma (Cb) original image (upper left and down in FIG. 4 (d)) and the histogram of the reconstructed image (upper and down right in FIG. 4 (d)).
  • the offset of the signal relative to the chroma pixel as well as the offset of the signal relative to the luma pixel may be independently transmitted.
  • the offset may be applied to the chroma pixels in consideration of the number of luma pixels and the number of chroma pixels.
  • a range of chroma signals that is, a range of pixel values of chroma pixels is 0 to 2 N ⁇ 1 (N is a bit depth of pixel values)
  • the size of the total bit depth, that is, a range of pixel values Can be divided as in the example of FIG. 15 or FIG. 16.
  • FIG. 15 is a diagram schematically illustrating an example in which a band offset is applied to only a part of all bands for a chroma pixel.
  • chroma pixels may be allocated to center bands consisting of K center bands among all 2 * K bands, and a band offset may be applied.
  • the offset values for the indices (1, 2, ..., K) assigned to each band to which the band offset is applied may be transferred from the encoding device to the decoding device.
  • the offset value for the neighboring bands to which the band offset is not applied may designate a corresponding index as 0 so that the offset may not be indicated for the chroma pixel.
  • An index with a value of zero may indicate that no band offset is applied and may indicate that the offset value of the band offset is zero.
  • FIG. 16 is a diagram schematically illustrating another example of applying a band offset to only a part of all bands for a chroma pixel.
  • chroma pixels may be allocated to residual bands composed of neighboring K bands among a total of 2 * K bands, and a band offset may be applied.
  • the offset values for the indices (1, 2, ..., K / 2, K / 2 + 1, ..., K) assigned to each band to which the band offset is applied may be transferred from the encoding device to the decoding device.
  • the offset value for the center band to which the band offset is not applied may be assigned an index of 0 so that the offset may not be indicated for the chroma pixel.
  • An index with a value of zero may indicate that no band offset is applied and may indicate that the offset value of the band offset is zero.
  • Band offsets can be applied to the chroma pixels with eight center bands and eight peripheral bands.
  • the signal (luma signal) for the luma pixel is a pixel value (eg, intensity) of the luma pixel, and is referred to as a "luma signal" for convenience of description below.
  • Table 17 schematically illustrates an example of a sao_offset_param syntax regarding an offset among SAO parameters as a syntax structure for independently applying SAO to chroma.
  • sao_type_cr_idx indicates an offset type for a chroma signal.
  • sao_type_cb_idx indicates an offset type for a chroma (Cb) signal.
  • sao_cr_offset indicates an offset value for a chroma signal.
  • sao_cb_offset indicates an offset value for a chroma (Cb) signal.
  • an offset value indicated by sao_cr_offset may be applied to the current pixel.
  • an offset value indicated by sao_cb_offset may be applied to the current pixel.
  • 17 is a flowchart schematically illustrating an operation of an encoding apparatus in a system to which the present invention is applied.
  • the encoding apparatus restores a block (S1710).
  • the encoding apparatus transforms the residual block generated based on the prediction block and the current block, and quantizes the residual block to generate a reconstructed residual block through inverse quantization and inverse transformation.
  • the filter unit may apply an offset in units of pixels.
  • the filter unit may adaptively determine the number of offsets (number of bands), the group of bands, etc. to apply the band offset, and apply to a valid band (bands covering a range of pixel values to which the band offset is applied). Only the offset may be transmitted to the decoding apparatus.
  • the filter unit may be configured to apply a plurality of edge offsets in the SAO application area. Details are as described above.
  • the filter unit may apply SAO to chroma pixels. Areas for applying SAO may be defined independently in the case of luma and chroma. In addition, in the case of a band offset for chroma, the number and group of bands may be determined to apply the offset to the chroma pixels. Specific contents thereof are also described above.
  • FIG. 18 is a flowchart schematically illustrating an operation of a decoding apparatus in a system to which the present invention is applied.
  • the decoding apparatus restores the block based on the received information (S1820).
  • the decoding apparatus generates a reconstruction block based on the prediction block generated by the prediction and the residual block generated through inverse quantization and inverse transformation.
  • the decoding apparatus may perform entropy decoding and reordering before inverse quantization and inverse transformation to generate a residual block.
  • the decoding apparatus applies an in-loop filter to the reconstruction block (S1830).
  • In-loop filtering may be performed in the filter unit of FIG. 2.
  • a deblocking filter, SAO, ALF, or the like may be applied.
  • SAO may be applied to the image to which the deblocking filter is applied in units of pixels, and the SAO may be applied to the reconstructed block for each SAO applied unit.
  • ALF may be applied to an image to which SAO is applied.
  • the filter unit may apply an offset in units of pixels.
  • the filter unit may derive the SAO parameter based on the syntax element transmitted from the encoding apparatus.
  • the filter unit may apply the band offset to the current pixel based on the number of offsets (the number of bands), the group of bands, etc. indicated by the SAO application information such as the SAO parameter.
  • the filter unit may apply a plurality of edge offsets in the corresponding SAO application area, as indicated by the SAO parameter. Details are as described above.
  • the filter unit may apply SAO to chroma pixels.
  • the area for applying SAO is independently defined in the case of luma and chroma so that related information can be transmitted from the encoding device.
  • information about the number and group of bands for applying the band offset to the chroma pixel may be transmitted from the encoding apparatus.
  • the decoding apparatus may perform SAO on the chroma pixel based on the transmitted information. Specific contents thereof are also described above.
  • 'pixel value' and 'intensity of pixel' are used interchangeably, but the two terms have the same meaning or 'pixel value'. It may be interpreted to mean 'intensity of pixels'.
  • filtering unit and the SAO application unit are used for the convenience of description in the unit region to which the SAO is applied, the same may be interpreted as the same meaning.
  • the methods are described based on a flowchart as a series of steps or blocks, but the invention is not limited to the order of steps, and certain steps may occur in a different order or concurrently with other steps than those described above. Can be.
  • the above-described embodiments include examples of various aspects. Accordingly, the invention is intended to embrace all other replacements, modifications and variations that fall within the scope of the following claims.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 정보 인코딩 및 디코딩 방법과 이를 이용한 장치에 관한 것으로서, 본 발명에 따른 영상 정보 인코딩 방법은 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계, 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계 및 적용된 SAO의 정보를 포함하는 영상 정보를 전송하는 단계를 포함하며, 상기 전송 단계에서는, 상기 SAO 적용 단계에서 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 전송한다.

Description

영상 정보 인코딩 및 디코딩 방법
본 발명은 영상 정보 압축 기술에 관한 것으로서, 더 구체적으로는 인-루프 필터(in-loop filter)로서 SAO(Sample Adaptive Offset)을 적용하는 방법에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
본 발명의 기술적 과제는 영상 복원 효과를 향상시키기 위해 SAO를 적응적으로 적용하는 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 세기(intensity) 즉 픽셀 값별로 픽셀의 빈도를 고려하여 밴드 오프셋을 적용하는 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 유효 밴드에 대해서만 밴드 오프셋을 적용하기 위한 정보를 인코딩 장치로부터 디코딩 장치에 전달하기 위한 방법을 제공하는 것이다.
본 발명의 다른 기술적 과제는 SAO 적용 유닛에 따라서 SAO를 복수 적용하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 기술적 과제는 영상 복원 효과를 높이기 위해 크로마 픽셀에 대해서 SAO를 적용하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 영상 정보 인코딩 방법으로서, 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계, 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계 및 적용된 SAO의 정보를 포함하는 영상 정보를 전송하는 단계를 포함하며, 상기 전송 단계에서는, 상기 SAO 적용 단계에서 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 전송할 수 있다. 상기 전송 단계에서는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 함께, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋 값의 정보를 전송할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값을 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는 SAO 적용 단위별로 전송될 수도 있다.
본 발명의 다른 실시형태는 영상 정보 디코딩 방법으로서, 적용된 SAO(Sample Adaptive Offset)에 관한 SAO 정보를 포함하는 영상 정보를 수신하는 단계, 상기 수신한 정보를 기반으로 복원 블록을 생성하는 단계, 상기 복원 블록에 디블록킹 필터를 적용하는 단계 및 상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계를 포함하며, 상기 SAO 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함하고, 상기 SAO를 적용하는 단계에서 밴드 오프셋이 적용되는 경우에는, 상기 밴드 정보를 기반으로 지정된 밴드들에 대응하는 픽셀에 대해서 밴드 오프셋을 적용할 수 있다
상기 SAO 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋의 값을 포함할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보에서는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들이 SAO 적용 단위별로 지정될 수도 있다.
본 발명의 또 다른 실시형태는 영상 정보 인코딩 장치로서, 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 필터부 및 상기 필터부에서 적용된 SAO 정보를 포함하는 영상 정보를 엔트로피 인코딩하여 전송하는 엔트로피 인코딩부를 포함하며, 상기 SAO 정보는, 상기 필터부에서 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함할 수 있다.
상기 SAO 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋 값의 정보를 포함할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값을 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는 SAO 적용 단위별로 전송될 수도 있다.
본 발명의 또 다른 실시형태는 영상 정보 디코딩 장치로서, 수신한 비트스트림을 엔트로피 디코딩하여 영상 정보를 획득하는 엔트로피 디코딩부 및 상기 영상 정보를 기반으로 생성된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 필터링부를 포함하며, 상기 영상 정보는 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함하고, 밴드 오프셋이 적용되는 경우에, 상기 필터링부는 상기 지정된 밴드들에 대응하는 픽셀에 대해서 밴드 오프셋을 적용할 수 있다.
상기 영상 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋의 값을 포함할 수 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함할 수 있다.
또한, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함할 수도 있다.
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보에서는
상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들이 SAO 적용 단위별로 지정될 수도 있다.
본 발명에 의하면, SAO를 적응적으로 적용함으로써 영상 복원의 효과를 높일 수 있다.
본 발명에 의하면, 유효 밴드에 대해서만 밴드 오프셋을 적용하고, 관련 정보를 인코딩 장치로부터 디코딩 장치에 전달함으로써, 정보 전달량을 줄일 수 있다.
본 발명에 의하면, SAO 적용 유닛에 따라서 SAO를 복수 적용함으로써 영상 복원의효과를 높일 수 있다.
본 발명에 의하면, 크로마 픽셀에 SAO를 적용함으로써 영상 복원 효과를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 밴드 오프셋을 개략적으로 설명하는 도면이다.
도 4는 동일한 영상에 대한 히스토그램의 로컬(local) 분포를 나타낸 것이다.
도 5 내지 7은 전체 픽셀 값의 범위를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 예들을 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 9는 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 10은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 또 다른 예를 개략적으로 설명하는 도면이다.
도 11은 블록 내에서 방향별로 나타날 수 있는 대표적인 에지의 형태를 예로서 나타낸 것이다.
도 12는 에지 오프셋의 4가지 에지 타입을 현재 픽셀(C)을 기준으로 나타낸 것이다.
도 13은 현재 픽셀과 주변 픽셀의 세기(intensity)를 비교하고, 네 가지 카테고리로 나눈 것을 개략적으로 설명하는 도면이다.
도 14는 SAO 적용 유닛을 개략적으로 설명하는 도면이다.
도 15 및 도 16은 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 예들을 개략적으로 설명하는 도면이다.
도 17은 본 발명이 적용되는 시스템에서 인코딩 장치의 동작을 개략적으로 나타내는 순서도이다.
도 18은 본 발명이 적용되는 시스템에서 디코딩 장치의 동작을 개략적으로 나타내는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위로 분할할 수 있다. 이때, 처리 단위는 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예컨대 휘도 샘플에 대해서는 1/4 픽셀 단위로, 색차 샘플에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태를 가질 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N, 2N×N, N×2N, 또는 N×N 등의 크기를 가질 수 있다. 인트라 예측의 경우에 PU는 2N×2N 또는 N×N (N은 정수) 등의 크기를 가질 수 있다. 이때, N×N 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN, mN×N, 2N×mN 또는 mN×2N (m<1) 등의 크기를 가지는 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 인코딩부(130)에서의 엔트로피 인코딩 효율을 높일 수도 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림을 영상 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 인코딩 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 인코딩 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 영상 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 적응적 루프 필터링 등을 적용한다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 상술한 바와 같이, 인코딩 장치 및 디코딩 장치의 필터부는 인-루프(in-loop) 필터로서 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter)를 적용할 수 있다.
디블록킹 필터는 블록 단위의 예측, 변환, 양자화에 따른 블록 간의 아티팩트(artifacts)를 제거한다. 디블록킹 필터는 예측 유닛 에지(edge) 또는 변환 유닛 에지에 적용되며, 디블록킹 필터를 적용하기 위한 소정의 최저 블록 사이즈를 설정할 수 있다.
디블록킹 필터를 적용하기 위해서, 우선 수평 혹은 수직 필터 경계(boundary)의 BS(Boundary Strength)를 결정한다. BS를 기반으로 필터링을 수행할 것인지를 블록 단위로 결정한다. 필터링을 수행하기로 결정하면, 어떤 필터를 적용할 것인지를 정한다. 적용할 필터는 위크 필터(weak filter)와 스트롱 필터(strong filter) 중에서 선택될 수 있다. 필터링부는 선택된 필터를 해당 블록의 경계에 적용한다.
ALF(Adaptive Loop Filter)는 후술하는 SAO를 수행한 뒤에 적용할 수도 있다. ALF는 빈너 필터(Wiener filter)를 이용하여 부호화 에러를 보상하는 것으로서, SAO와 달리 슬라이스(slice) 내에 글로벌(global)하게 적용된다. ALF는 HE(High Efficiency)의 경우에만 적용되도록 할 수도 있다.
SAO는 디블록킹 필터링을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 절차이다. SAO를 통해서 부호화 에러(coding error)를 보상할 수 있으며, 부호화 에러는 양자화 등에 기인한 것일 수 있다.상술한 바와 같이, SAO에는 밴드 오프셋(band offset)과 에지 오프셋(edge offset)의 두 가지 타입이 있다.
도 3은 밴드 오프셋을 개략적으로 설명하는 도면이다.
밴드 오프셋을 적용하기 위해서, SAO 적용 유닛 내의 픽셀들은 각 픽셀의 세기(intensity), 즉 픽셀 값에 따라서 분류될 수 있다. 픽셀이 가질 수 있는 세기의 범위(intensity range) 즉, 픽셀 값의 범위는 소정 개수의 세기 구간(intensity interval)(픽셀 값의 구간) 즉, 소정 개수의 밴드(band)로 나뉠 수 있다 (본 명세서에서는 설명의 편의를 위해 ‘픽셀 값’을 ‘픽셀의 세기’를 혼용하나, ‘픽셀 값’과 ‘픽셀의 세기’는 동일한 의미 또는 ‘픽셀 값’이 ‘픽셀의 세기’를 포함하는 의미로 해석될 수 있다.). 픽셀에 적용되는 오프셋의 값은 각 밴드별로 설정될 수 있다. 픽셀 값이 속하는 밴드의 오프셋이 픽셀에 적용될 수 있다.
N 비트 픽셀들로 구성되는 영상에 대해서, 전체 픽셀 범위(intensity range)는 0 ~ 2N-1이 될 수 있다. 예컨대, 8비트 픽셀의 경우에는 0 ~ 255의 픽셀 범위를 가질 수 있다. 도 3에서는 전체 픽셀 값의 범위를 32개의 동일한 픽셀 값 구간을 가지는 밴드로 나누는 예를 도시하고 있다.
도 3을 참조하면, 각 밴드의 세기 구간은 8이 된다. 32개의 밴드를 중앙의 제1 그룹과 주변의 제2 그룹으로 나눌 수 있다. 각 그룹을 동일한 개수의 밴드로 구성한다면, 제1 그룹은 16개의 밴드로 구성되고, 제2 그룹 역시 16개의 밴드로 구성될 수 있다. 오프셋은 각 밴드별로 적용되며, 각 밴드별 오프셋 값이 디코딩 장치에 전송될 수 있다.
디코딩 장치에서는 인코딩 장치에서 밴드 오프셋을 적용하는 과정과 동일하게 픽셀들을 그룹핑(grouping)하고 픽셀이 속하는 밴드에 따라서, 전송된 오프셋 값을 픽셀에 적용한다.
한편, 상술한 바와 같이32개의 밴드를 2 개의 그룹으로 나누고 각각의 밴드에 대한 오프셋을 설정하는 방식 대신, 밴드 오프셋을 적응적으로 적용하는 것을 고려할 수 있다. 예를 들어, SAO를 적용하는 SAO 적용 유닛에 따라서, 밴드 오프셋을 적용하기 위한 밴드의 구간을 다르게 설정하거나, 밴드 오프셋을 적용할 밴드를 선택적으로 지정하거나, 밴드 오프셋을 적용하기 위한 그룹의 개수를 증가시킴으로써, 밴드 오프셋을 효과적으로 적용하는 방법을 고려할 수 있다.
이하, 본 발명이 적용되는 시스템에서 적응적으로 밴드 오프셋을 수행하는 방법을 설명한다.
도 4는 소정의 영상에 있어서, 해당 영상의 특성에 따른 히스토그램의 일 예를 나타낸 것이다. 구체적으로, 도 4에서는 도 4(a)의 영상에서 각 부분 영상별로 영상 특성에 따른 루마와 크로마 성분의 히스토그램의 다양한 예를 보여주고 있다.
예컨대, 도 4(a)의 A 영역과 B 영역에 대하여, 도 4(b)의 좌측에 있는 아래위 두 히스토그램은 원본(original) 영상의 루마 성분 히스토그램을 나타내며, 도 4(b)의 우측에 있는 아래위 두 히스토그램은 복원된(reconstructed) 영상의 루마 성분 히스토그램을 나타낸다.
도 4(a)의 A 영역과 B 영역에 대하여, 도 4(c)의 좌측에 있는 아래위 두 히스토그램은 원본(original) 영상의 크로마(Cr) 성분 히스토그램을 나타내며, 도 4(c)의 우측에 있는 아래위 두 히스토그램은 복원된(reconstructed) 영상의 크로마(Cr) 성분 히스토그램을 나타낸다.
또한, 도 4(a)의 A 영역과 B 영역에 대하여, 도 4(d)의 좌측에 있는 아래위 두 히스토그램은 원본(original) 영상의 크로마 성분(Cb) 히스토그램을 나타내며, 도 4(d)의 우측에 있는 아래위 두 히스토그램은 복원된(reconstructed) 영상의 크로마 성분(Cb) 히스토그램을 나타낸다.
도 4를 참조하면, 동일 픽처 내에서도 영역에 따라서 상이한 영상 특성을 보이며, 각각의 영역별로 영상의 특성에 따라서, 히스토그램은 다양한 분포를 가지는 것을 알 수 있다. 따라서, SAO를 적용하는 단위 영역(SAO 유닛)별로 밴드 오프셋을 적응적으로 적용함으로써 영상 품질을 높이고 압축 효율을 증가시킬 수 있다.
인코딩 장치 또는 디코딩 장치는 픽셀 값의 범위(pixel range)를 적응적으로 나누어 밴드 오프셋을 적용할 수 있다. 즉, 픽셀이 가질 수 있는 픽셀 세기의 범위(intensity range)를 적응적 또는 가변적으로 나누어 밴드 구간을 설정할 수 있다.
예컨대, 해당 블록의 영상에 대한 히스토그램이 픽셀 값 범위의 중심부에 집중되어 있다면, 픽셀 값 범위의 중심부는 더 세밀하게 나누어 좁은 구간을 가지는 밴드를 설정하고, 픽셀 값 범위의 주변부는 조금 덜 세밀하게 나누어 좀 더 큰 구간을 가지는 밴드를 설정할 수 있다.
구체적으로 N 비트의 픽셀에 대하여, 전체 픽셀 값의 범위(0 ~ 2N-1)에서 중심부에 해당하는 픽셀의 분포가 많다면, 중심부에 작은 세기 구간(intensity interval), 즉 작은 픽셀 값 구간을 가지는 M 개의 밴드를 설정하고, 주변부에 큰 세기 구간(큰 픽셀 값 구간)을 가지는 L개의 밴드를 설정할 수 있다. 이때, M과 L은 동일한 값으로 설정될 수도 있고, 상이한 값으로 설정될 수도 있다.
반대로, 전체 픽셀 값의 범위에서 해당 블록의 영상에 대한 히스토그램이 주변부에 집중되어 있다면, 주변부를 더 세밀하게 나누어 밴드를 설정하고, 중심부는 조금 덜 세밀하게 나누어 밴드를 설정하는 방법을 생각할 수 있다.
구체적으로 N 비트의 픽셀에 대하여, 전체 세기 범위(0 ~ 2N-1)에서 주변부에 해당하는 픽셀의 분포가 많다면, 주변부에 작은 세기 구간(intensity interval), 작은 픽셀 값 구간을 가지는 M 개의 밴드를 설정하고, 중심부에 큰 세기 구간(큰 픽셀 값 구간)을 가지는 L개의 밴드를 설정할 수 있다. 이때, M과 L은 동일한 값으로 설정될 수도 있고, 상이한 값으로 설정될 수도 있다.
도 5는 전체 픽셀 값의 범위를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 5에서는 픽셀 값 범위의 중심부에 해당하는 픽셀이 많은 경우를 예로서 설명하고 있다.
도 5의 예에서, 픽셀 값의 범위가 256(0 ~ 28-1)이라고 하면, 중심부의 제1 그룹은 4 픽셀 값을 하나의 밴드로 해서 16개의 밴드로 세밀하게 나누고, 주변부의 제2 그룹은 16 픽셀 값을 하나의 밴드로 해서 12개의 밴드로 나눌 수 있다.
또한, 해당 블록의 영상에 대한 히스토그램이 전체 픽셀 값 범위의 주변부에 집중되어 있는 경우에는, 도 5의 예와 반대로 중심부의 제1 그룹을 16 픽셀 값을 하나의 밴드로 해서 12개의 밴드로 나누고, 주변부의 제2 그룹은 4 픽셀 값을 하나의 밴드로 해서 16개의 밴드로 나눌 수도 있다.
도 6은 전체 픽셀 범위를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 6에서는 전체 픽셀 값 범위의 주변부에 해당하는 픽셀이 많은 경우를 예로서 설명하고 있다.
한편, 전체 픽셀 값의 범위를 두 개의 밴드 그룹으로 분류하지 않고 SAO 적용 유닛에 따라서 더 많은 밴드 그룹으로 분류하는 방법을 이용할 수도 있다. 전체 픽셀 값의 범위를 더 조밀하게 나누어 오프셋을 적용할 수 있으므로, 영상 복원의 효과를 높일 수 있다. 예컨대, 밴드들을 두 그룹으로 나누는 것이 아니라, N 개의 그룹으로 나누어 인코딩 장치가 일부 픽셀 값 범위(range)에 대해서는 더 세밀한 오프셋 정보를 제공하도록 할 수 있다. 따라서, 디코딩 장치는 일부 픽셀 값 범위에 대해서는 더 세밀한 오프셋 정보를 인코딩 장치로부터 수신해서, 픽셀 값 범위에 따라 세밀한 오프셋을 적용할 수 있게 된다.
도 7은 전체 픽셀에 대한 픽셀 값의 범위(range)를 적응적 또는 가변적으로 나누어 밴드 오프셋을 적용하는 방법의 또 다른 예를 개략적으로 설명하는 도면이다.
도 7의 예에서는 전체 픽셀 값의 범위를 소정 개수의 밴드로 나누고, 밴드들을 4개의 그룹으로 나누어 밴드 오프셋을 적용하는 것을 설명하고 있다.
예컨대, 도 7에서, N이 8인 경우라면, 즉 픽셀 값에 할당된 비트가 8 비트라면, 전체 픽셀 값의 범위는 0 ~ 255의 256개 값이 될 수 있다. 전체 픽셀 값의 범위를 32개의 밴드로 나누고, 동일한 개수의 밴드로 구성된 4개의 그룹을 설정한다면, 각 그룹은 8개의 밴드를 포함하며, 각 밴드는 8 픽셀 값의 구간을 가지게 된다.
전체 픽셀 값의 범위를 2개의 그룹이 아니라, 더 많은 그룹으로 나누어 각 그룹에 대한 오프셋 정보를 전송함으로써 영상의 국지적(local) 특성을 더 잘 반영할 수 있다.한편, 밴드 오프셋을 적용할 때 각 그룹이 커버하는 픽셀 값의 범위(range), 즉 세기의 범위가 고정되어 있으면, 그룹 내 특정 밴드의 발생 회수(특정 밴드에 해당하는 픽셀의 발생 회수 또는 특정 밴드에 대응하는 오프셋의 적용 회수)가 적을지라도 혹은 해당 밴드에 대한 밴드 오프셋의 값이 0일지라도 관련 정보를 전송하게 된다. 이 경우에도 관련 정보를 전송하는 것은 정보 전송량을 증가시키고 전체적인 시스템의 복잡도를 높이게 된다.
따라서, 이를 방지하기 위해 인코딩 장치에서 현재 픽처에 사용할 밴드 오프셋의 범위(range)를 전송할 수 있다. 즉 현재 픽처에 사용할 밴드 오프셋에 대응하는 밴드들의 범위 또는 구간을 전송하도록 할 수 있다.
구체적으로, 인코딩 장치는 밴드 오프셋이 적용되는 경우에, 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 해당 밴드들에 대한 오프셋 값에 관한 정보를 디코딩 장치에 전송할 수 있다. 인코딩 장치는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버할 수 있는 밴드들을 지정할 수도 있고, 밴드 오프셋이 적용되는 픽셀 값의 범위만을 커버하는 밴드들을 지정할 수도 있다. 따라서, 전송되는 밴드들의 정보는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 포함하는 밴드 구간의 정보일 수도 있고, 밴드 오프셋이 적용되는 픽셀 값의 범위만을 커버하는 밴드 구간을 지정하는 정보일 수도 있다.
디코딩 장치는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 해당 밴드들에 대한 오프셋 값에 관한 정보를 인코딩 장치로부터 수신한다. 디코딩 장치는 밴드 오프셋을 적용하는 경우에, 대상 픽셀의 픽셀 값이 밴드 오프셋이 적용될 밴드들의 픽셀 값 범위에 속하는지를 판단한다. 대상 픽셀의 픽셀 값이 밴드 오프셋이 적용될 밴드들의 픽셀 값 범위에 속하는 경우에, 디코딩 장치는 대상 픽셀의 픽셀 값이 속하는 밴드에 대응하는 오프셋을 대상 픽셀에 적용할 수 있다. 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하고, 지정된 밴드들에 대해서만 적용할 오프셋의 값이 전송되므로, 지정된 밴드들 이외의 밴드들에 대해서는 오프셋을 적용하지 않거나 오프셋의 값을 0으로 설정할 수 있다.
예컨대, 인코딩 장치는 현재 픽처에서 어느 픽셀 값의 구간에 밴드 오프셋이 적용되는지에 관한 정보를 디코딩 장치에 전달할 수 있다. 인코딩 장치는 현재 픽처의 오프셋들이 특정한 픽셀 값(예컨대, 세기)의 범위(range)에서 주로 발생한다면, 해당 픽셀 값의 범위를 커버하는 밴드들을 지시하는 정보를 디코딩 장치에 전송할 수 있다. 즉, 균일한 구간을 가지는 밴드에 대하여 밴드 오프셋을 사용하는 경우에, 밴드 오프셋의 적용을 시작하는 밴드와 밴드 오프셋을 적용하는 밴드의 개수를 지정하거나, 밴드 오프셋의 적용을 종료하는 밴드와 밴드 오프셋을 적용하는 밴드의 개수를 지정하거나, 밴드 오프셋의 적용을 시작하는 밴드 및 종료하는 밴드를 지정함으로써 불필요한 오프셋 정보가 전송되거나 불필요한 오프셋이 수행되는 것을 방지할 수 있다.
도 8은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 8의 예에서는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지시하는 방법을 설명하고 있다.
도 8을 참조하면, 전체 N개의 밴드들 중에서 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 n개인 경우에, 인코딩 장치는 n개의 밴드들 중에서 첫 번째 밴드를 지시하는 정보를 디코딩 장치에 전송한다.
예를 들어, 전체 픽셀 값의 범위에서 0의 픽셀 값을 포함하는 밴드를 0 번째 밴드라고 하고, 전체 픽셀 값의 범위에서 가장 큰 픽셀 값을 포함하는 밴드를 N-1번째 밴드라고 하자. 인코딩 장치는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 n 개의 밴드들 중 첫 번째 밴드인 i 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 i 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 수신한다. 현재 픽처 또는 현재 SAO 적용 유닛 내의 픽셀들은 상기 n 개의 밴드들 중 어느 하나에 해당하는 픽셀 값을 가지며, 디코딩 장치는 픽셀 값에 따라서 각 픽셀에 밴드 오프셋을 적용할 수 있다.
도 8의 예에서, 전체 픽셀 값의 범위가 0~ 256이고, 전체 밴드의 개수가 32인 경우에, 인코딩 장치는 0번째 밴드부터 31번째 밴드 중에서, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지시할 수 있다. 이때, n의 값은 인코딩 장치와 디코딩 장치 사이에 미리 결정되어 있을 수 있다. 가령, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 4개이고 4개의 밴드들 중 첫 번째 밴드가 i 번째 밴드라면, 인코딩 장치는 i 번째 밴드를 지시하는 정보와 함께, i, i+1, i+2, i+3 번째 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
도 9는 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 9의 예에서는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지시하는 방법을 설명하고 있다.
도 9를 참조하면, 전체 N개의 밴드들 중에서 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 n개인 경우에, 인코딩 장치는 n개의 밴드들 중에서 마지막 밴드를 지시하는 정보를 디코딩 장치에 전송한다.
예를 들어, 전체 픽셀 값의 범위에서 0의 픽셀 값을 포함하는 밴드를 0 번째 밴드라고 하고, 전체 픽셀 값의 범위에서 가장 큰 픽셀 값을 포함하는 밴드를 N-1번째 밴드라고 하자. 인코딩 장치는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 n 개의 밴드들 중 마지막 밴드인 j 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터 j 번째 밴드를 지시하는 정보와 n개의 밴드들에 대한 오프셋 정보를 수신한다. 현재 픽처 또는 현재 SAO 적용 유닛 내의 픽셀들은 상기 n 개의 밴드들 중 어느 하나에 해당하는 픽셀 값을 가지며, 디코딩 장치는 픽셀 값에 따라서 각 픽셀에 밴드 오프셋을 적용할 수 있다.
도 9의 예에서, 전체 픽셀 값의 범위가 0~ 256이고, 전체 밴드의 개수가 32인 경우에, 인코딩 장치는 0번째 밴드부터 31번째 밴드 중에서, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지시할 수 있다. 이때, n의 값은 인코딩 장치와 디코딩 장치 사이에 미리 결정되어 있을 수 있다. 가령, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 4개이고 4개의 밴드들 중 마지막 밴드가 j 번째 밴드라면, 인코딩 장치는 j 번째 밴드를 지시하는 정보와 함께, j, j-1, j-2, j-3 번째 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
도 10은 본 발명에 따라서 밴드 오프셋이 적용될 밴드들을 지시하는 방법의 또 다른 예를 개략적으로 설명하는 도면이다. 도 10의 예에서는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드(시작 밴드)와 마지막 밴드(종료 밴드)를 지시하는 방법을 설명하고 있다.
도 10을 참조하면, 전체 N개의 밴드들 중에서 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 n개인 경우에, 인코딩 장치는 n개의 밴드들 중 첫 번째 밴드와 마지막 밴드를 지시하는 정보를 디코딩 장치에 전송한다.
예를 들어, 전체 픽셀 값의 범위에서 0의 픽셀 값을 포함하는 밴드를 0 번째 밴드라고 하고, 전체 픽셀 값의 범위에서 가장 큰 픽셀 값을 포함하는 밴드를 N-1번째 밴드라고 하자. 인코딩 장치는 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 n 개의 밴드들 중 첫 번째 밴드인 i번째 밴드와 마지막 밴드인 j 번째 밴드를 지시하는 정보, 그리고 n개의 밴드들에 대한 오프셋 정보를 디코딩 장치에 전송할 수 있다. 디코딩 장치는 인코딩 장치로부터i번째 밴드와j 번째 밴드를 지시하는 정보, 그리고 n개의 밴드들에 대한 오프셋 정보를 수신한다. 현재 픽처 또는 현재 SAO 적용 유닛 내의 픽셀들은 상기 n 개의 밴드들 중 어느 하나에 해당하는 픽셀 값을 가지며, 디코딩 장치는 픽셀 값에 따라서 각 픽셀에 밴드 오프셋을 적용할 수 있다.
도 10의 예에서, 전체 픽셀 값의 범위가 0~ 256이고, 전체 밴드의 개수가 32인 경우에, 인코딩 장치는 0번째 밴드부터 31번째 밴드 중에서, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드와 마지막 밴드를 지시할 수 있다. 가령, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수가 4개이고 4개의 밴드들 중 첫 번째 밴드가 i 번째 밴드이고 마지막 밴드가 j 번째 밴드라면, 인코딩 장치는 i번째 밴드와 j 번째 밴드를 지시하는 정보 그리고, i, i+1, i+2, i+3 (=j) 번째 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
이때, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드의 개수 n의 값은 인코딩 장치와 디코딩 장치 사이에 미리 결정되어 있을 수 있다. 또한, 밴드 오프셋이 적용될 밴드들 중 첫 번째 밴드와 마지막 밴드를 지시하는 경우에는, 인코딩 장치에서 밴드 오프셋이 적용될 픽셀 값의 범위를 판단하여 밴드 오프셋이 적용될 밴드의 개수를 가변적으로 지정할 수도 있다.
가령, 전체 픽셀 값의 범위가 0~ 256이고, 전체 밴드의 개수가 32이고, 각 밴드가 8픽셀 값들의 균등한 구간을 가진다고 하자. 현재 픽처에서 오프셋들이 주로 픽셀 값 범위 32에서 160 사이에 발생한다면, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드는 0번째 밴드부터 31번째 밴드들 중 4번째 밴드부터 20번째 밴드가 된다. 인코딩 장치는 밴드 오프셋이 적용되는 밴드들 중에서 첫 번째 밴드와 마지막 밴드를 지시하는 정보(예컨대, band_start 및 band_end)를 디코딩 장치에 전달할 수 있다. 전체 밴드들 중 4번째 밴드부터 20번째 밴드까지 밴드 오프셋이 적용된다면, band_start=4 및 band_end=20과 같은 정보가 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
상술한 도 8 내지 도 10의 예에서, 인코딩 장치는 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들, 즉 밴드 오프셋이 적용되는 밴드들의 구간을 SAO 적용 유닛별, SAO가 적용되는 픽처별 또는 SAO가 적용되는 슬라이스별로 설정해서 디코딩 장치에 전송할 수도 있다.
한편, 각 밴드에 속하는 픽셀 값의 발생 회수, 즉 밴드 오프셋이 적용된 밴드의 발생 회수를 밴드별로 카운트하여 발생 빈도가 높은 밴드에 대해서 인코딩 장치가 밴드 오프셋 값을 디코딩 장치에 전송하도록 할 수도 있다.
예컨대, 전체 픽셀 값의 범위를 0부터 31의 32개 밴드가 커버하고, 이 중에서 발생 빈도가 높은 밴드가 0, 4, 5, 6, 7, 9, 12, 15, 19, 20, 23, 25라고 하면, 인코딩 장치는 발생 빈도가 높은 이들 밴드에 대해서만 밴드 오프셋 값을 디코딩 장치에 전송하고, 발생 빈도가 낮은 밴드들에 대해서는 밴드 오프셋으로 적용할 오프셋 값을 전송하지 않을 수 있다.
이 경우에 인코딩 장치는 어떤 밴드에 대한 오프셋 값을 전송하는지에 관한 정보를 디코딩 장치에 추가로 전송할 수 있다.
SAO의 두 번째 타입으로서, 상술한 밴드 오프셋 외에 에지 오프셋이 있다. 에지 오프셋은 픽셀별 에지 정보, 예컨대 현재 픽셀을 기준으로 한 에지의 방향 그리고 현재 픽셀과 주변 픽셀의 세기 등을 고려하여 오프셋을 적용한다.
도 11은 블록 내에서 방향별로 나타날 수 있는 대표적인 에지의 형태를 예로서 나타낸 것이다. 도 11을 참조하면, 도 11의 (a)는 90도의 방향을 가지는 에지, (b)는 0도의 방향을 가지는 에지, (c)는 45도의 방향을 가지는 에지, (d)는 135도의 방향을 가지는 에지가 각각 나타내고 있다.
에지 오프셋은 에지의 각도 또는 방향에 따라 하나의 필터링을 위한 유닛, 즉 SAO 적용 유닛을 위한 4 가지 종류가 사용될 수 있다. SAO 적용 유닛의 최소 단위는 LCU(Largest Coding Unit)일 수 있다. 이하, 설명의 편의를 위해, 도 11과 같은 SAO 적용 유닛상의 4가지 에지 종류를 에지 오프셋의 에지 타입이라고 한다.
도 12는 에지 오프셋의 4가지 에지 타입을 현재 픽셀(C)을 기준으로 나타낸 것이다. 도 12를 참조하면, 도 12의 (a)는 1차원 0 도(0 degree)의 에지 타입을 나타내며, (b)는 1차원 90도의 에지 타입을 나타내고, (c)는 1차원 135도의 에지 타입을 나타내며, (d)는 1차원 45도의 에지 타입을 나타낸다.
도 12에 도시된 네 가지 에지 타입에 따라서, 에지 오프셋이 이용될 수 있다.
에지 타입이 결정되면, 현재 픽셀과 주변 픽셀 사이의 관계를 반영하여 에지 오프셋을 적용한다.
도 13은 현재 픽셀과 주변 픽셀의 세기(intensity)를 비교하고, 네 가지 카테고리로 나눈 것을 개략적으로 설명하는 도면이다. 도 13을 참조하면, 도 13의 (a) 내지 (f)는 각 카테고리별로 현재 픽셀과 인접 픽셀의 관계를 나타낸 것이다.
도 13의 (a)에 도시된 카테고리는 현재 픽셀보다 인접하는 두 픽셀의 세기가 더 큰 경우를 나타낸다. 도 13의 (b)와 (c)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀 중 한 픽셀의 세기가 현재 픽셀보다 작은 두 경우를 나타낸다. 도 13의 (d)와 (e)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀 중 한 픽셀의 세기가 현재 픽셀보다 큰 두 경우를 나타낸다. 도 13의 (f)에 도시된 카테고리는 현재 픽셀에 인접하는 두 픽셀의 세기가 현재 픽셀보다 작은 경우를 나타낸다.
도 13의 (a)와 (f)는 현재 픽셀의 세기가 주변 픽셀의 세기와 대비하여 더 크거나 더 작은 경우를 나타낸다. 또한, 도 13의 (b) 내지 (e)는 현재 픽셀이 소정의 영역의 경계(boundary)에 위치하는 경우에 나타날 수도 있다.
표 1은 도 13에 도시된 네 가지 카테고리를 나타낸 것이다.
<표 1>
Figure PCTKR2012004692-appb-I000001
표 1에서 C는 현재 픽셀을 나타낸다. 표 1의 카테고리 1은 도 13의 (a)에 대응하며, 표 1의 카테고리 2는 도 13의 (b)와 (c)에 대응하고, 표 1의 카테고리 3은 도 13의 (d)와 (e)에 대응하며, 표 1의 카테고리 4는 도 13의 (f)에 대응한다.
인코딩 장치는 각 카테고리별로 에지 오프셋 값을 전송한다. 디코딩 장치는 픽셀들에 대한 에지 타입과 카테고리에 대응하는 에지 오프셋 값을 더해서 픽셀을 복원할 수 있다. 예컨대, 현재 픽셀이 도 11의 4 가지 에지 타입 중 어느 타입에 속하는지를 결정한 뒤에, 표 1의 카테고리 중 어느 카테고리에 속하는지를 결정해서 해당 카테고리의 오프셋을 현재 픽셀에 적용할 수 있다.
한편, 필터링 유닛, 즉 SAO를 적용하는 유닛(설명의 편의를 위해, SAO 적용 유닛이라 함)은 LCU(Largest Coding Unit)보다 같거나 큰 사이즈의 유닛으로서, LCU 경계에 맞춰 정렬되는(aligned) 유닛들이다.
SAO가 적용되는 유닛은 하나의 픽처가 쿼드 트리(quadtree) 구조로 분리된 영역으로서, 인코딩 장치는 각 SAO 적용 유닛별로 SAO 적용 여부, 오프셋 타입, 오프셋의 값을 결정하여 디코딩 장치에 전송할 수 있다. 여기서 오프셋 타입을 결정한다는 것은 복수의 밴드 오프셋과 복수의 에지 오프셋 중 어느 것을 적용하는가를 결정하는 것이다. SAO 적용 유닛은 루마 성분과 크로마 성분에 대하여 별도로 설정될 수도 있고, SAO 적용 유닛에 대한 정보는 루마 성분과 크로마 성분에 대하여 별도로 전송될 수도 있다.
도 14는 SAO 적용 유닛을 개략적으로 설명하는 도면이다. 도 14에서 SAO 적용 유닛은 점선으로 구분된 영역에 해당한다. 도 14의 예에서는 WQVGA(416x240) 영상을 쿼드트리(quadtree) 구조로 분할한 SAO 적용 유닛을 나타내고 있다. 각 SAO 적용 유닛은 최소한 LCU보다 커야 하며, LCU의 경계를 따라서 분할될 수 있다.
상술한 바와 같이, SAO 적용 유닛의 가장 작은 단위는 LCU이지만, 작은 영상일수록 LCU는 단일 오프셋을 적용하기에 너무 큰 사이즈일 수 있다. 예컨대, LCU가 64x64인 경우에, LCU는 단일 오프셋만으로 원본 영상을 복원하기에 너무 큰 SAO 적용 유닛이 될 수 있다. 따라서, 하나의 LCU 안에 서로 다른 둘 이상의 에지가 존재하는 경우에는, 하나의 LCU 안에 둘 이상의 에지 오프셋이 적용되도록 할 수도 있다.
하나의 SAO 적용 유닛 내에 복수의 에지 오프셋이 적용되는 경우에는, 영역 내 에지의 방향에 따라서 도 12의 (a) 내지 (d) 중 복수의 에지 타입을 선택해서 적용할 수 있다.
이하, 상술한 SAO의 밴드 오프셋과 에지 오프셋을 수행하기 위한 신택스 정보에 대해서 설명한다.
표 2는 SAO를 적용하기 위한 신택스 구조로서 시퀀스 파라미터 셋(parameter set) 신택스의 일 예를 개략적으로 나타낸 것이다.
<표 2>
Figure PCTKR2012004692-appb-I000002
표 2의 예에서는 현재 시퀀스에 SAO가 적용되는지를 지시하는 시그널링의의 예를 나타내고 있다. 예컨대, 표 2의 신택스에서sao_used_flag의 값이 0이면 현재 시퀀스에 대해서는 SAO가 사용되지 않는 것(disabled)을 지시하며, sao_used_flag의 값이 1이면 현재 시퀀스에 대해 SAO가 사용될 수 있는 것(enabled)을 지시한다.
표 3은 SAO를 적용하기 위한 신택스 구조로서 슬라이스 해더 신택스의 일 예를 개략적으로 나타낸 것이다.
<표 3>
Figure PCTKR2012004692-appb-I000003
표 3에 나타난 슬라이스 헤더 신택스를 통해서, SAO 적용을 위한 SAO 파라미터(sao_param())를 슬라이스 헤더 레벨에서 콜링할 수 있다. SAO 파라미터는 표 4와 같이 별도의 신택스 셑(set)으로 설정될 수 있다.
표 4는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 신택스의 일 예를 개략적으로 나타낸 것이다.
<표 4>
Figure PCTKR2012004692-appb-I000004
SAO 파라미터 신택스를 통해서 SAO를 적용하기 위해 필요한 파라미터들이 전송될 수 있다. 전송되는 파라미터들은 표 4의 예에서와 같이, SAO 적용 영역의 분할에 관한 sao_split_param과 SAO로 적용되는 오프셋에 관한 sao_offset_param 등이 있다.
표 4의 예에서, sao_flag의 값이 1이면 현재 픽처의 적어도 일부에 대해서SAO가 적용될 수 있다(enable)는 것을 지시하며, sao_flag의 값이 0이면 현재 픽처 전체에 대해서 SAO가 적용될 수 없다(disabled)는 것을 지시한다. 따라서, sao_flag의 값이 1이면 SAO 파라미터들이 지시될 수 있다.
표 5는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 중 분할에 관한 sao_split_param 신택스의 일 예를 개략적으로 나타낸 것이다.
<표 5>
Figure PCTKR2012004692-appb-I000005
표 5의 예에서 sao_split_param(x, y, Depth)는 sao_split_flag를 통해 (x, y)가 지정하는 위치 및 ‘Depth’가 지정하는 깊이에서의 SAO 적용 유닛이 더 분할되는지에 관한 정보를 시그널링한다는 것을 나타낸다. sao_split_flag의 값이 0이면 현재 영역(region)이 리프(leaf)라는 것을 지시한다. 따라서, 현재 영역은 SAO 적용을 위해 더 이상 분할되지 않는다. sao_split_flag의 값이 1이면 현재 영역은 네 개의 자식(children) 영역으로 더 분할된다는 것을 지시한다. SAO 적용 영역이 분할되면, 분할된 네 영역에 대한 분할 파라미터(pqao_split_param)가 지시될 수 있다.
pqao_split_param는 SAO 적용 유닛이 더 분할되는 경우에, 분할된 영역별로 SAO 적용 유닛이 더 분할되는지를 지시한다. 해당 깊이에서 SAO 적용 유닛의 분할 여부를 지시한다는 점에서, 신택스 pqao_split_param 대신에 분할된 영역에 대해서 신택스 sao_split_param를 재차 사용하되, 지시하는 영역의 깊이를 변경하여 적용하도록 할 수도 있다. 예컨대, SAO 를 적용하기 위한 영역의 분할 여부를 지시함에 있어서, 분할 여부의 지시 대상이 되는 영역과 그 깊이가(x0, y0, saoDepth)라고 할 때, sao_split_param(x0, y0, saoDepth)가 해당 영역 (x0, y0)이 분할된다는 것을 지시한 경우에는, 분할된 각 영역 (x0+0, y0+0), (x0+0, y0+1), (x0+1, y0+0), (x0+1, y0+1)에 대해, 깊이를 ‘saoDepth+1’으로 조정하여 다시 분할 여부를 지시할 수 있다.
표 6은 본 발명에 따라서 밴드 오프셋을 적용하기 위한 신택스로서, 밴드 오프셋을 적용할 소정의 밴드들에 대한 오프셋 정보를 전송하는 방법의 일 예를 개략적으로 나타내고 있다.
<표 6>
Figure PCTKR2012004692-appb-I000006
표 6의 예에서, sao_type_idx의 값은 SAO 중 밴드 오프셋과 에지 오프셋의 어느 것이 적용되는지를 지시한다. 표 6의 예에서, sao_type_idx의 값이 0일 때는 밴드 오프셋과 에지 오프셋이 적용되지 않는 것을 지시한다.
sao_type_idx의 값이 밴드 오프셋의 적용을 지시하는 경우에, 인코딩 장치는 start_offset의 신택스를 통해 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 첫 번째 밴드를 지시할 수 있다. 이어서, start_offset으로 지시된 밴드를 포함한 n개의 밴드에 대한 밴드 오프셋(SAO 오프셋) 값을 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 정보를 통해, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 첫 번째 밴드를 결정하고, 첫 번째 밴드를 포함하는 n 개의 밴드들에 대한 오프셋 정보를 획득할 수 있다.
디코딩 장치는 픽셀의 값이 n 개의 밴드 중 어느 하나에 해당하는 경우에는, 픽셀 값이 속하는 밴드의 밴드 오프셋 값을 해당 픽셀에 적용할 수 있다.
표 7은 본 발명에 따라서 밴드 오프셋을 적용하기 위한 신택스로서, 밴드 오프셋을 적용할 소정의 밴드들에 대한 오프셋 정보를 전송하는 방법의 다른 예를 개략적으로 나타내고 있다.
<표 7>
Figure PCTKR2012004692-appb-I000007
표 7의 예에서도, sao_type_idx의 값은 SAO 중 밴드 오프셋과 에지 오프셋의 어느 것이 적용되는지를 지시하며, sao_type_idx의 값이 0일 때는 밴드 오프셋과 에지 오프셋이 적용되지 않는 것을 지시한다.
sao_type_idx의 값이 밴드 오프셋의 적용을 지시하는 경우에, 인코딩 장치는 end_offset의 신택스를 통해 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 마지막 밴드를 지시할 수 있다. 이어서, end_offset으로 지시된 밴드를 포함한 n개의 밴드에 대한 밴드 오프셋(SAO 오프셋) 값을 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 정보를 통해, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 마지막 밴드를 결정하고, 마지막 밴드를 포함하는 n 개의 밴드들에 대한 오프셋 정보를 획득할 수 있다.
디코딩 장치는 픽셀의 값이 n 개의 밴드 중 어느 하나에 해당하는 경우에는, 픽셀 값이 속하는 밴드의 밴드 오프셋 값을 해당 픽셀에 적용할 수 있다.
표 8은 본 발명에 따라서 밴드 오프셋을 적용하기 위한 신택스로서, 밴드 오프셋을 적용할 소정의 밴드들에 대한 오프셋 정보를 전송하는 방법의 또 다른 예를 개략적으로 나타내고 있다.
<표 8>
Figure PCTKR2012004692-appb-I000008
표 8의 예에서도, sao_type_idx의 값은 SAO 중 밴드 오프셋과 에지 오프셋의 어느 것이 적용되는지를 지시하며, sao_type_idx의 값이 0일 때는 밴드 오프셋과 에지 오프셋이 적용되지 않는 것을 지시한다.
sao_type_idx의 값이 밴드 오프셋의 적용을 지시하는 경우에, 인코딩 장치는 start_offset과 end_offset의 신택스를 통해 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들 중에서 첫 번째 밴드와 마지막 밴드를 지시할 수 있다. 이어서, 지정된 첫 번째 밴드부터 마지막 밴드까지 n 개의 밴드에 대한 밴드 오프셋(SAO 오프셋) 값을 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 수신한 정보를 통해, 밴드 오프셋이 적용될 픽셀 값의 범위를 커버하는 밴드들을 첫 번째 밴드와 마지막 밴드를 통해 결정하고, 첫 번째 밴드부터 마지막 밴드까지의 n 개 밴드들에 대한 오프셋 정보를 획득할 수 있다.
디코딩 장치는 픽셀의 값이 n 개의 밴드 중 어느 하나에 해당하는 경우에는, 픽셀 값이 속하는 밴드의 밴드 오프셋 값을 해당 픽셀에 적용할 수 있다.
상술한 바와 같이, 인코딩 장치는 밴드 오프셋을 적용하는 경우에, 현재 픽처 또는 현재 SAO 적용 유닛에 대하여 밴드 오프셋을 적용할 픽셀 값을 커버하는 밴드들의 범위를 지시하는 정보를 디코딩 장치에 전송할 수 있다. 또한, 인코딩 장치는 상기 범위에 속하는 밴드들에 대한 밴드 오프셋 값을 디코딩 장치에 전송할 수 있다.
디코딩 장치는 인코딩 장치로부터 밴드 오프셋이 적용되는 밴드들을 지시하는 정보와 상기 밴드들에 대한 밴드 오프셋 정보를 수신할 수 있다. 디코딩 장치는 픽셀 값이 상기 밴드 오프셋이 적용되는 밴드들에 속하는 경우에 대응하는 밴드의 오프셋 값을 해당 픽셀에 적용할 수 있다.
표 9는 본 발명에 따른 밴드 오프셋을 적용하는 경우에, SAO를 수행하기 위한 신택스의 일 예를 개략적으로 나타낸 것이다.
<표 9>
Figure PCTKR2012004692-appb-I000009
표 9를 참조하면, SAO 적용 영역이 분할되는 경우에는 분할되는 각 영역 별로 오프셋 파라미터를 지시할 수 있다.
SAO 적용 영역이 더 이상 분할되지 않는 경우에는 해당 SAO 적용 영역에 대한 오프셋 타입이 지시된다.
표 9의 예에서, sao_type_idx는 현재 영역에 적용되는 오프셋 타입을 지시한다. 현재 영역에 적용되는 SAO타입(sao_type_idx)에 따라서SAO오프셋의 개수 또는 SAO 카테고리의 개수가 결정될 수 있다.
표 9의 예에서, sao_type_idx의 값이 0인 경우는 SAO가 적용되지 않는다는 것을 의미할 수 있으며, sao_type_idx의 값이 1 내지 4인 경우에는 에지 오프셋이 적용되는 것을 지시할 수 있다. sao_type_idx의 값 중 1 내지 4는 도 12에 도시된 에지 오프셋의 네 가지 타입에 대응할 수 있다. sao_type_idx의 값이 4 이상인 경우에는 밴드 오프셋이 적용되는 것을 지시할 수 있다. 예컨대, 표 6 내지 7과 같이, 밴드 오프셋이 적용될 소정 범위의 밴드를 지시하는 경우라면, sao_type_idx의 값이 5인 경우에 밴드 오프셋의 적용을 지시하는 것으로 설정할 수 있다. 또한, 상술한 바와 같이, 전체 픽셀 값의 범위를 소정의 밴드들로 구성된 그룹으로 나누고, 현재 픽셀 또는 현재 SAO 적용 유닛이 어떤 그룹에 속하는지를 지시하는 경우에는, 4보다 큰 sao_type_idx의 값들이 각각 밴드들의 그룹을 지시하도록 할 수도 있다.
표 9의 예에서는, 밴드 오프셋이 적용되는 경우에, start_offset과 end_offset을 통해서, 밴드 오프셋이 적용되는 밴드들을 지정하고 해당 밴드들에 대한 밴드 오프셋 값을 전송하는 예를 나타내고 있다.
오프셋 타입에 따른 SAO 오프셋의 개수 또는 SAO 카테고리의 개수를 나타내는 신택스 정보의 예로서, PqaoOffsetNum[sao_type_idx]를 들 수 있다.
표 9의 예에서, start_offset은 오프셋이 적용되는 밴드 또는 에지 타입의 가장 작은 수(the smallest number)의 밴드 또는 에지 타입, 즉 가장 작은 인덱스의 밴드 또는 에지 타입을 지시할 수 있다. start_offset이 이용될 수 없는 경우라면(if ‘start_offset’ is not available), start_offset이 0의 값을 가지는 것으로 추정될 수도 있다. 또한, end_offset은 이용되는 밴드 또는 에지 타입 중 가장 큰 수(the largest number)의 밴드 또는 에지 타입, 즉 가장 큰 인덱스의 밴드 또는 에지 타입을 지시할 수 있다. end_offset이 이용될 수 없는 경우라면, end_offset의 값을 상술한 바와 같이 sao 타입(sao_type_idx)에 따라서 결정되는 SAO 카테고리의 수(오프셋의 수), PqaoOffsetNum[sao_type_idx]로 설정할 수 있다.
표 10은 SAO 오프셋 타입의 일 예를 개략적으로 나타낸 것이다. 표 9를 통해서, 상술한 바와 같이, 오프셋 타입에 따라 SAO 카테고리(오프셋의 개수)를 결정할 수도 있다.
<표 10>
Figure PCTKR2012004692-appb-I000010
표 10과 같이, SAO 타입 인덱스는 에지 오프셋과 밴드 오프셋들 중에서 하나를 지시할 수 있다. 표 10에서는 전체 밴드를 두 개의 그룹으로 나누어 밴드 오프셋을 적용하는 경우를 예로서 나타낸 것으로서, SAO 타입 인덱스는 4개의 에지 오프셋과 두 개의 밴드 오프셋 중 하나를 지시한다. 각 SOA 타입을 구성하는 카테고리별로 오프셋 값이 설정된다. 예컨대, 에지 오프셋의 경우에는 각 에지 타입에 대하여 현재 픽셀과 주변 픽셀의 세기에 따른 4 개씩의 카테고리별로 오프셋 값이 설정될 수 있다.
표 11은 밴드 그룹의 개수를 적응적으로 설정하여 밴드 오프셋을 적용하는 경우의 SAO 오프셋 타입에 관한 예를 개략적으로 나타낸 것이다.
<표 11>
Figure PCTKR2012004692-appb-I000011
표 11의 예에서는 중앙 밴드와 주변 밴드의 카테고리 개수를 달리하고 있다. 예컨대, 256 픽셀의 경우에, 표 10의 경우에는 8 픽셀 값씩 16개 밴드로 구성되는 중앙 밴드와 주변 밴드를 구성한 반면에, 표 11의 경우에는 4 픽셀 값씩의 16개 밴드로 구성된 중앙 밴드와 16 픽셀 값씩의 12 개 밴드로 구성된 주변 밴드를 이용해서 밴드 오프셋을 적용한다. 따라서, 중앙의 밴드들에 대하여 더 세밀하게 오프셋을 적용할 수 있다.
표 12는 밴드 그룹을 적응적으로 나누어 밴드 오프셋을 적용하는 경우의 SAO 오프셋 타입에 관한 다른 예를 개략적으로 나타낸 것이다.
<표 12>
Figure PCTKR2012004692-appb-I000012
표 12에서는 표 11의 경우와 달리, 주변 밴드를 더 세밀하게 나누어 밴드 오프셋을 적용하는 예를 나타내고 있다. 예컨대, 표 12에서는 16 픽셀 값씩의 12개 밴드로 구성된 중앙 밴드와 4 픽셀 값씩의 16 개 밴드로 구성된 주변 밴드를 이용해서 밴드 오프셋을 적용한다. 따라서, 주변의 밴드들에 더 세밀하게 오프셋을 적용할 수 있다.
표 13은 더 많은 밴드 그룹을 지정하여 밴드오프셋을 적용하는 경우의 SAO 타입에 관한 테이블의 예이다.
<표 13>
Figure PCTKR2012004692-appb-I000013
표 13의 예에서는 8 픽셀 값씩의 8 밴드로 각 밴드 그룹을 형성한다. 각 밴드 그룹은 도 7과 같이 전체 밴드에 대해 좌측부터 차례로 그루핑될 수 있다.
표 14는 밴드 오프셋에 대하여, 밴드 오프셋이 적용될 픽셀 값을 커버하는 소정의 밴드들을 지정하여 밴드 오프셋을 적용하는 경우의 SAO 타입에 관한 테이블의 예이다.
<표 14>
Figure PCTKR2012004692-appb-I000014
표 14의 예에서 밴드 오프셋이 적용되는 경우에는, 인코딩 장치가sao_type_idx의 값으로서 5의 값을 디코딩 장치에 전송할 수 있다. 이와 함께, 인코딩 장치는 밴드 오프셋이 적용될 밴드들의 범위를 지정하고 해당 범위의 밴드들에 대한 밴드 오프셋의 값을 상술한 바와 같이 디코딩 장치에 전송할 수 있다.
표 6 내지 9에서는 표 10 내지 14에 나타낸 바와 같은 SAO 타입들(에지 타입) 중 현재 픽셀에 적용될 SAO 타입을 상술한 sao_type_idx를 통해서 지시할 수 있다. 표 10 내지 14을 참조하면, sao_type_idx의 값이 4보다 큰 경우에는 상술한 바와 같이 밴드 오프셋이 적용된다.
표 15는 SAO를 적용하기 위한 신택스 구조로서 SAO 파라미터 중 오프셋에 관한 sao_offset_param 신택스의 다른 예를 개략적으로 나타낸 것이다.
<표 15>
Figure PCTKR2012004692-appb-I000015
표 15는 유효한 밴드 오프셋만을 전송하는 신택스 구조의 일 예를 나타낸 것이다. 여기서 유효한 밴드 오프셋은 적용 가능한 밴드 오프셋을 의미한다.
유효한 밴드 오프셋에 관한 정보만 전송되므로, 적용하는 밴드 오프셋의 개수에 관한 정보, 밴드 오프셋을 지시하는 정보, 오프셋의 값을 지시하는 정보 등이 전송될 필요가 있다.
total_offset_num_minus_one은 밴드 오프셋의 전체 오프셋 개수를 지시한다. offset_idx[i]는 sao_type_idx를 통해 지시된 밴드 오프셋에 대해, 어떤 카테고리에 해당하는지를 지시한다. sao_offset은 해당 위치 및 깊이에서 offset_idx[i]를 통해 지시된 카테고리에 대한 오프셋 값을 지시한다.
상술한 바와 같이, 하나의 SAO 적용 유닛에 대해 복수의 에지 오프셋을 적용할 수 있다.
표 16은 하나의 SAO 적용 유닛에 복수의 에지 오프셋을 적용하는 경우의 신택스 구조의 일 예를 개략적으로 나타낸 것이다.
<표 16>
Figure PCTKR2012004692-appb-I000016
표 16과 표 10 내지 14의 예를 참조하면, sao_type_idx의 값이 5보다 작은 경우에는 에지 오프셋이 적용된다. num_edge_offset은 에지 오프셋의 전체 오프셋 개수를 지시한다.
표 13을 참조하면, num_edge_offset이 지시하는 만큼 해당 SAO 적용 영역에 에지 오프셋을 적용할 수 있다.
한편, SAO를 적용함에 있어서, 루마와 크로마 사이의 차이를 고려하여, 크로마에 대해 SAO를 적용할 수 있다.
도 4는 동일한 영상에 대한 히스토그램의 로컬(local) 분포를 나타낸 것이다. 상술한 바와 같이, 동일한 동영상의 한 이미지인 도 4 (a)의 A와 B 영역에 대하여, 도 4 (b)는 루마 오리지널(luma original) 영상과 복원된(reconstructed) 영상 간의 히스토그램 차이를 나타내고 있다.
도 4 (c)는 도 4 (a)의 A와 B 영역에 대하여, 크로마(Cr) 오리지널 영상에 대한 히스토그램(도 4(c)의 좌측 상하)과 복원된 영상에 대한 히스토그램(도 4(c)의 우측 상하) 간의 차이를 나타내고 있다.
또한, 도 4(d)는 크로마(Cb) 오리지널 영상에 대한 히스토그램(도 4(d)의 좌측 상하)과 복원된 영상에 대한 히스토그램(도 4(d)의 우측 상하) 간의 차이를 나타내고 있다.
도 4를 참조하면, 동일한 영상에 대하여, 루마와 크로마 사이에 영상 특성의 차이가 존재하는 것을 알 수 있다. 따라서, 루마 픽셀에 대한 신호(signal)의 오프셋뿐만 아니라, 크로마 픽셀에 대한 신호(signal)의 오프셋도 독립적으로 전송하도록 할 수도 있다. 이때, 루마 픽셀의 수와 크로마 픽셀의 수를 고려하여, 크로마 픽셀에 오프셋을 적용하도록 할 수도 있다.
예컨대, 크로마 신호의 범위(range), 즉 크로마 픽셀의 픽셀 값의 범위가 0~2N-1(N은 픽셀 값의 비트뎁스)이라면, 전체 비트뎁스의 크기, 즉 픽셀 값의 범위(range)를 도 15 또는 도 16의 예와 같이 나눌 수 있다.
도 15는 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 15를 참조하면, 전체 2*K 개의 밴드 중에 중심의 K개 밴드로 구성된 중심 밴드들에 크로마 픽셀들을 할당하고, 밴드 오프셋을 적용할 수 있다.
밴드 오프셋이 적용되는 각 밴드에 할당된 인덱스(1, 2, …, K)에 대한 오프셋 값은 인코딩 장치로부터 디코딩 장치에 전달될 수 있다. 밴드 오프셋이 적용되지 않는 주변 밴드들에 대한 오프셋 값은 해당 인덱스를 0으로 지정하여, 크로마 픽셀에 대해서는 해당 오프셋이 지시되지 않도록 할 수 있다. 0의 값을 갖는 인덱스는 밴드 오프셋을 적용하지 않는 것을 지시할 수도 있고, 밴드 오프셋의 오프셋 값이 0이라는 것을 지시할 수도 있다.
도 16은 크로마 픽셀에 대해서 전체 밴드 중 일부 밴드에 대해서만 밴드 오프셋을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 16을 참조하면, 전체 2*K 개의 밴드 중에 주변의 K개 밴드로 구성된 잔여 밴드들에 크로마 픽셀들을 할당하고, 밴드 오프셋을 적용할 수 있다.
밴드 오프셋이 적용되는 각 밴드에 할당된 인덱스(1, 2, …, K/2, K/2+1, …, K)에 대한 오프셋 값은 인코딩 장치로부터 디코딩 장치에 전달될 수 있다. 밴드 오프셋이 적용되지 않는 중심 밴드에 대한 오프셋 값은 해당 인덱스를 0으로 지정하여, 크로마 픽셀에 대해서는 해당 오프셋이 지시되지 않도록 할 수 있다. 0의 값을 갖는 인덱스는 밴드 오프셋을 적용하지 않는 것을 지시할 수도 있고, 밴드 오프셋의 오프셋 값이 0이라는 것을 지시할 수도 있다.
도 15와 도 16의 예에 있어서, K의 값이 16으로 설정되었다고 가정하면, 전체 픽셀 값의 범위를 32개의 밴드로 나누고, 중심부의 16개 밴드와 주변부의 16개 밴드의 2 그룹으로 나누어 밴드 오프셋을 적용할 수 있다.
루마 픽셀에 대한 신호(픽셀 값)와 대비할 때, 크로마 픽셀에 대한 신호(픽셀 값)의 변량(variance)이 적다는 것을 고려하여, 전체 밴드의 수를 줄여서 K=8로 설정할 수도 있다. K=8인 경우에, 밴드 오프셋을 적용하기 위한 전체 밴드 수는 16개가 된다. 8개의 중심부 밴드들과 8개의 주변부 밴드들로 크로마 픽셀에 대해 밴드 오프셋을 적용할 수 있다. 여기서, 루마 픽셀에 대한 신호(루마 신호)는 루마 픽셀의 픽셀 값(예컨대, 세기)으로서, 이하 설명의 편의를 위해 ‘루마 신호’라 한다.
표 17은 SAO를 크로마에 독립적으로 적용하기 위한 신택스 구조로서 SAO 파라미터 중 오프셋에 관한 sao_offset_param 신택스의 일 예를 개략적으로 나타낸 것이다.
<표 17>
Figure PCTKR2012004692-appb-I000017
표 17을 참조하면, sao_type_cr_idx는 크로마(Cr) 신호에 대한 오프셋 타입을 지시한다. 또한, sao_type_cb_idx는 크로마(Cb) 신호에 대한 오프셋 타입을 지시한다. sao_cr_offset은 크로마(Cr) 신호에 대한 오프셋 값을 지시한다. sao_cb_offset은 크로마(Cb) 신호에 대한 오프셋 값을 지시한다.
표 17의 예에서는, 크로마(Cr) 신호에 적용되는 오프셋 타입이 sao_type_cr_idx에 의해 지시되면 현재 픽셀에 대해서 sao_cr_offset이 지시하는 오프셋 값을 적용할 수 있다. 또한, 크로마(Cb) 신호에 적용되는 오프셋 타입이 sao_type_cb_idx에 의해 지시되면 현재 픽셀에 대해서 sao_cb_offset이 지시하는 오프셋 값을 적용할 수 있다.
도 17은 본 발명이 적용되는 시스템에서 인코딩 장치의 동작을 개략적으로 나타내는 순서도이다.
도 17을 참조하면, 인코딩 장치는 블록을 복원한다(S1710). 인코딩 장치는 예측 블록과 현재 블록을 기반으로 생성된 레지듀얼 블록을 변환하고, 양자화한 뒤에 역양자화 및 역변환을 거쳐서 복원된 레지듀얼 블록을 생성한다.
이어서, 인코딩 장치는 복원된 블록에 인-루프 필터를 적용한다(S1720). 인-루프 필터는 도 1의 필터부에서 적용될 수 있으며, 디블록킹 필터, SAO. ALF 등이 적용될 수 있다. 이때, SAO는 디블록킹 필터가 적용된 영상에 픽셀 단위로 적용될 수 있으며, SAO는 SAO 적용 유닛별로 복원 블록에 적용될 수도 있다. ALF는 SAO가 적용된 뒤에 적용될 수 있다.
SAO가 적용되는 경우에, 필터부는 픽셀 단위로 오프셋을 적용할 수 있다. 이때, 필터부는 밴드 오프셋의 적용을 위해 오프셋의 개수(밴드의 개수), 밴드의 그룹 등을 적응적으로 정할 수도 있고, 유효한 밴드(밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들)에 대한 오프셋만을 디코딩 장치에 전송할 수도 있다. 또한, 필터부는 에지 오프셋을 SAO 적용 영역 내에 복수 적용하도록 할 수도 있다. 구체적인 내용은 상술한 바와 같다.
또한, 필터부는 SAO를 크로마 픽셀에 대해서 적용할 수 있다. SAO를 적용하기 위한 영역을 루마와 크로마의 경우에 독립적으로 규정할 수도 있다. 아울러, 크로마에 대한 밴드 오프셋의 경우에, 밴드의 개수와 그룹을 크로마 픽셀에 오프셋을 적용하기 위해 결정할 수도 있다. 이에 관한 구체적인 내용도 상술한 바와 같다.
인코딩 장치는 이어서 SAO 등이 적용된 영상 정보 및 SAO 등에 관한 영상 정보가 포함된 비트스트림을 디코딩 장치에 전송할 수 있다(S1730). 이때, 인코딩 장치는 영상 정보를 전송하기 위해, 변환, 양자화, 재정렬, 엔트로피 코딩 등의 과정을 수행할 수 있다. 인코딩 장치는 밴드 오프셋이 적용되는 경우에, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 해당 밴드들에 대한 밴드 오프셋 값을 전송할 수 있다.
도 18은 본 발명이 적용된 시스템에서 디코딩 장치의 동작을 개략적으로 설명하는 순서도이다.
도 18을 참조하면, 디코딩 장치는 우선 인코딩 장치로부터 비트스트림을 수신한다(S1810). 수신한 비트스트림에는, 영상 정보뿐만 아니라, 영상 정보를 복원하기 위해 필요한 정보가 포함되어 있다.
디코딩 장치는 수신한 정보를 기반으로 블록을 복원한다(S1820). 디코딩 장치는 예측에 의해 생성된 예측 블록과 역양자화 및 역변환을 통해 생성한 레지듀얼 블록을 기반으로 복원 블록을 생성한다. 디코딩 장치는 레지듀얼 블록을 생성하기 위해, 역양자화 및 역변환 전에 엔트로피 복호화 및 재정렬을 수행할 수 있다.
디코딩 장치는 복원 블록에 인-루프 필터를 적용한다(S1830). 인-루프 필터링은 도 2의 필터부에서 수행될 수 있다. 필터부에서는 디블록킹 필터, SAO, ALF 등을 적용할 수 있다. 이때, SAO는 디블록킹 필터가 적용된 영상에 픽셀 단위로 적용될 수 있으며, SAO는 SAO 적용 유닛별로 복원 블록에 적용될 수 있다. ALF는 SAO가 적용된 영상에 적용될 수 있다.
SAO가 적용되는 경우에, 필터부는 픽셀 단위로 오프셋을 적용할 수 있다. 이때, 필터부는 인코딩 장치로부터 전송된 신택스 엘리먼트에 기반해서 SAO 파라미터를 유도할 수 있다. SAO 파라미터 등 SAO 적용에 관한 정보가 지시하는 오프셋의 개수(밴드의 개수), 밴드의 그룹 등에 기반해서 필터부는 밴드 오프셋을 현재 픽셀에 적용할 수 있다. 이때, 유효한 밴드(밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들)에 대한 오프셋 정보만이 디코딩 장치에 전송될 수도 있다. 또한, 필터부는 SAO 파라미터 등이 지시하는 바에 따라서, 해당 SAO 적용 영역 내에 에지 오프셋을 복수 적용할 수도 있다. 구체적인 내용은 상술한 바와 같다.
또한, 필터부는 SAO를 크로마 픽셀에 대해서 적용할 수 있다. SAO를 적용하기 위한 영역이 루마와 크로마의 경우에 독립적으로 규정되어 관련된 정보가 인코딩 장치로부터 전송될 수 있다. 아울러, 크로마 픽셀에 밴드 오프셋을 적용하기 위한 밴드의 개수와 그룹에 관한 정보가 인코딩 장치로부터 전송될 수 있다. 디코딩 장치는 전송된 정보를 기반으로 크로마 픽셀에 대한 SAO를 수행할 수 있다. 이에 관한 구체적인 내용도 상술한 바와 같다.
상술한 설명에서는, 발명의 특징을 명확하게 설명하기 위해 ‘픽셀 값(pixel value)’과 ‘픽셀의 세기(intensity of pixel)’를 혼용하여 기재하였으나, 두 용어는 동일한 의미 또는 ‘픽셀 값’이 ‘픽셀의 세기’를 포함하는 의미로 해석될 수 있다. 또한, SAO를 적용하는 단위 영역에 대해서도, 필터링 유닛과 SAO 적용 유닛을 설명의 편의를 위해 혼용하고 있으나, 동일한 의미로 해석될 수 있음에 유의한다. 상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (20)

  1. 복원 블록을 생성하는 단계;
    상기 복원 블록에 디블록킹 필터를 적용하는 단계;
    상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계; 및
    적용된 SAO의 정보를 포함하는 영상 정보를 전송하는 단계를 포함하며,
    상기 전송 단계에서는,
    상기 SAO 적용 단계에서 밴드 오프셋이 적용되는 경우에,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 전송하는 것을 특징으로 하는 영상 정보 인코딩 방법.
  2. 제1항에 있어서, 상기 전송 단계에서는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보와 함께,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋 값의 정보를 전송하는 것을 특징으로 하는 영상 정보 인코딩 방법.
  3. 제1항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는,
    상기 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 인코딩 방법.
  4. 제1항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값을 커버하는 밴드들을 지정하는 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 인코딩 방법.
  5. 제1항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는 SAO 적용 단위별로 전송되는 것을 특징으로 하는 영상 정보 인코딩 방법.
  6. 적용된 SAO(Sample Adaptive Offset)에 관한 SAO 정보를 포함하는 영상 정보를 수신하는 단계;
    상기 수신한 정보를 기반으로 복원 블록을 생성하는 단계;
    상기 복원 블록에 디블록킹 필터를 적용하는 단계; 및
    상기 디블록킹 필터가 적용된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 단계를 포함하며,
    상기 SAO 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함하고,
    상기 SAO를 적용하는 단계에서 밴드 오프셋이 적용되는 경우에는,
    상기 밴드 정보를 기반으로 지정된 밴드들에 대응하는 픽셀에 대해서 밴드 오프셋을 적용하는 것을 특징으로 하는 영상 정보 디코딩 방법.
  7. 제6항에 있어서, 상기 SAO 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋의 값을 포함하는 것을 특징으로 하는 영상 정보 디코딩 방법.
  8. 제6항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 디코딩 방법.
  9. 제6항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 디코딩 방법.
  10. 제6항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보에서는
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들이 SAO 적용 단위별로 지정되는 것을 특징으로 하는 영상 정보 디코딩 방법.
  11. 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 필터부; 및
    상기 필터부에서 적용된 SAO 정보를 포함하는 영상 정보를 엔트로피 인코딩하여 전송하는 엔트로피 인코딩부를 포함하며,
    상기 SAO 정보는, 상기 필터부에서 밴드 오프셋이 적용되는 경우에,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 인코딩 장치.
  12. 제11항에 있어서, 상기 SAO 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋 값의 정보를 포함하는 것을 특징으로 하는 영상 정보 인코딩 장치.
  13. 제11항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는,
    상기 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 인코딩 장치.
  14. 제11항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값을 커버하는 밴드들을 지정하는 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 인코딩 장치.
  15. 제11항에 있어서,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는 SAO 적용 단위별로 전송되는 것을 특징으로 하는 영상 정보 인코딩 장치.
  16. 수신한 비트스트림을 엔트로피 디코딩하여 영상 정보를 획득하는 엔트로피 디코딩부; 및
    상기 영상 정보를 기반으로 생성된 복원 블록에 SAO(Sample Adaptive Offset)을 적용하는 필터링부를 포함하며,
    상기 영상 정보는 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보를 포함하고,
    밴드 오프셋이 적용되는 경우에, 상기 필터링부는 상기 지정된 밴드들에 대응하는 픽셀에 대해서 밴드 오프셋을 적용하는 것을 특징으로 하는 영상 정보 디코딩 장치.
  17. 제16항에 있어서, 상기 영상 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들에 대한 오프셋의 값을 포함하는 것을 특징으로 하는 영상 정보 디코딩 장치.
  18. 제16항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 첫 번째 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 디코딩 장치.
  19. 제16항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보는,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들 중 마지막 밴드를 지정하는 정보를 포함하는 것을 특징으로 하는 영상 정보 디코딩 장치.
  20. 제16항에 있어서, 상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들을 지정하는 정보에서,
    상기 밴드 오프셋이 적용되는 픽셀 값의 범위를 커버하는 밴드들은 SAO 적용 단위별로 지정되는 것을 특징으로 하는 영상 정보 디코딩 장치.
PCT/KR2012/004692 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법 WO2012173403A2 (ko)

Priority Applications (26)

Application Number Priority Date Filing Date Title
CN201280038587.4A CN103733627B (zh) 2011-06-14 2012-06-14 用于编码和解码图像信息的方法
EP24160172.3A EP4373090A3 (en) 2011-06-14 2012-06-14 Method of video decoding and encoding, storage medium and transmission method
MX2013014951A MX2013014951A (es) 2011-06-14 2012-06-14 Metodo para codificar y decodificar informacion de imagenes.
KR1020207033433A KR102241992B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020217010984A KR102349348B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020227043928A KR102656595B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
US14/126,544 US9565453B2 (en) 2011-06-14 2012-06-14 Method for encoding and decoding image information
EP20201588.9A EP3787289B1 (en) 2011-06-14 2012-06-14 Method for encoding and decoding image information
EP12800855.4A EP2723073B1 (en) 2011-06-14 2012-06-14 Method for encoding and decoding image information
ES12800855.4T ES2657827T3 (es) 2011-06-14 2012-06-14 Método para codificar y descodificar la información de imágenes
KR1020247011541A KR20240051308A (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
PL17187999T PL3280144T4 (pl) 2011-06-14 2012-06-14 Sposób kodowania i dekodowania informacji o obrazie
EP17187999.2A EP3280144B1 (en) 2011-06-14 2012-06-14 Method for encoding and decoding image information
PL12800855T PL2723073T3 (pl) 2011-06-14 2012-06-14 Sposób kodowania i dekodowania informacji o obrazie
EP22175532.5A EP4075799B1 (en) 2011-06-14 2012-06-14 Apparatus for encoding and decoding image information
KR1020207006631A KR102183214B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020197013569A KR102088014B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020227000381A KR102479046B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
KR1020137034257A KR101979387B1 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법
US14/694,499 US9300982B2 (en) 2011-06-14 2015-04-23 Method for encoding and decoding image information
US15/217,765 US9992515B2 (en) 2011-06-14 2016-07-22 Method for encoding and decoding image information
US15/996,877 US10531126B2 (en) 2011-06-14 2018-06-04 Method for encoding and decoding image information
US16/715,895 US10798421B2 (en) 2011-06-14 2019-12-16 Method for encoding and decoding image information
US17/023,090 US10924767B2 (en) 2011-06-14 2020-09-16 Method for encoding and decoding image information
US17/154,844 US11418815B2 (en) 2011-06-14 2021-01-21 Method for encoding and decoding image information
US17/862,673 US11671630B2 (en) 2011-06-14 2022-07-12 Method for encoding and decoding image information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161497045P 2011-06-14 2011-06-14
US61/497,045 2011-06-14

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US14/126,544 A-371-Of-International US9565453B2 (en) 2011-06-14 2012-06-14 Method for encoding and decoding image information
US201314126544A A-371-Of-International 2011-06-14 2013-12-30
US14/694,499 Continuation US9300982B2 (en) 2011-06-14 2015-04-23 Method for encoding and decoding image information
US15/217,765 Continuation US9992515B2 (en) 2011-06-14 2016-07-22 Method for encoding and decoding image information

Publications (2)

Publication Number Publication Date
WO2012173403A2 true WO2012173403A2 (ko) 2012-12-20
WO2012173403A3 WO2012173403A3 (ko) 2013-03-14

Family

ID=47357606

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/004692 WO2012173403A2 (ko) 2011-06-14 2012-06-14 영상 정보 인코딩 및 디코딩 방법

Country Status (12)

Country Link
US (8) US9565453B2 (ko)
EP (5) EP4075799B1 (ko)
KR (8) KR20240051308A (ko)
CN (2) CN107682698B (ko)
DK (1) DK3787289T3 (ko)
ES (3) ES2853673T3 (ko)
FI (1) FI4075799T3 (ko)
HU (1) HUE060260T2 (ko)
MX (1) MX2013014951A (ko)
PL (3) PL3787289T3 (ko)
PT (1) PT3787289T (ko)
WO (1) WO2012173403A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2509707A (en) * 2013-01-04 2014-07-16 Canon Kk Encoding or decoding a video sequence using SAO parameters

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4075799B1 (en) 2011-06-14 2024-04-10 LG Electronics Inc. Apparatus for encoding and decoding image information
KR102104594B1 (ko) 2011-06-24 2020-04-24 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
GB201119206D0 (en) 2011-11-07 2011-12-21 Canon Kk Method and device for providing compensation offsets for a set of reconstructed samples of an image
US9253482B2 (en) 2011-11-08 2016-02-02 Texas Insturments Incorporated Method and apparatus for sample adaptive offset without sign coding
US9277194B2 (en) 2011-11-08 2016-03-01 Texas Instruments Incorporated Method and apparatus for image and video coding using hierarchical sample adaptive band offset
US9282328B2 (en) 2012-02-10 2016-03-08 Broadcom Corporation Sample adaptive offset (SAO) in accordance with video coding
JP6226863B2 (ja) * 2012-04-13 2017-11-08 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US10477208B2 (en) * 2012-09-24 2019-11-12 Intel Corporation Histogram segmentation based local adaptive filter for video encoding and decoding
GB2512827B (en) * 2013-04-05 2015-09-16 Canon Kk Method and device for classifying samples of an image
CN111263149B (zh) * 2013-12-12 2021-10-26 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
CN110177283B (zh) * 2014-04-04 2021-08-03 北京三星通信技术研究有限公司 对像素标识进行处理的方法和装置
CN105409221B (zh) * 2014-04-29 2020-03-06 微软技术许可有限责任公司 用于样本自适应偏移滤波的编码器侧决策
CN105530519B (zh) * 2014-09-29 2018-09-25 炬芯（珠海）科技有限公司 一种环内滤波方法及装置
CN105635732B (zh) * 2014-10-30 2018-12-14 联想(北京)有限公司 自适应样点补偿编码、对视频码流进行解码的方法及装置
US10238386B2 (en) 2015-09-23 2019-03-26 Ethicon Llc Surgical stapler having motor control based on an electrical parameter related to a motor current
EP3280143A1 (en) * 2016-08-04 2018-02-07 Thomson Licensing A method and an apparatus for image block encoding and decoding
EP3306924A1 (en) 2016-10-05 2018-04-11 Thomson Licensing Method and device for context-adaptive binary arithmetic coding a sequence of binary symbols representing a syntax element related to picture data
CN110114803B (zh) * 2016-12-28 2023-06-27 松下电器（美国）知识产权公司 三维模型分发方法、三维模型接收方法、三维模型分发装置以及三维模型接收装置
US11811975B2 (en) 2017-05-31 2023-11-07 Interdigital Madison Patent Holdings, Sas Method and a device for picture encoding and decoding
CN111937404B (zh) * 2018-03-26 2023-12-15 寰发股份有限公司 一种用于视频编码器或解码器的视频编解码方法及装置
GB2574423A (en) * 2018-06-05 2019-12-11 Canon Kk Video coding and decoding
CN108810543B (zh) * 2018-06-13 2020-08-28 北京奇艺世纪科技有限公司 视频编码的补偿方法、装置及电子设备
WO2020204412A1 (ko) * 2019-04-03 2020-10-08 엘지전자 주식회사 적응적 루프 필터 절차를 동반한 비디오 또는 영상 코딩
WO2020204420A1 (ko) * 2019-04-03 2020-10-08 엘지전자 주식회사 필터링 기반 비디오 또는 영상 코딩
US20220277491A1 (en) * 2019-05-31 2022-09-01 Electronics And Telecommunications Research Institute Method and device for machine learning-based image compression using global context
CN110121069B (zh) * 2019-06-27 2021-06-11 上海富瀚微电子股份有限公司 基于十字界的hevc环路滤波方法
WO2023113224A1 (ko) * 2021-12-17 2023-06-22 현대자동차주식회사 매핑 기반 비디오 코딩에서 인루프 필터링

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2735355B2 (ja) * 1990-04-13 1998-04-02 株式会社日立製作所 ストロボ機能付き高品位テレビ受信機
FI114679B (fi) 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
KR20050099256A (ko) 2004-04-09 2005-10-13 삼성전자주식회사 디블록킹을 이용한 영상처리 장치와 영상처리 방법
NO322722B1 (no) * 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
CN100345450C (zh) 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
US7956930B2 (en) 2006-01-06 2011-06-07 Microsoft Corporation Resampling and picture resizing operations for multi-resolution video coding and decoding
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
CN102158697B (zh) 2006-09-07 2013-10-09 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US9001899B2 (en) * 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
WO2008056959A1 (en) 2006-11-09 2008-05-15 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896290B1 (ko) 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
WO2010005269A1 (en) 2008-07-11 2010-01-14 Electronics And Telecommunications Research Institute Filter and filtering method for deblocking of intra macroblock
KR101552639B1 (ko) 2008-07-11 2015-09-14 한국전자통신연구원 인트라 매크로 블록의 디블록킹 필터 및 필터링 방법
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
US8660174B2 (en) * 2010-06-15 2014-02-25 Mediatek Inc. Apparatus and method of adaptive offset for video coding
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
US9055305B2 (en) * 2011-01-09 2015-06-09 Mediatek Inc. Apparatus and method of sample adaptive offset for video coding
US9001883B2 (en) * 2011-02-16 2015-04-07 Mediatek Inc Method and apparatus for slice common information sharing
CN106028050B (zh) 2011-05-16 2019-04-26 寰发股份有限公司 用于亮度和色度分量的样本自适应偏移的方法和装置
US20120294353A1 (en) * 2011-05-16 2012-11-22 Mediatek Inc. Apparatus and Method of Sample Adaptive Offset for Luma and Chroma Components
EP4075799B1 (en) * 2011-06-14 2024-04-10 LG Electronics Inc. Apparatus for encoding and decoding image information
US10038903B2 (en) * 2011-06-22 2018-07-31 Texas Instruments Incorporated Method and apparatus for sample adaptive offset parameter estimation in video coding
JP5973434B2 (ja) 2011-06-23 2016-08-23 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像フィルタ装置、フィルタ方法および動画像復号装置
KR102104594B1 (ko) * 2011-06-24 2020-04-24 엘지전자 주식회사 영상 정보 부호화 및 복호화 방법
US9161035B2 (en) * 2012-01-20 2015-10-13 Sony Corporation Flexible band offset mode in sample adaptive offset in HEVC
US9031137B2 (en) * 2012-05-03 2015-05-12 Texas Instruments Incorporated Signaling signed band offset values for sample adaptive offset (SAO) filtering in video coding
JP2015536087A (ja) * 2012-09-28 2015-12-17 サムスン エレクトロニクス カンパニー リミテッド インターレイヤ予測誤差を符号化するためのｓａｏオフセット補償方法及びその装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2509707A (en) * 2013-01-04 2014-07-16 Canon Kk Encoding or decoding a video sequence using SAO parameters
GB2509707B (en) * 2013-01-04 2016-03-16 Canon Kk A method, device, computer program, and information storage means for encoding or decoding a video sequence
US10298937B2 (en) 2013-01-04 2019-05-21 Canon Kabushiki Kaisha Method, device, computer program, and information storage means for encoding or decoding a video sequence

Also Published As

Publication number Publication date
KR102656595B1 (ko) 2024-04-12
KR20210043747A (ko) 2021-04-21
EP3787289B1 (en) 2022-08-03
KR20240051308A (ko) 2024-04-19
EP4373090A2 (en) 2024-05-22
PL3787289T3 (pl) 2022-12-12
US9300982B2 (en) 2016-03-29
KR20200028049A (ko) 2020-03-13
US20220353541A1 (en) 2022-11-03
US11418815B2 (en) 2022-08-16
US10531126B2 (en) 2020-01-07
US10798421B2 (en) 2020-10-06
ES2657827T3 (es) 2018-03-07
HUE060260T2 (hu) 2023-02-28
EP4075799B1 (en) 2024-04-10
US20140119433A1 (en) 2014-05-01
CN103733627B (zh) 2017-11-17
US20160337642A1 (en) 2016-11-17
EP4075799A1 (en) 2022-10-19
KR20140034857A (ko) 2014-03-20
WO2012173403A3 (ko) 2013-03-14
US9992515B2 (en) 2018-06-05
EP3280144A1 (en) 2018-02-07
PT3787289T (pt) 2022-09-30
KR102183214B1 (ko) 2020-11-25
EP2723073B1 (en) 2017-11-08
ES2929494T3 (es) 2022-11-29
KR20230004920A (ko) 2023-01-06
PL2723073T3 (pl) 2018-04-30
US20200120361A1 (en) 2020-04-16
KR20220005648A (ko) 2022-01-13
PL3280144T3 (pl) 2021-06-14
EP2723073A2 (en) 2014-04-23
US20210144410A1 (en) 2021-05-13
EP3280144B1 (en) 2020-11-25
KR20200133028A (ko) 2020-11-25
KR102241992B1 (ko) 2021-04-19
MX2013014951A (es) 2014-07-09
PL3280144T4 (pl) 2021-06-14
EP3787289A1 (en) 2021-03-03
KR101979387B1 (ko) 2019-05-16
KR102479046B1 (ko) 2022-12-19
CN107682698B (zh) 2020-07-28
KR20190054178A (ko) 2019-05-21
US20180288442A1 (en) 2018-10-04
US9565453B2 (en) 2017-02-07
CN107682698A (zh) 2018-02-09
KR102349348B1 (ko) 2022-01-10
KR102088014B1 (ko) 2020-03-11
CN103733627A (zh) 2014-04-16
EP4373090A3 (en) 2024-05-29
US11671630B2 (en) 2023-06-06
FI4075799T3 (fi) 2024-05-06
EP2723073A4 (en) 2014-11-26
US10924767B2 (en) 2021-02-16
US20150229972A1 (en) 2015-08-13
US20200413104A1 (en) 2020-12-31
DK3787289T3 (da) 2022-08-29
ES2853673T3 (es) 2021-09-17

Similar Documents

Publication Publication Date Title
US11758149B2 (en) In-loop filtering method and apparatus for same
KR102088014B1 (ko) 영상 정보 인코딩 및 디코딩 방법
US20200120341A1 (en) Image information encoding and decoding method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12800855

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: MX/A/2013/014951

Country of ref document: MX

ENP Entry into the national phase

Ref document number: 20137034257

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14126544

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2012800855

Country of ref document: EP