WO2012150849A2 - 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법 - Google Patents

에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법 Download PDF

Info

Publication number
WO2012150849A2
WO2012150849A2 PCT/KR2012/003540 KR2012003540W WO2012150849A2 WO 2012150849 A2 WO2012150849 A2 WO 2012150849A2 KR 2012003540 W KR2012003540 W KR 2012003540W WO 2012150849 A2 WO2012150849 A2 WO 2012150849A2
Authority
WO
WIPO (PCT)
Prior art keywords
prediction mode
filtering
samples
blocks
sides
Prior art date
Application number
PCT/KR2012/003540
Other languages
English (en)
French (fr)
Other versions
WO2012150849A3 (ko
Inventor
이진호
김휘용
임성창
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120039422A external-priority patent/KR20120125160A/ko
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of WO2012150849A2 publication Critical patent/WO2012150849A2/ko
Publication of WO2012150849A3 publication Critical patent/WO2012150849A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • Ultra High Definition which supports four times the resolution of HDTV, is increased along with HDTV, a compression technology for higher resolution and higher quality images is required.
  • An object of the present invention is to provide an image encoding / decoding method using an in-loop filtering which is robust against errors, and an apparatus thereof.
  • Another object of the present invention is to provide a method of performing in-loop filtering based on whether a limited intra prediction (CIP) mode is used and coding parameters of blocks located at both sides of a boundary to be filtered.
  • CIP limited intra prediction
  • an image encoding method may include determining whether to use a Constrained Intra Prediction (CIP) mode, determining encoding parameters of blocks located at both sides of a filtering boundary, and whether to use a limited intra prediction mode and encoding. And determining whether to apply an in-loop filter to samples located on both sides of the boundary to be filtered based on the parameters.
  • CIP Constrained Intra Prediction
  • an image decoding method includes determining whether to use a Constrained Intra Prediction (CIP) mode, determining decoding parameters of blocks located at both sides of a boundary to be filtered, and whether to use the limited intra prediction mode and filtering. And determining whether to apply an in-loop filter to samples located on both sides of the filtering target boundary based on decoding parameters of blocks located on both sides of the target boundary.
  • CIP Constrained Intra Prediction
  • an image decoding method includes parsing an indicator indicating whether a limited deblocking filter is used, determining decoding parameters of blocks located on both sides of a filtering target boundary, and indicating the use of the limited deblocking filter and a filtering target. And determining whether to apply a deblocking filter to samples located on both sides of the boundary to be filtered based on decoding parameters of blocks located on both sides of the boundary.
  • the block encoded in the intra prediction mode can be decoded normally.
  • the reconstruction result of the region encoded in the intra prediction mode can be maintained to be the same in the encoder and the decoder.
  • 1 is a block diagram illustrating an example of a structure of an image encoder.
  • FIG. 2 is a block diagram illustrating an example of a structure of an image decoder.
  • FIG. 3 is a flowchart illustrating an in-loop filtering method (encoding) according to an embodiment of the present invention.
  • FIG. 4 is a conceptual diagram illustrating an example in which limited intra prediction is performed.
  • FIG. 5 is a flowchart illustrating a method of performing in-loop filtering on a block coded in a limited intra prediction mode.
  • FIG. 6 illustrates an example in which blocks located at both sides of a filtering target boundary are encoded in an intra prediction mode.
  • FIG. 7 shows an example in which blocks located at both sides of a filtering target boundary are encoded in an inter prediction mode.
  • FIG. 11 is a flowchart illustrating an in-loop filtering method (decoding) according to an embodiment of the present invention.
  • the image decoder 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, a motion compensator 250, an adder 255, and a filter 260. ) And reference picture buffer 270.
  • the entropy decoder 210 performs entropy decoding based on probability distribution.
  • the entropy decoding process is the reverse of the above-described entropy coding process. That is, the entropy decoder 210 generates a symbol including quantized coefficients from a bitstream representing a frequently generated symbol with a small number of bits.
  • a block means a unit of encoding / decoding.
  • an image is divided into a predetermined size and encoded / decoded. Therefore, a block may also be called a macro block (MB), a coding unit (CU), a prediction unit (PU), a transform unit (TU), or the like. It may be divided into smaller blocks of smaller size.
  • MB macro block
  • CU coding unit
  • PU prediction unit
  • TU transform unit
  • a sample in the present specification may mean using information of the sample, for example, a pixel value.
  • use sample information or "use pixel value” may simply be referred to as “use sample”.
  • Constrained Intra Prediction does not refer to neighboring samples that belong to a block that is not coded in intra prediction mode, but only to neighboring samples that belong to a block coded in intra prediction mode.
  • the prediction method generates a prediction block for a current block.
  • the current block refers to an encoding object block or a decoding object block.
  • constrained_intra_pred_flag may be transmitted as shown in Table 1.
  • the flag value is '0', it may be determined that the CIP mode is not used, and when the flag value is '1', it may be determined that the CIP mode is used.
  • FIG. 4 is a conceptual diagram illustrating an example in which limited intra prediction is performed.
  • Example 2 Replace reference sample (s) that cannot be used for intra prediction with an average value of reference samples that can be used for intra prediction located on either side of the reference sample (s).
  • the prediction sample means a prediction value of a sample belonging to the encoding target block.
  • a 3-tap lowpass filter with filter coefficient [1 2 1] or a 2-tap average filter with filter coefficient [1 1] can be applied to the reference sample.
  • the pixel values of the reference samples are likely to be similar or identical to each other. Therefore, unlike the case where the CIP mode is not used, in the limited intra prediction mode, it may be desirable not to perform filtering on the reference samples in terms of reducing computational complexity and improving encoding performance. Similarly, since the pixel values of prediction samples derived based on reference samples having similar or identical pixel values are also likely to be similar or identical to each other, it may be desirable not to perform filtering on the prediction samples.
  • the reference sample is determined based on whether [1] CIP mode is used, [2] availability of the block to which the reference sample belongs, [3] pixel value of the reference sample, [4] encoding parameters of the block to which the reference sample belongs, and the like. And / or adaptively determine whether to perform filtering on the prediction sample.
  • Example 1 Whether to perform filtering on a reference sample and / or a prediction sample is determined based on whether the CIP mode is used.
  • the inter slice may not perform filtering on the reference sample.
  • the inter slice may not perform filtering on the prediction sample.
  • Example 2 Adaptively determining whether to perform filtering on a reference sample and / or a prediction sample based on the availability of a block to which the reference sample belongs.
  • filtering may not be performed on a reference sample that is replaced with a sample that can be used for intra prediction corresponding to a sample belonging to a block that is not available.
  • Example 3 It is determined whether filtering is performed on the reference sample and / or the prediction sample based on the pixel value of the reference sample. In this case, the similarity of the pixel values measured based on the average, variance, and sample values of the pixel values of the reference samples may be used.
  • the filtering may not be performed on the reference samples having the same or identical pixel values.
  • filtering may not be performed on prediction samples derived based on reference samples whose pixel values are similar or identical to each other.
  • Example 4 It is determined whether filtering is performed on a reference sample and / or a prediction sample based on an encoding parameter of a block to which the reference sample belongs.
  • an intra prediction mode a Most Probable Mode (MPM) flag, an inter prediction mode, a motion vector, a reference picture index, and a quantization parameter
  • At least one of coding parameters such as a coded block flag and a coding mode indicating whether the encoding target block is encoded in the intra prediction mode or the inter prediction mode may be used.
  • the predictive sample is derived based on a reference sample that is replaced by a sample belonging to a block encoded in the intra prediction mode corresponding to a sample belonging to a block not encoded in the intra prediction mode. You may not perform filtering on.
  • the filter may be applied only to prediction samples corresponding to the boundary of the encoding target block among the prediction samples. Even in this case, prediction is made based on whether [1] CIP mode is used, [2] availability of the block to which the reference sample belongs, [3] pixel value of the reference sample, and [4] the encoding parameter of the block to which the reference sample belongs. Whether to perform filtering on prediction samples corresponding to a boundary of an encoding target block among samples may be adaptively determined. Referring back to FIG. 4, filtering may not be performed on the prediction samples 410 and 420 having positions of [0 ... 5, 0] and [0, 4 ... 7].
  • FIG. 5 is a flowchart illustrating a method of performing in-loop filtering on a block coded in a limited intra prediction mode.
  • in-loop filtering will be described using an example of deblocking filtering.
  • the present invention is not only applicable to deblocking filtering but also to non-deblocking filtering, Sample Adaptive Offset (SAO) compensation or Adaptive Loop Filter (ALF).
  • SAO Sample Adaptive Offset
  • ALF Adaptive Loop Filter
  • the encoder determines a filtering target boundary (S510).
  • the boundary of the division unit of the image is determined as the filtering target boundary.
  • a boundary of a coding unit (CU), a boundary of a prediction unit (PU), and a boundary of a transform unit (TU) may be determined as a filtering target boundary.
  • the filtering target boundary is determined in a coding unit (CU), a large coding unit (LCU), a slice unit, or a picture unit.
  • the encoder determines whether to perform filtering and the type of filter based on at least one or more of the neighboring pixel value of the filtering target boundary and the filtering intensity determined through the filtering boundary determination step (S510) (S520). For example, based on the neighboring pixel values of the filtering object boundary, it is determined whether the filtering object boundary is a blocking artifact due to transform and quantization or an actual edge present in the picture. In addition, it may be determined whether filtering is performed. For example, the filter strength may indicate a tap size representing the number of input samples of the low pass filter, a coefficient of the low pass filter, and the like.
  • the encoder performs filtering based on the filtering target boundary and the type of the filter determined through the filtering target boundary determination step (S510), whether to perform the filtering, and the filter type determination step (S520).
  • a low pass filter may be used according to the amount of change of the neighboring pixel value of the boundary of the filtering object for smooth processing of the boundary between blocks, or a Wiener filter may be applied to minimize distortion with the original image.
  • one-dimensional filters or two-dimensional or multi-dimensional filters may be applied according to the filtering target boundary.
  • a two-dimensional or more multidimensional filter having a structure of filter coefficients such as a shape of a filter such as a rectangle, a circle, a rectangle, a horizontal symmetry, a vertical symmetry, and a diagonal stone symmetry can be applied.
  • various filters may be applied based on whether filtering is performed and the filtering strength determined through the determination of the type of filter (S520).
  • the image encoder determines encoding parameters of blocks located at both sides of the filtering boundary (S320).
  • the image encoder may determine whether to perform filtering and the type of filter based on encoding parameters of blocks located at both sides of the filtering target boundary.
  • an intra prediction mode, an inter prediction mode, a motion vector, a reference picture index, a quantization parameter, and a coded block flag flag) at least one of encoding parameters such as a coding mode indicating whether the encoding target block is encoded in the intra prediction mode or the inter prediction mode may be used.
  • the image encoder may determine whether blocks located at both sides of the boundary to be filtered are encoded in the intra prediction mode or the inter prediction mode. In this case, if a block is encoded in the intra prediction mode, the block may be referred to as being encoded in the intra mode or may be said to be intra coded. Similarly, if a block is coded in the inter prediction mode, the block may be said to be coded in inter mode or inter coded.
  • the image encoder may generate a residual signal such as a coded block flag (CBF) or a skip mode. It is possible to determine whether a transform coefficient with respect to the present, and based on this the processing method of the deblocking filter can be different.
  • CBF coded block flag
  • the image encoder may determine that the corresponding block is encoded in an intra prediction mode.
  • PCM pulse coded modulation
  • the image encoder may determine whether to perform filtering and the type of filter based on the neighboring pixel values of the filtering boundary along with the encoding parameters of the blocks located on both sides of the filtering boundary. In this case, a difference, a gradient, a variance, an average, etc. of neighboring pixel values of the boundary of the filtering target may be used.
  • the image encoder determines whether to apply the in-loop filter based on whether to use the CIP mode and encoding parameters of blocks located at both sides of the filtering target boundary.
  • the image encoder performs filtering on samples located at both sides of the boundary to be filtered (S330).
  • the image encoder is located on both sides of the filtering boundary.
  • the filtering is performed on the samples (S331).
  • FIG. 6 illustrates an example in which blocks located at both sides of a filtering target boundary are encoded in an intra prediction mode. If both blocks are intra coded, the samples belonging to both blocks are not affected from the block coded in the inter prediction mode in which an error may occur. Therefore, when constrained_intra_pred_flag is 1 and all blocks located at both sides of the filtering target boundary are encoded in the intra prediction mode, deblocking filtering may be performed on the filtering target boundary.
  • the image encoder is located on both sides of the filtering boundary.
  • the deblocking filter may not be applied to the samples to be performed (S333 [1]).
  • FIG. 7 shows an example in which blocks located at both sides of a filtering target boundary are encoded in an inter prediction mode.
  • both blocks are inter coded (merge mode, skip mode, PU_2Nx2N / PU_2NxN / PU_Nx2N / PU_NxN mode)
  • an error may occur in samples belonging to both blocks. Therefore, when constrained_intra_pred_flag is 1 and the coding parameters of the blocks located at both sides of the filtering target boundary are all in the inter prediction mode, the image encoder may not perform filtering on the samples located at both sides of the filtering target boundary.
  • the image encoder may determine the filtering strength as '0' as if the filtering is not performed. Equation 11 shows an example of determining the filtering strength as '0'.
  • bS is the filtering intensity
  • filterDir is the application direction (vertical / horizontal) of the one-dimensional filter
  • xEk and yEj are the positions of the filtering target boundary.
  • constrained_intra_pred_flag 1 and the coding parameters of blocks located on both sides of the filtering target boundary are all in the inter prediction mode
  • an error may occur in samples belonging to both blocks, but by performing deblocking filtering on the samples. This may not be a problem.
  • the image encoder may perform filtering on samples located at both sides of the filtering target boundary (S333 [2]).
  • the image encoder determines the filtering object boundary. Filtering may be performed only on samples belonging to a block coded in the inter prediction mode among samples located at both sides of (S332 [1]).
  • FIG. 8 and 9 illustrate an example in which blocks located at both sides of a filtering target boundary are encoded in an intra prediction mode and an inter prediction mode, respectively.
  • an error occurring in the reconstructed sample belonging to the block encoded in the inter prediction mode is stored in the blocks encoded in the intra prediction mode. This can affect which restored sample belongs. therefore.
  • the filtering is performed on only the samples belonging to the block encoded in the inter prediction mode among the samples on both sides of the filtering boundary. This can prevent the propagation of errors.
  • pi is not a sample of an I_PCM block or pcm_loop_filter_disable_flag is 0, [2] pi belongs to a block encoded in inter prediction mode, and [3] qi belongs to a block encoded in intra prediction mode , [4] If dE is 2, nDp is 3 and a strong filter is applied to pi as follows.
  • Clip3 (a, b, c) represents clipping c within the range of a and b.
  • pi is not a sample of an I_PCM block or pcm_loop_filter_disable_flag is 0, [2] pi belongs to a block encoded in inter prediction mode, and [3] qi belongs to a block encoded in intra prediction mode , [4] If dE is not 2, nDp is 1 and a weak filter is applied to pi.
  • Clip1Y (x) is defined as in Equation (18).
  • BitDepthY represents the bit depth of the luminance component.
  • qi is not a sample of the I_PCM block or pcm_loop_filter_disable_flag is 0, [2] qi belongs to a block encoded in inter prediction mode, and [3] pi belongs to a block encoded in intra prediction mode , [4] If dE is not 2, nDq is 1 and a weak filter is applied to qi.
  • Clip1Y (x) is defined as in Equation 40.
  • qj is a sample of the I_PCM block and pcm_loop_filter_disable_flag is 1.
  • [1] pi is not a sample of an I_PCM block or pcm_loop_filter_disable_flag is 0, [2] pi belongs to a block encoded in inter prediction mode, and [3] qi belongs to a block encoded in intra prediction mode , Apply the following filter:
  • deblocking filtering may be performed on chroma samples as follows.
  • P0 ' is changed to the input sample p0 when at least one of the following two conditions is satisfied.
  • p0 is a sample of the I_PCM block and pcm_loop_filter_disable_flag is 1.
  • q0 is a sample of the I_PCM block and pcm_loop_filter_disable_flag is 1.
  • the image encoder The filtering may not be performed on the samples located at both sides of the target boundary (S332 [2]).
  • the filtering strength may not be determined and the filtering may not be performed.
  • the image encoder may perform filtering.
  • the filtering strength may be determined as '0', as is not performed. Equation 52 shows an example of determining the filtering strength as '0'.
  • bS is the filtering intensity
  • filterDir is the application direction (vertical / horizontal) of the one-dimensional filter
  • xEk and yEj are the positions of the filtering target boundary.
  • the filtering target block is an I_PCM block and pcm_loop_filter_disable_flag is '1', deblocking filtering is not performed.
  • the I_PCM block means that the filtering target block is a block encoded in PCM mode using an uncompressed original sample
  • pcm_loop_filter_disable_flag is a flag for indicating whether a loop filter process is performed on the reconstructed pixel of the I_PCM block. Therefore, it may be determined whether to perform filtering, including the case where the filtering target block is an I_PCM block.
  • FIG. 10 is a flowchart illustrating a method of performing deblocking filtering based on whether a CIP mode and a PCM mode are used, and encoding parameters of blocks located on both sides of a filtering target boundary.
  • the coding modes of the blocks P and Q located on both sides of the filtering boundary are determined.
  • the image encoder is configured to perform samples of the blocks belonging to the intra prediction mode among the samples located on both sides of the filtering boundary. Do not perform filtering.
  • the image encoder determines pcm_loop_filter_disable_flag.
  • the image encoder determines pcm_loop_filter_disable_flag.
  • FIG. 11 is a flowchart illustrating an in-loop filtering method (decoding) according to an embodiment of the present invention.
  • the decoder may determine whether to perform in-loop filtering in the same manner as the encoder. That is, the image decoder determines whether to use the CIP mode (S1110).
  • the image decoder determines decoding parameters of blocks located at both sides of the filtering target boundary of the decoding target block (S1120).
  • the image decoder determines whether to apply the in-loop filter based on the use of the CIP mode and the decoding parameters of blocks located at both sides of the filtering target boundary.
  • the image decoder may determine the filtering boundary.
  • the deblocking filter may not be applied to the samples positioned at both sides (S1133 [1]).
  • the image decoder may determine the filtering boundary. Filtering may be performed on samples located at both sides (S1133 [2]).
  • the image decoder Filtering may be performed only on samples belonging to a block decoded in the inter prediction mode among samples positioned at both sides of the filtering target boundary (S1132 [1]).
  • the image decoder The filtering may not be performed on the samples located at both sides of the filtering target boundary (S1132 [2]).
  • FIG. 12 is a flowchart illustrating an image encoding method according to an embodiment of the present invention.
  • the image encoder signals information for determining whether to use a limited in-loop filter (S1210).
  • the limited in-loop filter refers to an in-loop filter applied based on whether the CIP mode is used and the coding parameters of blocks located on both sides of the filtering target boundary, and determining whether to use the limited in-loop filter.
  • Signaling information for an encoder inserts an indicator, such as a flag, in the bitstream indicating whether a limited in-loop filter is used in an encoder, and parses it in a decoder. Means.
  • [1] filtering is performed only on samples belonging to a block encoded in inter prediction mode among samples located at both sides of the boundary to be filtered, or [2] both sides of the boundary to be filtered. Filtering may not be performed on samples located at [3], or filtering may be performed on samples located at both sides of a boundary to be filtered.
  • the samples are located on both sides of the filtering boundary. You can choose not to perform filtering.
  • the samples are located on both sides of the filtering boundary. Filtering can be performed.
  • the encoder may signal information indicating that at least one of the above examples is applied, that is, information for determining whether to use a limited in-loop filter.
  • the signaling is performed in a coding unit (CU), a prediction unit (PU), a transform unit (TU), a large coding unit (LCU), a slice unit, or a picture unit. Can be performed.
  • constrained_in_loop_filter_flag may be transmitted as shown in Table 3.
  • the constrained_in_loop_filter_flag when the constrained_in_loop_filter_flag is '1', the limited in-loop filter may be used, and when the constrained_in_loop_filter_flag is '0', the limited in-loop filter may not be used.
  • the image encoder may determine whether to signal information for determining whether to use the limited in-loop filter based on whether the CIP mode is used.
  • the image encoder may determine whether to signal information for determining whether to use a limited in-loop filter based on encoding parameters of blocks located at both sides of the filtering target boundary.
  • Table 4 shows an example of determining whether to signal information for determining whether to use a limited in-loop filter based on coding parameters of blocks located at both sides of a filtering target boundary.
  • the image encoder may basically signal information for determining whether to use a limited in-loop filter.
  • the image encoder determines encoding parameters of blocks located at both sides of the filtering target boundary (S1220).
  • the image encoder may determine encoding parameters of blocks located at both sides of the filtering target boundary in the same manner as in FIG. 3, "Step of determining encoding parameters of blocks located at both sides of the filtering target boundary (S320)". .
  • FIG. 13 is a flowchart illustrating an image decoding method according to an embodiment of the present invention.
  • the decoder may determine whether to use the limited in-loop filter in a manner corresponding to that of the encoder. That is, the image decoder parses information for determining whether to use a limited in-loop filter (S1310).
  • the image decoder determines the decoding parameters of blocks located at both sides of the filtering target boundary in operation S1320.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상 부호화/복호화 방법에 관한 것으로, 더욱 자세하게는 에러에 강인한 인-루프 필터링을 수행하는 방법과 이를 위한 시그널링 방법에 관한 것이다. 본 발명의 일 실시예 따르면, 제한된 인트라 예측(Constrained Intra Prediction: CIP) 모드의 사용 여부를 판별하는 단계, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들을 판별하는 단계 및 제한된 인트라 예측 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들에 기반하여 필터링 대상 경계의 양측에 위치하는 샘플들에 대한 인-루프 필터의 적용 여부를 결정하는 단계를 포함하는 영상 복호화 방법이 제공된다.

Description

에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법
본 발명은 영상 부호화/복호화 방법에 관한 것으로, 더욱 자세하게는 에러에 강인한 인-루프 필터링을 수행하는 방법과 이를 위한 시그널링 방법에 관한 것이다.
최근 HD(High Definition) 해상도를 지원하는 방송 시스템이 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자가 고해상도, 고화질의 영상에 익숙해지고 있으며, 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한, HDTV와 더불어 HDTV의 4배 이상의 해상도를 지원하는 UHD(Ultra High Definition)에 대한 관심이 증대되면서, 더욱 높은 해상도, 고화질의 영상에 대한 압축 기술이 요구되고 있다.
영상의 압축을 위해, 선행하는 픽쳐 및/또는 뒤에 나오는 픽쳐로부터 현재 픽쳐에 포함된 픽셀 값을 예측하는 인터(inter) 예측 기술, 픽쳐 내의 픽셀 정보를 이용하여 픽셀 값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
본 발명의 목적은 에러에 강인한 인-루프 필터링을 이용한 영상 부호화/복호화 방법 및 그 장치를 제공함에 있다.
본 발명의 다른 목적은 제한된 인트라 예측(Constrained Intra Prediction: CIP) 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 인-루프 필터링을 수행하는 방법을 제공함에 있다.
[1] 본 발명의 일 실시예에 따르면 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 제한된 인트라 예측(Constrained Intra Prediction: CIP) 모드의 사용 여부를 판별하는 단계, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들을 판별하는 단계 및 제한된 인트라 예측 모드의 사용 여부와 부호화 파라미터들에 기반하여 필터링 대상 경계의 양측에 위치하는 샘플들에 대한 인-루프 필터의 적용 여부를 결정하는 단계를 포함한다.
[2] [1]에 있어서, 인-루프 필터는 디블록킹 필터일 수 있다.
[3] [2]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용하지 않을 수 있다.
[4] [2]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들 중 인트라 예측 모드로 부호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하지 않고, 필터링 대상 경계의 양측에 위치하는 샘플들 중 인터 예측 모드로 부호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용할 수 있다.
[5] [2]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용하지 않을 수 있다.
[6] 본 발명의 다른 일 실시예에 따르면 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 제한된 인트라 예측(Constrained Intra Prediction: CIP) 모드의 사용 여부를 판별하는 단계, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들을 판별하는 단계 및 제한된 인트라 예측 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들에 기반하여 필터링 대상 경계의 양측에 위치하는 샘플들에 대한 인-루프 필터의 적용 여부를 결정하는 단계를 포함한다.
[7] [6]에 있어서, 인-루프 필터는 디블록킹 필터일 수 있다.
[8] [7]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인트라 예측 모드로 복호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용할 수 있다.
[9] [7]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용하지 않을 수 있다.
[10] [7]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용할 수 있다.
[11] [7]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들 중 인트라 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하지 않고, 필터링 대상 경계의 양측에 위치하는 샘플들 중 인터 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용할 수 있다.
[12] [7]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용할 수 않을 수 있다.
[13] 본 발명의 또 다른 일 실시예에 따르면 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 제한된 디블록킹 필터의 사용 여부를 나타내는 지시자를 파싱하는 단계, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들을 판별하는 단계 및 제한된 디블록킹 필터의 사용 여부를 나타내는 지시자와 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들에 기반하여 필터링 대상 경계의 양측에 위치하는 샘플들에 대한 디블록킹 필터의 적용 여부를 결정하는 단계를 포함한다.
[14] [13]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들 중 인트라 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하지 않고, 필터링 대상 경계의 양측에 위치하는 샘플들 중 인터 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용할 수 있다.
[15] [13]에 있어서, 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용할 수 않을 수 있다.
본 발명에 따르면, 에러에 강인한 인-루프 필터링을 수행할 수 있다.
본 발명에 따르면, 인터 예측 모드로 부호화된 영역을 정상적으로 복원할 수 없는 경우에도, 인트라 예측 모드로 부호화된 블록을 정상적으로 복호화할 수 있다.
본 발명에 따르면, 인트라 예측 모드로 부호화된 영역의 복원 결과가 부호화기 및 복호화기에서 동일하도록 유지할 수 있다.
도 1은 영상 부호화기의 구조의 일 예를 나타내는 블록도이다.
도 2는 영상 복호화기의 구조의 일 예를 나타내는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 인-루프 필터링 방법(부호화)을 나타낸 흐름도이다.
도 4는 제한된 인트라 예측이 수행되는 일 예를 나타내는 개념도이다.
도 5는 제한된 인트라 예측 모드로 부호화된 블록에 대한 인-루프 필터링을 수행하는 방법을 나타낸 흐름도이다.
도 6은 필터링 대상 경계의 양측에 위치하는 블록이 모두 인트라 예측 모드로 부호화된 일 예를 나타낸다.
도 7은 필터링 대상 경계의 양측에 위치하는 블록이 모두 인터 예측 모드로 부호화된 일 예를 나타낸다.
도 8 및 도 9는 필터링 대상 경계의 양측에 위치하는 블록이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 일 예를 나타낸다.
도 10은 CIP 모드 및 PCM 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반한 디블록킹 필터링을 수행하는 방법을 나타낸 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 인-루프 필터링 방법(복호화)을 나타낸 흐름도이다.
도 12는 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다.
도 13은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명하기로 한다. 단, 본 발명의 실시예를 설명함에 있어서, 공지의 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 "연결되어" 있거나 "접속되어" 있다고 서술되어 있는 경우, 다른 구성 요소에 직접 연결되어 있거나, 접속되어 있을 수 있으나, 또 다른 구성요소가 중간에 존재할 수도 있다. 또한, 본 발명에서 특정 구성 요소를 "포함"한다고 서술되어 있는 경우, 해당 구성 요소 이외의 구성 요소를 배제하는 것이 아니라, 추가적인 구성 요소가 본 발명의 실시예 또는 기술적 사상의 범위에 포함될 수 있음을 의미한다.
"제 1", "제 2" 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되지 않는다. 즉, 상기 용어 들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 따라서, 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 마찬가지로 제 2 구성요소도 제 1 구성 요소로 명명될 수 있다.
또한, 본 발명의 실시예에 나타나는 구성 요소는 서로 다른 특징적인 기능을 수행하는 것을 나타내기 위해 독립적으로 도시될 뿐, 각 구성 요소가 하나의 하드웨어 또는 소프트웨어로 구현될 수 없음을 의미하는 것은 아니다. 즉, 각 구성 요소는 설명의 편의상 구분된 것으로, 복수의 구성 요소가 합쳐져 하나의 구성 요소로 동작하거나, 하나의 구성 요소가 복수의 구성 요소로 나뉘어져 동작할 수 있고, 이는 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위로 포함된다.
또한, 일부 구성 요소는 본 발명의 본질적인 기능을 수행하는 필수 구성 요소가 아닌 성능의 향상을 위한 선택적 구성 요소일 수 있다. 본 발명은 선택적 구성 요소를 제외하고 필수 구성 요소만을 포함한 구조로도 구현될 수 있으며, 필수 구성 요소만을 포함한 구조 역시 본 발명의 권리 범위에 포함된다.
도 1은 영상 부호화기의 구조의 일 예를 나타내는 블록도이다.
영상 부호화기(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽쳐 버퍼(190)를 포함한다.
영상 부호화기(100)는 입력 영상을 인트라 예측 모드(intra prediction mode) 또는 인터 예측 모드(inter prediction mode)로 부호화하여 비트스트림(bitstream)을 출력한다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화기(100)는 스위치(115)의 전환을 통해 인트라 예측 모드와 인터 예측 모드 사이를 천이한다. 영상 부호화기(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화한다.
인트라 예측 모드의 경우, 인트라 예측부(120)는 부호화 대상 블록 주변의 이미 부호화된 블록의 픽셀 값을 이용한 공간적 예측을 수행하여 예측 블록을 생성한다.
인터 예측 모드의 경우, 움직임 예측부(111)는 참조 픽쳐 버퍼(190)에 저장되어 있는 참조 픽쳐 내에서 입력 블록과 가장 매칭이 잘 되는 참조 블록을 찾아서 움직임 벡터를 구한다. 움직임 보상부(112)는 상기 움직임 벡터를 이용하여 움직임 보상을 수행하고 예측 블록을 생성한다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화의 대상 블록과 참조 블록 사이의 오프셋을 나타낸다.
감산기(125)는 입력 블록과 예측 블록의 차분에 기반하여 차분 블록(residual block)을 생성하고, 변환부(130)는 상기 차분 블록을 변환(transform)하여 변환 계수(transform coefficient)를 출력한다. 양자화부(140)는 상기 변환 계수를 양자화하여 양자화된 계수(quantized coefficient)를 출력한다.
엔트로피 부호화부(150)는 부호화/양자화 과정에서 획득한 정보에 기반한 엔트로피 부호화를 수행하여 비트스트림을 출력한다. 엔트로피 부호화는 빈번하게 발생되는 심볼(symbol)을 적은 수의 비트로 표현함으로써 부호화의 대상 심볼에 대한 비트열의 크기를 감소시킨다. 따라서, 엔트로피 부호화를 통해 영상의 압축 성능의 향상을 기대할 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.
한편, 부호화된 픽쳐는 인터 예측을 수행하기 위한 참조 픽쳐로 사용되기 위해 다시 복호화되어 저장될 필요가 있다. 따라서, 역양자화부(160)는 양자화된 계수를 역양자화하고, 역변화부(170)는 역양자화된 계수를 역변환(inverse transform)하여 복원된 차분 블록을 출력한다. 가산기(175)는 예측 블록에 복원된 차분 블록을 더하여 복원 블록을 생성한다.
필터부(180)는 적응적 인-루프(in-loop) 필터로도 불리며, 복원 블록에 디블록킹 필터링(deblocking filtering), SAO(Sample Adaptive Offset) 보상, ALF(Adaptive Loop Filtering) 중 적어도 하나 이상을 수행한다. 디블록킹 필터링은 블록 간 경계에 생긴 블록 왜곡을 제거하는 것을 의미하고, SAO 보상은 코딩 에러를 보상하기 위해 픽셀 값에 적정 오프셋(offset)을 더해주는 것을 의미한다. 또한, ALF는 복원된 영상과 원래의 영상을 비교한 값에 기반하여 필터링을 수행하는 것을 의미한다.
도 2는 영상 복호화기의 구조의 일 예를 나타내는 블록도이다.
영상 복호화기(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽쳐 버퍼(270)를 포함한다.
영상 복호화기(200)는 비트스트림을 인트라 예측 모드 또는 인터 예측 모드로 복호화하여 복원 영상을 출력한다. 영상 복호화기(200)는 스위치의 전환을 통해 인트라 예측 모드와 인터 예측 모드 사이를 천이한다. 영상 복호화기(200)는 비트스트림으로부터 차분 블록을 획득하여 예측 블록을 생성한 후, 차분 블록을 더하여 복원 블록을 생성한다.
엔트로피 복호화부(210)는 확률 분포에 기반한 엔트로피 복호화를 수행한다. 엔트로피 복호화 과정은 상술한 엔트로피 부호화 과정의 반대과정이다. 즉, 엔트로피 복호화부(210)는 빈번하게 발생되는 심볼을 적은 수의 비트로 표현한 비트스트림으로부터 양자화된 계수를 포함하는 심볼을 생성한다.
역양자화부(220)는 양자화된 계수를 역양자화하고, 역변환부(230)는 역양자화된 계수를 역변환하여 차분 블록을 생성한다.
인트라 예측 모드의 경우, 인트라 예측부(240)는 복호화 대상 블록 주변의 이미 복호화된 블록의 픽셀 값을 이용한 공간적 예측을 수행하여 예측 블록을 생성한다.
인터 예측 모드의 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽쳐 버퍼(270)에 저장된 참조 픽쳐를 이용한 움직임 보상을 수행하여 예측 블록을 생성한다.
가산기(255)는 차분 블록에 예측 블록을 더하고, 필터부(260)는 가산기를 거친 블록에 디블록킹 필터링, SAO 보상, ALF 중 적어도 하나 이상을 수행하여 복원 영상을 출력한다.
이하, 블록은 부호화/복호화의 단위를 의미한다. 부호화/복호화 과정에서, 영상은 소정의 크기로 분할되어 부호화/복호화된다. 따라서, 블록은 매크로 블록(Macro Block: MB), 부호화 유닛(Coding Unit: CU), 예측 유닛(Prediction Unit: PU), 변환 유닛(Transform Unit: TU) 등으로도 불릴 수도 있으며, 하나의 블록은 더 작은 크기의 하위 블록으로 분할될 수도 있다.
여기서, 예측 유닛은 예측 및/또는 움직임 보상 수행의 기본 단위를 의미한다. 예측 유닛은 복수의 파티션(partition)으로 분할될 수 있으며, 각각의 파티션은 예측 유닛 파티션(prediction unit partition)으로 불린다. 예측 유닛이 복수의 파티션으로 분할된 경우, 예측 유닛 파티션은 예측 및/또는 움직임 보상 수행의 기본 단위가 될 수 있다. 이하, 본 발명의 실시예에서는 예측 유닛은 예측 유닛 파티션을 의미할 수도 있다.
또한, 본 명세서에서 샘플을 이용한다는 것은 해당 샘플의 정보, 예를 들어 픽셀 값 등을 이용한다는 것을 의미할 수 있다. 다만, 설명의 편의를 위해, "샘플 정보를 이용한다" 또는 "픽셀 값을 이용한다"는 표현을 "샘플을 이용한다"고 간단하게 나타낼 수도 있음에 유의한다.
한편, 에러가 발생하기 쉬운 네트워크 채널로 비트스트림을 전송하는 경우, 복원된 픽쳐 내에 에러가 발생할 확률이 높다. 제한된 인트라 예측(Constrained Intra Prediction: CIP)는 인트라 예측 모드로 부호화되지 않은 블록에 속하는(covered) 주변 샘플들(neighbouring samples)을 참조하지 않고, 인트라 예측 모드로 부호화된 블록에 속하는 주변 샘플들만을 참조하여, 현재 블록(current block)에 대한 예측 블록을 생성하는 예측 방법이다. 여기서, 현재 블록은 부호화 대상 블록 또는 복호화 대상 블록을 의미한다. CIP 모드를 사용하는 경우, 참조하는 픽쳐가 손실되어 인터 예측 모드로 부호화된 블록이 정상적으로 복원되지 않아도, 인트라 예측 블록의 생성에는 영향이 없다. 따라서, 인터 예측 모드로 부호화된 블록을 정상적으로 복원할 수 없는 경우에도, 인트라 예측 모드로 부호화된 블록을 정상적으로 복호화할 수 있다.
하지만, 인-루프 필터링은 CIP 모드의 사용 여부에 관계없이 수행되므로, 압축된 영상 비트스트림 내에서 에러가 발생한 경우, 복원된 영상의 에러가 인-루프 필터링이 수행되는 과정에서 에러가 발생하지 않은 다른 영역으로 전파될 수 있다.
상술한 문제점을 해결하기 위해, 본 발명에서는 CIP 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 인-루프 필터링의 수행 여부를 결정한다.
도 3은 본 발명의 일 실시예에 따른 인-루프 필터링 방법(부호화)을 나타낸 흐름도이다.
영상 부호화기는 CIP 모드의 사용 여부를 판별한다(S310).
부호화기와 복호화기는 CIP 모드의 사용 여부를 판별하기 위한 정보를 시그널링(signaling)할 수 있다. 예를 들어, CIP 모드의 사용 여부를 판별하기 위한 정보를 SPS(Sequence Parameter Set), PPS(Picture Parameter Set) 또는 슬라이스 헤더(slice header) 등을 통해 시그널링한다.
이때, CIP 모드의 사용 여부를 판별하기 위한 정보를 시그널링한다는 것은 부호화기(encoder)에서 CIP 모드의 사용 여부를 나타내는 플래그(flag)와 같은 지시자(indicator)를 비트스트림(bitstram)에 삽입하고, 복호화기(decoder)에서 파싱(parsing)하는 것을 의미한다. 지시자는 부호화기에서 산술 부호화(arithmetic coding) 등의 엔트로피 부호화 과정을 통해 비트스트림에 삽입되며, 복호화기에서 해당 엔트로피 부호화 과정에 상응하는 복호화 과정을 통해 추출될 수 있다.
예를 들어, 부호화 대상 시퀀스에서 CIP 모드를 사용하는지를 판별하기 위해, 표 1과 같이 constrained_intra_pred_flag 가 전송될 수 있다. 상기 플래그 값이 '0'인 경우, CIP 모드가 사용되지 않는 것으로 판별하고, 상기 플래그 값이 '1'인 경우, CIP 모드가 사용되는 것으로 판별할 수 있다.
표 1
Figure PCTKR2012003540-appb-T000001
예를 들어, 부호화 대상 픽쳐에서 CIP 모드를 사용하는지를 판별하기 위해, 표 2와 같이 constrained_intra_pred_flag 가 전송될 수 있다. SPS를 통해 시그널링하는 경우와 마찬가지로, 플래그 값이 '0'인 경우, CIP 모드가 사용되지 않은 것으로 판별하고, 플래그 값이 '1'인 경우, CIP 모드가 사용되는 것으로 판별할 수 있다.
표 2
Figure PCTKR2012003540-appb-T000002
한편, 에러가 발생하기 쉬운 네트워크 환경에서 사용되는 특수한 목적의 부호화기와 복호화기는 CIP 모드의 사용 여부를 판별하기 위한 정보를 별도로 시그널링(signaling)하지 않고, CIP 모드를 기본적으로 사용할 수도 있다.
도 4는 제한된 인트라 예측이 수행되는 일 예를 나타내는 개념도이다.
이하, 설명의 편의를 위해, 부호화 대상 블록(400)의 좌상단 샘플을 기준([0, 0])으로 우하단 방향으로 좌표 값이 증가하는 [x, y] 좌표를 설정한다. 또한, p[a, b]는 [a, b]의 위치를 가지는 샘플의 픽셀 값을 나타낸다. 예를 들어, 부호화 대상 블록(400)의 좌상단 샘플의 픽셀 값은 p[0, 0]으로 나타낼 수 있다.
부호화 대상 블록(400)의 크기가 8x8인 경우, 부호화 대상 블록(400)의 상단과 좌측에 위치하는 참조 샘플, 즉 상단 참조 샘플(p[-1...15, -1])과 좌측 참조 샘플(p[-1, 0...15])을 이용하여 부호화 대상 블록에 대한 예측 블록을 생성한다.
그러나, CIP 모드가 사용되는 경우, 상술한 바와 같이, 인트라 예측 모드로 부호화되지 않은 블록에 속하는 주변 샘플들은 인트라 예측에 사용될 수 없으므로(not available for intra prediction), 참조 샘플을 대체하는 과정(reference sample substitution process)이 필요하다. 예를 들어, 도 4에서 [x = -1, y = 4...11], [x = -1...5, y = -1], [x = 8...15, y = -1]의 위치를 가지는 샘플들은 제한된 인트라 예측에 사용될 수 있는 다른 샘플들로 대체해야 한다.
인트라 예측에 사용할 수 없는 주변 샘플을 대체하여, 참조 샘플을 구성하는 예는 다음과 같다.
예 1) 인트라 예측에 사용할 수 없는 주변 샘플들을 인트라 예측에 사용할 수 있는 주변 샘플들 중 하나의 값으로 대체한다.
예를 들어, 도 4의 경우에 있어서, [x = -1, y = 15]의 위치를 가지는 샘플이 인트라 예측에 사용할 수 없는 샘플이라면, [x = -1, y = 15]에서 [x = -1, y = -1]까지, 그 다음 [x = 0, y = -1]에서 [x = 15, y = -1]까지 순차적으로 검색한다. 인트라 예측에 사용할 수 있는 샘플이 발견되는 대로, 검색은 종료되며, 해당 샘플의 픽셀 값(p[x = -1, y = 15])에 검색된 샘플의 픽셀 값이 할당된다.
예를 들어, 도 4의 경우에 있어서, [x = -1, y = 4...11], [x = -1, y = -1]의 위치를 가지는 샘플이 인트라 예측에 사용할 수 없는 샘플이라면, 수학식 1 및 수학식 2와 같이, 해당 샘플의 픽셀 값(p[x, y])에 해당 샘플의 하단에 위치하는 샘플의 픽셀 값(p[x, y+1])이 할당된다.
수학식 1
Figure PCTKR2012003540-appb-M000001
수학식 2
Figure PCTKR2012003540-appb-M000002
예를 들어, 도 4의 경우에 있어서, [x = 0...5, y = -1], [x = 8...15, y = -1]의 위치를 가지는 샘플이 인트라 예측에 사용할 수 없는 샘플이라면, 수학식 3 및 수학식 4와 같이, 해당 샘플의 픽셀 값(p[x, y])에 해당 샘플의 좌측에 위치하는 샘플의 픽셀 값(p[x-1, y])이 할당된다.
수학식 3
Figure PCTKR2012003540-appb-M000003
수학식 4
Figure PCTKR2012003540-appb-M000004
예 2) 인트라 예측에 사용할 수 없는 참조 샘플(들)을 해당 참조 샘플(들)의 양측에 위치하는 인트라 예측에 사용할 수 있는 참조 샘플들의 평균값으로 대체한다.
예를 들어, 도 4의 경우에 있어서, 인터 예측 모드로 부호화된 블록에 속하는 주변 샘플들은 수학식 5 내지 수학식 7과 같이 대체된다.
수학식 5
Figure PCTKR2012003540-appb-M000005
수학식 6
Figure PCTKR2012003540-appb-M000006
수학식 7
Figure PCTKR2012003540-appb-M000007
예 3) 인트라 예측에 사용할 수 없는 참조 샘플(들)을 해당 참조 샘플(들)의 양측에 위치하는 인트라 예측에 사용할 수 있는 참조 샘플들을 선형 보간(linear interpolation)한 값으로 대체한다.
예를 들어, 도 4의 경우에 있어서, 인터 예측 모드로 부호화된 블록에 속하는 주변 샘플들은 수학식 8 내지 수학식 10과 같이 대체된다.
수학식 8
Figure PCTKR2012003540-appb-M000008
수학식 9
Figure PCTKR2012003540-appb-M000009
수학식 10
Figure PCTKR2012003540-appb-M000010
한편, 부호화 대상 블록이 인트라 예측 모드로 부호화되는 경우, 부호화 성능을 높이기 위해, 참조 샘플들 및 예측 샘플들(predicted samples)에 대해 필터링을 수행할 수 있다. 여기서, 예측 샘플은 부호화 대상 블록에 속하는 샘플의 예측 값을 의미한다.
예를 들어, 참조 샘플에 필터 계수가 [1 2 1]인 3-탭 저역통과 필터 또는 필터 계수가 [1 1]인 2-탭 평균 필터를 적용할 수 있다.
예를 들어, Intra_Vertical 예측 모드, Intra_Horizontal 예측 모드, Intra_DC 예측 모드와 같은 특정 인트라 모드에서, 부호화 대상 블록의 경계에 해당하는 샘플의 예측 값을 해당 샘플에 인접하는 참조 샘플에 기반하여 도출(derivation)할 수 있다.
그러나, CIP 모드가 사용되는 경우, 인트라 예측 모드로 부호화되지 않은 주변 샘플들이 인트라 예측 모드로 부호화된 주변 샘플들로 대체되므로, 참조 샘플들의 픽셀 값은 서로 유사하거나 동일할 확률이 높다. 따라서, CIP 모드가 사용되지 않는 경우와 달리, 제한된 인트라 예측 모드에서는 참조 샘플들에 대한 필터링을 수행하지 않는 것이 계산 복잡도의 감소와 부호화 성능의 향상 측면에서 바람직할 수 있다. 마찬가지로, 서로 유사하거나 동일한 픽셀 값을 가지는 참조 샘플들에 기반하여 도출되는 예측 샘플들의 픽셀 값도 서로 유사하거나 동일할 확률이 높으므로, 예측 샘플에 대한 필터링을 수행하지 않는 것이 바람직할 수 있다.
따라서, [1] CIP 모드의 사용 여부, [2] 참조 샘플이 속하는 블록의 이용 가능 여부, [3] 참조 샘플의 픽셀 값, [4] 참조 샘플이 속하는 블록의 부호화 파라미터 등에 기반하여 참조 샘플 및/또는 예측 샘플에 대한 필터링의 수행 여부를 적응적으로 결정할 수 있다.
예 1) CIP 모드의 사용 여부에 기반하여 참조 샘플 및/또는 예측 샘플에 대한 필터링의 수행 여부를 결정한다.
예를 들어, CIP 모드가 사용되는 환경에서 참조 샘플에 대해 필터를 적용하는 경우, 인터 슬라이스(P slice or B slice)에서는 참조 샘플에 대해 필터링을 수행하지 않을 수 있다.
예를 들어, CIP 모드가 사용되는 환경에서 예측 샘플에 대해 필터를 적용하는 경우, 인터 슬라이스(P slice or B slice)에서는 예측 샘플에 대해 필터링을 수행하지 않을 수 있다.
예 2) 참조 샘플이 속하는 블록의 이용 가능 여부에 기반하여 참조 샘플 및/ 또는 예측 샘플에 대한 필터링의 수행 여부를 적응적으로 결정한다.
예를 들어, 참조 샘플에 대해 필터를 적용하는 경우, 이용 가능하지 않은 블록에 속하는 샘플에 해당하여 인트라 예측에 사용할 수 있는 샘플로 대체되는 참조 샘플에 대해 필터링을 수행하지 않을 수 있다.
예를 들어, 예측 샘플에 대해 필터를 적용하는 경우, 이용 가능하지 않은 블록에 속하는 샘플에 해당하여 인트라 예측에 사용할 수 있는 샘플로 대체되는 참조 샘플에 기반하여 도출되는 예측 샘플에 대해 필터링을 수행하지 않을 수 있다.
예 3) 참조 샘플의 픽셀 값에 기반하여 참조 샘플 및/또는 예측 샘플에 대한 필터링의 수행 여부를 결정한다. 이때, 참조 샘플들의 픽셀 값들의 평균, 분산, 샘플 값이 서로 동일한지 등에 기반하여 측정되는 픽셀 값의 유사도 등을 이용할 수 있다.
예를 들어, 참조 샘플들에 대해 필터를 적용하는 경우, 픽셀 값이 서로 유사하거나 동일한 참조 샘플들에 대해 필터링을 수행하지 않을 수 있다.
예를 들어, 예측 샘플들에 대해 필터를 적용하는 경우, 픽셀 값이 서로 유사하거나 동일한 참조 샘플들에 기반하여 도출되는 예측 샘플들에 대해 필터링을 수행하지 않을 수 있다.
예 4) 참조 샘플이 속하는 블록의 부호화 파라미터에 기반하여 참조 샘플 및/또는 예측 샘플에 대한 필터링의 수행 여부를 결정한다. 이때, 인트라 예측 모드(intra prediction mode), MPM (Most Probable Mode) 플래그, 인터 예측 모드(inter prediction mode), 움직임 벡터(motion vector), 참조 픽쳐 인덱스(reference picture index), 양자화 매개변수(quantization parameter), 부호화 블록 플래그(coded block flag), 부호화 대상 블록이 인트라 예측 모드로 부호화되었는지 인터 예측 모드로 부호화되었는지를 나타내는 부호화 모드(coding mode) 등과 같은 부호화 파라미터들 중에서 적어도 하나 이상을 이용할 수 있다.
예를 들어, 참조 샘플에 대해 필터를 적용하는 경우, 인트라 예측 모드로 부호화되지 않은 블록에 속하는 샘플에 해당하여 인트라 예측 모드로 부호화된 블록에 속하는 샘플로 대체되는 참조 샘플에 대해 필터링을 수행하지 않을 수 있다.
예를 들어, 예측 샘플에 대해 필터를 적용하는 경우, 인트라 예측 모드로 부호화되지 않은 블록에 속하는 샘플에 해당하여 인트라 예측 모드로 부호화된 블록에 속하는 샘플로 대체되는 참조 샘플에 기반하여 도출되는 예측 샘플에 대해 필터링을 수행하지 않을 수 있다.
한편, Intra_Vertical 예측 모드, Intra_Horizontal 예측 모드, Intra_DC 예측 모드와 같은 특정 인트라 모드의 경우, 상술한 바와 같이, 예측 샘플들 중에서 부호화 대상 블록의 경계에 해당하는 예측 샘플들에 대해서만 필터를 적용할 수 있다. 상기 경우에도, [1] CIP 모드의 사용 여부, [2] 참조 샘플이 속하는 블록의 이용 가능 여부, [3] 참조 샘플의 픽셀 값, [4] 참조 샘플이 속하는 블록의 부호화 파라미터 등에 기반하여 예측 샘플들 중에서 부호화 대상 블록의 경계에 해당하는 예측 샘플들에 대한 필터링의 수행 여부를 적응적으로 결정할 수 있다. 다시 도 4를 참조하면, [0...5, 0], [0, 4...7]의 위치를 가지는 예측 샘플(410, 420)에 대해 필터링을 수행하지 않을 수 있다.
도 5는 제한된 인트라 예측 모드로 부호화된 블록에 대한 인-루프 필터링을 수행하는 방법을 나타낸 흐름도이다.
이하, 설명의 편의를 위해, 인-루프 필터링을 디블록킹 필터링의 예를 들어 설명하기로 한다. 그러나, 본 발명은 디블록킹 필터링에만 적용될 수 있는 것이 아니고, 비-디블록킹 필터링, SAO(Sample Adaptive Offset) 보상 또는 적응적 루프 필터(Adaptive Loop Filter: ALF)에도 적용될 수 있다.
부호화기는 필터링 대상 경계를 판별한다(S510). 일반적으로, 영상의 분할 단위의 경계가 필터링 대상 경계로 판단된다. 예를 들어 부호화 유닛(Coding Unit: CU)의 경계, 예측 유닛(Prediction Unit: PU)의 경계, 변환 유닛(Transform Unit: TU)의 경계가 필터링 대상 경계로 판단될 수 있다. 따라서, 필터링 대상 경계의 판별은 부호화 유닛(Coding Unit: CU), LCU(Largest Coding Unit), 슬라이스(slice) 단위 또는 픽쳐(picture) 단위로 수행된다.
부호화기는 필터링 경계 판별 단계(S510)를 통해 결정된 필터링 대상 경계의 주변 픽셀 값과 필터링 강도 중 적어도 하나 이상에 기반하여 필터링의 수행 여부 및 필터의 종류를 결정한다(S520). 예를 들어, 필터링 대상 경계의 주변 픽셀 값에 기반하여, 필터링 대상 경계가 변환(transform) 및 양자화(quantization)로 인한 블록킹 현상(blocking artifact)인지 아니면 픽쳐 내에 존재하는 실제 에지(edge)인지를 판별하고, 필터링의 수행 여부를 결정할 수 있다. 예를 들어, 필터 강도는 저역 통과 필터(low pass filter)의 입력 샘플 수를 나타내는 탭 크기(tap size), 저역 통과 필터의 계수(coefficient) 등을 나타낼 수 있다.
부호화기는 필터링 대상 경계 판별 단계(S510), 필터링의 수행 여부 및 필터의 종류 결정 단계(S520)를 통해 결정된 필터링 대상 경계 및 필터의 종류에 기반하여 필터링을 수행한다. 이때, 블록 사이의 경계의 부드러운 처리를 위해 필터링 대상 경계의 주변 픽셀 값의 변화량 등에 따라 저역 통과 필터를 사용하거나, 원래의 영상과의 왜곡을 최소화하기 위해 위너 필터(Wiener filter)를 적용할 수 있다. 또한, 필터링 대상 경계에 따라 1차원 필터 또는 2차원 이상의 다차원 필터를 적용할 수 있다. 예를 들어, 사각형, 원형, 직사각형 등의 필터의 모양(shape), 수평 대칭, 수직 대칭, 대각석 대칭 등의 필터 계수의 구조(structure)를 가지는 2차원 이상의 다차원 필터를 적용할 수 있다. 또한, 필터링의 수행 여부 및 필터의 종류 결정 단계(S520)를 통해 결정된 필터링 강도에 기반하여, 다양한 필터를 적용할 수 있다.
다시 도 3을 참조하면, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터를 판별한다(S320).
영상 부호화기는 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 필터링의 수행 여부 및 필터의 종류를 결정할 수 있다. 이때, 인트라 예측 모드(intra prediction mode), 인터 예측 모드(inter prediction mode), 움직임 벡터(motion vector), 참조 픽쳐 인덱스(reference picture index), 양자화 매개변수(quantization parameter), 부호화 블록 플래그(coded block flag), 부호화 대상 블록이 인트라 예측 모드로 부호화되었는지 인터 예측 모드로 부호화되었는지를 나타내는 부호화 모드(coding mode) 등과 같은 부호화 파라미터들 중에서 적어도 하나 이상을 이용할 수 있다.
예를 들어, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 블록이 인트라 예측 모드로 부호화되었는지 또는 인터 예측 모드로 부호화되었는지를 판별할 수 있다. 이때, 어떤 블록이 인트라 예측 모드로 부호화되었다면, 해당 블록을 인트라 모드로 부호화되었다고 하거나, 인트라 부호화되었다고 할 수 있다. 마찬가지로, 어떤 블록이 인터 예측 모드로 부호화되었다면, 해당 블록을 인터 모드로 부호화되었다고 하거나 인터 부호화되었다고 할 수 있다.
예를 들어, 필터링 대상 경계의 양측에 위치하는 블록이 인터 예측 모드로 부호화된 경우, 영상 부호화기는 부호화 블록 플래그(Coded Block Flag: CBF), 스킵 모드(skip mode)와 같은 잔차 신호(residual signal)에 대한 변환 계수의 존재 여부를 판별하고, 이에 기반하여 디블록킹 필터의 처리 방법을 다르게 할 수 있다.
예를 들어, 필터링 대상 경계의 양측에 위치하는 블록이 PCM(Pulse Coded Modulation) 모드로 부호화된 경우, 영상 부호화기는 해당 블록을 인트라 예측 모드로 부호화되었다고 판별할 수 있다.
또한, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터와 함께 필터링 대상 경계의 주변 픽셀 값에 기반하여 필터링의 수행 여부 및 필터의 종류를 결정할 수 있다. 이때, 필터링 대상 경계의 주변 픽셀 값들의 차이(difference), 기울기(gradient), 분산(variance), 평균(average) 등을 이용할 수 있다.
영상 부호화기는 CIP 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 인-루프 필터의 적용 여부를 결정한다.
CIP 모드가 사용되지 않는 경우, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플에 대해 필터링을 수행한다(S330).
CIP 모드가 사용되고, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인트라 예측 모드로 부호화된 블록임을 나타내는 경우, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 필터링을 수행한다(S331).
도 6은 필터링 대상 경계의 양측에 위치하는 블록이 모두 인트라 예측 모드로 부호화된 일 예를 나타낸다. 양측 블록이 모두 인트라 부호화된 경우, 양측 블륵에 속하는 샘플들은 에러가 발생할 수 있는 인터 예측 모드로 부호화된 블록으로부터 아무런 영향을 받지 않는다. 따라서, constrained_intra_pred_flag가 1이고, 필터링 대상 경계의 양측에 위치하는 블록이 모두 인트라 예측 모드로 부호화된 경우, 필터링 대상 경계에 대해 디블록킹 필터링을 수행할 수 있다.
CIP 모드가 사용되고, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용하지 않을 수 있다(S333[1]).
도 7은 필터링 대상 경계의 양측에 위치하는 블록이 모두 인터 예측 모드로 부호화된 일 예를 나타낸다. 양측 블록이 모두 인터 부호화(머지 모드, 스킵 모드, PU_2Nx2N/PU_2NxN/PU_Nx2N/PU_NxN 모드)된 경우, 양측 블록에 속하는 샘플들에 에러가 발생할 수 있다. 따라서, constrained_intra_pred_flag가 1이고, 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터가 모두 인터 예측 모드인 경우, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플에 대해 필터링을 수행하지 않을 수 있다.
또한, constrained_intra_pred_flag가 1이고, 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터가 모두 인터 예측 모드인 경우, 영상 부호화기는 필터링을 수행하지 않은 것과 같이 필터링 강도를 '0'으로 결정할 수도 있다. 수학식 11은 필터링 강도를 '0'으로 결정하는 일 예를 나타낸다.
수학식 11
Figure PCTKR2012003540-appb-M000011
여기서, bS는 필터링 강도, filterDir는 1차원 필터의 적용 방향(수직/수평), xEk와 yEj는 필터링 대상 경계의 위치를 나타낸다.
또한, constrained_intra_pred_flag가 1이고, 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터가 모두 인터 예측 모드인 경우, 양측 블록에 속하는 샘플들에 에러가 발생할 수 있지만, 해당 샘플들에 디블록킹 필터링을 수행함으로써 발생되는 문제는 아니라고 볼 수도 있다. 따라서, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플에 대해 필터링을 수행할 수도 있다(S333[2]).
CIP 모드가 사용되고, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플들 중 인터 예측 모드로 부호화된 블록에 속하는 샘플들에 대해서만 필터링을 수행할 수 있다(S332[1]).
도 8 및 도 9는 필터링 대상 경계의 양측에 위치하는 블록이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 일 예를 나타낸다. 필터링 대상 경계의 양측에 인트라 예측 모드로 부호화된 블록과 인터 예측 모드로 부호화된 블록이 위치하는 경우, 인터 예측 모드로 부호화된 블록에 속하는 복원된 샘플에 발생한 에러가 인트라 예측 모드로 부호화된 블록에 속하는 복원된 샘플에 영향을 줄 수 있다. 따라서. 필터링 대상 경계 양측 샘플들 중 인트라 예측 모드로 부호화된 블록에 속하는 샘플들에 대해 필터링을 수행하지 않고, 필터링 대상 경계 양측 샘플들 중 인터 예측 모드로 부호화된 블록에 속하는 샘플들에 대해서만 필터링을 수행함으로써, 에러의 전파를 방지할 수 있다.
필터링 대상 경계 양측 샘플들 중 인터 예측 모드로 부호화된 블록에 속하는 샘플들에 대해서만 필터링을 수행하는 경우, 다음과 같은 디블록킹 필터링 과정이 수행된다.
<휘도(luma) 샘플에 대한 디블록킹 필터링 수행 과정 1>
- 입력
(1) 샘플 값: pi, qi (i = 0...3)
(2) p1과 q1 각각의 샘플들에 대한 필터 적용 여부: dEp1, dEq1
(3) 필터를 적용하기 위한 임계치: tc
- 출력
(1) 필터링된 샘플 수: nDp, nDq
(2) 필터링된 샘플 값: pi', qj'(i = 0...nDp -1, j = 0...nDq - 1)
- [1] pi가 I_PCM 블록의 샘플이 아니거나, pcm_loop_filter_disable_flag가 0이고, [2] pi가 인터 예측 모드로 부호화된 블록에 속하고, [3] qi가 인트라 예측 모드로 부호화된 블록에 속하고, [4] dE가 2인 경우, nDp를 3으로 하고 pi에 다음과 같은 강한 필터를 적용한다.
수학식 12
Figure PCTKR2012003540-appb-M000012
수학식 13
Figure PCTKR2012003540-appb-M000013
수학식 14
Figure PCTKR2012003540-appb-M000014
여기서, Clip3(a, b, c)는 a와 b의 범위 내로 c를 클립핑(clipping)하는 것을 나타낸다.
- [1] pi가 I_PCM 블록의 샘플이 아니거나, pcm_loop_filter_disable_flag가 0이고, [2] pi가 인터 예측 모드로 부호화된 블록에 속하고, [3] qi가 인트라 예측 모드로 부호화된 블록에 속하고, [4] dE가 2가 아닌 경우, nDp를 1로 하고 pi에 약한 필터를 적용한다.
수학식 15
Figure PCTKR2012003540-appb-M000015
abs(Δ)가 tc*10보다 작으면, 다음과 같은 단계가 적용된다.
(1) p0'가 다음과 같이 구해진다.
수학식 16
Figure PCTKR2012003540-appb-M000016
수학식 17
Figure PCTKR2012003540-appb-M000017
여기서, Clip1Y(x)는 수학식 18과 같이 정의된다.
수학식 18
Figure PCTKR2012003540-appb-M000018
여기서, BitDepthY는 휘도 성분의 비트 깊이(bit depth)를 나타낸다.
(2) dEp1이 1이면, pi'가 다음과 같이 구해진다.
수학식 19
Figure PCTKR2012003540-appb-M000019
수학식 20
Figure PCTKR2012003540-appb-M000020
(3) nDp 는 dEp1+1이 된다.
- [1] qi가 I_PCM 블록의 샘플이 아니거나, pcm_loop_filter_disable_flag가 0이고, [2] qi가 인터 예측 모드로 부호화된 블록에 속하고, [3] pi가 인트라 예측 모드로 부호화된 블록에 속하고, [4] dE가 2인 경우, nDq를 3으로 하고 qi에 다음과 같은 강한 필터를 적용한다.
수학식 21
Figure PCTKR2012003540-appb-M000021
수학식 22
Figure PCTKR2012003540-appb-M000022
수학식 23
Figure PCTKR2012003540-appb-M000023
여기서, Clip3(a, b, c)는 a와 b의 범위 내로 c를 클립핑(clipping)하는 것을 나타낸다.
- [1] qi가 I_PCM 블록의 샘플이 아니거나, pcm_loop_filter_disable_flag가 0이고, [2] qi가 인터 예측 모드로 부호화된 블록에 속하고, [3] pi가 인트라 예측 모드로 부호화된 블록에 속하고, [4] dE가 2가 아닌 경우, nDq를 1로 하고 qi에 약한 필터를 적용한다.
수학식 24
Figure PCTKR2012003540-appb-M000024
abs(Δ)가 tc*10보다 작으면, 다음과 같은 단계가 적용된다.
(1) q0'가 다음과 같이 구해진다.
수학식 25
Figure PCTKR2012003540-appb-M000025
수학식 26
Figure PCTKR2012003540-appb-M000026
여기서, Clip1Y(x)는 수학식 27과 같이 정의된다.
수학식 27
Figure PCTKR2012003540-appb-M000027
여기서, BitDepthY는 휘도 성분의 비트 깊이(bit depth)를 나타낸다.
(2) dEq1이 1이면, qi'가 다음과 같이 구해진다.
수학식 28
Figure PCTKR2012003540-appb-M000028
수학식 29
Figure PCTKR2012003540-appb-M000029
(3) nDq 는 dEq1+1이 된다.
한편, 휘도(luma) 샘플에 대해 디블록킹 필터링을 다음과 같이 수행할 수도 있다.
<휘도(luma) 샘플에 대한 디블록킹 필터링 수행 과정 2>
- 입력
(1) 샘플 값: pi, qi (i = 0...3)
(2) p1과 q1 각각의 샘플들에 대한 필터 적용 여부: dEp1, dEq1
(3) 필터를 적용하기 위한 임계치: tc
- 출력
(1) 필터링된 샘플 수: nDp, nDq
(2) 필터링된 샘플 값: pi', qj'(i = 0...nDp -1, j = 0...nDq - 1)
- dE가 2이면, nDp 와 nDq를 3으로 하고, 강한 필터를 적용한다.
수학식 30
Figure PCTKR2012003540-appb-M000030
수학식 31
Figure PCTKR2012003540-appb-M000031
수학식 32
Figure PCTKR2012003540-appb-M000032
수학식 33
Figure PCTKR2012003540-appb-M000033
수학식 34
Figure PCTKR2012003540-appb-M000034
수학식 35
Figure PCTKR2012003540-appb-M000035
여기서, Clip3(a, b, c)는 a와 b의 범위 내로 c를 클립핑(clipping)하는 것을 나타낸다.
- dE가 2가 아니면, nDp 와 nDq를 1로 하고 약한 필터를 적용한다.
수학식 36
Figure PCTKR2012003540-appb-M000036
abs(Δ)가 tc*10보다 작으면, 다음과 같은 단계가 적용된다.
(1) p0' 와 q0'가 다음과 같이 구해진다.
수학식 37
Figure PCTKR2012003540-appb-M000037
수학식 38
Figure PCTKR2012003540-appb-M000038
수학식 39
Figure PCTKR2012003540-appb-M000039
여기서, Clip1Y(x)는 수학식 40과 같이 정의된다.
수학식 40
Figure PCTKR2012003540-appb-M000040
여기서, BitDepthY는 휘도 성분의 비트 깊이(bit depth)를 나타낸다.
(2) dEp1이 1이면, pi'가 다음과 같이 구해진다.
수학식 41
Figure PCTKR2012003540-appb-M000041
수학식 42
Figure PCTKR2012003540-appb-M000042
(3) dEq1이 1이면, qi'가 다음과 같이 구해진다.
수학식 43
Figure PCTKR2012003540-appb-M000043
수학식 44
Figure PCTKR2012003540-appb-M000044
(4) nDp는 dEp1+1이 되고, nDq는 dEq1+1이 된다.
- 다음의 두 조건 중 적어도 하나 이상을 만족하는 경우, pi'(i = 0...nDp-1)는 입력 샘플 pi로 변경된다.
(1) pi가 I_PCM 블록의 샘플이고, pcm_loop_filter_disable_flag가 1이다.
(2) pi는 인트라 예측 모드로 부호화된 블록에 속하고, qi는 인터 예측 모드로 부호화된 블록에 속한다.
- 다음의 두 조건 중 적어도 하나 이상을 만족하는 경우, qj' (j = 0...nDq-1) 는 입력 샘플 qj로 변경된다.
(1) qj가 I_PCM 블록의 샘플이고, pcm_loop_filter_disable_flag가 1이다.
(2) qj는 인트라 예측 모드로 부호화된 블록에 속하고, pj는 인터 예측 모드로 부호화된 블록에 속한다.
한편, 색차(chroma) 샘플에 대해 디블록킹 필터링을 다음과 같이 수행할 수 있다.
<색차(chroma) 샘플에 대한 디블록킹 필터링 수행 과정 1>
- 입력
(1) 샘플 값: pi, qi (i = 0, 1)
(2) 필터를 적용하기 위한 임계치: tc
- 출력
(1) 필터링된 샘플 값: p0', q0'
- [1] pi가 I_PCM 블록의 샘플이 아니거나, pcm_loop_filter_disable_flag가 0이고, [2] pi가 인터 예측 모드로 부호화된 블록에 속하고, [3] qi가 인트라 예측 모드로 부호화된 블록에 속하는 경우, 다음과 같은 필터를 적용한다.
수학식 45
Figure PCTKR2012003540-appb-M000045
수학식 46
Figure PCTKR2012003540-appb-M000046
- [1] qi가 I_PCM 블록의 샘플이 아니거나, pcm_loop_filter_disable_flag가 0이고, [2] qi가 인터 예측 모드로 부호화된 블록에 속하고, [3] pi가 인트라 예측 모드로 부호화된 블록에 속하는 경우, 다음과 같은 필터를 적용한다.
수학식 47
Figure PCTKR2012003540-appb-M000047
수학식 48
Figure PCTKR2012003540-appb-M000048
한편, 색차(chroma) 샘플에 대해 디블록킹 필터링을 다음과 같이 수행할 수도 있다.
<색차(chroma) 샘플에 대한 디블록킹 필터링 수행 과정 2>
- 입력
(1) 샘플 값: pi, qi (i = 0, 1)
(2) 필터를 적용하기 위한 임계치: tc
- 출력
(1) 필터링된 샘플 값: p0', q0'
- 다음의 필터를 적용한다.
수학식 49
Figure PCTKR2012003540-appb-M000049
수학식 50
Figure PCTKR2012003540-appb-M000050
수학식 51
Figure PCTKR2012003540-appb-M000051
- 다음의 두 조건 중 적어도 하나 이상을 만족하는 경우, p0'는 입력 샘플 p0로 변경된다.
(1) p0가 I_PCM 블록의 샘플이고, pcm_loop_filter_disable_flag가 1이다.
(2) p0는 인트라 예측 모드로 부호화된 블록에 속하고, q0는 인터 예측 모드로 부호화된 블록에 속한다.
- 다음의 두 조건 중 적어도 하나 이상을 만족하는 경우, q0'는 입력 샘플 q0로 변경된다.
(1) q0가 I_PCM 블록의 샘플이고, pcm_loop_filter_disable_flag가 1이다.
(2) q0는 인트라 예측 모드로 부호화된 블록에 속하고, p0는 인터 예측 모드로 부호화된 블록에 속한다.
한편, CIP 모드가 사용되고, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플에 대해 필터링을 수행하지 않을 수 있다(S332[2]).
예를 들어, 필터링 대상 경계의 양측에 위치하는 블록들 중 하나의 블록이 인트라 예측 모드(PU_2Nx2N 또는 PU_NxN)로 부호화된 경우, 필터링 강도를 결정하지 않고, 필터링을 수행하지 않을 수 있다.
또한, CIP 모드가 사용되고, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 영상 부호화기는 필터링을 수행하지 않은 것과 같이 필터링 강도를 '0'으로 결정할 수도 있다. 수학식 52는 필터링 강도를 '0'으로 결정하는 일 예를 나타낸다.
수학식 52
Figure PCTKR2012003540-appb-M000052
여기서, bS는 필터링 강도, filterDir는 1차원 필터의 적용 방향(수직/수평), xEk와 yEj는 필터링 대상 경계의 위치를 나타낸다.
한편, 필터링 대상 블록이 I_PCM 블록이고, pcm_loop_filter_disable_flag가 '1'이면, 디블록킹 필터링을 수행하지 않는다. 여기서, I_PCM 블록은 필터링 대상 블록이 압축되지 않은 원본 샘플을 이용하는 PCM 모드로 부호화된 블록임을 의미하고, pcm_loop_filter_disable_flag는 I_PCM 블록의 복원된 픽셀에 루프 필터 과정이 수행되는지를 나타내기 위한 플래그이다. 따라서, 필터링 대상 블록이 I_PCM 블록인 경우도 포함하여, 필터링의 수행 여부를 결정할 수 있다.
도 10은 CIP 모드 및 PCM 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반한 디블록킹 필터링을 수행하는 방법을 나타낸 흐름도이다.
CIP 모드가 사용되는 경우, 즉 constrained_intra_pred_flag가 '1'인 경우, 필터링 대상 경계의 양측에 위치하는 블록 P와 Q의 부호화 모드를 판별한다.
필터링 대상 경계의 양측에 위치하는 블록이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 경우, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 샘플들 중 인트라 예측 모드로 부호화된 블록에 속하는 샘플들에 대해 필터링을 수행하지 않는다.
필터링 대상 경계의 양측에 위치하는 블록이 모두 인트라 예측 모드로 부호화된 경우, 또는 필터링 대상 경계의 양측에 위치하는 블록이 모두 인터 예측 모드로 부호화된 경우, 영상 부호화기는 pcm_loop_filter_disable_flag를 판별한다.
pcm_loop_filter_disable_flag가 '1'인 경우, 필터링 대상 경계의 양측에 위치하는 블록 P와 Q가 각각 I_PCM 블록인지 판별하고, I_PCM 블록인 블록에 대해 필러링을 수행하지 않는다.
CIP 모드가 사용되지 않는 경우, 즉 constrained_intra_pred_flag가 '0'인 경우, 영상 부호화기는 pcm_loop_filter_disable_flag를 판별한다.
pcm_loop_filter_disable_flag가 '1'인 경우, 필터링 대상 경계의 양측에 위치하는 블록 P와 Q가 각각 I_PCM 블록인지 판별하고, I_PCM 블록인 블록에 대해 필러링을 수행하지 않는다.
도 11은 본 발명의 일 실시예에 따른 인-루프 필터링 방법(복호화)을 나타낸 흐름도이다.
복호화기는 부호화기와 동일한 방법으로 인-루프 필터링의 수행 여부를 결정할 수 있다. 즉, 영상 복호화기는 CIP 모드의 사용 여부를 판별한다(S1110).
CIP 모드가 사용되는 경우, 영상 복호화기는 복호화 대상 블록의 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들을 판별한다(S1120).
영상 복호화기는 CIP 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록의 복호화 파라미터에 기반하여 인-루프 필터의 적용 여부를 결정한다.
예를 들어, CIP 모드가 사용되지 않는 경우, 영상 복호화기는 필터링 대상 경계의 양측에 위치하는 샘플에 대해 필터링을 수행한다(S1130).
예를 들어, CIP 모드가 사용되고 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인트라 예측 모드로 복호화된 블록임을 나타내는 경우, 영상 복호화기는 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 필터링을 수행한다(S1131).
예를 들어, CIP 모드가 사용되고 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 영상 복호화기는 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 디블록킹 필터를 적용하지 않을 수 있다(S1133[1]).
예를 들어, CIP 모드가 사용되고 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 영상 복호화기는 필터링 대상 경계의 양측에 위치하는 샘플에 대해 필터링을 수행할 수도 있다(S1133[2]).
예를 들어, CIP 모드가 사용되고 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 영상 복호화기는 필터링 대상 경계의 양측에 위치하는 샘플들 중 인터 예측 모드로 복호화된 블록에 속하는 샘플들에 대해서만 필터링을 수행할 수 있다(S1132[1]).
예를 들어, CIP 모드가 사용되고 필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내는 경우, 영상 복호화기는 필터링 대상 경계의 양측에 위치하는 샘플에 대해 필터링을 수행하지 않을 수 있다(S1132[2]).
도 12는 본 발명의 일 실시예에 따른 영상 부호화 방법을 나타낸 흐름도이다.
영상 부호화기는 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링한다(S1210). 여기서, 제한된 인-루프 필터는 CIP 모드의 사용 여부와 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 적용되는 인-루프 필터를 의미하고, 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링한다는 것은 부호화기(encoder)에서 제한된 인-루프 필터의 사용 여부를 나타내는 플래그(flag)와 같은 지시자(indicator)를 비트스트림(bitstram)에 삽입하고, 복호화기(decoder)에서 파싱(parsing)하는 것을 의미한다.
제한된 인-루프 필터가 사용되는 경우, [1] 필터링 대상 경계의 양측에 위치하는 샘플들 중 인터 예측 모드로 부호화된 블록에 속하는 샘플들에 대해서만 필터링을 수행하거나, [2] 필터링 대상 경계의 양측에 위치하는 샘플들에 필터링을 수행하지 않거나, [3] 필터링 대상 경계의 양측에 위치하는 샘플들에 필터링을 수행할 수 있다.
예를 들어, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들 중 인터 예측 모드로 부호화된 블록에 속하는 샘플들에 대해서만 필터링을 수행할 수 있다.
예를 들어, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인터 예측 모드로 부호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 필터링을 수행하지 않을 수 있다.
예를 들어, 필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들이 필터링 대상 경계의 양측에 위치하는 블록들이 모두 인트라 예측 모드로 부호화된 블록임을 나타내는 경우, 필터링 대상 경계의 양측에 위치하는 샘플들에 대해 필터링을 수행할 수 있다.
부호화기는 상기 예들 중 적어도 하나 이상이 적용됨을 나타내는 정보, 즉 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링할 수 있다. 이때, 시그널링은 부호화 유닛(Coding Unit: CU), 예측 유닛(Prediction Unit: PU), 변환 유닛(Transform Unit: TU), LCU(Largest Coding Unit), 슬라이스(slice) 단위 또는 픽쳐(picture) 단위로 수행될 수 있다.
예를 들어, 제한된 인-루프 필터의 사용 여부를 나타내는 정보를 PPS를 통해 시그널링하는 경우, 표 3과 같이 constrained_in_loop_filter_flag를 전송할 수 있다.
표 3
Figure PCTKR2012003540-appb-T000003
이때, constrained_in_loop_filter_flag가 '1'인 경우, 제한된 인-루프 필터를 사용하고, constrained_in_loop_filter_flag가 '0'인 경우, 제한된 인-루프 필터를 사용하지 않을 수 있다.
한편, 영상 부호화기는 CIP 모드의 사용 여부에 기반하여 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링할 것인지 결정할 수 있다.
예를 들어, CIP 모드가 사용되는 경우(constrained_intra_pred_flag = 1), 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링하고, CIP 모드가 사용되지 않는 경우(constrained_intra_pred_flag = 0), 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링하지 않을 수 있다.
또한, 영상 부호화기는 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링할 것인지 결정할 수 있다.
예를 들어, 필터링 대상 경계의 양측에 위치하는 블록들 중에서 하나 이상의 블록이 인터 예측 모드로 부호화된 경우, 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링할 수 있다.
표 4는 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 시그널링할 것인지 결정하는 일 예를 나타낸다.
표 4
Figure PCTKR2012003540-appb-T000004
또한, 영상 부호화기는 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 기본적으로 시그널링할 수도 있다.
영상 부호화기는 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터를 판별한다(S1220). 이때, 영상 부호화기는 도 3의 "필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터를 판별하는 단계(S320)"와 같은 방법으로 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터를 판별할 수 있다.
영상 부호화기는 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보 및 필터링 대상 경계의 양측에 위치하는 블록의 부호화 파라미터에 기반하여 인-루프 필터의 적용 여부를 결정한다(S1230).
도 13은 본 발명의 일 실시예에 따른 영상 복호화 방법을 나타낸 흐름도이다.
복호화기는 부호화기와 상응하는 방법으로 제한된 인-루프 필터의 사용 여부를 결정할 수 있다. 즉, 영상 복호화기는 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보를 파싱한다(S1310).
영상 복호화기는 필터링 대상 경계의 양측에 위치하는 블록의 복호화 파라미터를 판별한다(S1320).
영상 복호화기는 제한된 인-루프 필터의 사용 여부를 판별하기 위한 정보 및 필터링 대상 경계의 양측에 위치하는 블록의 복호화 파라미터에 기반하여 인-루프 필터의 적용 여부를 결정한다(S1330).
상술한 단계들의 순서에 한정되는 것은 아니며, 일부의 단계는 다른 단계와, 다른 순서 또는 동시에 발생할 수 있다. 또한, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 순서도에 나타낸 단계들은 배타적이지 않으며, 다른 단계가 포함되거나, 일부의 단계가 삭제될 수 있음을 이해할 수 있을 것이다.
또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위해, 모든 가능한 조합을 기술할 수는 없지만, 본 발명이 속하는 기술 분야의 통상의 지식을 가진자라면 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (15)

  1. 제한된 인트라 예측(Constrained Intra Prediction: CIP) 모드의 사용 여부를 판별하는 단계;
    필터링 대상 경계의 양측에 위치하는 블록들의 부호화 파라미터들을 판별하는 단계; 및
    상기 제한된 인트라 예측 모드의 사용 여부와 상기 부호화 파라미터들에 기반하여 상기 필터링 대상 경계의 양측에 위치하는 샘플들에 대한 인-루프 필터의 적용 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  2. 제 1 항에 있어서,
    상기 인-루프 필터는 디블록킹 필터인 것을 특징으로 하는 영상 부호화 방법.
  3. 제 2 항에 있어서,
    상기 부호화 파라미터들은 상기 블록들이 모두 인터 예측 모드로 부호화된 블록임을 나타내고,
    상기 샘플들에 대해 디블록킹 필터를 적용하지 않는 것을 특징으로 하는 영상 부호화 방법.
  4. 제 2 항에 있어서,
    상기 부호화 파라미터들은 상기 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내고,
    상기 샘플들 중 인트라 예측 모드로 부호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하지 않고,
    상기 샘플들 중 인터 예측 모드로 부호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제 2 항에 있어서,
    상기 부호화 파라미터들은 상기 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 부호화된 블록임을 나타내고,
    상기 샘플들에 대해 디블록킹 필터를 적용하지 않는 것을 특징으로 하는 영상 부호화 방법.
  6. 제한된 인트라 예측(Constrained Intra Prediction: CIP) 모드의 사용 여부를 판별하는 단계;
    필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들을 판별하는 단계; 및
    상기 제한된 인트라 예측 모드의 사용 여부와 상기 복호화 파라미터들에 기반하여 상기 필터링 대상 경계의 양측에 위치하는 샘플들에 대한 인-루프 필터의 적용 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  7. 제 6 항에 있어서,
    상기 인-루프 필터는 디블록킹 필터인 것을 특징으로 하는 영상 복호화 방법.
  8. 제 7 항에 있어서,
    상기 복호화 파라미터들은 상기 블록들이 모두 인트라 예측 모드로 복호화된 블록임을 나타내고,
    상기 샘플들에 대해 디블록킹 필터를 적용하는 것을 특징으로 하는 영상 복호화 방법.
  9. 제 7 항에 있어서,
    상기 복호화 파라미터들은 상기 블록들이 모두 인터 예측 모드로 복호화된 블록임을 나타내고,
    상기 샘플들에 대해 디블록킹 필터를 적용하지 않는 것을 특징으로 하는 영상 복호화 방법.
  10. 제 7 항에 있어서,
    상기 복호화 파라미터들은 상기 블록들이 모두 인터 예측 모드로 복호화된 블록임을 나타내고,
    상기 샘플들에 대해 디블록킹 필터를 적용하는 것을 특징으로 하는 영상 복호화 방법.
  11. 제 7 항에 있어서,
    상기 복호화 파라미터들은 상기 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내고,
    상기 샘플들 중 인트라 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하지 않고,
    상기 샘플들 중 인터 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하는 것을 특징으로 하는 영상 복호화 방법.
  12. 제 7 항에 있어서,
    상기 복호화 파라미터들은 상기 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내고,
    상기 샘플들에 대해 디블록킹 필터를 적용하지 않는 것을 특징으로 하는 영상 복호화 방법.
  13. 제한된 디블록킹 필터의 사용 여부를 나타내는 지시자를 파싱하는 단계;
    필터링 대상 경계의 양측에 위치하는 블록들의 복호화 파라미터들을 판별하는 단계; 및
    상기 지시자 및 상기 복호화 파라미터들에 기반하여 상기 필터링 대상 경계의 양측에 위치하는 샘플들에 대한 디블록킹 필터의 적용 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  14. 제 13 항에 있어서,
    상기 복호화 파라미터들은 상기 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내고,
    상기 샘플들 중 인트라 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하지 않고,
    상기 샘플들 중 인터 예측 모드로 복호화된 블록에 속하는 샘플들에 디블록킹 필터를 적용하는 것을 특징으로 하는 영상 복호화 방법.
  15. 제 13 항에 있어서,
    상기 복호화 파라미터들은 상기 블록들이 각각 인트라 예측 모드와 인터 예측 모드로 복호화된 블록임을 나타내고,
    상기 샘플들에 대해 디블록킹 필터를 적용하지 않는 것을 특징으로 하는 영상 복호화 방법.
PCT/KR2012/003540 2011-05-04 2012-05-04 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법 WO2012150849A2 (ko)

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR20110042694 2011-05-04
KR10-2011-0042694 2011-05-04
KR20110052610 2011-06-01
KR10-2011-0052610 2011-06-01
KR20110065713 2011-07-01
KR10-2011-0065713 2011-07-01
KR1020120039422A KR20120125160A (ko) 2011-05-04 2012-04-16 에러에 강인한 필터링을 이용한 영상 부호화/복호화 방법 및 그 장치
KR10-2012-0039422 2012-04-16
KR10-2012-0047758 2012-05-04
KR1020120047758A KR102014177B1 (ko) 2011-05-04 2012-05-04 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법

Publications (2)

Publication Number Publication Date
WO2012150849A2 true WO2012150849A2 (ko) 2012-11-08
WO2012150849A3 WO2012150849A3 (ko) 2013-03-21

Family

ID=47108162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/003540 WO2012150849A2 (ko) 2011-05-04 2012-05-04 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법

Country Status (2)

Country Link
KR (1) KR102014177B1 (ko)
WO (1) WO2012150849A2 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104813661A (zh) * 2012-11-26 2015-07-29 高通股份有限公司 在视频译码中跨越受约束块内边界进行环路滤波
CN105532000A (zh) * 2013-09-13 2016-04-27 佳能株式会社 用于对视频数据进行编码和解码的方法、设备和系统
CN109937571A (zh) * 2016-09-05 2019-06-25 Lg电子株式会社 图像编码/解码方法及其装置
CN109982075A (zh) * 2019-03-21 2019-07-05 南京威翔科技有限公司 一种基于fpga的帧内预测通用角度方法
WO2020027551A1 (ko) * 2018-07-30 2020-02-06 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2021187855A1 (en) * 2020-03-17 2021-09-23 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and decoding
US11330273B2 (en) * 2011-03-30 2022-05-10 Lg Electronics Inc. In-loop filtering method and apparatus for same

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9510021B2 (en) 2013-05-24 2016-11-29 Electronics And Telecommunications Research Institute Method and apparatus for filtering pixel blocks
US11323705B2 (en) 2018-03-09 2022-05-03 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus using sample filtering
EP3989586A4 (en) 2019-06-21 2023-07-19 Samsung Electronics Co., Ltd. VIDEO ENCODING METHOD AND DEVICE FOR PERFORMING POST-RECONSTRUCTION FILTERING IN LIMITED PREDICTION MODE, AND VIDEO DECODER METHOD AND DEVICE
WO2021015536A1 (ko) * 2019-07-21 2021-01-28 엘지전자 주식회사 팔레트 모드의 적용 여부에 따라 디블로킹 필터링을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021908A (ja) * 2007-07-13 2009-01-29 Fujitsu Ltd 動画像符号化装置及びプログラム
KR20110001991A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
JP2011035444A (ja) * 2009-07-29 2011-02-17 Sony Corp 画像処理装置及び画像処理方法
JP2011055219A (ja) * 2009-09-01 2011-03-17 Sony Corp 画像送信装置、画像受信装置、画像送信方法及び画像受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009021908A (ja) * 2007-07-13 2009-01-29 Fujitsu Ltd 動画像符号化装置及びプログラム
KR20110001991A (ko) * 2009-06-30 2011-01-06 삼성전자주식회사 적응적인 인루프 필터를 이용한 동영상 부호화와 복호화 장치 및 그 방법
JP2011035444A (ja) * 2009-07-29 2011-02-17 Sony Corp 画像処理装置及び画像処理方法
JP2011055219A (ja) * 2009-09-01 2011-03-17 Sony Corp 画像送信装置、画像受信装置、画像送信方法及び画像受信方法

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11758149B2 (en) 2011-03-30 2023-09-12 Lg Electronics Inc. In-loop filtering method and apparatus for same
US20220232225A1 (en) * 2011-03-30 2022-07-21 Lg Electronics Inc. In-loop filtering method and apparatus for same
US11330273B2 (en) * 2011-03-30 2022-05-10 Lg Electronics Inc. In-loop filtering method and apparatus for same
CN104813661A (zh) * 2012-11-26 2015-07-29 高通股份有限公司 在视频译码中跨越受约束块内边界进行环路滤波
CN105532000A (zh) * 2013-09-13 2016-04-27 佳能株式会社 用于对视频数据进行编码和解码的方法、设备和系统
CN109937571A (zh) * 2016-09-05 2019-06-25 Lg电子株式会社 图像编码/解码方法及其装置
US11457219B2 (en) 2016-09-05 2022-09-27 Lg Electronics Inc. Image coding/decoding method and apparatus therefor
US10979714B2 (en) 2016-09-05 2021-04-13 Lg Electronics, Inc. Image coding/decoding method and apparatus therefor
US11800103B2 (en) 2018-07-30 2023-10-24 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
KR20230022284A (ko) * 2018-07-30 2023-02-14 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210156349A (ko) * 2018-07-30 2021-12-24 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11310499B2 (en) 2018-07-30 2022-04-19 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
KR102709176B1 (ko) 2018-07-30 2024-09-25 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102341858B1 (ko) 2018-07-30 2021-12-22 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
WO2020027551A1 (ko) * 2018-07-30 2020-02-06 삼성전자 주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102499384B1 (ko) 2018-07-30 2023-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR102499383B1 (ko) 2018-07-30 2023-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210156350A (ko) * 2018-07-30 2021-12-24 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20240018689A (ko) * 2018-07-30 2024-02-13 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
KR20210027252A (ko) * 2018-07-30 2021-03-10 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US11800104B2 (en) 2018-07-30 2023-10-24 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
US11870988B2 (en) 2018-07-30 2024-01-09 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
US11882246B2 (en) 2018-07-30 2024-01-23 Samsung Electronics Co., Ltd. Method and apparatus for image encoding, and method and apparatus for image decoding
KR102633784B1 (ko) 2018-07-30 2024-02-05 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
CN109982075A (zh) * 2019-03-21 2019-07-05 南京威翔科技有限公司 一种基于fpga的帧内预测通用角度方法
WO2021187855A1 (en) * 2020-03-17 2021-09-23 Samsung Electronics Co., Ltd. Method and apparatus for video encoding and decoding

Also Published As

Publication number Publication date
WO2012150849A3 (ko) 2013-03-21
KR102014177B1 (ko) 2019-10-21
KR20120125193A (ko) 2012-11-14

Similar Documents

Publication Publication Date Title
WO2012150849A2 (ko) 에러에 강인한 인-루프 필터를 이용하는 영상 부호화/복호화 방법과 그에 관한 시그널링 방법
WO2018030599A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020009357A1 (ko) Cclm에 기반한 인트라 예측 방법 및 그 장치
WO2019164031A1 (ko) 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
WO2018066927A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018128323A1 (ko) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2018056703A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018062788A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018070742A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2017086746A1 (ko) 화면내 예측 모드 부호화/복호화 방법 및 장치
WO2018038554A1 (ko) 이차 변환을 이용한 비디오 신호의 인코딩/디코딩 방법 및 장치
WO2014003423A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2018124333A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2013157825A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2018062880A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2020096425A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020071616A1 (ko) Cclm에 기반한 인트라 예측 방법 및 그 장치
WO2018070713A1 (ko) 크로마 성분에 대한 인트라 예측 모드를 유도하는 방법 및 장치
WO2017069505A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2018105759A1 (ko) 영상 부호화/복호화 방법 및 이를 위한 장치
WO2018062950A1 (ko) 영상 처리 방법 및 이를 위한 장치
WO2017034113A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2018182184A1 (ko) 부호화 트리 유닛 및 부호화 유닛의 처리를 수행하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2019245261A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2021040458A1 (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12779755

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12779755

Country of ref document: EP

Kind code of ref document: A2