KR102138260B1 - 영상 정보 인코딩/디코딩 방법 및 장치 - Google Patents

영상 정보 인코딩/디코딩 방법 및 장치 Download PDF

Info

Publication number
KR102138260B1
KR102138260B1 KR1020197033742A KR20197033742A KR102138260B1 KR 102138260 B1 KR102138260 B1 KR 102138260B1 KR 1020197033742 A KR1020197033742 A KR 1020197033742A KR 20197033742 A KR20197033742 A KR 20197033742A KR 102138260 B1 KR102138260 B1 KR 102138260B1
Authority
KR
South Korea
Prior art keywords
filtering
target boundary
boundary
deblocking filtering
block
Prior art date
Application number
KR1020197033742A
Other languages
English (en)
Other versions
KR20190130677A (ko
Inventor
박승욱
박내리
전병문
임재현
전용준
박준영
김정선
헨드리헨드리
김철근
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20190130677A publication Critical patent/KR20190130677A/ko
Application granted granted Critical
Publication of KR102138260B1 publication Critical patent/KR102138260B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 디블록킹 필터링의 방법과 이를 위해 bS(boundary Strength)를 유도하는 방법 및 이를 이용하는 인코딩/디코딩 방법 및 장치에 관한 것으로서, 본 발명에 따른 bS 유도 방법은, 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 유도하는 단계 및 상기 디블록킹 필터링 단위 블록 내의 bS (boundary Strength) 설정 단위 블록별로 bS를 설정(set)하는 단계를 포함하며, 상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있다.

Description

영상 정보 인코딩/디코딩 방법 및 장치{METHOD AND APPARATUS FOR ENCODING/DECODING IMAGE INFORMATION}
본 발명은 영상 정보 압축 기술에 관한 것으로서, 더 구체적으로는 인-루프 필터(in-loop filter)로서 디블록킹 필터(deblocking filter)를 적용하는 방법에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 하지만, 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
예측된 영상의 처리 단위, 예컨대 블록에 대하여는 영상을 원본과 동일하게 만들기 위한 다양한 방법이 적용될 수 있다. 이를 통해 디코딩 장치는 해당 영상을 더 정확하게(원본과 더 일치하게) 디코딩할 수 있으며, 인코딩 장치는 해당 영상이 더 정확하게 복원될 수 있도록 인코딩할 수 있다.
본 발명은 디블록킹 필터링을 적용함에 있어서, 디블로킹 아티팩트를 효과적으로 제거하여 원본에 가깝게 영상을 복원하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서 복잡도를 낮추어 압축 효율을 높일 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서, bS (boundary Strength)를 결정하는 단위 블록을 효과적으로 설정하여 복잡도를 줄일 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 디블록킹 필터링을 적용함에 있어서, bS 값을 효과적으로 설정함으로써 복잡도를 줄일 수 있은 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 bS (boundary Strength) 유도 방법으로서, 디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 유도하는 단계 및 상기 디블록킹 필터링 단위 블록 내의 bS (boundary Strength) 설정 단위 블록별로 bS를 설정(set)하는 단계를 포함하며, 상기 bS 설정 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있다.
상기 bS 설정 단계에서는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고, 상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정할 수 있으며, 상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가질 수 있다.
bS가 bS1으로 설정되는 경우는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우 및 상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함할 수 있다.
상기 디블록킹 필터링 단위 블록의 경계를 유도하는 단계 및 bS 설정하는 단계는, 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들에 대하여 적용된 후에, 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수평 에지들에 대하여 적용될 수도 있다.
상기 디블록킹 필터링 단위 블록은 코딩 블록, 변환 블록, 예측 블록 및 8x8 픽셀 블록 중 어느 하나일 수 있다. 또한, 상기 bS 결정 단위 블록은 4x4 픽셀 블록일 수 있다.
본 발명의 다른 실시형태는 디블록킹 필터링 방법으로서, 대상 경계에 대하여 bS (boundary Strength) 설정 단위 블록별로 bS를 설정하는 단계 및 상기 대상 경계에 대하여 디블록킹 필터링를 적용 단위 블록별로 디블록킹 필터링을 적용하는 단계를 포함하며, 상기 bS를 설정하는 단계에서는, 상기 bS 설정 단위 블록의 경계로서 상기 디블록킹 필터링 단위 블록의 경계에 해당하는 대상 경계에 대하여 bS 값을 설정할 수 있다.
상기 bS 설정 단계에서는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩되었으면, 상기 대상 경계의 bS 값을 bS2로 설정하며, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아니며, 상기 대상 경계가 디블록킹 필터링의 적용 대상인 경우에는 상기 대상 경계의 bS 값을 bS1으로 설정하고, 상기 대상 경계가 디블록킹 필터링의 적용 대상이 아닌 경우에는, 상기 대상 경계의 bS 값을 bS0으로 설정할 수 있으며, 상기 bS0, bS1 및 bS2는 bS0 < bS1 < bS2의 관계를 가질 수 있다.
bS가 bS1으로 설정되는 경우는, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 인트라 코딩된 경우가 아닌 경우로서, 상기 대상 경계를 경계로 하는 두 블록 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우 및 상기 대상 경계를 경계로 하는 두 블록이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우를 포함할 수 있다.
상기 bS를 설정하는 단계 및 상기 디블록킹 필터링을 적용하는 단계는 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들에 대하여 적용된 후에, 상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수평 에지들에 대하여 적용될 수도 있다.
상기 대상 경계에 대하여 설정된 bS 값이 bS0보다 크고 디블록킹 필터링을 적용하는 경우에는 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정할 수 있다.
상기 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지는 상기 대상 경계를 경계로 하는 두 블록의 샘플들을 기반으로 결정할 수 있으며, 상기 대상 경계가 수직 에지인 경우에는 상기 대상 경계를 경계로 하는 샘플 행들의 샘플들 중 디블록킹 필터링의 대상이 되는 샘플들에 기반하여, 상기 대상 경계가 수평 에지인 경우에는 상기 대상 경계를 경계로 하는 샘플 열들의 샘플들 중 디블록킹 필터링의 대상이 되는 샘플들에 기반하여, 상기 강한 필터링을 적용할 것인지 약한 필터링을 적용할 것인지를 결정할 수 있다.
약한 필터링을 적용하는 것으로 결정된 경우에는, 디블록킹 필터링의 대상이 되는 샘플들 중 소정의 샘플들에만 필터링을 적용할 수도 있다.
상기 디블록킹 필터링 단위 블록은 코딩 블록, 변환 블록, 예측 블록 및 8x8 픽셀 블록 중 어느 하나일 수 있다. 또한, 상기 bS 결정 단위 블록은 4x4 픽셀 블록일 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서 디블로킹 아티팩트를 효과적으로 제거하여 원본에 가깝게 영상을 복원할 수 있다.
본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서 복잡도를 낮추어 압축 효율을 높일 수 있다.
예컨대, 본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서, bS (boundary Strength)를 결정하는 단위 블록을 효과적으로 설정하여 복잡도를 줄일 수 있다. 또한, 본 발명에 의하면, 디블록킹 필터링을 적용함에 있어서, bS 값을 효과적으로 설정함으로써 복잡도를 줄일 수도 있다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 본 발명에 따라서 디블록킹 필터를 적용하는 방법을 개략적으로 설명하는 순서도이다.
도 4는 본 발명에 따른 디블록킹 필터링의 진행 방식을 개략적으로 설명하는 도면이다.
도 5는 bS를 구하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 6은 디블록킹 필터링의 단위 블록이 8x8 픽셀 블록이고, bS 결정의 단위 블록이 4x4 픽셀 블록인 경우에, 디블록킹 필터링의 대상 경계를 설명하는 도면이다.
도 7은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 8은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 9는 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 10은 bS를 구하는 방법의 또 다른 예를 개략적으로 설명하는 순서도이다.
도 11은 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 일 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 12는 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 다른 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 13은 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 14는 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다.
도 15 및 도 16은 대표 bS를 결정하는 방법의 예들을 개략적으로 설명하는 순서도이다.
도 17은 본 발명에 따라서, 영상을 인코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 18은 본 발명에 따라서 영상을 디코딩하는 방법을 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 영상 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 인코딩 장치(영상 부호화 장치)를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU와 동일한 크기의 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다. 예컨대 휘도 샘플에 대해서는 1/4 픽셀 단위로, 색차 샘플에 대해서는 1/8 픽셀 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다. 변환부(115)에서의 변환 단위는 TU일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다. 이때, 변환 단위의 크기는 소정의 최대 및 최소 크기의 범위 내에서 정해질 수 있다. 변환부(115)는 레지듀얼 블록을 DCT(Discrete Cosine Transform) 및/또는 DST(Discrete Sine Transform)를 이용하여 변환할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들을 양자화하여 양자화 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화 계수를 재정렬한다. 양자화 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다. 재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화 계수들을 1차원의 벡터 형태로 재정렬할 수 있다. 재정렬부(125)에서는 양자화부에서 전송된 계수들의 확률적인 통계를 기반으로 계수 스캔닝의 순서를 변경함으로써 엔트로피 인코딩부(130)에서의 엔트로피 인코딩 효율을 높일 수도 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다. 역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 영상 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
영상 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 영상 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 영상 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값은 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림을 영상 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다. 재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 인코딩 장치에서 수행된 계수 스캐닝에 관련된 정보를 제공받고 인코딩 장치에서 수행된 스캐닝 순서에 기초하여 역으로 스캐닝하는 방법을 통해 재정렬을 수행할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 영상 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 영상 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
한편, 상술한 바와 같이, 인코딩 장치 및 디코딩 장치의 필터부는 인-루프(in-loop) 필터로서 디블록킹 필터(deblocking filter), ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 적용할 수 있다.
디블록킹 필터는 블록 단위의 예측, 변환, 양자화에 따른 블록 간의 아티팩트(artifacts)를 제거한다. 디블록킹 필터는 예측 유닛 에지(edge) 또는 변환 유닛 에지에 적용되며, 디블록킹 필터를 적용하기 위한 소정의 최저 블록 사이즈를 설정할 수 있다.
디블록킹 필터를 적용하기 위해서, 우선 수평 혹은 수직 필터 경계(boundary)의 BS(Boundary Strength)를 결정한다. BS를 기반으로 필터링을 수행할 것인지를 블록 단위로 결정한다. 필터링을 수행하기로 결정하면, 어떤 필터를 적용할 것인지를 정한다. 적용할 필터는 위크 필터(weak filter)와 스트롱 필터(strong filter) 중에서 선택될 수 있다. 필터링부는 선택된 필터를 해당 블록의 경계에 적용한다.
ALF(Adaptive Loop Filter)는 후술하는 SAO를 수행한 뒤에 적용할 수도 있다. ALF는 빈너 필터(Wiener filter)를 이용하여 부호화 에러를 보상하는 것으로서, SAO와 달리 슬라이스(slice) 내에 글로벌(global)하게 적용된다. ALF는 HE(High Efficiency)의 경우에만 적용되도록 할 수도 있다.
SAO는 디블록킹 필터링을 수행한 영상에 대해 픽셀 단위로 원본 영상과의 오프셋 차이를 복원해주는 절차이다. SAO를 통해서 부호화 에러(coding error)를 보상할 수 있으며, 부호화 에러는 양자화 등에 기인한 것일 수 있다. SAO에는 밴드 오프셋(band offset)과 에지 오프셋(edge offset)의 두 가지 타입이 있다.
상술한 바와 같이, 영상 복원을 블록 단위(예컨대, CU, PU, TU 등)로 수행하는 경우에는, 복원된 블록 사이의 경계에서 블록 왜곡이 발생할 수 있다. 블록 왜곡을 방지하기 위해 디블록킹 필터가 적용될 수 있는데, 디블록킹 필터는 동일한 영상 또는 픽처 내에서도 블록 왜곡이 생기기 쉬운 위치와 블록 왜곡이 생기기 어려운 위치를 구분하여 적용될 수 있다. 예컨대, 블록 왜곡이 생기기 쉬운 위치와 블록 왜곡이 생기기 어려운 위치에 서로 다른 방식으로 디블록킹 필터를 적용할 수 있다.
이를 위해, 블록 사이의 경계가 디블록킹 필터를 적용할 경계에 해당하는지, 이웃하는 블록들이 인트라 코딩이 적용된 블록들인지 등을 고려하여 블록 사이 경계에 대한 블록 경계 강도(Boundary Strength, 이하 ‘bS’라 함)를 결정하고, 결정된 bS를 기반으로 디블록킹 필터링을 적용할 수 있다.
한편, CU가 I_PCM CU인 경우, 즉 인트라 예측이 적용되는 PCM(Pulse Coding Modulation) CU의 경우에는, 디블록킹 필터링을 적용하지 않는다. I_PCM 모드는 양자화(quantization), 변환(transformation) 과정을 거치지 않기 때문에, 원본 데이터와 동일한 값이 복원된다.
따라서, 최상의 화질(원본 화질)을 복원하기 위해서 I_PCM 모드의 CU(I_PCM CU)에 대해서는 인루프 필터를 적용하지 않는다. 예컨대, 디블록킹 필터링 프로세스에서 I_PCM CU에 대한 양자화 파라미터(qP)를 0(zero)로 설정하여 I_PCM CU에 디블록킹 필터가 적용되지 않도록 할 수 있다.
도 3은 본 발명에 따라서 디블록킹 필터를 적용하는 방법을 개략적으로 설명하는 순서도이다. 도 3에서 설명하는 디블록킹 필터링은 인코딩 장치와 디코딩 장치에서 수행될 수 있다, 예컨대, 도 1 및 도 2의 필터링부가 도 3에서 설명하는 디블록킹 필터링을 수행할 수 있다.
디블록킹 필터링은 현재 픽처 내 블록들 간의 수직 에지(vertical edge)에 먼저 적용된 후 현재 픽처 내 블록들 간의 수평 에지(horizontal edge)에 적용된다. 수직 에지에 적용된 디블록킹 필터링에 의해 수정된 샘플들을 가지고(with the modified sample by deblocking filtering of vertical edges) 현재 픽처 내 수평 에지에 디블록킹 필터링이 적용된다.
따라서, 도 3에서 설명하는 디블록킹 필터링의 절차는 현재 픽처 내의 수직 에지에 적용된 후, 현재 픽처 내의 수평 에지에 적용될 수 있다.
블록 간의 에지에 대하여 도 3을 참조하면, 디블록킹 필터링을 적용하기 위해 블록 경계가 유도된다 (S310).
필터부는 현재 코딩 블록 또는 현재 LCU(Largest Coding Unit)(이하, 설명의 편의를 위해 본 명세서에서 코딩 블록라 함은 LCU를 포함한다)의 크기를 설정하고, 현재 코딩 블록의 경계(boundary)가 현재 픽처의 경계가 아닌지, 현재 코딩 블록의 경계가 타일의 경계로서 디블록킹 필터가 적용되는 경계인지, 현재 코딩 블록의 경계가 슬라이스의 경계로서 디블록킹 필터가 적용되는 경계인지를 판단할 수 있다.
예컨대, 수직 에지에 디블록킹 필터를 적용하는 경우에, 현재 코딩 블록의 좌측 경계가 현재 픽처의 좌측 경계(left boundary)이면 디블록킹 필터링의 대상에서 현재 코딩 블록의 좌측 경계를 제외할 수 있다. 현재 코딩 블록의 좌측 경계가 현재 타일의 좌측 경계이고 현재 타일의 에지에 필터를 적용하지 않도록 결정한 경우나 현재 코딩 블록의 좌측 경계가 현재 슬라이스의 좌측 경계이고 현재 슬라이스의 에지에 필터를 적용하지 않도록 결정한 경우에는, 디블록킹 필터링의 대상에서 현재 코딩 블록의 좌측 경계를 제외할 수 있다. 따라서, 수직 에지의 디블록킹 필터링에 대하여, 상기 경우가 아니라면 현재 코딩 블록의 좌측 경계에 디블록킹 필터링을 적용할 수 있다.
또한, 수평 에지에 디블록킹 필터를 적용하는 경우라면, 현재 코딩 블록의 상측 경계(top boundary)가 현재 픽처의 상측 경계이면 디블록킹 필터링의 대상에서 현재 코딩 블록의 상측 경계를 제외할 수 있다. 현재 코딩 블록의 상측 경계가 현재 타일의 상측 경계이고 현재 타일의 에지에 필터를 적용하지 않도록 결정한 경우나 현재 코딩 블록의 상측 경계가 현재 슬라이스의 상측 경계이고 현재 슬라이스의 에지에 필터를 적용하지 않도록 결정한 경우에는, 디블록킹 필터링의 대상에서 현재 코딩 블록의 상측 경계를 제외할 수 있다. 수평 에지의 디블록킹 필터링에 대하여, 상기 경우가 아니라면 현재 코딩 블록의 상측 경계에 디블록킹 필터링을 적용할 수 있다.
본 명세서에서 경계에 필터링을 적용한다는 것은, 상기 경계 양쪽에 위치하는 소정의 샘플들에 대하여 필터링을 수행한다는 것을 의미한다.
또한, 필터부는 픽처 내 수직 에지에 대한 디블록킹 필터링을 적용하는 경우에는 변환 블록과 예측 블록의 수직 에지에 대하여 블록 경계를 유도할 수 있으며, 픽처 내 수평 에지에 대한 디블록킹 필터링을 적용하는 경우에는 변환 블록과 예측 블록의 수평 에지에 대하여 블록 경계를 유도할 수 있다.
변환 블록의 에지가 코딩 블록의 에지라면 해당 에지에 대해서는 코딩 블록의 해당 에지에 대한 디블록킹 필터링 적용 여부에 따라서 변환 블록의 경계를 유도할 수 있다. 변환 블록이 분할되는 경우에는 분할되는 각 블록에 대하여 경계를 유도할 수 있다.
필터부는 예측 블록의 각 파티션별로 경계를 유도할 수 있다. 예컨대, 예측 블록의 파티션이 2NxN 픽셀 블록, NxN 픽셀 블록, 2NxnU 픽셀 블록, 2NxnD 픽셀 블록(N, U, D는 픽셀 수에 대응하는 정수이며, n은 코딩 블록 내 예측 블록의 개수에 대응하는 정수)인 경우에 각 파티션 별로 에지를 유도할 수 있다. 이어서, 디블록킹 필터를 적용할 블록 경계에 대한 bS가 유도된다(S320). bS는 현재 코딩 블록 내의 에지별로 결정된다. 픽처 내 수직 에지에 대한 디블록킹 필터링이 적용되는 경우에는 수직 에지별로 bS가 유도되며, 픽처 내 수평 에지에 대한 디블록킹 필터링이 적용되는 경우에는 수평 에지별로 bS가 유도될 수 있다.
bS의 유도는 소정의 단위별로 수행될 수 있다. 예컨대, bS는 변환 블록의 에지마다 유도될 수도 있고, 예측 블록의 에지마다 유도될 수도 있다. 또한, bS는 소정 사이즈의 블록을 단위로, 예컨대 8x8 픽셀 블록이나 4x4 픽셀 블록을 단위로 유도될 수도 있다.
더 나아가 bS는 현재 코딩 블록 내 변환 블록, 예측 블록, 그리고 미리 설정된 소정 사이즈의 블록 중 특정 조건을 만족하는 블록의 에지에 대해 유도될 수도 있다. 가령, 변환 블록(예컨대 TU)와 예측 블록(예컨대 PU) 중 작은 블록과 미리 정해진 사이즈의 블록(예컨대 8x8 픽셀 블록) 중 더 큰 블록별로 bS가 유도될 수도 있다.
다시 말하면, bS는 디블록킹을 적용할 블록의 경계에서 bS 결정의 단위가 되는 블록의 크기에 대응하는 픽셀 단위(예컨대, bS 결정의 단위가 LxL 픽셀 블록(L은 정수)이면 L 픽셀 단위)로 결정될 수 있다. bS의 구체적인 값을 유도하는 것에 관해서는 후술하도록 한다.
이어서, bS에 따라서 블록 경계에 필터링이 수행된다(S330).
예컨대, 루마(luma) 샘플의 경우에, 대상 에지에 대한bS가 소정의 기준 bS, 예컨대 bSth1 이하이면, 해당 에지에 대해서는 디블록킹 필터링을 적용하지 않도록 할 수 있다. 크로마(chroma) 샘플의 경우에도 대상 에지에 대한bS가 소정의 기준 bS, 예컨대 bSth2 이하인 경우에는 해당 에지에 디블록킹 필터링을 적용하지 않도록 할 수 있다. 기준 bS bSth1과 bSth2는 동일하게 설정될 수도 있고, 상이하게 설정될 수도 있다.
디블록킹 필터링을 효율적으로 적용하기 위해 추가적인 임계값(설명의 편의를 위해 Th1이라 함)을 설정할 수도 있다. 가령, 기준 bS 값을 0으로 설정하면, 대상 에지에 대한 bS 값이 0보다 큰 경우에 Th1을 이용하여 블록 레벨에서의 디블록킹 필터링에 대한 온/오프 여부를 결정할 수 있다. 예컨대, 대상 에지로부터 유도한 값이 Th1보다 큰 경우에 디블록킹 필터를 대상 에지에 적용하도록 할 수도 있다.
디블록킹 필터링이 픽처 내 수직 에지들에 적용되는 경우를 먼저 설명하면, Th1과의 비교를 위해 대상 수직 에지로부터 유도되는 값으로서, 특정 샘플 행(row)에서 해당 수직 에지를 경계로 하는 두 블록 내 필터링 대상 샘플들 간의 차를 고려할 수 있다. 예를 들어, k번째 샘플 행(k는 정수)의 샘플들에 대하여, 수직 에지의 좌측 블록에서 상기 수직 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DLk(가령, 디블록킹 필터가 적용된다면 수직 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합)을 산출하고, 수직 에지의 우측 블록(현재 블록)에서 상기 수직 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DRk(가령, 디블록킹 필터가 적용된다면 수직 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합)을 유도할 수 있다. DLk와 DRk의 합 Dk를 상기 Th1과 비교하여, Dk 가 Th1보다 작은 경우에 해당 수직 에지에 디블록킹 필터링을 적용하도록 할 수 있다. Dk 가 Th1보다 작은 경우에는 양자화 파라미터를 고려할 때, 상기 수직 경계가 디블록킹 필터링을 적용하지 않는 것이 효과적인 경계(예컨대 원본 픽처 내 영상의 실제 경계 등)는 아닌 것으로 보고 디블록킹 필터를 적용하는 것이 원본에 가깝게 복원된다고 판단할 수 있다.
이때, 수직 에지를 경계로 하는 두 블록 내에서 상술한 바와 같이 하나의 샘플 행(row)에 대해서만 이웃하는 필터링 대상 샘플 간 차이의 합을 고려하지 않고, 복수의 샘플 행에 대하여 이웃하는 필터링 대상 샘플 간 차이의 합을 고려할 수도 있다. 예컨대, 수직 에지를 경계로 하는 두 블록에서 k번째 샘플 행(row)에 대한 필터링 대상 샘플 간 차이의 합 Dk와 k+j 번째 행(j는 정수)에 대한 필터링 대상 샘플 간 차이의 합 Dk +j를 합한 D(=Dk+Dk +j)가 임계값 Th1보다 작은 경우에 해당 수직 에지에 대한 디블록킹 필터를 적용하는 것으로 결정할 수도 있다.
두 샘플 행 사이의 차이j를 3으로 설정한 경우를 예로서 살펴보면, 2번째 샘플 행과 5 번째 샘플 행에 대하여, D(=D2+D5) 가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수 있다. 두 샘플 행 사이의 차이j를 3으로 설정하고, 0번째 샘플 행과 3번째 샘플 행에 대하여 샘플 간 차의 합 D(=D0+D3)를 Th1과 비교하여 D가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수도 있다.
이때, 각 블록과 샘플 행에 따른 특성을 효과적으로 반영하기 위해, 각 샘플 행별 그리고 각 블록별로 구한 필터링 대상 샘플 간 차들의 합에 대한 절대값들을 취합한 D값을 유도할 수도 있다. 이 경우, 수직 에지를 경계로 좌측 블록(L)과 우측 블록(R)의 k 번째 샘플 행과 k+j번째 샘플 행을 고려하는 D 값은 아래의 수식 1과 같이 유도될 수 있다.
<수식 1>
D = abs(DLk)+abs(DLk+j)+abs(DRk)+abs(DRk+j)
상술한 바와 같이, DLK는 좌측 블록의 k 번째 샘플 행에서 수직 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 디블록킹 필터링을 적용할 때 수직 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DLK는 수직 에지 좌측 블록의 k 번째 샘플 행에서 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다. DRK는 우측 블록의 k 번째 샘플 행에서 수직 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 예컨대, 디블록킹 필터링을 적용할 때 수직 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DRK는 수직 에지 우측 블록의 k 번째 샘플 행에서 수직 에지로부터 첫 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이와 수직 에지로부터 세 번째 샘플과 수직 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다.
복수의 샘플 행을 고려하여 상술한 바와 같이 인접하는 필터링 대상 샘플 간 차이 값의 합을 취합하는 경우에도, 각 샘플 행에 대한 인접하는 필터링 대상 샘플 간 차이의 합을 고려함으로써 더 효과적으로 디블록킹 필터링을 적용할 수 있다. 예컨대, 수식 1을 참조하면, k 샘플 행만을 고려하여 Dk를 수식 2와 같이 정의할 수 있다.
<수식 2>
Dk = abs(DLk)+abs(DRk)
예를 들어, 해당 수직 에지에 대하여, 앞서의 예와 같이, k번째 샘플 행과 k+3번째 샘플 행을 고려하는 경우에, D가 Th1보다 작고 k 번째 샘플 행에 대한 Dk와 k+3 번째 샘플 행에 대한 Dk +3이 각각 Th1의 절반(Th1/2)보다 작은 경우에는 해당 수직 에지에 강한(strong) 필터링을 적용하도록 할 수 있다. 이와 달리, D가 Th1보다 작지만, Dk가 Th1/2보다 작지 않거나 Dk +3이 Th1/2보다 작지 않은 경우에는 해당 수직 에지에 약한(weak) 필터링을 적용하도록 할 수도 있다.
*약한 필터링을 적용하는 경우에는 필터링 대상 샘플들 중에서 특정 샘플에 대해서만 필터링을 적용할 수 있으며, 이 경우에 필터 계수를 강한 필터링과 달리 적용할 수도 있다. 예컨대, 필터링 대상 샘플들이 수직 에지 좌우에 위치하는 6개의 샘플(에지의 좌측 3개 샘플, 에지의 우측 3개 샘플)인 경우를 생각하면, 강한 필터링이 필터링 대상 샘플들에 모두 적용되는 반면, 약한 필터링은 대상 에지의 좌측에 위치하는 2 개의 샘플과 대상 에지의 우측에 위치하는 2 개의 샘플에 적용될 수 있다. 이때, 강한 필터링과 약한 필터링의 필터 계수 또한 상이할 수 있다.
디블록킹 필터링이 픽처 내 수평 에지들에 적용되는 경우에도, Th1과의 비교를 위해 대상 수평 에지로부터 유도되는 값으로서, 특정 샘플 열(column)에서 해당 수평 에지를 경계로 하는 두 블록 내 필터링 대상 샘플들 간의 차를 고려할 수 있다. 수직 에지의 예에서 설명한 바와 같이, k번째 샘플 열(k는 정수)의 샘플들에 대하여, 수평 에지의 상측 블록에서 상기 수평 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DTk(가령, 디블록킹 필터가 적용된다면 수평 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합)을 산출하고, 수평 에지의 하측 블록(현재 블록)에서 상기 수평 에지에 인접하는 필터링 대상 샘플들 사이의 차이의 합 DBk(가령, 디블록킹 필터가 적용된다면 수평 에지로부터 3개의 샘플이 필터링의 대상이라고 할 때, 샘플들이 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합)을 유도할 수 있다. DTk와 DBk의 합 Dk를 상기 Th1과 비교하여, Dk 가 Th1보다 작은 경우에 해당 수평 에지에 디블록킹 필터링을 적용하도록 할 수 있다.
이때, 수평 에지를 경계로 하는 두 블록 내에서 복수의 샘플 열에 대하여 이웃하는 필터링 대상 샘플 간 차이의 합을 고려할 수도 있다. 예컨대, 수평 에지를 경계로 하는 두 블록에서 k번째 샘플 열(column)에 대한 필터링 대상 샘플 간 차이의 합 Dk와 k+j 번째 열(j는 정수)에 대한 필터링 대상 샘플 간 차이의 합 Dk +j를 합한 D(=Dk+Dk +j)가 임계값 Th1보다 작은 경우에 해당 수평 에지에 대한 디블록킹 필터를 적용하는 것으로 결정할 수도 있다.
두 샘플 열 사이의 차이j를 3으로 설정한 경우를 예로서 살펴보면, 2번째 샘플 열과 5 번째 샘플 열에 대하여, D(=D2+D5) 가 Th1보다 작은 경우에 디블록킹 필터를 해당 수직 에지에 적용하도록 할 수 있다. 두 샘플 열 사이의 차이j를 3으로 설정하고, 0번째 샘플 열과 3번째 샘플 열에 대하여 샘플 간 차의 합 D(=D0+D3)를 Th1과 비교하여 D가 Th1보다 작은 경우에 디블록킹 필터를 해당 수평 에지에 적용하도록 할 수도 있다.
수직 에지에 대해 고려하는 샘플 행과 수평 에지에 대해 고려하는 샘플 열은 서로 대응하는 샘플 행과 샘플 열일 수 있다. 예컨대, 수직 에지에 대하여 0번째 샘플 행과 3번째 샘플 행을 대상으로 하였다면, 수평 에지에 대하여는 0번째 샘플 열과 3번째 샘플 열을 대상으로 할 수 있다.
수직 에지의 경우와 마찬가지로, 각 블록과 샘플 열에 따른 특성을 효과적으로 반영하기 위해, 샘플 열 그리고 각 블록별로 구한 필터링 대상 샘플 간 차들의 합들에 각각 절대값을 취할 수도 있다. 이 경우, 수평 에지를 경계로 상측 블록(T)과 우측 블록(B)의 k 번째 샘플 열과 k+j번째 샘플 열을 고려하는 D 값은 아래의 수식 3과 같이 유도될 수 있다.
<수식 3>
D = abs(DTk)+abs(DTk+j)+abs(DBk)+abs(DBk+j)
상술한 바와 같이, DTK는 상측 블록의 k 번째 샘플 열에서 수평 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 디블록킹 필터링을 적용할 때 수평 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DTK는 수평 에지 상측 블록의 k 번째 샘플 열에서 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다. DBK는 하측 블록의 k 번째 샘플 열에서 수평 에지에 인접한 필터링 대상 샘플들 간의 차의 합이다. 예컨대, 디블록킹 필터링을 적용할 때 수평 에지에 인접한 세 샘플을 대상으로 하는 경우라면, DBK는 수평 에지 하측 블록의 k 번째 샘플 열에서 수평 에지로부터 첫 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이와 수평 에지로부터 세 번째 샘플과 수평 에지로부터 두 번째 샘플의 차이의 합으로 유도될 수 있다.
수직 에지의 예에서 설명한 바와 같이, 각 샘플 열별로, 서로 인접하는 필터링 대상 샘플 간 차이의 합을 고려함으로써 더 효과적으로 디블록킹 필터링을 적용할 수 있다. 예컨대, 수식 3을 참조하면, k 샘플 열만을 고려하여 Dk를 수식 4와 같이 정의할 수 있다.
<수식 4>
Dk = abs(DTk)+abs(DBk)
예를 들어, 해당 수평 에지에 대하여, 앞서의 예와 같이, k번째 샘플 열과 k+3번째 샘플 열을 고려하는 경우에, D가 Th1보다 작고 k 번째 샘플 열에 대한 Dk와 k+3 번째 샘플 열에 대한 Dk +3이 각각 Th1의 절반(Th1/2)보다 작은 경우에는 해당 수평 에지에 강한(strong) 필터링을 적용하도록 할 수 있다. 이와 달리, D가 Th1보다 작지만, Dk가 Th1/2보다 작지 않거나 Dk +3이 Th1/2보다 작지 않은 경우에는 해당 수평 에지에 약한(weak) 필터링을 적용하도록 할 수도 있다.
*약한 필터링을 적용하는 경우에는 필터링 대상 샘플들 중에서 특정 샘플에 대해서만 필터링을 적용할 수 있으며, 이 경우에 필터 계수를 강한 필터와 달리 적용할 수도 있다. 예컨대, 필터링 대상 샘플들이 수평 에지 상하에 위치하는 6개의 샘플(에지의 상측 3개 샘플, 에지의 하측 3개 샘플)인 경우를 생각하면, 강한 필터링이 필터링 대상 샘플들에 모두 적용되는 반면, 약한 필터링은 대상 에지의 상측에 위치하는 2 개의 샘플과 대상 에지의 하측에 위치하는 2 개의 샘플에 적용될 수 있다. 이때, 강한 필터링과 약한 필터링의 필터 계수 또한 상이할 수 있다.
강한 필터링과 약한 필터링은 수직 에지와 수평 에지에 동일한 방법(예컨대, 동일한 필터 계수나 오프셋 등)으로 적용할 수도 있다.
필터부는 상술한 바와 같이 디블록킹 필터를 적용할 것인지, 스트롱 필터와 위크 필터 중 어떤 필터를 적용할 것인지, 위크 필터를 적용하는 경우라면 어떤 샘플을 대상으로 할 것인지가 결정되면, 미리 정해진 방법(예컨대, 필터 계수나 오프셋 등)에 따라서 디블록킹 필터를 적용할 수 있다. 앞서 설명한 바와 같이, 픽처 내 수직 에지들에 대하여 디블록킹 필터링을 적용한 후 픽처 내 수평 에지들에 대하여 디블록킹 필터링을 적용할 수 있다.
도 3에서는 블록 경계의 유도(S310), bS의 유도(S320), 필터링 적용(S330)과 같은 큰 스텝으로 디블록킹 필터링을 적용하는 방법을 설명하였으나, bS의 결정으로부터 필터링을 적용하는 과정에 대하여, 상술한 내용은 더 세부적인 스텝으로 구분될 수도 있다.
예컨대, 픽처 내 수직 에지에 대한 수평 디블록킹 필터링에 대하여, (1) 코딩 블록(LCU 일 수 있음) 내 수직 에지에 대하여, bS를 결정 - bS 결정 대상 에지는 TU와 PU 중 작은 블록에 대한 에지일 수 있고, 미리 정해진 단위 블록(예컨대, 8x8 픽셀 블록)의 에지일 수 있으며, TU와 PU 중 작은 단위 블록과 미리 정해진 단위 블록 중 큰 블록의 에지일 수 있다. (2) bS가 0보다 큰 에지에 대하여, 블록 레벨에서 디블록킹 필터링의 온(on)/오프(off) 결정 - 이를 위해, 상술한 바와 같이, 경계(에지) 양측의 블록들 중 소정 샘플 행(예컨대, 2번째와 5번째 샘플 행)을 이용할 수 있다. (3) 필터링을 온(on)하는 영역에 대해서 강한(strong) 필터링을 적용할지 약한(weak) 필터링을 적용할지를 결정. (4) 약한 필터링을 적용하는 경우에 추가적인 필터링 온/오프 결정-추가적인 필터링 온/오프는, 앞서 설명한 바와 같이, 특정 샘플별 필터링 온/오프 결정을 포함한다. (5) 현재 픽처 내 다음 코딩 블록(LCU를 포함)로 이동하여 상기 스텝을 반복 - 픽처 내 모든 수직 에지에 대한 디블록킹 필터링 처리를 수행한다.
픽처 내 수평 에지에 대한 수직 디블록킹 필터링에 대하여는, (1) 코딩 블록(LCU 일 수 있음) 내 수평 에지에 대하여, bS를 결정 - bS 결정 대상 에지는 TU와 PU 중 작은 블록에 대한 에지일 수 있고, 미리 정해진 단위 블록(예컨대, 8x8 픽셀 블록)의 에지일 수 있으며, TU와 PU 중 작은 단위 블록과 미리 정해진 단위 블록 중 큰 블록의 에지일 수 있다. (2) bS가 0보다 큰 에지에 대하여, 블록 레벨에서 디블록킹 필터링의 온(on)/오프(off) 결정 - 이를 위해, 상술한 바와 같이, 경계(에지) 양측의 블록들 중 소정 샘플 열(예컨대, 2번째와 5번째 샘플 열)을 이용할 수 있다. (3) 필터링을 온(on)하는 영역에 대해서 강한(strong) 필터링을 적용할지 약한(weak) 필터링을 적용할지를 결정. (4) 약한 필터링을 적용하는 경우에 추가적인 필터링 온/오프 결정-추가적인 필터링 온/오프는, 앞서 설명한 바와 같이, 특정 샘플별 필터링 온/오프 결정을 포함한다. (5) 현재 픽처 내 다음 코딩 블록(LCU를 포함)로 이동하여 상기 스텝을 반복 - 픽처 내 모든 수평 에지에 대한 디블록킹 필터링 처리를 수행한다.
도 4는 본 발명에 따른 디블록킹 필터링의 진행 방식을 개략적으로 설명하는 도면이다. 도 4를 참조하면, 코딩 블록(예컨대, LCU) 단위로 해당 코딩 블록 내의 에지에 대하여 디블록킹 필터링이 진행(401)된다. 앞서 설명한 바와 같이, 현재 픽처 전체에 대하여 수직 에지에 대한 디블록킹 필터링(수평 필터링)을 수행한 후, 현재 픽처 전체에 대하여 수평 에지에 대한 디블록킹 필터링(수직 필터링)을 수행한다.
도 5는 bS를 구하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
설명의 편의를 위해, 본 명세서에서는 디블록킹 필터링 프로세스에 있어서 현재 블록을 Q로 나타내고, 현재 블록에 이웃하는 블록으로서 현재 블록보다 먼저 부호화/복호화된 블록을 P로 나타낸다. 예컨대, 수직 에지에 대한 디블록킹 필터링을 수행하는 경우에는, 수직 에지를 경계로 좌측 블록을 P라고 하고 우측 블록을 Q라고 한다. 또한, 수평 에지에 대한 디블록킹 필터링을 수행하는 경우에는, 수평 에지를 경계로 상측 블록을 P라고 하고 하측 블록을 Q라고 한다.
도 5를 참조하면, bS를 결정하기 위해 우선, P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S510).
P 및/또는 Q가 인트라 코딩된 경우에는, P와 Q 사이의 경계가 CU 경계인지를 판단한다(S520). 이때, CU 경계는 LCU의 경계일 수도 있다.
*S520 단계에서, P와 Q 사이의 경계가 CU의 경계인 경우에는 P와 Q 사이의 경계에 대한 bS의 값을 4로 결정한다(S530).
S520 단계에서, P와 Q 사이의 경계가 CU의 경계가 아닌 경우에는 P와 Q 사이의 경계에 대한 bS의 값을 3으로 결정한다(S540)
P및/또는 Q가 인트라 코딩된 경우가 아니라면, P 및/또는 Q가 0이 아닌 계수(변환 계수)를 포함하는지를 판단한다(S550). 이때, 필터부는 0이 아닌 변환 계수의 존부를 역양자화 전의 변환 계수를 기준으로 판단할 수 있다. 또한, 필터부는 0이 아닌 변환 계수의 존부를 역양자화 후의 변환 계수를 기준으로 판단할 수도 있다.
S550 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 P와 Q 사이의 경계에 대한 bS를 2로 결정한다(S560).
S550 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 상이한 참조 픽처 또는 상이한 움직임 벡터를 가지는지를 판단한다(S570).
S570 단계에서, P와 Q가 서로 상이한 참조 픽처 또는 상이한 움직임 벡터를 가지는 경우에는 P와 Q 사이의 경계에 대한 bS를 1로 결정한다(S580).
그 외의 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에 해당하면, P와 Q 사이의 경계에 대한 bS를 0으로 설정한다(S590). 도 5에서는, bS를 적용하지 않는 경우의 일 예로서, 상술한 조건에 모두 해당하지 않는 경우를 설명의 편의를 위해 예로서 설명하고 있다.
한편, bS 값에 따라서 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다.
예컨대, 도 5에 도시된 tCoffset과 같은 변수의 경우를 예로서 들 수 있다. tCoffset은 영상 특성에 최적화된 tC값을 결정하기 위해 사용자에 의해 설정되는 값이다. tC는 양자화 정도에 따른 블록킹 아티팩트를 정량화하여 디블록킹 필터링과 관련된 파라미터를 결정하는데 이용되는 임계값(threshold value)의 하나이다.
도 5에서는, bS 값이 0, 1 또는 2 인 경우에는 0으로 설정하고, bS 값이 3 또는 4인 경우에는 2로 설정되는 일 예를 간단히 나타내고 있다.
한편, 효과적으로 디블록킹 필터링을 적용하기 위해, 앞서 도 3 및 도 5에서 설명한 bS를 결정하는 블록 단위와 결정 방법을 수정하여 적용할 수도 있다.
bS는 실제 디블록킹 필터링을 수행하는 블록 단위와 같거나 작은 단위에서 결정될 수 있다.
예컨대, 루마 샘플에 대하여 실제 디블록킹 필터링을 8x8 픽셀 단위로 수행하는 경우에 bS는 4x4 픽셀 단위로 결정될 수 있다. 이렇게 디블록킹 필터링을 수행하는 단위 블록의 크기가 bS를 결정하는 단위 블록의 크기보다 큰 경우에는, bS를 결정하는 단위 블록의 경계(에지)들 중에서 디블록킹 필터링을 수행하는 단위 블록의 경계(에지)에 해당하는 경계에서만 bS를 결정하도록 할 수 있다. 다시 말하면, LxL (L은 정수) 픽셀 블록별로 bS를 결정하는 경우에, 디블록킹 필터링을 수행하는 단위 블록의 경계에서 L 픽셀 단위로 bS가 결정된다.
구체적으로, bS를 결정하는 블록 단위는 4x4 픽셀 블록이고, 실제 디블록킹 필터링은 8x8 픽셀 블록 단위로 수행한다. 즉, bS는 디블록킹 필터링이 수행되는 8x8 픽셀 블록의 경계에서 4 픽셀 단위로 결정된다. 따라서, 디블록킹 필터링의 단위인 8x8 픽셀 블록 내부의 4x4 픽셀 블록 에지에 대해서는 bS를 결정할 필요가 없다.
도 6은 디블록킹 필터링의 단위 블록이 8x8 픽셀 블록이고, bS 결정의 단위 블록이 4x4 픽셀 블록인 경우에, 디블록킹 필터링의 대상 경계를 설명하는 도면이다.
도시된 바와 같이, bS를 결정하는 단위 블록의 경계들 중 디블록킹 필터링을 수행하는 단위 블록의 내부에 위치하는 경계에 대해서는 bS를 결정하지 않을 수 있다.
bS 결정 과정을 단순화하고 복잡도를 낮추기 위해, 디블록킹 필터링을 적용하는 단위 블록의 에지들에 대한 대표 bS를 결정할 수도 있다.
도 7은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 일 예를 개략적으로 설명하는 도면이다. 도 7에서는, 디블록킹 필터링의 단위 블록(700)이 8x8 픽셀 블록이고 bS 결정의 단위 블록이 4x4 픽셀 블록인 경우를 예로서 설명한다.
도 7을 참조하면, 디블록킹 필터링의 단위 블록(700) 내에는 bS의 결정의 단위 블록이 되는 4x4 픽셀 블록의 경계(에지)로서 디블록킹 필터링의 단위 블록(700)의 경계가 되는 수직 에지와 수평 에지가 존재한다.
수직 에지의 경우를 예로서 설명하면, 디블록킹 필터링의 단위 블록(700)에는 bS 결정의 대상이 되는 두 개의 수직 에지(710, 720)가 존재한다. 도 7의 예에서는 첫 번째 수직 에지(710)의 bS와 두 번째 수직 에지(720)의 bS를 비교하여 더 큰 bS를 디블록킹 필터링의 단위 블록(700)의 수직 에지에 대한 대표 bS로 결정한다.
예컨대, 첫 번째 수직 에지(710)의 bS가 1이고, 두 번째 수직 에지(720)의 bS가 2인 경우에는 두 번째 수직 에지(720)의 bS 값인 2를 디블록킹 필터링의 단위 블록(700)의 좌측 경계가 되는 수직 에지에 대한 대표 bS 값으로 결정할 수 있다.
도 7에서는 설명의 편의를 위해 수직 에지에 대한 경우를 예로서 설명하였으나, 수평 에지의 경우에도 동일한 방법을 적용할 수 있다. 예컨대, 디블록킹 필터링의 단위 블록(700)의 상측 경계로서, 디블록킹 필터링의 단위 블록(700) 내 4x4 픽셀 블록의 상측 경계가 되는 두 에지에 대하여 bS를 각각 유도하고, 더 큰 bS를 디블록킹 필터링의 단위 블록(700)의 상측 경계가 되는 수평 에지에 대한 대표 bS로서 결정할 수 있다.
도 7의 예에서 두 bS의 값이 동일한 경우에는, 두 bS 값 중 어느 하나를 대표 bS값으로 사용할 수 있음은 물론이다.
bS 결정 절차를 더 단순화하여 복잡도를 줄이고 디블록킹 필터링의 효과를 높이기 위해, 디블록킹 필터링의 단위 블록에 대한 에지들 중에서 하나의 에지에 대한 bS만을 유도하는 방법을 고려할 수도 있다.
도 8은 디블록킹 필터링을 수행하는 단위 블록에서 대표 bS 값을 결정하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 8에서도, 디블록킹 필터링의 단위 블록(800)이 8x8 픽셀 블록이고 bS 결정의 단위 블록이 4x4 픽셀 블록인 경우를 예로서 설명한다.
도 8을 참조하면, 도 7의 예와 달리, 디블록킹 필터링의 단위 블록(800) 내 bS 결정 대상이 되는 두 개의 수직 에지(810, 820) 중 0번째 에지(810)에 대해서만 bS를 결정한다. 다시 말하면, 디블록킹 필터링의 단위 블록마다 0번째 bS 결정의 단위 블록의 수직 에지 및 수평 에지에 대해서만 bS를 산출하고, 산출된 bS 를 해당 디블록킹 필터링의 단위 블록에 대한 대표 bS 로 이용한다. 예컨대, 디블록킹 필터링의 단위 블록이 8x8 픽셀 블록이고, bS 결정의 단위 블록이 4x4 픽셀 블록인 경우에, 디블록킹 필터링의 단위 블록 내에는 네 개의 bS 결정의 단위 블록이 존재한다. 이 중 0번째 블록(좌상측 블록)의 수직 에지 및 수평 에지에 대해서만 bS를 결정하여 디블록팅 필터링의 단위 블록에 대한 대표 bS로 이용할 수 있다.
도 8의 예와 같이 bS를 결정하면, bS를 결정하는 프로세스를 단순화하여 기존 프로세스의 1/4에 해당하는 프로세스로 bS를 결정할 수 있으며, bS를 저장하기 위한 메모리도 기존 프로세스의 1/4로 감축할 수 있다.
한편, bS를 결정하는 단위 블록을 고려하여 bS 결정 프로세스를 단순화하는 방법 외에, 도 5와 같은 bS 결정 순서(bS 결정 트리(bS decision tree))를 고려하여 bs 결정 프로세스를 단순화할 수도 있다. 도 5의 예에서와 같이 bS 값을 0부터 4까지 구분하여 유도하더라도, 디블록킹 필터링 프로세스에서는 bS의 값을 세분해서 이용하지 않을 수 있다. 예컨대, bS > 0 인가만을 판단하거나, bS>1인가만을 판단하거나, bS>2인가만을 판단할 수도 있다.
따라서, 도 5의 예와 같은 bS 결정 트리를 더 단순화하여 디블록킹 필터링을 수행할 수도 있다.
도 9는 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 9를 참조하면, 우선 P 및/또는 Q가 인트라 코딩 되었는지를 판단한다(S910).
P 및/또는 Q가 인트라 코딩되어 있는 경우에는 P와 Q 사이 경계에 대한 bS를 bS3으로 결정한다(S920).
P및/또는 Q가 인트라 코딩된 경우가 아니라면, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S930). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
S930 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는, P와 Q 사이 경계에 대한 bS 값을 bS2로 결정한다(S940).
S930 단계에서 P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 서로 상이한 참조 픽처를 가지거나 P와 Q가 서로 상이한 움직임 벡터를 가지는지를 판단한다(S950).
S950 단계에서 P와 Q가 서로 상이한 참조 픽처를 가지거나 P와 Q가 서로 상이한 움직임 벡터를 가지는 경우에는 P와 Q 사이 경계에 대한 bS를 bS1으로 결정한다(S960).
그 외의 경우, 즉 디블록킹 필터링을 적용하지 않는 경우에 해당하면, P와 Q 사이의 경계에 대한 bS를 bS0으로 설정한다(S970)
여기서는, S920, S940, S960, S970 단계에서 결정되는 bS 값을 각각 bS3, bS2, bS1, bS0으로 나타내었으나 이는 설명의 편의를 위한 것이다. 도 9의 예에서 bS 값을 4가지로 구분하여 유도하는 것을 감안하면, bS0내지 bS3의 값은 도 9에 도시된 바와 같이 bS0=0, bS1=1, bS2=2, bS3=3/4로 설정될 수 있다. 도 9의 예에서는, S920 단계에서 bS3이 3/4로 결정되는 것으로 설명하고 있는데, 이는 도 5의 예에서 bS 값이 3과 4인 경우가 도 9의 예에서 bS3의 단일 값(예컨대, 3)으로 결정된다는 것을 이해하기 쉽게 나타낸 것이다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 9에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
도 9의 예에 설명된 것보다 결정 분지(decision branch)를 더 줄이는 방법도 고려할 수 있다. 이 경우, bS 값들도 도 9의 예에서와 같이 4개(bS0, bS1, bS2, bS3)가 아니라, 3개(bS0, bS1, bS2) 로부터 줄여서 디블록킹 필터링을 이용할 수 있다.
이 경우, P 및/또는 Q가 인트라 코딩된 경우를 가장 큰 bS 값인 bS2로 결정하고, 그 외 디블록킹 필터링이 적용될 수 있는 경우에 대한 bS 값을 bS1으로 결정하며, 디블록킹 필터링이 적용되는 않는 경우에 대한 bS 값을 bS0으로 결정할 수 있다. 세 가지 bS 값이 유도되는 것을 고려하여, bS0, bS1, bS2의 값을 예컨대, bS0=0, bS1=1, bS2=2로 설정할 수 있다.
도 10은 상술한 바와 같이 bS 값을 3가지 값 중 어느 하나로 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 10을 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S1010).
P 및/또는 Q가 인트라 코딩된 경우에는 P와 Q 사이의 경계에 대한 bS를 bS2로 결정한다(S1020). bS2는 도 5의 예에서 bS 값이 3과 4인 경우(bS=3/4)에 대응한다. 3가지 bS 값 중 가장 큰 값이 bS2 이므로, bS2의 값을 예컨대 2로 설정할 수 있다.
P 및/또는 Q가 인트라 코딩된 경우가 아니면, P와 Q가 0이 아닌 계수(변환 계수)를 포함하거나 P와 Q가 상이한 참조 픽처를 가지거나 P와 Q가 상이한 움직임 벡터를 가지는지를 판단한다(S1030). 이때 변환 계수는 역양자화가 적용되지 전의 변환 계수일 수도 있고, 역양자화가 적용된 변환 계수일 수도 있다.
S1030 단계에서 P와 Q가 0이 아닌 계수(변환 계수)를 포함하거나 P와 Q가 상이한 참조 픽처를 가지거나 P와 Q가 상이한 움직임 벡터를 가지는 경우에는, P와 Q 사이의 경계에 대한 bS를 bS1으로 설정한다(S1040). bS1는 P와 Q가 인트라 코딩되지 않은 경우로서 디블록킹 필터를 적용하는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 1과 2인 경우(bS=1/2)에 대응한다. 3가지 bS 값 중 중간 값이 bS1 이므로, bS1의 값을 예컨대 1로 설정할 수 있다.
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0으로 설정한다(S1040). bS0은 디블록킹 필터를 적용하지 않는 경우에 대한 bS 값으로서, 도 5의 예에서 bS 값이 0인 경우(bS=0)에 대응한다. 3가지 bS 값 중 가장 작은 값이 bS0 이므로, bS0의 값을 예컨대 0로 설정할 수 있다.
bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 10에서는 tCoffset를 가장 큰 bS 값에 대해서는 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 0으로 설정하는 것을 일 예로서 간단히 나타내고 있다.
한편, 블록 경계에서 블록킹 아티팩트(blocking artifact)를 유발하는 주 원인 중 하나는 블록 기반의 움직임 보상(block based motion compensation)이다. 이를 극복하기 위해 OBMC(Overlapped Block Motion Compensation)이 사용될 수 있다.
OBMC를 사용하는 경우에는 상술한 bS 결정 과정도, OBMC에 맞게 수정할 필요가 있다. 예컨대, 블록 간의 움직임 정보가 상이하면 블록 아티팩트가 심할 수 있기 때문에, bS의 값 0과 1을 결정하는 기준 중 한 가지는 움직임 정보의 유사성이라고 할 수 있다. 하지만, OBMC 기술을 사용하게 되면, 움직임 보상을 수행하는 영역의 경계에서 블록 아티팩트가 줄어들게 된다. 결과적으로 불필요한 디블록킹 필터링을 줄일 수 있게 되지만, 이를 반영하여 bS 결정 프로세스(bS 결정 트리)를 수정할 필요가 있다.
도 11은 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 일 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 11을 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S1100).
P 및/또는 Q가 인트라 코딩된 경우에는 Q의 경계, 즉 P와 Q의 경계가 코딩 블록의 경계인지를 판단한다(S1110). 이때, 코딩 블록이라 함은 CU와 LCU를 포함한다.
S1110 단계에서, P와 Q의 경계가 코딩 블록의 경계인 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS4로 결정한다(S1120).
S1120 단계에서, P와 Q의 경계가 코딩 블록의 경계가 아닌 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS3으로 결정한다(S1130).
S1100 단계에서, P 및 Q가 인트라 코딩되지 않는 경우에는 P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션(partition) 안에 있는지를 판단한다(S1140).
S1140 단계에서, P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있지 않은 경우에는 P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S1150). 이때, 변환 계수는 역양자화가 적용되기 전의 변환 계수일 수도 있고, 역양자화가 적용된 후의 변환 계수일 수도 있다.
S1150 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS2로 결정한다(S1160).
S1150 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는지를 판단한다(S1170).
S1170 단계에서, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS1으로 결정한다(S1180).
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0으로 설정한다(S1190). bS를 bS0으로 설정하는 경우는, S1140 단계에서 P와 Q가 단일 코딩 블록(예컨대 CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우가 아니거나 S1170 단계에서 P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지지 않는 경우를 포함한다.
도 11의 예에서도, 앞선 bS 결정에 관한 예들과 마찬가지로 bS4 > bS3 > bS2 > bS1 > bS0의 관계를 유지한다. 따라서, bS0 ~ bS4의 값을 도시된 바와 같이, bS4=4, bS3=3, bS2=2, bS1=1, bS0=0으로 설정할 수 있다.
또한, 앞서의 예들과 마찬가지로, bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 11에서는, 가장 큰 두 bS 값에 대해서는 tCoffset를 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 tCoffset를 0으로 설정하는 일 예를 간단히 나타내고 있다.
도 11의 예에서는, P와 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형(rectangular) 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭(asymmetric) 파티션(예컨대, 예측 블록, PU 등) 안에 있으면 P와 Q 사이의 경계에 대한 bS의 값을 0으로 결정할 수 있다.
이와 달리, P와 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭 파티션(예컨대, 예측 블록, PU 등) 안에 있더라도, P의 움직임 정보와 Q의 움직임 정보의 차이가 크다면 P와 Q 사이의 경계에 대한 bS 값을 1로 결정하고, P의 움직임 정보와 Q의 움직임 정보의 차이가 작다면 P와 Q 사이의 경계에 대한 bS를 0으로 결정할 수도 있다.
도 12는 OMBC를 적용하는 경우에 적용되는 bS 결정 트리의 다른 예로서, bS를 결정하는 방법을 개략적으로 설명하는 순서도이다.
도 12를 참조하면, 우선 P 및/또는 Q가 인트라 코딩되었는지를 판단한다(S1200).
P 및/또는 Q가 인트라 코딩된 경우에는 Q의 경계, 즉 P와 Q의 경계가 코딩 블록의 경계인지를 판단한다(S1210). 이때, 코딩 블록이라 함은 CU와 LCU를 포함한다.
S1210 단계에서, P와 Q의 경계가 코딩 블록의 경계인 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS4로 결정한다(S1220).
S1220 단계에서, P와 Q의 경계가 코딩 블록의 경계가 아닌 경우에는 P와 Q 사이 경계에 대한 bS의 값을 bS3으로 결정한다(S1230).
S1200 단계에서, P 및 Q가 인트라 코딩되지 않는 경우에는 P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션(partition) 안에 있는지를 판단한다(S1240).
S1240 단계에서, P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우가 아니라면, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는지를 판단한다(S1250). 이때, 변환 계수는 역양자화가 적용되기 전의 변환 계수일 수도 있고, 역양자화가 적용된 후의 변환 계수일 수도 있다.
S1250 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS2로 결정한다(S1260).
S1240 단계에서, P와 Q가 단일 코딩 블록(예컨대, CU) 내 직사각형 또는 비대칭 파티션 안에 있는 경우이거나, S1250 단계에서, P 및/또는 Q가 계수(0이 아닌 변환 계수)를 포함하는 경우가 아니라면, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는지를 판단한다(S1270).
S1270 단계에서, P와 Q가 상이한 참조 픽처 또는 움직임 벡터를 가지는 경우에는 P와 Q 사이의 경계에 대한 bS를 bS1으로 결정한다(S1280).
그 외의 경우, 즉 디블록킹 필터를 적용하지 않는 경우에 해당하면, bS를 bS0으로 설정한다(S1290).
도 12의 예에서도, 앞선 bS 결정에 관한 예들과 마찬가지로 bS4 > bS3 > bS2 > bS1 > bS0의 관계를 유지한다. 따라서, bS0 ~ bS4의 값을 도시된 바와 같이, bS4=4, bS3=3, bS2=2, bS1=1, bS0=0으로 설정할 수 있다.
상술한 바와 같이, 도 12의 예에서는 P와 Q가 동일한 코딩 블록(예컨대, CU) 내에 있으면서, 직사각형 파티션(예컨대, 예측 블록, PU 등) 안에 있거나 비대칭 파티션(예컨대, 예측 블록, PU 등) 안에 있더라도 P와 Q 사이의 경계에 대한 bS 값을 bS1(예컨대 bS=1)로 결정할 수 있다.
또한, 앞서의 예들과 마찬가지로, bS 결정 트리를 이용하여 디블록킹 필터링에 필요한 변수의 값들을 설정할 수도 있다. 도 12에서는 가장 큰 두 bS 값에 대해서는 tCoffset를 특정 값(예컨대 2)으로 설정하고, 그 외의 bS 값에 대해서는 tCoffset를 0으로 설정하는 일 예를 간단히 나타내고 있다.
한편, P 및/또는 Q가 인트라 코딩된 경우에 bS의 값을 구분할 필요가 없을 수도 있다. 예컨대, 도 5, 도 11 또는 도 12의 예와 같이, I 슬라이스(인트라 코딩된 슬라이스)에서 대상 경계가 코딩 블록(예컨대 CU)의 경계인지를 판단하여, 코딩 블록의 경계이면 bS를 4로 결정하고 그 외의 경계이면 bS를 3으로 결정하는 경우라면, 모든 I 슬라이스에 대하여 결국 bS의 값은 3 또는 4로 귀결된다.
이와 관련하여, 도 10과 같이 bS 결정 트리를 수정하여 복잡도를 낮추는 방법이 적용된다면, 결국 bS의 값은 0보다 큰가 또는 1 이나 2보다 큰지를 고려해서 단순하게 적용될 가능성도 있다. 따라서, bS의 값이 3이냐 4이냐를 구별할 필요가 없을 수도 있다.
도 13은 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 13을 참조하면, 디블록킹 필터링을 적용하기 위해 bS를 결정하고(S1310), 결정된 bS에 따라서 블록 기반의 필터링 온/오프를 결정하고(S1320), 소정의 bS에 대하여 강한(strong) 필터를 적용할 것인지 약한(weak) 필터를 적용할 것인지를 결정하여(S1330), 필터링 동작(filtering operation)을 수행한다(S1340).
도 13의 예에서 디블록킹 필터를 적용하는 방법은 앞서 도 3을 기반으로 설명한 방법과 동일하거나 유사한 것을 확인할 수 있다.
이때, bS 결정 단계(S1310)에서는 도 5, 도 11 또는 도 12와 같이, P 및/또는 Q가 인트라 코딩된 경우에 대상 경계가 코딩 블록의 경계인지를 구분하여 bS값을 결정할 수도 있다.
도 14는 bS를 결정하여 디블록킹 필터링을 적용하는 방법의 다른 예를 개략적으로 설명하는 도면이다. 도 14에서는 도 13과 달리 P 및/또는 Q가 인트라 코딩된 경우(I 슬라이스인 경우)에 bS를 추가적으로 구분하여 결정하지 않는다.
도 14를 참조하면, 디블록킹 필터링을 적용하기 위해 P 및/또는 Q가 인트라 코딩되었는지(I 슬라이스인지)를 판단한다(S1410).
P 및/또는 Q가 인트라 코딩된 경우가 아니라면, 도 13의 예와 같이 bS를 결정하는 일반적인 단계를 수행한다(S1420).
P 및/또는 Q가 인트라 코딩된 경우(I 슬라이스인 경우)라면, 도 13의 예와 달리 bS를 하나의 값(예컨대 4)로 결정한다(S1430).
이어서, 결정된 bS에 따라서 블록 기반의 필터링 온/오프를 결정하고(S1440), 소정의 bS에 대하여 강한(strong) 필터를 적용할 것인지 약한(weak) 필터를 적용할 것인지를 결정하여(S1450), 필터링 동작(filtering operation)을 수행한다(S1460).
도 14의 예 이외에, 앞서 설명한 디블록킹 필터링의 방법을 수정하여 적용하는 또 하나의 방법으로서, 도 7의 예에서 설명한 대표 bS를 이용하는 방법을 수정하여 디블록킹 필터링을 수행하는 것을 고려할 수 있다.
도 7의 예에서는 8x8 픽셀 블록 단위로 디블록킹 필터링을 수행하는 경우에, 4x4 픽셀 단위로 결정되는 두 bS 중 큰 값을 가지는 bS를 대표 bS로 이용하는 방법을 설명하였다.
도 15는 대표 bS를 결정하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 15를 참조하면, 대표 bS를 선정하기 위해, 디블록킹 필터링의 단위 블록에서 bS1과 bS2의 크기를 비교한다(S1510).
S1510 단계에서 bS1이 bS2보다 크면 대표 bS를 bS1으로 결정한다(S1520). 반대로, S1510 단계에서 bS2가 bS1보다 크면 대표 bS를 bS2로 결정한다(S1530).
bS1과 bS2는 디블록킹 필터링의 단위 블록에서 두 수직 에지에 대한 bS들일 수도 있고, 두 수평 에지에 대한 bS일 수도 있다. 도 15의 방법은 수직 에지에 대한 디블록킹 필터링 과정에서 수행되어 수직 에지에 대한 대표 bS를 결정하는데 이용된 후에, 수평 에지에 대한 디블록킹 필터링 과정에서 수행되어 수평 에지에 대한 대표 bS를 결정하는데 이용될 수 있다.
결정된 대표 bS를 이용하여 필터링부는 디블록킹 필터링을 수행할 수 있다.
도 15의 예는 도 7의 예와 같이 큰 값을 가지는 bS를 대표 bS로 이용하는 방법을 설명하고 있다. 이와 달리, 과도한 디블록킹 필터링을 줄이고 필터링의 연산량을 감소시키기 위해 대표 bS를 결정하는 방법을 달리할 수도 있다.
도 16은 대표 bS를 결정하는 방법의 다른 예를 개략적으로 설명하는 순서도이다.
도 16을 참조하면, 대표 bS를 선정하기 위해, 디블록킹 필터링의 단위 블록에서 bS1과 bS2의 크기를 비교한다(S1610).
S1610 단계에서 bS1이 bS2보다 작으면 대표 bS를 bS1으로 결정한다(S1620). 반대로, S1610 단계에서 bS2가 bS1보다 작으면 대표 bS를 bS2로 결정한다(S1630).
bS1과 bS2는 디블록킹 필터링의 단위 블록에서 두 수직 에지에 대한 bS들일 수도 있고, 두 수평 에지에 대한 bS일 수도 있다. 도 16의 방법 역시 수직 에지에 대한 디블록킹 필터링 과정에서 수행되어 수직 에지에 대한 대표 bS를 결정하는데 이용된 후에, 수평 에지에 대한 디블록킹 필터링 과정에서 수행되어 수평 에지에 대한 대표 bS를 결정하는데 이용될 수 있다.
결정된 대표 bS를 이용하여 필터링부는 디블록킹 필터링을 수행할 수 있다.
도 17은 본 발명에 따라서, 영상을 인코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 17을 참조하면, 인코딩 방법은 인코더는 입력된 영상을 분할하고, 현재 블록에 대한 예측을 수행한다(S1710). 현재 블록에 대한 예측은 인코더의 예측부에서 수행할 수 있다. 예측부는 현재 블록에 대하여 인트라 예측을 수행할 수도 있고, 인터 예측을 수행할 수도 있다. 인트라 예측을 수행할 것인지 인터 예측을 수행할 것인지는 RDO(Rate Distortion Optimization) 등을 고려하여 결정될 수 있다.
스킵 모드가 적용되는 경우가 아니면, 예측부는 예측 신호를 생성하고, 원본 신호와 예측 신호의 차인 레지듀얼 신호를 생성할 수 있다.
인코더는 레지듀얼 신호를 변환 및 양자화 할 수 있다(S1720). 레지듀얼 신호의 변환은 변환부에서 수행될 수 있으며, 변환된 신호(예컨대 변환 계수)의 양자화는 양자화부에서 수행될 수 있다.
변환 및 양자화된 신호는 엔트로피 인코딩 과정을 거쳐 전송될 수 있다.
인코더는 변환 및 양자화된 신호를 역양자화 및 역변환하여 현재 블록을 복원한다(S1730). 역양자화 및 역변환된 신호는 레지듀얼 신호와 더해져서 원본 신호로 복원된다.
인코더는 복원된 신호에 디블록킹 필터링을 적용할 수 있다(S1740). 복원된 신호는 디블록킹 필터링에 의해 원본에 더 가까운 신호로 복원될 수 있다. 디블록킹 필터링은 필터부에서 수행될 수 있으며, 필터부는 디블록킹 필터링을 적용한 후 SAO(Sample Adaptive Offset)를 적용할 수도 있다.
디블록킹 필터링의 구체적인 방법은 도면과 함께 앞서 설명한 바와 같다.
디블록킹 필터링이 적용된 신호는 DPB(Decoded Picture Buffer)와 같은 메모리에 저장되며, 다른 블록 또는 다른 픽처의 예측에 참조될 수 있다.
여기서는 예측에 의해 레지듀얼 신호를 생성하고 전송하는 것을 설명하였으나, 스킵 모드가 적용되는 경우에는 레지듀얼 신호를 생성/전송하지 않는다.
도 18은 본 발명에 따라서 영상을 디코딩하는 방법을 개략적으로 설명하는 순서도이다.
도 18을 참조하면, 디코딩 장치는 수신한 비트스트림을 엔트로피 디코딩하고 현재 블록에 대한 예측을 수행한다(S1810). 현재 블록에 대한 예측은 디코딩 장치 내의 예측부에서 수행할 수 있다. 예측부는 인코딩 장치로부터 시그널링된 정보를 기반으로 현재 블록에 대한 인터 예측을 수행하거나 인트라 예측을 수행할 수 있다. 예측부는 예측에 의해 현재 블록에 대한 예측 신호(예측 블록)을 생성한다.
디코딩 장치는 현재 블록에 대한 예측을 기반으로 현재 블록을 복원한다(S1820). 디코딩 장치는 인코딩 장치로부터 수신한 비트스트림으로부터 역양자화/역변환을 통해 레지듀얼 신호(레지듀얼 블록)을 생성하고, 예측 신호(예측 블록)과 레지듀얼 신호(예측 블록)을 더하여 복원 신호(복원 블록)을 생성할 수 있다. 스킵 모드가 적용된 경우에는 레지듀얼 신호가 전송되지 않으며, 예측 신호를 복원 신호로 할 수 있다.
디코딩 장치는 복원 신호(복원 블록)에 디블록킹 필터링을 적용한다(S1830). 디블록킹 필터링은 디코딩 장치 내의 필터부에서 수행될 수 있다. 필터부는 복원 블록에 디블록킹 필터링을 적용하여 복원 블록을 원복 블록에 더 가깝게 수정(modify)한다.
디블록킹 필터링의 구체적인 내용은 앞서 도면과 함께 상세하게 설명했던 바와 같다.
필터부는 디블록킹 필터링을 적용한 후에 인코딩 장치로부터 수신한 정보에 기반하여 복원 블록에 SAO(Sample Adaptive Offset)을 적용할 수도 있다.
필터부를 거쳐 복원된 신호는 DPB(Decoded Picture Buffer)와 같은 메모리에 저장되어 다른 블록 또는 다른 픽처의 예측에 참조될 수 있으며, 복원 영상으로서 출력될 수도 있다.
도 17 및 도 18에서는 발명의 이해를 돕기 위해, 본 발명에 따른 디블록킹 필터링이 인코딩/디코딩 과정에서 적용되는 것을 개략적으로 설명하기 위한 것이며, 앞서 도면과 함께 상세하게 설명하였던 인코딩/디코딩 과정의 프로세스가 함께 적용될 수 있음에 유의한다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
지금까지 본 발명에 관한 설명에서 일 구성 요소가 타 구성 요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 상기 일 다른 구성 요소가 상기 타 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 상기 두 구성 요소 사이에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다. 반면에, 일 구성 요소가 타 구성 요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 두 구성 요소 사이에 다른 구성요소가 존재하지 않는 것으로 이해되어야 한다.

Claims (18)

  1. 디코딩 장치에 의하여 수행되는 디블록킹 필터링 방법에 있어서,
    비트스트림으로부터 획득한 영상 정보를 기반으로 현재 픽처 내 예측 샘플들을 도출하는 단계;
    상기 예측 샘플들을 기반으로 상기 현재 픽처를 복원하는 단계;
    디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 도출하는 단계;
    상기 디블록킹 필터링 단위 블록의 경계에서 대상 경계(target boundary)를 도출하는 단계;
    상기 대상 경계에 대한 bS (boundary strength)를 설정(set)하는 단계;
    상기 bS의 값이 0보다 크다는 결정을 기반으로, 상기 복원된 현재 픽처 내의 상기 대상 경계에 대한 디블록킹 필터링을 수행할지 여부를 결정하는 단계;
    상기 대상 경계에 대한 상기 디블록킹 필터링을 수행한다는 결정을 기반으로, 강한(strong) 필터링을 적용할지 또는 약한(weak) 필터링을 적용할지 여부를 결정하는 단계; 및
    상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부에 대한 상기 결정을 기반으로, 상기 복원된 현재 픽처 내의 상기 대상 경계에 대하여 상기 강한 필터링 또는 상기 약한 필터링을 적용하는 단계를 포함하되,
    상기 디블록킹 필터링 단위 블록은 변환 블록 또는 예측 블록을 포함하고,
    상기 디블록킹 필터링 단위 블록의 사이즈는 8Х8 픽셀 사이즈이고,
    상기 bS가 설정되는 상기 대상 경계의 길이는 4-픽셀 길이(4-pixels length)인 것을 특징으로 하는, 디블록킹 필터링 방법.
  2. 제1항에 있어서,
    상기 대상 경계에 대한 bS를 설정하는 단계에 있어서,
    상기 대상 경계에 인접한 두 개의 블록들 중 적어도 하나가 인트라 코딩되었다는 결정을 기반으로, 상기 대상 경계에 대한 상기 bS의 값은 2로 설정되고,
    상기 대상 경계에 인접한 상기 두 개의 블록들 중 적어도 하나가 인트라 코딩되지 않았고, 상기 대상 경계가 상기 디블록킹 필터링의 적용 대상이라는 결정을 기반으로 상기 대상 경계에 대한 상기 bS의 값은 1로 설정되며,
    상기 대상 경계가 상기 디블록킹 필터링의 적용 대상이 아니라는 결정을 기반으로, 상기 대상 경계에 대한 상기 bS의 값은 0으로 설정되는 것을 특징으로 하는, 디블록킹 필터링 방법.
  3. 제2항에 있어서,
    상기 대상 경계에 인접한 상기 두 개의 블록들 중 적어도 하나가 인트라 코딩되지 않았고, 상기 대상 경계를 경계로 하는 두 개의 블록들 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우 또는 상기 대상 경계에 인접한 상기 두 개의 블록들이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우, 상기 대상 경계에 대한 상기 bS의 값이 1로 설정되는 것을 특징으로 하는, 디블록킹 필터링 방법.
  4. 제1항에 있어서,
    상기 대상 경계에 대한 bS를 설정하는 단계에 있어서,
    상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들이 상기 디블록킹 필터링 단위 블록을 포함하는 상기 픽처 내의 수평 에지들보다 먼저 체크되는 것을 특징으로 하는, 디블록킹 필터링 방법.
  5. 제1항에 있어서,
    상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부는 상기 대상 경계에 인접한 상기 두 개의 블록들의 샘플들을 기반으로 결정되고,
    이때 상기 대상 경계가 수직 에지라는 결정을 기반으로, 상기 대상 경계를 경계로 하는 샘플 행들의 샘플들 중 상기 디블록킹 필터링의 대상이 되는 샘플들을 기반으로 상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부가 결정되고,
    상기 대상 경계가 수평 에지라는 결정을 기반으로, 상기 대상 경계를 경계로 하는 샘플 열들의 샘플들 중 상기 디블록킹 필터링의 대상이 되는 샘플들을 기반으로 상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부가 결정되는 것을 특징으로 하는 디블록킹 필터링 방법.
  6. 제1항에 있어서,
    상기 강한 필터링 또는 상기 약한 필터링을 적용하는 단계는,
    상기 약한 필터링을 적용한다는 결정을 기반으로, 상기 디블록킹 필터링의 대상이 되는 샘플들 중 선택된 샘플들에 필터링을 적용하는 단계를 포함하는 것을 특징으로 하는 디블록킹 필터링 방법.
  7. 제1항에 있어서,
    상기 대상 경계에 대한 상기 bS의 값이 0보다 크다는 결정을 기반으로, 상기 대상 경계의 특정 행(row)들 또는 열(column)들에 위치한 특정 샘플들을 기반으로 상기 대상 경계에 대한 디블록킹 필터링 적용 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는, 디블록킹 필터링 방법.
  8. 제7항에 있어서,
    상기 대상 경계가 수직 에지라는 결정을 기반으로, 상기 특정 행들은 k번째 행 및 k+3번째 행을 포함하는 것으로 결정되고,
    상기 대상 경계가 수평 에지라는 결정을 기반으로, 상기 특정 열들은 k번째 열 및 k+3번째 열을 포함하는 것으로 결정되는 것을 특징으로 하는, 디블록킹 필터링 방법.
  9. 디블록킹 필터링을 수행하는 디코딩 장치에 있어서,
    비트스트림으로부터 획득한 영상 정보를 기반으로 현재 픽처 내 예측 샘플들을 도출하는 예측부;
    상기 예측 샘플들을 기반으로 상기 현재 픽처를 복원하는 복원 블록 생성부; 및
    디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 도출하고, 상기 디블록킹 필터링 단위 블록의 경계에서 대상 경계(target boundary)를 도출하고, 상기 대상 경계에 대한 bS (boundary strength)를 설정(set)하고, 상기 bS의 값이 0보다 크다는 결정을 기반으로 상기 복원된 현재 픽처 내의 상기 대상 경계에 대한 디블록킹 필터링을 수행할지 여부를 결정하고, 상기 대상 경계에 대한 상기 디블록킹 필터링을 수행한다는 결정을 기반으로, 강한(strong) 필터링을 적용할지 또는 약한(weak) 필터링을 적용할지 여부를 결정하고, 상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부에 대한 상기 결정을 기반으로 상기 복원된 현재 픽처 내의 상기 대상 경계에 대하여 상기 강한 필터링 또는 상기 약한 필터링을 적용하는 필터부를 포함하되,
    상기 디블록킹 필터링 단위 블록은 변환 블록 또는 예측 블록을 포함하고,
    상기 디블록킹 필터링 단위 블록의 사이즈는 8Х8 픽셀 사이즈이고,
    상기 bS가 설정되는 상기 대상 경계의 길이는 4-픽셀 길이(4-pixels length)인 것을 특징으로 하는, 디코딩 장치.
  10. 제9항에 있어서,
    상기 필터부는, 상기 대상 경계에 대한 bS를 설정함에 있어서,
    상기 대상 경계에 인접한 두 개의 블록들 중 적어도 하나가 인트라 코딩되었다는 결정을 기반으로 상기 대상 경계에 대한 상기 bS의 값을 2로 설정하고,
    상기 대상 경계에 인접한 상기 두 개의 블록들 중 적어도 하나가 인트라 코딩되지 않았고, 상기 대상 경계가 상기 디블록킹 필터링의 적용 대상이라는 결정을 기반으로 상기 대상 경계에 대한 상기 bS의 값을 1로 설정하며,
    상기 대상 경계가 상기 디블록킹 필터링의 적용 대상이 아니라는 결정을 기반으로, 상기 대상 경계에 대한 상기 bS의 값을 0으로 설정하는 것을 특징으로 하는, 디코딩 장치.
  11. 제10항에 있어서,
    상기 필터부는,
    상기 대상 경계에 인접한 상기 두 개의 블록들 중 적어도 하나가 인트라 코딩되지 않았고, 상기 대상 경계를 경계로 하는 두 개의 블록들 중 적어도 하나가 0이 아닌 변환 계수를 포함하는 경우 또는 상기 대상 경계에 인접한 상기 두 개의 블록들이 서로 상이한 참조 픽처 또는 서로 상이한 움직임 벡터를 가지는 경우, 상기 대상 경계에 대한 상기 bS의 값을 1로 설정하는 것을 특징으로 하는, 디코딩 장치.
  12. 제9항에 있어서,
    상기 필터부는,
    상기 대상 경계에 대한 bS를 설정함에 있어서,
    상기 디블록킹 필터링 단위 블록을 포함하는 픽처 내의 수직 에지들을 상기 디블록킹 필터링 단위 블록을 포함하는 상기 픽처 내의 수평 에지들보다 먼저 체크하는 것을 특징으로 하는, 디코딩 장치.
  13. 제9항에 있어서,
    상기 필터부는,
    상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부를 상기 대상 경계에 인접한 상기 두 개의 블록들의 샘플들을 기반으로 결정하고,
    이때 상기 대상 경계가 수직 에지라는 결정을 기반으로, 상기 대상 경계를 경계로 하는 샘플 행들의 샘플들 중 상기 디블록킹 필터링의 대상이 되는 샘플들을 기반으로 상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부를 결정하고,
    상기 대상 경계가 수평 에지라는 결정을 기반으로, 상기 대상 경계를 경계로 하는 샘플 열들의 샘플들 중 상기 디블록킹 필터링의 대상이 되는 샘플들을 기반으로 상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부를 결정하는 것을 특징으로 하는, 디코딩 장치.
  14. 제9항에 있어서,
    상기 필터부는,
    상기 강한 필터링 또는 상기 약한 필터링을 적용함에 있어서,
    상기 약한 필터링을 적용한다는 결정을 기반으로, 상기 디블록킹 필터링의 대상이 되는 샘플들 중 선택된 샘플들에 필터링을 적용하는 것을 특징으로 하는, 디코딩 장치.
  15. 제9항에 있어서,
    상기 필터부는,
    상기 대상 경계에 대한 상기 bS의 값이 0보다 크다는 결정을 기반으로, 상기 대상 경계의 특정 행(row)들 또는 열(column)들에 위치한 특정 샘플들을 기반으로 상기 대상 경계에 대한 디블록킹 필터링 적용 여부를 판단하는 것을 특징으로 하는, 디코딩 장치.
  16. 제15항에 있어서,
    상기 필터부는,
    상기 대상 경계가 수직 에지라는 결정을 기반으로, 상기 특정 행들은 k번째 행 및 k+3번째 행을 포함하는 것으로 결정하고,
    상기 대상 경계가 수평 에지라는 결정을 기반으로, 상기 특정 열들은 k번째 열 및 k+3번째 열을 포함하는 것으로 결정하는 것을 특징으로 하는, 디코딩 장치.
  17. 인코딩 장치에 의하여 수행되는 디블록킹 필터링 방법에 있어서,
    현재 픽처 내 예측 샘플들을 도출하는 단계;
    상기 예측 샘플들을 기반으로 상기 현재 픽처를 복원하는 단계;
    디블록킹 필터링을 적용하는 단위 블록인 디블록킹 필터링 단위 블록의 경계를 도출하는 단계;
    상기 디블록킹 필터링 단위 블록의 경계에서 대상 경계를 도출하는 단계;
    상기 대상 경계에 대한 bS (boundary strength)를 설정(set)하는 단계;
    상기 bS의 값이 0보다 크다는 결정을 기반으로, 상기 복원된 현재 픽처 내의 상기 대상 경계에 대한 디블록킹 필터링을 수행할지 여부를 결정하는 단계;
    상기 대상 경계에 대한 상기 디블록킹 필터링을 수행한다는 결정을 기반으로, 강한(strong) 필터링을 적용할지 또는 약한(weak) 필터링을 적용할지 여부를 결정하는 단계; 및
    상기 강한 필터링을 적용할지 또는 상기 약한 필터링을 적용할지 여부에 대한 상기 결정을 기반으로, 상기 복원된 현재 픽처 내의 상기 대상 경계에 대하여 상기 강한 필터링 또는 상기 약한 필터링을 적용하는 단계를 포함하되,
    상기 디블록킹 필터링 단위 블록은 변환 블록 또는 예측 블록을 포함하고,
    상기 디블록킹 필터링 단위 블록의 사이즈는 8Х8 픽셀 사이즈이고,
    상기 bS가 설정되는 상기 대상 경계의 길이는 4-픽셀 길이(4-pixels length)인 것을 특징으로 하는, 디블록킹 필터링 방법.
  18. 지시들에 대한 정보(information on instructions)를 저장하는 디코딩 장치로 판독 가능한(decoder readable) 디지털 저장 매체(digital storage medium)로서, 상기 지시들에 대한 정보는 상기 디코딩 장치가 청구항 1항의 상기 디블록킹 필터링 방법을 수행하도록 야기(cause)하는 것을 특징으로 하는, 디지털 저장 매체.
KR1020197033742A 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치 KR102138260B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161537029P 2011-09-20 2011-09-20
US61/537,029 2011-09-20
US201161545594P 2011-10-11 2011-10-11
US61/545,594 2011-10-11
PCT/KR2012/007468 WO2013042923A1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020147010209A Division KR102047491B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207021265A Division KR102219231B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20190130677A KR20190130677A (ko) 2019-11-22
KR102138260B1 true KR102138260B1 (ko) 2020-07-28

Family

ID=47914614

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020207021265A KR102219231B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020227045533A KR102590030B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020217030108A KR102392019B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020217004740A KR102305587B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020147010209A KR102047491B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020227013638A KR102482777B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020197033742A KR102138260B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치

Family Applications Before (6)

Application Number Title Priority Date Filing Date
KR1020207021265A KR102219231B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020227045533A KR102590030B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020217030108A KR102392019B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020217004740A KR102305587B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020147010209A KR102047491B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치
KR1020227013638A KR102482777B1 (ko) 2011-09-20 2012-09-18 영상 정보 인코딩/디코딩 방법 및 장치

Country Status (5)

Country Link
US (7) US8971419B2 (ko)
EP (1) EP2750385A4 (ko)
KR (7) KR102219231B1 (ko)
CN (5) CN103947203B (ko)
WO (1) WO2013042923A1 (ko)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625914B2 (en) 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
CA2844761C (en) 2011-10-31 2016-11-29 Mediatek Singapore Pte. Ltd. Method and apparatus of deblocking filter with simplified boundary strength decision
KR102350071B1 (ko) * 2011-11-04 2022-01-11 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
US9565451B1 (en) * 2014-10-31 2017-02-07 Google Inc. Prediction dependent transform coding
KR20180006411A (ko) * 2015-06-07 2018-01-17 엘지전자 주식회사 디블록킹 필터링을 수행하는 방법 및 장치
CN115134609A (zh) * 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
US11695958B2 (en) * 2016-02-01 2023-07-04 Lg Electronics Inc. Method and apparatus for encoding/decoding video signal by using edge-adaptive graph-based transform
WO2017175898A1 (ko) * 2016-04-07 2017-10-12 엘지전자(주) 인트라 예측 필터링을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20240066303A (ko) * 2016-12-28 2024-05-14 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
CN107181953B (zh) * 2017-03-31 2019-09-17 北京奇艺世纪科技有限公司 一种边界滤波强度的确定方法及装置
KR20230079466A (ko) * 2017-04-11 2023-06-07 브이아이디 스케일, 인크. 면 연속성을 사용하는 360 도 비디오 코딩
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
AU2018416684B2 (en) * 2018-03-29 2022-12-01 Sony Corporation Image processing apparatus and image processing method
CN118042167A (zh) * 2018-03-29 2024-05-14 艾锐势有限责任公司 用于对hdr内容进行去方块的系统和方法
CN110675401B (zh) * 2018-07-02 2023-07-11 浙江大学 一种全景图像像素块滤波方法及装置
WO2020073904A1 (en) * 2018-10-08 2020-04-16 Huawei Technologies Co., Ltd. An image processing device and method for performing deblocking
CN117857806A (zh) 2018-12-07 2024-04-09 华为技术有限公司 一种编码器、解码器及去块滤波器的边界强度的对应推导方法
KR102605674B1 (ko) * 2019-01-02 2023-11-23 엘지전자 주식회사 디블록킹 필터링을 사용하는 영상 코딩 방법 및 장치
WO2020147782A1 (en) 2019-01-17 2020-07-23 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of deblocking filter adaptation
US11418811B2 (en) 2019-03-12 2022-08-16 Apple Inc. Method for encoding/decoding image signal, and device therefor
CN109905709B (zh) * 2019-03-21 2021-05-07 南京威翔科技有限公司 一种基于流水线重组方式的去方块滤波方法
US11122297B2 (en) 2019-05-03 2021-09-14 Google Llc Using border-aligned block functions for image compression
US11432015B2 (en) * 2019-07-11 2022-08-30 Qualcomm Incorporated Adaptive loop filtering across raster-scan slices
KR20220027986A (ko) * 2019-07-19 2022-03-08 엘지전자 주식회사 필터링을 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR20220049520A (ko) 2019-08-23 2022-04-21 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 코딩 블록 또는 서브블록 경계에서의 디블로킹 필터링
CN115315959A (zh) * 2020-03-25 2022-11-08 Lg电子株式会社 通过确定边界强度执行去块滤波的图像编码/解码方法和设备及发送比特流的方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126962A1 (en) * 2001-03-26 2006-06-15 Sharp Laboratories Of America, Inc. Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7450641B2 (en) 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
US6931063B2 (en) 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
EP1555832A3 (en) * 2004-01-14 2011-05-18 Samsung Electronics Co., Ltd. Adaptive loop filtering for reducing blocking artifacts
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8638862B2 (en) 2005-03-18 2014-01-28 Sharp Laboratories Of America, Inc. Methods and systems for upsampling filter design
US8175168B2 (en) 2005-03-18 2012-05-08 Sharp Laboratories Of America, Inc. Methods and systems for picture up-sampling
US7953161B2 (en) * 2005-04-27 2011-05-31 Broadcom Corporation System and method for overlap transforming and deblocking
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR100819289B1 (ko) 2006-10-20 2008-04-02 삼성전자주식회사 영상 데이터의 디블록킹 필터링 방법 및 디블록킹 필터
KR20080076817A (ko) * 2007-02-14 2008-08-20 삼성전자주식회사 디지털 동영상 처리 시스템의 디블록 필터링 장치 및 방법
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US20080298472A1 (en) * 2007-06-04 2008-12-04 Texas Instruments Incorporated Throughput Performance When Applying Deblocking Filters On Reconstructed Image Frames
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置
KR100968027B1 (ko) * 2007-06-27 2010-07-07 티유미디어 주식회사 가변블록 기반의 디블록킹 필터링 방법 및 장치와, 이에적용되는 디블록킹 필터
CN100493196C (zh) * 2007-07-27 2009-05-27 武汉大学 一种快速计算h.264视频标准中去块滤波边界强度值的方法
TWI375470B (en) * 2007-08-03 2012-10-21 Via Tech Inc Method for determining boundary strength
CN101472173B (zh) * 2007-12-29 2012-07-25 安凯(广州)微电子技术有限公司 一种去块滤波方法、系统及去块滤波器
US20090245351A1 (en) 2008-03-28 2009-10-01 Kabushiki Kaisha Toshiba Moving picture decoding apparatus and moving picture decoding method
JP4896915B2 (ja) * 2008-03-28 2012-03-14 株式会社東芝 動画像復号化装置および動画像復号化方法
US8995559B2 (en) * 2008-03-28 2015-03-31 Qualcomm Incorporated Signaling message transmission in a wireless communication network
US9794597B2 (en) * 2008-04-11 2017-10-17 Thomson Licensing Dtv Methods and apparatus for deblocking filtering of non-local intra prediction
CN101754010A (zh) * 2008-12-18 2010-06-23 北京中星微电子有限公司 视频数据编码的环路滤波方法和滤波器
TWI413415B (zh) * 2009-06-17 2013-10-21 Novatek Microelectronics Corp 以ｈ２６４解方塊為基礎的多源過濾器以及多源過濾方法
CN101651829A (zh) * 2009-06-29 2010-02-17 北京中星微电子有限公司 一种环路滤波的方法、装置及一种移动多媒体终端芯片
KR20110014000A (ko) 2009-08-04 2011-02-10 광운대학교 산학협력단 영상 데이터의 디블록킹 필터링 장치 및 방법과 이를 이용한 영상 복호화 장치 및 방법
KR101051871B1 (ko) * 2009-08-24 2011-07-25 성균관대학교산학협력단 디블록킹 필터에서의 경계면 세기 계수 판단 장치 및 방법
EP2323404A1 (en) * 2009-11-17 2011-05-18 Research In Motion Limited Additional information for in-loop video deblocking
CN102098501B (zh) * 2009-12-09 2013-05-08 中兴通讯股份有限公司 一种视频图像去块效应的方法和装置
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
WO2011152425A1 (ja) * 2010-06-03 2011-12-08 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
KR102219231B1 (ko) * 2011-09-20 2021-02-23 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
KR102350071B1 (ko) * 2011-11-04 2022-01-11 엘지전자 주식회사 영상 정보 인코딩/디코딩 방법 및 장치
JPWO2013108689A1 (ja) * 2012-01-19 2015-05-11 ソニー株式会社 画像処理装置および方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060126962A1 (en) * 2001-03-26 2006-06-15 Sharp Laboratories Of America, Inc. Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding

Also Published As

Publication number Publication date
US8971419B2 (en) 2015-03-03
CN108696752A (zh) 2018-10-23
KR102047491B1 (ko) 2019-11-21
CN108989803B (zh) 2021-05-28
KR20200090972A (ko) 2020-07-29
US20200260121A1 (en) 2020-08-13
KR102482777B1 (ko) 2022-12-29
KR102219231B1 (ko) 2021-02-23
US9986263B2 (en) 2018-05-29
KR20140071437A (ko) 2014-06-11
WO2013042923A1 (ko) 2013-03-28
CN108989806B (zh) 2021-07-27
CN108696753B (zh) 2021-07-27
KR20230003458A (ko) 2023-01-05
KR20210119556A (ko) 2021-10-05
KR20190130677A (ko) 2019-11-22
CN103947203B (zh) 2018-08-07
US20190246145A1 (en) 2019-08-08
US20220038694A1 (en) 2022-02-03
KR102305587B1 (ko) 2021-09-28
US9264739B2 (en) 2016-02-16
CN103947203A (zh) 2014-07-23
EP2750385A1 (en) 2014-07-02
KR102590030B1 (ko) 2023-10-17
US20150156516A1 (en) 2015-06-04
US10666983B2 (en) 2020-05-26
US20140204999A1 (en) 2014-07-24
CN108696753A (zh) 2018-10-23
KR20210021139A (ko) 2021-02-24
CN108989806A (zh) 2018-12-11
US20180242022A1 (en) 2018-08-23
US11172234B2 (en) 2021-11-09
CN108989803A (zh) 2018-12-11
KR20220057643A (ko) 2022-05-09
CN108696752B (zh) 2021-07-27
KR102392019B1 (ko) 2022-04-28
US20150156489A1 (en) 2015-06-04
US10298962B2 (en) 2019-05-21
EP2750385A4 (en) 2015-11-25

Similar Documents

Publication Publication Date Title
KR102138260B1 (ko) 영상 정보 인코딩/디코딩 방법 및 장치
JP6950055B2 (ja) 映像情報符号化／復号方法及び装置
WO2013077714A1 (ko) 영상 정보 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant