KR101438471B1 - 필터 유닛 기반 인-루프 필터링 방법 - Google Patents

필터 유닛 기반 인-루프 필터링 방법 Download PDF

Info

Publication number
KR101438471B1
KR101438471B1 KR1020137010079A KR20137010079A KR101438471B1 KR 101438471 B1 KR101438471 B1 KR 101438471B1 KR 1020137010079 A KR1020137010079 A KR 1020137010079A KR 20137010079 A KR20137010079 A KR 20137010079A KR 101438471 B1 KR101438471 B1 KR 101438471B1
Authority
KR
South Korea
Prior art keywords
filter
video
size
loop filtering
syntax
Prior art date
Application number
KR1020137010079A
Other languages
English (en)
Other versions
KR20130095279A (ko
Inventor
칭-예 첸
치-밍 후
시아-양 챠이
유-웬 황
쇼우-민 레이
Original Assignee
미디어텍 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어텍 인크. filed Critical 미디어텍 인크.
Publication of KR20130095279A publication Critical patent/KR20130095279A/ko
Application granted granted Critical
Publication of KR101438471B1 publication Critical patent/KR101438471B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

비디오 디코더 및 인코더에서의 필터-유닛 기반 인-루프 필터링 방법이 개시된다. 일 실시예에서, 필터 파라미터가, 필터 인덱스를 기반으로 하는 각 필터에 대한 필터 파라미터 세트로부터 선택된다. 다른 실시예에서, 픽쳐가, 디폴트 사이즈와 다른 사이즈 사이에서 선택될 수 있는 필터 유닛 사이즈에 따라 필터 유닛으로 분할된다. 다른 사이즈가 선택되는 경우, 상기 필터 유닛 사이즈는 직접적인 사이즈 정보 또는 비율 정보를 이용하여 전달될 수 있다. 다른 실시예에서, 병합 플래그 및 병합 인덱스가 필터 유닛 병합 정보를 전달하기 위하여 사용된다. 컬러 비디오에 대한, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법이 개시된다. 일 실시예에서, 상기 방법은 상기 FU에 대한 컬러 성분 필터 신택스를 인터리빙(interleaving)하여, 필터 신택스를 상기 비디오 비트스트림에 포함시킨다.

Description

필터 유닛 기반 인-루프 필터링 방법{METHOD OF FILTER-UNIT BASED IN-LOOP FILTERING}
본 발명은 2011년 1월 3일에 출원된 "미디어텍의 적응적 루프 필터(MediaTek's Adaptive Loop Filter)"라는 명칭의 미국 가특허 출원 제61/429,313호, 2011년 6월20일에 출원된 "샘플 적응적 오프셋을 위한 LCU 기반 신택스(LCU-based Syntax for Sample Adaptive Offset)"라는 명칭의 미국 가특허 출원 제61/498,949호, 2011년 7월 1일에 출원된, "샘플 적응적 오프셋을 위한 LCU 기반 신택스(LCU-based Syntax for Sample Adaptive Offset)"라는 명칭의 미국 가특허 출원 제61/503,870호, 2011년 10월 21일에 출원된 "적응적 루프 필터와 샘플 적응적 오프셋을 위한 필터 유닛 적응(Filter Unit Adaptation for Adaptive Loop Filter and Sample Adaptive Offset)"이라는 명칭의 미국 가특허 출원 제61/549,931호에 대한 우선권을 주장한다. 상기 미국 가특허 출원의 내용은 그 전체가 원용에 의해 본 명세서에 포함된다.
본 발명은 비디오 프로세싱(video processing)에 관한 것이다. 특히, 본 발명은 샘플 적응적 오프셋(sample adaptive offset)과 적응적 루프 필터(adaptive loop filter)를 포함하는, 필터 유닛 기반 인-루프 필터링 장치 및 방법에 관한 것이다.
비디오 코딩 시스템에서, 비디오 데이터는 예측(prediction), 변환(transform), 양자화(quantization) 및 디블로킹(deblocking)과 같은 다양한 프로세싱의 대상이다. 상기 비디오 코딩 시스템에서 프로세싱 경로를 따라, 노이즈가 유입될 수 있고, 비디오 데이터에 적용되는 오퍼레이션(operations)으로 인하여 프로세싱된 비디오 데이터의 특성(characteristics)이 오리지널(original) 비디오 데이터로부터 달라질 수 있다. 예를 들어, 처리된 비디오의 평균값(mean value)이 시프트(shift)될 수 있다. 강도 시프트(intensirty shift)는 시각적 결함(visual impairment) 또는 아티팩트(artifacts)를 야기할 수 있고, 이는 특히 강도 시프트가 픽쳐(picture)마다 가변할 경우 두드러지게 나타날 수 있다. 따라서, 픽셀(pixel) 강도 시프트는, 아티팩트를 감소시키기 위하여 신중하게 보상되거나 복원되어야 한다. 몇 가지 강도 오프셋 방식이 본 발명의 기술 분야에서 사용되어 왔다. 예를 들어, 샘플 적응적 오프셋(sample adaptive offset: SAO)으로 불리는 강도 오프셋 방식은, 선택된 컨텍스트(context)에 따라, 프로세싱된 비디오 데이터의 각 픽셀을 복수의 카테고리 중 어느 하나로 분류한다. SAO 방식은 일반적으로, 디코더가 적절하게 작동할 수 있도록, 픽쳐 또는 슬라이스(slice)를 블럭들로 분할하기 위한 파티션(partition) 정보와 각 블록의 SAO 오프셋 값과 같은, SAO 정보를 비디오 비트스트림(bitstream)에 포함시킬 것을 요구한다. SAO 외에, 적응적 루프 필터(adaptive loop filter: ALF)는, 비디오 품질을 향상시키기 위해 복원된 비디오에 흔히 적용되는 다른 종류의 인-루프 필터(in-loop filter)이다. 유사하게, 디코더가 적절하게 작동할 수 있도록, 파티션 정보와 필터 파라미터(parameters)와 같은 ALF 정보가 비디오 비트스트림에 포함되어야 한다.
종래의 코딩 시스템에서, 픽쳐-레벨 인-루프 필터링(picture-level in-loop filtering)이 자주 적용되는데, 이 경우 동일한 필터 파라미터가 픽쳐의 모든 블럭에 의해 공유된다. 픽쳐 레벨 인-루프 필터링은 간단하지만, 픽쳐의 국부적인(local) 특성에 대한 적응성(adaptivity)이 부족하다. 픽쳐의 국부적인 특성에 적응할 수 있는 인-루프 필터링 방식을 개발하는 것이 요구된다. 국부적 적응성을 가지는 인-루프 필터링 방식은 필터 정보를 전달하기 위한 더 많은 대역폭을 필요로 할 수 있다. 따라서, 필터 정보를 효율적으로 및/또는 융통성 있게 전달할 수 있는 신택스(syntax)를 개발하는 것이 요구된다.
비디오 디코더 및 인코더에서의 필터-유닛 기반 인-루프 필터링 방법이 개시된다. 본 발명에 따른 일 실시예를 포함하는 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법은 압축된 비디오에 대응하는 비디오 비트스트림(bitstream)을 수신하는 단계로서, FU(Filter Unit) 기반 인-루프 필터링(in-loop filtering)이 상기 압축된 비디오와 관련된 복원 루프에 사용되는, 비디오 비트스트림 수신 단계; 상기 비디오 비트스트림으로부터 복원된 비디오를 추출하는 단계로서, 상기 복원된 비디오는 하나 또는 그 이상의 FU로 분할되는, 복원된 비디오 추출 단계; 각각의 상기 하나 또는 그 이상의 FU에 대하여 상기 비디오 비트스트림으로부터 필터 인덱스(filter index)를 결정하는 단계; 상기 각각의 상기 하나 또는 그 이상의 FU에 대한 상기 필터 인덱스에 따라 필터 파라미터 세트(filter parameter set)로부터 필터 파라미터(filter parameter)를 결정하는 단계; 및 상기 필터 파라미터를 기반으로 하여 상기 각각의 상기 하나 또는 그 이상의 FU에 인-루프 필터링을 적용하는 단계를 포함한다. 대응하는 인코더에서, 상기 방법은 각각의 신택스 정보를 상기 비디오 비트스트림에 포함시킨다.
본 발명에 따른 다른 실시예에 있어서, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법은, 상기 비디오 비트스트림으로부터 FU 사이즈를 추출하는 단계; 상기 FU 사이즈에 따라 상기 복원된 비디오를 FU로 분할하는 단계; 및 상기 FU에 상기 인-루프 필터링을 적용하는 단계를 포함한다. FU 사이즈를 상기 비디오 비트스트림에 포함시키기 위한 신택스 모드(syntax mode)를 나타내기 위하여, 제1 플래그(flag)가 상기 비디오 비트스트림에 포함될 수 있다. 상기 신택스 모드가 직접 모드(direct mode)이면, 상기 FU 사이즈는 상기 비디오 비트스트림에 포함된 직접적인 사이즈 정보에 따라 결정된다. 상기 신택스 모드가 비율 모드(ratio mode)이면, 상기 FU 사이즈는 상기 비디오 비트스트림 내의 상기 FU 사이즈 비율과 최소 FU 사이즈에 따라 결정된다. 대응하는 인코더에서, 상기 방법은 각각의 신택스 정보를 상기 비디오 비트스트림에 포함시킨다.
본 발명에 따른 또 다른 실시예에 있어서, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법은, 각각의 상기 FU에 대하여 상기 비디오 비트스트림으로부터 병합(merge) 플래그를 추출하는 단계로서, 상기 병합 플래그가, 상기 각각의 상기 FU가 이웃하는 FU와 병합되는지 여부를 나타내는, 병합 플래그 추출 단계; 상기 병합 플래그가 상기 각각의 상기 FU가 병합되는 것을 나타내면, 상기 비디오 비트스트림으로부터 병합 인덱스를 수신하는 단계로서, 필터 파라미터가 상기 병합 인덱스가 나타내는 상기 이웃하는 FU의 필터 파라미터로부터 결정되는, 병합 인덱스 수신 단계; 상기 병합 플래그가 상기 각각의 상기 FU가 병합되지 않은 것을 나타내면, 상기 비디오 비트스트림으로부터 상기 필터 파라미터를 수신하는 단계; 및 상기 필터 파라미터를 이용하여 상기 각각의 상기 FU에 상기 인-루프 필터링을 적용하는 단계를 포함한다. 대응하는 인코더에서, 상기 방법은 상기 비디오 비트스트림에 각각의 신택스 정보를 포함시킨다.
컬러 비디오에 대한 비디오 디코더 및 인코더에서의 필터-유닛 기반 인-루프 필터링 방법이 또한 개시된다. 본 발명의 일 실시예에 따른 필터-유닛 기반 인-루프 필터링 방법은, 상기 FU에 대한 컬러 성분 필터 신택스를 인터리빙(interleaving)하여, 필터 신택스를 상기 비디오 비트스트림에 포함시킨다.
도 1a는 픽쳐 사이즈가 832×480이고, 필터 유닛 사이즈가 192×128인, 예시적인 필터 유닛 분할을 도시한다.
도 1b는 픽쳐 사이즈가 832×480이고, 필터 유닛 사이즈가 384×256인, 예시적인 필터 유닛 분할을 도시한다.
도 1c는 전체 픽쳐가 하나의 필터 유닛으로서 처리되는, 예시적인 필터 유닛 분할을 도시한다.
도 2는 본 발명의 일 실시예에 따른 alf _ param ()을 위한 예시적인 신택스 디자인을 도시한다.
도 3은 본 발명의 일 실시예에 따른 alf _ fu _ size _ param ()을 위한 예시적인 신택스 디자인을 도시한다.
도 4는 본 발명의 일 실시예에 따른 sao _ alf _ unit ()을 위한 예시적인 신택스 디자인을 도시한다.
도 5는 본 발명의 다른 실시예에 따른 sao _ alf _ unit ()을 위한 예시적인 신택스 디자인을 도시한다.
도 6은 본 발명의 일 실시예에 따른, 컬러 비디오를 위한 예시적인 인터리브된 FU 신택스를 도시한다.
도 7은 본 발명의 일 실시예에 따른, 컬러 비디오에 대한 컬러 성분의 픽쳐 기반 인-루프 필터링과 함께 예시적인 인터리브된 FU 신택스를 도시한다.
HEVC(High-Efficiency Video Coding)에서, 비디오 품질을 향상시키기 위해서 몇 가지 인-루프 필터링 툴(in-loop filtering tools)이 포함되어 왔다. 예를 들어, 적응적 오프셋(Adaptive Offset: AO)으로 불리는 기술이 복원된 비디오의 오프셋을 보상하기 위하여 도입되었고, AO가 복원 루프 내에 적용된다. 오프셋 보상을 위한 방법 및 시스템은 2011년 6월 12일에 출원된, "비디오 코딩을 위한 샘플 적응적 오프셋 장치 및 방법(Apparatus and Method of Sample Adaptive Offset for Video Coding)"라는 명칭의 미국 정규 특허 출원 제13/158,427호에 개시된다. 상기 방법은 각 픽셀을 복수의 카테고리 중 어느 하나로 분류하고, 강도 시프트 보상 또는 복원을 각 픽셀의 상기 카테고리에 기초하여 프로세싱된 비디오 데이터에 적용한다. 위의 AO 기술은 샘플 적응적 오프셋(Sample Adaptive Offset: SAO)으로 불린다. SAO 외에, 적응적 루프 필터(Adaptive Loop Filter: ALF) 또한, 비디오 품질을 향상시키기 위해 HEVC에 도입되어 왔다. ALF는 상기 복원 루프 내에서, 복원된 비디오에 공간 필터(spatial filter)를 적용한다. SAO와 ALF는 모두 본 명세서에서 인-루프 필터링으로서 고려된다.
인-루프 필터링이 용이하게 이루어지도록, 인-루프 필터링 프로세스와 관련된 정보가 비트스트림 신택스(bitstream syntax)에 포함되어야 할 것이다. 인-루프 필터링과 관련된 신택스는, 관련된 신택스의 비트 레이트(bit rate)를 감소시키기 위하여 공유할 다수의 블록(blocks)에 대해, 시퀀스(sequence) 레벨 또는 픽쳐(picture) 레벨과 같은 더 높은 레벨에 주로 포함된다. 높은 레벨에서 상기 인-루프 필터링 정보를 포함하는 것이 상기 관련된 신택스의 비트 레이트를 감소시킬 수는 있으나, 그러한 방법은 픽쳐 내에서의 국부적인(local) 변화에 빠르게 적응하지 못할 수 있다. 몇 가지 개선된 방식은 어느 정도의 국부적 적응성을 제공한다고 알려져 있다. 예를 들어, SAO는 픽쳐 또는 픽쳐 영역을 더 작은 블록으로 적응적으로 분할하기 위해서 쿼드트리(quadtree)를 이용할 수 있고, SAO는 각각의 리프 블록(leaf block)에 적용될 수 있다. 반면에, ALF는 국부화(localization)를 제공하기 위하여 그룹 플래그(group flag)를 이용할 수 있다.
인-루프 필터링 프로세스가 픽쳐의 국부적 특성에 기초하여 실시될 수 있도록 하기 위하여 보다 동적인 적응(dynamic adaptation)을 제공할 수 있는 기술을 개발하는 것이 바람직하다. 본 발명에 따른 실시예는 픽쳐 레벨(picture-level) 신택스 대신 신택스를 기반으로 하는 필터 유닛(filter unit)을 이용한다. 필터 유닛(FU)은 인-루프 필터링 프로세스에 사용되는 프로세싱 유닛으로서, HEVC에서 사용되는 코딩 유닛(CU)와는 상이할 수 있다. 2011년 4월 25일에 출원된, "적응적 루프 필터링 방법 및 장치(Method and Apparatus of Adaptive Loop Filtering)"라는 명칭의 미국 정규 특허 출원 제13/093,068호에서, 각각의 FU가 필터 세트 중 어느 하나를 후보로 선택할 수 있는, FU 기반의 ALF가 개시되어 있다. 일 예에서, 픽쳐는 동일한 크기를 가지는 필터 유닛들로 분할될 수 있다. 픽쳐 사이즈가 FU 사이즈에 따라 분할될 수 없는 경우, 픽쳐의 로우/컬럼(row/column)의 끝에서의 몇 가지 FU는 더 작을 수 있다. 도 1a 내지 도 1c는 세 가지의 상이한 FU 사이즈에 대한 FU 분할(partition)의 예를 나타낸다. 이러한 예에서 사용된 픽쳐 사이즈는 832×480이다. 도 1a 내지 도 1c에서 각각의 작은 정사각형은 64×64 LCU(Largest Coding Unit)를 나타내고, 가장 아래에 있는 블록들은 64×32의 크기를 가진다. 픽쳐 사이즈와 FU 사이즈가 알려져 있다면, FU 분할은 그에 따라 결정될 수 있다. 예를 들어, 192×128의 FU 사이즈는, 도 1a에 도시된 바와 같이 20개의 FU를 만들 수 있으며, FU04, FU09 및 FU14는 64×128의 사이즈를 가지고, FU15부터 FU18은 192×96의 사이즈를 가지며, FU19는 64×96의 사이즈를 가진다. 도 1b는 FU가 384×256의 사이즈를 가지는 경우를 나타낸다. 그것은 여섯 개의 FU를 만들고, FU2는 64×256의 사이즈를 가지고, FU3 및 FU4는 384×224의 사이즈를 가지며, FU5는 64×224의 사이즈를 가진다. 도 1c는 FU가 전체 픽쳐를 커버(cover)하는 예를 나타낸다. 도 1a 내지 도 1c에서, 의도된 FU는 LCU에 의해 측정되었으나, 다른 블록 사이즈 또한 사용될 수 있다.
픽쳐가 FU로 분할된 후에, 상기 인-루프 필터링 프로세스에서 픽쳐의 국부적 특성에 적응하기 위하여, 복수의 후보 필터로 구성된 필터 세트(필터 파라미터 세트로 불리기도 함)가 결정될 수 있다. 도 2는 ALF의 인-루프 필터 파라미터를 수용하는 alf _ param ()의 예시적인 신택스 디자인을 나타낸다. 부호 210의 신택스 섹션(syntax section)은, FU 분할이 alf _ fu _ size _ flag가 나타내는 바와 같이 사용되면, 필터 세트의 후보 필터 개수(AlfFsNum)가 AlfFsNum = alf _ fs _ num _ minus1 + 1에 따라 결정되는 것을 나타내고, 여기서 alf _ fs _ num _ minus1 필터 세트의 후보 필터 개수와 관련된 비트스트림의 신택스 요소(syntax element)이다. 부호 220의 신택스 섹션은 각각의 후보 필터의 필터 파라미터가 결정되는 것을 나타낸다. 픽쳐 폭(picture width)에서 FU의 개수(AlfFuNumW)와, 픽쳐 높이(picture height)에서 FU의 개수(AlfFuNumH)는 부호 230의 신택스 섹션에서 결정된다. 또한, FU 분할이 alf_fu_size_flag 가 나타내는 바와 같이 가능하면, 부호 240의 신택스 섹션에 도시된 바와 같이, FU 병합(merge)이 허용되는지와 후보 필터가 각각의 FU에 대해 선택되는지를 나타내기 위하여, 플래그, alf _ enable _ fu _ merge가 포함된다. 도 2에서의 신택스 디자인은, 각각의 필터 유닛의 비트스트림에 개별적으로 필터 파라미터를 포함하는 대신 각각의 필터 유닛에 대해 필터 인덱스(filter index)를 사용하는 예를 나타낸다. 필터 인덱스는 명시적인 필터 파라미터보다 비트 레이트 면에서 더 효율적인 필터 정보 표현이다. 본 발명이 속하는 기술 분야의 당업자라면 도 2에 도시된 상기 신택스 디자인을 수정함으로써 본 발명을 실시할 수 있다.
FU 사이즈 정보는, 도 3에 도시된 바와 같이, alf _ fu _ size _ param ( ) 이용하여 포함될 수 있다. alf _ fu _ size _ flag가 1의 값을 가지면, 그것은 FU 분할이 사용되는 것을 나타낸다. FU 분할이 사용되면, 디폴트(default) FU 사이즈 또는 다른 FU 사이즈 중 어느 것이 사용되었는지와 관련하여, FU 사이즈가 FU 사이즈 변경 플래그, alf _ change _ fu _ size에 의해 표시될 수 있다. 디폴트 사이즈가 아닌 FU 사이즈가 사용되는 경우(즉, alf _ change _ fu _ size = 1), 상기 FU 사이즈 정보를 포함하는 alf _ fu _ size _ syntax _ mode가 나타내는 바와 같이, 예시적인 신택스는 두 개의 대체 가능한 방법을 수용한다. alf _ fu _ size _ syntax _ mode가 1의 값을 가지면, FU 사이즈 정보는 부호 310의 신택스 섹션에 나타난 바와 같이 직접 포함되며, alf_fu_ width _ in _ lcu _ minus1는 LCU 단위의 FU 폭(FU width)과 관련되고, alf _ fu _ height_in_lcu_minus1는 LCU 단위의 FU 높이(FU height)와 관련된다. alf_fu_size_syntax_mode가 0의 값을 가지면, FU 사이즈 정보는 FU 사이즈 비율(ratio)을 이용하여 표현된다. 이러한 경우에, FU 사이즈는, 부호 320의 신택스 섹션에 도시된 바와 같이, 최소 FU 사이즈와 곱셈 인자(multiplication factor)(alf_fu_size_ratio_minus2)의 곱과 같다. 도 3의 예는 최소 FU 사이즈로서 디폴트 FU 사이즈를 사용한다. 신택스 요소, alf _ default _ fu _ width _ in _ lcu _ minus1은 LCU 단위의 디폴트 FU 폭과 관련되고, 신택스 요소, alf_default_fu_height_in_ lcu _ minus1은 LCU 단위의 최소 FU 높이와 관련된다. 신택스 요소, alf _ change _ fu _ size가 0의 값을 가지면, 부호 330의 신택스 섹션에 도시된 바와 같이, 디폴트 FU 사이즈가 사용된다. 신택스 요소, alf _ fu _ size _ flag가 0의 값을 가지면, 그것은, 부호 340의 신택스 섹션에 도시된 바와 같이, FU 분할이 없고 FU 사이즈가 픽쳐 사이즈임을 나타낸다. 도 3의 신택스 디자인은, 신택스 모드 플래그(즉, alf _ fu _ size _ syntax _ mode)에 따라 직접 모드(direct mode) 또는 비율 모드(ratio mode)를 사용하여, FU 사이즈 정보를 상기 비트스트림 신택스에 포함시키는 예를 나타낸다. 본 발명이 속하는 기술 분야의 당업자라면 도 3에 도시된 상기 신택스 디자인을 수정함으로써 본 발명을 실시할 수 있다.
FU 병합이 허용되면, 유사한 특성을 가지는 이웃하는 FU들은, 코딩 효율을 향상시키기 위하여, 동일한 후보 필터를 공유할 수 있다. FU 병합 정보를 전달하는 일 예는 병합된 연속 FU의 개수를 전달하는 것인데, 상기 병합된 연속 FU의 개수를 런(run)이라고 한다. 2011년 12월 6일에 출원된, "루마 및 크로마 성분에 대한 샘플 적응적 오프셋 장치 및 방법(Apparatur and Method of Sample Adaptive Offset for Luma and Chroma Components)"이라는 명칭의 미국 정규 특허 출원 제13/311,953호에서, 런을 기반으로 한 FU 병합 표현이 개시되어 있다. FU 구조에 대한 예시적인 신택스 디자인, sao _ alf _ unit ( rx , ry , c)이 도 4에 도시되어 있으며, 인-루프 필터링은 SAO 및 ALF를 포함하고, rx ry는 각각 FU 수평 인덱스 및 수직 인덱스이며, c는 컬러 성분(즉, Y, Cb or Cr)을 나타낸다. 코딩 효율을 더 향상시키기 위하여, FU의 로우는 동일한 후보 필터를 공유할 수 있다. 비트 레이트를 유지하기 위해서, ry에서 상기 FU의 로우가 동일한 필터 정보를 가지는지 아닌지를 나타내는데 신택스 요소, repeat _ row _ flag [ c ] [ ry]가 사용될 수 있다. 좌측 FU와 병합된 FU의 개수를 나타내는데 신택스 요소, run _ diff [ c ] [ ry ] [ rx ]가 사용될 수 있다.
도 4의 예시적인 신택스 디자인이, FU 기반 인-루프 필터링을 위한 필터 공유의 런 기반 표현을 나타내지만, 상기 필터 공유를 나타내기 위하여 다른 방법 또한 사용될 수 있다. 병합 플래그를 기반으로 하는 대체 가능한 신택스 디자인이 도 5에 도시되어 있다. (rx , ry)에서 컬러 성분 c를 가지는 FU가 그것의 이웃하는 블록 중 어느 하나와 병합되는지를 나타내기 위하여 신택스 요소, merge _ flag [ c ] [ ry] [ rx ]가 사용될 수 있다. 부호 510의 신택스 섹션에 나타난 바와 같이, repeat_row_flag [ c ] [ ry ]가 FU의 로우가 반복되지 않았음을 나타내는 경우에만, 신택스 요소, merge _ flag [ c ] [ ry] [ rx ]가 포함된다. 또한, 부호 510의 신택스 섹션에 따라, rx가 0이고 ry가 0이면 merge _ flag [ c ] [ ry ] [ rx ]가 0이 된다. merge _ flag [ c ] [ ry] [ rx ]가 FU가 그것의 이웃하는 블록 중 어느 하나와 병합되는 것을 나타내면, 부호 520의 신택스 섹션에 도시된 바와 같이, FU가 이웃하는 블록들 중 어느 블록과 병합되었는지를 나타내기 위하여 merge_index [ c ] [ ry] [ rx ]가 포함된다. merge _ flag [ c ] [ ry] [ rx ]가 FU가 병합되지 않은 것을 나타내는 경우, 부호 530의 신택스 섹션에 도시된 바와 같이, 필터 정보를 제공하기 위하여 신택스 요소, sao _ alf _ param ( rx , ry , c )가 포함될 것이다. 도 5의 신택스 디자인은 현재의 FU가 병합되었는지 여부와 현재의 FU가 이웃하는 FU들 중 어느 FU와 병합되었는지를 보여주는 병합 인덱스(merge index)를 나타내기 위하여, 병합 플래그를 포함시키는 예를 나타낸다. 본 발명이 속하는 기술 분야의 당업자라면 도 5에 도시된 상기 신택스 디자인을 수정함으로써 본 발명을 실시할 수 있다.
상기 픽쳐 레벨 인-루프 필터링 신택스가 사용되면, 신택스는 언제나 상기 픽쳐 또는 더 높은 레벨에 포함된다. 컬러 비디오의 경우, 픽쳐가 각각의 컬러 성분에 대해 개별적인 인-루프 필터링 정보를 사용하도록 하기 위하여, 또는 색차(chrominance: chroma) 성분이 휘도(luminance: luma) 성분과 인-루프 필터링 정보를 공유하도록 하기 위하여, 픽쳐 레벨 신택스가 사용될 수 있다. 컬러 비디오에 대한 FU 기반 인-루프 필터링의 신택스는, 전체 픽쳐에 대한 루마 성분과 관련된 정보와 그 뒤에 이어지는 전체 픽쳐에 대한 크로마 성분과 관련된 정보를 포함할 수 있다. 따라서, 크로마 FU에 대한 상기 인-루프 필터링 프로세스는, 픽쳐의 모든 루마 FU에 대한 정보가 수신될 때까지 기다려야 할 수 있다. 대기 시간(latency)을 감소시키기 위하여, 본 발명에 따른 일 실시예는, FU 기반 인-루프 필터링을 사용하는 컬러 비디오에 대하여 인터리브된 신택스(interleaved syntax)를 활용한다. 도 6은 컬러 비디오의 FU 기반 인-루프 필터링에 대한 인터리브된 신택스의 예시적인 예를 나타낸다. FU 기반 필터 신택스는 FU 순서에 따라 포함된다. 각각의 FU에 대하여, 컬러 성분에 대한 신택스는 차례로 포함된다. 예를 들어, FU0의 Y성분(610)과 관련된 신택스 다음에 Cb 성분(612)과 Cr성분(614)이 이어진다. FU0의 모든 컬러 성분에 대한 필터 신택스가 포함된 후에, FU1의 Y성분(620)이 포함되고, Cb성분(622)과 Cr성분(624)이 이어진다. 나머지 FU에 대한 신택스가 동일한 방식으로 포함될 수 있다. 도 6의 인터리브된 필터 신택스는 본 발명에 따른 예시적인 실시예를 나타낸다. 필터 신택스는 도 6의 모든 FU에 대하여 인터리브된다. 당업자라면, 본 발명의 사상을 벗어나지 않는 다른 배열을 이용하여 상기 발명을 실시할 수 있다. 예를 들어, 세 가지 컬러 성분에 대한 YCbCr 신택스 순서는 CbCrY 또는 YCrCb와 같이 수정될 수 있다. 도 6이 하나하나의 FU에 대한 신택스 인터리빙의 예를 나타내지만, 본 발명의 실시예는 복수의 FU에 대한 필터 신택스 인터리빙을 수행할 수 있다. 예를 들어, 신택스 인터리빙은 두 개의 FU마다, 즉, Y FU0, Y FU1, Cb FU0, Cb FU1, Cr FU0, Cr FU1, Y FU2, Y FU3, Cb FU2, Cb FU3, Cr FU2, Cr FU3 등과 같이 수행될 수 있다.
FU 기반 인-루프 필터링이 허용되면, 슬라이스 레벨(slice-level), 픽쳐 레벨 또는 시퀀스 레벨에서의 선택 플래그(selection flag)에 따라, FU 기반 또는 픽쳐 기반의 인-루프 필터링을 적응적으로 선택하기 위하여, 슬라이스 레벨, 픽쳐 레벨 또는 시퀀스 레벨에서의 플래그가 사용될 수 있다. 본 발명에 따른 일 실시예에 있어서, 선택 플래그는 컬러 비디오에 대한 필터 신택스 인터리빙과 함께 사용될 수 있다. 필터 신택스 인터리빙과 선택 플래그를 이용하는, 예시적인 구성이 도 7에 도시되어 있는데, Y 및 Cr 성분은 FU 기반 인-루프 필터링을 사용하지만, Cb 성분은 픽쳐 레벨 인-루프 필터링을 사용한다. 필터 신택스는, 도 6에서 언급된 경우와 유사하게 Y 및 Cr 성분에 대한 FU 순서에 따라 포함된다. Cb 픽쳐에 대한 필터 신택스는 Y 성분의 첫번째 FU에 대한 필터 신택스 다음에 삽입될 수 있다. 따라서, 도 7에 도시된 바와 같이, 필터 신택스 배열은 Y FU0(710), Cb 픽쳐(712), Cr FU0(714), Y FU1(720), Cr FU1(724), Y FU2(730) 및 Cr FU2(734)가 된다. 또는, Cb 픽쳐에 대한 필터 신택스는 Y FU0에 대한 필터 신택스 앞에 배치될 수 있다.
본 발명에 따른 인-루프 필터링에 대한 신택스의 실시예는, 위에서 설명된 바와 같이, 다양한 하드웨어, 소프트웨어 코드, 또는 양자의 결합으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는, 여기서 설명된 프로세싱을 수행하기 위하여, 비디오 압축 칩(video compression chip)에 통합된 회로이거나 또는 비디오 압축 소프트웨어(video compression software)에 통합된 프로그램 코드(program codes)일 수 있다. 본 발명의 실시예는 또한, 여기서 설명된 프로세싱을 수행하기 위하여, DSP(Digital Signal Processor) 상에서 실행되는 프로그램 코드일 수 있다. 본 발명은 또한, 컴퓨터 프로세서(computer processor), DSP, 마이크로프로세서(microprocessor), 또는 FPGA(field programmable gate array)에 의해서 수행되는 다수의 기능을 포함할 수 있다. 이러한 프로세서는, 본 발명에 의해 구현되는 상기 특정 방법을 규정하는 기계 판독 가능(machine readable) 소프트웨어 코드 또는 펌웨어(firmware) 코드를 실행함으로써, 본 발명에 따른 특정의 태스크(task)를 수행하도록 구현될 수 있다. 상기 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 또는 상이한 포맷(format) 또는 형식(type)으로 개발될 수 있다. 상기 소프트웨어 코드는 또한, 상이한 타겟 플랫폼(target platform)에 대해 컴파일될 수 있다. 그러나, 본 발명에 따라 상기 태스크를 수행하기 위한, 소프트웨어 코드의 상이한 코드 포맷, 스타일 및 언어와 코드를 구성하는 다른 수단은 본 발명의 사상 및 범위를 벗어나지 않을 것이다.
본 발명은 그것의 사상 또는 본질적인 특성을 벗어나지 않는, 다른 특정 형태로 구현될 수 있다. 상기 설명된 예들은, 어디까지나 일 예로서 고려되어야 하고, 한정적인 것은 아니다. 상기 발명의 범위는, 따라서, 전술한 설명에 의해서가 아니라, 첨부된 청구항에 의해 정해진다. 상기 청구항의 의미 및 균등 범위 내에서 일어나는 모든 변화는 청구항의 범위 내에서 포함되어야 한다.

Claims (30)

  1. 비디오 디코더에서의 필터-유닛(filter-unit) 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 비디오에 대응하는 비디오 비트스트림(bitstream)을 수신하는 단계로서, FU(Filter Unit) 기반 인-루프 필터링(in-loop filtering)이 상기 압축된 비디오와 관련된 복원 루프에서 사용되는, 비디오 비트스트림 수신 단계;
    상기 비디오 비트스트림으로부터 복원된 비디오를 추출하는 단계로서, 상기 복원된 비디오는 하나 또는 그 이상의 FU로 분할되는, 복원된 비디오 추출 단계;
    상기 하나 또는 그 이상의 FU의 적어도 하나에 대하여 상기 비디오 비트스트림으로부터 필터 인덱스(filter index)를 결정하는 단계;
    상기 하나 또는 그 이상의 FU의 상기 적어도 하나에 대한 상기 필터 인덱스에 따라 필터 파라미터 세트(filter parameter set)로부터 필터 파라미터(filter parameter)를 결정하는 단계; 및
    상기 필터 파라미터를 기반으로 하여 상기 하나 또는 그 이상의 FU의 상기 적어도 하나에 인-루프 필터링을 적용하는 단계를 포함하고,
    상기 필터 파라미터 세트와 관련된 정보가, 상기 하나 또는 그 이상의 FU로부터 분리된 상기 비디오 비트스트림의 더 높은 레벨에 포함되는,
    비디오 디코더에서의 필터-유닛(filter-unit) 기반 인-루프 필터링 방법.
  2. 삭제
  3. 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 비디오에 대응하는 비디오 비트스트림을 생성하는 단계로서, FU(Filter Unit) 기반 인-루프 필터링이 상기 압축된 비디오와 관련된 복원 루프에서 사용되고, 복원된 비디오가 FU 사이즈에 따라 FU로 분할되는, 비디오 비트스트림 생성 단계;
    필터 파라미터 세트를 상기 비디오 비트스트림에 포함시키는 단계로서, 상기 필터 파라미터 세트는 상기 FU의 가능한 인-루프 필터링에 대하여 결정되는, 필터 파라미터 세트 포함 단계;
    상기 FU의 적어도 하나에 대하여 필터 인덱스를 상기 비디오 비트스트림에 포함시키는 단계로서, 필터 파라미터가 상기 필터 인덱스에 따라 상기 FU의 상기 적어도 하나에 대한 상기 필터 파라미터 세트로부터 선택되는, 필터 인덱스 포함 단계; 및
    상기 비디오 비트스트림을 제공하는 단계를 포함하고,
    상기 필터 파라미터 세트와 관련된 정보가 상기 FU로부터 분리된 상기 비디오 비트스트림의 더 높은 레벨에 포함되는,
    비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  4. 삭제
  5. 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 비디오에 대응하는 비디오 비트스트림을 수신하는 단계로서, FU (Filter Unit) 기반 인-루프 필터링이 상기 압축된 비디오와 관련된 복원 루프에서 허용되는, 비디오 비트스트림 수신 단계;
    상기 비디오 비트스트림으로부터 복워된 비디오를 추출하는 단계;
    상기 비디오 비트스트림에서 FU 사이즈를 추출하는 단계;
    상기 FU 사이즈에 따라 상기 복원된 비디오를 FU로 분할하는 단계; 및
    상기 FU에 상기 인-루프 필터링을 적용하는 단계를 포함하는,
    비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  6. 제5항에 있어서,
    상기 FU사이즈를 포함시키기 위한 신택스 모드(syntax mode)를 나타내기 위하여, 제1 플래그(flag)가 상기 비디오 비트스트림에 포함되는, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  7. 제6항에 있어서,
    상기 신택스 모드가 직접 모드(direct mode)이면, 상기 FU 사이즈가 상기 비디오 비트스트림 내의 직접적인 사이즈 정보에 따라 결정되는, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  8. 제7항에 있어서,
    상기 직접적인 사이즈 정보는 FU 폭(width)과 FU 높이(height)를 포함하고, 상기 FU 폭과 상기 FU 높이는 LCU((Largest Coding Unit) 또는 블록(block)의 단위로 측정되는, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  9. 제6항에 있어서,
    상기 신택스 모드가 비율 모드(ratio mode)이면, 상기 FU 사이즈가 상기 비디오 비트스트림 내의 FU 사이즈 비율과 최소 FU 사이즈에 따라 결정되는, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  10. 제6항에 있어서,
    상기 제1 플래그는 제2 플래그에 의존하고, 상기 제2 플래그는 디폴트(default) FU 사이즈가 사용되는지 여부를 나타내고, 상기 제2 플래그가 나타내는 대로 상기 디폴트 FU 사이즈가 사용되면, 상기 제1 플래그가 상기 비디오 비트스트림에 포함되지 않는, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  11. 제10항에 있어서,
    상기 신택스 모드가 비율 모드이면, 상기 FU 사이즈가 상기 비디오 비트스트림 내의 FU 사이즈 비율과 최소 FU 사이즈에 따라 결정되고, 상기 최소 FU 사이즈는 상기 디폴트 FU 사이즈와 동일한, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  12. 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 비디오에 대응하는 비디오 비트스트림을 생성하는 단계로서, FU((Filter Unit) 기반 인-루프 필터링이 상기 압축된 비디오와 관련된 복원 루프에서 사용되고, 복원된 비디오가 FU 사이즈에 따라 FU로 분할되는, 비디오 비트스트림 생성 단계;
    상기 비디오 비트스트림에 상기 FU 사이즈를 포함시키는 단계; 및
    상기 비디오 비트스트림을 제공하는 단계를 포함하는,
    비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  13. 제12항에 있어서,
    상기 방법은, 제1 플래그를 상기 비디오 비트스트림에 포함시키는 단계를 더 포함하고,
    상기 제1 플래그는 상기 FU 사이즈를 상기 비디오 비트스트림에 포함시키기 위한 신택스 모드를 나타내는, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  14. 제13항에 있어서,
    상기 방법은, 상기 신택스 모드가 직접 모드이면, 직접적인 사이즈 정보를 상기 비디오 비트스트림에 포함시키는 단계를 더 포함하고,
    상기 직접적인 사이즈 정보는 상기 FU 사이즈를 나타내는, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  15. 제14항에 있어서,
    상기 직접적인 사이즈 정보는 FU 폭과 FU 높이를 포함하고, 상기 FU 폭과 상기 FU 높이는 LCU(Largest Coding Unit) 또는 블록 단위로 측정되는, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  16. 제13항에 있어서,
    상기 방법은, 상기 신택스 모드가 비율 모드이면, FU 사이즈 비율을 상기 비디오 비트스트림에 포함시키는 단계를 더 포함하고, 상기 FU 사이즈 비율은 상기 FU 사이즈와 최소 FU 사이즈의 비율인, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  17. 제16항에 있어서,
    상기 제1 플래그는 제2 플래그에 의존하고, 상기 제2 플래그는 디폴트 FU 사이즈가 사용되는지 여부를 나타내고, 상기 제2 플래그가 나타내는 대로 상기 디폴트 FU 사이즈가 사용되면, 상기 제1 플래그가 상기 비디오 비트스트림에 포함되지 않는, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  18. 제17항에 있어서,
    상기 신택스 모드가 비율 모드이면, 상기 FU 사이즈가 상기 비디오 비트스트림 내의 FU 사이즈 비율과 최소 FU 사이즈에 따라 결정되고, 상기 최소 FU 사이즈는 상기 디폴트 FU 사이즈와 동일한, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  19. 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 비디오에 대응하는 비디오 비트스트림을 수신하는 단계로서, FU (Filter Unit) 기반 인-루프 필터링이 상기 압축된 비디오와 관련된 복원 루프에서 허용되는, 비디오 비트스트림 수신 단계;
    상기 비디오 비트스트림으로부터 복원된 비디오를 추출하는 단계로서, 복원된 비디오가 FU로 분할되는, 복원된 비디오 추출 단계;
    상기 FU의 적어도 하나에 대하여 상기 비디오 비트스트림으로부터 병합(merge) 플래그를 추출하는 단계로서, 상기 병합 플래그가, 상기 FU의 상기 적어도 하나가 이웃하는 FU와 병합되는지 여부를 나타내는, 병합 플래그 추출 단계;
    상기 병합 플래그가, 상기 FU의 상기 적어도 하나가 병합되고 복수의 병합 후보 FU가 존재하는 것을 나타내면, 상기 비디오 비트스트림으로부터 병합 인덱스를 수신하는 단계로서, 필터 파라미터가 상기 병합 인덱스에 의해 나타난 상기 이웃하는 FU의 필터 파라미터로부터 결정되는, 병합 인덱스 수신 단계;
    상기 병합 플래그가 상기 FU의 상기 적어도 하나가 병합되지 않았음을 나타내면, 상기 비디오 비트스트림으로부터 상기 필터 파라미터를 수신하는 단계;
    상기 필터 파라미터를 이용하여 상기 FU의 상기 적어도 하나에 상기 인-루프 필터링을 적용하는 단계; 및
    상기 비디오 비트스트림으로부터 로우 반복 플래그(row-repeating flag)를 수신하는 단계
    를 포함하고,
    상기 로우 반복 플래그가 상기 FU의 로우가 동일한 필터 파라미터를 공유함을 나타내면, 상기 병합 플래그 추출 단계, 상기 병합 인덱스 수신 단계 및 상기 필터 파라미터를 수신하는 단계가 생략되는,
    비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  20. 삭제
  21. 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 비디오에 대응하는 비디오 비트스트림을 생성하는 단계로서, FU(Filter Unit) 기반 인-루프 필터링이 상기 압축된 비디오와 관련된 복원 루프에서 사용되고, 복원된 비디오가 FU로 분할되는, 비디오 비트스트림 생성 단계;
    상기 FU의 적어도 하나에 대해 병합 플래그를 상기 비디오 비트스트림에 포함시키는 단계로서, 상기 병합 플래그는 상기 FU의 상기 적어도 하나가 이웃하는 FU와 병합되는지 여부를 나타내는, 병합 플래그 포함 단계;
    상기 병합 플래그가, 상기 FU의 상기 적어도 하나가 병합되고 복수의 병합 후보 FU가 존재하는 것을 나타내면, 병합 인덱스를 상기 비디오 비트스트림에 포함시키는 단계로서, 상기 FU의 상기 적어도 하나가 상기 병합 인덱스에 의해 나타난 상기 이웃하는 FU와 필터 파라미터를 공유하는, 병합 인덱스 포함 단계;
    상기 병합 플래그가 상기 FU의 상기 적어도 하나가 병합되지 않았음을 나타내면, 상기 필터 파라미터를 상기 비디오 비트스트림에 포함시키는 단계;
    상기 비디오 비트스트림을 제공하는 단계; 및
    로우 반복 플래그를 상기 비디오 비트스트림에 포함시키는 단계
    를 포함하고,
    상기 로우 반복 플래그가 상기 FU의 로우가 동일한 필터 파라미터를 공유함을 나타내면, 상기 병합 플래그 포함 단계, 상기 병합 인덱스 포함 단계 및 상기 필터 파라미터를 상기 비디오 비트스트림에 포함시키는 단계가 생략되는,
    비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  22. 삭제
  23. 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 컬러 비디오에 대응하는 비디오 비트스트림을 수신하는 단계로서, FU (Filter Unit) 기반 인-루프 필터링이 상기 압축된 컬러 비디오와 관련된 복원 루프에서 사용되고, 복원된 컬러 비디오가 FU로 분할되며, 각각의 상기 FU가 제1 컬러 성분과 제2 컬러 성분을 포함하는, 비디오 비트스트림 수신 단계;
    상기 비디오 비트스트림 내의 상기 FU에 대하여 상기 제1 컬러 성분과 관련된 제1 필터 신택스 및 상기 제2 컬러 성분과 관련된 제2 필터 신택스를 수신하는 단계로서, 상기 FU에 대한 상기 제1 필터 신택스 및 제2 필터 신택스가 상기 비디오 비트스트림에서 인터리브되는(interleaved), 제1 필터 신택스 및 제2 필터 신택스 수신 단계;
    상기 제1 필터 신택스에 따라 각각의 FU와 관련된 상기 제1 컬러 성분에 상기 인-루프 필터링을 적용하는 단계; 및
    상기 제2 필터 신택스에 따라 각각의 FU와 관련된 상기 제2 컬러 성분에 상기 인-루프 필터링을 적용하는 단계를 포함하고,
    상기 FU에 대한 상기 제1 필터 신택스 및 제2 필터 신택스가 하나의 FU 또는 복수의 FU를 기반으로 하여 인터리브되는,
    비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  24. 삭제
  25. 삭제
  26. 제23항에 있어서,
    각각의 상기 FU가 제3 컬러 성분을 포함하고, 픽쳐-레벨 인-루프 필터링이 상기 제3 컬러 성분에 적용되며, 상기 제3 컬러 성분에 대한 제3 필터 신택스가 상기 비트스트림에 포함되는, 비디오 디코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  27. 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법으로서, 상기 방법은,
    압축된 컬러 비디오에 대응하는 비디오 비트스트림을 생성하는 단계로서, FU (Filter Unit) 기반 인-루프 필터링이 상기 압축된 컬러 비디오와 관련된 복원 루프에 사용되고, 복원된 컬러 비디오가 FU로 분할되며, 각각의 상기 FU가 제1 컬러 성분 및 제2 컬러 성분을 포함하는, 비디오 비트스트림 생성 단계;
    상기 비디오 비트스트림 내의 상기 FU에 대하여 상기 제1 컬러 성분과 관련된 제1 필터 신택스 및 상기 제2 컬러 성분과 관련된 제2 필터 신택스를 포함시키는 단계로서, 상기 FU에 대하여 상기 제1 필터 신택스 및 상기 제2 필터 신택스가 상기 비디오 비트스트림에서 인터리브되는, 제1 필터 신택스 및 제2 필터 신택스 포함 단계; 및
    상기 비디오 비트스트림을 제공하는 단계를 포함하고,
    상기 FU에 대하여 상기 제1 필터 신택스 및 제2 필터 신택스가 하나의 FU 또는 복수의 FU를 기반으로 하여 인터리브되는,
    비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
  28. 삭제
  29. 삭제
  30. 제27항에 있어서,
    각각의 상기 FU가 제3 컬러 성분을 포함하고, 픽쳐-레벨 인-루프 필터링이 상기 제3 컬러 성분에 적용되며, 상기 제3 컬러 성분에 대한 제3 필터 신택스가 상기 비트스트림에 포함되는, 비디오 인코더에서의 필터-유닛 기반 인-루프 필터링 방법.
KR1020137010079A 2011-01-03 2011-12-31 필터 유닛 기반 인-루프 필터링 방법 KR101438471B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201161429313P 2011-01-03 2011-01-03
US61/429,313 2011-01-03
US201161498949P 2011-06-20 2011-06-20
US61/498,949 2011-06-20
US201161503870P 2011-07-01 2011-07-01
US61/503,870 2011-07-01
US201161549931P 2011-10-21 2011-10-21
US61/549,931 2011-10-21
PCT/CN2011/085170 WO2012092841A1 (en) 2011-01-03 2011-12-31 Method of filter-unit based in-loop filtering

Publications (2)

Publication Number Publication Date
KR20130095279A KR20130095279A (ko) 2013-08-27
KR101438471B1 true KR101438471B1 (ko) 2014-09-16

Family

ID=46457234

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137010079A KR101438471B1 (ko) 2011-01-03 2011-12-31 필터 유닛 기반 인-루프 필터링 방법

Country Status (6)

Country Link
US (2) US9877019B2 (ko)
EP (1) EP2661879B1 (ko)
KR (1) KR101438471B1 (ko)
CN (1) CN103392338A (ko)
IL (1) IL226235B (ko)
WO (1) WO2012092841A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663069B1 (ko) 2015-10-23 2016-10-06 주식회사 윌테크 절연시트 공급장치

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008170B2 (en) * 2011-05-10 2015-04-14 Qualcomm Incorporated Offset type and coefficients signaling method for sample adaptive offset
CA2982695C (en) * 2011-06-24 2019-05-21 Lg Electronics Inc. Image information encoding and decoding method
CN103959776A (zh) 2011-06-28 2014-07-30 三星电子株式会社 根据像素分类使用偏移调整的视频编码方法及其设备、视频解码方法及其设备
US10070152B2 (en) 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
US8913656B2 (en) * 2011-10-14 2014-12-16 Mediatek Inc. Method and apparatus for in-loop filtering
US9380302B2 (en) * 2012-02-27 2016-06-28 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
EP2860973B1 (en) 2012-06-08 2020-03-04 Sun Patent Trust Image encoding method, image decoding method, image encoding device, image decoding device, and image encoding and decoding device
EP2869554B1 (en) 2012-06-27 2020-10-07 Sun Patent Trust Image coding method, image decoding method, image coding device, image decoding device, and image coding and decoding apparatus
MY184416A (en) 2012-07-16 2021-04-01 Samsung Electronics Co Ltd Video encoding method and video encoding for signaling sao parameters
KR101982788B1 (ko) * 2014-10-01 2019-05-27 엘지전자 주식회사 향상된 예측 필터를 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
KR20180019547A (ko) 2015-06-18 2018-02-26 엘지전자 주식회사 영상 코딩 시스템에서 필터 뱅크를 이용한 영상 필터링 방법 및 장치
ES2844525B1 (es) 2015-09-11 2022-07-05 Kt Corp Metodo para decodificar un video
KR20180050333A (ko) 2015-09-29 2018-05-14 엘지전자 주식회사 영상 코딩 시스템에서 필터링 방법 및 장치
US10462459B2 (en) 2016-04-14 2019-10-29 Mediatek Inc. Non-local adaptive loop filter
EP3632113B1 (en) 2017-05-31 2024-02-28 InterDigital Madison Patent Holdings, SAS A method and a device for picture encoding and decoding
CN111480343A (zh) 2017-12-14 2020-07-31 交互数字Vc控股公司 用于编码图片块的方法和装置
WO2019147403A1 (en) 2018-01-29 2019-08-01 Interdigital Vc Holdings, Inc. Encoding and decoding with refinement of the reconstructed picture
WO2019191218A1 (en) 2018-03-30 2019-10-03 Interdigital Vc Holdings, Inc. Chroma quantization parameter adjustment in video encoding and decoding
US10922548B1 (en) 2018-12-27 2021-02-16 Facebook, Inc. Systems and methods for automated video classification
US10956746B1 (en) 2018-12-27 2021-03-23 Facebook, Inc. Systems and methods for automated video classification
US11138440B1 (en) 2018-12-27 2021-10-05 Facebook, Inc. Systems and methods for automated video classification
US11017237B1 (en) * 2018-12-27 2021-05-25 Facebook, Inc. Systems and methods for automated video classification
JP7350082B2 (ja) * 2019-03-07 2023-09-25 オッポ広東移動通信有限公司 ループフィルタリング方法、装置およびコンピュータ記憶媒体
CN113396594A (zh) * 2019-03-07 2021-09-14 Oppo广东移动通信有限公司 环路滤波实现方法、装置及计算机存储介质
WO2020181541A1 (zh) * 2019-03-13 2020-09-17 北京大学 环路滤波的方法、装置、计算机系统和可移动设备
US11202068B2 (en) * 2019-09-16 2021-12-14 Mediatek Inc. Method and apparatus of constrained cross-component adaptive loop filtering for video coding
US11647216B2 (en) * 2021-04-12 2023-05-09 Tencent America LLC Techniques for signaling neural network topology, parameters, and processing information in video stream

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668346B1 (ko) 2005-10-04 2007-01-12 삼성전자주식회사 멀티 코덱용 필터링 장치 및 방법
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
KR20100039247A (ko) * 2008-10-06 2010-04-15 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20100109459A (ko) * 2009-03-30 2010-10-08 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6301299B1 (en) * 1994-10-28 2001-10-09 Matsushita Electric Industrial Co., Ltd. Memory controller for an ATSC video decoder
EP2261919A3 (en) * 1998-02-23 2011-03-09 Kabushiki Kaisha Toshiba Information storage medium, information playback method and apparatus and information recording method
EP1466477B1 (en) 2002-01-14 2013-02-27 Nokia Corporation Coding dynamic filters
US7280700B2 (en) * 2002-07-05 2007-10-09 Microsoft Corporation Optimization techniques for data compression
US20040076333A1 (en) * 2002-10-22 2004-04-22 Huipin Zhang Adaptive interpolation filter system for motion compensated predictive video coding
WO2005088939A1 (en) * 2004-03-10 2005-09-22 Qualcomm Incorporated High data rate interface apparatus and method
US8116379B2 (en) * 2004-10-08 2012-02-14 Stmicroelectronics, Inc. Method and apparatus for parallel processing of in-loop deblocking filter for H.264 video compression standard
US8149926B2 (en) * 2005-04-11 2012-04-03 Intel Corporation Generating edge masks for a deblocking filter
JP2009522971A (ja) 2006-01-10 2009-06-11 ノキア コーポレイション 拡張可能ビデオ符号化のための切換型フィルタアップサンプリング機構
US8705630B2 (en) * 2006-02-10 2014-04-22 Nvidia Corporation Adapting one type of encoder to another type of encoder
TWI444047B (zh) 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
JP4182446B2 (ja) * 2006-07-14 2008-11-19 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
WO2008016609A2 (en) * 2006-08-02 2008-02-07 Thomson Licensing Adaptive geometric partitioning for video encoding
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
US8121195B2 (en) * 2006-11-30 2012-02-21 Lsi Corporation Memory reduced H264/MPEG-4 AVC codec
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
CN101682769B (zh) * 2007-04-12 2016-11-09 汤姆森特许公司 用于视频编码和解码的跳过-直接模式的取决于环境的合并的方法和装置
KR101568708B1 (ko) * 2007-09-02 2015-11-12 엘지전자 주식회사 비디오 신호처리 방법 및 장치
US8619880B2 (en) * 2007-10-10 2013-12-31 Qualcomm Incorporated Universal blockiness correction
US8938009B2 (en) * 2007-10-12 2015-01-20 Qualcomm Incorporated Layered encoded bitstream structure
ATE526788T1 (de) * 2007-11-16 2011-10-15 St Microelectronics Sa Deblockierungsfilter
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
AU2008352118A1 (en) 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding method and device
US8208532B2 (en) * 2008-03-31 2012-06-26 Oracle America, Inc. Method and apparatus for data compression and decompression
US8195001B2 (en) * 2008-04-09 2012-06-05 Intel Corporation In-loop adaptive wiener filter for video coding and decoding
US8326075B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8699562B2 (en) 2008-10-06 2014-04-15 Lg Electronics Inc. Method and an apparatus for processing a video signal with blocks in direct or skip mode
EP2262267A1 (en) * 2009-06-10 2010-12-15 Panasonic Corporation Filter coefficient coding scheme for video coding
US20100329361A1 (en) 2009-06-30 2010-12-30 Samsung Electronics Co., Ltd. Apparatus and method for in-loop filtering of image data and apparatus for encoding/decoding image data using the same
EP3748967A1 (en) * 2009-07-07 2020-12-09 InterDigital VC Holdings, Inc. Methods and apparatus for collaborative partition coding for region based filters
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
BR112012007372A2 (pt) * 2009-10-05 2016-10-11 Thomson Licensing processos e aparelhagem para filtração adaptativa de pixels de predição para componentes de croma em codificação e decodificação de vídeo
KR20110071047A (ko) * 2009-12-20 2011-06-28 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
EP2524504A1 (en) * 2010-01-14 2012-11-21 Dolby Laboratories Licensing Corporation Buffered adaptive filters
EP2375747B1 (en) * 2010-04-12 2019-03-13 Sun Patent Trust Filter positioning and selection
EP2559238B1 (en) * 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
DK2897365T3 (da) * 2010-07-09 2017-02-13 Samsung Electronics Co Ltd Apparat til at afkode video ved at anvende bloksammenlægning
US20120039383A1 (en) * 2010-08-12 2012-02-16 Mediatek Inc. Coding unit synchronous adaptive loop filter flags
KR101538710B1 (ko) * 2011-01-14 2015-09-15 모토로라 모빌리티 엘엘씨 시간적 블록 병합 모드
US9807403B2 (en) * 2011-10-21 2017-10-31 Qualcomm Incorporated Adaptive loop filtering for chroma components
US10006950B2 (en) * 2014-04-24 2018-06-26 Texas Instruments Incorporated Impedance measurement circuit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100668346B1 (ko) 2005-10-04 2007-01-12 삼성전자주식회사 멀티 코덱용 필터링 장치 및 방법
EP1841230A1 (en) * 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
KR20100039247A (ko) * 2008-10-06 2010-04-15 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR20100109459A (ko) * 2009-03-30 2010-10-08 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101663069B1 (ko) 2015-10-23 2016-10-06 주식회사 윌테크 절연시트 공급장치

Also Published As

Publication number Publication date
US9877019B2 (en) 2018-01-23
WO2012092841A1 (en) 2012-07-12
IL226235B (en) 2018-02-28
IL226235A0 (en) 2013-07-31
EP2661879A4 (en) 2015-07-08
US10567751B2 (en) 2020-02-18
KR20130095279A (ko) 2013-08-27
US20180109785A1 (en) 2018-04-19
EP2661879B1 (en) 2019-07-10
US20130215959A1 (en) 2013-08-22
EP2661879A1 (en) 2013-11-13
CN103392338A (zh) 2013-11-13

Similar Documents

Publication Publication Date Title
KR101438471B1 (ko) 필터 유닛 기반 인-루프 필터링 방법
US10405004B2 (en) Apparatus and method of sample adaptive offset for luma and chroma components
US10116967B2 (en) Method and apparatus for coding of sample adaptive offset information
AU2013248857B2 (en) Method and apparatus for loop filtering across slice or tile boundaries
US9641863B2 (en) Apparatus and method of sample adaptive offset for video coding
US10123048B2 (en) Method of filter control for block-based adaptive loop filtering
EP2882190B1 (en) Method and apparatus for improved in-loop filtering
KR101433501B1 (ko) 비디오 코딩을 위한 적응적 오프셋 복원 장치 및 방법
US20140198844A1 (en) Method and apparatus for non-cross-tile loop filtering
WO2012155553A1 (en) Apparatus and method of sample adaptive offset for luma and chroma components
US20170134743A1 (en) Apparatus for decoding image and method therefore
CN106162186B (zh) 基于滤波单元的回路滤波方法
AU2014200419A1 (en) Method and apparatus of adaptive loop filtering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170825

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180823

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 6