KR101810263B1

KR101810263B1 - 분류-기반 루프 필터에 대한 방법들 및 장치

Info

Publication number: KR101810263B1
Application number: KR1020127026306A
Authority: KR
Inventors: 치안 슈; 윤페이 젱; 펭 인; 시아오안 루; 호엘 솔
Original assignee: 톰슨 라이센싱
Priority date: 2010-03-09
Filing date: 2011-03-02
Publication date: 2017-12-18
Also published as: US20120320973A1; JP2013522956A; EP2545711A1; CN102792690A; CN105872554A; EP2545711B1; WO2011112237A1; CN102792690B; JP6029984B2; KR20130030254A

Abstract

분류-기반 루프 필터에 대한 방법들 및 장치가 제공된다. 인코딩 방법은 양자화된 변환 계수들을 획득하기 위해 입력 픽쳐의 레지듀를 변환하고 양자화함으로써 입력 픽쳐를 인코딩한다. 이후, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환한다. 입력 픽쳐의 재구성된 버전은 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시킴으로써 획득된다(315). 입력 픽쳐의 재구성된 버전 내의 픽셀들은 로컬 기하학적 특성들에 응답하여 복수의 카테고리들 각각 내에 분류된다(330). 픽셀들은 복수의 카테고리들에 대한 픽셀들의 대응하는 분류에 응답하여 필터링을 위해 선택된다(350).

Description

분류-기반 루프 필터에 대한 방법들 및 장치{METHODS AND APPARATUS FOR A CLASSIFICATION-BASED LOOP FILTER}

이 출원은 그 전체 내용이 여기에 참조로 포함된, 2010년 3월 9일에 출원된 미국 가출원 일련 제61/312,063호의 이익을 청구한다.

본 발명의 원리들은 일반적으로 비디오 인코딩 및 디코딩에 관한 것이고, 더 구체적으로, 분류-기반 루프 필터에 대한 방법들 및 장치에 관한 것이다.

현재 비디오 코딩 표준들은 압축 효율성을 달성하기 위해 블록-기반 변환들(예를 들어, 이산 코사인 변환(DCT)들) 및 모션 보상을 사용한다. 이러한 프레임워크 내의 압축의 손실성 속성으로 인해, 재구성된 비디오들의 품질이 필수적으로 저하될 것이며, 결코 원래 이미지로 완전히 복원가능하지 않을 것이다. 따라서, 손실성 비디오 압축과 획득될 효율성 이득들에 대한 절충이 이루어진다.

ISO/IEC(International Organization for Standardization/International Electrotechnical Commission) MPEG-4(Moving Picture Experts Group-4) 파트 10 AVC(Advanced Video Coding) 표준/국제 통신 연합, 통신 섹터(ITU-T) H.264 추천(이하, "MPEG-4 AVC 표준")에서, 디블로킹 필터가 블록성 결함들을 제거할 목적으로 디코딩된 픽쳐에 적용된다. MPEG-4 AVC 표준의 핵심기술 영역(KTA)에서, 위너 필터(Wiener filter)들이 디코딩된 픽쳐들의 품질을 개선하기 위해 루프-내 또는 루프-밖에서 사용된다.

시간 적응을 달성하기 위해, 위너 필터는 일반적으로, 인코더에서 원래 픽쳐 및 디코딩된 픽쳐 사이의 평균 제곱 에러를 최소화함으로써 각각의 픽쳐에 대해 추정된다. 필터 계수들은 각각의 픽쳐에 대한 오버헤드로서 디코더에 송신된다. 공간 적응을 달성하기 위해, 픽쳐는 컨텐츠 또는 레이트-왜곡(RD) 비용에 기초하여 다수의 영역들로 파티셔닝된다. 각각의 영역에서, 스위치는 필터링 프로세스 온 또는 오프를 제어한다. 영역 파티션 정보 및 스위치 제어 메시지는 보조(side) 정보로서 디코더에 송신된다.

이러한 방식은 기본 특성이 시간 경과에 따라(프레임마다) 크게 달라지지 않는 비디오 이미지들에 대해 적절하게 작용한다. 제1 종래 기술 방식에서, 영역 파티션들은 일반적으로 동일한 사이즈이고, 제2 종래 기술 방식에서, 영역 파티션들은 일반적으로 가변-사이즈 블록들이다. 그러나, 블록-기반 방법들은 자연스럽게 변하는(정상) 비디오 내의 공간적 변동들을 효과적으로 특성화하지 않는다. 예를 들어, 비디오 시퀀스의 비디오 품질은 에지 선명도에 매우 의존적인 반면, 픽쳐 내의 에지들은 블록 기반과는 거리가 멀다. 더 중요하게는, 상이한 방향들의 에지들은 선명도를 보존하기 위해 위너 필터들의 상이한 세트들을 요구한다.

MPEG-4 AVC 표준의 핵심 기술 영역에서, 적응형 사후 필터가 제3 종래 기술에서 제안되었다. 기본 개념은 디스플레이 이전에 디코딩된 픽쳐에 위너 필터를 적용하는 것이다. 위너 필터는 인코더에서 원래 픽쳐 및 디코딩된 필터 사이의 평균 제곱 에러(MSE)를 최소화함으로써 각각의 픽쳐에 대해 추정될 수 있다. 이러한 경우, 추정된 필터 계수들은 오버헤드로서 디코더에 송신된다. 전체 픽쳐는 추정된 필터를 이용하여 필터링된다. 또다른 경우에서, 위너 필터들의 세트가 오프라인으로 트레이닝되고 디코더에 전송되거나 저장된다. 디코딩동안 픽쳐는 픽셀 방식으로 필터링된다. 각각의 픽셀에서, 필터는 주변 픽셀들의 통계들에 기초하여 필터 세트로부터 선택된다. 이러한 기법에서, 필터링 표시자는 어떠한 오버헤드도 소모(cost)하지 않는다. 필터링 표시자는 디코딩된 픽쳐 컨텐츠에 의해 유도될 수 있다. 그러나, 필터링 표시자 및 픽쳐 컨텐츠 사이의 모델을 구성하기가 어렵다. 제3 종래 기술의 방식에서, 오프라인 트레이닝 방식이 필터링 표시자 및 로컬 분산 사이의 대응하는 모델을 찾기 위해 사용된다. 트레이닝이 트레이닝 세트에 매우 의존적이므로, 제한된 데이터를 이용하여 트레이닝된 모델은 더욱 일반적인 비디오 신호들에 대해 부정확할 것이다.

제1 종래 기술의 방식에서, 블록-기반 적응형 루프 필터가 제안된다. 이러한 제안에서, 재구성된 프레임은 원래 프레임에 대해 위너 필터에 의해 복원된다. 위너 필터 계수들은 인코더에서 추정되어 보조 정보로서 디코더에 송신된다. 위너 필터가 전체적으로 재구성된 프레임을 원래 프레임으로 복원할 수 있지만, 로컬로 열화된 픽셀들이 존재한다. 품질저하된 영역들이 픽셀들의 충실도 및 추후 코딩 프레임들에 대한 예측 효율성을 감소시키므로, 이들 영역들을 필터링하지 않는 것은 코딩 성능을 개선시킬 것이다. 블록 적응형 루프 필터(BALF)에서, 프레임은 동일 사이즈 블록들로 파티셔닝되고, 스위치 플래그는 블록이 필터링되는지의 여부를 제어하기 위해 각각의 블록에 대해 사용된다. 제2 종래 기술 방식에서, 쿼드-트리(quad-tree) 적응형 루프 필터(QALF)는 프레임의 가변-사이즈 블록이 필터링되는지의 여부를 표시하기 위해 도입된다. 가변-사이즈 블록 방식을 사용하는 경우, 필터 성능이 동일-사이즈 블록 방식보다 더 양호하지만, 블록들의 위치 및 사이즈를 코딩하기 위한 오버헤드가 요구된다. 그러나, 심지어 쿼드-트리 기반 필터링도 여전히 압축 아티팩트들을 효율적으로 제거하지 않는데, 왜냐하면, 이것이 2-차원(2D) 데이터의 공간 특성들을 캡쳐할 수 없기 때문이다.

종래 기술의 이들 및 다른 결함들 및 단점들이, 분류-기반 루프 필터에 대한 방법들 및 장치에 관한 것인, 본 발명의 원리들에 의해 다루어진다.

본 발명의 원리들의 양상에 따라, 장치가 제공된다. 장치는 양자화된 변환 계수들을 획득하기 위해 입력 픽쳐의 레지듀를 변환 및 양자화하고, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환하고, 입력 픽쳐의 재구성된 버전을 획득하기 위해 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시킴으로써 입력 픽쳐를 인코딩하기 위한 비디오 인코더를 포함한다. 비디오 인코더는 로컬 기하학적 특성들에 응답하여 복수의 카테고리들의 각각의 카테고리 내에 입력 픽쳐의 재구성된 버전 내의 픽셀들을 분류하고, 복수의 카테고리들에 대해 적어도 하나의 픽셀의 대응하는 분류에 응답하여 선택된 적어도 하나의 픽셀을 필터링하기 위한 필터를 포함한다.

본 발명의 원리들의 또다른 양상에 따라, 비디오 인코더에서의 방법이 제공된다. 방법은 입력 픽쳐를 인코딩하는 단계를 포함한다. 인코딩 단계는 양자화된 변환 계수들을 획득하기 위해 입력 픽쳐의 레지듀를 변환 및 양자화하는 단계, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환하는 단계, 입력 픽쳐의 재구성된 버전을 획득하기 위해 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시키는 단계, 로컬 기하학적 특성들에 응답하여 복수의 카테고리들의 각각의 카테고리 내에 입력 픽쳐의 재구성된 버전 내의 픽셀들을 분류하는 단계, 및 복수의 카테고리들에 대해 적어도 하나의 픽셀의 대응하는 분류에 응답하여 선택된 적어도 하나의 픽셀을 필터링하는 단계를 포함한다.

본 발명의 원리들의 또다른 양상에 따라, 장치가 제공된다. 장치는 양자화된 변환 계수들을 수신하고, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환하고, 및 픽쳐의 재구성된 버전을 획득하기 위해 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시킴으로써 픽쳐를 디코딩하기 위한 비디오 디코더를 포함한다. 비디오 디코더는 로컬 기하학적 특성들에 응답하여 복수의 카레고리들의 각각의 카테고리 내에 픽쳐의 재구성된 버전 내의 픽셀들을 분류하고, 복수의 카테고리들에 대해 적어도 하나의 픽셀의 대응하는 분류에 응답하여 선택된 적어도 하나의 픽셀을 필터링하기 위한 필터를 포함한다.

본 발명의 원리들의 또다른 양상에 따라, 비디오 디코더에서의 방법이 제공된다. 방법은 픽쳐를 디코딩하는 단계를 포함한다. 디코딩 단계는 양자화된 변환 계수들을 수신하는 단계, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환하는 단계, 픽쳐의 재구성된 버전을 획득하기 위해 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시키는 단계, 로컬 기하학적 특성들에 응답하여 복수의 카테고리들의 개별 카테고리 내에 픽쳐의 재구성된 버전 내의 픽셀들을 분류하는 단계, 및 복수의 카테고리들에 대해 적어도 하나의 픽셀의 대응하는 분류에 응답하여 선택되는 적어도 하나의 픽셀을 필터링하는 단계를 포함한다.

본 발명의 원리들의 이들 및 다른 양상들, 특징들 및 장점들은 첨부 도면들과 관련하여 판독될 예시적인 실시예들의 후속하는 상세한 설명으로부터 명백할 것이다.

본 발명의 원리들은 후속하는 예시적인 도면들에 따라 더 잘 이해될 수 있다.
도 1은 본 발명의 원리들의 실시예에 따라, 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 인코더를 도시하는 블록도이다.
도 2는 본 발명의 원리들의 실시예에 따라 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 디코더를 도시하는 블록도이다.
도 3은 본 발명의 원리들의 실시예에 따라, 분류-기반 루프 필터를 사용하여 입력 픽쳐에 대한 픽쳐 데이터를 인코딩하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 4는 본 발명의 원리들의 실시예에 따라, 분류-기반 루프 필터를 사용하여 픽쳐에 대한 픽쳐 데이터를 디코딩하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 5는 본 발명의 원리들의 실시예에 따라, 분류-기반 루프 필터를 사용하여 입력 픽쳐에 대한 픽쳐 데이터를 인코딩하기 위한 또다른 예시적인 방법을 도시하는 흐름도이다.
도 6은 본 발명의 원리들의 실시예에 따라, 분류-기반 루프 필터를 사용하여 픽쳐에 대한 픽쳐 데이터를 디코딩하기 위한 또다른 예시적인 방법을 도시하는 흐름도이다.
도 7은 본 발명의 원리들의 실시예에 따라, 분류-기반 루프 필터를 사용하여 입력 픽쳐에 대한 픽쳐 데이터를 인코딩하기 위한 예시적인 방법을 도시하는 흐름도이다.
도 8은 본 발명의 원리들의 실시예에 따라, 분류-기반 루프 필터를 사용하여 픽쳐에 대한 픽쳐 데이터를 디코딩하기 위한 또다른 예시적인 방법을 도시하는 흐름도이다.

본 발명의 원리들은 분류-기반 루프 필터에 대한 방법들 및 장치에 관한 것이다.

본 설명은 본 발명의 원리들을 예시한다. 따라서, 당업자가, 여기서 명시적으로 기술되거나 도시되지 않았지만 본 발명의 원리들을 구현하며 본 발명의 사상 및 범위 내에 포함되는 다양한 배열들을 고안할 수 있을 것임이 이해될 것이다.

여기서 인용된 모든 예들 및 조건부 언어는 독자가 당해 기술분야에 추가하기 위해 발명자(들)에 의해 기여되는 본 발명의 원리들 및 개념들을 이해하는 것을 보조할 교시적 목적으로 의도되며, 이러한 구체적으로 인용된 예들 및 조건들에 대해 제한이 없는 것으로서 해석되어야 한다.

또한, 여기서 원리들, 양상들, 및 본 발명의 원리들의 실시예들, 뿐만 아니라, 이들의 측정 예들을 인용하는 모든 문장들은 이들의 구조적 및 기능적 등가물들 모두를 포함하도록 의도된다. 추가로, 이러한 등가물들이 현재 공지된 등가물들 및 향후 개발될 등가물들, 즉, 구조와는 무관하게 동일한 기능을 수행하도록 개발된 모든 엘리먼트들 모두를 포함한다는 점이 의도된다.

따라서, 예를 들어, 여기서 제시되는 블록도들이 본 발명의 원리들을 구현하는 예시적인 회로의 개념 뷰들을 표현한다는 점이 당업자에 의해 이해될 것이다. 유사하게, 임의의 플로우 차트들, 흐름도들, 상태 천이도들, 의사코드 등이 실질적으로 컴퓨터 판독가능한 매체에 표현될 수 있으며, 따라서, 컴퓨터 또는 프로세서가 명시적으로 도시되든 아니든 간에, 이러한 컴퓨터 또는 프로세서에 의해 실행될 수 있는 다양한 프로세스들을 표현한다는 점이 이해될 것이다.

도면들에 도시된 다양한 실시예들의 기능들은, 전용 하드웨어 및 적절한 소프트웨어와 연관된 소프트웨어를 실행할 수 있는 하드웨어의 사용을 통해 제공될 수 있다. 프로세서에 의해 제공되는 경우, 기능들은 단일 전용 프로세서에 의해, 단일 공유 프로세서에 의해, 또는 일부가 공유될 수 있는 복수의 개별 프로세서들에 의해 제공될 수 있다. 또한, 용어 "프로세서" 또는 "제어기"의 명시적 사용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 참조하는 것으로 해석되지 않아야 하며, 제한 없이, 디지털 신호 프로세서("DSP") 하드웨어, 소프트웨어를 저장하기 위한 판독-전용 메모리("ROM"), 랜덤 액세스 메모리("RAM") 및 비휘발성 저장소를 묵시적으로 포함할 수 있다.

종래의 그리고/또는 주문형인 다른 하드웨어가 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치들은 오직 개념적이다. 이들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 상호작용을 통해, 또는 심지어 수동으로 실행될 수 있으며, 상황으로부터 더 구체적으로 이해되는 경우, 특정 기법이 구현기에 의해 선택가능하다.

본 발명의 청구항들에서, 특정된 기능을 수행하기 위한 수단으로서 표현되는 임의의 엘리먼트는, 예를 들어, a) 기능을 수행하는 회로 엘리먼트들의 조합, 또는 b)기능을 수행하기 위해 해당 소프트웨어를 실행하기 위한 적절한 회로와 결합되는 펌웨어, 마이크로코드 등을 포함하는 임의의 형태의 소프트웨어를 포함하는 기능을 수행하는 임의의 방식을 포함하도록 의도된다. 이러한 청구항들에 의해 정의되는 것과 같은 본 발명의 원리들은 다양한 인용된 수단들에 의해 제공되는 기능성들이 청구항들이 청구하는 방식으로 함께 결합된다는 사실에 존재한다. 따라서, 해당 기능성들을 제공할 수 있는 임의의 수단이 여기서 도시된 것과 등가인 것으로 간주된다.

본 발명의 원리들의 "일 실시예" 또는 "실시예"에 대한 본 명세서에서의 참조, 및 이들의 다른 변형물들은, 실시예와 관련하여 기술된 특정 특징, 구조, 특성 등이 본 발명의 원리들의 적어도 하나의 실시예 내에 포함됨을 의미한다. 따라서, 명세서 전반에 걸쳐 여러 장소들에서 나타나는 구문 "일 실시예에서" 또는 "실시예에서", 및 임의의 다른 변형물들의 출현은 반드시 모두 동일한 실시예를 참조하지는 않는다.

예를 들어, "A/B", "A 및/또는 B" 및 "A 및 B 중 적어도 하나"의 경우들에서, 후속하는 "/", "및/또는", 및 "~ 중 적어도 하나"의 사용은 제1 리스팅된 옵션(A) 만의 선택, 또는 제2 리스팅된 옵션(B) 만의 선택, 또는 두 옵션들 모두(A 및 B)의 선택을 포함하도록 의도된다. 추가적인 예로서, "A, B 및/또는 C" 및 "A, B 및 C 중 적어도 하나"의 경우들에서, 이러한 구문은 제1 리스팅된 옵션(A) 만의 선택, 또는 제2 리스팅된 옵션(B) 만의 선택, 또는 제3 리스팅된 (C) 만의 선택, 또는 제1 및 제2 리스팅된 옵션들(A 및 B) 만의 선택, 또는 제1 및 제3 리스팅된 옵션들(A 및 C)만의 선택, 또는 제2 및 제3 리스팅된 옵션들(B 및 C) 만의 선택, 또는 모든 3개 옵션들(A 및 B 및 C)의 선택을 포함하도록 의도된다. 이는 이러한 및 관련 기술 분야의 당업자에 의해 자명할 바와 같이, 리스팅된 많은 항목들에 대한 것으로 확장될 수 있다.

또한, 여기서 사용된 바와 같이, 용어들 "픽쳐" 및 "이미지"는 상호교환가능하게 사용되며, 비디오 시퀀스로부터의 픽쳐 또는 스틸 이미지를 참조한다. 공지된 바와 같이, 픽쳐는 프레임 또는 필드일 수 있다.

또한, 여기서 사용되는 바와 같이, "고레벨 신택스"는 계층적으로 매크로블록층 위에 상주하는 비트스트림에 존재하는 신택스를 참조한다. 예를 들어, 고레벨 신택스는, 여기서 사용되는 바와 같이, 슬라이스 헤더 레벨, 보조 개선 정보(SEI) 레벨, 픽쳐 파라미터 세트(PPS) 레벨, 시퀀스 파라미터 세트(SPS) 레벨 및 네트워크 추출층(NAL) 유닛 헤더 레벨에서의 신택스를 참조할 수 있지만 이에 제한되지 않는다.

또한, 여기서 사용되는 바와 같이, 구문 "여기서, 필터 계수들은 픽쳐 기반으로 적응적으로 트레이닝된다"는 픽쳐 단위 기반으로 분류-기반 루프 필터에 대한 필터 계수들을 트레이닝하는 것을 참조한다. 즉, 이러한 계수들은 전체 픽쳐의 특징들을 고려하는 동안, 그리고 하나 초과의 픽쳐를 고려하는 동안 트레이닝된다.

추가로, 여기서 사용되는 바와 같이, 구문 "여기서, 필터 계수들은 오프라인으로 트레이닝된다"는 필터가 특정 픽셀의 특정 픽셀에 적용되는 동안의 시간과는 상이한 시간에서 분류-기반 루프 필터에 대한 필터 계수들을 트레이닝하는 것을 참조한다. 따라서, 오프라인은 이러한 픽쳐가 속하는 특정 비디오 시퀀스를 프로세싱하기 이전의 시간을 참조할 수 있다.

예시 및 기재의 목적으로, 본 기재에 대한 베이스라인으로서 MPEG-4 AVC 표준을 사용하고, MPEG-4 AVC 표준을 능가하는 확장들 및 개선들을 설명하여, MPEG-4 AVC 표준에 대한 개선들의 상황에서 여기서 예들이 기술된다. 그러나, 본 발명의 원리들이 MPEG-4 AVC 표준 및/또는 그 확장들에만 제한되지 않는다는 점이 이해되어야 한다. 여기서 제공되는 본 발명의 원리들의 교시들이 주어지면, 이들 및 관련 기술 분야의 당업자는, 본 발명의 원리들이 균일하게 적용가능하며, 다른 표준들의 확장들에 적용되는 경우, 또는 아직 개발되지 않은 표준들 내에 적용되고 그리고/또는 포함되는 경우, 적어도 유사한 이점들을 제공할 것이라는 점을 용이하게 이해할 것이다. 본 발명의 원리들이 또한, 표준들에 따르지 않지만, 오히려 소유권 정의를 확인하는 비디오 인코더들 및 비디오 디코더들에 적용된다는 점이 추가로 이해될 것이다.

또한, 예시 및 기재의 목적으로, 공지된 위너 필터(Wiener filter)의 상황에서 예들이 여기서 기술된다. 그러나, 본 발명의 원리들은 하나 이상의 픽셀들 및/또는 픽셀 데이터에 적용될 수 있는 임의의 타입의 필터에 적용가능하다는 점이 이해되어야 한다. 예를 들어, 본 발명의 원리들의 일부 실시예들에서, 하나의 필터 타입(예를 들어, 위너 필터)이 선택되고, 하나의 그룹으로 카테고리화된 픽셀들에 대해 계수들이 결정되고, 또다른 필터 타입(비-위너 필터)이 선택되고, 또다른 그룹으로 카테고리화된 픽셀들에 대해 계수들이 결정된다는 점이 이해되어야 한다. 여기서 기술된 본 발명의 원리들의 이들 및 다른 변형들은, 여기서 제공되는 본 발명의 원리들의 교시들이 주어지는 경우, 이들 및 관련 기술분야의 당업자에 의해 용이하게 결정된다.

도 1로 돌아가면, 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 인코더가 일반적으로 참조 번호(100)로 표시된다. 비디오 인코더(100)는 결합기(185)의 비반전 입력과 신호 통신하는 출력을 가지는 프레임 정렬 버퍼(110)를 포함한다. 결합기(185)의 출력은 변환기 및 양자화기(125)의 제1 입력과 신호 통신으로 접속된다. 변환기 및 양자화기(125)의 출력은 엔트로피 코더(145)의 제1 입력 및 역변환기 및 역양자화기(150)의 제1 입력과 신호 통신으로 접속된다. 엔트로피 코더(145)의 출력은 결합기(190)의 제1 비반전 입력과 신호 통신으로 접속된다. 결합기(190)의 출력은 출력 버퍼(135)의 제1 입력과 신호 통신으로 접속된다.

인코더 제어기(105)의 제1 출력은 프레임 정렬 버퍼(110)의 제2 입력, 역변환기 및 역양자화기(150)의 제2 입력, 픽쳐-타입 결정 모듈(115)의 입력, 매크로블록-타입(MB-타입) 결정 모듈(120)의 제1 입력, 인트라 예측 모듈(160)의 제2 입력, 디블로킹 필터(165)의 제2 입력, 모션 보상기(170)의 제1 입력, 모션 추정기(175)의 제1 입력, 및 기준 픽쳐 버퍼(180)의 제2 입력과 신호 통신으로 접속된다.

인코더 제어기(105)의 제2 출력은 보조 개선 정보(SEI) 삽입기(130)의 제1 입력, 변환기 및 양자화기(125)의 제2 입력, 엔트로피 코더(145)의 제2 입력, 출력 버퍼(135)의 제2 입력, 및 시퀀스 파라미터 세트(SPS) 및 픽쳐 파라미터 세트(PPS) 삽입기(140)와 신호 통신으로 접속된다.

SEI 삽입기(130)의 출력은 결합기(190)의 제2 비반전 입력과 신호 통신으로 접속된다.

픽쳐-타입 결정 모듈(115)의 제1 출력은 프레임 정렬 버퍼(110)의 제3 입력과 신호 통신으로 접속된다. 픽쳐-타입 결정 모듈(115)의 제2 출력은 매크로블록-타입 결정 모듈(120)의 제2 입력과 신호 통신으로 접속된다.

시퀀스 파라미터 세트(SPS) 및 픽쳐 파라미터 세트(PPS) 삽입기(140)의 출력은 결합기(190)의 제3 비반전 입력과 신호 통신으로 접속된다.

역양자화기 및 역변환기(150)의 출력은 결합기(119)의 제1 비반전 입력과 신호 통신으로 접속된다. 결합기(119)의 출력은 인트라 예측 모듈(160)의 제1 입력 및 디블로킹 필터(165)의 제1 입력과 신호 통신으로 접속된다. 디블로킹 필터(165)의 출력은 적응형 루프 필터(133)의 입력과 신호 통신으로 접속된다. 적응형 루프 필터의 출력은 기준 픽쳐 버퍼(180)의 제1 입력과 신호 통신으로 접속된다. 기준 픽쳐 버퍼(180)의 출력은 모션 추정기(175)의 제2 입력 및 모션 보상기(170)의 제3 입력과 신호 통신으로 접속된다. 모션 추정기(175)의 제1 출력은 모션 추정기(170)의 제2 입력과 신호 통신으로 접속된다. 모션 추정기(175)의 제2 출력은 엔트로피 코더(145)의 제3 입력과 신호 통신으로 접속된다.

모션 보상기(170)의 출력은 스위치(197)의 제1 입력과 신호 통신으로 접속된다. 인트라 예측 모듈(160)의 출력은 스위치(197)의 제2 입력과 신호 통신으로 접속된다. 매크로블록-타입 결정 모듈(120)의 출력은 스위치(197)의 제3 입력과 신호 통신으로 접속된다. 스위치(197)의 제3 입력은 (제어 입력, 즉 제3 입력에 비해) 스위치의 "데이터" 입력이 모션 보상기(170) 또는 인트라 예측 모듈(160)에 의해 제공될 지의 여부를 결정한다. 스위치(197)의 출력은 결합기(119)의 제2 비반전 입력 및 결합기(185)의 반전 입력과 신호 통신으로 접속된다.

프레임 정렬 버퍼(110)의 제1 입력 및 인코더 제어기(105)의 입력이, 입력 픽쳐를 수신하기 위한, 인코더(100)의 입력들로서 사용가능하다. 또한, 보조 개선 정보(SEI) 삽입기(130)의 제2 입력이, 메타 데이터를 수신하기 위한, 인코더(100)의 입력으로서 사용가능하다. 출력 버퍼(135)의 출력은 비트스트림을 출력하기 위한, 인코더(100)의 출력으로서 사용가능하다.

도 2를 참조하면, 본 발명의 원리들이 적용될 수 있는 예시적인 비디오 디코더가 일반적으로 참조 번호 200으로 표시된다. 비디오 디코더(200)는 엔트로피 디코더(245)의 제1 입력과 신호 통신으로 접속되는 출력을 가지는 입력 버퍼(210)를 포함한다. 엔트로피 디코더(245)의 제1 출력은 역변환기 및 역양자화기(250)의 제1 입력과 신호 통신으로 접속된다. 역변환기 및 역양자화기(250)의 출력은 결합기(225)의 제2 비반전 입력과 신호 통신으로 접속된다. 결합기(225)의 출력은 디블로킹 필터(265)의 제2 입력 및 인트라 예측 모듈(260)의 제1 입력과 신호 통신으로 접속된다. 디블로킹 필터(265)의 제2 출력은 적응형 루프 필터(233)의 입력과 신호 통신으로 접속된다. 적응형 루프 필터(233)의 출력은 기준 픽쳐 버퍼(280)의 제1 입력과 신호 통신으로 접속된다. 기준 픽쳐 버퍼(280)의 출력은 모션 보상기(270)의 제2 입력과 신호 통신으로 접속된다.

엔트로피 디코더(245)의 제2 출력은 모션 보상기(270)의 제3 입력, 디블로킹 필터(265)의 제1 입력, 및 인트라 예측기(260)의 제3 입력과 신호 통신으로 접속된다. 엔트로피 디코더(245)의 제3 출력은 디코더 제어기(205)의 입력과 신호 통신으로 접속된다. 디코더 제어기(205)의 제1 출력은 엔트로피 디코더(245)의 제2 입력과 신호 통신으로 접속된다. 디코더 제어기(205)의 제2 출력은 역변환기 및 역양자화기(250)의 제2 입력과 신호 통신으로 접속된다. 디코더 제어기(205)의 제3 출력은 디블로킹 필터(265)의 제3 입력과 신호 통신으로 접속된다. 디코더 제어기(205)의 제4 출력은 인트라 예측 모듈(260)의 제2 입력, 모션 보상기(270)의 제1 입력, 및 기준 픽쳐 버퍼(280)의 제2 입력과 신호 통신으로 접속된다.

모션 보상기(270)의 출력은 스위치(297)의 제1 입력과 신호 통신으로 접속된다. 인트라 예측 모듈(260)의 출력은 스위치(297)의 제2 입력과 신호 통신으로 접속된다. 스위치(297)의 출력은 결합기(225)의 제1 비반전 입력과 신호 통신으로 접속된다.

입력 버퍼(210)의 입력은 입력 비트스트림을 수신하기 위한, 디코더(200)의 입력으로서 사용가능하다. 디블로킹 필터(265)의 제1 출력은 출력 픽쳐를 출력하기 위한, 디코더(200)의 출력으로서 사용가능하다.

위에서 주지된 바와 같이, 본 발명의 원리들은 분류-기반 루프 필터에 대한 방법들 및 장치에 관한 것이다. 이전에 기술된 바와 같이, 종래 기술의 필터링 방식들은 비-변경(비-자연적) 비디오 신호들에 대해 적절하게 작용하는 경향이 있다. 또한 이전에 기술된 바와 같이, 종래 기술의 방법들은 일반적으로, 동일한 사이즈의 또는 가변 사이즈 블록들인 파티션들을 이용한다. 그러나, 블록-기반 방법들은 자연적(정상) 이미지 및 비디오들 내에서 공간적 변동들을 효과적으로 특성화하지 않는다. 예를 들어, 비디오 시퀀스의 시각적 품질은 에지 선명도에 매우 의존적인 반면, 픽쳐 내의 에지들은 블록 기반과는 거리가 멀다. 더 중요하게는, 상이한 방향들의 에지들은 선명도를 보존하기 위해 필터들의 상이한 세트들을 요구한다. 이러한 문제점들을 해결하기 위해, 필터를 개선하기 위한 분류-기반 방식을 제안한다.

본 발명의 원리들의 실시예에 따라, 비디오 인코더에서, 이미지의 예측 에러가 먼저 변환 계수들로 변환되는 비디오 인코딩을 위한 방법 및 장치가 개시되고 기술된다. 변환된 계수들은 이후 양자화된다. 이전에 양자화되고 변환된 계수들은 역양자화되고 역변환되어, 재구성된 예측 에러 이미지를 초래한다. 재구성된 이미지는 재구성된 예측 에러 이미지 및 예측 이미지를 결합시킴으로써 생성된다. 이후, 픽셀들은, 에지 배향, 이방성/등방성, 방향, 크기, 콘트라스트, 그레디언트 등과 같은 로컬 기하학적 특성들에 응답하여, 그룹 또는 카테고리 내에 분류된다. 분류가 배향에 기초하는 실시예에서, 예를 들어, 재구성된 이미지의 에지 검출이 수행되고, 에지에서의 픽셀들은 배향에 기초하여 그룹 또는 카테고리 내에 분류된다. 필터는 특정된 픽셀에 적용되며, 필터는 그룹 또는 카테고리 내의 픽셀 분류에 응답하여 선택된다.

본 발명의 원리들의 실시예에 따라, 엔트로피 코딩된 양자화된, 변환된 계수들이 수신되고, 이후 역양자화 및 역변환되어 재구성된 예측 에러 이미지를 초래하는, 비디오 디코딩을 위한 방법 및 장치가 개시되고 기술된다. 재구성된 이미지는 재구성된 예측 에러 이미지 및 예측 이미지를 결합시킴으로써 생성된다. 이후, 픽셀들은, 에지 배향, 이방성/등방성, 방향, 크기, 콘트라스트, 그레디언트 등과 같은 로컬 기하학적 특성들에 응답하여, 그룹 또는 카테고리 내에 분류된다. 분류가 배향에 기초하는 실시예에서, 예를 들어, 재구성된 이미지의 에지 검출이 수행되고, 에지에서의 픽셀들은 배향에 기초하는 그룹 또는 카테고리 내에 분류된다. 필터는 특정된 픽셀에 적용되며, 필터는 그룹 또는 카테고리 내의 픽셀 분류에 응답하여 선택된다.

픽셀은 자신의 구조(계수들)가 해당 그룹 내에 카테고리화되는 모든 픽셀들에 대해 선택된 필터에 의해 필터링된다. 필터들은 상이한 그룹들/카테고리들에 속하는 픽셀들에 대해 상이하게 구성된다.

현재 비디오 코딩 프레임워크들에서, 필터링 기법들은 일반적으로, 압축 아티팩트들을 제거하기 위해 또는 안티-에일리어싱을 위해 사용된다. 이러한 필터링 기법들은 많은 비디오 압축 응용예들에서, 인-루프 또는 아웃-루프로서 사용될 수 있다. 비디오 신호들의 속성의 변경으로 인해, 필터링 프로세스는 공간 및 시간 도메인들 모두에서 적응적인 것으로 예상된다. 많은 블록-기반 적응형 필터들은 압축 아티팩트들을 제거하는 경우, 공간 적응을 달성하기 위해 제안되었다. 본 발명의 원리들에 따라, 픽셀 특성-기반 적응성을 가지는 적응형 필터들이 사용된다는 점에서 개선된 성능을 가지는 방법들 및 장치가 개시되고 기술된다. 구체적으로, 비디오 프레임은 에지 검출을 이용하여 적용되고, 검출된 에지들에서의 픽셀들은 일부 픽셀 분류에 기초하여 상이한 그룹들 또는 카테고리들로 분류된다(이러한 픽셀들은 방향, 크기, 그레디언트, 및/또는 일부 다른 검출가능한 특징에 기초하여 선택되고 그룹화 또는 카테고리화될 수 있다). 이후, 픽셀은 필터에 의해 필터링되는데, 이 필터의 구조(계수들)는 특정 그룹 내에 카테고리화된 모든 픽셀들에 대해 선택된 것이다. 필터들은 상이한 그룹들/카테고리들에 속하는 픽셀들에 대해 상이하게 구성된다. 필터 계수들은 프레임 단위로 적응적으로 선택될 수 있고, 계수들은 인코더로부터 디코더로 시그널링될 수 있다. 대안적인 실시예에서, 각각의 카테고리에 대한 필터 계수들은 오프라인으로 선택되고, 인코더 및 디코더 모두에서 저장될 수 있다.

일 실시예에서, 에지 검출은 필터링될 입력 픽쳐에 대해 수행된다. 에지들인 것으로 결정된 픽셀들은 에지 배향들에 기초하여 상이한 카테고리들로 추가로 분류된다. 각각의 카테고리에 대해, 위너 필터 계수들의 세트(또는 다른 타입의 필터 계수들)는 원래 픽쳐 및 이러한 카테고리 내의 픽셀들에 대해 프로세싱될 입력 픽쳐 사이의 평균 제곱 에러(MSE)를 최소화함으로써 계산된다. 각각의 카테고리에 대한 필터 계수들은 적응적으로 프레임 단위로 트레이닝되고, 고레벨 신택스를 사용하여 시그널링될 수 있다.

에지들로서 결정되지 않은 픽쳐의 나머지 내의 픽셀들에 대해, 필터 계수들의 또다른 세트는 필터링 이전에 계산된다. 디코더에서, 유사한 에지 검출 및 분류가 카테고리에 의한 에지 픽셀들 및 또한 픽쳐의 나머지의 필터링 이전에 픽쳐에 대해 수행된다.

또다른 실시예에서, 픽셀 레벨에서의 분류를 수행하는 것 대신, 기본 단위는 블록, 예를 들어, 8 x 8 의 블록 사이즈를 가지는 블록일 수 있다.

도 3을 참조하면, 분류-기반 루프 필터를 사용하여 입력 픽쳐에 대한 픽쳐 데이터를 인코딩하기 위한 예시적인 방법이 일반적으로 참조 번호(300)에 의해 표시된다. 방법(300)은 기능 블록(310)에 제어를 전달하는 시작 블록(305)을 포함한다. 기능 블록(310)은 인코딩 설정을 수행하고, 기능 블록(315)에 제어를 전달한다. 기능 블록(315)은 양자화된 변환 계수들을 획득하기 위해 입력 픽쳐의 레지듀를 변환 및 양자화하고, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환하고, 입력 픽쳐의 재구성된 버전을 획득하기 위해 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시키고, 기능 블록(330)에 제어를 전달한다. 기능 블록(330)은 로컬 기하학적 특성들에 기초하여, 입력 픽쳐의 재구성된 버전 내의 에지 픽셀들 또는 블록들을 n개 카테고리들로 분류하고, 루프 제한 블록(340)에 제어를 전달한다. 루프 제한 블록(340)은 각각의 카테고리에 대해 루프시키고(loop), 기능 블록(350)에 제어를 전달한다. 기능 블록(350)은 위너 필터 계수들을 계산하고, 루프 인덱스에 의해 표시되는 특정 클래스 내의 에지 픽셀들 또는 블록들에 필터를 적용하고, 기능 블록(360)에 제어를 전달한다. 기능 블록(360)은 필터 계수들을 인코딩하고, 루프 제한 블록(370)에 제어를 전달한다. 루프 제한 블록(370)은 카테고리들 각각에 대한 루프를 종료하고, 기능 블록(380)에 제어를 전달한다. 기능 블록(380)은 다른(비-에지) 픽셀들에 대한 위너 필터 계수들을 계산 및 적용하고, 기능 블록(390)에 제어를 전달한다. 기능 블록(390)은 (다른 픽셀들에 대한) 필터 계수들을 인코딩하고, 종료 블록(399)에 제어를 전달한다.

도 4를 참조하면, 분류-기반 루프 필터를 사용하여 픽쳐에 대한 픽쳐 데이터를 디코딩하기 위한 예시적인 방법이 일반적으로 참조 부호 400에 의해 표시된다. 방법(400)은 기능 블록(415)에 제어를 전달하는 시작 블록(405)을 포함한다. 기능 블록(415)은 양자화된 변환 계수들을 수신하고, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환하고, 픽쳐의 재구성된 버전을 획득하기 위해 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시키고, 기능 블록(420)에 제어를 전달한다. 기능 블록(420)은 로컬 기하학적 특성들에 기초하여 픽쳐의 재구성된 버전 내의 에지 픽셀들 또는 블록들을 n개 카테고리들로 분류하고, 루프 제한 블록(430)에 제어를 전달한다. 루프 제한 블록(430)은 각각의 카테고리에 대한 루프를 시작하고, 기능 블록(440)에 제어를 전달한다. 기능 블록(440)은 위너 필터 계수들을 파싱(parse)하고, 기능 블록(450)에 제어를 전달한다. 기능 블록(450)은 루프 인덱스에 의해 표시되는 특정 클래스 내의 에지 픽셀들 또는 블록들에 위너 필터를 적용하고, 루프 제한 블록(460)에 제어를 전달한다. 루프 제한 블록(460)은 카테고리들에 대한 루프를 종료하고, 기능 블록(470)에 제어를 전달한다. 기능 블록(470)은 다른(즉, 비-에지) 픽셀들에 대한 위너 필터 계수들을 파싱하고, 기능 블록(480)에 제어를 전달한다. 기능 블록(480)은 (다른 픽셀들에 대해) 위너 필터를 적용하고, 종료 블록(499)에 제어를 전달한다.

또다른 실시예에서, 시그널링 오버헤드가 회피될 수 있다. 이러한 경우, 필터들은 시퀀스들의 세트를 이용하여 오프라인으로 트레이닝되고, 인코더 및 디코더 모두에 저장될 수 있다.

도 5를 참조하면, 분류-기반 루프 필터를 사용하여 입력 픽쳐에 대한 픽쳐 데이터를 인코딩하기 위한 또다른 예시적인 방법이 일반적으로 참조 번호 500에 의해 표시된다. 방법(500)은 기능 블록(510)에 제어를 전달하는 시작 블록(505)을 포함한다. 기능 블록(510)은 인코딩 설정을 수행하고, 기능 블록(530)에 제어를 전달한다. 이러한 그리고 관련 기술 분야의 당업자에게 자명할 것이므로 명시적으로 보여지지는 않았지만, 방법(500)은 또한 기능 블록(530)에 의해 수행되는 분류에 앞서, 도 3의 기능 블록(315)에 대해 도시된 것과 유사한 단계들을 포함한다는 것을 유념한다. 기능 블록(530)은 로컬 기하학적 특성들에 기초하여 입력 픽쳐의 재구성된 버전의 에지 픽셀들 또는 블록들을 n개 카테고리들로 분류하고, 루프 제한 블록(540)에 제어를 전달한다. 루프 제한 블록(540)은 각각의 카테고리에 대한 루프를 시작하고, 기능 블록(550)에 제어를 전달한다. 기능 블록(550)은 클래스에 대한 사전 트레이닝된 계수들을 가지고 에지 픽셀들 또는 블록들을 필터링하고, 루프 제한 블록(560)에 제어를 전달한다. 루프 제한 블록(560)은 카테고리들에 대한 루프를 종료하고, 기능 블록(570)에 제어를 전달한다. 기능 블록(570)은 다른(즉, 비-에지) 픽셀들에 대한 위너 필터 계수들을 계산 및 적용하고, 기능 블록(580)에 제어를 전달한다. 기능 블록(580)은 필터 계수들을 인코딩하고, 종료 블록(599)에 제어를 전달한다.

도 6을 참조하면, 분류-기반 루프 필터를 사용하여 픽쳐에 대한 픽쳐 데이터를 디코딩하기 위한 또다른 예시적인 방법이 일반적으로 참조 번호 600으로 표시된다. 방법(600)은 기능 블록(620)에 제어를 전달하는 시작 블록(605)을 포함한다. 이러한 그리고 관련 기술 분야의 당업자에게 자명할 것이므로 명시적으로 보여지지는 않았지만, 방법(600)은 또한, 기능 블록(620)에 의해 수행되는 분류 이전에, 도 4의 기능 블록(415)에 대해 도시된 것과 유사한 단계들을 포함한다는 것을 유념한다. 기능 블록(620)은 로컬 기하학적 특성들에 기초하여, 픽쳐의 재구성된 버전 내의 에지 픽셀들 또는 블록들을 n개의 카테고리들로 분류하고, 루프 제한 블록(630)에 제어를 전달한다. 루프 제한 블록(630)은 각각의 카테고리에 대해 루프를 시작하고, 루프 제한 블록(640)에 제어를 전달한다. 루프 제한 블록(640)은 클래스에 대한 사전-트레이닝된 계수들을 가지고 에지 픽셀들 또는 블록들을 필터링하고, 루프 제한 블록(650)에 제어를 전달한다. 루프 제한 블록(650)은 카테고리들에 걸쳐 루프를 종료하고, 기능 블록(660)에 제어를 전달한다. 기능 블록(660)은 다른(즉, 비-에지) 픽셀들에 대한 위너 필터 계수들을 파싱하고, 기능 블록(670)에 제어를 전달한다. 기능 블록(670)은 (다른 픽셀들에 대해) 위너 필터를 적용하고, 종료 블록(699)에 제어를 전달한다.

또다른 실시예에서, 분류-기반 위너 필터링은 BALF 또는 QALF와 결합되며, 이는 필터링을 수행할지의 여부를 각각의 픽셀에 대해 결정한다. BALF 또는 QALF가 블록을 필터링하도록 결정하는 경우, 에지들로서 검출되는 픽셀들은 이들이 속하는 카테고리들에 대한 구체적으로 트레이닝된 필터를 가지고 필터링될 것이다.

도 7을 참조하면, 분류-기반 루프 필터를 사용하여 입력 픽쳐에 대한 픽쳐 데이터를 인코딩하기 위한 또다른 예시적인 방법이 일반적으로 참조 번호 700으로 표시된다. 방법(700)은 기능 블록(710)에 제어를 전달하는 시작 블록(705)을 포함한다. 기능 블록(710)은 인코딩 설정을 수행하고, 기능 블록(720)에 제어를 전달한다. 이러한 그리고 관련 기술 분야의 당업자에게 자명할 것이므로 명시적으로 보여지지는 않았지만, 방법(700)은 또한, 기능 블록(720)에 의해 수행되는 분류 이전에, 도 3의 기능 블록(315)에 대해 도시된 것과 유사한 동작들을 포함한다는 것을 유념한다. 기능 블록(720)은 로컬 기하학적 특성들에 기초하여 입력 픽쳐의 재구성된 버전 내의 에지 픽셀들 또는 블록들을 n개의 카테고리들로 분류하고, 루프 제한 블록(725)에 제어를 전달한다. 루프 제한 블록(725)은 각각의 카테고리에 대해 루프시키고, 기능 블록(730)에 제어를 전달한다. 기능 블록(730)은 각각의 카테고리에 대해 위너 필터 계수들을 계산하고, 루프 제한 블록(735)에 제어를 전달한다. 루프 제한 블록(735)은 카테고리들에 대한 루프를 종료하고, 기능 블록(740)에 제어를 전달한다. 기능 블록(740)은 블록 적응형 루프 필터를 가지고 필터 제어 플래그 및 필터 계수들을 계산하고, 루프 제한 블록(745)에 제어를 전달한다. 루프 제한 블록(745)은 각각의 블록에 대한 루프를 종료하고, 결정 블록(750)에 제어를 전달한다. 결정 블록(750)은 이러한(현재) 블록을 필터링할지의 여부를 결정한다. 만약 그러한 경우, 제어는 루프 제한 블록(755)에 전달된다. 그렇지 않은 경우, 제어는 루프 제한 블록(780)에 전달된다. 루프 제한 블록(755)은 현재 블록 내의 각각의 픽셀에 대한 루프를 시작하고, 결정 블록(760)에 제어를 전달한다. 결정 블록(760)은 현재 픽셀이 에지 픽셀인지의 여부를 결정한다. 만약 그러한 경우, 제어는 기능 블록(765)에 전달된다. 그렇지 않은 경우, 제어는 기능 블록(770)에 전달된다. 기능 블록(765)은 픽셀이 속하는 카테고리에 대해 트레이닝되는 필터를 적용하고, 루프 제한 블록(775)에 제어를 전달한다. 기능 블록(770)은 BALF 또는 QALF에 의해 트레이닝되는 필터를 적용하고, 루프 제한 블록(775)에 제어를 전달한다. 루프 제한 블록(775)은 픽셀들에 대한 루프를 종료하고, 루프 제한 블록(780)에 제어를 전달한다. 루프 제한 블록(780)은 블록들에 대한 루프를 종료하고, 기능 블록(790)에 제어를 전달한다. 기능 블록(790)은 필터 계수들 및 제어 플래그들을 인코딩하고, 종료 블록(799)에 제어를 전달한다.

도 8을 참조하면, 분류-기반 루프 필터를 사용하여 픽쳐에 대한 픽쳐 데이터를 디코딩하기 위한 또다른 예시적인 방법이 일반적으로 참조 번호 800에 의해 표시된다. 방법(800)은 기능 블록(810)에 제어를 전달하는 시작 블록(805)을 포함한다는 것을 유념한다. 기능 블록(810)은 필터 계수들 및 제어 플래그들을 파싱하고, 기능 블록(820)에 제어를 전달한다. 이러한 그리고 관련 기술 분야의 당업자에게 자명할 것이므로 명시적으로 보여지지는 않았지만, 방법(800)은 또한, 기능 블록(820)에 의해 수행되는 분류 이전에, 도 4의 기능 블록(415)에 대해 도시된 것과 유사한 단계들을 포함한다. 기능 블록(820)은 로컬 기하학적 특성들에 기초하여 픽쳐의 재구성된 버전 내의 에지 픽셀들 또는 블록들을 n개의 카테고리들로 분류하며, 루프 제한 블록(830)에 제어를 전달한다. 루프 제한 블록(830)은 각각의 블록에 대한 루프를 시작하고, 결정 블록(835)에 제어를 전달한다. 결정 블록(835)은 이러한(현재) 블록을 필터링할지의 여부를 결정한다. 만약 그러한 경우, 제어는 루프 제한 블록(840)에 전달된다. 그렇지 않은 경우, 제어는 루프 제한 블록(870)에 전달된다. 루프 제한 블록(840)은 현재 블록 내의 각각의 픽셀에 대한 루프를 시작하고, 결정 블록(845)에 제어를 전달한다. 결정 블록(845)은 현재 픽셀이 에지 픽셀인지의 여부를 결정한다. 만약 그러한 경우, 제어는 기능 블록(850)에 전달된다. 그렇지 않은 경우, 제어는 기능 블록(855)에 전달된다. 기능 블록(850)은 픽셀이 속하는 카테고리에 대해 트레이닝된 필터를 적용하고, 루프 제한 블록(860)에 제어를 전달한다. 기능 블록(855)은 BALF 또는 QALF에 의해 트레이닝되는 필터를 적용하고, 루프 제한 블록(860)에 제어를 전달한다. 루프 제한 블록(860)은 픽셀들에 대한 루프를 종료하고, 루프 제한 블록(870)에 제어를 전달한다. 루프 제한 블록(870)은 블록들에 대한 루프를 종료하고, 종료 블록(899)에 제어를 전달한다.

신택스

표 1은 본 발명의 원리들의 실시예에 따른 예시적인 슬라이스 헤더 신택스를 도시한다.

표 1 내의 신택스 엘리먼트들의 시맨틱들은 다음과 같다:

이 1과 동일한 것은 에지 배향 기반 필터링이 슬라이스에 대해 사용됨을 특정한다. edge_filter_flag가 0과 동일한 것은 에지 배향 기반 필터링이 사용되지 않음을 특정하며, 이는, 슬라이스 내의 모든 픽셀들이 동일한 필터를 사용할 것임을 의미한다.

는 에지 방향들의 전체 수를 특정한다.

가 1과 같은 것은 제i 방향의 필터가 사용됨을 특정하고, edge_dir_used_flag[i]가 0과 같은 것은 제i 방향의 필터가 사용되지 않음을 특정한다.

는 제i 방향의 필터에 대한 계수들을 특정한다.

본 발명의 많은 부속적인 장점들/특징들의 일부의 설명이 이제 주어질 것이며, 이들 중 일부는 위에 언급되었다. 예를 들어, 하나의 장점/특징은 양자화된 변환 계수들을 획득하기 위해 입력 픽쳐의 레지듀를 변환 및 양자화하고, 레지듀의 재구성된 버전을 획득하기 위해 양자화된 변환 계수들을 역양자화 및 역변환하고, 입력 픽쳐의 재구성된 버전을 획득하기 위해 적어도 하나의 기준 픽쳐를 레지듀의 재구성된 버전과 결합시킴으로써 입력 픽쳐를 인코딩하기 위한 비디오 인코더를 가지는 장치이다. 비디오 인코더는 로컬 기하학적 특성들에 응답하여 복수의 카테고리들의 각각의 카테고리 내에 입력 픽쳐의 재구성된 버전 내의 픽셀들을 분류하고, 복수의 카테고리들에 대해 적어도 하나의 픽셀의 대응하는 분류에 응답하여 선택된 적어도 하나의 픽셀을 필터링하기 위한 필터를 포함한다.

또다른 장점/특징은 위에 기술된 바와 같은 비디오 인코더를 가지는 장치이며, 여기서 필터 계수들은 적응적이며, 복수의 카테고리들 중 적어도 하나 내의 필터링의 개선된 성능을 제공하는 것에 응답하여 선택된다.

또다른 장점/특징은 비디오 인코더를 가지는 장치이며, 여기서 필터 계수들은 적응적이며, 전술된 바와 같이, 복수의 카테고리들 중 적어도 하나 내의 필터링의 개선된 성능을 제공하는 것에 응답하여 선택되며, 여기서 개선된 성능은 입력 픽쳐 및 입력 픽쳐의 재구성된 버전 사이의 왜곡 측정치(measure)를 최소화함으로써 제공된다.

또다른 장점/특징은 전술된 바와 같은 비디오 인코더를 가지는 장치이며, 여기서 적어도 하나의 픽셀의 분류는 방향, 크기, 이방성/등방성, 콘트라스트, 및 이에 대응하는 그레디언트 중 적어도 하나에 응답하여 결정된다.

또한, 또다른 장점/특징은 전술된 바와 같은 비디오 인코더를 가지는 장치이며, 여기서 필터 계수들은 픽쳐 기반으로 적응적으로 트레이닝되고, 하나 이상의 고레벨 신택스 엘리먼트들을 사용하여 시그널링된다.

추가로, 또다른 장점/특징은 전술된 바와 같은 비디오 인코더를 가지는 장치이며, 여기서 필터 계수들은 오프라인으로 트레이닝되고 인코더 및 대응하는 디코더 모두에서 저장된다.

또한, 또다른 장점/특징은 전술된 바와 같은 비디오 인코더를 가지는 장치이며, 여기서 필터링은 블록 적응형 루프 필터링 또는 쿼드-트리 적응형 루프 필터링을 이용하여 공동으로 수행된다.

본 발명의 원리들의 이들 및 다른 특징들 및 장점들은 여기서의 교시들에 기초하여 관련 기술 분야의 당업자에 의해 용이하게 확인될 수 있다. 본 발명의 원리들의 교시들이 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들, 또는 이들의 조합의 다양한 형태들로 구현될 수 있다는 점이 이해되어야 한다.

가장 바람직하게는, 본 발명의 원리들의 교시들은 하드웨어와 소프트웨어의 조합으로서 구현된다. 또한, 소프트웨어는 프로그램 저장 유닛 상에서 실재로 구현되는 응용 프로그램으로서 구현될 수 있다. 응용 프로그램은 임의의 적절한 아키텍쳐를 포함하는 머신에 업로드되고 머신에 의해 실행될 수 있다. 바람직하게는, 머신은 하나 이상의 중앙 처리 장치들("CPU"), 랜덤 액세스 메모리("RAM"), 및 입력/출력("I/O") 인터페이스들과 같은 하드웨어를 가지는 컴퓨터 플랫폼 상에 구현된다. 컴퓨터 플랫폼은 또한 운영 체제 및 마이크로명령 코드를 포함할 수 있다. 여기서 설명된 다양한 프로세스들 및 기능들은 마이크로명령 코드의 일부 또는 응용 프로그램의 일부, 또는 이들의 임의의 조합일 수 있고, 이들은 CPU에 의해 실행될 수 있다. 추가로, 추가 데이터 저장 유닛 및 프린트 유닛과 같은 다양한 다른 주변 유닛들이 컴퓨터 플랫폼에 접속될 수 있다.

첨부 도면들에서 도시된 구성 시스템 컴포넌트들 및 방법들의 일부가 바람직하게는 소프트웨어로 구현되므로, 시스템 컴포넌트들 또는 프로세스 기능 블록들 사이의 실제 접속들은 본 발명의 원리들이 프로그래밍되는 방식에 따라 달라질 수 있다는 점이 추가로 이해되어야 한다. 여기서의 교시들이 주어지면, 관련 기술분야의 당업자는 본 발명의 원리들의 이들 및 유사한 구현예들 또는 구성들을 참작할 수 있을 것이다.

예시적인 실시예들이 여기서 첨부 도면들과 관련하여 기술되었지만, 본 발명의 원리들이 이들 정확한 실시예들에 제한되지 않으며, 다양한 변경들 및 수정들이 본 발명의 원리들의 범위 또는 사상으로부터 벗어나지 않고 관련 기술 분야의 당업자에 의해 수행될 수 있다는 점이 이해되어야 한다. 모든 이러한 변경들 및 수정들은 첨부된 청구항들에서 설명되는 바와 같은 본 발명의 원리들의 범위 내에 포함되는 것으로 의도된다.

Claims

분류-기반 루프 필터를 위한 장치로서,
입력 픽쳐의 레지듀(residue)를 변환 및 양자화하여 양자화된 변환 계수들을 획득하고, 상기 양자화된 변환 계수들을 역양자화 및 역변환하여 상기 레지듀의 재구성된 버전을 획득하고, 적어도 하나의 기준 픽쳐를 상기 레지듀의 재구성된 버전과 결합시켜 상기 입력 픽쳐의 재구성된 버전을 획득함으로써 상기 입력 픽쳐를 인코딩하기 위한 비디오 인코더(100)
를 포함하고,
상기 비디오 인코더는 상기 입력 픽쳐의 재구성된 버전 내의 에지 픽셀들만을 로컬 기하학적 특성들에 응답하여 적어도 3개의 카테고리들의 각각의 카테고리 내에 분류하고, 상기 적어도 3개의 카테고리들에 대한 적어도 하나의 에지 픽셀의 대응하는 분류에 응답하여 선택된 상기 적어도 하나의 에지 픽셀을 필터링하기 위한 필터(133)를 포함하는, 분류-기반 루프 필터를 위한 장치.
제1항에 있어서,
필터 계수들은 적응적(adaptive)이며, 상기 적어도 3개의 카테고리들 중 적어도 하나의 카테고리 내에서 필터링의 개선된 성능을 제공하는 것에 응답하여 선택되는, 분류-기반 루프 필터를 위한 장치.
제2항에 있어서,
상기 개선된 성능은 상기 입력 픽쳐와 상기 입력 픽쳐의 재구성된 버전 사이의 왜곡 측정치(measure)를 최소화함으로써 제공되는, 분류-기반 루프 필터를 위한 장치.
제1항에 있어서,
상기 적어도 하나의 에지 픽셀의 분류는 방향, 크기, 이방성/등방성, 콘트라스트, 및 대응하는 그레디언트(gradient) 중 적어도 하나에 응답하여 결정되는, 분류-기반 루프 필터를 위한 장치.
제1항에 있어서,
필터 계수들은 픽쳐 기반으로 적응적으로 트레이닝되고, 하나 이상의 고레벨 신택스(syntax) 엘리먼트들을 사용하여 시그널링되는, 분류-기반 루프 필터를 위한 장치.
제1항에 있어서,
필터 계수들은 상기 인코더 및 대응하는 디코더 모두에서 오프라인으로 트레이닝되고 저장되는, 분류-기반 루프 필터를 위한 장치.
제1항에 있어서,
상기 필터링은 블록 적응형 루프 필터링(block adaptive loop filtering) 또는 쿼드-트리(quad-tree) 적응형 루프 필터링과 공동으로 수행되는, 분류-기반 루프 필터를 위한 장치.
비디오 인코더에서의 분류-기반 루프 필터를 위한 방법으로서,
입력 픽쳐를 인코딩하는 단계를 포함하고, 상기 인코딩하는 단계는:
상기 입력 픽쳐의 레지듀를 변환 및 양자화하여 양자화된 변환 계수들을 획득하는 단계(315);
상기 양자화된 변환 계수들을 역양자화 및 역변환하여 상기 레지듀의 재구성된 버전을 획득하는 단계(315);
적어도 하나의 기준 픽쳐를 상기 레지듀의 재구성된 버전과 결합시켜 상기 입력 픽쳐의 재구성된 버전을 획득하는 단계(315);
상기 입력 픽쳐의 재구성된 버전 내의 에지 픽셀들만을 로컬 기하학적 특성들에 응답하여 적어도 3개의 카테고리들의 각각의 카테고리 내에 분류하는 단계(330, 530, 720); 및
상기 적어도 3개의 카테고리들에 대한 적어도 하나의 에지 픽셀의 대응하는 분류에 응답하여 선택된 상기 적어도 하나의 에지 픽셀을 필터링하는 단계(350, 550, 765)를 포함하는, 비디오 인코더에서의 분류-기반 루프 필터를 위한 방법.
제8항에 있어서,
필터 계수들은 적응적이고, 상기 적어도 3개의 카테고리들 중 적어도 하나의 카테고리 내의 필터링의 개선된 성능을 제공하는 것에 응답하여 선택되는, 비디오 인코더에서의 분류-기반 루프 필터를 위한 방법.
제9항에 있어서,
상기 개선된 성능은 상기 입력 픽쳐와 상기 입력 픽쳐의 재구성된 버전 사이의 왜곡 측정치를 최소화함으로써 제공되는, 비디오 인코더에서의 분류-기반 루프 필터를 위한 방법.
제8항에 있어서,
상기 적어도 하나의 에지 픽셀의 분류는 방향, 크기, 이방성/등방성, 콘트라스트, 및 대응하는 그레디언트 중 적어도 하나에 응답하여 결정되는, 비디오 인코더에서의 분류-기반 루프 필터를 위한 방법.
제8항에 있어서,
필터 계수들은 픽쳐 기반으로 적응적으로 트레이닝되고, 하나 이상의 고레벨 신택스 엘리먼트들을 사용하여 시그널링되는, 비디오 인코더에서의 분류-기반 루프 필터를 위한 방법.
제8항에 있어서,
필터 계수들은 상기 인코더 및 대응하는 디코더 모두에서 오프라인으로 트레이닝되고 저장되는, 비디오 인코더에서의 분류-기반 루프 필터를 위한 방법.
제8항에 있어서,
상기 필터링하는 단계는 블록 적응형 루프 필터링 또는 쿼드-트리 적응형 루프 필터링과 공동으로 수행되는(770), 비디오 인코더에서의 분류-기반 루프 필터를 위한 방법.
분류-기반 루프 필터를 위한 장치로서,
양자화된 변환 계수들을 수신하고, 상기 양자화된 변환 계수들을 역양자화 및 역변환하여 레지듀의 재구성된 버전을 획득하고, 적어도 하나의 기준 픽쳐를 상기 레지듀의 재구성된 버전과 결합시켜 픽쳐의 재구성된 버전을 획득함으로써 상기 픽쳐를 디코딩하기 위한 비디오 디코더(200)
를 포함하고,
상기 비디오 디코더는 상기 픽쳐의 재구성된 버전 내의 에지 픽셀들만을 로컬 기하학적 특성들에 응답하여 적어도 3개의 카테고리들의 각각의 카테고리 내에 분류하고, 상기 적어도 3개의 카테고리들에 대한 적어도 하나의 에지 픽셀의 대응하는 분류에 응답하여 선택된 상기 적어도 하나의 에지 픽셀을 필터링하기 위한 필터(233)를 포함하는, 분류-기반 루프 필터를 위한 장치.
제15항에 있어서,
필터 계수들은 적응적이고, 상기 적어도 3개의 카테고리들 중 적어도 하나의 카테고리 내의 필터링의 개선된 성능을 제공하는 것에 응답하여 선택되는, 분류-기반 루프 필터를 위한 장치.
제16항에 있어서,
상기 개선된 성능은 상기 픽쳐와 상기 픽쳐의 재구성된 버전 사이의 왜곡 측정치를 최소화함으로써 제공되는, 분류-기반 루프 필터를 위한 장치.
제15항에 있어서,
상기 적어도 하나의 에지 픽셀의 분류는 방향, 크기, 이방성/등방성, 콘트라스트, 및 대응하는 그레디언트 중 적어도 하나에 응답하여 결정되는, 분류-기반 루프 필터를 위한 장치.
제15항에 있어서,
필터 계수들은 픽쳐 기반으로 적응적으로 트레이닝되고, 하나 이상의 고레벨 신택스 엘리먼트들을 사용하여 시그널링되는, 분류-기반 루프 필터를 위한 장치.
제15항에 있어서,
필터 계수들은 인코더 및 대응하는 디코더 모두에서 오프라인으로 트레이닝되고 저장되는, 분류-기반 루프 필터를 위한 장치.
제15항에 있어서,
상기 필터링은 블록 적응형 루프 필터링 또는 쿼드-트리 적응형 루프 필터링과 공동으로 수행되는, 분류-기반 루프 필터를 위한 장치.
비디오 디코더에서의 분류-기반 루프 필터를 위한 방법으로서,
픽쳐를 디코딩하는 단계
를 포함하고, 상기 디코딩 단계는:
양자화된 변환 계수들을 수신하는 단계(415);
상기 양자화된 변환 계수들을 역양자화 및 역변환하여 레지듀의 재구성된 버전을 획득하는 단계(415);
적어도 하나의 기준 픽쳐를 상기 레지듀의 재구성된 버전과 결합시켜 상기 픽쳐의 재구성된 버전을 획득하는 단계(415);
상기 픽쳐의 재구성된 버전 내의 에지 픽셀들만을 로컬 기하학적 특성들에 응답하여 적어도 3개의 카테고리들의 각각의 카테고리 내에 분류하는 단계(420, 620, 820); 및
상기 적어도 3개의 카테고리들에 대한 상기 적어도 하나의 에지 픽셀의 대응하는 분류에 응답하여 선택된 상기 적어도 하나의 에지 픽셀을 필터링하는 단계(450, 640, 850)를 포함하는, 비디오 디코더에서의 분류-기반 루프 필터를 위한 방법.
제22항에 있어서,
필터 계수들은 적응적이고, 상기 적어도 3개의 카테고리들 중 적어도 하나의 카테고리 내의 필터링의 개선된 성능의 제공에 응답하여 선택되는, 비디오 디코더에서의 분류-기반 루프 필터를 위한 방법.
제23항에 있어서,
상기 개선된 성능은 상기 픽쳐와 상기 픽쳐의 재구성된 버전 사이의 왜곡 측정치를 최소화함으로써 제공되는, 비디오 디코더에서의 분류-기반 루프 필터를 위한 방법.
제22항에 있어서,
상기 적어도 하나의 에지 픽셀의 분류는 방향, 크기, 이방성/등방성, 콘트라스트, 및 대응하는 그레디언트 중 적어도 하나에 응답하여 결정되는, 비디오 디코더에서의 분류-기반 루프 필터를 위한 방법.
제22항에 있어서,
필터 계수들은 픽쳐 기반으로 적응적으로 트레이닝되고, 하나 이상의 고레벨 신택스 엘리먼트들을 사용하여 시그널링되는, 비디오 디코더에서의 분류-기반 루프 필터를 위한 방법.
제22항에 있어서,
필터 계수들은 인코더 및 대응하는 디코더 모두에서 오프라인으로 트레이닝되고 저장되는, 비디오 디코더에서의 분류-기반 루프 필터를 위한 방법.
제22항에 있어서,
상기 필터링은 블록 적응형 루프 필터링 또는 쿼드-트리 적응형 루프 필터링과 공동으로 수행되는(855), 비디오 디코더에서의 분류-기반 루프 필터를 위한 방법.
인코딩된 비디오 신호 데이터를 가지는, 분류-기반 루프 필터를 위한 컴퓨터 판독가능한 비-일시적 저장 매체로서,
입력 픽쳐의 레지듀를 변환 및 양자화하여 양자화된 변환 계수들을 획득하고, 상기 양자화된 변환 계수들을 역양자화 및 역변환하여 상기 레지듀의 재구성된 버전을 획득하고, 적어도 하나의 기준 픽쳐를 상기 레지듀의 재구성된 버전과 결합시켜 상기 입력 픽쳐의 재구성된 버전을 획득하고, 상기 입력 픽쳐의 재구성된 버전 내의 에지 픽셀들만을 로컬 기하학적 특성들에 응답하여 적어도 3개의 카테고리들의 각각의 카테고리 내에 분류하고, 상기 적어도 3개의 카테고리들에 대한 적어도 하나의 에지 픽셀의 대응하는 분류에 응답하여 선택되는 상기 적어도 하나의 에지 픽셀을 필터링함으로써 인코딩되는 입력 픽쳐를 포함하는, 분류-기반 루프 필터를 위한 컴퓨터 판독가능한 비-일시적 저장 매체.