KR101529800B1 - 다중-필터 적응형 필터링을 위한 필터 디스크립션 시그널링 - Google Patents

다중-필터 적응형 필터링을 위한 필터 디스크립션 시그널링 Download PDF

Info

Publication number
KR101529800B1
KR101529800B1 KR1020137008392A KR20137008392A KR101529800B1 KR 101529800 B1 KR101529800 B1 KR 101529800B1 KR 1020137008392 A KR1020137008392 A KR 1020137008392A KR 20137008392 A KR20137008392 A KR 20137008392A KR 101529800 B1 KR101529800 B1 KR 101529800B1
Authority
KR
South Korea
Prior art keywords
filters
filter
description syntax
video
filter description
Prior art date
Application number
KR1020137008392A
Other languages
English (en)
Other versions
KR20130070636A (ko
Inventor
인숙 정
마르타 카르체비츠
웨이-정 치엔
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130070636A publication Critical patent/KR20130070636A/ko
Application granted granted Critical
Publication of KR101529800B1 publication Critical patent/KR101529800B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

인코더에서 필터링이 적용되고, 필터들의 셋트를 설명하는 필터 정보가 비트스트림 내에 인코딩되어 디코더가 인코더에서 적용되었던 필터링을 식별하는 것을 가능하게 한다. 디코더는 필터 정보를 포함하는 인코딩된 비디오 데이터를 수신하고, 그 비디오 데이터를 디코딩하며, 필터링 정보에 기초하여 필터링을 적용한다. 디코더는 인코더에서 적용되었던 것과 동일한 필터링을 적용한다. 필터들의 셋트 및 다른 필터 정보를 재구성하기 위해 필요한 비트들의 수를 잠재적으로 감소시키기 위해서 및 디코더 성능을 잠재적으로 향상시키기 위해, 필터들의 셋트를 설명하는 필터 디스크립션 신택스가 비트스트림 내에 포함될 수 있다. 필터 디스크립션 신택스는 필터들의 셋트에서의 필터들의 수, 필터들의 셋트에서의 필터들의 최대 수를 식별하고/하거나, 필터들의 셋트에서의 필터들의 형상을 식별할 수도 있다.

Description

다중-필터 적응형 필터링을 위한 필터 디스크립션 시그널링{FILTER DESCRIPTION SIGNALING FOR MULTI-FILTER ADAPTIVE FILTERING}
이 개시는 비디오 데이터를 압축하기 위해 이용되는 블록-기반 디지털 비디오 코딩에 관한 것이고, 더 구체적으로는, 비디오 블록들의 필터링에 사용하기 위한 필터들을 시그널링 (signaling) 하기 위한 기술들에 관한 것이다.
디지털 비디오 기능들은, 디지털 텔레비젼들, 디지털 다이렉트 브로드캐스트 시스템들, 라디오 전화 핸드셋들과 같은 무선 통신 디바이스들, 무선 브로드캐스트 시스템들, PDA 들, 랩톱 컴퓨터들, 데스크톱 컴퓨터들, 태블릿 컴퓨터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들 등을 포함하는 넓은 범위의 디바이스들 내에 통합될 수 있다. 디지털 비디오 디바이스들은 디지털 비디오를 더욱 효율적으로 송신 및 수신하기 위해, MPEG-2, MPEG-4, 또는 ITU-T H.264/MPEG-4, Part 10, AVC (Advanced Video Coding) 과 같은 비디오 압축 기술들을 구현한다. 비디오 압축 기술들은 비디오 시퀀스 (sequence) 들에 내재하는 리던던시 (redundancy) 를 감소 또는 제거하기 위해 공간 및 시간 예측을 수행한다. MPEG 와 ITU-T 사이의 공동작업인 JCTVC (Joint Collaborative Team - Video Coding) 에 의해 개발된 HEVC (High Efficiency Video Coding) 표준과 같은 새로운 비디오 표준들이 지속적으로 나타나고 발달한다. 이 새로운 HEVC 표준은 또한 H.265 로 때로 지칭된다.
블록-기반 비디오 압축 기술들은 공간 예측 및/또는 시간 예측을 수행할 수도 있다. 인트라-코딩 (intra-coding) 은 비디오 프레임, 비디오 프레임의 슬라이스 등을 포함할 수도 있는 코딩된 비디오의 소정 유닛 내의 비디오 블록들 사이의 공간 리던던시를 감소 또는 제거하기 위해 공간 예측에 의존한다. 반면, 인터-코딩 (inter-coding) 은 비디오 시퀀스의 연속적인 코딩된 유닛들의 비디오 블록들 사이의 시간 리던던시를 감소 또는 제거하기 위해 시간 예측에 의존한다. 인트라-코딩을 위해, 비디오 인코더는 코딩된 비디오의 동일 유닛 내의 다른 데이터에 기초하여 데이터를 압축하기 위해 공간 예측을 수행한다. 인터-코딩을 위해, 비디오 인코더는 코딩된 비디오의 2 이상의 인접 유닛들의 대응하는 비디오 블록들의 이동을 추적하기 위해 모션 추정 (motion estimation) 및 모션 보상 (motion compensation) 을 수행한다.
코딩된 비디오 블록은, 예측 블록, 및 코딩되는 블록과 예측 블록 사이의 차이들을 나타내는 데이터의 잔여 (residual) 블록을 생성 또는 식별하기 위해 이용될 수 있는 예측 정보에 의해 표현될 수도 있다. 인터-코딩의 경우에, 이전 또는 후속 코딩된 유닛으로부터의 데이터의 예측 블록을 식별하기 위해 하나 이상의 모션 벡터들이 이용되는 한편, 인트라-코딩의 경우에, 코딩되는 비디오 블록과 연관된 코딩된 유닛 내의 데이터에 기초하여 예측 블록을 발생시키기 위해 예측 모드가 이용될 수 있다. 인트라-코딩 및 인터-코딩 양자 모두는, 코딩에서 사용되는 상이한 블록 사이즈들 및/또는 예측 기술들을 정의할 수도 있는 몇몇 상이한 예측 모드들을 정의할 수도 있다. 코딩 프로세스에서 사용되는 코딩 기술들 또는 파라미터들을 제어 또는 정의하기 위해 인코딩된 비디오 데이터의 일부로서 추가적인 타입 (type) 들의 신택스 엘리먼트들 (syntax elements) 이 또한 포함될 수도 있다.
블록-기반 예측 코딩 후에, 비디오 인코더는 잔여 블록의 통신과 연관된 비트 레이트를 추가적으로 감소시키기 위해 변환, 양자화, 및 엔트로피 코딩을 적용할 수도 있다. 변환 기술들은 이산 코사인 변환 (DCT) 들, 또는 웨이브릿 (wavelet) 변환들, 정수 변환들, 또는 다른 타입들의 변환들과 같은 개념적으로 유사한 프로세스들을 포함할 수도 있다. 이산 코사인 변환 프로세스에서, 일예로서, 변환 프로세스는, 픽셀 값들의 셋트를 주파수 도메인에서 픽셀 값들의 에너지를 나타낼 수도 있는 변환 계수 (transform coefficient) 들로 변환한다. 양자화가 변환 계수들에 적용되고, 임의의 주어진 변환 계수와 연관된 비트들의 수를 제한하는 프로세스를 수반한다. 엔트로피 코딩은 양자화된 변환 계수들의 시퀀스를 집합적으로 압축하는 하나 이상의 프로세스들을 포함한다.
비디오 블록들의 필터링은 인코딩 및 디코딩 루프 (loop) 들의 일부로서, 또는, 재구성 (reconstruct) 된 비디오 블록들에 대한 포스트-필터링 (post-filtering) 프로세스의 일부로서 적용될 수도 있다. 필터링은 통상적으로, 예를 들어, 블록 기반 비디오 코딩에 공통된 블록키니스 (blockiness) 또는 다른 아티팩트 (artifact) 들을 감소시키기 위해 사용된다. 블록키니스를 감소시키고, 및/또는, 비디오 품질 (quality) 을 다른 방식들로 향상시킬 수 있는 비디오 블록 필터링의 바람직한 레벨들을 증진시키기 위해 필터 계수들 (때로는 필터 탭 (tap) 들로 불림) 이 정의 또는 선택될 수도 있다. 필터 계수들의 셋트는 예를 들어, 어떻게 필터링이 비디오 블록들의 에지들 또는 비디오 블록들 내의 다른 로케이션 (location) 들을 따라 적용되는지를 정의할 수도 있다. 상이한 필터 계수들은 비디오 블록들의 상이한 픽셀들에 대해 상이한 레벨들의 필터링을 야기할 수도 있다. 필터링은, 예를 들어, 원하지 않는 아티팩트들을 제거하는 것을 돕기 위해 인접한 픽셀 값들의 강도에서의 차이들을 평활화하거나 (smooth) 날카롭게 할 (sharpen) 수도 있다.
이 개시는 비디오 인코딩 및/또는 비디오 디코딩 프로세스에서 비디오 데이터의 필터링과 연관된 기술들을 설명한다. 이 개시에 따라, 필터링이 인코더에 적용되고, 디코더가 인코더에서 적용되었던 필터링을 식별할 수 있도록 필터 정보가 비트스트림에서 인코딩된다. 디코더는 필터 정보를 포함하는 인코딩된 비디오 데이터를 수신하고, 비디오 데이터를 디코딩하며, 필터링 정보에 기초하여 필터링을 적용한다. 이러한 방식으로, 디코더는 인코더에서 적용되었던 것과 동일한 필터링을 적용한다.
이 개시의 기술들에 따르면, 비디오 데이터는 코딩된 유닛 (coded unit; CU) 들로서 지칭되는 유닛들로 코딩될 수 있다. 코딩된 유닛들은 쿼드트리 파티셔닝 방식 (quadtree partitioning scheme) 을 이용하여 더 작은 코딩된 유닛들, 또는 서브-유닛들 (sub-units) 로 분할될 수 있다. 특정 코딩된 유닛에 대한 쿼드트리 파티셔닝 방식을 식별하는 신택스가 인코더로부터 디코더로 송신될 수 있다. 각각의 서브-유닛과 연관된 다중 (multiple) 입력 또는 단일 입력이 인코딩된 비디오 데이터를 디코딩 및 재구성하는 프로세스 동안 필터링될 수 있다. 디코더에 의해 수신된 비트스트림 내의 신택스는 특정 서브-유닛에 대해 인코더에서 사용된 필터들을 식별할 수 있다. 특정 입력에 대해 사용된 필터는 활성도 메트릭 (activity metric) 필터 인덱싱 (indexing) 에 기초하여 선택될 수 있고, 여기서, 활성도 메트릭에 대한 소정 값들이 필터들의 셋트 내의 특정 필터들에 인덱싱된다. 활성도 메트릭이 수정 합 라플라시안 값 (sum-modified Laplacian value) 을 이용하여 결정되는 경우, 활성도 메트릭 필터 인덱싱은 때로 수정 합 라플라시안 인덱싱 또는 단지 라플라시안 인덱싱으로 지칭된다.
상이한 타입들의 필터링이 비디오 데이터에 대해 결정된 활성도 메트릭에 기초하여 적용될 수도 있다. 활성도 메트릭은 비디오 데이터 내의 픽셀들의 하나 이상의 블록들과 연관된 활성도를 정량화할 수도 있다. 활성도 메트릭은 픽셀들의 셋트 내의 픽셀 분산을 나타내는 분산 (variance) 메트릭을 포함할 수도 있다. 예를 들어, 활성도 메트릭은 이하 더 자세히 설명되는 바와 같이 수정 합 라플라시안 함수 값을 포함할 수도 있다. 이 개시의 기술들에 따라, 적응형 인 루프 필터 (adaptive in loop filter) 와 같은 필터 유닛은 수정 합 라플라시안 필터 인덱싱에 기초한 다중 필터들을 이용하도록 구성될 수 있다. 이하 더 자세히 설명되는 바와 같이, 이 개시의 필터링 기술들은 쿼드트리 파티셔닝 방식을 이용하여 다양한 사이즈들의 코딩된 유닛 (CU) 들에 적용될 수 있다. 쿼드트리 파티셔닝 방식을 이용하여 분할된 코딩된 유닛들에 대해 라플라시안 필터 인덱싱을 이용한 다중 필터들을 이용함으로써, 압축 레이트 (rate) 및 재구성된 비디오 품질의 일방 또는 양방에 의해 측정되는 바와 같은 비디오 코딩 성능이 향상될 수 있을 것이다. 몇몇 구현들에서, 특정 입력에 대해 이용되는 필터는 활성도 메트릭에 기초하여 디코더에 의해 결정되는 대신에 인코더로부터 디코더로 시그널링될 수도 있다.
이 개시에서 고려되는 다중-필터 접근법은 많은 수의 필터들을 초래할 수 있고, 따라서, 많은 수의 필터 계수들이 인코더로부터 디코더로 전송될 필요가 있다. 본 개시의 양태들은 비디오 인코더로부터 비디오 디코더로 필터 디스크립션 신택스를 송신하는 것을 포함한다. 필터 디스크립션 신택스는 비디오 데이터를 코딩하기 위해 비디오 인코더에 의해 사용된 필터 또는 필터들의 셋트를 설명한다. 이러한 필터 디스트립션 신택스를 포함함으로써, 비디오 인코더는 보다 적은 비트들을 이용하여 필터 정보를 송신할 수 있게 될 수도 있고, 또한, 특정 필터를 적용하기 위해 필요한 수 계산을 감소시킴으로써 디코더의 동작을 향상시킬 수도 있다.
일 예에서, 비디오 데이터를 디코딩하는 방법은, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 비디오 디코더에서 수신하는 단계; 필터 디스크립션 신택스 및 추가적인 수신된 필터 정보에 기초하여 필터들의 셋트를 재구성하는 단계; 활성도 메트릭에 기초하여 코딩된 유닛에 대해 필터들의 셋트에서 필터를 선택하는 단계; 및 필터를 적용하는 단계를 포함한다.
다른 예에서, 비디오 인코딩 방법은, 필터들의 셋트 내에 포함될 필터들의 최대 수를 결정하는 단계; 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 생성하는 단계; 필터 디스크립션 신택스를 비디오 디코더로 송신하는 단계; 필터들의 셋트를 비디오 디코더로 송신하는 단계를 포함한다.
또 다른 예에서, 비디오 디코딩 디바이스는, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 수신하고, 필터 디스크립션 신택스 및 추가적인 수신된 필터 정보에 기초하여 필터들의 셋트를 재구성하며, 활성도 메트릭에 기초하여 필터들의 셋트로부터의 필터를 코딩된 유닛에 적용하도록 구성된 필터 유닛; 및 필터 유닛의 필터링된 결과를 저장하도록 구성된 메모리를 포함한다.
또 다른 예에서, 비디오 인코딩 디바이스는, 필터들의 셋트 내에 포함될 필터들의 최대 수를 결정하고 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 생성하도록 구성된 필터 유닛; 및 필터 디스크립션 신택스를 비디오 디코더로 송신하고 필터들의 셋트를 비디오 디코더로 송신하도록 구성된 송신 유닛을 포함한다.
또 다른 예에서, 비디오 데이터를 디코딩하는 장치는, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 수신하는 수단; 필터 디스크립션 신택스 및 추가적인 수신된 필터 정보에 기초하여 필터들의 셋트를 재구성하는 수단; 활성도 메트릭에 기초하여 코딩된 유닛에 대해 필터들의 셋트에서 필터를 선택하는 수단; 및 필터를 적용하는 수단을 포함한다.
또 다른 예에서, 비디오 데이터를 인코딩하는 장치는, 필터들의 셋트들 내에 포함될 필터들의 최대 수를 결정하는 수단; 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 생성하는 수단; 필터 디스크립션 신택스를 비디오 디코더로 송신하는 수단; 필터들의 셋트를 비디오 디코더로 송신하는 수단을 포함한다.
이 개시에서 설명된 기술들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어로 구현되는 경우, 장치는 집적 회로, 프로세서, 이산 로직, 또는 이들의 임의의 조합으로서 실현될 수도 있다. 소프트웨어로 구현되는 경우, 소프트웨어는, 마이크로프로세서, 애플리케이션 특정 집적 회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 디지털 신호 처리기 (DSP) 와 같은 하나 이상의 프로세서들에서 실행될 수도 있다. 본 기술들을 실행하는 소프트웨어는 초기에 컴퓨터-판독가능 매체에 저장되고 프로세서에서 실행될 수도 있다.
따라서, 이 개시는 또한, 명령들을 저장한 컴퓨터-판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 명령들은 실행될 때 비디오 데이터를 디코딩하는 디바이스의 하나 이상의 프로세서들로 하여금, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 수신하게 하고; 필터 디스크립션 신택스 및 추가적인 수신된 필터 정보에 기초하여 필터들의 셋트를 재구성하게 하며; 활성도 메트릭에 기초하여 코딩된 유닛에 대해 필터들의 셋트에서 필터를 선택하게 하고; 그 필터를 적용하게 하는, 컴퓨터 프로그램 제품을 고려한다.
또 다른 예에서, 명령들을 저장한 컴퓨터-판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 상기 명령들은 실행될 때 비디오 데이터를 인코딩하는 디바이스의 하나 이상의 프로세서들로 하여금, 필터들의 셋트에 포함될 필터들의 최대 수를 결정하게 하고; 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 생성하게 하며; 필터 디스크립션 신택스를 비디오 디코더로 송신하게 하고; 필터들의 셋트를 비디오 디코더로 송신하게 한다.
도 1 은 예시적인 비디오 인코딩 및 디코딩 시스템을 나타내는 블록도이다.
도 2a 및 도 2b 는 최대 코딩 유닛 (LCU) 에 적용된 쿼드트리 파티셔닝의 예를 나타내는 개념도이다.
도 2c 및 도 2d 는 도 2a 및 도 2b 에 도시된 LCU 의 코딩된 유닛들에 대한 예시적인 필터 결정들을 나타내는 개념도이다.
도 3 은 이 개시와 일치되는 예시적인 비디오 인코더를 나타내는 블록도이다.
도 4 는 이 개시와 일치하는 예시적인 비디오 디코더를 나타내는 블록도이다.
도 5 는 활성도 메트릭에 대한 값들의 범위들을 나타내는 개념도이다.
도 6 은 이 개시와 일치하는 예시적인 필터 유닛을 나타내는 블록도이다.
도 7 은 이 개시와 일치하는 인코딩 기술을 나타내는 흐름도이다.
도 8 은 이 개시와 일치하는 디코딩 기술을 나타내는 흐름도이다.
이 개시는 비디오 인코딩 및/또는 비디오 디코딩 프로세스에서 비디오 데이터의 필터링과 연관된 기술들을 설명한다. 이 개시에 따라, 필터링이 인코더에서 적용되고, 디코더가 인코더에서 적용되었던 필터링을 식별할 수 있도록 비트스트림 내에 필터 정보가 인코딩된다. 디코더는, 필터 정보를 포함하는 인코딩된 비디오 데이터를 수신하고, 비디오 데이터를 디코딩하며, 필터링 정보에 기초하여 필터링을 적용한다. 이러한 방식으로, 디코더는 인코더에서 적용되었던 것과 동일한 필터링을 적용한다.
이 개시의 기술들에 따르면, 비디오 데이터는 코딩된 유닛 (CU) 들로서 지칭되는 유닛들로 코딩될 수 있다. 코딩된 유닛들은 쿼드트리 파티셔닝 방식을 이용하여 더 작은 코딩된 유닛들, 또는 서브-유닛들로 분할될 수 있다. 특정 코딩된 유닛에 대한 쿼드트리 파티셔닝 방식을 식별하는 신택스가 인코더로부터 디코더로 송신될 수 있다. 소정 CU 의 각각의 서브-유닛과 연관된 다중 입력들이 인코딩된 비디오 데이터를 디코딩 및 재구성하는 프로세스 동안 필터링될 수 있다. 이 개시의 기술들에 따르면, 필터 디스크립션 신택스는, 얼마나 많은 필터들이 셋트 내에 있는지 또는 필터가 어떤 형상을 취하는지와 같이, 필터들의 셋트를 설명할 수 있다. 디코더에 의해 수신된 비트스트림에서의 추가적인 신택스는 특정 서브-유닛에 대해 인코더에서 사용된 필터들 (즉, 필터 계수들) 을 식별할 수 있다. 특정 입력에 대해 사용된 필터는 활성-메트릭 필터 인덱싱에 기초하여 선택될 수 있고, 여기서, 활성도 메트릭에 대한 소정 값들이 필터들의 셋트 내의 특정 필터들에 대해 인덱스된다. 활성도 메트릭이 수정 합 라플라시안 값을 이용하여 결정되는 경우, 활성도 메트릭 필터 인덱싱은 때로 수정 합 라플라시안 인덱싱 또는 단지 라플라시안 인덱싱으로 지칭된다. 수정 합 라플라시안 값은 활성도 메트릭의 하나의 통상적으로 사용되는 타입이다. 하지만, 이 발명의 기술들은 다른 타입들의 활성도 메트릭들과 함께 사용될 수도 있는 것으로 고려된다. 또한, 이 개시의 기술들은 또한 필터들이 하나보다 많은 활성도 메트릭에 기초하여 선택되는 필터링 방식으로 구현될 수도 있다고 고려된다.
상이한 타입들의 필터링이 비디오 데이터에 대해 결정된 활성도 메트릭에 기초하여 적용될 수도 있다. 활성도 메트릭은 비디오 데이터 내의 픽셀들의 하나 이상의 블록들과 연관된 활성을 정량화할 수도 있다. 활성도 메트릭은 픽셀들의 셋트 내의 픽셀 분산 (variance) 을 나타내는 분산 메트릭을 포함할 수도 있다. 예를 들어, 활성도 메트릭은 이하 더 자세히 설명되는 바와 같이 수정 합 라플라시안 함수 값을 포함할 수도 있다. 이 개시의 기술들에 따라, 적응형 인 루프 필터와 같은 필터 유닛은 수정 합 라플라시안 필터 인덱싱에 기초한 다중 필터들을 이용하도록 구성될 수 있다. 다중 필터들은 단일 입력 또는 다중 입력들과 함께 사용될 수도 있다. 이하 더 자세히 설명되는 바와 같이, 이 개시에서 설명된 다중 입력들은 인코딩 및 디코딩 프로세스들 동안 생성되는 중간 비디오 블록 데이터 또는 이미지 데이터를 일반적으로 지칭한다. 주어진 비디오 블록과 연관된 다중 입력들은, 예를 들어, 재구성된 블록 또는 이미지 (RI), 사전-디블록킹된 (pre-deblocked) 재구성된 블록 또는 이미지 (pRI), 예측 블록 또는 이미지 (PI), 및/또는 양자화된 예측 에러 이미지 (EI) 를 포함할 수 있다. 단일 입력 방식에서, 필터는 RI 와 같은, 전술한 입력들 중 하나에 적용되기만 할 수도 있다. 또한, 이하 더 자세히 설명되는 바와 같이, 이 개시의 필터링 기술들은 쿼드트리 파티셔닝 방식을 이용하여 다양한 사이즈들의 코딩된 유닛들에 적용될 수 있다. 쿼드트리 파티셔닝 방식을 이용하여 분할된 코딩된 유닛들에 대해 라플라시안 필터 인덱싱을 이용한 다중 필터들을 이용함으로써, 압축 레이트 및 재구성된 비디오 품질의 일방 또는 양방에 의해 측정되는 바와 같은 비디오 코딩 성능이 향상될 수 있을 것이다.
이 개시에서 고려되는 다중-필터 접근법은 많은 수의 필터들을 초래할 수 있고, 따라서, 많은 수의 필터 계수들이 인코더로부터 디코더로 전송될 필요가 있다. 또한, 많은 수의 필터들은 필터들을 저장하기 위해 디코더에 필요한 메모리의 양을 증가시킬 수 있고, 필터들을 적용 시 발생하는 계산 오버헤드 (overhead) 를 또한 증가시킬 수 있다. 인코더로부터 디코더로 송신될 필요가 있는 필터 계수들의 수를 잠재적으로 감소시키기 위해서, 및 디코더 성능을 잠재적으로 향상시키기 위해서, 이 개시의 양태들은 필터 또는 필터들의 셋트를 설명하기 위해 필터 디스크립션 신택스의 사용을 포함한다. 필터 디스크립션 신택스는, 예를 들어, 필터들의 셋트 내의 필터들의 수, 필터들의 셋트 내의 필터들의 최대 수를 식별할 수도 있고, 추가적으로 또는 대안적으로, 필터들의 셋트 내의 필터들의 형상을 식별할 수도 있다.
필터들의 셋트 내에 포함될 필터들의 수 및/또는 필터들의 최대 수를 인코더로부터 디코더로 반송하기 위해 필터 디스크립션 신택스를 이용함으로써, 전체 코딩 성능은, 많은 수의 필터들이 압축 레이트 또는 재구성된 비디오 품질을 향상시키는 경우 많은 수의 필터들을 포함하고, 하지만, 많은 수의 필터들이 유익하지 않은 경우 적은 수의 필터들만을 포함하여 전송되는 비트들의 수를 감소시킴으로써, 향상될 수도 있다. 필터들의 최대 수를 나타내는 신택스 엘리먼트는, 프레임 또는 슬라이스와 같은 상위 레벨 코딩된 유닛에 대한 신택스 내에 포함될 수도 있는 한편, 필터들의 수를 나타내는 신택스 엘리먼트는 상위 레벨의 코딩된 유닛의, LCU 들과 같은, 하위 레벨 코딩된 유닛들에 대한 신택스 내에 포함될 수도 있다. 이하에서 더 자세히 설명되는 바와 같이, 활성도 메트릭의 범위들에 필터들의 셋트의 맵핑 (mapping) 을 시그널링하기 위해 필요한 비트들의 수는, 허용된 필터들의 최대 수에 의존할 수 있고, 하지만, 단지 비디오 블록들의 임의의 소정의 시리즈들에 대해 필터들의 셋트에서 사용된 필터들의 수에는 의존하지 않는다. 따라서, 예를 들어 슬라이스 또는 헤더에 대해, 필터들의 최대 수를 디코더에 시그널링하는 것은, 보다 많은 수의 최대 필터들을 갖는 슬라이스 또는 헤더에 대해 필요한 비트들의 수에 비해 더 적은 비트들을 이용하여 인코더로부터 디코더로 시그널링될 활성도 메트릭의 범위들에 대한 필터들의 맵핑을 가능하게 할 수도 있다. 보다 적은 수의 필터들 및 보다 작은 활성도 메트릭 필터 인덱스는 또한 필요한 메모리의 양을 감소시키고 데이터가 메모리로부터 액세스되는 속도를 향상시킴으로써 디코더 성능을 향상시킬 수 있다.
다른 타입들의 필터 디스크립션 신택스가 또한 이용될 수도 있다. 예를 들어, 필터의 형상을 설명하는 필터 디스트립션 신택스가 인코더로부터 디코더로 송신될 수도 있다. 이하 더 자세하게 설명되는 바와 같이, 필터의 형상은 일반적으로 직사각형 필터에서 로우 (row) 들의 수 및 칼럼 (column) 들의 수를 지칭하고, 하지만, 이 개시의 기술들은 또한 비-사각형 형상의 필터들을 포함하는, 다른 필터 서포트 (support) 들 또는 구성들이 이용될 수도 있다. 필터들의 셋트에서 사용될 필터들의 형상을 인코더로부터 디코더로 반송하기 위해 필터 디스크립션 신택스를 이용함으로써, 상이한 형상들이 압축 또는 비디오 품질 중 어느 일방을 향상시키는 경우 상이한 형상들의 필터들이 이용될 수 있다. 예를 들어, 몇몇 경우들에서, 필터들의 셋트는 9×9 필터들을 포함할 수도 있지만, 9×9 필터들이 코딩 성능을 눈에 띄게 향상시키지 않는 경우, 9×5 필터들이 대신 사용될 수 있을 것이다. 9×5 필터들을 사용함으로써, 더 적은 비트들이 인코더로부터 디코더로 필터 계수들을 송신하는데 소요될 수도 있다. 추가적으로, 필터들의 셋트 내의 필터들의 형상을 식별하는 필터 디스크립션 신택스의 이용에 의해 인에이블 (enable) 되는 상이한 형상의 필터들을 사용하는 것 또한 디코더 성능을 향상시킬 수 있다. 특히, 픽셀 값들은 통상적으로 메모리로부터 로우 단위별로 판독되고, 따라서, 감소된 수의 로들을 갖는 필터들을 이용하는 것은 특정 필터링 동작을 수행하는데 필요한 메모리 판독들의 수를 감소시킬 수 있다.
이 개시의 기술들이 일반적으로 인-루프 필터링을 참조하여 설명될 것이지만, 기술들은 인-루프 필터링, 포스트-루프 필터링, 및 스위치드 필터링과 같은 다른 필터링 방식들에 적용될 수도 있다. 인-루프 (in-loop) 필터링은, 예측 인트라-코딩 또는 인터-코딩을 위해 필터링된 데이터가 사용되도록 필터링된 데이터가 인코딩 및 디코딩 루프들의 일부인 필터링을 지칭한다. 포스트-루프 (post-loop) 필터링은 인코딩 루프 후에 재구성된 비디오 데이터에 적용되는 필터링을 지칭한다. 포스트 필터링과 함께, 필터링되지 않은 데이터가 예측 인트라-코딩 또는 인터-코딩을 위해 이용된다. 이 개시의 기술들은 인-루프 필터링 또는 포스트 루프 필터링으로 제한되지 않고, 비디오 코딩 동안 적용되는 넓은 범위의 필터링에 적용할 수도 있다. 추가적으로, 이 개시의 기술들은 일반적으로 라플라시안 필터 인덱싱을 이용하는 다중-입력, 다중-필터 방식과 관련하여 설명되지만, 본 기술들은 단일-입력, 다중-필터 필터링 방식과 같은 다른 필터링 방식들에 적용될 수도 있다.
이 개시에서, "코딩" 이라는 용어는 인코딩 또는 디코딩을 지칭한다. 유사하게, "코더" 라는 용어는 임의의 비디오 인코더, 비디오 디코더, 또는 결합된 인코더/디코더 (코덱) 을 일반적으로 지칭한다. 따라서, "코더" 라는 용어는, 비디오 인코딩 또는 비디오 디코딩을 수행하는 특별화된 컴퓨터 디바이스 또는 장치를 지칭하는 것으로 본원에서 사용된다.
추가적으로, 이 개시에서, "필터" 라는 용어는 일반적으로 필터 계수들의 셋트를 지칭한다. 예를 들어, 3×3 필터는 9 필터 계수들의 셋트에 의해 정의될 수도 있고, 5×5 필터는 25 필터 계수들의 셋트에 의해 정의될 수도 있고, 9×5 필터는 45 필터 계수들의 셋트에 의해 정의될 수도 있는 등이다. "필터들의 셋트" 라는 용어는 일반적으로 하나보다 많은 필터의 그룹을 지칭한다. 예를 들어, 2 개의 3×3 필터들의 셋트는 제 1 셋트의 9 필터 계수들 및 제 2 셋트의 9 필터 계수들을 포함할 수 있을 것이다. 이 개시에 설명된 기술들에 따르면, 프레임, 슬라이스, 또는 최대 코딩 유닛 (LCU) 과 같은 일련의 비디오 블록들에 대해, 필터들의 셋트들을 식별하는 정보는 일련의 비디오 블록들에 대한 헤더 내에서 인코더로부터 디코더로 송신된다. 때때로 "필터 서포트 (filter support)" 라고 불리는 "형상 (shape)" 이라는 용어는 일반적으로 특정 필터에 대해 필터 계수들의 로우들의 수 및 필터 계수들의 칼럼들의 수를 지칭한다. 예를 들어, 9×9 는 제 1 형상의 예이고, 9×5 는 제 2 형상의 예이며, 5×9 는 제 3 형상의 예이다. 몇몇 경우들에서, 필터들은 다이아몬드 형상들, 다이아몬드 유사 형상들, 원형 형상들, 원형 유사 형상들, 육각형 형상들, 팔각형 형상들, 크로스 형상들, X-형상들, T-형상들, 다른 기하학적 형상들, 또는 수많은 다른 형상들 또는 구성을 포함하는 비-직사각형 형상들을 취할 수도 있다.
도 1 은 이 개시의 기술들을 구현할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (110) 을 나타내는 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (110) 은 통신 채널 (115) 을 통해 인코딩된 비디오 데이터를 목적지 디바이스 (116) 로 송신하는 소스 디바이스 (112) 를 포함한다. 소스 디바이스 (112) 및 목적지 디바이스 (116) 는 임의의 넓은 범위의 디바이스들을 포함할 수도 있다. 몇몇 경우들에서, 소스 디바이스 (112) 및 목적지 디바이스 (116) 는 소위 셀룰러 또는 위성 무선전화기들과 같은 무선 통신 디바이스 핸드셋들을 포함할 수도 있다. 하지만, 비디오 데이터의 필터링에 더 일반적으로 적용하는 이 개시의 기술들은, 무선 애플리케이션들 또는 셋팅들에 반드시 한정되는 것은 아니고, 비디오 인코딩 및/또는 디코딩 성능들을 포함하는 비-무선 디바이스들에 적용될 수도 있다.
도 1 의 예에서, 소스 디바이스 (112) 는 비디오 소스 (120), 비디오 인코더 (122), 변조기/복조기 (모뎀) (123), 및 송신기 (124) 를 포함한다. 목적지 디바이스 (116) 는 수신기 (126), 모뎀 (127), 비디오 디코더 (128), 및 디스플레이 디바이스 (130) 를 포함한다. 이 개시에 따라, 소스 디바이스 (112) 의 비디오 인코더 (122) 는 비디오 블록 필터링에서의 다중 입력들에 대해 필터 계수들의 하나 이상의 셋트들을 선택하고 그 선택된 필터 계수들의 하나 이상의 셋트들을 인코딩한다. 필터 계수들의 하나 이상의 셋트들로부터의 특정 필터들은 하나 이상의 입력들에 대한 활성도 메트릭에 기초하여 선택될 수도 있고, 그 필터 계수들은 하나 이상의 입력들을 필터링하는데 이용될 수도 있다. 이 개시의 필터링 기술들은 일반적으로 인코더로부터 디코더로의 필터 계수들을 코딩 또는 시그널링하기 위한 임의의 기술들과 호환 가능하다.
이 개시의 기술들에 따르면, 비디오 인코더 (122) 를 포함하는 디바이스는 프레임 또는 슬라이스에 대한 필터 계수들의 하나 이상의 셋트들을 비디오 디코더 (128) 를 포함하는 디바이스로 송신할 수 있다. 프레임 또는 슬라이스에 대해, 비디오 인코더 (122) 는, 예를 들어, 모든 입력들과 함께 이용될 하나의 셋트의 필터들을 송신하거나, 다중 입력들 (예를 들어, 입력 당 하나의 셋트) 과 함께 이용될 다중 셋트들의 필터들을 송신할 수도 있다. 그 프레임 또는 슬라이스 내의 각각의 비디오 블록 또는 코딩된 유닛은 그 다음, 필터들의 셋트 중 어느 필터 또는 필터들이 그 비디오 블록의 각 입력에 대해 이용될 것인지, 또는 필터들의 셋트 중 어느 필터 또는 필터들이 이용될 것인지를 식별하기 위한 추가적인 신택스를 포함할 수 있고, 하나 이상의 입력들과 연관된 활성도 메트릭에 기초하여 결정될 수 있다.
보다 구체적으로, 소스 디바이스 (112) 의 비디오 인코더 (122) 는 프레임 또는 슬라이스에 대한 하나 이상의 셋트들의 필터들을 선택하고, 인코딩 프로세스 동안 슬라이스 또는 프레임의 코딩된 유닛들과 연관된 입력들에 셋트(들)로부터의 필터들을 적용하며, 그 다음, 목적지 디바이스 (116) 의 비디오 디코더 (128) 로의 통신을 위해 필터들의 셋트들 (즉, 필터 계수들의 셋트들) 을 인코딩할 수도 있다. 비디오 인코더 (122) 는 필터들의 셋트(들)로부터의 어느 필터(들)을 그 특정 코딩된 유닛과 함께 이용할 지를 선택하기 위해 코딩된 유닛들의 입력들과 연관된 활성도 메트릭을 결정할 수도 있다. 디코더 측에서, 목적지 디바이스 (116) 의 비디오 디코더 (128) 는 또한, 비디오 디코더 (128) 가 필터들의 셋트(들) 로부터의 어느 필터(들)을 픽셀 데이터에 적용할지를 결정할 수 있도록, 또는 몇몇 경우들에서, 비디오 디코더 (128) 가 비트스트림 신택스에서 수신된 필터 정보로부터 직접 필터 계수들을 결정할 수도 있도록, 코딩된 유닛과 연관된 하나 이상의 입력들에 대한 활성도 메트릭을 결정할 수도 있다. 비디오 디코더 (128) 는, 필터 계수들이 어떻게 인코딩되었는지에 따라 직접 디코딩 또는 예측 디코딩에 기초하여 필터 계수들을 디코딩할 수도 있고, 이는 비트스트림 신택스의 일부로서 시그널링될 수도 있다. 추가적으로, 비트스트림은 필터들의 셋트에 대한 필터들을 설명하기 위한 필터 디스크립션 신택스를 포함할 수도 있다. 필터 디스트립션 신택스에 기초하여, 디코더 (128) 는 인코더 (122) 로부터 수신된 추가적인 정보에 기초하여 필터 계수들을 재구성할 수 있다. 도 1 의 예시된 시스템 (110) 은 단지 예시적인 것이다. 이 개시의 필터링 기술들은 임의의 인코딩 또는 디코딩 디바이스들에 의해 수행될 수도 있다. 소스 디바이스 (112) 및 목적지 디바이스 (116) 는 단지 이러한 기술들을 지원할 수 있는 코딩 디바이스들의 예들이다.
소스 디바이스 (112) 의 비디오 인코더 (122) 는 이 개시의 기술들을 이용하여 비디오 소스 (120) 로부터 수신된 비디오 데이터를 인코딩할 수도 있다. 비디오 소스 (120) 는 비디오 카메라와 같은 비디오 캡쳐 디바이스, 사전에 캡쳐된 비디오를 포함하는 비디오 아카이브, 또는 비디오 콘텐츠 제공자로부터 공급된 비디오를 포함할 수도 있다. 추가적인 대안으로서, 비디오 소스 (120) 는, 소스 비디오, 또는, 라이브 비디오, 아카이브된 비디오, 및 컴퓨터-생성된 비디오의 조합으로서 컴퓨터 그래픽 기반 데이터를 발생시킬 수도 있다. 몇몇 경우들에서, 비디오 소스 (120) 가 비디오 카메라인 경우, 소스 디바이스 (112) 및 목적지 디바이스 (116) 는 소위 카메라 전화기들 또는 비디오 전화기들을 형성할 수도 있다. 각각의 경우에, 캡쳐된, 사전-캡쳐된, 또는 컴퓨터-생성된 비디오는 비디오 인코더 (122) 에 의해 인코딩될 수도 있다.
일단 비디오 데이터가 비디오 인코더 (122) 에 의해 인코딩되면, 인코딩된 비디오 정보는 그 다음, 예를 들어, 코드 분할 다중 액세스 (CDMA), 주파수 분할 다중 액세스 (FDMA), 직교 주파수 분할 멀티플렉싱 (OFDM), 또는 임의의 다른 통신 표준 또는 기술과 같은 통신 표준에 따라 모뎀 (123) 에 의해 변조될 수도 있고, 송신기 (124) 를 통해 목적지 디바이스 (116) 로 송신될 수도 있다. 모뎀 (123) 은 신호 변조를 위해 설계된 다양한 믹서들, 필터들, 증폭기들, 또는 다른 컴포넌트들을 포함할 수도 있다. 송신기 (124) 는 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함하는, 데이터를 송신하기 위해 설계된 회로들을 포함할 수도 있다.
목적지 디바이스 (116) 의 수신기 (126) 는 채널 (115) 을 통해 정보를 수신하고, 모뎀 (127) 은 그 정보를 복조한다. 비디오 디코더 (128) 에 의해 수행되는 비디오 디코딩 프로세스는, 예를 들어, 인-루프 디코딩의 일부로서, 또는 디코딩 루프에 이은 포스트 필터링 단계로서, 필터링을 포함할 수도 있다. 어떤 식으로든, 특정 슬라이스 또는 프레임에 대해 비디오 디코더 (128) 에 의해 적용되는 필터들의 셋트는 이 개시의 기술들을 이용하여 디코딩될 수도 있다. 디코딩된 필터 정보는 코딩된 비트 스트림에서 필터 디스크립션 신택스를 식별하는 것을 포함할 수도 있다. 예를 들어 예측 코딩이 필터 계수들에 대해 이용되는 경우에, 상이한 필터 계수들 사이의 유사성들이 채널 (115) 을 통해 반송되는 정보의 양을 감소시키기 위해 이용될 수도 있다. 특히, 필터 (즉, 필터 계수들의 셋트) 는, 상이한 필터와 연관된 필터 계수들의 또 다른 셋트에 대한 상이한 값들로서 예측 코딩될 수 있다. 상이한 필터는 예를 들어 상이한 슬라이스 또는 프레임과 연관될 수도 있다. 이러한 경우에, 비디오 디코더 (128) 는, 상이한 필터가 연관되는 상이한 프레임 또는 슬라이스를 식별하는 비디오 블록들 및 필터 정보를 포함하는 인코딩된 비트스트림을 수신할 수도 있을 것이다. 필터 정보는 또한 상이한 코딩된 유닛에 대한 현재 필터를 정의하는 상이한 값들을 포함한다. 특히, 상이한 코딩된 유닛에 대해 사용된 상이한 필터의 필터 계수들에 대한 현재 필터에 대한 필터 계수들을 정의하는 필터 계수들 차이 값들을 포함할 수도 있다.
비디오 디코더 (128) 는 비디오 블록들을 디코딩하고, 필터 계수들을 발생시키며, 발생된 필터 계수들에 기초하여 디코딩된 비디오 블록들을 필터링한다. 비디오 디코더 (128) 는 비트 스트림으로부터 취출된 (retrieved) 필터 디스크립션 신택스에 기초하여 필터 계수들을 발생시킬 수 있다. 디코딩된 및 필터링된 비디오 블록들은 비디오 프레임들로 조립되어 디코딩된 비디오 데이터를 형성할 수 있다. 디스플레이 디바이스 (130) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라스마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.
통신 채널 (115) 은 라디오 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들, 또는 무선 및 유선 매체의 임의의 조합과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 채널 (115) 은 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 일부를 형성할 수도 있다. 통신 채널 (115) 은 일반적으로, 소스 디바이스 (112) 로부터 목적지 디바이스 (116) 로 비디오 데이터를 송신하기 위한, 임의의 적합한 통신 매체, 또는 상이한 통신 매체의 집합을 나타낸다.
비디오 인코더 (122) 및 비디오 디코더 (128) 는, 설명의 목적을 위해 이 개시의 부분들에서 사용될, 다르게는 MPEG-4, Part 10, AVC (Advanced Video Coding) 로도 지칭되는 ITU-T H.264 표준과 같은 비디오 압축 표준에 따라 동작할 수도 있다. 하지만, 이 개시의 많은 기술들은 새롭게 출현하는 HEVC 표준을 포함하는 다양한 다른 비디오 코딩 표준들 중 임의의 것에 쉽게 적용될 수도 있다. 일반적으로, 인코더 및 디코더에서 필터링을 허용하는 임의의 표준은 이 개시의 교시의 다양한 양태들로부터 혜택을 받을 수도 있다.
도 1 에 도시되지는 않았지만, 몇몇 양태들에서, 비디오 인코더 (122) 및 비디오 디코더 (128) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있고, 공통 데이터 스트림 또는 별개의 데이터 스트림들에서의 오디오 및 비디오 양자의 인코딩을 핸들링 (handling) 하기 위해 적절한 MUX-DEMUX 유닛들, 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능한 경우, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들에 따를 수도 있다.
비디오 인코더 (122) 및 비디오 디코더 (128) 각각은 하나 이상의 마이크로프로세서, 디지털 신호 처리기 (DSP), 애플리케이션 특정 집적 회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들로서 구현될 수도 있다. 비디오 인코더 (122) 및 비디오 디코더 (128) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있고, 이들 중 어느 쪽은 각각의 모바일 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 서버 등 내의 결합된 인코더/디코더 (CODEC) 의 일부로서 통합될 수도 있다.
몇몇 경우들에서, 디바이스들 (112, 116) 은 실질적으로 대칭적인 방식으로 동작할 수도 있다. 예를 들어, 디바이스들 (112, 116) 의 각각은 비디오 인코딩 및 디코딩 컴포넌트들을 포함할 수도 있다. 따라서, 시스템 (110) 은, 예를 들어 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 또는 비디오 전화에 대해, 비디오 디바이스들 (112, 116) 사이의 일방향 또는 양방향 비디오 송신을 지원할 수도 있다.
인코딩 프로세스 동안, 비디오 인코더 (122) 는 다수의 코딩 기술들 또는 단계들을 실행할 수도 있다. 일반적으로, 비디오 인코더 (122) 는 비디오 데이터를 인코딩하기 위해 개별 비디오 프레임들 내의 비디오 블록들에 대해 동작한다. 일 예에서, 비디오 블록은 매크로블록 또는 매크로블록의 파티션 (partion) 에 대응할 수도 있다. 매크로블록들은 ITU H.264 표준 및 다른 표준들에 의해 정의되는 비디오 블록의 일 타입이다. 매크로블록들은, 용어가 때때로 N×N 사이즈의 임의의 비디오 블록을 일반적으로 지칭하기도 하지만, 통상적으로 16×16 블록들의 데이터를 지칭한다. ITU-T H.264 표준은 루마 (luma) 컴포넌트들에 대해 16×16, 8×8, 또는 4×4, 및 크로마 (chroma) 컴포넌트들에 대한 8×8 과 같은 다양한 블록 사이즈들에서의 인트라 예측, 및 루마 컴포넌트들에 대해 16×16, 16×8, 8×16, 8×8, 8×4, 4×8 및 4×4, 및 크로마 컴포넌트들에 대해 대응하는 스케일링 (scaling) 된 사이즈들과 같은 다양한 블록 사이즈들에서의 인터 예측을 지원한다. 이 개시에서, "N×N" 은, 예를 들어 16×16 픽셀 등, 수직 및 수평 치수들의 면에서 블록의 픽셀 치수들을 지칭한다. 일반적으로, 16×16 블록은 수직 방향으로 16 픽셀들 및 수평 방향으로 16 픽셀들을 가질 것이다. 마찬가지로, N×N 블록들은 일반적으로 수직 방향으로 N 픽셀들 및 수평 방향으로 N 픽셀들을 가지고, 여기서, N 은 양의 정수 값을 나타낸다. 블록에서의 픽셀들은 로우들 및 칼럼들로 배열될 수도 있다.
출현하는 HEVC 표준은 비디오 블록들에 대한 새로운 용어들을 정의한다. 특히, 비디오 블록들 (또는 그의 파티션들) 은 "코딩된 유닛들" (또는 CU 들) 로 지칭될 수도 있다. HEVC 표준에 있어서, 최대 코딩된 유닛 (LCU) 들은 쿼드트리 파티셔닝 방식에 따라 더 작은 CU 들로 분할될 수도 있고, 그 방식으로 정의된 상이한 CU 들은 소위 예측 유닛 (prediction unit; PU) 들로 더 분할될 수도 있다. LCU 들, CU 들, 및 PU 들은 이 개시의 의미 내에서 모두 비디오 블록들이다. HEVC 표준 또는 다른 비디오 코딩 표준들과 일치하는 다른 타입들의 비디오 블록들이 또한 사용될 수도 있다. 따라서, "비디오 블록들" 이라는 구문은 임의의 사이즈의 비디오 블록을 지칭한다. 별개의 CU 들은, 비록 다른 컬러 공간들이 또한 사용될 수 있을 것이지만, 루마 컴포넌트들에 대해 포함될 수도 있고, 주어진 픽셀에 대해 크로마 컴포넌트들에 대해 스케일링된 사이즈들이다.
비디오 블록들은 정해진 (fixed) 또는 가변 사이즈들을 가질 수도 있고, 특정 코딩 표준에 따라 사이즈 면에서 상이할 수도 있다. 각각의 비디오 프레임은 복수의 슬라이스들을 포함할 수도 있다. 각 슬라이스는 복수의 비디오 블록들을 포함할 수도 있고, 이 비디오 블록들은 파티션들 내로 배열될 수도 있으며, 또한 서브-블록 (sub-block) 들로 지칭된다. 상기 언급되고 이하 더 자세히 설명되는 쿼드트리 파티셔닝 방식에 따라, N/2×N/2 제 1 CU 는 N×N LCU 의 서브-블록을 포함할 수도 있고, N/4×N/4 제 2 CU 는 또한 제 1 CU 의 서브-블록을 포함할 수도 있다. N/8×N/8 PU 는 제 2 CU 의 서브-블록을 포함할 수도 있다. 유사하게, 추가적인 예로서, 16×16 보다 작은 블록 사이즈들은 16×16 비디오 블록의 파티션들로서 또는 16×16 비디오 블록의 서브-블록들로서 지칭될 수도 있다. 마참가지로, N×N 블록들에 대해, N×N 보다 작은 블록 사이즈들은 N×N 블록의 파티션들 또는 서브-블록들로서 지칭될 수도 있다. 비디오 블록들은, 예를 들어 코딩된 비디오 블록들과 예측 비디오 블록들 사이의 픽셀 차이들을 나타내는 잔여 비디오 블록으로의 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 개념적으로 유사한 변환의 적용에 이어, 픽셀 도메인 내의 픽셀 데이터의 블록들, 또는 변환 도메인 내의 변환 계수들의 블록들을 포함할 수도 있다. 몇몇 경우들에서, 비디오 블록은 변환 도메인 내의 양자화된 변환 계수들의 블록들을 포함할 수도 있다.
비트스트림 내의 신택스 데이터는 프레임 또는 슬라이스에 대해 LCU 를 정의할 수도 있고, 이는 그 프레임 또는 슬라이스에 대한 픽셀들의 수의 면에서 최대 코딩 유닛이다. 일반적으로, LCU 또는 CU 는, LCU 들 및 CU 들이 특정 사이즈 구별을 가지지 않는 것을 제외하고는, H.264 에 따라 코딩된 매크로블록에 유사한 목적을 갖는다. 대신에, LCU 사이즈는 프레임 단위별 또는 슬라이스 단위별로 정의될 수 있고, LCU 는 CU 들로 쪼개진다. 일반적으로, CU 에 대한 이 개시의 언급들은 픽쳐 (pictrue) 의 최대 코딩된 유닛 또는 LCU 의 서브-CU 를 지칭할 수도 있다. LCU 는 서브-CU 들로 쪼개질 수도 있고, 각각의 서브-CU 는 서브-CU 들로 쪼개질 수도 있다. 비트스트림에 대한 신택스 데이터는, CU 깊이로서 지칭되는 LCU 가 분할될 수도 있는 횟수의 최대 수를 정의할 수도 있다. 따라서, 비트스트림은 또한 최소 코딩 유닛 (smallest coding unit; SCU) 을 정의할 수도 있다. 이 개시는 또한 LCU, CU, PU, SCU, 또는 TU 중 임의의 것을 지칭하기 위해 "블록" 및 "비디오 블록" 이라는 용어들을 사용한다.
상기 도입된 바와 같이, LCU 는 쿼드트리 데이터 구조와 연관될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하고, 여기서, 루트 노드는 LCU 에 대응한다. CU 가 4 개의 서브-CU 들로 분할되는 경우, CU 에 대응하는 노드는 4 개의 리프 (leaf) 노드를 포함하고, 이들의 각각은 서브-CU 들 중 하나에 대응한다. 쿼드트리 데이터 구조의 각 노드는 대응하는 CU 에 대해 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드트리 내의 노드는 분할 플래그 (split flag) 를 포함할 수도 있고, 이는 노드에 대응하는 CU 가 서브-CU 들로 분할되는지 여부를 나타낸다. CU 들에 대한 신택스 엘리먼트들은 재귀적으로 (recursively) 정의될 수도 있고, CU 가 서브-CU 들로 분할되는지 여부에 의존할 수도 있다.
분할되지 않는 CU 는 하나 이상의 예측 유닛 (PU) 들을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 전부 또는 부분을 나타내고, PU 에 대한 참조 샘플을 취출하기 위한 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, PU 는 PU 에 대한 인트라-예측 모드를 설명하는 데이터를 포함할 수도 있다. 또 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 PU 에 대한 모션 벡터를 정의하는 데이터를 포함할 수도 있다. 모션 벡터를 정의하는 데이터는, 예를 들어, 모션 벡터의 수평 컴포넌트, 모션 벡터의 수직 컴포넌트, 모션 벡터의 레졸루션 (resolution) (예를 들어, 1/4 픽셀 정밀도 (precision), 또는 1/8 픽셀 정밀도), 모션 벡터가 포인팅하는 기준 프레임, 및/또는 모션 벡터에 대한 기준 리스트 (예를 들어, 리스트 0 또는 리스트 1) 를 설명할 수도 있다. PU(들)을 정의하는 CU 에 대한 데이터는 또한 예를 들어 CU 의 하나 이상의 PU 들로의 분할을 설명할 수도 있다. 파티셔닝 모드들은, CU 가 코딩되지 않는지, 인트라-예측 모드 인코딩되는지, 또는 인터-예측 모드 인코딩되는지 여부 간을 차별화할 수도 있다.
하나 이상의 PU 들을 갖는 CU 는 또한 하나 이상의 변환 유닛 (transform unit; TU) 들을 포함할 수도 있다. TU 들은 통상적으로 양자화된 잔여 변환 계수들을 포함하는 데이터 구조를 포함한다. 특히, PU 를 이용한 예측에 이어, 비디오 인코더는 PU 에 대응하는 CU 의 부분에 대해 잔여 값들을 계산할 수도 있다. 잔여 값들은 변환, 양자화, 스캐닝되어 TU 내에 저장되고, 이는 수행되었던 변환의 사이즈에 대응하는 가변 사이즈들을 가질 수도 있다. 따라서, TU 는 PU 의 사이즈에 반드시 한정되는 것은 아니다. 따라서, TU 들은 동일 CU 에 대해 대응하는 PU 들보다 더 크거나 더 작을 수도 있다. 몇몇 예들에서, TU 의 최대 사이즈는 대응하는 CU 의 사이즈일 수도 있다. 다시, TU 들은 주어진 CU 와 연관된 잔여 변환 계수들을 포함하는 데이터 구조를 포함할 수도 있다.
도 2a 및 도 2b 는 예시적인 쿼드트리 (250) 및 대응하는 최대 코딩 유닛 (272) 을 나타내는 개녑도들이다. 도 2a 는 계층적 방식으로 배열된 노드들을 포함하는 예시적인 쿼드트리 (250) 를 나타낸다. 쿼드트리 (250) 와 같은, 쿼드트리에서의 각각의 노드는, 자 (child) 를 갖지 않는 리프 노드일 수도 있고, 또는, 4 개의 자 노드들을 가질 수도 있다. 도 2a 의 예에서, 쿼드트리 (250) 는 루트 노드 (252) 를 포함한다. 루트 노드 (252) 는 리프 노드들 (256A-256C) (리프 노드들 (256)) 및 노드 (254) 를 포함하는, 4 개의 자 노드들을 갖는다. 노드 (254) 는 리프 노드가 아니기 때문에, 노드 (254) 는 4 개의 자 노드들을 포함하고, 이것은 이 예에서, 리프 노드들 (258A-258D) (리프 노드들 (258)) 이다.
쿼드트리 (250) 는 이 예에서 LCU (272) 와 같은 대응하는 최대 코딩 유닛 (LCU) 의 특성들을 설명하는 데이터를 포함할 수도 있다. 예를 들어, 쿼드트리 (250) 는 그것의 구조에 의해, LCU 의 서브-CU 들로의 분할을 설명할 수도 있다. LCU (272) 가 2N×2N 의 사이즈를 갖는다고 가정하자. 이 예에서 LCU (272) 는 각각 N×N 사이즈를 갖는 4 개의 서브-CU 들 (276A-276C (서브-CU 들 (276)) 및 274) 을 갖는다. 서브-CU (274) 는 각각 N/2×N/2 사이즈를 갖는 4 개의 서브-CU 들 (278A-278D) (서브-CU 들 (278)) 로 더 분할된다. 쿼드트리 (250) 의 구조는 이 예에서 LCU (272) 의 분할에 대응한다. 즉, 루트 노드 (252) 는 LCU (272) 에 대응하고, 리프 노드들 (256) 은 서브-CU (276) 들에 대응하며, 노드 (254) 는 서브-CU (274) 에 대응하고, 리프 노드들 (258) 은 서브-CU (278) 에 대응한다.
쿼드트리 (250) 의 노드들에 대한 데이터는 노드에 대응하는 CU 가 분할되는지 여부를 설명할 수도 있다. CU 가 분할되는 경우, 4 개의 추가적인 노드들이 쿼드트리 (250) 내에 존재할 수도 있다. 몇몇 예에서, 쿼드트리의 노드는 다음과 같은 의사코드에 유사하게 구현될 수도 있다:
quadtree_node {
boolean split_flag(1);
// signaling data
if (split_flag) {
quadtree_node child1;
quadtree_node child2;
quadtree_node child3;
quadtree_node child4;
}
}
split_flag 값은 현재 노드에 대응하는 CU 가 분할되는지 여부를 나타내는 1-비트 값일 수도 있다. CU 가 분할되지 않는 경우, split_flag 값은 '0' 일 수도 있는 반면, CU 가 분할되는 경우, split_flag 값은 '1' 일 수도 있다. 쿼드트리 (250) 의 예에 대해, 분할 플래그 값들의 어레이는 101000000 일 수도 있다.
몇몇 예들에서, 서브-CU 들 (276) 및 서브-CU 들 (278) 의 각각은 동일한 인트라-예측 모드를 이용하여 인코딩된 인트라-예측일 수도 있다. 따라서, 비디오 인코더 (122) 는 루트 노드 (252) 에서 인트라-예측 모드의 표시를 제공할 수도 있다. 또한, 서브-CU 들의 소정 사이즈들은 특정 인트라-예측 모드에 대해 다수의 가능한 변환들을 가질 수도 있다. 이 개시의 기술들에 따라, 비디오 인코더 (122) 는 루트 노드 (252) 에서의 이러한 서브-CU 들에 대해 사용하기 위한 변환의 표시를 제공할 수도 있다. 예를 들어, 사이즈 N/2×N/2 의 서브-CU 들은 이용가능한 다수의 가능한 변환들을 가질 수도 있다. 비디오 인코더 (122) 는 루트 노드 (252) 에서 사용하기 위해 변환을 시그널링할 수도 있다. 따라서, 비디오 디코더 (128) 는 루트 노드 (252) 에서 시그널링된 인트라-예측 모드 및 루트 노드 (252) 에서 시그널링된 변환에 기초하여 서브-CU 들 (278) 에 적용하기 위한 변환을 결정할 수도 있다.
이와 같이, 비디오 인코더 (122) 는 리프 노드들 (256) 및 리프 노드들 (258) 에서 서브-CU 들 (276) 및 서브-CU 들 (278) 에 적용하기 위한 변환들을 시그널링할 필요가 없지만, 대신, 이 개시의 기술들에 따라, 루트 노드 (252) 에서, 서브-CU 들의 소정 사이즈들에 적용하기 위한 인트라-예측 모드 및 몇몇 예들에서 변환을 단순히 시그널링할 수도 있다. 이러한 방식으로, 이들 기술들은 LCU (272) 와 같은 LCU 의 각각의 서브-CU 에 대해 변환 함수들을 시그널링하는 오버헤드 비용을 감소시킬 수도 있다.
몇몇 예들에서, 서브-CU 들 (276) 및/또는 서브-CU 들 (278) 에 대한 인트라-예측 모드들은 LCU (272) 에 대한 인트라-예측 모드들과 상이할 수도 있다. 비디오 인코더 (122) 및 비디오 디코더 (128) 는 서브-CU 들 (276) 및/또는 서브-CU 들 (278) 에 대해 이용가능한 인트라-예측 모드에 루트 노드 (252) 에서 시그널링되는 인트라-예측 모드를 맵핑하는 함수들로 구성될 수도 있다. 함수는, 서브-CU 들 (276) 및/또는 서브-CU 들 (278) 에 대한 인트라-예측 모드들에 LCU (272) 에 대해 이용가능한 인트라-예측 모드들의 다-대-1 맵핑을 제공할 수도 있다.
슬라이스는 비디오 블록들 (또는 LCU 들) 로 분할될 수도 있고, 각각의 비디오 블록은 도 2a 및 도 2b 와 관련하여 설명된 쿼드트리 구조에 따라 분할될 수도 있다. 또한, 도 2c 에 도시된 바와 같이, "온 (ON)" 에 의해 표시된 쿼드트리 서브-블록들은 본원에 설명된 루프 필터들에 의해 필터링될 수도 있는 반면, "오프 (OFF)" 에 의해 표시된 쿼드트리 서브-블록들은 필터링되지 않을 수도 있다. 주어진 블록 또는 서브-블록을 필터링할지 않을지 여부의 결정은 코딩되는 원래의 블록에 대해 필터링된 결과 또는 필터링되지 않은 결과를 비교함으로써 인코더에서 결정될 수도 있다. 도 2d 는 도 2c 에 도시된 쿼드트리 파티셔닝을 초래하는 파티셔닝 결정들을 나타내는 결정 트리이다.
특히, 도 2c 는 변화하는 사이즈들의 더 작은 비디오 블록들로의 쿼드트리 부분화 방식에 따라 파티셔닝된 상대적으로 큰 비디오 블록을 나타낼 수도 있다. 각각의 비디오 블록은 도 2c 에서 (온 또는 오프로) 라벨링되어 필터링이 그 비디오 블록에 대해 적용되어야하는지 또는 회피되어야 하는지 여부를 나타낸다. 비디오 인코더는, 코딩되는 원래의 비디오 블록에 각각의 비디오 블록의 필터링된 및 필터링되지 않은 버전 (version) 들을 비교함으로써 이 필터 맵을 정의할 수도 있다.
다시, 도 2d 는 도 2c 에 도시된 쿼드트리 파티셔닝을 초래하는 파티셔닝 결정들에 대응하는 결정 트리이다. 도 2d 에서, 각각의 원은 CU 에 대응할 수도 있다. 원이 "1" 플래그를 포함하는 경우에는, 그 CU 는 4 개의 더 많은 CU 들로 더 피티셔닝되지만, 원이 "0" 플래그를 포함하는 경우에는, 그 CU 는 더 이상 파티셔닝되지 않는다. (예를 들어, CU 들에 대응하는) 각각의 원은 또한 연관된 삼각형을 포함한다. 주어진 CU 에 대한 삼각형에서의 플래그가 1 로 설정되는 경우에는, 그 CU 에 대해 필터링은 턴 "온" 되지만, 주어진 CU 에 대한 삼각형에서의 플래그가 0 으로 설정되는 경우에는, 필터링은 턴오프된다. 이러한 방식으로, 도 2c 및 도 2d 는, 각각의 파티셔닝된 비디오 블록 (예를 들어 LCU 내의 각각의 CU) 에 필터링을 적용할지 않을지 여부를 주어진 비디오 블록 (예를 들어, LCU) 에 대해 쿼드트리 파티셔닝의 레벨을 통신하기 위해 인코딩된 비디오 데이터의 슬라이스 당 적어도 한 번 디코더에 통신되고 인코더에서 발생될 수 있는 필터 맵으로서 개별적으로 또는 총체적으로 보여질 수도 있다.
더 작은 비디오 블록들은 더 양호한 레졸루션을 제공할 수 있고, 높은 레벨들의 상세를 포함하는 비디오 프레임의 로케이션들에 대해 이용될 수도 있다. 더 큰 비디오 블록들은 더 큰 코딩 효율을 제공할 수 있고, 낮은 레벨의 상세를 포함하는 비디오 프레임의 로케이션들에 대해 이용될 수도 있다. 슬라이스는 복수의 비디오 블록들 및/또는 서브-블록들인 것으로 고려될 수도 있다. 각각의 슬라이스는 비디오 프레임의 비디오 블록들의 독립적으로 디코딩가능한 시리즈들일 수도 있다. 다르게는, 프레임들 그 자체는 비디오 블록들의 디코딩가능한 시리즈일 수도 있고, 또는 프레임의 다른 부분들은 비디오 블록들의 디코딩가능한 시리즈들로서 정의될 수도 있다. "비디오 블록들의 시리즈" 라는 용어는 전체 프레임, 프레임의 슬라이스, 시퀀스라고도 지칭되는 픽쳐들의 그룹 (group of pictures; GOP), 또는 적용가능한 코딩 기술들에 따라 정의된 또 다른 독립적으로 디코딩가능한 유닛과 같은 비디오 프레임의 임의의 독립적으로 디코딩가능한 부분을 지칭할 수도 있다. 이 개시의 양태들은 프레임들 또는 슬라이스들을 참조하여 설명될 수도 있을 것이지만, 이러한 참조들은 단지 예시적인 것이다. 일반적으로 비디오 블록들의 임의의 시리즈가 프레임 또는 슬라이스 대신에 사용될 수도 있다는 것을 이해하여야 한다.
신택스 데이터는, 각각의 코딩된 유닛이 연관된 신택스 데이터를 포함하도록 코딩된 유닛 당 단위로 정의될 수도 있다. 필터 디스크립션 신택스를 포함하는, 본원에 설명된 필터 정보는 코딩된 유닛에 대한 이러한 신택스의 부분일 수도 있지만, 코딩된 유닛 대신에, 프레임, 슬라이스, GOP, LCU, 또는 비디오 프레임들의 시퀀스와 같은, 일련의 비디오 블록들에 대한 신택스의 일부일 가능성이 더 높을 수도 있을 것이다. 신택스 데이터는 슬라이스 또는 프레임의 코딩된 유닛들과 함께 이용될 필터들의 셋트 또는 셋트들을 나타낼 수 있다. 추가적으로, 모든 필터 정보가 비디오 블록들의 공통 시리즈의 헤더에 반드시 포함될 필요는 없다. 예를 들어, 필터 디스크립션 신택스는 프레임 헤더에서 송신될 수도 있을 것이고, 한편, 다른 필터 정보가 LCU 에 대한 헤더에서 송신된다.
비디오 인코더 (122) 는 예측 블록을 식별하기 위해 예측 프레임 (또는 다른 코딩된 유닛) 에 대해 코딩되는 비디오 블록이 비교되는 예측 코딩을 수행할 수도 있다. 코딩되는 현재의 비디오 블록과 예측 블록 사이의 차이들이 잔여 블록으로서 코딩되고, 예측 블록을 식별하기 위해 예측 신택스가 사용된다. 잔여 블록이 변환 및 양자화될 수도 있다. 변환 기술들은, DCT 프로세스 또는 개념적으로 유사한 프로세스, 정수 변환들, 웨이블릿 변환들, 또는 다른 타입들의 변환들을 포함할 수도 있다. DCT 프로세스에서, 예로서, 변환 프로세스는, 주파수 도메인에서 픽셀 값들의 에너지를 나타낼 수도 있는 변환 계수들로 픽셀 값들의 셋트를 변환한다. 양자화가 통상적으로 변환 계수들에 적용되고, 주어진 변환 계수와 연관된 비트들의 수를 한정하는 프로세스를 일반적으로 수반한다.
변환 및 양자화에 이어, 엔트로피 코딩이 양자화된 및 변환된 잔여 비디오 블록들에 대해 수행될 수도 있다. 인코딩 동안 정의된 필터 정보 및 예측 벡터들과 같은 신택스 엘리먼트들은 또한 각각의 코딩된 유닛에 대해 엔트로피 코딩된 비트스트림에 포함될 수도 있다. 일반적으로, 엔트로피 코딩은, 양자화된 변환 계수들 및/또는 다른 신택스 정보의 시퀀스를 집합적으로 압축하는 하나 이상의 프로세스들을 포함한다. 2-차원 비디오 블록들로부터 하나 이상의 직렬화된 1-차원 계수들의 벡터들을 정의하기 위해, 예를 들어 엔트로피 코딩 프로세스의 일부로서, 양자화된 변환 계수들에 대해 지그-재그 스캐닝 기술들과 같은 스캐닝 기술들이 수행된다. 다른 스캔 순서들 또는 적응형 스캔들을 포함하는 다른 스캐닝 기술들이 또한 이용될 수도 있고, 가능하게는 인코딩된 비트스트림 내에 시그널링된다. 임의의 경우에, 스캐닝된 계수들은 그 다음에, 예를 들어, 콘텐츠 적응형 가변 길이 코딩 (content adaptive variable length coding; CAVLC), 콘텍스트 적응형 바이너리 연산 코딩 (context adaptive binary arithmetic coding; CABAC), 또는 다른 엔트로피 코딩 프로세스를 통해, 임의의 신택스 정보와 함께 엔트로피 코딩된다.
인코딩 프로세스의 일부로서, 후속 비디오 블록들의 후속 예측 기반 코딩에 대해 사용되는 비디오 데이터를 발생시키기 위해 인코딩된 비디오 블록들은 디코딩될 수도 있다. 이 단계에서, 비디오 품질을 향상시키기 위해, 및 예를 들어 디코딩된 비디오로부터 블록키니스 아티팩트들을 제거하기 위해, 필터링이 수행될 수도 있다. 필터링된 데이터는 다른 비디오 블록들의 예측에 대해 이용될 수도 있고, 이 경우에, 필터링은 "인-루프" 필터링으로서 지칭된다. 다르게는, 다른 비디오 블록들의 예측은 필터링되지 않은 데이터에 기초할 수도 있고, 이 경우에, 필터링은 "포스트 필터링" 으로서 지칭된다.
프레임 단위별, 슬라이스 단위별, 또는 LCU 단위별로, 인코더는 필터들의 하나 이상의 셋트들을 선택하고, 코딩된 유닛 단위별로 그 셋트(들)로부터 하나 이상의 필터들을 선택할 수도 있다. 양 선택들은 비디오 품질을 증진시키는 방식으로 이루어질 수 있다. 필터들의 이러한 셋트들은 미리정의된 셋트들의 필터들로부터 선택될 수도 있고, 또는, 비디오 품질을 증진시키기 위해 적응적으로 정의될 수도 있다. 예로서, 비디오 인코더 (122) 는, 그 프레임 또는 슬라이스의 코딩된 유닛들의 픽셀들의 그룹 또는 상이한 픽셀들에 대해 상이한 필터들이 사용되도록 주어진 프레임 또는 슬라이스에 대해 수개의 셋트들의 필터들을 선택 또는 정의할 수도 있다. 특히, 코딩된 유닛과 연관된 각각의 입력에 대해, 수개의 셋트들의 필터 계수들이 정의될 수도 있고, 코딩된 유닛의 픽셀들과 연관된 활성도 메트릭이, 필터들의 셋트로부터의 어느 필터를 이러한 픽셀들에 이용할 지를 결정하기 위해 이용될 수도 있다. 몇몇 경우들에서, 필터들은 픽셀 단위별로 픽셀들에 대해 선택 및 적용될 수도 있다. 하지만, 다른 경우들에서, 필터들은 그룹 단위별로 픽셀들에 대해 선택 및 적용될 수도 있고, 여기서, 각 그룹은 예를 들어 픽셀들의 2×2 블록 또는 4×4 블록일 수도 있을 것이다.
몇몇 경우들에서, 비디오 인코더 (122) 는 수개 셋트들의 필터 계수들을 적용할 수도 있고, 코딩된 블록 및 원래 블록 사이의 왜곡 (distortion) 의 양, 및/또는 최상위 레벨들의 압축의 면에서 가장 양호한 품질의 비디오를 생성하는 하나 이상의 셋트들을 선택할 수도 있다. 임의의 경우에, 일단 선택되면, 각각의 코딩된 유닛에 대해 비디오 인코더 (122) 에 의해 적용된 필터 계수들의 셋트는, 비디오 디코더 (128) 가 각각의 주어진 코딩된 유닛에 대해 인코딩 프로세스 동안 적용되었던 것과 동일한 필터링을 적용할 수 있도록, 인코딩되어 목적지 디바이스 (116) 의 비디오 디코더 (128) 로 전달될 수도 있다.
이 개시에서 논의된 바와 같이, 필터 디스크립션 신택스는 필터들을 재구성하기 위해 필요한 비트들의 수를 감소시키기 위해 이용될 수 있다. 코딩된 유닛에 대한 특정 입력에 어느 필터를 이용할지를 결정하기 위해 활성도 메트릭이 이용될 때, 그 특정 코딩된 유닛에 대한 필터의 선택은 비디오 디코더 (128) 로 반드시 전달될 필요는 없다. 대신에, 비디오 디코더 (128) 는 또한, 코딩된 유닛에 대해 활성도 메트릭을 계산할 수 있고, 비디오 인코더 (122) 에 의해 이전에 제공된 필터 정보에 기초하여, 활성도 메트릭을 특정 필터에 매치시킬 수 있다.
도 3 은 이 개시와 일치하는 비디오 인코더 (350) 를 나타내는 블록도이다. 비디오 인코더 (350) 는 디바이스 (120) 의 비디오 인코더 (122), 또는 상이한 디바이스의 비디오 인코더에 대응할 수도 있다. 도 3 에 도시된 바와 같이, 비디오 인코더 (350) 는 예측 유닛 (332), 어드레스 (348 및 351), 및 메모리 (334) 를 포함한다. 비디오 인코더 (350) 는 또한 변환 유닛 (338) 및 양자화 유닛 (340), 및 역 양자화 유닛 (342) 및 역 변환 유닛 (344) 을 포함한다. 비디오 인코더 (350) 는 또한 디블록킹 필터 (347) 및 적응형 필터 유닛 (349) 을 포함한다. 비디오 인코더 (350) 은 또한 엔트로피 인코딩 유닛 (346) 을 포함한다. 비디오 인코더 (350) 의 필터 유닛 (349) 은 필터링 동작을 수행할 수도 있고, 또한 디코딩에 사용될 소망되는 또는 바람직한 필터 또는 필터들의 셋트를 식별하기 위한 필터 선택 유닛 (FSU) (353) 을 포함할 수도 있다. 필터 유닛 (349) 은 또한, 선택된 필터들이 디코딩 동작 동안 사용될 다른 디바이스로 필터 정보로서 효율적으로 전달될 수 있도록, 선택된 필터들을 식별하는 필터 정보를 발생시킬 수도 있다.
인코딩 프로세스 동안, 비디오 인코더 (350) 는 코딩될 LCU 와 같은 비디오 블록을 수신하고, 예측 유닛 (332) 은 비디오 블록에 대해 예측 코딩 기술들을 수행한다. 전술한 쿼드트리 파티셔닝 방식을 이용하여, 예측 유닛 (332) 은 비디오 블록을 파티셔닝할 수 있고, 상이한 사이즈들의 코딩 유닛들에 대해 예측 코딩 기술들을 수행할 수 있다. 인터 코딩에 있어서, 예측 유닛 (332) 은, 예측 블록을 정의하기 위해, 비디오 블록의 서브-블록들을 포함하는 인코딩될 비디오 블록을, 하나 이상의 비디오 참조 프레임들 또는 슬라이스들에서의 다양한 블록들에 대해 비교한다. 인트라 코딩을 위해, 예측 유닛 (332) 은 동일한 코딩된 유닛 내의 이웃하는 (neighboring) 데이터에 기초하여 예측 블록을 생성한다. 예측 유닛 (332) 은 예측 블록을 출력하고, 가산기 (adder; 348) 는 잔여 블록을 생성하기 위해 코딩되는 비디오 블록으로부터 예측 블록을 뺀다.
인터 코딩에 있어서, 예측 유닛 (332) 은, 예측 블록을 포인팅하는 모션 벡터를 식별하는 모션 추정 및 모션 보상 유닛들을 포함할 수도 있고, 모션 벡터에 기초하여 예측 블록을 생성한다. 통상적으로, 모션 추정은 모션을 추정하는 모션 벡터를 생성하는 프로세스로 고려된다. 예를 들어, 모션 벡터는 현재 프레임 내에 코딩되는 현재 블록에 대해 예측 프레임 내의 예측 블록의 변위를 나타낼 수도 있다. 모션 보상은 통상적으로, 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페치 또는 생성하는 프로세스로 고려된다. 인트라 코딩에 있어서, 예측 유닛 (332) 은 동일한 코딩된 유닛 내의 이웃 데이터에 기초하여 예측 블록을 생성한다. 하나 이상의 인트라-예측 모드들은 얼마나 많은 인트라 예측 블록이 정의될 수 있는지를 정의할 수도 있다.
예측 유닛 (332) 이 예측 블록을 출력하고 가산기 (48) 가 잔여 블록을 생성하기 위해 코딩되는 비디오 블록으로부터 예측 블록을 감산한 후에, 변환 유닛 (38) 은 잔여 블록에 변환을 적용한다. 변환은 이산 코사인 변환 (DCT) 또는 HEVC 표준과 같은 코딩 표준에 의해 정의된 것과 같은 개념적으로 유사한 변환을 포함할 수도 있다. 웨이블릿 변환들, 정수 변환들, 서브-밴드 변환들 또는 다른 타입들의 변환들이 또한 이용될 수 있을 것이다. 어느 경우에도, 변환 유닛 (338) 은 변환을 잔여 블록에 적용하여 잔여 변환 계수들의 블록을 생성한다. 변환은 픽셀 도메인으로부터의 잔여 정보를 주파수 도메인으로 변환할 수도 있다.
그 다음 양자화 유닛 (340) 은 잔여 변환 계수들을 양자화하여 비트 레이트를 추가적으로 감소시킨다. 예를 들어 양자화 유닛 (340) 은 계수들의 각각을 코딩하기 위해 이용되는 비트들의 수를 제한할 수도 있다. 양자화 후에, 엔트로피 인코딩 유닛 (346) 은 양자화된 계수 블록을 2-차원 표현으로부터 하나 이상의 직렬화된 1-차원 벡터들로 스캔한다. 스캔 순서는 (지그-재그 스캐닝, 수평 스캐닝, 수직 스캐닝, 조합들, 다른 사전 정의된 순서와 같은) 정의된 순서로 발생하도록 사전-프로그래밍될 수도 있고, 또는 가능하게는 이전 통계들에 기초하여 정의된 적응형일 수도 있다.
스캐닝 프로세스에 이어, 엔트로피 인코딩 유닛 (346) 은, 데이터를 추가적으로 압축하기 위해, CAVLC 또는 CABAC 와 같은 엔트로피 코딩 방법들에 따라 (신택스 엘리먼트들과 함께) 양자화된 변환 계수들을 인코딩한다. 엔트로피 코딩된 비트스트림 내에 포함된 신택스 엘리먼트들은 인터 코딩을 위한 모션 벡터들 또는 인트라 코딩을 위한 예측 모드들과 같은, 예측 유닛 (332) 으로부터의 예측 신택스를 포함할 수도 있다. 엔트로피 코딩된 비트스트림 내에 포함된 신택스 엘리먼트들은 또한 본원에서 설명된 방식으로 인코딩될 수 있는 필터 유닛 (349) 으로부터의 필터 정보를 포함할 수도 있다.
CAVLC 는 엔트로피 인코딩 유닛 (346) 에 의해 벡터화된 기초에 대해 적용될 수도 있는 ITU H.264/MPEG4, AVC 표준에 의해 지원되는 엔트로피 인코딩 기술 중의 일 타입이다. CAVLC 는 변환 계수들 및/또는 신택스 엘리먼트의 직렬화된 "런 (run) 들" 을 효율적으로 압축하는 방식으로 가변 길이 코딩 (VLC) 을 이용한다. CABAC 는 엔트로피 인코딩 유닛 (346) 에 의해 벡터화된 기초에 대해 적용될 수도 있는 ITU H.264/MPEG4, AVC 표준에 의해 지원되는 다른 타입의 엔트로피 코딩 기술이다. CABAC 는 이진화, 컨택스트 모델 선택, 및 바이너리 연산 코딩을 포함하는 몇몇 단계들을 수반한다. 이 경우에, 엔트로피 인코딩 유닛 (346) 은 CABAC 에 따라 변환 계수들 및 신택스 엘리먼트들을 코딩한다. ITU H.264/MPEG4, AVC 표준과 유사하게, 출현하는 HEVC 표준 또한 CAVLC 및 CABAC 엔트로피 코딩을 지원할 수도 있다. 또한, 많은 다른 타입들의 엔트로피 코딩 기술들이 또한 존재하고, 새로운 엔트로피 코딩 기술들이 미래에 마찬가지로 출현할 것이다. 이 개시는 임의의 특정 엔트로피 코딩 기술에 한정되지 않는다.
엔트로피 인코딩 유닛 (346) 에 의한 엔트로피 코딩에 이어, 인코딩된 비디오는 다른 디바이스로 송신될 수도 있고 나중의 송신 또는 취출을 위해 보존될 수도 있다. 또한, 인코딩된 비디오는 엔트로피 코딩된 벡터들 및 다양한 신택스를 포함할 수도 있고, 이는 디코딩 프로세스를 적절히 구성하기 위해 디코더에 의해 이용될 수 있다. 역 양자화 유닛 (342) 및 역 변환 유닛 (344) 은 픽셀 도메인 내의 잔여 블록을 재구성하기 위해 역 양자화 및 역 변화을 각각 적용한다. 합산기 (summer; 351) 는 재구성된 잔여 블록을 예측 유닛 (332) 에 의해 생성된 예측 블록에 더하여 사전-디블록킹된 재구성된 비디오 블록을 생성하고, 이는 때로 사전-디블록킹된 재구성된 이미지로서 지칭된다. 디블록킹 필터 (347) 는 사전-디블록킹된 재구성된 비디오 블록에 필터링을 적용하여 블록키니스 또는 다른 아티팩트들을 제거함으로써 비디오 품질을 향상시킬 수도 있다. 디블록킹 필터 (347) 의 출력은 포스트-디블록킹된 비디오 블록, 재구성된 비디오 블록, 또는 재구성된 이미지로서 지칭될 수 있다.
필터 유닛 (349) 은 다중 입력들을 수신하도록 구성될 수 있다. 도 3 의 예에서, 필터 유닛 (349) 은 입력으로서 포스트-디블록킹된 재구성된 이미지 (RI), 사전-디블록킹된 재구성된 이미지 (pRI), 예측 이미지 (PI), 및 재구성된 잔여 블록 (EI) 을 수신한다. 필터 유닛 (349) 은 이들 입력들 중 임의의 것을 개별적으로 또는 조합으로 사용하여 재구성된 이미지를 생성하여 메모리 (334) 내에 저장한다. 추가적으로, 이하 자세히 설명되는 바와 같이, 활성도 메트릭에 기초하여, 하나 이상의 필터들이 선택되어 입력(들)에 인가될 수 있다. 일 예에서, 필터 유닛 (349) 의 출력은 RI 에 적용된 하나의 추가적인 필터일 수도 있다. 또 다른 예에서, 필터 유닛 (349) 의 출력은 pRI 에 적용된 하나의 추가적인 필터일 수도 있다. 하지만 다른 예에서, 필터 유닛 (349) 의 출력은 다중 입력들에 기초할 수도 있다. 예를 들어, 필터 유닛 (349) 은 제 1 필터를 pRI 에 적용하고 그 다음 재구성된 이미지를 형성하기 위해 EI 및 PI 의 필터링된 버전들과 함께 pRI 의 필터링된 버전을 이용할 수도 있다. 필터 유닛 (349) 의 출력이 단일 입력에 인가되는 하나의 추가적인 필터의 프로덕트 (product) 인 경우들에서, 필터 유닛 (349) 은 실제로 필터들을 다른 입력들에 적용할 수도 있지만, 그들 필터들은 모두 제로 (zero) 계수들을 가질 수도 있을 것이다. 유사하게, 필터 유닛 (349) 의 출력이 3 개의 필터들을 3 개의 입력들에 적용한 것의 프로덕트인 경우에, 필터 유닛 (349) 은 실제로 필터를 4 번째 입력에 적용할 수도 있지만, 그 필터는 모두 제로 계수들을 가질 것이다.
필터 유닛 (349) 은 또한 단일 입력을 수신하도록 구성될 수도 있다. 예를 들어, 비록 도 3 은 PI, EI, pRI, 및 RI 가 필터 유닛 (349) 내로 입력되는 것을 나타내고 있지만, 몇몇 구현들에서, RI 는 오직 필터 유닛 (349) 에 의해 수신되는 입력일 수도 있을 것이다. 이러한 구현에서, 필터 유닛 (349) 은, RI 의 필터링된 버전이 RI 의 필터링되지 않은 버전보다 원래의 이미지에 보다 유사하도록, RI 에 필터를 적용할 수도 있을 것이다. 다른 구현들에서, 필터 유닛 (349) 및 디블록킹 필터 (347) 는 pRI 에 필터링을 적용하는 단일 필터링 유닛으로 결합될 수도 있다. 필터 디스크립션 신택스의 사용을 포함하는 이 개시의 기술들은 다중 필터들을 이용하는 다중-입력 필터링 및 단일-입력 필터링 방식 양자 모두와 양립가능하다.
필터 유닛 (349) 에 의한 필터링은 필터링되지 않은 예측 비디오 블록들보다 코딩되는 비디오 블록들에 보다 가깝게 매칭하는 예측 비디오 블록들을 생성함으로써 압축을 향상시킬 수도 있다. 필터링 후에, 재구성된 비디오 블록은 후속 비디오 프레임 또는 다른 코딩된 유닛 내의 블록을 인터-코딩하기 위해 참조 블록으로서, 예측 유닛 (332) 에 의해 이용될 수도 있다. 필터 유닛 (349) 이 "인-루프" 로서 도시되었지만, 이 개시의 기술들은 포스트 필터들에도 또한 이용될 수도 있을 것이고, 이 경우에 (필터링된 데이터보다는) 필터링되지 않은 데이터가 후속 코딩된 유닛들에서의 데이터 예측의 목적을 위해 이용될 것이다.
슬라이스 또는 프레임에 대해, 필터 유닛 (349) 은 비디오 품질을 향상시키는 방식으로 각 입력에 대해 필터들의 셋트들을 선택할 수도 있다. 예를 들어, 필터 유닛 (349) 은 계수들의 사전-정의된 셋트들로부터 필터들의 셋트들을 선택할 수도 있고, 또는 비디오 품질을 증진시키거나 향상된 압축을 위해 적응적으로 필터들을 정의할 수도 있다. 필터 유닛 (349) 은, 동일 셋트(들)의 필터들이 코딩된 유닛의 상이한 비디오 블록들의 픽셀들에 대해 이용되도록, 주어진 코딩된 유닛에 대해 하나 이상의 셋트들의 필터들을 선택 또는 정의할 수도 있다. 특정 프레임, 슬라이스, 또는 LCU 에 대해, 필터 유닛 (349) 은 다중 입력들에 대해 수개의 셋트들의 필터들을 적용할 수도 있고, FSU (353) 은 가장 양호한 품질의 비디오 또는 최상위 레벨들의 압축을 가져오는 셋트를 선택할 수도 있다. 다르게는, FSU (353) 는 다중 입력들과 원래 이미지 사이의 자동 상관들 및 상호 상관들을 분석함으로써 새로운 필터를 훈련시킬 수도 있다. 새로운 셋트의 필터들은, 예를 들어, 자동 상관 및 상호 상관에 기초하여 Wienter-Hopt 식들을 풂으로써 결정될 수도 있다. 새로운 셋트의 필터들이 훈련되든지 또는 기존 셋트의 필터들이 선택되든지에 상관 없이, 필터 유닛 (349) 은, 디코더가 특정 프레임 또는 슬라이스에 대해 이용될 필터들의 셋트 셋트들을 또한 실별하는 것을 가능하게 하는 비트 스트림 내의 포함을 위한 신택스를 발생시킨다.
이 개시에 따르면, 프레임 또는 슬라이스 내의 코딩된 유닛의 각 픽셀에 대해, 필터 유닛 (349) 은, 필터들의 셋트로부터의 어느 필터가 코딩된 유닛 내의 하나 이상의 셋트들의 픽셀들과 연관된 활성도를 정량화하는 활성도 메트릭에 기초하여 사용될 것인지를 선택할 수도 있다. 이러한 방식으로, FSU (353) 는 프레임 또는 슬라이스와 같은 상위 레벨의 코딩된 유닛에 대해 필터들의 셋트들을 결정할 수도 있고, 한편, 필터 유닛 (349) 은 셋트(들)로부터의 어느 필터(들)이 하위 레벨의 코딩된 유닛의 픽셀들과 연관된 활성도에 기초하여 하위 레벨의 코딩된 유닛의 특정 픽셀에 대해 이용될 것인지를 결정한다. 활성도는 코딩된 유닛 내의 픽셀 값 분산의 면에서 표시될 수도 있다. 코딩된 유닛 내의 픽셀 값들의 더 많은 분산은 더 높은 레벨들의 픽셀 활성도를 나타낼 수도 있는 반면, 픽셀 값들의 더 적은 분산은 더 낮은 레벨들의 픽셀 활성도를 나타낼 수도 있다. 상이한 필터들 (즉, 상이한 필터 계수들) 이 픽셀 분산의 레벨, 즉, 활성도에 의존하여 더 양호한 필터링 (예를 들어, 더 높은 이미지 품질) 을 초래할 수도 있다. 픽셀 분산은 활성도 메트릭에 의해 정량화될 수도 있고, 이는 이하 더 자세히 설명되는 바와 같이 수정 합 라플라시안 값을 포함할 수도 있다. 하지만, 다른 타입들의 활성도 메트릭들이 또한 이용될 수도 있다.
각 입력에 대한 단일 필터 대신에, M 개의 필터들의 셋트가 각 입력에 대해 이용될 수도 있다. 설계 선호도에 따라, M 은 예를 들어 2 와 같이 적거나 16 과 같이 많거나, 또는 그 이상일 수도 있다. 입력 당 많은 수의 필터들은 비디오 품질을 향상시킬 수도 있지만, 또한, 인코더로부터 디코더로의 필터들의 셋트들의 시그널링과 연관된 오버헤드를 증가시킬 수도 있다. M 개의 필터들의 셋트는 전술한 바와 같이 FSU (353) 에 의해 결정될 수 있고, 각 프레임 또는 슬라이스에 대해 디코더로 송신될 수 있다. 코딩된 유닛이 어떻게 세그먼트 (segment) 화되고 코딩된 유닛의 특정 서브-유닛이 필터링되어야 하는지 아닌지 여부를 나타내기 위해 세그멘테이션 맵이 이용될 수 있다. 세그멘테이션 맵은 예를 들어 코딩된 유닛에 대해 전술한 바와 같은 분할 플래그들의 어레이 및 각각의 서브-코딩된 유닛이 필터링되어야 하는지 여부를 시그널링하는 추가적인 비트를 포함할 수도 있다. 필터링될 코딩된 유닛의 픽셀과 연관된 각각의 입력에 대해, 필터들의 셋트로부터의 특정 필터가 활성도 메트릭에 기초하여 선택될 수 있다. 활성도 메트릭은 다음과 같이 픽셀 (i,j) 에 대해 수정 합 라플라시안을 이용하여 계산될 수 있다:
Figure 112013028422118-pct00001
일예로서, 픽셀들을 둘러싸는 7×7 (K, L = 3) 그룹이 수정 합 라플라시안 값의 계산에 이용될 수도 있다. 수정 합 라플라시안 값들의 특정 범위에 대해 이용될 M 개의 필터들의 셋트로부터의 특정 필터는 또한 M 개의 필터들의 셋트로 디코더로 보내질 수 있다. 필터 계수들은 이전 프레임들에 대해 송신된 계수들로부터의 예측 또는 다른 기술들을 이용하여 코딩될 수 있다. 예를 들어 다이아몬드 형상 서포트 또는 정사각형 형상 서포트의 1×1, 3×3, 5×5, 7×7, 및 9×9 필터들을 포함하는 다양한 형상들 및 사이즈들의 필터들이 사용될 수도 있을 것이다.
필터들에 대한 입력들에 대한 수정 합 라플라시안 값들의 인덱싱은 다수의 방식들로 구현될 수 있다. 예를 들어, 몇몇 구현들에서 각각의 입력이 필터들의 고유한 셋트를 가지는 한편, 몇몇 구현들에서 입력들은 공통 셋트의 필터들을 공유한다. 추가적으로, 몇몇 구현들에서, 각각의 입력에 대한 수정 합 라플라시안 값이 각각의 입력에 대한 특정 필터를 식별하기 위해 사용될 수도 있을 것이다. 하지만 다른 구현들에서, 단일 입력에 대한 수정 합 라플라시안 값이 모든 입력들에 대한 필터들을 식별하기 위해 사용될 수도 있을 것이다. 또 다른 구현들에서, 제 1 입력에 대한 수정 합 라플라시안 값이 제 2 의 상이한 입력에 대해 필터를 식별하기 위해 사용될 수도 있을 것이다.
이 개시에 따라, 필터 유닛 (349) 은, 인코더 (350) 로부터 다른 디바이스로 필터 정보를 인코딩 및 반송하기 위해 필요한 데이터의 양을 감소시킬 수도 있는 필터 정보에 대한 코딩 기술들을 수행한다. 또한, 각각의 프레임 또는 슬라이스에 대해, 필터 유닛 (349) 은 그 프레임 또는 슬라이스에 대해 코딩된 유닛들의 픽셀들에 적용될 하나 이상의 셋트들의 필터 계수들을 정의 또는 선택할 수도 있다. 필터 유닛 (349) 은, 인-루프 필터링과 일치하는 보호 코딩을 위해 사용될 수도 있는, 메모리 (334) 내에 저장된 재구성된 비디오 프레임들의 비디오 블록들을 필터링하기 위해 필터 계수들을 적용한다. 필터 유닛 (349) 은, 인코딩된 비트스트림 내의 포함을 위해 엔트로피 인코딩 유닛 (346) 으로 포워딩 (forwarding) 되는 필터 정보로서 필터 계수들을 인코딩할 수 있다.
필터 정보는, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 포함할 수 있다. 필터 디스크립션 신택스는, 예를 들어, 슬라이스 또는 프레임과 같은 상위 레벨의 코딩된 유닛과 연관된 신택스에 포함될 수도 있는 한편, LCU 들과 같은 하위 레벨의 코딩된 유닛들에 대한 필터들의 수는 하위 레벨의 코딩된 유닛과 연관된 신택스에서 시그널링될 수도 있다. 특히 하위 레벨의 코딩된 유닛에 대한 필터들의 셋트 내의 필터들의 수는 그 하위 레벨의 코딩된 유닛에 대해 인에이블된 필터들의 최대 수보다 더 적을 수도 있다. 예를 들어, 슬라이스 또는 프레임이 셋트 당 최대 8 개의 필터들을 갖는 경우, 슬라이스 또는 프레임 내의 몇몇 LCU 들은 셋트 당 8 개의 필터들을 가질 수도 있지만, 다른 LCU 들은 2 또는 4 또는 1 과 8 사이의 임의의 갯수만을 가질 수도 있다.
필터들의 셋트 내에 포함될 필터들의 최대 갯수를 인코더로부터 디코더로 반송하기 위해 필터 디스크립션 신택스를 이용함으로써, 많은 수의 필터들이 압축 레이트 또는 재구성된 비디오 품질 중 어느 일방을 향상시키는 경우 큰 수의 필터들을 갖는 필터들의 셋트를 필터 유닛 (349) 이 사용할 수 있기 때문에, 전체 코딩 성능이 향상될 수도 있지만, 많은 수의 필터들이 이익이 없거나 오직 최소의 이익만 있는 경우 필터 유닛 (349) 은 또한 적은 수의 필터들만을 이용할 수도 있다. 적은 수의 필터들을 이용하는 것은 필터 계수들을 재구성하는데 필요한 비트들의 수를 감소시킴으로써 비디오 인코더 (350) 에 의해 전송되는 비트들의 전체 수를 감소시킬 수 있다. 추가적으로, 필터들의 최대 수를 식별하기 위해 필터 디스크립션 신택스를 이용하는 것은 활성-메트릭 필터 인덱스를 송신하는데 필요한 비트들의 수를 감소시킬 수도 있다. 활성-메트릭 필터 인덱스에 대한 범위들의 수는 종종, 임의의 특정 시리즈의 비디오 블록들에 대해 사용된 필터들의 수가 아닌, 허용된 필터들의 최대 수의 함수이다. 예를 들어, 특정 필터 셋트에 대한 필터들의 최대 수가 16 인 경우, 그 셋트에 대한 활성-메트릭 필터 인덱스는 16 범위들을 가질 수도 있을 것이다. 4 개의 필터들과 같이 적은 수의 필터 셋트를 이용하는 경우에도, 4 개의 필터들이 여전히 각각의 범위에 대한 소정 수의 비트들을 이용하여 16 범위들의 각각에 맵핑되어야 한다. 하지만, 필터 셋트가 최대 8 필터들을 가지는 경우, 4 개의 필터들만이 8 범위들로 맵핑될 필요가 있고, 이는 더 적은 비트들을 필요로 할 수도 있다. 추가적으로, 필터들의 최대 수를 식별하기 위해 필터 디스크립션 신택스를 이용하는 것은 또한 디코더가 더 적은 비트들을 이용하여 활성도 메트릭 필터 인덱스를 저장할 수 있게 함으로써 디코더에서의 활성도 메트릭 필터 인덱스의 저장을 향상시킬 수도 있고, 따라서, 활성도 메트릭 필터 인덱스들을 저장하는데 더 적은 메모리를 할당할 수 있게 된다.
다른 타입들의 필터 디스크립션 신택스가 또한 이용될 수도 있다. 예를 들어, 필터의 형상을 설명하는 필터 디스크립션 신택스가 인코더로부터 디코더로 송신될 수도 있다. 필터들의 셋트에서 사용될 필터들의 형상을 반송하기 위해 필터 디스크립션 신택스를 이용함으로써, 필터 유닛 (349) 은 상이한 형상들이 압축 비율 또는 재구성된 비디오 품질을 향상시키는 경우 상이한 형상들의 필터들을 이용할 수 있다. 예를 들어, 몇몇 경우들에서, 필터 유닛 (349) 은 9×9 필터들의 셋트를 포함할 수도 있지만, 9×9 필터들이 코딩 성능을 눈에 띄게 향상시키지 않는 경우, 필터 유닛 (349) 은 대신 9×5 필터들의 셋트를 이용할 수도 있다. 9×5 필터들을 이용함으로써, 인코더로부터 디코더로 필터 계수들을 송신하기 위해 더 적은 비트들이 필요하게 된다.
또한, 이 개시의 기술들은 FSU (353) 에 의해 선택되거나 정의된 필터 계수들의 일부는 다른 프레임 또는 슬라이스의 코딩된 유닛들의 픽셀들에 대해 적용된 다른 필터 계수들과 매우 유사할 수도 있다는 사실을 이용할 수도 있다. 동일 타입의 필터가 상이한 프레임들 또는 슬라이스들에 대해 적용될 수도 있지만 (예를 들어, 동일 필터 서포트), 필터들은 필터 서포트의 상이한 인덱스들과 연관된 필터 계수 값들의 면에서 상이할 수도 있다. 따라서, 이러한 필터 계수들을 반송하기 위해 필요한 데이터의 양을 감소시키기 위해, 필터 유닛 (349) 은 필터 계수들 사이의 임의의 유사성들을 이용하여, 다른 코딩된 유닛의 필터 계수들에 기초하여 필터링에 이용될 하나 이상의 필터 계수들을 예측 인코딩할 수도 있다. 하지만, 몇몇 경우들에서, 예를 들어 임의의 예측을 이용함이 없이, 필터 계수들을 직접 인코딩하는 것이 보다 바람직할 수도 있다. 언제 예측 코딩 기술들을 이용하여 필터 계수들을 인코딩하고 언제 임의의 예측 코딩 없이 필터 계수들을 직접 인코딩할 지를 정의하기 위해 활성도 메트릭의 사용을 이용하는 기술들과 같은 다양한 기술들이 필터 계수들을 디코더로 효율적으로 전달하기 위해 사용될 수 있다. 또한, 디코더에 의해 알려진 계수들의 서브셋트 (예를 들어, 5, -2, 10) 가 계수들의 풀 셋트 (예를 들어, 5, -2, 10, 10, -2, 5) 를 정의하기 위해 이용될 수 있도록 대칭성이 또한 부과될 수도 있다. 대칭성은 직접 코딩 및 예측 코딩 시나리오들 양자 모두에 대해 부과될 수도 있다.
도 4 는 본원에서 설명된 방식으로 인코딩되는 비디오 시퀀스를 디코딩하는 비디오 디코더 (460) 의 예를 나타내는 블록도이다. 수신된 비디오 시퀀스는 이미지 프레임들의 인코딩된 셋트, 슬라이스들의 셋트, 공통 코딩된 픽쳐들의 그룹 (GOP), 또는 어떻게 이러한 비디오 블록들을 디코딩하는지 정의하기 위해 인코딩된 비디오 블록들 및 신택스를 포함하는 비디오 블록들의 시리즈의 넓게 다양한 타입들을 포함할 수도 있다.
비디오 디코더 (460) 는 도 3 의 엔트로피 인코딩 유닛 (346) 에 의해 수행된 인코딩의 상호 디코딩 함수를 수행하는 엔트로피 디코딩 유닛 (452) 을 포함한다. 특히, 엔트로피 디코딩 유닛 (452) 은 CAVLC 또는 CABAC 디코딩, 또는 비디오 인코더 (350) 에 의해 이용되는 다른 타입의 엔트로피 디코딩을 수행할 수도 있다. 1-차원 직렬화된 포맷의 엔트로피 디코딩된 비디오 블록들은 하나 이상의 1-차원 계수들의 벡터들을 다시 역으로 2-차원 블록 포맷으로 변환하기 위해 역 스캔될 수도 있다. 벡터들의 수 및 사이즈, 및 비디오 블록들에 대해 정의된 스캔 순서는, 어떻게 2-차원 블록이 재구성되는지를 정의할 수도 있다. 엔트로피 디코딩된 예측 신택스는, 엔트로피 디코딩 유닛 (452) 으로부터 예측 유닛 (454) 으로 보내질 수도 있고, 엔트로피 디코딩된 필터 정보는 엔트로피 디코딩 유닛 (452) 으로부터 필터 유닛 (459) 으로 보내질 수도 있다.
비디오 디코더 (460) 은 또한, 예측 유닛 (454), 역 양자화 유닛 (456), 역 변환 유닛 (458), 메모리, 및 합산기 (464) 를 포함한다. 또한, 비디오 디코더 (460) 는 또한, 합산기 (464) 의 출력을 필터링하는 디블록킹 필터 (457) 를 포함한다. 이 개시와 일치하여, 필터 유닛 (459) 은, 하나 이상의 입력들에 적용될 하나 이상의 필터들을 포함하는 엔트로피 디코딩된 필터 정보를 수신할 수도 있다. 도 4 에는 비록 도시되지 않았지만, 디블록킹 필터 (457) 는 또한 적용될 하나 이상의 필터들을 포함하는 엔트로피 디코딩된 필터를 수신할 수도 있다.
필터 유닛 (459) 에 의해 적용된 필터들은 필터 계수들의 셋트들에 의해 정의될 수도 있다. 필터 유닛들 (459) 은 엔트로피 디코딩 유닛 (452) 으로부터 수신된 필터 정보에 기초하여 필터 계수들의 셋트들을 발생시키도록 구성될 수도 있다. 필터 정보는 필터들의 셋트 내의 필터들의 형상 및/또는 필터들의 셋트 내의 필터들의 최대 수를 식별하는 필터 디스크립션 신택스를 포함할 수도 있다. 필터 디스크립션 신택스는, 예를 들어 LCU 헤더, 프레임 헤더, 슬라이스 헤더, GOP 헤더, 시퀀스 헤더 등의 비디오 블록들의 시리즈의 헤더에 포함될 수 있다. 다른 예들에서, 필터 디스크립션 신택스는 꼬리 또는 다른 데이터 구조 내에 포함될 수도 있을 것이다. 필터 디스크립션 신택스에 기초하여, 필터 유닛 (459) 은 인코더에서 사용되는 필터들의 셋트를 재구성할 수 있다.
필터들의 셋트 내에 포함될 필터들의 수를 시그널링하기 위해 필터 디스크립션 신택스를 이용함으로써, 이 개시에서 설명된 바와 같이, 많은 수의 필터들이 압축 레이트 또는 재구성된 비디오 품질 중 어느 일방을 향상시키는 경우, 필터 유닛 (459) 이 많은 수의 필터들을 이용하는 것을 가능하게 함으로써 전체 코딩 성능이 향상될 수도 있지만, 또한 많은 수의 필터들이 이익이 없거나 오직 최소의 이익을 제공하는 경우에는 필터 유닛 (459) 이 적은 수의 필터들을 이용하도록 허용한다. 적은 수의 필터들을 이용하는 것은 또한 비디오 디코더 (460) 가 활성도 메트릭 필터 인덱스들을 저장하기 위해 할당해야만 하는 메모리의 양을 감소시킬 수도 있다. 더 적은 수의 필터들 및 더 적은 수의 활성-메트릭 필터 인덱스는 필요한 메모리의 양을 감소시키고 메모리로부터 데이터를 액세스하는 속도를 향상시킴으로써 디코더 성능을 향상시킬 수도 있다.
다른 타입들의 필터 디스크립션 신택스가 또한 이용될 수도 있다. 예를 들어, 필터의 형상을 설명하는 필터 디스크립션 신택스가 비디오 디코더 (460) 로 송신될 수도 있다. 필터들의 셋트에서 사용될 필터들의 형상을 비디오 디코더 (460) 에 반송하기 위해 필터 디스크립션 신택스를 이용함으로써, 필터 유닛 (459) 은, 상이한 형상들이 압축 비율 또는 재구성된 비디오 품질 중 어느 일방을 향상시키는 경우 상이한 형상들의 필터들을 이용할 수 있다. 예를 들어, 몇몇 경우들에서, 필터들의 셋트는 9×9 필터들을 포함할 수도 있지만, 9×9 필터들이 코딩 성능을 현저하게 향상시키지 않는 경우에는, 9×5 필터들이 대신 사용될 수도 있을 것이다. 9×9 대신에 9×5 필터들을 이용함으로써, 비디오 디코더 (460) 의 전체 성능은 향상될 수도 있다. 특히, 필터 유닛 (459) 은 통상적으로 메모리로부터 로우 단위별로 픽셀 값들을 읽고, 따라서, 감소된 수의 로우들을 갖는 필터들을 이용하는 것은 특정 필터링 동작을 수행하기 위해 필터 유닛 (459) 에 의해 요구되는 메모리 판독들의 수를 감소시킬 수 있다.
필터 정보는 또한 임의의 주어진 셋트의 계수들에 대해 사용된 인코딩의 방식을 디코더에 시그널링하는 추가적인 시그널링 신택스를 포함할 수도 있다. 몇몇 구현들에서, 필터 정보는 예를 들어 임의의 주어진 계수들의 셋트가 사용되어야 하는 활성도 메트릭 범위들을 또한 포함할 수도 있다. 필터들의 디코딩에 이어, 필터 유닛 (459) 은, 상이한 셋트들의 필터 계수들이 사용되어야 하는 활성도 메트릭 범위를 포함하는 시그널링 신택스 및 필터 계수들의 하나 이상의 셋트들에 기초하여 디코딩된 비디오 블록들의 픽셀 값을 필터링할 수 있다. 활성도 메트릭 범위들은, 사용된 인코딩의 타입 (예를 들어, 예측 또는 직접) 을 정의하기 위해 사용된 활성도 메트릭들의 범위들을 정의하는 활성 값들의 셋트에 의해 활성도 메트릭 범위들이 정의될 수도 있다.
필터 유닛 (459) 은 각각의 프레임 또는 슬라이스에 대해 필터들의 셋트를 비트스트림에서 수신할 수도 있다. 프레임 또는 슬라이스 내의 각각의 코딩된 유닛에 대해, 필터 유닛 (459) 은, 어느 셋트(들)의 필터(들)을 각 입력에 적용할 지를 결정하기 위해 다수의 입력들 (즉, PI, EI, pRI, 및 RI) 에 대해 코딩된 유닛의 디코딩된 픽셀들과 연관된 하나 이상의 활성도 메트릭들을 계산할 수 있다. 다르게는, 필터 유닛 (459) 은 pRI 또는 RI 와 같은 단일 입력에 대해 활성도 메트릭을 계산할 수도 있다. 활성도 메트릭의 제 1 범위에 대해, 필터 유닛 (459) 은 제 1 필터를 적용할 수도 있고, 활성도 메트릭의 제 2 범위에 대해, 필터 유닛 (459) 은 제 2 필터를 적용할 수도 있는 등이다. 임의의 수의 범위들 및 필터들이 이용될 수도 있지만, 몇몇 구현들에서 4 범위들이 4 개의 상이한 필터들에 대해 맵핑할 수도 있다. 필터는 일반적으로 임의의 타입의 필터 서포트 형상 또는 배열을 가정할 수도 있다. 필터 서포트는 필터링되는 주어진 픽셀에 대한 필터의 형상을 지칭하고, 필터계수들은 필터 서포트에 따라 이웃 픽셀 값들에 적용되는 가중을 정의할 수도 있다. 본 개시의 기술들에 따르면, 필터 디스크립션 신택스는 본원에서 설명된 바와 같은 필터 계수 정보와 함께 비트스트림 내에 포함될 수도 있다. 비트스트림에 포함된 다른 신택스 데이터는 어떻게 필터들이 인코딩되었는지 (예를 들어 어떻게 필터 계수들이 인코딩되었는지), 및 상이한 필터들이 사용되어야 하는 활성도 메트릭의 범위들을 디코더에 시그널링할 수도 있다.
예측 유닛 (454) 은 엔트로피 디코딩 유닛 (452) 으로부터 (모션 벡터들과 같은) 예측 신택스를 수신한다. 예측 신택스를 이용하여, 예측 유닛 (454) 은 비디오 블록들을 코딩하기 위해 사용되었던 예측 블록들을 생성한다. 역 양자화 유닛 (456) 은 역 양자화를 수행하고, 역 변환 유닛 (458) 은 잔여 비디오 블록들을 다시 역으로 픽셀 도메인으로 변경하기 위한 역 변환들을 수행한다. 가산기 (464) 는 비디오 블록을 재구성하기 위해 역 변환 유닛 (458) 에 의해 대응하는 잔여 블록 출력과 각각의 예측 블록을 결합한다.
필터 유닛 (459) 은 코딩된 유닛의 각 입력에 대해 적용될 필터 계수들을 발생시키고, 그 다음, 코딩된 유닛의 재구성된 비디오 블록들을 필터링하기 위해 이러한 필터 계수들을 적용한다. 필터링은, 예를 들어, 에지들을 평활화하고/하거나, 비디오 블록들과 연관된 아티팩트들을 제거하는 추가적인 디블록 필터링, 양자화 잡음을 감소시키기 위한 디노이즈 (denoise) 필터링, 또는 코딩 품질을 향상시킬 수 있는 임의의 다른 타입의 필터링을 포함할 수도 있다. 필터링된 비디오 블록들은 비디오 정보의 디코딩된 프레임들 (또는 디코딩가능한 유닛들) 을 재구성하기 위해 메모리 (462) 내에 축적된다. 디코딩된 유닛들은 사용자에의 제시를 위해 비디오 디코더 (460) 로부터 출력될 수도 있지만, 또한 후속 예측 디코딩에 사용하기 위해 저장될 수도 있다.
비디오 코딩의 분야에서, 디코딩된 비디오 신호의 품질을 향상시키기 위해 인코더 및 디코더에서 필터링을 적용하는 것이 통상적이다. 필터링은 포스트-필터를 통해 적용될 수 있고, 이 경우에, 필터링된 프레임은 장래의 프레임들의 예측을 위해 사용되지 않는다. 다르게는, 필터링이 "인-루프" 에 적용될 수 있고, 이 경우에, 필터링된 프레임은 장래의 프레임들을 예측하기 위해 이용될 수도 있다. 원래의 신호와 디코딩된 필터링된 신호 사이의 에러를 최소화함으로써 바람직한 필터가 설계될 수 있다. 통상적으로, 이러한 필터링은 이미지를 재구성하기 위해 하나 이상의 필터들을 적용하는 것에 기초하였다. 예를 들어, 디블록킹 필터는 이미지가 메모리 내에 저장되기 전에 재구성된 이미지에 적용될 수도 있을 것이고, 또는 디블록킹 필터 및 하나의 추가적인 필터는 이미지가 메모리 내에 저장되기 전에 이미지를 재구성하기 위해 적용될 수도 있을 것이다. 본 개시의 기술들은 재구성된 이미지 이외의 입력들에 필터들의 적용을 포함한다. 추가적으로, 이하 더 자세히 설명되는 바와 같이, 그 다중 입력들에 대한 필터들은 라플라시안 필터 인덱싱에 기초하여 선택될 수 있다.
변환 계수들의 양자화와 유사한 방식으로, 필터 h(k,l) (여기서, k = -K, ..., K, 및 l = -L, ..., L) 의 계수들 또한 양자화될 수도 있다. K 및 L 은 정수 값들을 나타낼 수도 있다. 필터 h(k,l) 의 계수들은:
f(k,l)= round(normFact·h(k,l))
로서 양자화될 수도 있고, 여기서, normFact 는 정규화 (normalization) 팩터이고, round 는 소망된 비트-깊이로 양자화를 달성하기 위해 수행되는 라운딩 연산이다. 필터 계수들의 양자화는, 인코딩 동안 도 3 의 필터 유닛 (349) 에 의해 수행될 수도 있고, 양자화해제 또는 역 양자화는 도 4 의 필터 유닛 (459) 에 의해 디코딩된 필터 계수들에 대해 수행될 수도 있다. 필터 h(k,l) 은 임의의 필터를 일반적으로 나타내도록 의도된다. 예를 들어, 필터 h(k,l) 은 다수의 입력들 중 임의의 하나에 대해 적용될 수 있을 것이다. 몇몇 경우들에서, 비디오 블록과 연관된 다수의 입력들은 상이한 필터들을 이용할 것이고, 이 경우에 h(k,l) 와 유사한 다수의 필터들이 전술한 바와 같이 양자화 및 양자화해제될 수도 있다.
양자화된 필터 계수들은, 인코딩된 비트스트림의 일부로서 인코더 (350) 와 연관된 소스 디바이스로부터 디코더 (460) 와 연관된 목적지 디바이스로 인코딩 및 전송된다. 상기 예에서, normFact 의 값은 다른 값들이 사용될 수도 있을 것이지만 통상적으로 2n 과 동일하다. 더 큰 값의 normFact 는 양자화된 필터 계수들 f(k,l) 이 더 양호한 성능을 제공하도록, 더 많은 정확한 양자화로 이끈다. 하지만, 더 큰 값들의 normFact 는 디코더로 송신하기 위해 더 많은 비트들을 필요로 하는 계수들 f(k,l) 을 생성할 수도 있다.
디코더 (460) 에서, 디코딩된 필터 계수들 f(k,l) 은 적절한 입력에 적용될 수도 있다. 예를 들어, 디코딩된 필터 계수들이 RI 에 적용되어야 하는 경우, 필터 계수들은 다음과 같이 포스트-디블록킹된 재구성된 이미지 RI(i,j) 에 대해 적용될 수도 있고, 여기서, i = 0, ..., M 이고, j = 0, ..., N 이다:
Figure 112013028422118-pct00002
변수들 M, N, K, 및 L 은 정수들을 나타낸다. K 및 L 은 -K 로부터 K 까지 및 -L 로부터 L 까지 2-차원으로 확장하는 픽셀들의 블록을 정의할 수도 있다. 다른 입력들에 적용된 필터들은 유사한 방식으로 적용될 수 있다.
이 개시의 기술들은 포스트-필터 또는 인-루프 필터의 성능을 향상시킬 수도 있고, 또한 필터 계수들 f(k,l) 을 송신하는데 필요한 비트들의 수를 감소시킬 수도 있다. 몇몇 경우들에서, 상이한 포스트-필터들 또는 인-루프 필터들의 수는, 예를 들어, 각각의 프레임, 슬라이스, 프레임의 부분, 프레임들의 그룹 (GOP) 등에 대해, 비디오 블록들의 각각의 시리즈에 대해 디코더로 송신된다. 각각의 필터에 대해, 소정의 필터가 적용되어야 하는 코딩된 유닛들, 매크로블록들 및/또는 픽셀들을 식별하기 위해 추가적인 정보가 포함된다.
프레임들은 프레임 수 및/또는 프레임 타입 (예를 들어, I-프레임들, P-프레임들, 또는 B-프레임들) 에 의해 식별될 수도 있다. I-프레임들은 인트라-예측되는 인트라-프레임들을 지칭한다. P-프레임들은 데이터의 하나의 리스트 (예를 들어 하나의 이전 프레임) 에 기초하여 예측된 비디오 블록들을 갖는 예측 프레임을 지칭한다. B-프레임은 데이터의 2 개의 리스트들 (예를 들어, 이전 및 후속 프레임) 에 기초하여 예측되는 양방향 예측 프레임들을 지칭한다. 매크로블록들은 매크로블록을 재구성하기 위해 매크로블록 타입들 및/또는 양자화 파라미터 (QP) 값들 사용의 범위를 리스팅함으로써 식별될 수 있다.
필터 정보는 또한, 활성도 메트릭으로 불리는 이미지의 로컬 특성의 주어진 측정의 값이 특정 범위 내인 픽셀들만이 특정 필터로 필터링되어야 하는 것을 나타낼 수도 있다. 예를 들어, 픽셀 (i,j) 에 대해, 활성도 메트릭은 다음과 같이 계산된 수정 합 라플라시안 값을 포함할 수도 있다:
Figure 112013028422118-pct00003
여기서, -K 에서 K 까지 및 -L 에서 L 까지 확장하는 2-차원 윈도우에 대해 k 는 -K 에서 K 까지의 합의 값을 나타내고, l 은 -L 에서 L 까지의 합의 값을 나타내며, 여기서, i 및 j 는 픽셀 데이터의 픽셀 좌표들을 나타내고, RI(i,j) 는 좌표들 i 및 j 에서의 소정의 픽셀 값을 나타내며, var(i,j) 는 상기 활성도 메트릭이다. 활성도 메트릭은 pRI(i,j), PI(i,j), 및 EI(i,j) 에 대해 유사하게 발견될 수도 있다. 전술한 바와 같이, 수정 합 라플라시안 값은 활성도 메트릭의 하나의 공통으로 사용된 타입이지만, 이 발명의 기술들은 다른 타입들의 활성도 메트릭들 또는 활성도 메트릭들의 조합들과 함께 이용될 수 있는 것으로 고려된다. 추가적으로, 전술한 바와 같이, 픽셀 단위별로 필터를 선택하기 위해 활성 메트릭을 이용하는 것보다는, 활성 메트릭은 또한, 예를 들어, 픽셀들의 그룹이 2×2 또는 4×4 블록인 경우에 그룹 단위별로 픽셀을 선택하도록 이용될 수도 있다.
임의의 입력에 대해, 필터 계수들 f(k,l) 은 이전 코딩된 유닛들에 대해 송신된 계수들로부터의 예측을 이용하여 코딩될 수도 있다. 코딩된 유닛의 각각의 입력 (예를 들어, 각각의 프레임, 슬라이스 또는 GOP) 에 대해, 인코더는 M 필터들의 셋트를 인코딩 및 송신할 수도 있다:
Figure 112013028422118-pct00004
, 여기서, i=0, ..., M-1.
각각의 필터에 대해, 비트스트림은 필터가 사용되어야 하는 활성도 메트릭 값 var 의 값들의 범위를 식별하도록 인코딩될 수도 있다.
예를 들어, 인코더 (350) 의 필터 유닛 (349) 은 그 필터를 나타낼 수도 있다.
Figure 112013028422118-pct00005
은 활성도 메트릭 값 var 이 인터벌 [0,var 0), 즉, var≥0 및 var< var 0 내인 픽셀들에 대해 사용되어야 한다. 또한, 인코더 (350) 의 필터 유닛 (349) 은 필터
Figure 112013028422118-pct00006
, 여기서, i=1, ..., M-2
가, 활성도 메트릭 값 var 이 인터벌 [var i -1,var i) 내인 픽셀들에 대해 사용되어야 하는 것을 나타낼 수도 있다. 또한, 인코더 (350) 의 필터 유닛 (349) 은 필터
Figure 112013028422118-pct00007
가 활성도 메트릭 var 이 var > var M -2 일 때의 픽셀들에 대해서 사용되어야 하는 것을 나타낼 수도 있다. 전술한 바와 같이, 필터 유닛 (349) 은 모든 입력들에 대해 필터들의 하나의 셋트를 이용할 수도 있고, 또는, 대안적으로, 각각의 입력에 대해 필터들의 고유한 셋트를 사용할 수도 있다.
필터 계수들은 이전 코딩된 유닛에서 사용된 재구성된 필터 계수들을 이용하여 예측될 수 있다. 이전 필터 계수들은,
Figure 112013028422118-pct00008
, 여기서, i=0, ..., N-1
로서 표현될 수도 있다. 이 경우에, 코딩된 유닛 n 의 수는 현재 필터들의 예측을 위해 사용되는 하나 이상의 필터들을 식별하기 위해 이용될 수도 있고, 그 수 n 은 인코딩된 비트스트림의 일부로서 디코더로 전송될 수도 있다. 또한, 예측 코딩이 이용되는 활성도 메트릭 var 의 값들을 식별하기 위해 정보가 인코딩되어 디코더로 송신될 수 있다.
삭제
예를 들어, 현재 코딩된 프레임 m 에 대해, 계수들:
Figure 112013028422118-pct00009
은 활성도 메트릭 값들 [var r -1,var r) 에 대해 송신된다. 프레임 m 의 필터 계수들은 프레임 n 의 필터 계수들로부터 예측된다. 필터
Figure 112013028422118-pct00010
이, 활성 메트릭이 인터벌 [var s-1,var s) 내이고, 여기서 var s-1 == var r-1 및 var s > var r 인 픽셀들에 대해 프레임 n 에서 이용된다고 가정한다. 이 경우, 인터벌 [var r-1,var r) 은 인터벌 [var s-1,var s) 내에 포함된다. 또한, 필터 계수들에 대한 예측은 활성도 값들 [var t,var t+1) 에 대해서가 아닌 활성도 값들 [var t-1,var t) 에 대해 사용되어야 하고, 여기서, var t-1 == var r-1 이고, var t+1 == var r 이라는 것을 나타내는 정보가 디코더로 송신될 수도 있다.
인터벌들 [var r -1,var r), [var s -1,var s), [var t -1,var t), 및 [var t,var t +1) 사이의 일 예시적인 관계가 도 5 에 도시되어 있다. 이 경우, 인터벌 [var t -1,var t) 에서 활성도 메트릭을 갖는 픽셀들을 필터링하는데 이용된 필터 계수들
Figure 112013028422118-pct00011
의 최종 값들은 계수들의 합
Figure 112013028422118-pct00012
및
Figure 112013028422118-pct00013
과 동일하다.
따라서,
Figure 112013028422118-pct00014
이다. 또한, [var t,var t +1) 을 갖는 픽셀들에 대해 이용된 필터 계수들
Figure 112013028422118-pct00015
은 필터 계수들
Figure 112013028422118-pct00016
과 동일하다. 따라서,
Figure 112013028422118-pct00017
이다.
필터 계수들 g(k,l) 의 진폭은 k 및 l 값들에 의존한다. 통상적으로, 가장 큰 진폭을 갖는 계수는 계수 g(0,0) 이다. 큰 진폭들을 갖는 것으로 예상되는 다른 계수들은 k 또는 l 의 값이 0 과 동일한 계수들이다. 이러한 현상은 계수들을 송신하는데 필요한 비트의 양을 더 감소시키는데 이용될 수도 있다. 인덱스 값 k 및 l 은 알려진 필터 서포트 내의 로케이션들을 정의할 수도 있다.
각각의 프레임 m 에 대한 계수들
Figure 112013028422118-pct00018
은 파라미터 p 에 따라 정의된 골롬 (Golomb) 또는 지수-골롬 (exp-Golomb) 코드들과 같은 파라미터화된 가변 길이 코드들을 이용하여 코딩될 수도 있다. 파라미터화된 가변 길이 코드들을 정의하는 파라미터 p 의 값을 변경함으로써, 이들 코드들은 넓은 범위의 소스 분포들을 효율적으로 나타내기 위해 이용될 수 있다. 계수들 g(k,l) 의 분포 (즉, 큰 또는 작은 값들을 가질 그들의 가능성) 는 k 및 l 의 값들에 의존한다. 따라서, 코딩 효율을 증가시키기 위해, 각각의 프레임 m 에 대해, 파라미터 p 의 값은 각 쌍 (k,l) 에 대해 송신된다. 파라미터 p 는 인코딩 계수들
Figure 112013028422118-pct00019
일때 파라미터화된 가변 길이 코딩에 대해 이용될 수 있다.
도 6 은 이 개시의 기술들을 구현하도록 구성된 필터 유닛 (600) 의 예를 나타낸다. 필터 유닛 (600) 의 기능은, 예를 들어, 도 3 의 필터 유닛 (349) 또는 도 4 의 필터 유닛 (459) 내로 통합될 수도 있다. 필터 유닛 (600) 은 복수의 필터 모듈들 (610A-610C) (총칭하여 "필터 모듈들 (610)") 을 포함한다. 각각의 필터 모듈은 하나 이상의 입력들을 수신하도록 구성될 수 있다. 이 특정 예에서, 필터 모듈 (610A) 은 입력 pRI 를 수신하고 pRI' 으로서 도 6 에서 도시된 pRI 의 필터링된 버전을 생성하도록 필터를 적용한다. 필터 모듈 (610B) 은 입력으로서 pRI', PI, 및 EI 를 수신한다. 이들 3 개의 입력들을 이용하여, 필터 모듈 2 (601B) 는 다음과 같이 이하의 3 개의 필터들을 적용함으로써 R' 으로서 도 6 에 도시된 출력을 생성할 수 있다:
Figure 112013028422118-pct00020
필터 모듈 (610C) 은 다음과 같이 2 개의 필터들을 적용함으로써 출력 (R'') 을 생성할 수 있다:
Figure 112013028422118-pct00021
전부 제로의 필터들을 적용함으로써, 상이한 출력들이 달성될 수 있다. 예를 들어, 필터 모듈 (610A) 이 pRI 에 전부 제로의 필터를 적용하고, 필터 모듈 (610B) 은 전부 제로의 필터들을 PI 및 EI 에 적용하는 경우, 필터 모듈 (610B) 의 출력은 유사하게 제로로 될 것이고, 이는 필터 모듈 (610C) 의 출력이 단순히 RI 의 필터링된 버전일 것이라는 것을 의미한다. 또 다른 구현에서, 다양한 입력들에 적용되는 필터들 모두가 라플라시안 필터 인덱싱 등을 통해, 활성 메트릭에 기초하여 필터들의 셋트로부터 선택될 수 있다. 전술한 바와 같이, 필터들에 대한 입력들에 대한 수정 합 라플라시안 값들의 인덱싱은 다수의 방식들로 구현될 수 있다. 예를 들어, 몇몇 구현들에서, 각각의 입력은 필터들의 고유 셋트를 가질 수도 있을 것이고, 한편, 몇몇 경우들에서, 입력들은 필터들의 공통 셋트를 공유한다. 추가적으로, 몇몇 구현들에서, 각각의 입력에 대한 수정 합 라플라시안 값은 각각의 입력에 대해 특정 필터를 식별하기 위해 사용될 수도 있을 것이다. 하지만, 다른 구현들에서, 단일 입력에 대한 수정 합 라플라시안 값은 모든 입력들에 대한 필터들을 식별하기 위해 사용될 수도 있을 것이다. 또 다른 구현들에서, 제 1 입력에 대한 수정 합 라플라시안 값은 제 2 의 상이한 입력에 대해 필터를 식별하기 위해 사용될 수도 있을 것이다.
도 7 은 이 개시와 일치하는 인코딩 기술을 나타내는 흐름도이다. 도 3 에 도시된 바와 같이, 비디오 인코더 (30) 는 비디오 블록들의 시리즈의 픽셀 데이터를 인코딩한다. 비디오 블록들의 시리즈는 프레임, 슬라이스, 픽쳐들의 그룹 (GOP), 비디오 데이터의 전체 시퀀스, 또는 비디오 데이터의 또 다른 디코딩가능한 셋트를 포함할 수도 있다. 픽셀 데이터는 코딩된 유닛들에 배열될 수도 있고, 비디오 인코더 (350) 는 HEVC 표준과 같은 비디오 인코딩 표준에 따라 코딩된 유닛들을 인코딩함으로써 픽셀 데이터를 인코딩할 수도 있다. 프레임 또는 슬라이스에 대해, FSU (353) 는 그 프레임 또는 슬라이스에 대해 사용될 필터들의 셋트를 식별할 수 있다 (710). FSU (353) 는 모든 입력들에 대해 필터들의 하나의 셋트를 식별할 수도 있고, 각각의 입력에 대해 필터들의 셋트를 식별할 수도 있다. 필터들의 셋트들 내에 포함된 필터들의 최대 수 (maximun number) 및 필터들의 셋트들 내의 필터들의 형상은 재구성된 비디오 품질, 압축 레이트, 데이터 전송 레이트, 또는 다른 메트릭들의 몇몇 조합에 기초하여 FSU (353) 에 의해 결정될 수도 있다.
비디오 인코딩 프로세스의 일부로서, 예측 유닛 (332) 은 예측 기반 코딩을 수행하고, 특정 코딩된 유닛에 대해 쿼드트리 기반 파티셔닝 방식을 결정한다 (720). 또한, 비디오 인코딩 프로세스의 일부로서, 비디오 인코더 (350) 의 필터 유닛 (349) 은, 프레임, 슬라이스, 또는 LCU 의 특정 코딩된 유닛의 서브-코딩된 유닛들에 대해 사용될 필터들의 셋트로부터 하나 이상의 필터들을 라플라시안 필터 인덱싱에 기초하여 선택한다 (730). 하나 이상의 필터들이 전술한 바와 같이 하나 이상의 입력들에 적용될 수도 있다. 이 필터링은 일반적으로 디코딩된 이미지를 원래 이미지와 보다 유사하게 만듦으로써 비디오 코딩을 향상시키는데 이용될 수도 있다. 필터 유닛 (349) 은 인-루프인 것으로서 도시되고, 이는 필터링된 데이터가 나중의 비디오 블록들의 예측 인코딩에 대해 이용되는 것을 의미한다. 하지만, 필터 유닛 (349) 은 필터링되지 않은 데이터가 나중의 비디오 블록들의 예측 인코딩을 위해 이용될 경우에 포스트-루프 필터링을 대안적으로 적용할 수 있을 것이다.
비디오 인코더 (350) 는 필터 디스크립션 신택스를 갖는 인코딩된 필터 데이터 및 인코딩된 픽셀 데이터를 포함하는, 코딩된 유닛에 대한 인코딩된 비트스트림을 출력한다 (740). 인코딩된 필터 데이터는 사용될 필터들의 셋트를 식별하기 위한 정보를 시그널링하는 것을 포함할 수도 있고, 어떻게 필터들이 인코딩되었고 상이한 필터들이 적용되어야 하는 활성도 메트릭의 범위들을 식별하는 정보를 시그널링하는 것을 포함할 수도 있다. 인코딩된 픽셀 데이터는 다른 타입들의 데이터 중에서 특정 코딩된 유닛에 대한 세그멘테이션 맵을 포함할 수도 있다.
도 8 은 이 개시와 일치하는 디코딩 기술을 나타내는 흐름도이다. 도 8 에 도시된 바와 같이, 비디오 디코더 (460) 는 필터 디스크립션 신택스를 갖는 인코딩된 필터 데이터 및 인코딩된 비디오 데이터를 포함하는 인코딩된 비트스트림을 수신한다 (810). 필터 디스크립션 신택스에 기초하여, 비디오 디코더 (460) 는, 언제 필터들의 셋트로부터의 특정 필터를 적용할 지를 결정하기 위해 활성도 메트릭에 대한 범위들 및 필터들의 하나 이상의 셋트들을 재구성하기 위해 필터 데이터를 디코딩한다 (820). 전술한 바와 같이, 필터 데이터는, 필터들의 셋트에서의 필터들의 형상 및/또는 필터들의 셋트 내에 포함된 필터들의 최대 수를 시그널링하는 필터 디스크립션 신택스를 포함할 수도 있다. 도 4 와 관련하여 전술한 바와 같이, 재구성 프로세스는 필터 유닛 (459) 을 위한 복수의 입력들 (즉, RI, pRI, PI, 및 EI) 을 생성할 수 있다. 비디오 디코더 (460) 는 픽셀 데이터의 블록들을 생성하기 위해 비디오 데이터를 디코딩한다 (830). 픽셀 데이터는 데이터의 다른 타입들 중에서 세그멘테이션 맵을 포함할 수도 있다. 특히, 비디오 디코더 (460) 는 새롭게 출현하는 HEVC 표준 또는 유사 블록 기반 비디오 코딩 표준과 같은 비디오 표준과 일치하는 블록 기반 비디오 재구성을 수행함으로써 픽셀 데이터를 생성할 수도 있다.
코딩된 유닛에 대한 세그멘테이션 맵에 기초하여, 비디오 디코더 (460) 는 코딩된 유닛의 서브-코딩된 유닛이 필터 유닛 (459) 에 의해 필터링되어야 하는지를 결정할 수 있다. 서브-코딩된 유닛이 필터링되어야 하는 경우, 필터 유닛 (459) 은 서브-코딩된 유닛에 대해 하나 이상의 수정 합 라플라시안 값을 결정할 수 있고, 라플라시안 필터 인덱싱에 기초하여, 필터 유닛 (459) 은 서브-코딩된 유닛의 하나 이상의 입력들과 함께 이용될 하나 이상의 필터들을 식별할 수 있다 (840).
전술한 개시는 상세들을 전달하기 위해 어느 정도 단순화되었다. 예를 들어, 본 개시는 일반적으로 프레임 단위 또는 슬라이스 단위로 송신되는 필터들의 셋트들을 설명하지만, 필터들의 셋트들은 또한 시퀀스 단위, 픽쳐의 그룹 단위, 슬라이스들의 그룹 단위, CU 단위, LCU 단위, 또는 다른 이러한 단위로 송신될 수도 있다. 일반적으로, 필터들은 하나 이상의 코딩된 유닛들의 임의의 그룹핑을 위해 송신될 수도 있다. 또한, 구현에서, 코딩된 유닛 당 입력 당 수많은 필터들, 필터 당 수많은 계수들, 및 상이한 범위의 분산에 대해 정의되는 필터들의 각각을 갖는 수많은 상이한 레벨들의 분산이 존재할 수도 있다. 예를 들어, 몇몇 경우들에서, 코딩된 유닛의 각 입력에 대해 정의된 16 이상의 필터들 및 각 필터에 대응하는 분산의 16 개의 상이한 범위들이 존재할 수도 있다. 추가적으로, 이 개시가 필터 정보를 송신하는 것을 설명할 때, 모든 필터 정보가 동일한 코딩 레벨로 송신되는 것으로 가정되어서는 아니된다. 예를 들어, 몇몇 구현들에서, 필터 디스크립션 신택스와 같은 몇몇 필터 정보는 프레임 단위별로 또는 슬라이스 단위별로 송신될 수도 있는 한편, 필터 계수들과 같은 다른 필터 정보는 LCU 단위별로 송신된다. 시퀀스 레벨, GOP 레벨, 또는 다른 레벨들과 같은 코딩 계층의 다른 레벨들에서의 신택스가 또한 이러한 필터 정보의 일부 또는 전부를 반송하기 위해 정의될 수도 있을 것이다.
각각의 입력에 대한 필터들의 각각은 많은 계수들을 포함할 수도 있다. 일 예에서, 필터들은 2-차원으로 연장되는 필터 서포트에 대해 정의된 81 개의 상이한 계수들을 갖는 2-차원 필터들을 포함한다. 하지만, 각각의 필터에 대해 송신되는 필터 계수들의 수는 몇몇 경우들에서 81 보다 더 적을 수도 있다. 계수 대칭성은, 예를 들어, 하나의 차원 또는 사분면 내의 필터 계수들이 다른 차원들 또는 사분면들에서의 계수들에 대해 반전된 또는 대칭 값들에 대응할 수도 있도록, 부과될 수도 있다. 계수 대칭성은 81 개의 상이한 계수들이 더 적은 계수들에 의해 표현되도록 허용할 수도 있고, 이 경우에 인코더 및 디코더는 계수들의 반전된 미러링된 값들이 다른 계수들을 정의하는 것을 가정할 수도 있다. 예를 들어, 계수들 (5, -2, 10, 10, -2, 5) 는 계수들 (5, -2, 10) 의 서브셋트로서 인코딩 및 송신될 수도 있다. 이 경우에, 디코더는 이들 3 개의 계수들이 더 큰 대칭 셋트의 계수들 (5, -2, 10, 10, -2, 5) 를 정의한다는 것을 알 수도 있다.
이 개시의 기술들은 무선 핸드셋, 및 집적 회로 (IC) 또는 IC 들의 셋트 (즉, 칩 셋트) 를 포함하는, 넓게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 기능적 양태들을 강조하기 위해 제공된 임의의 컴포넌트들, 모듈들 또는 유닛들이 설명되었고, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다.
따라서, 본원에 설명된 기술들은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 하드웨어로 구현되는 경우, 모듈들, 유닛들, 또는 컴포넌트들로서 설명된 임의의 특징들이 통합된 로직 디바이스에서 함께 또는 이산적이지만 상호공동동작가능한 로직 디바이스들로서 개별적으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 본 기술들은, 적어도 부분적으로, 프로세서에서 실행될 때 전술한 방법들 중 하나 이상을 수행하는 명령들을 포함하는 컴퓨터-판독가능 매체에 의해, 실현될 수도 있다. 컴퓨터-판독가능 매체는 컴퓨터-판독가능 저장 매체를 포함할 수도 있고, 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터-판독가능 저장 매체는, 동기 동적 랜덤 액세스 메모리 (SDRAM) 과 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로그래머블 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장 매체 등을 포함할 수도 있다. 본 기술들은 추가적으로 또는 대안적으로, 적어도 부분적으로, 명령들 또는 데이터 구조들의 형태로 코드들을 반송 또는 전달하고 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터-판독가능 통신 매체에 의해, 실현될 수도 있다.
코드는 하나 이상의 디지털 신호 처리기 (DSP), 범용 마이크로프로세서, 애플리케이션 특정 집적 회로 (ASIC), 필드 프로그래머블 로직 어레이 (FPGA), 또는 다른 등가적 통합 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 본원에서 사용된 바와 같은 "프로세서" 라는 용어는 전술한 구조의 임의의 것 또는 본원에서 설명된 기술들의 구현에 적합한 임의의 다른 구조를 지칭할 수도 있다. 또한, 몇몇 양태들에서, 본원에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되거나 결합된 비디오 코덱에 통합된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에 제공될 수도 있다. 또한, 본 기술들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 충분히 구현될 수 있을 것이다.

Claims (55)

  1. 인코딩된 비디오 데이터를 디코딩하는 방법으로서,
    비디오 디코더에서, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 상기 인코딩된 비디오 데이터에서 수신하는 단계;
    비디오 디코더에서, 상기 필터들의 셋트의 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 상기 인코딩된 비디오 데이터에서 수신하는 단계로서, 상기 필터들의 셋트의 필터들의 갯수는 상기 필터들의 최대 수보다 적은, 상기 제 2 필터 디스크립션 신택스를 상기 인코딩된 비디오 데이터에서 수신하는 단계;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트를 재구성하는 단계;
    상기 제 1 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트에서의 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 결정하는 단계;
    상기 필터들의 셋트에서의 상기 필터들에 대한 상기 활성도 메트릭의 범위들의 상기 맵핑에 기초하여 상기 필터들의 셋트에서 필터를 선택하는 단계; 및
    상기 필터를 적용하는 단계를 포함하는, 인코딩된 비디오 데이터를 디코딩하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 필터 디스크립션 신택스에 기초하여 필터들을 저장하는 것에 메모리의 일부분을 할당하는 단계를 더 포함하는, 인코딩된 비디오 데이터를 디코딩하는 방법.
  3. 제 1 항에 있어서,
    상기 비디오 디코더는 다중 필터들을 이용하여 쿼드트리 기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 인코딩된 비디오 데이터를 디코딩하는 방법.
  4. 제 1 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 인코딩된 비디오 데이터를 디코딩하는 방법.
  5. 제 1 항에 있어서,
    상기 필터들의 셋트에서의 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 수신하는 단계를 더 포함하고,
    상기 필터들의 셋트를 재구성하는 단계는 상기 제 3 필터 디스크립션 신택스에 더 기초하는, 인코딩된 비디오 데이터를 디코딩하는 방법.
  6. 제 1 항에 있어서,
    상기 활성도 메트릭은 수정 합 라플라시안 값 (sum-modified Laplacian value) 을 포함하는, 인코딩된 비디오 데이터를 디코딩하는 방법.
  7. 제 6 항에 있어서,
    상기 수정 합 라플라시안 값은,
    Figure 112014109314579-pct00041

    식에 따라 근사적으로 정의된 var(i,j) 를 포함하고,
    여기서, -K 에서 K 까지 및 -L 에서 L 까지 확장하는 2-차원 윈도우에 대해 k 는 -K 에서 K 까지의 합의 값을 나타내고, l 은 -L 에서 L 까지의 합의 값을 나타내며, 여기서, i 및 j 는 픽셀 좌표들을 나타내고, R(i,j) 는 좌표들 i 및 j 에서의 소정의 픽셀 값을 나타내며, var(i,j) 는 상기 활성도 메트릭인, 인코딩된 비디오 데이터를 디코딩하는 방법.
  8. 제 1 항에 있어서,
    상기 비디오 디코더는 비디오 인코더의 컴포넌트로서 구현되는, 인코딩된 비디오 데이터를 디코딩하는 방법.
  9. 필터들의 셋트 내에 포함될 필터들의 최대 수를 결정하는 단계;
    필터들의 셋트 내에 포함된 필터들의 갯수를 결정하는 단계;
    상기 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 생성하는 단계;
    상기 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 수신하는 단계로서, 상기 필터들의 갯수는 상기 필터들의 최대 수보다 적은, 상기 제 2 필터 디스크립션 신택스를 수신하는 단계;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스를 비트스트림에서 시그널링하는 단계;
    상기 필터들의 셋트를 상기 비트스트림에서 시그널링하는 단계; 및
    상기 필터들의 셋트에서의 상기 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 재구성하기 위한 정보를 상기 비트스트림에서 시그널링하는 단계를 포함하는, 비디오 인코딩 방법.
  10. 제 9 항에 있어서,
    비디오 인코더는 다수의 필터들을 이용하여 쿼드트리-기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 비디오 인코딩 방법.
  11. 제 9 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 비디오 인코딩 방법.
  12. 제 9 항에 있어서,
    상기 필터들의 셋트에 대해 사용될 필터들의 형상을 결정하는 단계;
    상기 필터들의 셋트에서의 상기 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 생성하는 단계; 및
    상기 제 3 필터 디스크립션 신택스를 상기 비트스트림에서 시그널링하는 단계를 더 포함하는, 비디오 인코딩 방법.
  13. 비디오 디코딩 디바이스로서,
    필터 유닛; 및
    상기 필터 유닛의 필터링된 결과를 저장하도록 구성된 메모리를 포함하고,
    상기 필터 유닛은,
    인코딩된 비디오 데이터를 수신하고;
    필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 상기 인코딩된 비디오 데이터에서 수신하고;
    상기 필터들의 셋트의 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 상기 인코딩된 비디오 데이터에서 수신하되, 상기 필터들의 셋트의 필터들의 갯수는 상기 필터들의 최대 수보다 적고;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트를 재구성하고;
    상기 제 1 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트에서의 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 결정하고;
    상기 필터들의 셋트에서의 상기 필터들에 대한 상기 활성도 메트릭의 범위들의 상기 맵핑에 기초하여 상기 필터들의 셋트에서 필터를 선택하며;
    상기 필터를 적용하도록 구성되는, 비디오 디코딩 디바이스.
  14. 제 13 항에 있어서,
    상기 필터 유닛은 상기 제 1 필터 디스크립션 신택스에 기초하여 필터들을 저장하는 것에 메모리의 일부분을 할당하도록 더 구성되는, 비디오 디코딩 디바이스.
  15. 제 13 항에 있어서,
    상기 비디오 디코딩 디바이스는 다중 입력들을 이용하여 쿼드트리-기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 비디오 디코딩 디바이스.
  16. 제 13 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 비디오 디코딩 디바이스.
  17. 제 13 항에 있어서,
    상기 필터 유닛은,
    상기 필터들의 셋트에서의 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 수신하고;
    상기 제 3 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트를 재구성하도록 더 구성되는, 비디오 디코딩 디바이스.
  18. 제 13 항에 있어서,
    상기 활성도 메트릭은 수정 합 라플라시안 값 (sum-modified Laplacian value) 을 포함하는, 비디오 디코딩 디바이스.
  19. 제 18 항에 있어서,
    상기 수정 합 라플라시안 값은,
    Figure 112014040038318-pct00042

    식에 따라 근사적으로 정의된 var(i,j) 를 포함하고,
    여기서, -K 에서 K 까지 및 -L 에서 L 까지 확장하는 2-차원 윈도우에 대해 k 는 -K 에서 K 까지의 합의 값을 나타내고, l 은 -L 에서 L 까지의 합의 값을 나타내며, 여기서, i 및 j 는 픽셀 좌표들을 나타내고, R(i,j) 는 좌표들 i 및 j 에서의 소정의 픽셀 값을 나타내며, var(i,j) 는 상기 활성도 메트릭인, 비디오 디코딩 디바이스.
  20. 비디오 인코딩 디바이스로서,
    필터들의 셋트 내에 포함될 필터들의 최대 수를 결정하고;
    필터들의 셋트 내에 포함된 필터들의 갯수를 결정하고;
    상기 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 생성하며;
    상기 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 생성하되, 상기 필터들의 갯수는 상기 필터들의 최대 수보다 적고;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스를 비트스트림에서 시그널링하고;
    상기 필터들의 셋트를 상기 비트스트림에서 시그널링하고;
    상기 필터들의 셋트에서의 상기 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 재구성하기 위한 정보를 상기 비트스트림에서 시그널링하도록 구성되는 비디오 인코더를 포함하는, 비디오 인코딩 디바이스.
  21. 제 20 항에 있어서,
    상기 비디오 인코더는 다중 입력들을 이용하여 쿼드트리 기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 비디오 인코딩 디바이스.
  22. 제 20 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 비디오 인코딩 디바이스.
  23. 제 20 항에 있어서,
    상기 비디오 인코더는,
    상기 필터들의 셋트에 대해 사용될 필터들의 형상을 결정하고;
    상기 필터들의 셋트에서의 상기 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 생성하며; 그리고
    상기 제 3 필터 디스크립션 신택스를 상기 비트스트림에서 시그널링하도록 더 구성되는, 비디오 인코딩 디바이스.
  24. 인코딩된 비디오 데이터를 디코딩하는 장치로서,
    비디오 디코더에서, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 상기 인코딩된 비디오 데이터에서 수신하는 수단;
    비디오 디코더에서, 상기 필터들의 셋트의 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 상기 인코딩된 비디오 데이터에서 수신하는 수단으로서, 상기 필터들의 셋트의 필터들의 갯수는 상기 필터들의 최대 수보다 적은, 상기 제 2 필터 디스크립션 신택스를 상기 인코딩된 비디오 데이터에서 수신하는 수단;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트를 재구성하는 수단;
    상기 제 1 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트에서의 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 결정하는 수단;
    상기 필터들의 셋트에서의 상기 필터들에 대한 상기 활성도 메트릭의 범위들의 상기 맵핑에 기초하여 상기 필터들의 셋트에서 필터를 선택하는 수단; 및
    상기 필터를 적용하는 수단을 포함하는, 인코딩된 비디오 데이터를 디코딩하는 장치.
  25. 제 24 항에 있어서,
    상기 제 1 필터 디스크립션 신택스에 기초하여 필터들을 저장하는 것에 메모리의 일부분을 할당하는 수단을 더 포함하는, 인코딩된 비디오 데이터를 디코딩하는 장치.
  26. 제 24 항에 있어서,
    상기 장치는 다중 필터들을 이용하여 쿼드트리 기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 인코딩된 비디오 데이터를 디코딩하는 장치.
  27. 제 24 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 인코딩된 비디오 데이터를 디코딩하는 장치.
  28. 제 24 항에 있어서,
    상기 필터들의 셋트에서의 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 수신하는 수단을 더 포함하고,
    상기 필터들의 셋트를 재구성하는 것은 상기 제 3 필터 디스크립션 신택스에 더 기초하는, 인코딩된 비디오 데이터를 디코딩하는 장치.
  29. 제 24 항에 있어서,
    상기 활성도 메트릭은 수정 합 라플라시안 값 (sum-modified Laplacian value) 을 포함하는, 인코딩된 비디오 데이터를 디코딩하는 장치.
  30. 제 29 항에 있어서,
    상기 수정 합 라플라시안 값은,
    Figure 112014109314579-pct00043

    식에 따라 근사적으로 정의된 var(i,j) 를 포함하고,
    여기서, -K 에서 K 까지 및 -L 에서 L 까지 확장하는 2-차원 윈도우에 대해 k 는 -K 에서 K 까지의 합의 값을 나타내고, l 은 -L 에서 L 까지의 합의 값을 나타내며, 여기서, i 및 j 는 픽셀 좌표들을 나타내고, R(i,j) 는 좌표들 i 및 j 에서의 소정의 픽셀 값을 나타내며, var(i,j) 는 상기 활성도 메트릭인, 인코딩된 비디오 데이터를 디코딩하는 장치.
  31. 제 24 항에 있어서,
    상기 장치는 비디오 인코딩 디바이스를 포함하는, 인코딩된 비디오 데이터를 디코딩하는 장치.
  32. 필터들의 셋트 내에 포함될 필터들의 최대 수를 결정하는 수단;
    필터들의 셋트 내에 포함된 필터들의 갯수를 결정하는 수단;
    상기 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 생성하는 수단;
    상기 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 수신하는 수단으로서, 상기 필터들의 갯수는 상기 필터들의 최대 수보다 적은, 상기 제 2 필터 디스크립션 신택스를 수신하는 수단;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스를 비트스트림에서 시그널링하는 수단;
    상기 필터들의 셋트를 상기 비트스트림에서 시그널링하는 수단; 및
    상기 필터들의 셋트에서의 상기 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 재구성하기 위한 정보를 상기 비트스트림에서 시그널링하는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
  33. 제 32 항에 있어서,
    상기 장치는 다수의 필터들을 이용하여 쿼드트리-기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 비디오 데이터를 인코딩하는 장치.
  34. 제 32 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 비디오 데이터를 인코딩하는 장치.
  35. 제 32 항에 있어서,
    상기 필터들의 셋트에 대해 사용될 필터들의 형상을 결정하는 수단;
    상기 필터들의 셋트에서의 상기 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 생성하는 수단; 및
    상기 제 3 필터 디스크립션 신택스를 상기 비트스트림에서 시그널링하는 수단을 더 포함하는, 비디오 데이터를 인코딩하는 장치.
  36. 명령들을 저장한 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은 실행될 때 비디오 데이터를 디코딩하는 디바이스의 하나 이상의 프로세서들로 하여금,
    인코딩된 비디오 데이터를 수신하게 하고;
    비디오 디코더에서, 필터들의 셋트 내에 포함될 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 상기 인코딩된 비디오 데이터에서 수신하게 하고;
    상기 비디오 디코더에서, 상기 필터들의 셋트의 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 상기 인코딩된 비디오 데이터에서 수신하게 하되, 상기 필터들의 셋트의 필터들의 갯수는 상기 필터들의 최대 수보다 적고;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트를 재구성하게 하며;
    상기 제 1 필터 디스크립션 신택스에 기초하여 상기 필터들의 셋트에서의 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 결정하게 하고;
    상기 필터들의 셋트에서의 상기 필터들에 대한 상기 활성도 메트릭의 범위들의 상기 맵핑에 기초하여 상기 필터들의 셋트에서 필터를 선택하게 하며;
    상기 필터를 적용하게 하는, 컴퓨터-판독가능 저장 매체.
  37. 제 36 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금, 상기 제 1 필터 디스크립션 신택스에 기초하여 필터들을 저장하는 것에 메모리의 일부분을 할당하게 하는 명령들을 더 저장한, 컴퓨터-판독가능 저장 매체.
  38. 제 36 항에 있어서,
    상기 비디오 데이터를 디코딩하는 디바이스는 다중 필터들을 이용하여 쿼드트리-기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 컴퓨터-판독가능 저장 매체.
  39. 제 36 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 컴퓨터-판독가능 저장 매체.
  40. 제 36 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금,
    상기 필터들의 셋트에서의 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 수신하게 하는 명령들을 더 저장하고,
    상기 필터들의 셋트를 재구성하는 것은 상기 제 3 필터 디스크립션 신택스에 더 기초하는, 컴퓨터-판독가능 저장 매체.
  41. 제 36 항에 있어서,
    상기 활성도 메트릭은 수정 합 라플라시안 값 (sum-modified Laplacian value) 을 포함하는, 컴퓨터-판독가능 저장 매체.
  42. 제 41 항에 있어서,
    상기 수정 합 라플라시안 값은,
    Figure 112014040038318-pct00044

    식에 따라 근사적으로 정의된 var(i,j) 를 포함하고,
    여기서, -K 에서 K 까지 및 -L 에서 L 까지 확장하는 2-차원 윈도우에 대해 k 는 -K 에서 K 까지의 합의 값을 나타내고, l 은 -L 에서 L 까지의 합의 값을 나타내며, 여기서, i 및 j 는 픽셀 좌표들을 나타내고, R(i,j) 는 좌표들 i 및 j 에서의 소정의 픽셀 값을 나타내며, var(i,j) 는 상기 활성도 메트릭인, 컴퓨터-판독가능 저장 매체.
  43. 제 36 항에 있어서,
    상기 비디오 데이터를 디코딩하는 디바이스는 비디오 인코더의 컴포넌트로서 구현되는, 컴퓨터-판독가능 저장 매체.
  44. 명령들을 저장한 컴퓨터-판독가능 저장 매체로서,
    상기 명령들은 실행될 때 비디오 데이터를 인코딩하는 디바이스의 하나 이상의 프로세서들로 하여금,
    필터들의 셋트 내에 포함될 필터들의 최대 수를 결정하게 하고;
    필터들의 셋트 내에 포함된 필터들의 갯수를 결정하게 하고;
    상기 필터들의 최대 수를 식별하는 제 1 필터 디스크립션 신택스 (filter description syntax) 를 생성하게 하며;
    상기 필터들의 갯수를 식별하는 제 2 필터 디스크립션 신택스를 생성하게 하되, 상기 필터들의 갯수는 상기 필터들의 최대 수보다 적고;
    상기 제 1 필터 디스크립션 신택스 및 상기 제 2 필터 디스크립션 신택스를 비트스트림에서 시그널링하게 하고;
    상기 필터들의 셋트를 상기 비트스트림에서 시그널링하게 하며;
    상기 필터들의 셋트에서의 상기 필터들에 대한 활성도 메트릭의 범위들의 맵핑을 재구성하기 위한 정보를 상기 비트스트림에서 시그널링하게 하는, 컴퓨터-판독가능 저장 매체.
  45. 제 44 항에 있어서,
    상기 비디오 데이터를 인코딩하는 디바이스는 다중 필터들을 이용하여 쿼드트리 기반 적응형 루프 필터 (Quadtree-based Adaptive Loop Filter; QALF) 방식을 구현하는, 컴퓨터-판독가능 저장 매체.
  46. 제 44 항에 있어서,
    상기 제 1 필터 디스크립션 신택스는 비디오 블록들의 시리즈의 헤더의 일부인, 컴퓨터-판독가능 저장 매체.
  47. 제 44 항에 있어서,
    상기 하나 이상의 프로세서들로 하여금,
    상기 필터들의 셋트에 대해 사용될 필터들의 형상을 결정하게 하고;
    상기 필터들의 셋트에서의 상기 필터들의 형상을 식별하는 제 3 필터 디스크립션 신택스를 생성하게 하며,
    상기 제 3 필터 디스크립션 신택스를 상기 비트스트림에서 시그널링하게 하는 명령들을 더 저장하는, 컴퓨터-판독가능 저장 매체.
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
KR1020137008392A 2010-09-01 2011-08-30 다중-필터 적응형 필터링을 위한 필터 디스크립션 시그널링 KR101529800B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US37925310P 2010-09-01 2010-09-01
US61/379,253 2010-09-01
US39285310P 2010-10-13 2010-10-13
US61/392,853 2010-10-13
US201161487231P 2011-05-17 2011-05-17
US61/487,231 2011-05-17
US13/178,415 2011-07-07
US13/178,415 US9819966B2 (en) 2010-09-01 2011-07-07 Filter description signaling for multi-filter adaptive filtering
PCT/US2011/049641 WO2012030760A1 (en) 2010-09-01 2011-08-30 Filter description signaling for multi-filter adaptive filtering

Publications (2)

Publication Number Publication Date
KR20130070636A KR20130070636A (ko) 2013-06-27
KR101529800B1 true KR101529800B1 (ko) 2015-06-17

Family

ID=45697243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137008392A KR101529800B1 (ko) 2010-09-01 2011-08-30 다중-필터 적응형 필터링을 위한 필터 디스크립션 시그널링

Country Status (6)

Country Link
US (1) US9819966B2 (ko)
EP (1) EP2612498A1 (ko)
JP (1) JP5602948B2 (ko)
KR (1) KR101529800B1 (ko)
CN (1) CN103081467B (ko)
WO (1) WO2012030760A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
US20120195367A1 (en) * 2011-01-14 2012-08-02 Ebrisk Video Inc. Adaptive loop filtering using tables of filter sets for video coding
KR101215152B1 (ko) 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치
CA3116207C (en) * 2011-06-24 2023-08-01 Lg Electronics Inc. Image information encoding and decoding method
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
CN107257490B (zh) 2012-01-27 2019-12-17 太阳专利托管公司 图像编码方法及图像编码装置
TWI463468B (zh) * 2012-03-03 2014-12-01 Mstar Semiconductor Inc 影像處理裝置及影像處理方法
US11240515B2 (en) * 2012-09-10 2022-02-01 Apple Inc. Video display preference filtering
EP2920962A4 (en) 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
KR102161741B1 (ko) * 2013-05-02 2020-10-06 삼성전자주식회사 ＨＥＶＣ(high efficiency video coding)에서 코딩 유닛에 대한 양자화 파라미터를 변화시키는 방법과 장치, 및 시스템
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
KR102192991B1 (ko) 2014-04-23 2020-12-18 삼성전자주식회사 가변적인 디지털 필터를 포함하는 아날로그-디지털 컨버터 및 이를 포함하는 이미지 센서
US10102613B2 (en) * 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
US10600156B2 (en) 2015-06-18 2020-03-24 Lg Electronics Inc. Image properties-based adaptive filtering method and device in image coding system
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
WO2017086823A1 (en) * 2015-11-17 2017-05-26 Huawei Technologies Co., Ltd. Method and apparatus of adaptive filtering of samples for video coding
US9883183B2 (en) * 2015-11-23 2018-01-30 Qualcomm Incorporated Determining neighborhood video attribute values for video data
US10419755B2 (en) * 2016-05-16 2019-09-17 Qualcomm Incorporated Confusion of multiple filters in adaptive loop filtering in video coding
US20180041778A1 (en) * 2016-08-02 2018-02-08 Qualcomm Incorporated Geometry transformation-based adaptive loop filtering
KR20180080115A (ko) * 2017-01-02 2018-07-11 한양대학교 산학협력단 참조 화소에 대하여 적응적 필터링을 수행하기 위한 화면 내 예측 방법 및 장치
US10728548B2 (en) 2017-04-04 2020-07-28 Futurewei Technologies, Inc. Processing reference samples used for intra-prediction of a picture block
US20180343449A1 (en) * 2017-05-26 2018-11-29 Ati Technologies Ulc Application specific filters for high-quality video playback
KR102658361B1 (ko) * 2018-01-08 2024-04-17 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
GB2572595B (en) * 2018-04-04 2023-03-22 British Broadcasting Corp Video encoding and decoding
US11451773B2 (en) 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
US11051017B2 (en) 2018-12-20 2021-06-29 Qualcomm Incorporated Adaptive loop filter (ALF) index signaling
CN109862374A (zh) * 2019-01-07 2019-06-07 北京大学 一种自适应环路滤波方法及装置
WO2020244569A1 (en) 2019-06-04 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Conditional implementation of motion candidate list construction process
BR112021023918A2 (pt) 2019-06-04 2022-01-18 Beijing Bytedance Network Tech Co Ltd Construção da lista de candidatos a movimento usando informações do bloco vizinho
KR20220036948A (ko) * 2019-07-05 2022-03-23 브이-노바 인터내셔널 리미티드 비디오 코딩에서 잔차의 양자화
CN114128295B (zh) 2019-07-14 2024-04-12 北京字节跳动网络技术有限公司 视频编解码中几何分割模式候选列表的构建
CN114424529A (zh) 2019-09-18 2022-04-29 北京字节跳动网络技术有限公司 视频编解码中自适应环路滤波器的两部分信令
CN114450959A (zh) 2019-09-28 2022-05-06 北京字节跳动网络技术有限公司 视频编解码中的几何分割模式
CN112544081B (zh) * 2019-12-31 2023-12-22 北京大学 环路滤波的方法与装置
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
WO2023051561A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, apparatus, and medium for video processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US20100177822A1 (en) * 2009-01-15 2010-07-15 Marta Karczewicz Filter prediction based on activity metrics in video coding

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI103003B1 (fi) 1997-06-13 1999-03-31 Nokia Mobile Phones Ltd Suodatusmenetelmä, suodatin ja matkaviestinpääte
RU2154918C1 (ru) 1998-08-01 2000-08-20 Самсунг Электроникс Ко., Лтд. Способ и устройство для цикл-фильтрации данных изображения
US6847684B1 (en) 2000-06-01 2005-01-25 Hewlett-Packard Development Company, L.P. Zero-block encoding
US20020172431A1 (en) 2001-03-07 2002-11-21 Atkins C. Brian Digital image appearance enhancement and compressibility improvement method and system
WO2004008773A1 (ja) 2002-07-11 2004-01-22 Matsushita Electric Industrial Co., Ltd. フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7366238B2 (en) 2004-05-07 2008-04-29 Micronas Usa, Inc. Noise filter for video processing
KR100647295B1 (ko) 2004-11-10 2006-11-23 삼성전자주식회사 비디오 디코더에서의 인접 정보 처리 장치 및 방법과 그방법을 수행하기 위한 프로그램이 저장된 기록 매체
US7680355B2 (en) 2005-05-02 2010-03-16 Intel Corporation Detection of artifacts resulting from image signal decompression
FR2889778A1 (fr) * 2005-08-12 2007-02-16 Thomson Licensing Sas Procede de codage et de decodage d'images video avec echelonnabilite spatiale
EP1841230A1 (en) 2006-03-27 2007-10-03 Matsushita Electric Industrial Co., Ltd. Adaptive wiener filter for video coding
US20080084932A1 (en) 2006-10-06 2008-04-10 Microsoft Corporation Controlling loop filtering for interlaced video frames
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
BRPI0717936B1 (pt) 2006-11-08 2020-09-29 Interdigital Vc Holdings, Inc. Método e aparelhos para a filtragem de remoção de artefato em laço
US8942505B2 (en) 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
US8107571B2 (en) 2007-03-20 2012-01-31 Microsoft Corporation Parameterized filters and signaling techniques
DE102007037857A1 (de) 2007-08-10 2009-02-12 Micronas Gmbh Verfahren zur Reduktion von Bildartefakten
BRPI0907242A2 (pt) 2008-01-07 2015-07-14 Thomson Licensing Métodos e aparelho para codificação e decodificação utilizando-se filtragem paramétrica
US8638852B2 (en) 2008-01-08 2014-01-28 Qualcomm Incorporated Video coding of filter coefficients based on horizontal and vertical symmetry
US8831086B2 (en) * 2008-04-10 2014-09-09 Qualcomm Incorporated Prediction techniques for interpolation in video coding
EP2141927A1 (en) 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US8736751B2 (en) 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US8150191B2 (en) 2008-10-14 2012-04-03 Interra Systems Inc. Method and system for calculating blur artifacts in videos using user perception threshold
US8792564B2 (en) 2008-10-28 2014-07-29 Sony Corporation Adaptive preprocessing method using feature-extracted video maps
US8774541B2 (en) 2008-11-05 2014-07-08 Sony Corporation Intra prediction with adaptive interpolation filtering for image compression
US8761538B2 (en) 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
US8611435B2 (en) 2008-12-22 2013-12-17 Qualcomm, Incorporated Combined scheme for interpolation filtering, in-loop filtering and post-loop filtering in video coding
US8761268B2 (en) 2009-04-06 2014-06-24 Intel Corporation Selective local adaptive wiener filter for video coding and decoding
KR20110001990A (ko) 2009-06-30 2011-01-06 삼성전자주식회사 영상 데이터의 인 루프 필터링 장치 및 방법과 이를 이용한 영상 부호화/복호화 장치
JP5233897B2 (ja) 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
EP2559238B1 (en) * 2010-04-13 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Adaptive image filtering method and apparatus
US20120044992A1 (en) 2010-08-17 2012-02-23 Qualcomm Incorporated Low complexity adaptive filter
US9247265B2 (en) 2010-09-01 2016-01-26 Qualcomm Incorporated Multi-input adaptive filter based on combination of sum-modified Laplacian filter indexing and quadtree partitioning
KR101215152B1 (ko) * 2011-04-21 2012-12-24 한양대학교 산학협력단 인루프 필터링을 적용한 예측 방법을 이용한 영상 부호화/복호화 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US20100177822A1 (en) * 2009-01-15 2010-07-15 Marta Karczewicz Filter prediction based on activity metrics in video coding

Also Published As

Publication number Publication date
CN103081467A (zh) 2013-05-01
EP2612498A1 (en) 2013-07-10
CN103081467B (zh) 2016-06-01
US20120051438A1 (en) 2012-03-01
KR20130070636A (ko) 2013-06-27
US9819966B2 (en) 2017-11-14
JP5602948B2 (ja) 2014-10-08
WO2012030760A1 (en) 2012-03-08
JP2013539288A (ja) 2013-10-17

Similar Documents

Publication Publication Date Title
KR101529800B1 (ko) 다중-필터 적응형 필터링을 위한 필터 디스크립션 시그널링
CA2830381C (en) Multi-metric filtering
EP2612497B1 (en) Multi-input adaptive filter based on combination of sum-modified laplacian filter indexing and quadtree partitioning
US20120044986A1 (en) Low complexity adaptive filter
IL227994A (en) Multi-metric filtering

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 4