KR102309353B1 - 무분할 양방향 필터 - Google Patents
무분할 양방향 필터 Download PDFInfo
- Publication number
- KR102309353B1 KR102309353B1 KR1020207000052A KR20207000052A KR102309353B1 KR 102309353 B1 KR102309353 B1 KR 102309353B1 KR 1020207000052 A KR1020207000052 A KR 1020207000052A KR 20207000052 A KR20207000052 A KR 20207000052A KR 102309353 B1 KR102309353 B1 KR 102309353B1
- Authority
- KR
- South Korea
- Prior art keywords
- sample
- video data
- block
- video
- value
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Picture Signal Circuits (AREA)
Abstract
비디오 디코더는 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하는 것; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하는 것; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하는 것; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하는 것; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하는 것에 의해 필터링 동작을 수행하도록 구성될 수 있다.
Description
이 출원은 2017년 7월 5일자로 출원된 미국 가특허 출원 제 62/528,912 호 및 2018 년 7월 3일자로 출원된 미국 특허 출원 제 16/027,173 호의 이익을 주장하고, 그것들의 전체 내용은 참조에 의해 본원에 통합된다.
본 개시는 비디오 인코딩 및 비디오 디코딩에 관한 것이다.
본 개시는 비디오 인코딩 및 비디오 디코딩에 관한 것이다.
디지털 비디오 능력들은 디지털 텔레비전들, 디지털 직접 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인용 디지털 보조기들 (PDA들), 랩탑 또는 데스크탑 컴퓨터들, 태블릿 컴퓨터들, e-북 리더들, 디지털 카메라들, 디지털 레코딩 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 무선 전화기들, 소위 "스마트 폰들", 비디오 텔레컨퍼런싱 디바이스들, 비디오 스트리밍 디바이스들 등을 포함한, 광범위한 디바이스들에 통합될 수 있다. 디지털 비디오 디바이스들은 MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, 파트 10, 어드밴스드 비디오 코딩 (AVC), ITU-T H.265, 고효율 비디오 코딩 (HEVC) 표준에 의해 정의된 표준들, 및 그러한 표준들의 확장들에서 설명된 기법들과 같은 비디오 압축 기법들을 구현한다. 비디오 디바이스들은 그러한 비디오 압축 기법들을 구현함으로써 디지털 비디오 정보를 더 효율적으로 송신, 수신, 인코딩, 디코딩, 및/또는 저장할 수도 있다.
비디오 압축 기법들은 비디오 시퀀스들에 내재한 리던던시를 감소 또는 제거하기 위해 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 수행한다. 블록 기반 비디오 코딩에 대해, 비디오 슬라이스 (즉, 비디오 프레임 또는 비디오 프레임의 일부) 는 비디오 블록들로 파티셔닝될 수도 있으며, 이 비디오 블록들은 또한 트리블록들, 코딩 유닛들 (CU들) 및/또는 코딩 노드들로서 지칭될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일 픽처의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측을 이용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스에서의 비디오 블록들은 동일 픽처의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측, 또는 다른 참조 픽처들에서의 참조 샘플들에 대한 시간 예측을 이용할 수도 있다. 픽처들은 프레임들로서 지칭될 수도 있으며, 참조 픽처들은 참조 프레임들로 지칭될 수도 있다.
공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 발생시킨다. 잔차 데이터는 코딩될 원래의 블록과 예측 블록 간의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 포인팅하는 모션 벡터에 따라 인코딩되고, 잔차 데이터는 코딩된 블록과 예측 블록 간의 차이를 나타낸다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위하여, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어 잔차 변환 계수들을 낳을 수도 있고, 그 후 이들은 양자화될 수도 있다. 2차원 어레이로 초기에 배열되는 양자화된 변환 계수들은 변환 계수들의 1차원 벡터를 생성하기 위해 스캐닝될 수도 있으며, 훨씬 더 많은 압축을 달성하도록 엔트로피 코딩이 적용될 수도 있다.
비디오 압축 기법들은 비디오 시퀀스들에 내재한 리던던시를 감소 또는 제거하기 위해 공간 (인트라-픽처) 예측 및/또는 시간 (인터-픽처) 예측을 수행한다. 블록 기반 비디오 코딩에 대해, 비디오 슬라이스 (즉, 비디오 프레임 또는 비디오 프레임의 일부) 는 비디오 블록들로 파티셔닝될 수도 있으며, 이 비디오 블록들은 또한 트리블록들, 코딩 유닛들 (CU들) 및/또는 코딩 노드들로서 지칭될 수도 있다. 픽처의 인트라-코딩된 (I) 슬라이스에서의 비디오 블록들은 동일 픽처의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측을 이용하여 인코딩된다. 픽처의 인터-코딩된 (P 또는 B) 슬라이스에서의 비디오 블록들은 동일 픽처의 이웃하는 블록들에서의 참조 샘플들에 대한 공간 예측, 또는 다른 참조 픽처들에서의 참조 샘플들에 대한 시간 예측을 이용할 수도 있다. 픽처들은 프레임들로서 지칭될 수도 있으며, 참조 픽처들은 참조 프레임들로 지칭될 수도 있다.
공간 또는 시간 예측은 코딩될 블록에 대한 예측 블록을 발생시킨다. 잔차 데이터는 코딩될 원래의 블록과 예측 블록 간의 픽셀 차이들을 나타낸다. 인터-코딩된 블록은 예측 블록을 형성하는 참조 샘플들의 블록을 포인팅하는 모션 벡터에 따라 인코딩되고, 잔차 데이터는 코딩된 블록과 예측 블록 간의 차이를 나타낸다. 인트라-코딩된 블록은 인트라-코딩 모드 및 잔차 데이터에 따라 인코딩된다. 추가의 압축을 위하여, 잔차 데이터는 픽셀 도메인으로부터 변환 도메인으로 변환되어 잔차 변환 계수들을 낳을 수도 있고, 그 후 이들은 양자화될 수도 있다. 2차원 어레이로 초기에 배열되는 양자화된 변환 계수들은 변환 계수들의 1차원 벡터를 생성하기 위해 스캐닝될 수도 있으며, 훨씬 더 많은 압축을 달성하도록 엔트로피 코딩이 적용될 수도 있다.
본 개시는 양방향 필터링과 관련된 기법들을 기술하고, 보다 구체적으로, 본 개시는 양방향 필터링과 연관된 계산 복잡성을 감소시킬 수 있는 기법들을 기술한다. 일례로서, 본 개시는 양방향 필터링의 기존 구현과 비교할 때, 분할 동작들 및 고정밀 곱셈 연산을 감소시키거나 제거할 수 있는 양방향 필터링을 위한 기법들을 설명한다.
일 예에 따르면, 비디오 데이터를 디코딩하는 방법은 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하는 단계; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 단계로서, 필터링 동작을 수행하는 단계는 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하는 단계; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하는 단계; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하는 단계; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하는 단계; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하는 단계를 포함하는, 상기 필터링 동작을 수행하는 단계; 및 비디오 데이터의 필터링된 블록을 출력하는 단계를 포함한다.
다른 예에 따르면, 비디오 데이터를 디코딩하기 위한 디바이스는 비디오 데이터를 저장하도록 구성된 메모리 및 하나 이상의 프로세서들을 포함하며, 하나 이상의 프로세서들은 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하고; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 것으로서, 필터링 동작을 수행하기 위해, 하나 이상의 프로세서들은 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하고; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하며; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하고; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하며; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하도록 구성되는, 상기 필터링 동작을 수행하며; 및 비디오 데이터의 필터링된 블록을 출력하도록 구성된다.
다른 예에 따르면, 컴퓨터 판독가능 저장 매체는 명령들을 저장하며, 그 명령들은 하나 이상의 프로세서들에 의해 실행될 때 하나 이상의 프로세서들로 하여금 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하게 하고; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하게 하는 것으로서, 필터링 동작을 수행하기 위해, 명령들은 하나 이상의 프로세서들로 하여금 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하게 하고; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하게 하며; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하게 하고; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하게 하며; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하게 하는, 상기 필터링 동작을 수행하게 하며; 및 비디오 데이터의 필터링된 블록을 출력하게 한다.
다른 예에 따르면, 비디오 데이터를 디코딩하기 위한 디바이스는 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하는 수단; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 수단으로서, 필터링 동작을 수행하는 수단은 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하는 수단; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하는 수단; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하는 수단; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하는 수단; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하는 수단을 포함하는, 상기 필터링 동작을 수행하는 수단; 및 비디오 데이터의 필터링된 블록을 출력하는 수단을 포함한다.
본 개시의 하나 이상의 양태들의 상세들은 첨부 도면들 및 이하의 상세한 설명에 기재된다. 본 개시에 기술된 기법들의 다른 특징들, 목적들, 및 이점들은 그 설명 및 도면들로부터 그리고 청구항들로부터 명백할 것이다.
일 예에 따르면, 비디오 데이터를 디코딩하는 방법은 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하는 단계; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 단계로서, 필터링 동작을 수행하는 단계는 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하는 단계; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하는 단계; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하는 단계; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하는 단계; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하는 단계를 포함하는, 상기 필터링 동작을 수행하는 단계; 및 비디오 데이터의 필터링된 블록을 출력하는 단계를 포함한다.
다른 예에 따르면, 비디오 데이터를 디코딩하기 위한 디바이스는 비디오 데이터를 저장하도록 구성된 메모리 및 하나 이상의 프로세서들을 포함하며, 하나 이상의 프로세서들은 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하고; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 것으로서, 필터링 동작을 수행하기 위해, 하나 이상의 프로세서들은 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하고; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하며; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하고; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하며; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하도록 구성되는, 상기 필터링 동작을 수행하며; 및 비디오 데이터의 필터링된 블록을 출력하도록 구성된다.
다른 예에 따르면, 컴퓨터 판독가능 저장 매체는 명령들을 저장하며, 그 명령들은 하나 이상의 프로세서들에 의해 실행될 때 하나 이상의 프로세서들로 하여금 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하게 하고; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하게 하는 것으로서, 필터링 동작을 수행하기 위해, 명령들은 하나 이상의 프로세서들로 하여금 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하게 하고; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하게 하며; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하게 하고; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하게 하며; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하게 하는, 상기 필터링 동작을 수행하게 하며; 및 비디오 데이터의 필터링된 블록을 출력하게 한다.
다른 예에 따르면, 비디오 데이터를 디코딩하기 위한 디바이스는 비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하는 수단; 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 수단으로서, 필터링 동작을 수행하는 수단은 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하는 수단; 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱하는 수단; 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하는 수단; 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하는 수단; 및 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 선택된 샘플의 샘플 값에 가산하는 수단을 포함하는, 상기 필터링 동작을 수행하는 수단; 및 비디오 데이터의 필터링된 블록을 출력하는 수단을 포함한다.
본 개시의 하나 이상의 양태들의 상세들은 첨부 도면들 및 이하의 상세한 설명에 기재된다. 본 개시에 기술된 기법들의 다른 특징들, 목적들, 및 이점들은 그 설명 및 도면들로부터 그리고 청구항들로부터 명백할 것이다.
도 1 은 본 개시에 기술된 기법들을 이용할 수도 있는 예시의 비디오 인코딩 및 디코딩 시스템을 도시하는 블록도이다.
도 2a 는 HEVC 에서 CTU-CU 파티셔닝의 예를 도시한다.
도 2b 는 도 2a 의 대응 쿼드 트리 표현을 도시한다.
도 3a 내지 도 3d 는 에지 오프셋 (EO) 샘플 분류에 대한 4 개의 1-D 방향성 패턴들을 도시한다.
도 4 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그 이웃하는 4 개의 샘플의 예를 도시한다.
도 5 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그 이웃하는 4 개의 샘플의 예를 도시한다.
도 6 은 무분할 양방향 (DFBil) 필터링 프로세스에서 이용되는 하나의 샘플 및 그 이웃하는 4 개의 샘플의 예를 도시한다.
도 7 은 본 개시에서 기술된 기법들을 구현할 수도 있는 예시의 비디오 인코더를 도시하는 블록도이다.
도 8 은 본 개시에서 기술된 기법들을 구현할 수도 있는 예시의 비디오 디코더를 도시하는 블록도이다.
도 9 는 본 개시의 기법들을 수행하기 위한 필터 유닛의 예시의 구현을 도시한다.
도 10 은 본 개시의 기법에 따른, 비디오 디코더의 예시적인 동작을 도시한 플로우차트이다.
도 2a 는 HEVC 에서 CTU-CU 파티셔닝의 예를 도시한다.
도 2b 는 도 2a 의 대응 쿼드 트리 표현을 도시한다.
도 3a 내지 도 3d 는 에지 오프셋 (EO) 샘플 분류에 대한 4 개의 1-D 방향성 패턴들을 도시한다.
도 4 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그 이웃하는 4 개의 샘플의 예를 도시한다.
도 5 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그 이웃하는 4 개의 샘플의 예를 도시한다.
도 6 은 무분할 양방향 (DFBil) 필터링 프로세스에서 이용되는 하나의 샘플 및 그 이웃하는 4 개의 샘플의 예를 도시한다.
도 7 은 본 개시에서 기술된 기법들을 구현할 수도 있는 예시의 비디오 인코더를 도시하는 블록도이다.
도 8 은 본 개시에서 기술된 기법들을 구현할 수도 있는 예시의 비디오 디코더를 도시하는 블록도이다.
도 9 는 본 개시의 기법들을 수행하기 위한 필터 유닛의 예시의 구현을 도시한다.
도 10 은 본 개시의 기법에 따른, 비디오 디코더의 예시적인 동작을 도시한 플로우차트이다.
비디오 코딩 (예를 들어, 비디오 인코딩 또는 비디오 디코딩) 은 전형적으로 예측 모드를 사용하여 비디오 데이터의 블록을 예측하는 것을 수반한다. 2 개의 공통 예측 모드는 동일한 픽처에서 비디오 데이터의 이미 코딩된 블록 (즉, 인트라 예측 모드) 또는 상이한 픽처에서 비디오 데이터의 이미 코딩된 블록 (즉, 인터 예측 모드) 으로부터 블록들을 예측하는 것을 수반한다. 인트라 블록 카피 모드, 팔레트 모드 또는 사전 모드와 같은 다른 예측 모드가 또한 사용될 수도 있다. 일부 예에서, 비디오 인코더는 또한 예측 블록을 오리지날 블록과 비교함으로써 잔차 데이터를 계산한다. 따라서, 잔차 데이터는 예측 블록과 오리지날 블록 사이의 차이를 나타낸다. 비디오 인코더는 잔차 데이터를 변환 및 양자화하고, 변환 및 양자화 된 잔차 데이터를 인코딩된 비트스트림에서 시그널링한다.
비디오 디코더는 수신된 잔차 데이터를 역 양자화하고 역변환하여 비디오 인코더에 의해 계산된 잔차 데이터를 결정한다. 변환 및 양자화는 손실 프로세스일 수 있으므로, 비디오 디코더에 의해 결정된 잔차 데이터는 인코더에 의해 계산된 잔차 데이터와 정확하게 일치하지 않을 수도 있다. 비디오 디코더는 예측 블록 단독보다 더 근접하게 오리지날 비디오 블록과 일치하는 재구성된 비디오 블록을 생성하기 위해 예측 블록에 잔차 데이터를 가산한다. 디코딩된 비디오의 품질을 추가로 개선하기 위해, 비디오 디코더는 재구성된 비디오 블록에 대해 하나 이상의 필터링 동작을 수행할 수 있다. HEVC (High Efficiency Video Coding) 표준은, 예를 들어, 디블로킹 필터링 및 샘플 적응 오프셋 (SAO) 필터링을 이용한다. 적응 루프 필터링 (ALF) 과 같은 다른 유형의 필터링이 또한 사용될 수도 있다. 이들 필터링 동작에 대한 파라미터는 비디오 인코더에 의해 결정되고 인코딩된 비디오 비트스트림에서 명시적으로 시그널링될 수도 있거나, 또는 인코딩된 비디오 비트스트림에서 명시적으로 시그널링될 파라미터를 필요로 하지 않고 비디오 디코더에 의해 암시적으로 결정될 수도 있다.
미래 세대 비디오 코딩 표준에의 포함을 위해 제안된 다른 유형의 필터링은 양방향 필터링이다. 양방향 필터링에서, 가중치는 현재 샘플의 이웃 샘플에 할당되고, 현재 샘플은 그 가중치, 이웃 샘플의 값, 및 현재 샘플의 값에 기초하여 변경, 즉, 필터링될 수 있다. 양방향 필터링이 임의의 조합 또는 순열로 다른 필터와 함께 적용될 수 있지만, 양방향 필터링은 전형적으로 하나의 블록의 재구성 직후에 적용되어, 필터링된 블록은 다음의 블록을 코딩/디코딩하기 위해 사용될 수 있다. 즉, 양방향 필터는 블록에 디블록 필터링이 적용되기 전에 비디오 데이터의 블록에 적용될 수 있다. 다른 예들에서, 양방향 필터링은 블록의 재구성 직후 및 다음의 블록들을 코딩하기 전에, 또는 디블로킹 필터 직전, 또는 디블로킹 필터 후, 또는 SAO 후 또는 ALF 후에 적용될 수 있다.
디블로킹 필터링은 블록 모양의 디코딩된 비디오를 피하기 위해 블록의 가장자리 주변의 천이들을 평활화한다. 양방향 필터링은 일반적으로 블록 경계를 가로 질러 필터링하지 않고 대신 블록 내의 샘플 만 필터링한다. 예를 들어, 양방향 필터는 일부 코딩 시나리오에서 디블로킹 필터링으로 인한 바람직하지 않은 과도 평활화를 피하는 것을 도움으로써 전체 비디오 코딩 품질을 개선할 수 있다.
본 개시는 양방향 필터링과 관련된 기법들을 기술하고, 보다 구체적으로, 본 개시는 양방향 필터링과 연관된 계산 복잡성을 감소시킬 수 있는 기법들을 기술한다. 일례로서, 본 개시는 양방향 필터링의 기존 구현과 비교할 때, 분할 동작들 및 고정밀 곱셈 연산을 감소시키거나 제거할 수 있는 양방향 필터링을 위한 기법들을 설명한다.
본 명세서에서 사용되는 바와 같이, 용어 "비디오 코딩" 은 일반적으로 비디오 인코딩 또는 비디오 디코딩을 지칭한다. 유사하게, 용어 비디오 코더는 일반적으로 비디오 인코더 또는 비디오 디코더를 지칭할 수도 있다. 또, 비디오 디코딩에 관해 본 개시에서 기술된 특정의 기법들은 또한 비디오 인코딩에 적용될 수도 있고, 그 역도 가능하다. 예를 들어, 비디오 인코더 및 비디오 디코더는 종종 동일한 프로세스, 또는 상호 프로세스를 수행하도록 구성된다. 또한, 비디오 인코더는 일반적으로 비디오 데이터를 인코딩하는 방법을 결정하는 프로세스의 일부로서 비디오 디코딩을 수행한다. 따라서, 반대로 명시적으로 진술되지 않는 한, 비디오 디코딩에 관해 설명된 기법은 또한 비디오 인코더에 의해 수행될 수 없다고 가정되어서는 아니되며, 그 역도 성립한다.
본 개시는 또한 현재 계층, 현재 블록, 현재 픽처, 현재 슬라이스 등과 같은 용어들을 사용한다. 이 개시물의 맥락에서, "현재 (current)" 라는 용어는, 예를 들어, 이전에 또는 이미 코딩된 블록, 픽처, 및 슬라이스 또는 아직 코딩되지 않은 블록, 픽처, 및 슬라이스에 대한 반대로서, 현재 코딩되고 있는 블록, 픽처, 슬라이스 등을 식별하도록 의도된다.
도 1 은 이 개시물에서 기술된 양방향 필터링 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 나타내는 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은, 목적지 디바이스 (14) 에 의해 더 나중 시간에 디코딩될 인코딩된 비디오 데이터를 생성하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스, 헤드 장착 디스플레이 (HMD) 디바이스 등을 포함한 광범위한 디바이스들 중 임의의 디바이스일 수도 있다. 일부 경우에, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 갖추어질 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신할 수도 있다. 링크 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동 가능한 임의의 타입의 매체 또는 디바이스일 수도 있다. 일 예에 있어서, 링크 (16) 는, 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 직접 목적지 디바이스 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체일 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 무선 또는 유선 통신 매체 중 임의의 하나 또는 이들의 조합일 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
다른 예에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스 (26) 로 출력될 수도 있다 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스 (26) 로부터 액세스될 수도 있다. 저장 디바이스 (26) 는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 국부적으로 액세스된 데이터 저장 매체들 중 임의의 데이터 저장 매체를 포함할 수도 있다. 추가의 예에 있어서, 저장 디바이스 (26) 는, 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 보유할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스 (14) 는 저장 디바이스 (26) 로부터의 저장된 비디오 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다. 파일 서버는, 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 유형의 서버일 수도 있다. 예시적인 파일 서버들은, (예를 들어, 웹사이트용) 웹 서버, FTP 서버, NAS (network attached storage) 디바이스, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는, 인터넷 접속을 포함한, 임의의 표준 데이터 접속을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은, 파일 서버 상에 저장된 인코딩된 비디오 데이터를 액세스하는데 적합한 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 양자의 조합을 포함할 수도 있다. 인코딩된 비디오 데이터의 저장 디바이스 (26) 로부터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들 양자의 조합일 수도 있다.
본 개시의 기법들은 무선 애플리케이션들 또는 설정들로 반드시 한정되는 것은 아니다. 그 기법들은, 공중 경유 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예를 들어, 인터넷을 통한 스트리밍 비디오 송신들, 데이터 저장 매체 상의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들과 같은 다양한 멀티미디어 애플리케이션들 중 임의의 애플리케이션들의 지원으로 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 및/또는 화상 통화 (video telephony) 와 같은 애플리케이션들을 지원하기 위하여 일방향 (one-way) 또는 양방향 (two-way) 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 소스 디바이스 (12) 에 있어서, 비디오 소스 (18) 는 비디오 캡처 디바이스, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽스 시스템과 같은 소스, 또는 그러한 소스들의 조합을 포함할 수도 있다. 일 예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 하지만, 본 개시에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다.
캡처되거나 사전-캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 데이터는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 로 직접 송신될 수도 있다. 인코딩된 비디오 데이터는 또한 (또는 대안적으로), 디코딩 및/또는 재생을 위한 목적지 디바이스 (14) 또는 다른 디바이스들에 의한 더 나중의 액세스를 위해 저장 디바이스 (26) 상으로 저장될 수도 있다.
목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더(30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 경우들에 있어서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신한다. 링크 (16) 를 통해 통신되는 또는 저장 디바이스 (26) 상에 제공되는 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 와 같은 비디오 디코더에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 그러한 신택스 엘리먼트들에는, 통신 매체 상에서 송신되거나 저장 매체 상에 저장되거나 또는 파일 서버에 저장되는 인코딩된 비디오 데이터와 함께 포함될 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합되거나 그 외부에 있을 수도 있다. 일부 예들에 있어서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한, 외부 디스플레이 디바이스와 인터페이싱하도록 구성될 수도 있다. 다른 예들에 있어서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 이는 액정 디스플레이 (liquid crystal display; LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (organic light emitting diode; OLED) 디스플레이, 또는 다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것일 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 고 효율 비디오 코딩 (HEVC) 표준과 같은 비디오 압축 표준에 따라 동작할 수도 있고, HEVC 테스트 모델 (HM) 에 부합할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 추가적으로, ITU-T VCEG (Video Coding Experts Group) 및 ISO/IEC MPEG (Motion Picture Experts Group) 의 JCT-VC (Joint Collaboration Team on Video Coding) 및 JCT-3V (Joint Collaboration Team on 3D Video Coding Extension Development) 에 의해 개발된, 범위 확장과 같은 HEVC 확장, 멀티뷰 확장 (MV-HEVC), 또는 스케일러블 확장 9SHVC) 에 따라 동작할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, ISO/IEC MPEG-4, Part 10, AVC (Advanced Video Coding) 로서 대안적으로 지칭되는, ITU-T H.264 표준과 같은 다른 독점적 또는 산업 표준들, 또는 SVC (Scalable Video Coding) 및 MVC (Multi-view Video Coding) 확장들과 같은 이러한 표준들의 확장들에 따라 동작할 수도 있다. 하지만, 본 개시의 기법들은 임의의 특정 코딩 표준으로 한정되지 않는다. 비디오 압축 표준들의 다른 예들은 ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, 및 ISO/IEC MPEG-4 Visual 을 포함한다.
ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/WG 11) 는, (스크린 콘텐츠 코딩 및 하이-다이내믹-레인지 코딩을 위한 그것의 현재의 확장들 및 단기 확장들을 포함하는) 현재의 HEVC 표준의 것을 현저하게 초과하는 압축 능력을 갖는 미래의 비디오 코딩 기술의 표준화에 대한 잠재적인 필요성을 지금 연구하고 있다. 그 그룹들은 이 영역에서 그들의 전문가들에 의해 제안된 압축 기술 설계들을 평가하기 위해 JVET (Joint Video Exploration Team) 로서 알려진 연합 공동작업 노력에서 이 탐구 활동에 대해 함께 작업하고 있다. JVET 는 2015년 10월 19-21 일 동안 처음 만났다. 참조 소프트웨어의 하나의 버전, 즉, JEM 6 (Joint Exploration Model 6) 는
https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-6.0/으로부터 다운로드될 수 있다. JEM 6 에 대한 알고리즘 설명은 또한 JVET-F1011 에 기술되어 있다.
본 개시의 기법들은 설명의 용이함을 위해 HEVC 용어를 이용할 수도 있다. 하지만, 이 개시물의 기법들은 HEVC 에 한정되는 것으로 가정되어서는 아니되고, 사실, 이 개시물의 기법들은 HEVC 및 그것의 확장들에 대한 후속 표준들에서 구현될 수도 있음이 명시적으로 고려된다. 예를 들어, 여기에 기술된 기법은 현재 개발중인 H.266 표준 및 그 확장과 함께 사용될 수도 있는 것으로 고려된다.
비록 도 1 에서는 도시되지 않았지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기 위해 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 일부 예들에 있어서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들에 부합할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서(DSP)들, 주문형 집적회로(ASIC)들, 필드 프로그래머블 게이트 어레이(FPGA)들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 회로 또는 디코더 회로 중 임의의 회로로서 구현될 수도 있다. 기법들이 부분적으로 소프트웨어로 구현될 경우, 디바이스는 적합한 비일시적인 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있는데, 이들 중 어느 일방은 각각의 디바이스에서 결합된 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다.
HEVC 및 다른 비디오 코딩 규격들에 있어서, 비디오 시퀀스는 통상적으로 픽처들의 시리즈를 포함한다. 픽처들은 또한, "프레임" 들로 지칭될 수도 있다. 하나의 예시적인 접근으로, 픽처는 SL, SCb, 및 SCr 로서 표기되는 3 개의 샘플 어레이들을 포함할 수도 있다. 이러한 일 예시적인 접근에서, SL 은 루마 샘플들의 2-차원 어레이 (즉, 블록) 이다. SCb 는 Cb 크로미넌스 샘플들의 2-차원 어레이이다. SCr 는 Cr 크로미넌스 샘플들의 2-차원 어레이이다. 크로미넌스 샘플들은 또한, 본 명세서에서 "크로마 (chroma)" 샘플들로서 지칭될 수도 있다. 다른 경우들에서, 픽처는 단색 (monochrome) 일 수도 있고, 루마 샘플들의 어레이만을 포함할 수도 있다.
픽처의 인코딩된 표현을 생성하기 위하여, 비디오 인코더 (20) 는 코딩 트리 유닛 (CTU) 들의 셋트를 생성할 수도 있다. CTU 들의 각각은 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2개의 대응 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들 또는 3 개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, CTU 는 단일의 코딩 트리 블록, 및 그 코딩 트리 블록의 샘플들을 코딩하는데 사용되는 신택스 구조들을 포함할 수도 있다. 코딩 트리 블록은 샘플들의 NxN 블록일 수도 있다. CTU 는 "트리 블록" 또는 "최대 코딩 유닛" (LCU) 으로 지칭될 수도 있다. HEVC 의 CTU 들은 대체로, H.264/AVC 와 같은 다른 표준들의 매크로블록들에 유사할 수도 있다. 하지만, CTU 가 특정 크기로 반드시 한정되는 것은 아니고 하나 이상의 코딩 유닛들 (CU) 들을 포함할 수도 있다. 슬라이스는 래스터 스캔 순서에서 연속적으로 순서화된 정수 개의 CTU를 포함할 수도 있다.
코딩된 CTU 를 생성하기 위하여, 비디오 인코더 (20) 는 CTU 의 코딩 트리 블록들에 대해 쿼드트리 파티셔닝을 재귀적으로 수행하여, 코딩 트리 블록들을 코딩 블록들, 따라서, 일명 "코딩 트리 유닛들"로 분할할 수도 .있다. 코딩 블록은 샘플들의 NxN 블록일 수도 있다. CU 는 루마 샘플들의 코딩 블록과, 루마 샘플 어레이, Cb 샘플 어레이, 및 Cr 샘플 어레이를 가지는 픽쳐의 크로마 샘플들의 2 개의 대응하는 코딩 블록들과, 코딩 블록들의 샘플들을 코딩하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들 또는 3 개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, CU 는 단일의 코딩 블록, 및 그 코딩 블록의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 하나 이상의 예측 블록들로 CU 의 코딩 블록을 파티셔닝할 수도 있다. 예측 블록은, 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비정사각형) 블록이다. CU 의 예측 유닛 (PU) 은 루마 샘플들의 예측 블록, 크로마 샘플들의 2 개의 대응하는 예측 블록들, 및 예측 블록들을 예측하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 단색 화상들 또는 3개의 분리된 색 평면들을 포함하는 화상들에서, PU 는 단일 예측 블록 및 그 예측 블록을 예측하는데 이용된 신택스 구조들을 포함할 수도 있다. 비디오 인코더 (20) 는 CU 의 각각의 PU 의 루마, Cb 및 Cr 예측 블록들에 대한 예측성 루마, Cb, 및 Cr 블록들을 생성할 수도 있다.
비디오 인코더 (20) 는 인트라 예측 또는 인터 예측을 이용하여 PU에 대한 예측된 비디오 블록을 생성할 수도 있다. 비디오 인코더 (20) 가 인트라 예측을 이용하여 PU 의 예측 블록들을 생성하는 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다. 비디오 인코더 (20) 가 인터 예측을 이용하여 PU 의 예측 블록들을 생성하는 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처 이외의 하나 이상의 픽처들의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
비디오 인코더 (20) 가 CU 의 하나 이상의 PU들에 대한 예측 루마, Cb, 및 Cr 블록들을 생성한 후, 비디오 인코더 (20) 는 CU 에 대한 루마 잔차 블록을 생성할 수도 있다. CU 의 루마 잔차 블록에서의 각각의 샘플은 CU 의 예측성 루마 블록들 중 하나에서의 루마 샘플과 CU 의 오리지널 루마 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낸다. 또한, 비디오 인코더 (20) 는 CU 에 대한 Cb 잔차 블록을 생성할 수도 있다. CU 의 Cb 잔차 블록에서의 각각의 샘플은 CU 의 예측성 Cb 블록들 중 하나에서의 Cb 샘플과 CU 의 오리지널 Cb 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낼 수도 있다. 비디오 인코더 (20) 는 또한, CU 에 대한 Cr 잔차 블록을 생성할 수도 있다. CU 의 Cr 잔차 블록에서의 각각의 샘플은 CU 의 예측성 Cr 블록들 중 하나에서의 Cr 샘플과 CU 의 오리지널 Cr 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낼 수도 있다.
더욱이, 비디오 인코더 (20) 는 쿼드 트리 파티셔닝을 이용하여, CU 의 루마, Cb, 및 Cr 잔차 블록들을 하나 이상의 루마, Cb, 및 Cr 변환 블록들로 분해할 수도 있다. 변환 블록은, 동일한 변환이 적용되는 샘플들의 직사각형 (예를 들어, 정사각형 또는 비정사각형) 블록이다. CU 의 변환 유닛 (TU) 은 루마 샘플들의 변환 블록, 크로마 샘플들의 2 개의 대응하는 변환 블록들, 및 변환 블록 샘플들을 변환하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 따라서, CU 의 각각의 TU 는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수도 있다. TU 와 연관된 루마 변환 블록은 CU 의 루마 잔차 블록의 서브-블록일 수도 있다. Cb 변환 블록은 CU 의 Cb 잔차 블록의 서브-블록일 수도 있다. Cr 변환 블록은 CU 의 Cr 잔차 블록의 서브-블록일 수도 있다. 단색 픽처들 또는 3 개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, TU 는 단일의 변환 블록, 및 그 변환 블록의 샘플들을 변환하는데 사용되는 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 TU 의 루마 변환 블록에 하나 이상의 변환들을 적용하여 TU 에 대한 루마 계수 블록을 생성할 수도 있다. 계수 블록은 변환 계수들의 2-차원 어레이일 수도 있다. 변환 계수는 스칼라 양일 수도 있다. 비디오 인코더 (20) 는 TU 의 Cb 변환 블록에 하나 이상의 변환들을 적용하여 TU 에 대한 Cb 계수 블록을 생성할 수도 있다. 비디오 인코더 (20) 는 TU 의 Cr 변환 블록에 하나 이상의 변환들을 적용하여 TU 에 대한 Cr 계수 블록을 생성할 수도 있다.
CTU들, CU들, PU들, 및 TU들을 갖는 상기 블록 구조는 일반적으로 HEVC 에서 사용된 블록 구조를 기술한다. 하지만, 다른 비디오 코딩 표준들은 상이한 블록 구조들을 사용할 수도 있다. 하나의 예로서, 비록 HEVC 는 PU들 및 TU들이 상이한 사이즈들 또는 형상들을 갖도록 허용하지만, 다른 비디오 코딩 표준들은 예측 블록들 및 변환 블록들이 동일한 사이즈를 갖도록 요구할 수도 있다. 본 개시의 기법들은 HEVC 의 블록 구조에 한정되지 아니하고, 다른 블록 구조들과 호환가능할 수도 있다. 대안적인 블록 구조의 예로서, JEM 은 쿼드트리 이진 트리 (QTBT) 구조를 이용한다. JEM 의 QTBT 구조는 HEVC 의 CU, PU 및 TU 간의 분리와 같은 다수의 파티션 유형의 개념을 제거한다. JEM의 QTBT 구조는 2 가지 레벨, 즉 쿼드트리 파티셔닝에 따라 파티셔닝되는 제 1 레벨 및 이진 트리 파티셔닝에 따라 파티셔닝되는 제 2 레벨을 포함한다. QTBT 구조의 루트 노드는 CTU 에 대응한다. 이진 트리들의 리프 노드들은 CU 들에 대응한다.
계수 블록 (예를 들어, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록) 을 생성한 후에, 비디오 인코더 (20) 는 계수 블록을 양자화할 수도 있다. 일반적으로 양자화는, 변환 계수들이 양자화되어 그 변환 계수들을 나타내는데 사용된 데이터의 양을 감소시킬 수 있으며, 추가 압축을 제공하는 프로세스를 지칭한다. 비디오 인코더 (20) 가 계수 블록을 양자화한 후, 비디오 인코더 (20) 는 양자화된 변환 계수들을 표시하는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들에 대해 컨텍스트-적응 바이너리 산술 코딩 (CABAC) 을 수행할 수도 있다.
비디오 인코더 (20) 는, 코딩된 픽처들 및 연관된 데이터의 표현을 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수도 있다. 비트스트림은 네트워크 추상화 계층 (NAL) 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛은 NAL 유닛에서의 데이터의 타입 및 그 데이터를 에뮬레이션 방지 비트와 함께 필요에 따라 산재된 RBSP (raw byte sequence payload) 의 형태로 포함하는 바이트의 표시를 포함하는 신택스 구조이다. NAL 유닛들 각각은 NAL 유닛 헤더를 포함하고 RBSP 를 캡슐화한다. NAL 유닛 헤더는, NAL 유닛 타입 코드를 나타내는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 명시된 NAL 유닛 타입 코드는 NAL 유닛의 타입을 나타낸다. RBSP 는, NAL 유닛 내에서 캡슐화되는 정수 개수의 바이트들을 포함하는 신택스 구조일 수도 있다. 일부 경우들에서, RBSP 는 제로 비트들을 포함한다.
상이한 타입들의 NAL 유닛들은 상이한 타입들의 RBSP들을 캡슐화할 수도 있다. 예를 들어, 제 1 타입의 NAL 유닛은 PPS 에 대한 RBSP 를 캡슐화할 수도 있고 제 2 타입의 NAL 유닛은 코딩된 슬라이스에 대한 RBSP 를 캡슐화할 수도 있고, 제 3 타입의 NAL 유닛은 SEI 메시지들에 대한 RBSP 를 캡슐화할 수 있는 등이다. (파라미터 셋트들 및 SEI 메시지들에 대한 RBSP들에 대한 것과는 반대로) 비디오 코딩 데이터에 대한 RBSP들을 캡슐화하는 NAL 유닛들은 VCL NAL 유닛들로 지칭될 수도 있다.
비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 생성된 비트스트림을 수신할 수도 있다. 또한, 비디오 디코더 (30) 는 비트스트림을 파싱하여, 그 비트스트림으로부터 신택스 엘리먼트들을 획득할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 획득된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 재구성할 수도 있다. 비디오 데이터를 재구성하기 위한 프로세스는 일반적으로, 비디오 인코더 (20) 에 의해 수행되는 프로세스에 상반될 수도 있다. 또한, 비디오 디코더 (30) 는 현재 CU 의 TU들과 연관된 계수 블록들을 역양자화할 수도 있다. 비디오 디코더 (30) 는 계수 블록들에 대해 역변환들을 수행하여 현재 CU 의 TU들과 연관된 변환 블록들을 재구성할 수도 있다. 비디오 디코더 (30) 는 현재 CU 의 PU들에 대한 예측성 블록들의 샘플들을, 현재 CU 의 TU 들의 변환 블록들의 대응하는 샘플들에 부가함으로써, 현재 CU 의 코딩 블록들을 재구성할 수도 있다. 픽처의 각각의 CU 에 대한 코딩 블록들을 재구성함으로써, 비디오 디코더 (30) 는 픽처를 재구성할 수도 있다.
위에서 소개했듯이, HEVC 는 블록들을 파티셔닝하기 위해 쿼드트리 구조를 이용한다. HEVC 에서, 슬라이스에서의 최대 코딩 유닛은 CTU 로도 지칭되는, 코딩 트리 블록 (CTB) 으로 불린다. CTB 는 쿼드트리를 포함하며, 그 쿼드트리의 노드들은 CU 들이다. 루마 및 크로마 CTB 로 지정된 블록은 CU 로서 직접 사용될 수 있거나 다수의 CU 들로 더 파티셔닝될 수 있다. 파티셔닝은 트리 구조를 사용하여 달성된다. HEVC 의 트리 파티셔닝은 일반적으로 루마와 크로마 양자 모두에 동시에 적용되지만, 크로마에 대해 특정 최소 크기가 도달되면 예외가 적용된다.
CTU 는 CTB 에 의해 커버되는 영역의 신호 특성에 기초하여 CU 들을 선택된 적절한 크기로 분할하는 것을 허용하는 쿼드 트리 신택스를 포함한다. 루마 CB 에 대한 크기가 인코더에 의해 SPS 의 신택스를 사용하여 선택되고 항상 (루마 샘플들의 단위로) 8x8 이상인 최소 허용 루마 CB 크기에 도달할 때까지 쿼드트리 분할 프로세스가 반복될 수 있다. 하나의 CTU 를 다수의 CB 로 분할하는 예는 도 2a 및 도 2b 에 도시되어 있다.
픽처의 경계는 최소 허용 루마 CB 크기의 단위로 정의된다. 결과적으로, 픽처의 오른쪽 가장자리와 아래쪽 가장자리에서, 일부 CTU 는 부분적으로 픽처의 경계 외부에 있는 영역들을 커버할 수 있다. 이 조건은 디코더에 의해 검출되고, CTU 쿼드트리는 CB 크기를 전체 CB 가 픽처에 피팅되는 포인트까지 감소시키기 위해 필요에 따라 암시적으로 분할된다.
도 2a 는 HEVC 에서 CTU-CU 파티셔닝의 예를 도시하고, 도 2b 는 대응 쿼드 트리 표현을 도시한다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예를 들어 도 2a 및 도 2b 에 도시된 CTU-CU 파티셔닝을 수행하도록 구성될 수도 있다. 쿼드트리 파니셔닝의 양태들은 G. J. Sullivan; J.-R. Ohm; W.-J. Han; T. Wiegand (December 2012), "Overview of the High Efficiency Video Coding (HEVC) Standard," IEEE Transactions on Circuits and Systems for Video Technology (IEEE) 22 (12) 에 더 상세히 기술되어 있다. 리프 노드가 8x8 CU 에 대응하는 경우 시그널링이 요구되지 않는다.
HEVC 는 디-블록킹 필터 (de-blocking filter) 및 SAO 필터로서 지칭되는 2 개의 인-루프 필터들을 채용한다. HEVC 는 블록 경계 주변의 블로키니스 (blockiness) 를 줄이기 위해 디블록 필터링을 이용한다. 이러한 코딩 툴에 대한 입력은 인트라 또는 인터 예측 후 재구성된 이미지이다. 디블록킹 필터는 코딩된 블록 경계들에서의 아티팩트들의 검출을 수행하고, 선택된 필터를 적용함으로써 그것들을 줄인다. H.264/AVC 디블록킹 필터에 비해, HEVC 디블록킹 필터는 시각적 아티팩트들의 현저한 감소를 여전히 달성하면서도 더 낮은 계산적 복잡도 및 더 양호한 병렬적 프로세싱을 갖는다. HEVC 에서의 디블록킹 필터링의 양태들은, A. Norkin, G. Bjontegaard, A. Fuldseth, M. Narroschke, M. Ikeda, K. Andersson, Minhua Zhou, G. Van der Auwera, "HEVC Deblocking Filter," IEEE Trans. Circuits Syst. Video Technol., 22(12): 1746 - 1754 (2012) 에 기술되어 있다.
HEVC 는 또한 디코딩된 비디오의 품질을 잠재적으로 개선하기 위해 오프셋이 샘플 값 (예를 들어, 포스트 디블록킹된 샘플 값) 에 가산되는 필터링 유형 인 SAO 필터링을 이용한다. SAO 에 대한 입력은, HEVC 에서, 디블로킹 필터링을 호출한 후 재구성된 이미지이다. SAO 의 일반적 개념은, 먼저 영역 샘플들을 선택된 분류자로 다수의 카테고리들로 분류하고, 각각의 카테고리에 대한 오프셋을 획득하며, 그 다음에, 카테고리의 각 샘플에 대해 오프셋을 부가함으로써, 영역의 평균 샘플 왜곡을 감소시키기 위한 것이고, 여기서, 영역의 오프셋 및 분류자 인덱스는 비트스트림에서 코딩된다. HEVC 에서, 구역 (SAO 파라미터들 시그널링을 위한 유닛) 은 CTU 이도록 정의된다.
HEVC 는 두 가지 상이한 유형의 SAO 필터링을 이용하며, 이 두 가지 유형 모두가 낮은 복잡도의 요건을 만족시킬 수 있다. HEVC 에서 이용되는 2 가지 유형의 SAO 는 에지 오프셋 (EO) 및 대역 오프셋 (BO) 이다. SAO 필터링을 구현할 때, 비디오 디코더 (30)는, 예를 들어, 사용된 SAO 의 유형을 나타내거나 SAO 의 어느 유형도 사용되지 않음을 나타내는 (0 내지 2 범위의) 인덱스를 수신할 수도 있다.
EO 를 수행할 때, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 1-D 방향성 패턴에 따라 현재 샘플들의 이웃 샘플들과의 비교에 기초하여 샘플 분류를 사용할 수도 있다. 도 3a 내지 도 3d 는 상이한 EO 샘플 분류를 위해 사용되는 1-D 방향성 패턴들의 예들을 도시한다. 도 3a 내지 도 3d 의 예에서, 비디오 디코더 (30) 는 표 I 과 관련하여 아래에서 더 상세히 설명되는 바와 같이, 샘플 C 를 샘플 A 및 B 와 비교하여 샘플 C 에 대한 카테고리를 결정한다. 도 3a 는 수평 분류 (EO 클래스 = 0) 에 사용된 샘플의 예를 도시한다. 도 3b 는 수직 분류 (EO 클래스 = 1) 에 사용된 샘플의 예를 도시한다. 도 3c 는 135°대각선 분류 (EO 클래스 = 2) 에 사용된 샘플의 예를 도시한다. 도 3d 는 45°대각선 분류 (EO 클래스 = 3) 에 사용된 샘플의 예를 도시한다.
선택된 EO 패턴에 따라, HEVC 는 표 I 에서 edgeIdx 로 표시되는 5 개의 카테고리를 정의한다. 0~3 과 동일한 edgeIdx 에 대해, 오프셋의 크기가 시그널링되는 한편, 부호 플래그가 암시적으로 코딩된다, 즉, edgeIdx 에 대한 네거티브 오프셋은 0 또는 1 과 동일하고 edgeIdx 에 대한 포지티브 오프셋은 2 또는 3 과 동일하다. 4 와 동일한 edgeIdx 에 대해, 오프셋은 항상 0 으로 설정되고, 이는 이 경우에 대해 동작이 필요하지 않음을 의미한다. 따라서, 샘플을 필터링 할 때, 샘플이 카테고리 0 의 조건을 만족하면, 비디오 디코더 (30) 는 카테고리 0 과 연관된 오프셋을 샘플에 가산하고, 샘플이 카테고리 1 의 조건을 만족하면, 비디오 디코더는 카테고리 1 과 연관된 오프셋을 샘플에 가산하는 등등이다. 샘플이 카테고리 1-4 중 어느 하나의 조건을 만족하지 않으면, 비디오 디코더 (30) 는 샘플에 오프셋을 가산하지 않는다.
표 I: EO 에 대한 분류
BO 의 경우, 비디오 디코더 (30) 는 샘플 값에 기초하여 샘플 분류를 수행한다. 각 컬러 컴포넌트는 그 자신의 SAO 파라미터들을 가질 수도 있다. BO 는 동일한 대역의 모든 샘플들에 하나의 오프셋이 가산됨을 암시한다. 샘플 값 범위는 32 개의 대역들로 동등하게 분할된다. 0 에서부터 255 까지의 범위인 8-비트 샘플들에 대해, 대역의 폭은 8 이고, 8k 에서부터 8k+7 까지의 샘플 값들은 대역 k 에 속하고, 여기서, k 는 0 에서부터 31 까지의 범위이다. 대역에서의 오리지날 샘플들과 재구성된 샘플들 사이의 평균차 (즉, 대역의 오프셋) 는 디코더에 시그널링된다. 오프셋 부호들에 대한 제약은 존재하지 않는다. 오직 4 개의 연속적인 대역들의 오프셋들 및 시작 대역 포지션만이 디코더에 시그널링된다. 모든 나머지 대역들은 오프셋 0 과 연관된다.
사이드 정보 (예를 들어, 오프셋 유형들 및 오프셋 값들) 를 시그널링하는 것과 연관된 시그널링 오버헤드를 감소시키기 위해, 다수의 CTU 들은 함께 병합되어, (sao_merge_left_flag 를 1 과 동일하게 설정하는 것을 통해) 상측 CTU 로부터 또는 (sao_merge_up_flag 를 1 과 동일하게 설정하는 것을 통해) 좌측 CTU 로부터 파라미터들을 카피하여, SAO 파라미터들을 공유할 수도 있다.
HEVC 의 변경된 디블록 필터링 및 SAO 에 추가하여, JEM 은 지오메트리 변환-기반 적응형 루프 필터링 (Geometry transformation-based Adaptive Loop Filtering; GALF) 이라 불리는 또 다른 필터링 방법을 포함하였다. GALF 는 ALF (Adaptive Loop Filtering) 의 코딩 효율을 향상시키는 것을 목표로 한다. ALF 는 HEVC 에의 포함에 대해 고려되었지만 최종적으로 HEVC 의 최종 버전에는 포함되지 않았다. ALF 는 Wiener-기반 적응 필터링을 사용함으로써 오리지날 샘플들과 디코딩된 샘플들 사이의 평균 제곱 오차 (mean square error) 를 최소화하는 것을 목적으로 하고 있다. ALF 를 수행하는 경우, 비디오 디코더 (30) 는 픽처의 샘플을 다수의 카테고리로 분류하고 카테고리와 연관된 적응 필터를 사용하여 각 카테고리의 샘플을 필터링한다. 평균 제곱 오차 및 오버헤드 사이의 트레이드-오프를 최적화하기 위해 필터 계수들이 시그널링 또는 승계될 수도 있다. GALF 는 ALF 전에 재구성된 샘플들의 그라디언트의 배향에 의존하여 필터 지원 영역들에서 샘플들에 적용될 회전, 대각선 및 수직 플립과 같은 기하학적 변환들을 도입함으로써 ALF 의 성능을 더욱 향상시키도록 제안되었다. ALF/GALF 에 대한 입력은 SAO 를 호출한 후 재구성된 이미지이다.
M. Karczewicz, L. Zhang, W.-J. Chien, X. Li,"EE2.5 : Improvements on adaptive loop filter," Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Doc. JVET-B0060, 2nd Meeting: San Diego, USA, 20 Feb. - 26 Feb. 2016 및 M. Karczewicz, L. Zhang, W.-J. Chien, X. Li, "EE2.5: Improvements on adaptive loop filter," Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Doc. JVET-C0038, 3nd Meeting: Geneva, CH, 26 May - 1 June 2016 에서, GALF가 제안되어 JEM 3.0 에 채택되었다. GALF 에서, 분류는 대각선 그라디언트가 고려되어 수정되고, 필터 계수들에 기하학적 변환들이 적용될 수 있다. GALF 를 수행하는 경우, 비디오 디코더 (30) 는 2x2 블록의 방향성 및 활동의 양자화된 값에 기초하여 각각의 2x2 블록을 25 개의 클래스 중 하나로 카테고리화 한다.
비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 구현될 수 있는 다른 필터링 기법은 양방향 필터링이다. 양방향 필터링은 이전에 C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," in Proc. of IEEE ICCV, Bombay, India, January 1998 에 의해 기술되었다. 에지의 픽셀들에 대해 바람직하지 않은 과도-평활화 (over-smoothing) 를 피하기 위해 양방향 필터링이 제안되었다. 양방향 필터링의 주요 아이디어는 유사한 루미넌스 또는 크로미넌스 값들을 갖는 그러한 픽셀들에 더 많은 가중치를 주기 위해 이웃하는 샘플들의 가중화가 픽셀 값들 자체를 고려한다는 것이다. (i, j) 에 위치한 샘플은 그것의 이웃 샘플 (k, l) 을 사용하여 필터링될 수도 있다. 가중치 ω(i, j, k, l) 는 샘플 (i, j) 을 필터링하기 위해 샘플 (k, l) 에 대해 할당된 가중치이며, 그것은 다음과 같이 정의된다:
I(i, j) 및 I(k, l) 은 각각 샘플 (i, j) 및 샘플 (k, l) 의 세기 값이다. σd 는 공간 파라미터이고, σr 은 범위 파라미터이다. ID(i, j) 에 의해 표시된 필터링된 샘플 값을 갖는 필터링 프로세스는 다음과 같이 정의될 수 있을 것이다:
양방향 필터의 특성 (또는 강도) 은 공간 파라미터 및 범위 파라미터에 의해 제어될 수 있다. 필터링될 샘플에 더 가깝게 위치된 샘플들 및 필터링될 샘플에 대한 더 작은 세기 차이를 갖는 샘플들은 더 멀리 떨어지고 더 큰 세기 차이를 갖는 샘플들보다 더 큰 가중치를 가질 수도 있다.
Jacob Strom, Per Wennersten, Ying Wang, Kenneth Andersson, Jonatan Samuelsson, "Bilateral filter after inverse transform," JVET-D0069, 4th Meeting: Chengdu, CN, 15-21 October 2016 에서, 변환 유닛 (TU) 내의 각각의 재구성된 샘플은 그것의 직접 이웃하는 재구성된 샘플들만을 사용하여 필터링된다.
도 4 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그 샘플의 이웃하는 4 개의 샘플들의 예를 도시한다. 도 4 의 필터는 필터링될 샘플을 중심으로 플러스 부호 형상 필터 어퍼처를 갖는다. σd 의 값은 식 (3) 에 따라 변환 유닛 크기에 기초하여 설정되고, σr 의 값은 식 (4) 에 따라 현재 블록에 사용되는 QP 에 기초하여 설정된다.
J. Strom, P. Wennersten, K. Andersson, J. Enhorn, "Bilateral filter strength based on prediction mode," JVET-E0032, 5th Meeting: Geneva, CH, 12-20 January 2017 에서, 저 지연 구성 하에서 코딩 손실을 추가로 줄이기 위해, 필터 강도는 또한 코딩 모드에 의존하도록 설계된다. 인트라 코딩된 블록들에 대해, 위의 식 (3) 이 여전히 사용된다. 인터 코딩된 블록들에 대해, 다음의 식이 적용된다:
σd 에 대한 상이한 값들은 인터 예측 블록에 대한 필터 강도가 인트라 예측 블록의 필터 강도에 비해 상대적으로 더 약하다는 것을 의미한다. 인터 예측된 블록은 전형적으로 인트라 예측된 블록보다 더 작은 잔차를 가지고, 따라서 양방향 필터는 인터 예측된 블록의 재구성을 더 적게 필터링하도록 설계된다.
출력 필터링된 샘플 값 ID(i,j) 은 다음과 같이 계산된다:
필터가 샘플과 그의 4-이웃들에만 닿는다는 사실에 기인하여, 이 방정식은 다음과 같이 쓸 수 있다:
여기서, IC 는 중심 샘플의 세기이고, IL, IR, IA 및 IB 는 각각 좌측, 우측, 상측 및 하측 샘플의 세기이다. 마찬가지로, ωC 는 중앙 샘플에 대한 가중치이고, ωL, ωR, ωA 및 ωB 는 이웃 샘플들에 대한 대응하는 가중치들이다. 필터는 필터링을 위해 블록 내 샘플 만 사용한다; 외부 가중치들은 0 으로 설정된다.
계산 횟수를 줄이기 위해, JEM 에서의 양방향 필터는 LUT (look-up-table) 를 사용하여 구현되었다. 모든 QP 에 대해, 값들 ωL, ωR, ωA 및 ωB 에 대한 1 차원 LUT 가 존재하며, 여기에 값
(8)
이 저장되고, 여기서 σr 2 은 QP 에 따라 식 (4) 를 사용하여 계산된다. LUT 에서 σd = 0.92 - 4/40 = 0.82 이므로, 그것은 1.0 을 나타내는, 65 의 중앙 가중치를 갖는 4 와 동일한 최소값 (M, N) 을 갖는 인트라 MxN 케이스에 대해 직접 사용될 수 있다. 다른 모드 (즉, 인트라 MxN 이지만 4 와 동일하지 않은 최소값 (M, N), 인터 KxL 블록들) 의 경우, 동일한 LUT 을 사용하지만 대신 다음의 중앙 가중치를 사용한다:
여기서, σd 는 (3) 또는 (5) 에 의해 얻어진다. 최종 필터링된 값은 다음과 같이 계산된다:
여기서 사용된 제산은 정수 제산이고, 항 (ωC + ωL + ωR + ωA + ωB) >> 1 이 올바른 라운딩을 얻기 위해 가산된다.
JEM 참조 소프트웨어에서, 식 2 의 제산 연산은 룩업 테이블 (LUT), 곱셈 및 시프트 연산으로 대체된다. 분자와 분모의 크기를 줄이기 위해, 방정식 2 는 다음으로 추가로 정제된다:
JEM 참조 소프트웨어에서, 식 11 은 두 개의 룩업 테이블에 의해 제산이 구현될 수 있는 방식으로 구현되며, (11) 은 다음과 같이 다시 쓰여질 수 있다:
두 개의 룩업 테이블은 시프팅 후 각 1/x (x 는 양의 정수 값) 에 대한 근사값을 얻기 위한 룩업 테이블 LUT, 및 입력 x 에 대한 추가 시프트 값을 정의하기 위한 룩업 테이블 DivShift 이다. J. Strom, P. Wennersten, K. Andersson, J. Enhorn, "EE2-JVET related: Division-free bilateral filter," JVET-F0096, 6th Meeting: Hobart, CH, 31 Mar-7 April 2017 는 더 많은 상세들을 제공한다.
QP<18 이거나 블록이 인터 타입이고 블록 차원들이 16 X 16 이상이면 양방향 필터가 턴 오프된다. 제안된 양방향 필터링 방법은 적어도 하나의 비제로 계수들을 갖는 루마 블록들에만 적용된다는 것을 유의해야 한다. 일 예에서, 모두 제로 계수들을 갖는 크로마 블록들 및 루마 블록들에 대해, 양방향 필터링 방법은 항상 불가능하게 된다.
도 5 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그의 이웃하는 4 개의 샘플의 예를 도시한다. TU 상측 및 좌측 경계들 (즉, 상측 행 및 좌측 열) 에 위치된 샘플들에 대해, 도 5 에 도시된 바와 같이, 현재 TU 내의 이웃 샘플들만이 현재 샘플을 필터링하는데 사용될 수도 있다.
JVET-D0069, JVET-E0032 및 JVET-F0096 에서 제안된 양방향 필터링의 설계는 몇 가지 문제점을 가질 수도 있다. 일례로서, 제산이 룩업 테이블로 대체 되더라도, 계산 복잡도는 여전히 상대적으로 높으며, 이는 고정밀 곱셈을 요구한다. 다른 예로서, 모든 비디오 시퀀스에 대해 고정된 가중화 파라미터를 갖는 양방향 필터의 설계는 비디오 컨텐츠의 특징을 완전히 캡쳐하지 못할 수도 있다. 본 개시는 이러한 문제점 및 다른 문제를 해결하기 위해 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 구현될 수 있는 기법을 소개한다. 따라서, 본 개시의 기법은 양방향 필터링과 연관된 코딩 이득을 여전히 달성하면서 양방향 필터링을 구현하는 것과 연관된 복잡성을 감소시킴으로써 비디오 인코더 (20) 및 비디오 디코더 (30) 의 기능을 개선할 수 있다. 양방향 필터링과 연관된 복잡성을 감소시키는 것은 비디오 인코더 (20) 및 비디오 디코더 (30) 가 비디오 데이터를 보다 신속하게 처리하고, 덜 정교한 하드웨어를 사용하여 구현되고, 보다 나은 배터리 수명을 달성하고, 및/또는 다른 개선을 달성하는 것을 가능하게 한다.
위에서 소개된 문제점들을 잠재적으로 해결하기 위해, 본 개시는 DFBil (division-free bilateral filtering) 방법을 제안한다. 필터링될 하나의 샘플에 대해, DFBil 필터링 프로세스는 다음과 같이 정의될 수 있다:
여기서, IC 는 현재 샘플의 세기이고, IF 는 DFBil 을 수행한 후의 현재 샘플의 변경된 세기이며, Ii 및 wi 는 각각 m 번째 이웃 샘플에 대한 세기 및 가중화
파라미터이다.
본 개시의 일 기법에 따르면, 비디오 디코더 (30) 는 템플릿 내에 위치된 이웃 샘플들을 이용하여 양방향 필터링을 구현할 수도 있다. 일 예에서, 템플릿은 현재 샘플에 공간적으로 가까운 여러 이웃 샘플을 포함할 수 있다. DFBil 에서 사용된 현재 샘플 및 이웃 샘플들의 예가 도 6 에 도시되어 있다. 일 예에서, 템플릿은 이전에 코딩된 프레임들 또는 참조 픽처들의 병치된 위치들로부터인 하나 이상의 이웃 샘플들을 포함할 수 있다. 일 예에서, 템플릿은 현재 샘플에 공간적으로 가까운 샘플들 및 이전에 코딩된 픽처들 또는 참조 픽처들의 병치된 위치들로부터인 샘플들을 포함할 수 있다. 일 예에서, 템플릿은 현재 샘플에 공간적으로 가까운 샘플들, 이전에 코딩된 픽처들 또는 참조 픽처들의 병치된 위치들로부터인 샘플들, 및 다른 픽처들 내의 병치된 위치들에서의 샘플들에 공간적으로 가까운 샘플들을 포함할 수 있다. 템플릿 및/또는 이웃 샘플들의 총 개수 (N) 는 모든 경우에 대해 미리 정의되고 고정될 수도 있다. 대안적으로, 템플릿 및/또는 N 은 디코더에 의해 수신되도록 인코더에 의해 시그널링될 수 있다. 대안적으로, 템플릿 및/또는 N 은 모드 정보 및/또는 모션 정보를 포함하지만 이에 제한되지 않는 코딩된 정보 마다 적응적으로 변경될 수도 있다. 본 개시의 다른 기법에 따르면, 가중화 팩터 wi 는 두 부분으로 표현될 수 있으며, 한 부분 (Disi 로 표시됨) 은 현재 샘플과 하나의 이웃 샘플 사이의 거리 정보를 포함하고, 다른 부분 (Rangi 로 표시됨) 은 샘플 차이 정보를 포함한다. 일례로, wi = Disi * Rangi 이다. Rangi 는 또한 현재 샘플을 커버하는 블록의 양자화 파라미터 (QP) 에 의존하고 및/또는 재구성된 샘플 및/또는 오리지날 샘플 (시그널링될 수도 있음) 에 기초한 로컬 샘플 특징에 기초할 수도 있다. 일 예에서, 로컬 영역에서의 샘플 특징은 예를 들어 픽셀 분산, 구조 정보, 구조적 유사성 지수로 표현될 수도 있다. 거리는 sqrt((xi-xc)2 + (yi-yc)2) 또는 ((xi-xc)2 + (yi-yc)2) 과 같은 f(xi-xc, yi-yc) 의 함수에 의해 정의될 수 있으며, 여기서 (xc, yc) 는 현재 샘플의 좌표를 나타내고 (xi, yi) 는 이웃 샘플의 좌표를 나타낸다. Disi 는 또한 코딩된 모드 정보, 변환 정보, 모션 정보 및/또는 예측 방향에 의존할 수도 있다. 일례에서, 인트라 및 인터 코딩된 블록에 위치된 2 개의 샘플에 대해, Disi 는 i 번째 이웃 샘플과 현재 샘플이 동일하거나 Rangi 가 동일한 경우에도 인터 코딩된 샘플에 대해 더 작은 값으로 설정될 수도 있다. Rangi 에 대한 둘 이상의 후보가 허용될 수도 있고 다수의 후보들 중 하나가 실제의 Rangi 을 결정하기 위해 하나의 샘플/블록/파티션에 대해 선택될 수도 있다. 일례에서, 그 후보는 QP 차이를 나타낼 수도 있다. Disi 에 대한 둘 이상의 후보가 허용될 수도 있고 다수의 후보들 중 하나가 하나의 샘플, 블록, 또는 파티션에 대해 선택될 수도 있다. 일례에서, 후보는 현재 샘플과 이웃 샘플들 사이의 일반적인 가중화 차이를 나타낼 수 있다. Disi, 또는 Rangi, 또는 wi 는 또한 슬라이스 타입, 타일 및/또는 슬라이스 내의 좌상측 샘플에 대한 현재 샘플을 커버하는 블록의 로케이션, 또는 현재 샘플을 커버하는 블록의 좌상측 샘플에 대한 현재 샘플의 위치, 또는 샘플이 하나의 블록의 경계에 위치하는지 여부, 또는 픽셀 분산에 기초한 분류된 영역들에 따라 변할 수도 있다. 일 예에서, 더욱이, 픽셀 분산 계산을 위한 영역은 디코더에 의한 수신을 위해 인코더에 의해 비트 스트림에서 미리 정의되거나 시그널링될 수도 있다. Disi, Rangi, wi 는 필터링될 각 샘플에 대해 파라미터들을 즉석에서 (on-the-fly) 계산할 필요가 없도록 룩업 테이블에 의해 정의될 수도 있다. 본 개시의 다른 기법에 따르면, 비디오 디코더 (30) 는 디블로킹 필터 프로세스 직후에 DFBil 을 호출할 수도 있다. DFBil 은 블록의 재구성 프로세스 직후에 호출될 수도 있다. DFBil 은 인트라 예측 또는 모션 보상 후에 예측 블록에 적용될 수도 있다. 또는 DFBil 은 인트라 예측에 사용되는 참조 샘플에 적용될 수도 있다. DFBil 및 다른 인-루프 필터의 순서는 비디오 데이터의 슬라이스 타입에 의존할 수도 있다. DFBil 및 다른 인-루프 필터의 순서는 미리 정의될 수도 있다. 또는 그 순서는 적응적으로 변경될 수 있고 그 적응적 순서는 코딩된 정보에 기초하여 명시적으로 시그널링되거나 도출될 수도 있다. 본 개시의 다른 기법에 따르면, 비디오 디코더 (30) 는 예를 들어 LCU/CU/쿼드트리 파티션과 함께, 유닛당 DFBil 에 의해 요구되는 (상술된 Disi 및 Rangi 에 대한 후보 인덱스와 같은) 파라미터를 수신할 수도 있다. 일례에서, 각각의 유닛에 대해, DFBil 이 가능하게 되거나 불가능하게 될 수도 있다. 즉, DFBil 의 사용을 나타내는 하나의 추가 비트가 인코더에 의해 추가로 시그널링되고 디코더에 의해 수신될 수도 있다. 일례에서, 각각의 슬라이스에 대해, 현재 슬라이스 내의 모든 블록이 DFBil 에 의해 필터링되지 않아야 하는지 여부를 나타내가 위해 하나의 플래그가 인코더에 의해 먼저 시그널링되고 디코더에 의해 수신될 수도 있다. 일 예에서, HEVC 에 채용된 쿼드트리 구조와 유사하게, DFBil 의 시그널링은 또한 일부의 변화와 함께 쿼드트리 설계를 따를 수도 있다. 하나의 그러한 변화는 'LCU' 가 전체 슬라이스 및/또는 타일로 대체될 수 있는 것, 즉 쿼드트리 구조의 노드가 전체 슬라이스 및/또는 타일이라는 것이다. 또 다른 잠재적인 변화는 첫 번째 분할에 대해 영역 크기가 (2K, 2K) 로서 정의될 수도 있다는 것이며, 여기서 K 는 양의 정수이고 2K 은 슬라이스 및/또는 타일 너비보다 작고 2K + 1 은 슬라이스 및/또는 타일 너비보다 작지 않다. 나머지 분할의 경우, 영역 크기가 1/4 만큼 감소되며, 즉, 높이와 너비가 모두 절반으로 감소될 수도 있다. 다른 잠재적인 변화는 DFBil 을 시그널링하기 위한 최소 크기가 64x64 와 같이 미리 정의되거나 비트스트림에서 시그널링될 수도 있다는 것이다.
하나의 예시적인 구현에서, 위에서 정의된 바와 같이, 필터링 프로세스는 다음에 의해 표현될 수 있다:
여기서, minDFBilQP 는 DFBil 이 적용되는 최소 QP 를 나타내며, 예를 들어 그것은 17 로 설정된다. Indexd 및 Indexr 은 CU, LCU, 쿼드-트리 파티션, 슬라이스, 또는 픽처마다 시그널링될 수도 있다는 것을 유의해야 한다. RCandNum 은 σr 결정을 위한 총 후보 수를 나타내고, 어레이 DCandidateList 는 σd 결정을 위한 후보 리스트를 나타낸다.
예에 있어서, N 은 12 로 설정되고, RCanNum 은 5 로 설정된다. DCandidateList 는 [52, 62, 72, 82] 로 설정된다. 대안적으로, DCandidateList 는 슬라이스 타입 또는 코드 모드에 의존할 수도 있다. 일례에서, 리스트 크기는 모든 경우에 동일하다; 대안적으로, 리스트 크기는 상이한 코딩된 정보에 대해 상이할 수도 있다.
도 7 은 본 개시에서 설명된 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 를 나타내는 블록도이다. 비디오 인코더 (20) 는 비디오 슬라이스들 내에서 비디오 블록들의 인트라 및 인터 코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 또는 픽처 내의 비디오에서 공간적 리던던시를 감소시키거나 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접한 프레임들 또는 픽처들 내 비디오에 있어서 시간 리던던시를 감소 또는 제거하기 위해 시간 예측에 의존한다. 인트라 모드 (I 모드) 는 여러 공간 기반의 압축 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양방향 예측 (B 모드) 과 같은 인터 모드들은 수개의 시간 기반 압축 모드들 중 임의의 모드를 지칭할 수도 있다.
도 7 의 예에 있어서, 비디오 인코더 (20) 는 비디오 데이터 메모리 (33), 파티셔닝 유닛 (35), 예측 프로세싱 유닛 (41), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 예측 프로세싱 유닛 (41) 은 모션 추정 유닛 (MEU) (42), 모션 보상 유닛 (MCU) (44) 및 인트라 예측 유닛 (46) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 프로세싱 유닛 (60), 합산기 (62), 필터 유닛 (64), 및 디코딩된 픽처 버퍼 (DPB) (66) 를 포함한다. 도 7 에 도시된 바와 같이, 비디오 인코더 (20) 는 비디오 데이터를 수신하고, 그 수신된 비디오 데이터를 비디오 데이터 메모리 (33) 에 저장한다. 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 컴포넌트들에 의해 인코딩될 비디오 데이터를 저장할 수도 있다. 비디오 데이터 메모리 (33) 에 저장된 비디오 데이터는, 예를 들어, 비디오 소스 (18) 로부터 획득될 수도 있다. DPB (66) 는, 예컨대 인트라 또는 인터 코딩 모드들에서, 비디오 인코더 (20) 에 의해 비디오 데이터를 인코딩함에 있어서 사용하기 위한 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (33) 및 DPB (66) 는 다양한 메모리 디바이스들, 이를 테면, SDRAM (synchronous DRAM), MRAM (magnetoresistive RAM), RRAM (resistive RAM) 을 포함하는 DRAM (Dynamic random access memory), 또는 다른 유형들의 메모리 디바이스들의 어느 것에 의해 형성될 수도 있다. 비디오 데이터 메모리 (33) 및 DPB (66) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에 있어서, 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 다른 컴포넌트들과 온-칩형이거나 또는 그들 컴포넌트들에 대하여 오프-칩형일 수도 있다. 파티셔닝 유닛 (35) 은 비디오 데이터 메모리 (33) 로부터 비디오 데이터를 수신하고, 그 비디오 데이터를 비디오 블록들로 파티셔닝한다. 이 파티셔닝은 또한, 슬라이스 (slice) 들, 타일 (tile) 들, 또는 다른 더 큰 유닛들로의 파티셔닝뿐만 아니라, 예컨대, LCU 들 및 CU 들의 쿼드트리 구조에 따른 비디오 블록 파티셔닝을 포함할 수도 있다. 비디오 인코더 (20) 는 인코딩되어야 할 비디오 슬라이스 내의 비디오 블록들을 인코딩하는 컴포넌트들을 일반적으로 예시한다. 슬라이스는 다수의 비디오 블록들로 (그리고 아마도 타일들로서 지칭되는 비디오 블록들의 셋트들로) 분할될 수도 있다. 예측 프로세싱 유닛 (41) 은 에러 결과들 (예를 들어, 코딩 레이트 및 왜곡의 레벨) 에 기초하여 현재의 비디오 블록에 대해 복수의 인트라 코딩 모드들 중 하나 또는 복수의 인터 코딩 모드들 중 하나와 같이 복수의 가능한 코딩 모드들 중 하나를 선택할 수도 있다. 예측 프로세싱 유닛 (41) 은 결과적인 인트라- 또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔차 블록 데이터를 생성하고, 합산기 (62) 에 제공하여 참조 픽처로서의 사용을 위한 인코딩된 블록을 재구성할 수도 있다. 예측 프로세싱 유닛 (41) 내의 인트라 예측 유닛 (46) 은 공간 압축을 제공하기 위해, 코딩될 현재 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록들에 관해 현재 비디오 블록의 인트라-예측 코딩을 수행할 수도 있다. 예측 프로세싱 유닛 (41) 내의 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 압축을 제공하기 위해 하나 이상의 참조 픽처들에서의 하나 이상의 예측 블록들에 관해 현재 비디오 블록의 인터-예측 코딩을 수행한다.
모션 추정 유닛 (42) 은 비디오 시퀀스에 대한 미리결정된 패턴에 따라 비디오 슬라이스에 대한 인터-예측 모드를 결정하도록 구성될 수도 있다. 미리결정된 패턴은 비디오 슬라이스들을 P 슬라이스들 또는 B 슬라이스들로서 시퀀스로 지정할 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 집적화될 수도 있지만, 개념적 목적들을 위해 별개로 예시되어 있다. 모션 추정 유닛 (42) 에 의해 수행된 모션 추정은 비디오 블록들을 위한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 참조 픽처 내에서의 예측 블록에 관한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU 의 변위를 표시할 수도 있다.
예측 블록은 픽셀 차이의 관점에서 코딩될 비디오 블록의 PU 와 밀접하게 매칭되도록 발견되는 블록이며, 이 픽셀 차이는 절대 차이의 합 (SAD), 제곱 차이의 합 (SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 일부 예들에 있어서, 비디오 인코더 (20) 는 DPB (66) 에 저장된 참조 픽처들의 서브-정수 픽셀 포지션들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수의 픽셀 포지션들의 값들을 보간할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 풀 픽셀 포지션들 및 분수 픽셀 포지션들에 관한 모션 탐색을 수행하고, 분수 픽셀 정밀도로 모션 벡터를 출력할 수도 있다.
모션 추정 유닛 (42) 은 인터-코딩된 슬라이스에서의 비디오 블록의 PU 에 대한 모션 벡터를, 그 PU 의 포지션을 레퍼런스 픽처의 예측 블록의 포지션과 비교함으로써 계산한다. 참조 픽처는 제 1 레퍼런스 픽처 리스트 (List 0) 또는 제 2 레퍼런스 픽처 리스트 (List 1) 로부터 선택될 수도 있고, 이들의 각각은 DPB (66) 내에 저장된 하나 이상의 참조 픽처들을 식별한다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.
모션 보상 유닛 (44) 에 의해 수행된 모션 보상은, 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페칭 또는 생성하는 것을, 가능하게는 서브-픽셀 정밀도에 대한 보간들을 수행하는 것을 수반할 수도 있다. 현재 비디오 블록의 PU 에 대한 모션 벡터를 수신할 시, 모션 보상 유닛 (44) 은, 모션 벡터가 참조 픽처 리스트들 중 하나에 포인팅하는 예측 블록을 로케이팅할 수도 있다. 비디오 인코더 (20) 는, 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여 픽셀 차이 값들을 형성함으로써 잔차 비디오 블록을 형성한다. 픽셀 차이 값들은 블록에 대한 잔차 데이터를 형성하고, 루마 및 크로마 차이 컴포넌트들 양자를 포함할 수도 있다. 합산기 (50) 는 이러한 감산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 모션 보상 유닛 (44) 은 또한, 비디오 슬라이스의 비디오 블록들을 디코딩함에 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 생성할 수도 있다.
예측 프로세싱 유닛 (41) 이 인터-예측 또는 인트라-예측 중 어느 하나를 통해 현재 비디오 블록에 대한 예측 블록을 생성한 이후, 비디오 인코더 (20) 는 현재 비디오 블록으로부터 예측 블록을 감산함으로써 잔차 비디오 블록을 형성한다. 잔차 블록에서의 잔차 비디오 데이터는 하나 이상의 TU 들 내에 포함될 수도 있고 변환 프로세싱 유닛 (52) 에 적용될 수도 있다. 변환 프로세싱 유닛 (52) 은 이산 코사인 변환 (discrete cosine transform; DCT) 또는 개념적으로 유사한 변환과 같은 변환을 이용하여 잔차 비디오 데이터를 잔차 변환 계수들로 변환한다. 변환 프로세싱 유닛 (52) 은 잔차 비디오 데이터를 픽셀 도메인으로부터, 주파수 도메인과 같은 변환 도메인으로 변환할 수도 있다. 변환 프로세싱 유닛 (52) 은 결과적인 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 추가로 감소시키기 위해 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다. 그 다음, 일부 예들에 있어서, 양자화 유닛 (54) 은, 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수도 있다. 또 다른 예에서, 엔트로피 인코딩 유닛 (56) 은 스캔을 수행할 수도 있다. 양자화에 이어서, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 인코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 컨텍스트 적응 가변 길이 코딩 (CAVLC), 컨텍스트 적응 2 진 산술 코딩 (CABAC), 신택스-기반 컨텍스트-적응 2 진 산술 코딩 (SBAC), 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩 또는 또 다른 엔트로피 인코딩 방법론 또는 기법을 수행할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 인코딩에 이어서, 인코딩된 비트스트림은 비디오 디코더 (30) 로 송신되거나, 또는 비디오 디코더 (30) 에 의한 나중의 송신 또는 취출을 위해 아카이브될 수도 있다. 엔트로피 인코딩 유닛 (56) 은 또한, 코딩되고 있는 현재의 비디오 슬라이스에 대한 모션 벡터들 및 다른 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 역양자화 유닛 (58) 및 역변환 프로세싱 유닛 (60) 은, 각각, 역양자화 및 역변환을 적용하여, 참조 픽처의 참조 블록으로서의 나중의 사용을 위해 픽셀 도메인에서 잔차 블록을 재구성한다. 모션 보상 유닛 (44) 은, 참조 픽처 리스트들 중 하나 내에서의 참조 픽처들 중 하나의 참조 픽처의 예측 블록에 잔차 블록을 부가함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한, 하나 이상의 보간 필터들을 재구성된 잔차 블록에 적용하여, 모션 추정에서의 사용을 위한 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 재구성된 잔차 블록을, 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 재구성된 블록을 생성한다. 필터 유닛 (64) 은 재구성된 블록 (예컨대, 합산기 (62) 의 출력) 을 필터링하고, 그 필터링된 재구성된 블록을 참조 블록으로서의 사용들을 위해 DPB (66) 에 저장한다. 참조 블록은, 후속 비디오 프레임 또는 픽처에서의 블록을 인터-예측하기 위해 참조 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다. 필터 유닛 (64) 은 예를 들어 본 개시에서 설명된 무분할 양방향 필터링 기법을 구현할 수도 있다. 필터 유닛 (64) 은 또한 디블록 필터링, SAO 필터링, 피크 SAO 필터링, ALF, 및/또는 GALF, 및/또는 다른 타입들의 루프 필터들과 같은 임의의 타입의 필터링을 수행할 수도 있다. 디블록 필터는, 예를 들어, 블록 경계들을 필터링하여 재구성된 비디오로부터 블록키니스 아티팩트들을 제거하기 위해 디블록킹 필터링을 적용할 수도 있다. 피크 SAO 필터는 전체적인 코딩 품질을 향상시키기 위해 재구성된 픽셀 값들에 오프셋들을 적용할 수도 있다. 부가적인 루프 필터들 (인 루프 (in loop) 또는 포스트 루프 (post loop)) 이 또한 사용될 수도 있다. 도 8 은 본 개시에서 설명된 기법들을 구현할 수도 있는 예시적인 비디오 디코더 (30) 를 나타내는 블록도이다. 도 8 의 비디오 디코더 (30) 는, 예를 들어, 도 7 의 비디오 인코더 (20) 에 대해 상기 설명된 시그널링을 수신하도록 구성될 수도 있다. 도 8 의 예에서, 비디오 디코더 (30) 는 비디오 데이터 메모리 (78), 엔트로피 디코딩 유닛 (80), 예측 프로세싱 유닛 (81), 역 양자화 유닛 (86), 역 변환 프로세싱 유닛 (88), 합산기 (90), 필터 유닛 (92), 및 DPB (94) 를 포함한다. 예측 프로세싱 유닛 (81) 은 모션 보상 유닛 (82) 및 인트라 예측 프로세싱 유닛 (84) 을 포함한다. 비디오 디코더 (30) 는, 일부 예들에서, 도 7 로부터의 비디오 인코더 (20) 에 대하여 설명된 인코딩 패스와 일반적으로 상반되는 디코딩 패스를 수행할 수도 있다. 디코딩 프로세스 동안, 비디오 디코더 (30) 는 연관된 신택스 엘리먼트들 및 인코딩된 비디오 슬라이스의 비디오 블록들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 는 수신된 인코딩된 비디오 비트스트림을 비디오 데이터 메모리 (78) 에 저장한다. 비디오 데이터 메모리 (78) 는, 비디오 디코더 (30) 의 컴포넌트들에 의해 디코딩될, 비디오 데이터, 이를 테면 인코딩된 비디오 비트스트림을 저장할 수도 있다. 비디오 데이터 메모리 (78) 에 저장된 비디오 데이터는, 예를 들어, 링크 (16) 를 통해, 저장 디바이스 (26) 로부터, 또는 로컬 비디오 소스, 이를 테면 카메라로부터, 또는 물리적 데이터 저장 매체들에 액세스함으로써 획득될 수도 있다. 비디오 데이터 메모리 (78) 는, 인코딩된 비디오 비트스트림으로부터의 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼 (CPB) 를 형성할 수도 있다. DPB (94) 는, 예를 들어, 인트라 또는 인터 코딩 모드들에서 비디오 디코더 (30) 에 의해 비디오 데이터를 디코딩함에 있어서 사용하기 위해 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (78) 및 DPB (94) 는 DRAM, SDRAM, MRAM, RRAM, 또는 다른 타입들의 메모리 디바이스들과 같은 다양한 메모리 디바이스들의 임의의 것에 의해 형성될 수도 있다. 비디오 데이터 메모리 (78) 및 DPB (94) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, 비디오 데이터 메모리 (78) 는 비디오 디코더 (30) 의 다른 컴포넌트들과 온-칩일 수도 있거나, 또는 그 컴포넌트들에 대하여 오프-칩일 수도 있다. 비디오 디코더 (30)의 엔트로피 디코딩 유닛 (80) 은 양자화된 계수들, 모션 벡터들, 및 다른 신택스 엘리먼트들을 생성하기 위해 비디오 데이터 메모리 (78) 에 저장된 비디오 데이터를 엔트로피 디코딩한다. 엔트로피 디코딩 유닛 (80) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 예측 프로세싱 유닛 (81) 으로 포워딩한다. 비디오 디코더 (30) 는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수도 있다. 비디오 슬라이스가 인트라 코딩된 (I) 슬라이스로서 코딩될 때, 예측 프로세싱 유닛 (81) 의 인트라 예측 프로세싱 유닛 (84) 은, 현재 프레임 또는 화상의 이전에 디코딩된 블록들로부터 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수도 있다. 비디오 프레임이 인터 코딩된 슬라이스 (예를 들어, B 슬라이스 또는 P 슬라이스) 로서 코딩될 때, 예측 프로세싱 유닛 (81) 의 모션 보상 유닛 (82) 은 엔트로피 디코딩 유닛 (80) 으로부터 수신된 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 생성한다. 예측 블록들은 참조 픽처 리스트들 중 하나의 참조 픽처 리스트 내의 참조 픽처들 중 하나의 참조 픽처로부터 생성될 수도 있다. 비디오 디코더 (30) 는 DPB (94) 에 저장된 참조 픽처들에 기초하여 디폴트 구성 기법들을 이용하여 참조 프레임 리스트들, List 0 및 List 1 을 구성할 수도 있다.
모션 보상 유닛 (82) 은, 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱 (parsing) 함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 디코딩되는 현재 비디오 블록에 대한 예측 블록들을 생성하기 위해 에측 정보를 이용한다. 예를 들어, 모션 보상 유닛 (82) 은, 비디오 슬라이스의 비디오 블록들을 코딩하는데 이용되는 예측 모드 (예를 들어, 인트라- 또는 인터-예측), 인터-예측 슬라이스 타입 (예를 들어, B 슬라이스 또는 P 슬라이스), 슬라이스에 대한 참조 픽처 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터-인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터-코딩된 비디오 블록에 대한 인터-예측 스테이터스, 및 현재 비디오 슬라이스에서 비디오 블록들을 디코딩하기 위한 다른 정보를 결정하기 위해 수신된 신택스 엘리먼트들의 일부를 이용한다.
모션 보상 유닛 (82) 은 또한, 보간 필터들에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛 (82) 은 참조 블록들의 서브-정보 픽셀들에 대한 보간된 값들을 계산하기 위해 비디오 블록들의 인코딩 동안 비디오 인코더 (20) 에 의해 이용되는 바와 같이 보간 필터들을 이용할 수도 있다. 이 경우에, 모션 보상 유닛 (82) 은 수신된 신택스 엘리먼트들로부터 비디오 인코더 (20) 에 의해 이용되는 보간 필터들을 결정하고, 예측 블록들을 생성하기 위해 보간 필터들을 이용할 수도 있다.
역 양자화 유닛 (86) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (80) 에 의해 디코딩된 양자화된 변환 계수들을 역 양자화, 즉, 탈양자화한다 (de-quantize). 역 양자화 프로세스는, 양자화도, 그리고, 마찬가지로, 적용되어야 하는 역 양자화도를 결정하기 위해, 비디오 슬라이스에서 각각의 비디오 블록에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터의 이용을 포함할 수도 있다. 역 변환 프로세싱 유닛 (88) 은 픽셀 도메인에서 잔차 블록들을 생성하기 위하여 변환 계수들에, 역 변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념상 유사한 역 변환 프로세스를 적용한다. 예측 프로세싱 유닛 (81) 이 예를 들어 인트라 또는 인터 예측을 이용하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 비디오 디코더 (30) 는 역 변환 프로세싱 유닛 (88) 으로부터의 잔차 블록들을 대응하는 예측 블록들과 합산함으로써 복원된 비디오 블록을 형성한다. 합산기(90)는 이 합산 동작을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 필터 유닛 (92) 은 재구성된 블록 (예컨대, 합산기 (90) 의 출력) 을 필터링하고, 그 필터링된 재구성된 블록을 참조 블록으로서의 사용들을 위해 DPB (94) 에 저장한다. 참조 블록은, 후속 비디오 프레임 또는 픽처에서의 블록을 인터-예측하기 위해 참조 블록으로서 모션 보상 유닛 (82) 에 의해 사용될 수도 있다. 필터 유닛 (92) 은 예를 들어 본 개시에서 설명된 무분할 양방향 필터링 기법을 구현할 수도 있다. 필터 유닛 (92) 은 또한 디블록 필터링, SAO 필터링, SAO 필터링, ALF, 및/또는 GALF, 양방향 필터링, 및/또는 다른 타입들의 루프 필터들과 같은 임의의 타입의 필터링을 수행할 수도 있다. 디블록 필터는, 예를 들어, 블록 경계들을 필터링하여 재구성된 비디오로부터 블록키니스 아티팩트들을 제거하기 위해 디블록킹 필터링을 적용할 수도 있다. SAO 필터는 전체적인 코딩 품질을 향상시키기 위해 재구성된 픽셀 값들에 오프셋들을 적용할 수도 있다. 추가적인 루프 필터들 (인 루프 (in loop) 또는 포스트 루프 (post loop)) 이 또한 사용될 수도 있다. 그 후, 소정의 프레임 또는 픽처에 있어서의 디코딩된 비디오 블록들이 DPB (94) 에 저장되고, 이 DPB 는 후속적인 모션 보상을 위해 사용되는 참조 픽처들을 저장한다. DPB (94) 는 도 1 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상으로의 나중의 프리젠테이션을 위해 디코딩된 비디오를 저장하는 추가적인 메모리의 일부일 수도 있거나 그 추가적인 메모리로부터 분리될 수도 있다. 도 9 는 필터 유닛 (92) 의 일 예시적인 구현을 나타낸다. 필터 유닛 (64) 은 동일한 방식으로 구현될 수도 있다. 필터 유닛들 (64 및 92) 은, 가능하게는 비디오 인코더 (20) 또는 비디오 디코더 (30) 의 다른 컴포넌트들과 함께, 본 개시의 기법들을 수행할 수도 있다. 도 9 의 예에서, 필터 유닛 (92) 은 JEM 6 에서 구현된 바와 같은, 디블록 필터 (102), SAO 필터 (104), 및 ALF/GALF 필터 (106) 를 포함한다. 필터 유닛 (92) 은 또한 양방향 필터 (108) 를 포함한다. 도 9 의 예에 도시된 바와 같이, 양방향 필터 (108) 는 디블록 필터 (102), SAO 필터 (104) 및/또는 ALF/GLAF 필터 (106) 와 별도로 또는 디블록 필터 (102), SAO 필터 (104) 및/또는 ALF/GLAF 필터 (106) 와 함께 사용될 수도 있다. 대안적인 구현들에서, 필터 유닛 (92) 은 도 9 에 도시된 것들보다 더 적은 필터들을 포함할 수도 있고 및/또는 추가적인 필터들을 포함할 수도 있다. 부가적으로 또는 대안으로, 도 9 에 나타낸 특정의 필터들은 도 9 에 도시된 것과 상이한 순서로 구현될 수도 있다.
도 10 은 본 개시물의 기법에 따른, 비디오 데이터를 디코딩하는 비디오 디코더의 예시적인 동작을 예시하는 플로우차트이다. 도 10 을 참조하여 설명된 비디오 디코더는, 예를 들어, 디스플레이 가능한 디코딩된 비디오를 출력하기 위한, 비디오 디코더 (30) 와 같은 비디오 디코더일 수도 있거나, 역양자화 유닛 (58), 역변환 프로세싱 유닛 (60), 필터 유닛 (64), 및 DPB (66) 를 포함하는, 비디오 인코더 (20) 의 디코딩 루프와 같이, 비디오 인코더에서 구현된 비디오 디코더일 수도 있다. 도 10 의 기법들에 따르면, 비디오 디코더는 비디오 데이터의 블록에 대한 샘플 값을 결정한다 (202). 비디오 디코더는 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 샘플의 샘플 값에 대한 필터링 동작을 수행한다 (204). 필터링 동작 수행의 일부로서, 비디오 디코더는 샘플 값과 제 1 이웃 샘플의 값 사이의 차이에 대응하는 제 1 차이 값을 결정하고 (206), 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱한다 (208). 비디오 디코더는 또한 샘플 값과 제 2 이웃 샘플의 값 사이의 차이에 대응하는 제 2 차이 값을 결정하고 (210), 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하며 (212), 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 샘플 값에 가산한다 (214). 비디오 디코더는 예를 들어 비디오 데이터의 필터링된 블록을 포함하는 디코딩된 픽처의 일부로서 비디오 데이터의 필터링된 블록을 출력한다. 일부 예들에서, 비디오 데이터의 필터링된 블록은 출력되기 전에 추가 필터링을 겪을 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 이를 통해 송신되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체, 또는 예를 들면, 통신 프로토콜에 따라, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수도 있다. 이런 방식으로, 컴퓨터 판독가능 매체는 일반적으로, (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품이 컴퓨터 판독가능 매체를 포함할 수도 있다. 제한이 아닌 일 예로, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 커넥션들, 캐리어파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않지만 대신 비일시적인 유형의 저장 매체들로 지향됨을 이해해야 한다. 본원에서 이용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크(disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 또한, 상기의 조합은 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 프로세서들, 이를 테면 하나 이상의 DSP들, 범용 마이크로프로세서들, ASIC들, FPGA들, 또는 다른 등가의 집적 또는 이산 로직 회로부에 의해 실행될 수도 있다. 이에 따라, 용어 "프로세서" 는, 본 명세서에서 사용된 바와 같이, 전술한 구조 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 추가로, 일부 양태들에서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/똔느 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 통합될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC 들의 세트 (예를 들면, 칩 세트) 를 포함하는, 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하는 것은 아니다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에서 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하는, 상호동작가능한 하드웨어 유닛들의 콜렉션에 의해 제공될 수도 있다.
다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.
비디오 디코더는 수신된 잔차 데이터를 역 양자화하고 역변환하여 비디오 인코더에 의해 계산된 잔차 데이터를 결정한다. 변환 및 양자화는 손실 프로세스일 수 있으므로, 비디오 디코더에 의해 결정된 잔차 데이터는 인코더에 의해 계산된 잔차 데이터와 정확하게 일치하지 않을 수도 있다. 비디오 디코더는 예측 블록 단독보다 더 근접하게 오리지날 비디오 블록과 일치하는 재구성된 비디오 블록을 생성하기 위해 예측 블록에 잔차 데이터를 가산한다. 디코딩된 비디오의 품질을 추가로 개선하기 위해, 비디오 디코더는 재구성된 비디오 블록에 대해 하나 이상의 필터링 동작을 수행할 수 있다. HEVC (High Efficiency Video Coding) 표준은, 예를 들어, 디블로킹 필터링 및 샘플 적응 오프셋 (SAO) 필터링을 이용한다. 적응 루프 필터링 (ALF) 과 같은 다른 유형의 필터링이 또한 사용될 수도 있다. 이들 필터링 동작에 대한 파라미터는 비디오 인코더에 의해 결정되고 인코딩된 비디오 비트스트림에서 명시적으로 시그널링될 수도 있거나, 또는 인코딩된 비디오 비트스트림에서 명시적으로 시그널링될 파라미터를 필요로 하지 않고 비디오 디코더에 의해 암시적으로 결정될 수도 있다.
미래 세대 비디오 코딩 표준에의 포함을 위해 제안된 다른 유형의 필터링은 양방향 필터링이다. 양방향 필터링에서, 가중치는 현재 샘플의 이웃 샘플에 할당되고, 현재 샘플은 그 가중치, 이웃 샘플의 값, 및 현재 샘플의 값에 기초하여 변경, 즉, 필터링될 수 있다. 양방향 필터링이 임의의 조합 또는 순열로 다른 필터와 함께 적용될 수 있지만, 양방향 필터링은 전형적으로 하나의 블록의 재구성 직후에 적용되어, 필터링된 블록은 다음의 블록을 코딩/디코딩하기 위해 사용될 수 있다. 즉, 양방향 필터는 블록에 디블록 필터링이 적용되기 전에 비디오 데이터의 블록에 적용될 수 있다. 다른 예들에서, 양방향 필터링은 블록의 재구성 직후 및 다음의 블록들을 코딩하기 전에, 또는 디블로킹 필터 직전, 또는 디블로킹 필터 후, 또는 SAO 후 또는 ALF 후에 적용될 수 있다.
디블로킹 필터링은 블록 모양의 디코딩된 비디오를 피하기 위해 블록의 가장자리 주변의 천이들을 평활화한다. 양방향 필터링은 일반적으로 블록 경계를 가로 질러 필터링하지 않고 대신 블록 내의 샘플 만 필터링한다. 예를 들어, 양방향 필터는 일부 코딩 시나리오에서 디블로킹 필터링으로 인한 바람직하지 않은 과도 평활화를 피하는 것을 도움으로써 전체 비디오 코딩 품질을 개선할 수 있다.
본 개시는 양방향 필터링과 관련된 기법들을 기술하고, 보다 구체적으로, 본 개시는 양방향 필터링과 연관된 계산 복잡성을 감소시킬 수 있는 기법들을 기술한다. 일례로서, 본 개시는 양방향 필터링의 기존 구현과 비교할 때, 분할 동작들 및 고정밀 곱셈 연산을 감소시키거나 제거할 수 있는 양방향 필터링을 위한 기법들을 설명한다.
본 명세서에서 사용되는 바와 같이, 용어 "비디오 코딩" 은 일반적으로 비디오 인코딩 또는 비디오 디코딩을 지칭한다. 유사하게, 용어 비디오 코더는 일반적으로 비디오 인코더 또는 비디오 디코더를 지칭할 수도 있다. 또, 비디오 디코딩에 관해 본 개시에서 기술된 특정의 기법들은 또한 비디오 인코딩에 적용될 수도 있고, 그 역도 가능하다. 예를 들어, 비디오 인코더 및 비디오 디코더는 종종 동일한 프로세스, 또는 상호 프로세스를 수행하도록 구성된다. 또한, 비디오 인코더는 일반적으로 비디오 데이터를 인코딩하는 방법을 결정하는 프로세스의 일부로서 비디오 디코딩을 수행한다. 따라서, 반대로 명시적으로 진술되지 않는 한, 비디오 디코딩에 관해 설명된 기법은 또한 비디오 인코더에 의해 수행될 수 없다고 가정되어서는 아니되며, 그 역도 성립한다.
본 개시는 또한 현재 계층, 현재 블록, 현재 픽처, 현재 슬라이스 등과 같은 용어들을 사용한다. 이 개시물의 맥락에서, "현재 (current)" 라는 용어는, 예를 들어, 이전에 또는 이미 코딩된 블록, 픽처, 및 슬라이스 또는 아직 코딩되지 않은 블록, 픽처, 및 슬라이스에 대한 반대로서, 현재 코딩되고 있는 블록, 픽처, 슬라이스 등을 식별하도록 의도된다.
도 1 은 이 개시물에서 기술된 양방향 필터링 기법들을 이용할 수도 있는 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 나타내는 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은, 목적지 디바이스 (14) 에 의해 더 나중 시간에 디코딩될 인코딩된 비디오 데이터를 생성하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 데스크탑 컴퓨터들, 노트북 (즉, 랩탑) 컴퓨터들, 태블릿 컴퓨터들, 셋탑 박스들, 소위 "스마트" 폰들과 같은 전화기 핸드셋들, 소위 "스마트" 패드들, 텔레비전들, 카메라들, 디스플레이 디바이스들, 디지털 미디어 플레이어들, 비디오 게이밍 콘솔들, 비디오 스트리밍 디바이스, 헤드 장착 디스플레이 (HMD) 디바이스 등을 포함한 광범위한 디바이스들 중 임의의 디바이스일 수도 있다. 일부 경우에, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 통신을 위해 갖추어질 수도 있다.
목적지 디바이스 (14) 는 디코딩될 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신할 수도 있다. 링크 (16) 는 인코딩된 비디오 데이터를 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 이동 가능한 임의의 타입의 매체 또는 디바이스일 수도 있다. 일 예에 있어서, 링크 (16) 는, 소스 디바이스 (12) 로 하여금 인코딩된 비디오 데이터를 직접 목적지 디바이스 (14) 로 실시간으로 송신할 수 있게 하는 통신 매체일 수도 있다. 인코딩된 비디오 데이터는 무선 통신 프로토콜과 같은 통신 표준에 따라 변조되고, 목적지 디바이스 (14) 로 송신될 수도 있다. 통신 매체는 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 무선 또는 유선 통신 매체 중 임의의 하나 또는 이들의 조합일 수도 있다. 통신 매체는 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 부분을 형성할 수도 있다. 통신 매체는 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.
다른 예에서, 인코딩된 데이터는 출력 인터페이스 (22) 로부터 저장 디바이스 (26) 로 출력될 수도 있다 유사하게, 인코딩된 데이터는 입력 인터페이스에 의해 저장 디바이스 (26) 로부터 액세스될 수도 있다. 저장 디바이스 (26) 는 하드 드라이브, 블루-레이 디스크들, DVD들, CD-ROM들, 플래시 메모리, 휘발성 또는 비휘발성 메모리, 또는 인코딩된 비디오 데이터를 저장하기 위한 임의의 다른 적합한 디지털 저장 매체들과 같은 다양한 분산된 또는 국부적으로 액세스된 데이터 저장 매체들 중 임의의 데이터 저장 매체를 포함할 수도 있다. 추가의 예에 있어서, 저장 디바이스 (26) 는, 소스 디바이스 (12) 에 의해 생성된 인코딩된 비디오를 보유할 수도 있는 파일 서버 또는 다른 중간 저장 디바이스에 대응할 수도 있다. 목적지 디바이스 (14) 는 저장 디바이스 (26) 로부터의 저장된 비디오 데이터에 스트리밍 또는 다운로드를 통해 액세스할 수도 있다. 파일 서버는, 인코딩된 비디오 데이터를 저장하고 그 인코딩된 비디오 데이터를 목적지 디바이스 (14) 로 송신할 수 있는 임의의 유형의 서버일 수도 있다. 예시적인 파일 서버들은, (예를 들어, 웹사이트용) 웹 서버, FTP 서버, NAS (network attached storage) 디바이스, 또는 로컬 디스크 드라이브를 포함한다. 목적지 디바이스 (14) 는, 인터넷 접속을 포함한, 임의의 표준 데이터 접속을 통해 인코딩된 비디오 데이터에 액세스할 수도 있다. 이것은, 파일 서버 상에 저장된 인코딩된 비디오 데이터를 액세스하는데 적합한 무선 채널 (예컨대, Wi-Fi 접속), 유선 접속 (예컨대, DSL, 케이블 모뎀 등), 또는 양자의 조합을 포함할 수도 있다. 인코딩된 비디오 데이터의 저장 디바이스 (26) 로부터의 송신은 스트리밍 송신, 다운로드 송신, 또는 이들 양자의 조합일 수도 있다.
본 개시의 기법들은 무선 애플리케이션들 또는 설정들로 반드시 한정되는 것은 아니다. 그 기법들은, 공중 경유 (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 예를 들어, 인터넷을 통한 스트리밍 비디오 송신들, 데이터 저장 매체 상의 저장을 위한 디지털 비디오의 인코딩, 데이터 저장 매체 상에 저장된 디지털 비디오의 디코딩, 또는 다른 애플리케이션들과 같은 다양한 멀티미디어 애플리케이션들 중 임의의 애플리케이션들의 지원으로 비디오 코딩에 적용될 수도 있다. 일부 예들에서, 시스템 (10) 은 비디오 스트리밍, 비디오 재생, 비디오 브로드캐스팅, 및/또는 화상 통화 (video telephony) 와 같은 애플리케이션들을 지원하기 위하여 일방향 (one-way) 또는 양방향 (two-way) 비디오 송신을 지원하도록 구성될 수도 있다.
도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 및 출력 인터페이스 (22) 를 포함한다. 일부 경우들에서, 출력 인터페이스 (22) 는 변조기/복조기 (모뎀) 및/또는 송신기를 포함할 수도 있다. 소스 디바이스 (12) 에 있어서, 비디오 소스 (18) 는 비디오 캡처 디바이스, 예를 들어, 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브, 비디오 콘텐츠 제공자로부터 비디오를 수신하기 위한 비디오 피드 인터페이스, 및/또는 컴퓨터 그래픽스 데이터를 소스 비디오로서 생성하기 위한 컴퓨터 그래픽스 시스템과 같은 소스, 또는 그러한 소스들의 조합을 포함할 수도 있다. 일 예로서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 하지만, 본 개시에서 설명된 기법들은 일반적으로 비디오 코딩에 적용가능할 수도 있으며, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다.
캡처되거나 사전-캡처되거나 또는 컴퓨터 생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 데이터는 소스 디바이스 (12) 의 출력 인터페이스 (22) 를 통해 목적지 디바이스 (14) 로 직접 송신될 수도 있다. 인코딩된 비디오 데이터는 또한 (또는 대안적으로), 디코딩 및/또는 재생을 위한 목적지 디바이스 (14) 또는 다른 디바이스들에 의한 더 나중의 액세스를 위해 저장 디바이스 (26) 상으로 저장될 수도 있다.
목적지 디바이스 (14) 는 입력 인터페이스 (28), 비디오 디코더(30), 및 디스플레이 디바이스 (32) 를 포함한다. 일부 경우들에 있어서, 입력 인터페이스 (28) 는 수신기 및/또는 모뎀을 포함할 수도 있다. 목적지 디바이스 (14) 의 입력 인터페이스 (28) 는 인코딩된 비디오 데이터를 링크 (16) 를 통해 수신한다. 링크 (16) 를 통해 통신되는 또는 저장 디바이스 (26) 상에 제공되는 인코딩된 비디오 데이터는, 비디오 데이터를 디코딩함에 있어서 비디오 디코더 (30) 와 같은 비디오 디코더에 의한 사용을 위해 비디오 인코더 (20) 에 의해 생성된 다양한 신택스 엘리먼트들을 포함할 수도 있다. 그러한 신택스 엘리먼트들에는, 통신 매체 상에서 송신되거나 저장 매체 상에 저장되거나 또는 파일 서버에 저장되는 인코딩된 비디오 데이터와 함께 포함될 수도 있다.
디스플레이 디바이스 (32) 는 목적지 디바이스 (14) 와 통합되거나 그 외부에 있을 수도 있다. 일부 예들에 있어서, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함할 수도 있고, 또한, 외부 디스플레이 디바이스와 인터페이싱하도록 구성될 수도 있다. 다른 예들에 있어서, 목적지 디바이스 (14) 는 디스플레이 디바이스일 수도 있다. 일반적으로, 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하며, 이는 액정 디스플레이 (liquid crystal display; LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (organic light emitting diode; OLED) 디스플레이, 또는 다른 유형의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것일 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 고 효율 비디오 코딩 (HEVC) 표준과 같은 비디오 압축 표준에 따라 동작할 수도 있고, HEVC 테스트 모델 (HM) 에 부합할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 추가적으로, ITU-T VCEG (Video Coding Experts Group) 및 ISO/IEC MPEG (Motion Picture Experts Group) 의 JCT-VC (Joint Collaboration Team on Video Coding) 및 JCT-3V (Joint Collaboration Team on 3D Video Coding Extension Development) 에 의해 개발된, 범위 확장과 같은 HEVC 확장, 멀티뷰 확장 (MV-HEVC), 또는 스케일러블 확장 9SHVC) 에 따라 동작할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 는 또한, ISO/IEC MPEG-4, Part 10, AVC (Advanced Video Coding) 로서 대안적으로 지칭되는, ITU-T H.264 표준과 같은 다른 독점적 또는 산업 표준들, 또는 SVC (Scalable Video Coding) 및 MVC (Multi-view Video Coding) 확장들과 같은 이러한 표준들의 확장들에 따라 동작할 수도 있다. 하지만, 본 개시의 기법들은 임의의 특정 코딩 표준으로 한정되지 않는다. 비디오 압축 표준들의 다른 예들은 ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 또는 ISO/IEC MPEG-2 Visual, ITU-T H.263, 및 ISO/IEC MPEG-4 Visual 을 포함한다.
ITU-T VCEG (Q6/16) and ISO/IEC MPEG (JTC 1/SC 29/WG 11) 는, (스크린 콘텐츠 코딩 및 하이-다이내믹-레인지 코딩을 위한 그것의 현재의 확장들 및 단기 확장들을 포함하는) 현재의 HEVC 표준의 것을 현저하게 초과하는 압축 능력을 갖는 미래의 비디오 코딩 기술의 표준화에 대한 잠재적인 필요성을 지금 연구하고 있다. 그 그룹들은 이 영역에서 그들의 전문가들에 의해 제안된 압축 기술 설계들을 평가하기 위해 JVET (Joint Video Exploration Team) 로서 알려진 연합 공동작업 노력에서 이 탐구 활동에 대해 함께 작업하고 있다. JVET 는 2015년 10월 19-21 일 동안 처음 만났다. 참조 소프트웨어의 하나의 버전, 즉, JEM 6 (Joint Exploration Model 6) 는
https://jvet.hhi.fraunhofer.de/svn/svn_HMJEMSoftware/tags/HM-16.6-JEM-6.0/으로부터 다운로드될 수 있다. JEM 6 에 대한 알고리즘 설명은 또한 JVET-F1011 에 기술되어 있다.
본 개시의 기법들은 설명의 용이함을 위해 HEVC 용어를 이용할 수도 있다. 하지만, 이 개시물의 기법들은 HEVC 에 한정되는 것으로 가정되어서는 아니되고, 사실, 이 개시물의 기법들은 HEVC 및 그것의 확장들에 대한 후속 표준들에서 구현될 수도 있음이 명시적으로 고려된다. 예를 들어, 여기에 기술된 기법은 현재 개발중인 H.266 표준 및 그 확장과 함께 사용될 수도 있는 것으로 고려된다.
비록 도 1 에서는 도시되지 않았지만, 일부 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 오디오 인코더 및 디코더와 각각 통합될 수도 있으며, 오디오 및 비디오 양자의 인코딩을 공통 데이터 스트림 또는 별개의 데이터 스트림들로 처리하기 위해 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용가능하다면, 일부 예들에 있어서, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들에 부합할 수도 있다.
비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서(DSP)들, 주문형 집적회로(ASIC)들, 필드 프로그래머블 게이트 어레이(FPGA)들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 회로 또는 디코더 회로 중 임의의 회로로서 구현될 수도 있다. 기법들이 부분적으로 소프트웨어로 구현될 경우, 디바이스는 적합한 비일시적인 컴퓨터 판독가능 매체에 소프트웨어에 대한 명령들을 저장하고, 본 개시의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있는데, 이들 중 어느 일방은 각각의 디바이스에서 결합된 인코더/디코더 (CODEC) 의 부분으로서 통합될 수도 있다.
HEVC 및 다른 비디오 코딩 규격들에 있어서, 비디오 시퀀스는 통상적으로 픽처들의 시리즈를 포함한다. 픽처들은 또한, "프레임" 들로 지칭될 수도 있다. 하나의 예시적인 접근으로, 픽처는 SL, SCb, 및 SCr 로서 표기되는 3 개의 샘플 어레이들을 포함할 수도 있다. 이러한 일 예시적인 접근에서, SL 은 루마 샘플들의 2-차원 어레이 (즉, 블록) 이다. SCb 는 Cb 크로미넌스 샘플들의 2-차원 어레이이다. SCr 는 Cr 크로미넌스 샘플들의 2-차원 어레이이다. 크로미넌스 샘플들은 또한, 본 명세서에서 "크로마 (chroma)" 샘플들로서 지칭될 수도 있다. 다른 경우들에서, 픽처는 단색 (monochrome) 일 수도 있고, 루마 샘플들의 어레이만을 포함할 수도 있다.
픽처의 인코딩된 표현을 생성하기 위하여, 비디오 인코더 (20) 는 코딩 트리 유닛 (CTU) 들의 셋트를 생성할 수도 있다. CTU 들의 각각은 루마 샘플들의 코딩 트리 블록, 크로마 샘플들의 2개의 대응 코딩 트리 블록들, 및 코딩 트리 블록들의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들 또는 3 개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, CTU 는 단일의 코딩 트리 블록, 및 그 코딩 트리 블록의 샘플들을 코딩하는데 사용되는 신택스 구조들을 포함할 수도 있다. 코딩 트리 블록은 샘플들의 NxN 블록일 수도 있다. CTU 는 "트리 블록" 또는 "최대 코딩 유닛" (LCU) 으로 지칭될 수도 있다. HEVC 의 CTU 들은 대체로, H.264/AVC 와 같은 다른 표준들의 매크로블록들에 유사할 수도 있다. 하지만, CTU 가 특정 크기로 반드시 한정되는 것은 아니고 하나 이상의 코딩 유닛들 (CU) 들을 포함할 수도 있다. 슬라이스는 래스터 스캔 순서에서 연속적으로 순서화된 정수 개의 CTU를 포함할 수도 있다.
코딩된 CTU 를 생성하기 위하여, 비디오 인코더 (20) 는 CTU 의 코딩 트리 블록들에 대해 쿼드트리 파티셔닝을 재귀적으로 수행하여, 코딩 트리 블록들을 코딩 블록들, 따라서, 일명 "코딩 트리 유닛들"로 분할할 수도 .있다. 코딩 블록은 샘플들의 NxN 블록일 수도 있다. CU 는 루마 샘플들의 코딩 블록과, 루마 샘플 어레이, Cb 샘플 어레이, 및 Cr 샘플 어레이를 가지는 픽쳐의 크로마 샘플들의 2 개의 대응하는 코딩 블록들과, 코딩 블록들의 샘플들을 코딩하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 단색 픽처들 또는 3 개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, CU 는 단일의 코딩 블록, 및 그 코딩 블록의 샘플들을 코딩하는데 사용된 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 하나 이상의 예측 블록들로 CU 의 코딩 블록을 파티셔닝할 수도 있다. 예측 블록은, 동일한 예측이 적용되는 샘플들의 직사각형 (즉, 정사각형 또는 비정사각형) 블록이다. CU 의 예측 유닛 (PU) 은 루마 샘플들의 예측 블록, 크로마 샘플들의 2 개의 대응하는 예측 블록들, 및 예측 블록들을 예측하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 단색 화상들 또는 3개의 분리된 색 평면들을 포함하는 화상들에서, PU 는 단일 예측 블록 및 그 예측 블록을 예측하는데 이용된 신택스 구조들을 포함할 수도 있다. 비디오 인코더 (20) 는 CU 의 각각의 PU 의 루마, Cb 및 Cr 예측 블록들에 대한 예측성 루마, Cb, 및 Cr 블록들을 생성할 수도 있다.
비디오 인코더 (20) 는 인트라 예측 또는 인터 예측을 이용하여 PU에 대한 예측된 비디오 블록을 생성할 수도 있다. 비디오 인코더 (20) 가 인트라 예측을 이용하여 PU 의 예측 블록들을 생성하는 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다. 비디오 인코더 (20) 가 인터 예측을 이용하여 PU 의 예측 블록들을 생성하는 경우, 비디오 인코더 (20) 는 PU 와 연관된 픽처 이외의 하나 이상의 픽처들의 디코딩된 샘플들에 기초하여 PU 의 예측 블록들을 생성할 수도 있다.
비디오 인코더 (20) 가 CU 의 하나 이상의 PU들에 대한 예측 루마, Cb, 및 Cr 블록들을 생성한 후, 비디오 인코더 (20) 는 CU 에 대한 루마 잔차 블록을 생성할 수도 있다. CU 의 루마 잔차 블록에서의 각각의 샘플은 CU 의 예측성 루마 블록들 중 하나에서의 루마 샘플과 CU 의 오리지널 루마 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낸다. 또한, 비디오 인코더 (20) 는 CU 에 대한 Cb 잔차 블록을 생성할 수도 있다. CU 의 Cb 잔차 블록에서의 각각의 샘플은 CU 의 예측성 Cb 블록들 중 하나에서의 Cb 샘플과 CU 의 오리지널 Cb 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낼 수도 있다. 비디오 인코더 (20) 는 또한, CU 에 대한 Cr 잔차 블록을 생성할 수도 있다. CU 의 Cr 잔차 블록에서의 각각의 샘플은 CU 의 예측성 Cr 블록들 중 하나에서의 Cr 샘플과 CU 의 오리지널 Cr 코딩 블록에서의 대응하는 샘플 간의 차이를 나타낼 수도 있다.
더욱이, 비디오 인코더 (20) 는 쿼드 트리 파티셔닝을 이용하여, CU 의 루마, Cb, 및 Cr 잔차 블록들을 하나 이상의 루마, Cb, 및 Cr 변환 블록들로 분해할 수도 있다. 변환 블록은, 동일한 변환이 적용되는 샘플들의 직사각형 (예를 들어, 정사각형 또는 비정사각형) 블록이다. CU 의 변환 유닛 (TU) 은 루마 샘플들의 변환 블록, 크로마 샘플들의 2 개의 대응하는 변환 블록들, 및 변환 블록 샘플들을 변환하기 위하여 이용된 신택스 구조들을 포함할 수도 있다. 따라서, CU 의 각각의 TU 는 루마 변환 블록, Cb 변환 블록, 및 Cr 변환 블록과 연관될 수도 있다. TU 와 연관된 루마 변환 블록은 CU 의 루마 잔차 블록의 서브-블록일 수도 있다. Cb 변환 블록은 CU 의 Cb 잔차 블록의 서브-블록일 수도 있다. Cr 변환 블록은 CU 의 Cr 잔차 블록의 서브-블록일 수도 있다. 단색 픽처들 또는 3 개의 별개의 컬러 평면들을 갖는 픽처들에 있어서, TU 는 단일의 변환 블록, 및 그 변환 블록의 샘플들을 변환하는데 사용되는 신택스 구조들을 포함할 수도 있다.
비디오 인코더 (20) 는 TU 의 루마 변환 블록에 하나 이상의 변환들을 적용하여 TU 에 대한 루마 계수 블록을 생성할 수도 있다. 계수 블록은 변환 계수들의 2-차원 어레이일 수도 있다. 변환 계수는 스칼라 양일 수도 있다. 비디오 인코더 (20) 는 TU 의 Cb 변환 블록에 하나 이상의 변환들을 적용하여 TU 에 대한 Cb 계수 블록을 생성할 수도 있다. 비디오 인코더 (20) 는 TU 의 Cr 변환 블록에 하나 이상의 변환들을 적용하여 TU 에 대한 Cr 계수 블록을 생성할 수도 있다.
CTU들, CU들, PU들, 및 TU들을 갖는 상기 블록 구조는 일반적으로 HEVC 에서 사용된 블록 구조를 기술한다. 하지만, 다른 비디오 코딩 표준들은 상이한 블록 구조들을 사용할 수도 있다. 하나의 예로서, 비록 HEVC 는 PU들 및 TU들이 상이한 사이즈들 또는 형상들을 갖도록 허용하지만, 다른 비디오 코딩 표준들은 예측 블록들 및 변환 블록들이 동일한 사이즈를 갖도록 요구할 수도 있다. 본 개시의 기법들은 HEVC 의 블록 구조에 한정되지 아니하고, 다른 블록 구조들과 호환가능할 수도 있다. 대안적인 블록 구조의 예로서, JEM 은 쿼드트리 이진 트리 (QTBT) 구조를 이용한다. JEM 의 QTBT 구조는 HEVC 의 CU, PU 및 TU 간의 분리와 같은 다수의 파티션 유형의 개념을 제거한다. JEM의 QTBT 구조는 2 가지 레벨, 즉 쿼드트리 파티셔닝에 따라 파티셔닝되는 제 1 레벨 및 이진 트리 파티셔닝에 따라 파티셔닝되는 제 2 레벨을 포함한다. QTBT 구조의 루트 노드는 CTU 에 대응한다. 이진 트리들의 리프 노드들은 CU 들에 대응한다.
계수 블록 (예를 들어, 루마 계수 블록, Cb 계수 블록 또는 Cr 계수 블록) 을 생성한 후에, 비디오 인코더 (20) 는 계수 블록을 양자화할 수도 있다. 일반적으로 양자화는, 변환 계수들이 양자화되어 그 변환 계수들을 나타내는데 사용된 데이터의 양을 감소시킬 수 있으며, 추가 압축을 제공하는 프로세스를 지칭한다. 비디오 인코더 (20) 가 계수 블록을 양자화한 후, 비디오 인코더 (20) 는 양자화된 변환 계수들을 표시하는 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 양자화된 변환 계수들을 나타내는 신택스 엘리먼트들에 대해 컨텍스트-적응 바이너리 산술 코딩 (CABAC) 을 수행할 수도 있다.
비디오 인코더 (20) 는, 코딩된 픽처들 및 연관된 데이터의 표현을 형성하는 비트들의 시퀀스를 포함하는 비트스트림을 출력할 수도 있다. 비트스트림은 네트워크 추상화 계층 (NAL) 유닛들의 시퀀스를 포함할 수도 있다. NAL 유닛은 NAL 유닛에서의 데이터의 타입 및 그 데이터를 에뮬레이션 방지 비트와 함께 필요에 따라 산재된 RBSP (raw byte sequence payload) 의 형태로 포함하는 바이트의 표시를 포함하는 신택스 구조이다. NAL 유닛들 각각은 NAL 유닛 헤더를 포함하고 RBSP 를 캡슐화한다. NAL 유닛 헤더는, NAL 유닛 타입 코드를 나타내는 신택스 엘리먼트를 포함할 수도 있다. NAL 유닛의 NAL 유닛 헤더에 의해 명시된 NAL 유닛 타입 코드는 NAL 유닛의 타입을 나타낸다. RBSP 는, NAL 유닛 내에서 캡슐화되는 정수 개수의 바이트들을 포함하는 신택스 구조일 수도 있다. 일부 경우들에서, RBSP 는 제로 비트들을 포함한다.
상이한 타입들의 NAL 유닛들은 상이한 타입들의 RBSP들을 캡슐화할 수도 있다. 예를 들어, 제 1 타입의 NAL 유닛은 PPS 에 대한 RBSP 를 캡슐화할 수도 있고 제 2 타입의 NAL 유닛은 코딩된 슬라이스에 대한 RBSP 를 캡슐화할 수도 있고, 제 3 타입의 NAL 유닛은 SEI 메시지들에 대한 RBSP 를 캡슐화할 수 있는 등이다. (파라미터 셋트들 및 SEI 메시지들에 대한 RBSP들에 대한 것과는 반대로) 비디오 코딩 데이터에 대한 RBSP들을 캡슐화하는 NAL 유닛들은 VCL NAL 유닛들로 지칭될 수도 있다.
비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 생성된 비트스트림을 수신할 수도 있다. 또한, 비디오 디코더 (30) 는 비트스트림을 파싱하여, 그 비트스트림으로부터 신택스 엘리먼트들을 획득할 수도 있다. 비디오 디코더 (30) 는 비트스트림으로부터 획득된 신택스 엘리먼트들에 적어도 부분적으로 기초하여 비디오 데이터의 픽처들을 재구성할 수도 있다. 비디오 데이터를 재구성하기 위한 프로세스는 일반적으로, 비디오 인코더 (20) 에 의해 수행되는 프로세스에 상반될 수도 있다. 또한, 비디오 디코더 (30) 는 현재 CU 의 TU들과 연관된 계수 블록들을 역양자화할 수도 있다. 비디오 디코더 (30) 는 계수 블록들에 대해 역변환들을 수행하여 현재 CU 의 TU들과 연관된 변환 블록들을 재구성할 수도 있다. 비디오 디코더 (30) 는 현재 CU 의 PU들에 대한 예측성 블록들의 샘플들을, 현재 CU 의 TU 들의 변환 블록들의 대응하는 샘플들에 부가함으로써, 현재 CU 의 코딩 블록들을 재구성할 수도 있다. 픽처의 각각의 CU 에 대한 코딩 블록들을 재구성함으로써, 비디오 디코더 (30) 는 픽처를 재구성할 수도 있다.
위에서 소개했듯이, HEVC 는 블록들을 파티셔닝하기 위해 쿼드트리 구조를 이용한다. HEVC 에서, 슬라이스에서의 최대 코딩 유닛은 CTU 로도 지칭되는, 코딩 트리 블록 (CTB) 으로 불린다. CTB 는 쿼드트리를 포함하며, 그 쿼드트리의 노드들은 CU 들이다. 루마 및 크로마 CTB 로 지정된 블록은 CU 로서 직접 사용될 수 있거나 다수의 CU 들로 더 파티셔닝될 수 있다. 파티셔닝은 트리 구조를 사용하여 달성된다. HEVC 의 트리 파티셔닝은 일반적으로 루마와 크로마 양자 모두에 동시에 적용되지만, 크로마에 대해 특정 최소 크기가 도달되면 예외가 적용된다.
CTU 는 CTB 에 의해 커버되는 영역의 신호 특성에 기초하여 CU 들을 선택된 적절한 크기로 분할하는 것을 허용하는 쿼드 트리 신택스를 포함한다. 루마 CB 에 대한 크기가 인코더에 의해 SPS 의 신택스를 사용하여 선택되고 항상 (루마 샘플들의 단위로) 8x8 이상인 최소 허용 루마 CB 크기에 도달할 때까지 쿼드트리 분할 프로세스가 반복될 수 있다. 하나의 CTU 를 다수의 CB 로 분할하는 예는 도 2a 및 도 2b 에 도시되어 있다.
픽처의 경계는 최소 허용 루마 CB 크기의 단위로 정의된다. 결과적으로, 픽처의 오른쪽 가장자리와 아래쪽 가장자리에서, 일부 CTU 는 부분적으로 픽처의 경계 외부에 있는 영역들을 커버할 수 있다. 이 조건은 디코더에 의해 검출되고, CTU 쿼드트리는 CB 크기를 전체 CB 가 픽처에 피팅되는 포인트까지 감소시키기 위해 필요에 따라 암시적으로 분할된다.
도 2a 는 HEVC 에서 CTU-CU 파티셔닝의 예를 도시하고, 도 2b 는 대응 쿼드 트리 표현을 도시한다. 비디오 인코더 (20) 및 비디오 디코더 (30) 는 예를 들어 도 2a 및 도 2b 에 도시된 CTU-CU 파티셔닝을 수행하도록 구성될 수도 있다. 쿼드트리 파니셔닝의 양태들은 G. J. Sullivan; J.-R. Ohm; W.-J. Han; T. Wiegand (December 2012), "Overview of the High Efficiency Video Coding (HEVC) Standard," IEEE Transactions on Circuits and Systems for Video Technology (IEEE) 22 (12) 에 더 상세히 기술되어 있다. 리프 노드가 8x8 CU 에 대응하는 경우 시그널링이 요구되지 않는다.
HEVC 는 디-블록킹 필터 (de-blocking filter) 및 SAO 필터로서 지칭되는 2 개의 인-루프 필터들을 채용한다. HEVC 는 블록 경계 주변의 블로키니스 (blockiness) 를 줄이기 위해 디블록 필터링을 이용한다. 이러한 코딩 툴에 대한 입력은 인트라 또는 인터 예측 후 재구성된 이미지이다. 디블록킹 필터는 코딩된 블록 경계들에서의 아티팩트들의 검출을 수행하고, 선택된 필터를 적용함으로써 그것들을 줄인다. H.264/AVC 디블록킹 필터에 비해, HEVC 디블록킹 필터는 시각적 아티팩트들의 현저한 감소를 여전히 달성하면서도 더 낮은 계산적 복잡도 및 더 양호한 병렬적 프로세싱을 갖는다. HEVC 에서의 디블록킹 필터링의 양태들은, A. Norkin, G. Bjontegaard, A. Fuldseth, M. Narroschke, M. Ikeda, K. Andersson, Minhua Zhou, G. Van der Auwera, "HEVC Deblocking Filter," IEEE Trans. Circuits Syst. Video Technol., 22(12): 1746 - 1754 (2012) 에 기술되어 있다.
HEVC 는 또한 디코딩된 비디오의 품질을 잠재적으로 개선하기 위해 오프셋이 샘플 값 (예를 들어, 포스트 디블록킹된 샘플 값) 에 가산되는 필터링 유형 인 SAO 필터링을 이용한다. SAO 에 대한 입력은, HEVC 에서, 디블로킹 필터링을 호출한 후 재구성된 이미지이다. SAO 의 일반적 개념은, 먼저 영역 샘플들을 선택된 분류자로 다수의 카테고리들로 분류하고, 각각의 카테고리에 대한 오프셋을 획득하며, 그 다음에, 카테고리의 각 샘플에 대해 오프셋을 부가함으로써, 영역의 평균 샘플 왜곡을 감소시키기 위한 것이고, 여기서, 영역의 오프셋 및 분류자 인덱스는 비트스트림에서 코딩된다. HEVC 에서, 구역 (SAO 파라미터들 시그널링을 위한 유닛) 은 CTU 이도록 정의된다.
HEVC 는 두 가지 상이한 유형의 SAO 필터링을 이용하며, 이 두 가지 유형 모두가 낮은 복잡도의 요건을 만족시킬 수 있다. HEVC 에서 이용되는 2 가지 유형의 SAO 는 에지 오프셋 (EO) 및 대역 오프셋 (BO) 이다. SAO 필터링을 구현할 때, 비디오 디코더 (30)는, 예를 들어, 사용된 SAO 의 유형을 나타내거나 SAO 의 어느 유형도 사용되지 않음을 나타내는 (0 내지 2 범위의) 인덱스를 수신할 수도 있다.
EO 를 수행할 때, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 1-D 방향성 패턴에 따라 현재 샘플들의 이웃 샘플들과의 비교에 기초하여 샘플 분류를 사용할 수도 있다. 도 3a 내지 도 3d 는 상이한 EO 샘플 분류를 위해 사용되는 1-D 방향성 패턴들의 예들을 도시한다. 도 3a 내지 도 3d 의 예에서, 비디오 디코더 (30) 는 표 I 과 관련하여 아래에서 더 상세히 설명되는 바와 같이, 샘플 C 를 샘플 A 및 B 와 비교하여 샘플 C 에 대한 카테고리를 결정한다. 도 3a 는 수평 분류 (EO 클래스 = 0) 에 사용된 샘플의 예를 도시한다. 도 3b 는 수직 분류 (EO 클래스 = 1) 에 사용된 샘플의 예를 도시한다. 도 3c 는 135°대각선 분류 (EO 클래스 = 2) 에 사용된 샘플의 예를 도시한다. 도 3d 는 45°대각선 분류 (EO 클래스 = 3) 에 사용된 샘플의 예를 도시한다.
선택된 EO 패턴에 따라, HEVC 는 표 I 에서 edgeIdx 로 표시되는 5 개의 카테고리를 정의한다. 0~3 과 동일한 edgeIdx 에 대해, 오프셋의 크기가 시그널링되는 한편, 부호 플래그가 암시적으로 코딩된다, 즉, edgeIdx 에 대한 네거티브 오프셋은 0 또는 1 과 동일하고 edgeIdx 에 대한 포지티브 오프셋은 2 또는 3 과 동일하다. 4 와 동일한 edgeIdx 에 대해, 오프셋은 항상 0 으로 설정되고, 이는 이 경우에 대해 동작이 필요하지 않음을 의미한다. 따라서, 샘플을 필터링 할 때, 샘플이 카테고리 0 의 조건을 만족하면, 비디오 디코더 (30) 는 카테고리 0 과 연관된 오프셋을 샘플에 가산하고, 샘플이 카테고리 1 의 조건을 만족하면, 비디오 디코더는 카테고리 1 과 연관된 오프셋을 샘플에 가산하는 등등이다. 샘플이 카테고리 1-4 중 어느 하나의 조건을 만족하지 않으면, 비디오 디코더 (30) 는 샘플에 오프셋을 가산하지 않는다.
| 카테고리 (edgeIdx) | 조건 |
| 0 | c < a && c < b |
| 1 | (c < a && c==b ) || (c==a && c<b) |
| 2 | (c > a && c==b) || (c == a && c > b) |
| 3 | c > a && c > b |
| 4 | 상기 어느 것도 아님 |
BO 의 경우, 비디오 디코더 (30) 는 샘플 값에 기초하여 샘플 분류를 수행한다. 각 컬러 컴포넌트는 그 자신의 SAO 파라미터들을 가질 수도 있다. BO 는 동일한 대역의 모든 샘플들에 하나의 오프셋이 가산됨을 암시한다. 샘플 값 범위는 32 개의 대역들로 동등하게 분할된다. 0 에서부터 255 까지의 범위인 8-비트 샘플들에 대해, 대역의 폭은 8 이고, 8k 에서부터 8k+7 까지의 샘플 값들은 대역 k 에 속하고, 여기서, k 는 0 에서부터 31 까지의 범위이다. 대역에서의 오리지날 샘플들과 재구성된 샘플들 사이의 평균차 (즉, 대역의 오프셋) 는 디코더에 시그널링된다. 오프셋 부호들에 대한 제약은 존재하지 않는다. 오직 4 개의 연속적인 대역들의 오프셋들 및 시작 대역 포지션만이 디코더에 시그널링된다. 모든 나머지 대역들은 오프셋 0 과 연관된다.
사이드 정보 (예를 들어, 오프셋 유형들 및 오프셋 값들) 를 시그널링하는 것과 연관된 시그널링 오버헤드를 감소시키기 위해, 다수의 CTU 들은 함께 병합되어, (sao_merge_left_flag 를 1 과 동일하게 설정하는 것을 통해) 상측 CTU 로부터 또는 (sao_merge_up_flag 를 1 과 동일하게 설정하는 것을 통해) 좌측 CTU 로부터 파라미터들을 카피하여, SAO 파라미터들을 공유할 수도 있다.
HEVC 의 변경된 디블록 필터링 및 SAO 에 추가하여, JEM 은 지오메트리 변환-기반 적응형 루프 필터링 (Geometry transformation-based Adaptive Loop Filtering; GALF) 이라 불리는 또 다른 필터링 방법을 포함하였다. GALF 는 ALF (Adaptive Loop Filtering) 의 코딩 효율을 향상시키는 것을 목표로 한다. ALF 는 HEVC 에의 포함에 대해 고려되었지만 최종적으로 HEVC 의 최종 버전에는 포함되지 않았다. ALF 는 Wiener-기반 적응 필터링을 사용함으로써 오리지날 샘플들과 디코딩된 샘플들 사이의 평균 제곱 오차 (mean square error) 를 최소화하는 것을 목적으로 하고 있다. ALF 를 수행하는 경우, 비디오 디코더 (30) 는 픽처의 샘플을 다수의 카테고리로 분류하고 카테고리와 연관된 적응 필터를 사용하여 각 카테고리의 샘플을 필터링한다. 평균 제곱 오차 및 오버헤드 사이의 트레이드-오프를 최적화하기 위해 필터 계수들이 시그널링 또는 승계될 수도 있다. GALF 는 ALF 전에 재구성된 샘플들의 그라디언트의 배향에 의존하여 필터 지원 영역들에서 샘플들에 적용될 회전, 대각선 및 수직 플립과 같은 기하학적 변환들을 도입함으로써 ALF 의 성능을 더욱 향상시키도록 제안되었다. ALF/GALF 에 대한 입력은 SAO 를 호출한 후 재구성된 이미지이다.
M. Karczewicz, L. Zhang, W.-J. Chien, X. Li,"EE2.5 : Improvements on adaptive loop filter," Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Doc. JVET-B0060, 2nd Meeting: San Diego, USA, 20 Feb. - 26 Feb. 2016 및 M. Karczewicz, L. Zhang, W.-J. Chien, X. Li, "EE2.5: Improvements on adaptive loop filter," Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11, Doc. JVET-C0038, 3nd Meeting: Geneva, CH, 26 May - 1 June 2016 에서, GALF가 제안되어 JEM 3.0 에 채택되었다. GALF 에서, 분류는 대각선 그라디언트가 고려되어 수정되고, 필터 계수들에 기하학적 변환들이 적용될 수 있다. GALF 를 수행하는 경우, 비디오 디코더 (30) 는 2x2 블록의 방향성 및 활동의 양자화된 값에 기초하여 각각의 2x2 블록을 25 개의 클래스 중 하나로 카테고리화 한다.
비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 구현될 수 있는 다른 필터링 기법은 양방향 필터링이다. 양방향 필터링은 이전에 C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," in Proc. of IEEE ICCV, Bombay, India, January 1998 에 의해 기술되었다. 에지의 픽셀들에 대해 바람직하지 않은 과도-평활화 (over-smoothing) 를 피하기 위해 양방향 필터링이 제안되었다. 양방향 필터링의 주요 아이디어는 유사한 루미넌스 또는 크로미넌스 값들을 갖는 그러한 픽셀들에 더 많은 가중치를 주기 위해 이웃하는 샘플들의 가중화가 픽셀 값들 자체를 고려한다는 것이다. (i, j) 에 위치한 샘플은 그것의 이웃 샘플 (k, l) 을 사용하여 필터링될 수도 있다. 가중치 ω(i, j, k, l) 는 샘플 (i, j) 을 필터링하기 위해 샘플 (k, l) 에 대해 할당된 가중치이며, 그것은 다음과 같이 정의된다:
I(i, j) 및 I(k, l) 은 각각 샘플 (i, j) 및 샘플 (k, l) 의 세기 값이다. σd 는 공간 파라미터이고, σr 은 범위 파라미터이다. ID(i, j) 에 의해 표시된 필터링된 샘플 값을 갖는 필터링 프로세스는 다음과 같이 정의될 수 있을 것이다:
양방향 필터의 특성 (또는 강도) 은 공간 파라미터 및 범위 파라미터에 의해 제어될 수 있다. 필터링될 샘플에 더 가깝게 위치된 샘플들 및 필터링될 샘플에 대한 더 작은 세기 차이를 갖는 샘플들은 더 멀리 떨어지고 더 큰 세기 차이를 갖는 샘플들보다 더 큰 가중치를 가질 수도 있다.
Jacob Strom, Per Wennersten, Ying Wang, Kenneth Andersson, Jonatan Samuelsson, "Bilateral filter after inverse transform," JVET-D0069, 4th Meeting: Chengdu, CN, 15-21 October 2016 에서, 변환 유닛 (TU) 내의 각각의 재구성된 샘플은 그것의 직접 이웃하는 재구성된 샘플들만을 사용하여 필터링된다.
도 4 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그 샘플의 이웃하는 4 개의 샘플들의 예를 도시한다. 도 4 의 필터는 필터링될 샘플을 중심으로 플러스 부호 형상 필터 어퍼처를 갖는다. σd 의 값은 식 (3) 에 따라 변환 유닛 크기에 기초하여 설정되고, σr 의 값은 식 (4) 에 따라 현재 블록에 사용되는 QP 에 기초하여 설정된다.
J. Strom, P. Wennersten, K. Andersson, J. Enhorn, "Bilateral filter strength based on prediction mode," JVET-E0032, 5th Meeting: Geneva, CH, 12-20 January 2017 에서, 저 지연 구성 하에서 코딩 손실을 추가로 줄이기 위해, 필터 강도는 또한 코딩 모드에 의존하도록 설계된다. 인트라 코딩된 블록들에 대해, 위의 식 (3) 이 여전히 사용된다. 인터 코딩된 블록들에 대해, 다음의 식이 적용된다:
σd 에 대한 상이한 값들은 인터 예측 블록에 대한 필터 강도가 인트라 예측 블록의 필터 강도에 비해 상대적으로 더 약하다는 것을 의미한다. 인터 예측된 블록은 전형적으로 인트라 예측된 블록보다 더 작은 잔차를 가지고, 따라서 양방향 필터는 인터 예측된 블록의 재구성을 더 적게 필터링하도록 설계된다.
출력 필터링된 샘플 값 ID(i,j) 은 다음과 같이 계산된다:
필터가 샘플과 그의 4-이웃들에만 닿는다는 사실에 기인하여, 이 방정식은 다음과 같이 쓸 수 있다:
여기서, IC 는 중심 샘플의 세기이고, IL, IR, IA 및 IB 는 각각 좌측, 우측, 상측 및 하측 샘플의 세기이다. 마찬가지로, ωC 는 중앙 샘플에 대한 가중치이고, ωL, ωR, ωA 및 ωB 는 이웃 샘플들에 대한 대응하는 가중치들이다. 필터는 필터링을 위해 블록 내 샘플 만 사용한다; 외부 가중치들은 0 으로 설정된다.
계산 횟수를 줄이기 위해, JEM 에서의 양방향 필터는 LUT (look-up-table) 를 사용하여 구현되었다. 모든 QP 에 대해, 값들 ωL, ωR, ωA 및 ωB 에 대한 1 차원 LUT 가 존재하며, 여기에 값
이 저장되고, 여기서 σr 2 은 QP 에 따라 식 (4) 를 사용하여 계산된다. LUT 에서 σd = 0.92 - 4/40 = 0.82 이므로, 그것은 1.0 을 나타내는, 65 의 중앙 가중치를 갖는 4 와 동일한 최소값 (M, N) 을 갖는 인트라 MxN 케이스에 대해 직접 사용될 수 있다. 다른 모드 (즉, 인트라 MxN 이지만 4 와 동일하지 않은 최소값 (M, N), 인터 KxL 블록들) 의 경우, 동일한 LUT 을 사용하지만 대신 다음의 중앙 가중치를 사용한다:
여기서, σd 는 (3) 또는 (5) 에 의해 얻어진다. 최종 필터링된 값은 다음과 같이 계산된다:
여기서 사용된 제산은 정수 제산이고, 항 (ωC + ωL + ωR + ωA + ωB) >> 1 이 올바른 라운딩을 얻기 위해 가산된다.
JEM 참조 소프트웨어에서, 식 2 의 제산 연산은 룩업 테이블 (LUT), 곱셈 및 시프트 연산으로 대체된다. 분자와 분모의 크기를 줄이기 위해, 방정식 2 는 다음으로 추가로 정제된다:
JEM 참조 소프트웨어에서, 식 11 은 두 개의 룩업 테이블에 의해 제산이 구현될 수 있는 방식으로 구현되며, (11) 은 다음과 같이 다시 쓰여질 수 있다:
두 개의 룩업 테이블은 시프팅 후 각 1/x (x 는 양의 정수 값) 에 대한 근사값을 얻기 위한 룩업 테이블 LUT, 및 입력 x 에 대한 추가 시프트 값을 정의하기 위한 룩업 테이블 DivShift 이다. J. Strom, P. Wennersten, K. Andersson, J. Enhorn, "EE2-JVET related: Division-free bilateral filter," JVET-F0096, 6th Meeting: Hobart, CH, 31 Mar-7 April 2017 는 더 많은 상세들을 제공한다.
QP<18 이거나 블록이 인터 타입이고 블록 차원들이 16 X 16 이상이면 양방향 필터가 턴 오프된다. 제안된 양방향 필터링 방법은 적어도 하나의 비제로 계수들을 갖는 루마 블록들에만 적용된다는 것을 유의해야 한다. 일 예에서, 모두 제로 계수들을 갖는 크로마 블록들 및 루마 블록들에 대해, 양방향 필터링 방법은 항상 불가능하게 된다.
도 5 는 양방향 필터링 프로세스에서 이용되는 하나의 샘플 및 그의 이웃하는 4 개의 샘플의 예를 도시한다. TU 상측 및 좌측 경계들 (즉, 상측 행 및 좌측 열) 에 위치된 샘플들에 대해, 도 5 에 도시된 바와 같이, 현재 TU 내의 이웃 샘플들만이 현재 샘플을 필터링하는데 사용될 수도 있다.
JVET-D0069, JVET-E0032 및 JVET-F0096 에서 제안된 양방향 필터링의 설계는 몇 가지 문제점을 가질 수도 있다. 일례로서, 제산이 룩업 테이블로 대체 되더라도, 계산 복잡도는 여전히 상대적으로 높으며, 이는 고정밀 곱셈을 요구한다. 다른 예로서, 모든 비디오 시퀀스에 대해 고정된 가중화 파라미터를 갖는 양방향 필터의 설계는 비디오 컨텐츠의 특징을 완전히 캡쳐하지 못할 수도 있다. 본 개시는 이러한 문제점 및 다른 문제를 해결하기 위해 비디오 인코더 (20) 및 비디오 디코더 (30) 에 의해 구현될 수 있는 기법을 소개한다. 따라서, 본 개시의 기법은 양방향 필터링과 연관된 코딩 이득을 여전히 달성하면서 양방향 필터링을 구현하는 것과 연관된 복잡성을 감소시킴으로써 비디오 인코더 (20) 및 비디오 디코더 (30) 의 기능을 개선할 수 있다. 양방향 필터링과 연관된 복잡성을 감소시키는 것은 비디오 인코더 (20) 및 비디오 디코더 (30) 가 비디오 데이터를 보다 신속하게 처리하고, 덜 정교한 하드웨어를 사용하여 구현되고, 보다 나은 배터리 수명을 달성하고, 및/또는 다른 개선을 달성하는 것을 가능하게 한다.
위에서 소개된 문제점들을 잠재적으로 해결하기 위해, 본 개시는 DFBil (division-free bilateral filtering) 방법을 제안한다. 필터링될 하나의 샘플에 대해, DFBil 필터링 프로세스는 다음과 같이 정의될 수 있다:
여기서, IC 는 현재 샘플의 세기이고, IF 는 DFBil 을 수행한 후의 현재 샘플의 변경된 세기이며, Ii 및 wi 는 각각 m 번째 이웃 샘플에 대한 세기 및 가중화
파라미터이다.
본 개시의 일 기법에 따르면, 비디오 디코더 (30) 는 템플릿 내에 위치된 이웃 샘플들을 이용하여 양방향 필터링을 구현할 수도 있다. 일 예에서, 템플릿은 현재 샘플에 공간적으로 가까운 여러 이웃 샘플을 포함할 수 있다. DFBil 에서 사용된 현재 샘플 및 이웃 샘플들의 예가 도 6 에 도시되어 있다. 일 예에서, 템플릿은 이전에 코딩된 프레임들 또는 참조 픽처들의 병치된 위치들로부터인 하나 이상의 이웃 샘플들을 포함할 수 있다. 일 예에서, 템플릿은 현재 샘플에 공간적으로 가까운 샘플들 및 이전에 코딩된 픽처들 또는 참조 픽처들의 병치된 위치들로부터인 샘플들을 포함할 수 있다. 일 예에서, 템플릿은 현재 샘플에 공간적으로 가까운 샘플들, 이전에 코딩된 픽처들 또는 참조 픽처들의 병치된 위치들로부터인 샘플들, 및 다른 픽처들 내의 병치된 위치들에서의 샘플들에 공간적으로 가까운 샘플들을 포함할 수 있다. 템플릿 및/또는 이웃 샘플들의 총 개수 (N) 는 모든 경우에 대해 미리 정의되고 고정될 수도 있다. 대안적으로, 템플릿 및/또는 N 은 디코더에 의해 수신되도록 인코더에 의해 시그널링될 수 있다. 대안적으로, 템플릿 및/또는 N 은 모드 정보 및/또는 모션 정보를 포함하지만 이에 제한되지 않는 코딩된 정보 마다 적응적으로 변경될 수도 있다. 본 개시의 다른 기법에 따르면, 가중화 팩터 wi 는 두 부분으로 표현될 수 있으며, 한 부분 (Disi 로 표시됨) 은 현재 샘플과 하나의 이웃 샘플 사이의 거리 정보를 포함하고, 다른 부분 (Rangi 로 표시됨) 은 샘플 차이 정보를 포함한다. 일례로, wi = Disi * Rangi 이다. Rangi 는 또한 현재 샘플을 커버하는 블록의 양자화 파라미터 (QP) 에 의존하고 및/또는 재구성된 샘플 및/또는 오리지날 샘플 (시그널링될 수도 있음) 에 기초한 로컬 샘플 특징에 기초할 수도 있다. 일 예에서, 로컬 영역에서의 샘플 특징은 예를 들어 픽셀 분산, 구조 정보, 구조적 유사성 지수로 표현될 수도 있다. 거리는 sqrt((xi-xc)2 + (yi-yc)2) 또는 ((xi-xc)2 + (yi-yc)2) 과 같은 f(xi-xc, yi-yc) 의 함수에 의해 정의될 수 있으며, 여기서 (xc, yc) 는 현재 샘플의 좌표를 나타내고 (xi, yi) 는 이웃 샘플의 좌표를 나타낸다. Disi 는 또한 코딩된 모드 정보, 변환 정보, 모션 정보 및/또는 예측 방향에 의존할 수도 있다. 일례에서, 인트라 및 인터 코딩된 블록에 위치된 2 개의 샘플에 대해, Disi 는 i 번째 이웃 샘플과 현재 샘플이 동일하거나 Rangi 가 동일한 경우에도 인터 코딩된 샘플에 대해 더 작은 값으로 설정될 수도 있다. Rangi 에 대한 둘 이상의 후보가 허용될 수도 있고 다수의 후보들 중 하나가 실제의 Rangi 을 결정하기 위해 하나의 샘플/블록/파티션에 대해 선택될 수도 있다. 일례에서, 그 후보는 QP 차이를 나타낼 수도 있다. Disi 에 대한 둘 이상의 후보가 허용될 수도 있고 다수의 후보들 중 하나가 하나의 샘플, 블록, 또는 파티션에 대해 선택될 수도 있다. 일례에서, 후보는 현재 샘플과 이웃 샘플들 사이의 일반적인 가중화 차이를 나타낼 수 있다. Disi, 또는 Rangi, 또는 wi 는 또한 슬라이스 타입, 타일 및/또는 슬라이스 내의 좌상측 샘플에 대한 현재 샘플을 커버하는 블록의 로케이션, 또는 현재 샘플을 커버하는 블록의 좌상측 샘플에 대한 현재 샘플의 위치, 또는 샘플이 하나의 블록의 경계에 위치하는지 여부, 또는 픽셀 분산에 기초한 분류된 영역들에 따라 변할 수도 있다. 일 예에서, 더욱이, 픽셀 분산 계산을 위한 영역은 디코더에 의한 수신을 위해 인코더에 의해 비트 스트림에서 미리 정의되거나 시그널링될 수도 있다. Disi, Rangi, wi 는 필터링될 각 샘플에 대해 파라미터들을 즉석에서 (on-the-fly) 계산할 필요가 없도록 룩업 테이블에 의해 정의될 수도 있다. 본 개시의 다른 기법에 따르면, 비디오 디코더 (30) 는 디블로킹 필터 프로세스 직후에 DFBil 을 호출할 수도 있다. DFBil 은 블록의 재구성 프로세스 직후에 호출될 수도 있다. DFBil 은 인트라 예측 또는 모션 보상 후에 예측 블록에 적용될 수도 있다. 또는 DFBil 은 인트라 예측에 사용되는 참조 샘플에 적용될 수도 있다. DFBil 및 다른 인-루프 필터의 순서는 비디오 데이터의 슬라이스 타입에 의존할 수도 있다. DFBil 및 다른 인-루프 필터의 순서는 미리 정의될 수도 있다. 또는 그 순서는 적응적으로 변경될 수 있고 그 적응적 순서는 코딩된 정보에 기초하여 명시적으로 시그널링되거나 도출될 수도 있다. 본 개시의 다른 기법에 따르면, 비디오 디코더 (30) 는 예를 들어 LCU/CU/쿼드트리 파티션과 함께, 유닛당 DFBil 에 의해 요구되는 (상술된 Disi 및 Rangi 에 대한 후보 인덱스와 같은) 파라미터를 수신할 수도 있다. 일례에서, 각각의 유닛에 대해, DFBil 이 가능하게 되거나 불가능하게 될 수도 있다. 즉, DFBil 의 사용을 나타내는 하나의 추가 비트가 인코더에 의해 추가로 시그널링되고 디코더에 의해 수신될 수도 있다. 일례에서, 각각의 슬라이스에 대해, 현재 슬라이스 내의 모든 블록이 DFBil 에 의해 필터링되지 않아야 하는지 여부를 나타내가 위해 하나의 플래그가 인코더에 의해 먼저 시그널링되고 디코더에 의해 수신될 수도 있다. 일 예에서, HEVC 에 채용된 쿼드트리 구조와 유사하게, DFBil 의 시그널링은 또한 일부의 변화와 함께 쿼드트리 설계를 따를 수도 있다. 하나의 그러한 변화는 'LCU' 가 전체 슬라이스 및/또는 타일로 대체될 수 있는 것, 즉 쿼드트리 구조의 노드가 전체 슬라이스 및/또는 타일이라는 것이다. 또 다른 잠재적인 변화는 첫 번째 분할에 대해 영역 크기가 (2K, 2K) 로서 정의될 수도 있다는 것이며, 여기서 K 는 양의 정수이고 2K 은 슬라이스 및/또는 타일 너비보다 작고 2K + 1 은 슬라이스 및/또는 타일 너비보다 작지 않다. 나머지 분할의 경우, 영역 크기가 1/4 만큼 감소되며, 즉, 높이와 너비가 모두 절반으로 감소될 수도 있다. 다른 잠재적인 변화는 DFBil 을 시그널링하기 위한 최소 크기가 64x64 와 같이 미리 정의되거나 비트스트림에서 시그널링될 수도 있다는 것이다.
하나의 예시적인 구현에서, 위에서 정의된 바와 같이, 필터링 프로세스는 다음에 의해 표현될 수 있다:
여기서, minDFBilQP 는 DFBil 이 적용되는 최소 QP 를 나타내며, 예를 들어 그것은 17 로 설정된다. Indexd 및 Indexr 은 CU, LCU, 쿼드-트리 파티션, 슬라이스, 또는 픽처마다 시그널링될 수도 있다는 것을 유의해야 한다. RCandNum 은 σr 결정을 위한 총 후보 수를 나타내고, 어레이 DCandidateList 는 σd 결정을 위한 후보 리스트를 나타낸다.
예에 있어서, N 은 12 로 설정되고, RCanNum 은 5 로 설정된다. DCandidateList 는 [52, 62, 72, 82] 로 설정된다. 대안적으로, DCandidateList 는 슬라이스 타입 또는 코드 모드에 의존할 수도 있다. 일례에서, 리스트 크기는 모든 경우에 동일하다; 대안적으로, 리스트 크기는 상이한 코딩된 정보에 대해 상이할 수도 있다.
도 7 은 본 개시에서 설명된 기법들을 구현할 수도 있는 예시적인 비디오 인코더 (20) 를 나타내는 블록도이다. 비디오 인코더 (20) 는 비디오 슬라이스들 내에서 비디오 블록들의 인트라 및 인터 코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 또는 픽처 내의 비디오에서 공간적 리던던시를 감소시키거나 제거하기 위해 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접한 프레임들 또는 픽처들 내 비디오에 있어서 시간 리던던시를 감소 또는 제거하기 위해 시간 예측에 의존한다. 인트라 모드 (I 모드) 는 여러 공간 기반의 압축 모드들 중 임의의 것을 지칭할 수도 있다. 단방향 예측 (P 모드) 또는 양방향 예측 (B 모드) 과 같은 인터 모드들은 수개의 시간 기반 압축 모드들 중 임의의 모드를 지칭할 수도 있다.
도 7 의 예에 있어서, 비디오 인코더 (20) 는 비디오 데이터 메모리 (33), 파티셔닝 유닛 (35), 예측 프로세싱 유닛 (41), 합산기 (50), 변환 프로세싱 유닛 (52), 양자화 유닛 (54), 및 엔트로피 인코딩 유닛 (56) 을 포함한다. 예측 프로세싱 유닛 (41) 은 모션 추정 유닛 (MEU) (42), 모션 보상 유닛 (MCU) (44) 및 인트라 예측 유닛 (46) 을 포함한다. 비디오 블록 재구성을 위해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 프로세싱 유닛 (60), 합산기 (62), 필터 유닛 (64), 및 디코딩된 픽처 버퍼 (DPB) (66) 를 포함한다. 도 7 에 도시된 바와 같이, 비디오 인코더 (20) 는 비디오 데이터를 수신하고, 그 수신된 비디오 데이터를 비디오 데이터 메모리 (33) 에 저장한다. 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 컴포넌트들에 의해 인코딩될 비디오 데이터를 저장할 수도 있다. 비디오 데이터 메모리 (33) 에 저장된 비디오 데이터는, 예를 들어, 비디오 소스 (18) 로부터 획득될 수도 있다. DPB (66) 는, 예컨대 인트라 또는 인터 코딩 모드들에서, 비디오 인코더 (20) 에 의해 비디오 데이터를 인코딩함에 있어서 사용하기 위한 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (33) 및 DPB (66) 는 다양한 메모리 디바이스들, 이를 테면, SDRAM (synchronous DRAM), MRAM (magnetoresistive RAM), RRAM (resistive RAM) 을 포함하는 DRAM (Dynamic random access memory), 또는 다른 유형들의 메모리 디바이스들의 어느 것에 의해 형성될 수도 있다. 비디오 데이터 메모리 (33) 및 DPB (66) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에 있어서, 비디오 데이터 메모리 (33) 는 비디오 인코더 (20) 의 다른 컴포넌트들과 온-칩형이거나 또는 그들 컴포넌트들에 대하여 오프-칩형일 수도 있다. 파티셔닝 유닛 (35) 은 비디오 데이터 메모리 (33) 로부터 비디오 데이터를 수신하고, 그 비디오 데이터를 비디오 블록들로 파티셔닝한다. 이 파티셔닝은 또한, 슬라이스 (slice) 들, 타일 (tile) 들, 또는 다른 더 큰 유닛들로의 파티셔닝뿐만 아니라, 예컨대, LCU 들 및 CU 들의 쿼드트리 구조에 따른 비디오 블록 파티셔닝을 포함할 수도 있다. 비디오 인코더 (20) 는 인코딩되어야 할 비디오 슬라이스 내의 비디오 블록들을 인코딩하는 컴포넌트들을 일반적으로 예시한다. 슬라이스는 다수의 비디오 블록들로 (그리고 아마도 타일들로서 지칭되는 비디오 블록들의 셋트들로) 분할될 수도 있다. 예측 프로세싱 유닛 (41) 은 에러 결과들 (예를 들어, 코딩 레이트 및 왜곡의 레벨) 에 기초하여 현재의 비디오 블록에 대해 복수의 인트라 코딩 모드들 중 하나 또는 복수의 인터 코딩 모드들 중 하나와 같이 복수의 가능한 코딩 모드들 중 하나를 선택할 수도 있다. 예측 프로세싱 유닛 (41) 은 결과적인 인트라- 또는 인터-코딩된 블록을 합산기 (50) 에 제공하여 잔차 블록 데이터를 생성하고, 합산기 (62) 에 제공하여 참조 픽처로서의 사용을 위한 인코딩된 블록을 재구성할 수도 있다. 예측 프로세싱 유닛 (41) 내의 인트라 예측 유닛 (46) 은 공간 압축을 제공하기 위해, 코딩될 현재 블록과 동일한 프레임 또는 슬라이스에서의 하나 이상의 이웃 블록들에 관해 현재 비디오 블록의 인트라-예측 코딩을 수행할 수도 있다. 예측 프로세싱 유닛 (41) 내의 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 시간 압축을 제공하기 위해 하나 이상의 참조 픽처들에서의 하나 이상의 예측 블록들에 관해 현재 비디오 블록의 인터-예측 코딩을 수행한다.
모션 추정 유닛 (42) 은 비디오 시퀀스에 대한 미리결정된 패턴에 따라 비디오 슬라이스에 대한 인터-예측 모드를 결정하도록 구성될 수도 있다. 미리결정된 패턴은 비디오 슬라이스들을 P 슬라이스들 또는 B 슬라이스들로서 시퀀스로 지정할 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 집적화될 수도 있지만, 개념적 목적들을 위해 별개로 예시되어 있다. 모션 추정 유닛 (42) 에 의해 수행된 모션 추정은 비디오 블록들을 위한 모션을 추정하는 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어, 참조 픽처 내에서의 예측 블록에 관한 현재 비디오 프레임 또는 픽처 내의 비디오 블록의 PU 의 변위를 표시할 수도 있다.
예측 블록은 픽셀 차이의 관점에서 코딩될 비디오 블록의 PU 와 밀접하게 매칭되도록 발견되는 블록이며, 이 픽셀 차이는 절대 차이의 합 (SAD), 제곱 차이의 합 (SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있다. 일부 예들에 있어서, 비디오 인코더 (20) 는 DPB (66) 에 저장된 참조 픽처들의 서브-정수 픽셀 포지션들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 참조 픽처의 1/4 픽셀 포지션들, 1/8 픽셀 포지션들, 또는 다른 분수의 픽셀 포지션들의 값들을 보간할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 풀 픽셀 포지션들 및 분수 픽셀 포지션들에 관한 모션 탐색을 수행하고, 분수 픽셀 정밀도로 모션 벡터를 출력할 수도 있다.
모션 추정 유닛 (42) 은 인터-코딩된 슬라이스에서의 비디오 블록의 PU 에 대한 모션 벡터를, 그 PU 의 포지션을 레퍼런스 픽처의 예측 블록의 포지션과 비교함으로써 계산한다. 참조 픽처는 제 1 레퍼런스 픽처 리스트 (List 0) 또는 제 2 레퍼런스 픽처 리스트 (List 1) 로부터 선택될 수도 있고, 이들의 각각은 DPB (66) 내에 저장된 하나 이상의 참조 픽처들을 식별한다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 인코딩 유닛 (56) 및 모션 보상 유닛 (44) 으로 전송한다.
모션 보상 유닛 (44) 에 의해 수행된 모션 보상은, 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 블록을 페칭 또는 생성하는 것을, 가능하게는 서브-픽셀 정밀도에 대한 보간들을 수행하는 것을 수반할 수도 있다. 현재 비디오 블록의 PU 에 대한 모션 벡터를 수신할 시, 모션 보상 유닛 (44) 은, 모션 벡터가 참조 픽처 리스트들 중 하나에 포인팅하는 예측 블록을 로케이팅할 수도 있다. 비디오 인코더 (20) 는, 코딩되고 있는 현재 비디오 블록의 픽셀 값들로부터 예측 블록의 픽셀 값들을 감산하여 픽셀 차이 값들을 형성함으로써 잔차 비디오 블록을 형성한다. 픽셀 차이 값들은 블록에 대한 잔차 데이터를 형성하고, 루마 및 크로마 차이 컴포넌트들 양자를 포함할 수도 있다. 합산기 (50) 는 이러한 감산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 모션 보상 유닛 (44) 은 또한, 비디오 슬라이스의 비디오 블록들을 디코딩함에 있어서 비디오 디코더 (30) 에 의한 사용을 위해 비디오 블록들 및 비디오 슬라이스와 연관된 신택스 엘리먼트들을 생성할 수도 있다.
예측 프로세싱 유닛 (41) 이 인터-예측 또는 인트라-예측 중 어느 하나를 통해 현재 비디오 블록에 대한 예측 블록을 생성한 이후, 비디오 인코더 (20) 는 현재 비디오 블록으로부터 예측 블록을 감산함으로써 잔차 비디오 블록을 형성한다. 잔차 블록에서의 잔차 비디오 데이터는 하나 이상의 TU 들 내에 포함될 수도 있고 변환 프로세싱 유닛 (52) 에 적용될 수도 있다. 변환 프로세싱 유닛 (52) 은 이산 코사인 변환 (discrete cosine transform; DCT) 또는 개념적으로 유사한 변환과 같은 변환을 이용하여 잔차 비디오 데이터를 잔차 변환 계수들로 변환한다. 변환 프로세싱 유닛 (52) 은 잔차 비디오 데이터를 픽셀 도메인으로부터, 주파수 도메인과 같은 변환 도메인으로 변환할 수도 있다. 변환 프로세싱 유닛 (52) 은 결과적인 변환 계수들을 양자화 유닛 (54) 으로 전송할 수도 있다. 양자화 유닛 (54) 은 비트 레이트를 추가로 감소시키기 위해 변환 계수들을 양자화한다. 양자화 프로세스는 그 계수들의 일부 또는 모두와 연관되는 비트 심도를 감소시킬 수도 있다. 양자화의 정도는 양자화 파라미터를 조정함으로써 수정될 수도 있다. 그 다음, 일부 예들에 있어서, 양자화 유닛 (54) 은, 양자화된 변환 계수들을 포함하는 매트릭스의 스캔을 수행할 수도 있다. 또 다른 예에서, 엔트로피 인코딩 유닛 (56) 은 스캔을 수행할 수도 있다. 양자화에 이어서, 엔트로피 인코딩 유닛 (56) 은 양자화된 변환 계수들을 엔트로피 인코딩한다. 예를 들어, 엔트로피 인코딩 유닛 (56) 은 컨텍스트 적응 가변 길이 코딩 (CAVLC), 컨텍스트 적응 2 진 산술 코딩 (CABAC), 신택스-기반 컨텍스트-적응 2 진 산술 코딩 (SBAC), 확률 간격 파티셔닝 엔트로피 (PIPE) 코딩 또는 또 다른 엔트로피 인코딩 방법론 또는 기법을 수행할 수도 있다. 엔트로피 인코딩 유닛 (56) 에 의한 엔트로피 인코딩에 이어서, 인코딩된 비트스트림은 비디오 디코더 (30) 로 송신되거나, 또는 비디오 디코더 (30) 에 의한 나중의 송신 또는 취출을 위해 아카이브될 수도 있다. 엔트로피 인코딩 유닛 (56) 은 또한, 코딩되고 있는 현재의 비디오 슬라이스에 대한 모션 벡터들 및 다른 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 역양자화 유닛 (58) 및 역변환 프로세싱 유닛 (60) 은, 각각, 역양자화 및 역변환을 적용하여, 참조 픽처의 참조 블록으로서의 나중의 사용을 위해 픽셀 도메인에서 잔차 블록을 재구성한다. 모션 보상 유닛 (44) 은, 참조 픽처 리스트들 중 하나 내에서의 참조 픽처들 중 하나의 참조 픽처의 예측 블록에 잔차 블록을 부가함으로써 참조 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한, 하나 이상의 보간 필터들을 재구성된 잔차 블록에 적용하여, 모션 추정에서의 사용을 위한 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 재구성된 잔차 블록을, 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 가산하여, 재구성된 블록을 생성한다. 필터 유닛 (64) 은 재구성된 블록 (예컨대, 합산기 (62) 의 출력) 을 필터링하고, 그 필터링된 재구성된 블록을 참조 블록으로서의 사용들을 위해 DPB (66) 에 저장한다. 참조 블록은, 후속 비디오 프레임 또는 픽처에서의 블록을 인터-예측하기 위해 참조 블록으로서 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 사용될 수도 있다. 필터 유닛 (64) 은 예를 들어 본 개시에서 설명된 무분할 양방향 필터링 기법을 구현할 수도 있다. 필터 유닛 (64) 은 또한 디블록 필터링, SAO 필터링, 피크 SAO 필터링, ALF, 및/또는 GALF, 및/또는 다른 타입들의 루프 필터들과 같은 임의의 타입의 필터링을 수행할 수도 있다. 디블록 필터는, 예를 들어, 블록 경계들을 필터링하여 재구성된 비디오로부터 블록키니스 아티팩트들을 제거하기 위해 디블록킹 필터링을 적용할 수도 있다. 피크 SAO 필터는 전체적인 코딩 품질을 향상시키기 위해 재구성된 픽셀 값들에 오프셋들을 적용할 수도 있다. 부가적인 루프 필터들 (인 루프 (in loop) 또는 포스트 루프 (post loop)) 이 또한 사용될 수도 있다. 도 8 은 본 개시에서 설명된 기법들을 구현할 수도 있는 예시적인 비디오 디코더 (30) 를 나타내는 블록도이다. 도 8 의 비디오 디코더 (30) 는, 예를 들어, 도 7 의 비디오 인코더 (20) 에 대해 상기 설명된 시그널링을 수신하도록 구성될 수도 있다. 도 8 의 예에서, 비디오 디코더 (30) 는 비디오 데이터 메모리 (78), 엔트로피 디코딩 유닛 (80), 예측 프로세싱 유닛 (81), 역 양자화 유닛 (86), 역 변환 프로세싱 유닛 (88), 합산기 (90), 필터 유닛 (92), 및 DPB (94) 를 포함한다. 예측 프로세싱 유닛 (81) 은 모션 보상 유닛 (82) 및 인트라 예측 프로세싱 유닛 (84) 을 포함한다. 비디오 디코더 (30) 는, 일부 예들에서, 도 7 로부터의 비디오 인코더 (20) 에 대하여 설명된 인코딩 패스와 일반적으로 상반되는 디코딩 패스를 수행할 수도 있다. 디코딩 프로세스 동안, 비디오 디코더 (30) 는 연관된 신택스 엘리먼트들 및 인코딩된 비디오 슬라이스의 비디오 블록들을 나타내는 인코딩된 비디오 비트스트림을 비디오 인코더 (20) 로부터 수신한다. 비디오 디코더 (30) 는 수신된 인코딩된 비디오 비트스트림을 비디오 데이터 메모리 (78) 에 저장한다. 비디오 데이터 메모리 (78) 는, 비디오 디코더 (30) 의 컴포넌트들에 의해 디코딩될, 비디오 데이터, 이를 테면 인코딩된 비디오 비트스트림을 저장할 수도 있다. 비디오 데이터 메모리 (78) 에 저장된 비디오 데이터는, 예를 들어, 링크 (16) 를 통해, 저장 디바이스 (26) 로부터, 또는 로컬 비디오 소스, 이를 테면 카메라로부터, 또는 물리적 데이터 저장 매체들에 액세스함으로써 획득될 수도 있다. 비디오 데이터 메모리 (78) 는, 인코딩된 비디오 비트스트림으로부터의 인코딩된 비디오 데이터를 저장하는 코딩된 픽처 버퍼 (CPB) 를 형성할 수도 있다. DPB (94) 는, 예를 들어, 인트라 또는 인터 코딩 모드들에서 비디오 디코더 (30) 에 의해 비디오 데이터를 디코딩함에 있어서 사용하기 위해 참조 비디오 데이터를 저장하는 참조 픽처 메모리일 수도 있다. 비디오 데이터 메모리 (78) 및 DPB (94) 는 DRAM, SDRAM, MRAM, RRAM, 또는 다른 타입들의 메모리 디바이스들과 같은 다양한 메모리 디바이스들의 임의의 것에 의해 형성될 수도 있다. 비디오 데이터 메모리 (78) 및 DPB (94) 는 동일한 메모리 디바이스 또는 별도의 메모리 디바이스들에 의해 제공될 수도 있다. 다양한 예들에서, 비디오 데이터 메모리 (78) 는 비디오 디코더 (30) 의 다른 컴포넌트들과 온-칩일 수도 있거나, 또는 그 컴포넌트들에 대하여 오프-칩일 수도 있다. 비디오 디코더 (30)의 엔트로피 디코딩 유닛 (80) 은 양자화된 계수들, 모션 벡터들, 및 다른 신택스 엘리먼트들을 생성하기 위해 비디오 데이터 메모리 (78) 에 저장된 비디오 데이터를 엔트로피 디코딩한다. 엔트로피 디코딩 유닛 (80) 은 모션 벡터들 및 다른 신택스 엘리먼트들을 예측 프로세싱 유닛 (81) 으로 포워딩한다. 비디오 디코더 (30) 는 비디오 슬라이스 레벨 및/또는 비디오 블록 레벨에서 신택스 엘리먼트들을 수신할 수도 있다. 비디오 슬라이스가 인트라 코딩된 (I) 슬라이스로서 코딩될 때, 예측 프로세싱 유닛 (81) 의 인트라 예측 프로세싱 유닛 (84) 은, 현재 프레임 또는 화상의 이전에 디코딩된 블록들로부터 시그널링된 인트라 예측 모드 및 데이터에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 데이터를 생성할 수도 있다. 비디오 프레임이 인터 코딩된 슬라이스 (예를 들어, B 슬라이스 또는 P 슬라이스) 로서 코딩될 때, 예측 프로세싱 유닛 (81) 의 모션 보상 유닛 (82) 은 엔트로피 디코딩 유닛 (80) 으로부터 수신된 모션 벡터들 및 다른 신택스 엘리먼트들에 기초하여 현재 비디오 슬라이스의 비디오 블록에 대한 예측 블록들을 생성한다. 예측 블록들은 참조 픽처 리스트들 중 하나의 참조 픽처 리스트 내의 참조 픽처들 중 하나의 참조 픽처로부터 생성될 수도 있다. 비디오 디코더 (30) 는 DPB (94) 에 저장된 참조 픽처들에 기초하여 디폴트 구성 기법들을 이용하여 참조 프레임 리스트들, List 0 및 List 1 을 구성할 수도 있다.
모션 보상 유닛 (82) 은, 모션 벡터들 및 다른 신택스 엘리먼트들을 파싱 (parsing) 함으로써 현재 비디오 슬라이스의 비디오 블록에 대한 예측 정보를 결정하고, 디코딩되는 현재 비디오 블록에 대한 예측 블록들을 생성하기 위해 에측 정보를 이용한다. 예를 들어, 모션 보상 유닛 (82) 은, 비디오 슬라이스의 비디오 블록들을 코딩하는데 이용되는 예측 모드 (예를 들어, 인트라- 또는 인터-예측), 인터-예측 슬라이스 타입 (예를 들어, B 슬라이스 또는 P 슬라이스), 슬라이스에 대한 참조 픽처 리스트들 중 하나 이상에 대한 구성 정보, 슬라이스의 각각의 인터-인코딩된 비디오 블록에 대한 모션 벡터들, 슬라이스의 각각의 인터-코딩된 비디오 블록에 대한 인터-예측 스테이터스, 및 현재 비디오 슬라이스에서 비디오 블록들을 디코딩하기 위한 다른 정보를 결정하기 위해 수신된 신택스 엘리먼트들의 일부를 이용한다.
모션 보상 유닛 (82) 은 또한, 보간 필터들에 기초하여 보간을 수행할 수도 있다. 모션 보상 유닛 (82) 은 참조 블록들의 서브-정보 픽셀들에 대한 보간된 값들을 계산하기 위해 비디오 블록들의 인코딩 동안 비디오 인코더 (20) 에 의해 이용되는 바와 같이 보간 필터들을 이용할 수도 있다. 이 경우에, 모션 보상 유닛 (82) 은 수신된 신택스 엘리먼트들로부터 비디오 인코더 (20) 에 의해 이용되는 보간 필터들을 결정하고, 예측 블록들을 생성하기 위해 보간 필터들을 이용할 수도 있다.
역 양자화 유닛 (86) 은 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (80) 에 의해 디코딩된 양자화된 변환 계수들을 역 양자화, 즉, 탈양자화한다 (de-quantize). 역 양자화 프로세스는, 양자화도, 그리고, 마찬가지로, 적용되어야 하는 역 양자화도를 결정하기 위해, 비디오 슬라이스에서 각각의 비디오 블록에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터의 이용을 포함할 수도 있다. 역 변환 프로세싱 유닛 (88) 은 픽셀 도메인에서 잔차 블록들을 생성하기 위하여 변환 계수들에, 역 변환, 예를 들어, 역 DCT, 역 정수 변환, 또는 개념상 유사한 역 변환 프로세스를 적용한다. 예측 프로세싱 유닛 (81) 이 예를 들어 인트라 또는 인터 예측을 이용하여 현재 비디오 블록에 대한 예측 블록을 생성한 후, 비디오 디코더 (30) 는 역 변환 프로세싱 유닛 (88) 으로부터의 잔차 블록들을 대응하는 예측 블록들과 합산함으로써 복원된 비디오 블록을 형성한다. 합산기(90)는 이 합산 동작을 수행하는 컴포넌트 또는 컴포넌트들을 나타낸다. 필터 유닛 (92) 은 재구성된 블록 (예컨대, 합산기 (90) 의 출력) 을 필터링하고, 그 필터링된 재구성된 블록을 참조 블록으로서의 사용들을 위해 DPB (94) 에 저장한다. 참조 블록은, 후속 비디오 프레임 또는 픽처에서의 블록을 인터-예측하기 위해 참조 블록으로서 모션 보상 유닛 (82) 에 의해 사용될 수도 있다. 필터 유닛 (92) 은 예를 들어 본 개시에서 설명된 무분할 양방향 필터링 기법을 구현할 수도 있다. 필터 유닛 (92) 은 또한 디블록 필터링, SAO 필터링, SAO 필터링, ALF, 및/또는 GALF, 양방향 필터링, 및/또는 다른 타입들의 루프 필터들과 같은 임의의 타입의 필터링을 수행할 수도 있다. 디블록 필터는, 예를 들어, 블록 경계들을 필터링하여 재구성된 비디오로부터 블록키니스 아티팩트들을 제거하기 위해 디블록킹 필터링을 적용할 수도 있다. SAO 필터는 전체적인 코딩 품질을 향상시키기 위해 재구성된 픽셀 값들에 오프셋들을 적용할 수도 있다. 추가적인 루프 필터들 (인 루프 (in loop) 또는 포스트 루프 (post loop)) 이 또한 사용될 수도 있다. 그 후, 소정의 프레임 또는 픽처에 있어서의 디코딩된 비디오 블록들이 DPB (94) 에 저장되고, 이 DPB 는 후속적인 모션 보상을 위해 사용되는 참조 픽처들을 저장한다. DPB (94) 는 도 1 의 디스플레이 디바이스 (32) 와 같은 디스플레이 디바이스 상으로의 나중의 프리젠테이션을 위해 디코딩된 비디오를 저장하는 추가적인 메모리의 일부일 수도 있거나 그 추가적인 메모리로부터 분리될 수도 있다. 도 9 는 필터 유닛 (92) 의 일 예시적인 구현을 나타낸다. 필터 유닛 (64) 은 동일한 방식으로 구현될 수도 있다. 필터 유닛들 (64 및 92) 은, 가능하게는 비디오 인코더 (20) 또는 비디오 디코더 (30) 의 다른 컴포넌트들과 함께, 본 개시의 기법들을 수행할 수도 있다. 도 9 의 예에서, 필터 유닛 (92) 은 JEM 6 에서 구현된 바와 같은, 디블록 필터 (102), SAO 필터 (104), 및 ALF/GALF 필터 (106) 를 포함한다. 필터 유닛 (92) 은 또한 양방향 필터 (108) 를 포함한다. 도 9 의 예에 도시된 바와 같이, 양방향 필터 (108) 는 디블록 필터 (102), SAO 필터 (104) 및/또는 ALF/GLAF 필터 (106) 와 별도로 또는 디블록 필터 (102), SAO 필터 (104) 및/또는 ALF/GLAF 필터 (106) 와 함께 사용될 수도 있다. 대안적인 구현들에서, 필터 유닛 (92) 은 도 9 에 도시된 것들보다 더 적은 필터들을 포함할 수도 있고 및/또는 추가적인 필터들을 포함할 수도 있다. 부가적으로 또는 대안으로, 도 9 에 나타낸 특정의 필터들은 도 9 에 도시된 것과 상이한 순서로 구현될 수도 있다.
도 10 은 본 개시물의 기법에 따른, 비디오 데이터를 디코딩하는 비디오 디코더의 예시적인 동작을 예시하는 플로우차트이다. 도 10 을 참조하여 설명된 비디오 디코더는, 예를 들어, 디스플레이 가능한 디코딩된 비디오를 출력하기 위한, 비디오 디코더 (30) 와 같은 비디오 디코더일 수도 있거나, 역양자화 유닛 (58), 역변환 프로세싱 유닛 (60), 필터 유닛 (64), 및 DPB (66) 를 포함하는, 비디오 인코더 (20) 의 디코딩 루프와 같이, 비디오 인코더에서 구현된 비디오 디코더일 수도 있다. 도 10 의 기법들에 따르면, 비디오 디코더는 비디오 데이터의 블록에 대한 샘플 값을 결정한다 (202). 비디오 디코더는 변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 비디오 데이터의 블록의 샘플의 샘플 값에 대한 필터링 동작을 수행한다 (204). 필터링 동작 수행의 일부로서, 비디오 디코더는 샘플 값과 제 1 이웃 샘플의 값 사이의 차이에 대응하는 제 1 차이 값을 결정하고 (206), 제 1 가중된 차이 값을 결정하기 위해 제 1 차이 값에 제 1 가중화 파라미터를 곱한다 (208). 비디오 디코더는 또한 샘플 값과 제 2 이웃 샘플의 값 사이의 차이에 대응하는 제 2 차이 값을 결정하고 (210), 제 2 가중된 차이 값을 결정하기 위해 제 2 차이 값에 제 2 가중화 파라미터를 곱하며 (212), 변경된 샘플 값을 결정하기 위해 제 1 가중된 차이 값 및 제 2 가중된 차이 값을 샘플 값에 가산한다 (214). 비디오 디코더는 예를 들어 비디오 데이터의 필터링된 블록을 포함하는 디코딩된 픽처의 일부로서 비디오 데이터의 필터링된 블록을 출력한다. 일부 예들에서, 비디오 데이터의 필터링된 블록은 출력되기 전에 추가 필터링을 겪을 수도 있다.
하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 그 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 그 기능들은 컴퓨터 판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 또는 이를 통해 송신되고 하드웨어 기반 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는, 데이터 저장 매체와 같은 유형의 매체에 대응하는 컴퓨터 판독가능 저장 매체, 또는 예를 들면, 통신 프로토콜에 따라, 일 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 가능하게 하는 임의의 매체를 포함하는 통신 매체를 포함할 수도 있다. 이런 방식으로, 컴퓨터 판독가능 매체는 일반적으로, (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 컴퓨터 프로그램 제품이 컴퓨터 판독가능 매체를 포함할 수도 있다. 제한이 아닌 일 예로, 이러한 컴퓨터 판독가능 저장 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 커넥션이 컴퓨터 판독가능 매체로 적절히 명명된다. 예를 들어, 동축 케이블, 광섬유 케이블, 꼬임쌍선, 디지털 가입자 라인 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 이용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 명령들이 송신된다면, 동축 케이블, 광섬유 케이블, 꼬임쌍선, DSL, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의에 포함된다. 하지만, 컴퓨터 판독가능 저장 매체들 및 데이터 저장 매체들은 커넥션들, 캐리어파들, 신호들, 또는 다른 일시적 매체들을 포함하지 않지만 대신 비일시적인 유형의 저장 매체들로 지향됨을 이해해야 한다. 본원에서 이용된 디스크 (disk) 와 디스크 (disc) 는, 컴팩트 디스크(CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크 (disk) 들은 통상 자기적으로 데이터를 재생하는 반면, 디스크(disc) 들은 레이저들을 이용하여 광학적으로 데이터를 재생한다. 또한, 상기의 조합은 컴퓨터 판독 가능 매체의 범위 내에 포함되어야 한다.
명령들은 하나 이상의 프로세서들, 이를 테면 하나 이상의 DSP들, 범용 마이크로프로세서들, ASIC들, FPGA들, 또는 다른 등가의 집적 또는 이산 로직 회로부에 의해 실행될 수도 있다. 이에 따라, 용어 "프로세서" 는, 본 명세서에서 사용된 바와 같이, 전술한 구조 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 추가로, 일부 양태들에서, 본 명세서에서 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 하드웨어 및/똔느 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 통합될 수도 있다. 또한, 그 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수 있다.
본 개시의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 IC 들의 세트 (예를 들면, 칩 세트) 를 포함하는, 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양태들을 강조하기 위해 본 개시에 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하는 것은 아니다. 오히려, 상기 설명된 바와 같이, 다양한 유닛들은 코덱 하드웨어 유닛에서 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 상기 설명된 바와 같은 하나 이상의 프로세서들을 포함하는, 상호동작가능한 하드웨어 유닛들의 콜렉션에 의해 제공될 수도 있다.
다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.
Claims (25)
- 비디오 데이터를 디코딩하는 방법으로서,
비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하는 단계;
변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 상기 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 단계로서, 상기 필터링 동작을 수행하는 단계는,
상기 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하는 단계;
상기 선택된 샘플과 상기 제 1 이웃 샘플 사이의 거리, 상기 제 1 차이 값, 및 상기 비디오 데이터의 블록에 대한 양자화 파라미터에 기초하여 제 1 가중화 파라미터를 결정하는 단계;
제 1 가중된 차이 값을 결정하기 위해 상기 제 1 차이 값을 상기 제 1 가중화 파라미터와 곱하는 단계;
상기 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하는 단계;
상기 선택된 샘플과 상기 제 2 이웃 샘플 사이의 거리, 상기 제 2 차이 값, 및 상기 비디오 데이터의 블록에 대한 양자화 파라미터에 기초하여 제 2 가중화 파라미터를 결정하는 단계;
제 2 가중된 차이 값을 결정하기 위해 상기 제 2 차이 값을 상기 제 2 가중화 파라미터와 곱하는 단계; 및
상기 변경된 샘플 값을 결정하기 위해 상기 제 1 가중된 차이 값 및 상기 제 2 가중된 차이 값을 상기 선택된 샘플의 상기 샘플 값에 가산하는 단계를 포함하는, 상기 필터링 동작을 수행하는 단계; 및
상기 비디오 데이터의 필터링된 블록을 출력하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법. - 제 1 항에 있어서,
상기 필터링 동작을 수행하는 단계는 다음 방정식에 따라 상기 선택된 샘플의 샘플 값을 변경하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법:
여기서 IF 는 변경된 샘플 값이고, IC 는 선택된 샘플의 샘플 값이며, Ii 는 i 번째 이웃 샘플의 샘플 값이고, wi 는 i 번째 이웃 샘플에 대한 가중화 파라미터이며, N 은 이웃 샘플들의 수이다. - 제 1 항에 있어서,
상기 제 1 이웃 샘플은 상기 선택된 샘플에 바로 인접한 샘플을 포함하고, 상기 제 2 이웃 샘플은 상기 선택된 샘플에 바로 인접하지 않은 샘플을 포함하는, 비디오 데이터를 디코딩하는 방법. - 제 1 항에 있어서,
상기 제 1 이웃 샘플은 이전에 코딩된 픽처로부터의 샘플을 포함하는, 비디오 데이터를 디코딩하는 방법. - 제 1 항에 있어서,
상기 비디오 데이터의 블록은 비디오 데이터의 포스트 디블록 필터링된, 재구성된 블록을 포함하는, 비디오 데이터를 디코딩하는 방법. - 제 1 항에 있어서,
상기 디코딩하는 방법은 비디오 인코딩 프로세스의 디코딩 루프의 일부로서 수행되고,
상기 비디오 데이터의 필터링된 블록을 출력하는 단계는 상기 비디오 데이터의 필터링된 블록을 포함하는 참조 픽처를 저장하는 단계를 포함하고,
상기 방법은 상기 비디오 데이터의 다른 픽처를 인코딩함에 있어서 상기 참조 픽처를 사용하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법. - 제 1 항에 있어서,
디코딩된 픽처를 출력하는 단계는 상기 비디오 데이터의 필터링된 블록을 디스플레이 디바이스에 출력하는 단계를 포함하는, 비디오 데이터를 디코딩하는 방법. - 비디오 데이터를 디코딩하기 위한 디바이스로서,
상기 비디오 데이터를 저장하도록 구성된 메모리; 및
하나 이상의 프로세서들을 포함하고,
상기 하나 이상의 프로세서들은,
비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하고;
변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 상기 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하는 것으로서, 상기 필터링 동작을 수행하기 위해, 상기 하나 이상의 프로세서들은:
상기 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하고;
상기 선택된 샘플과 상기 제 1 이웃 샘플 사이의 거리, 상기 제 1 차이 값, 및 상기 비디오 데이터의 블록에 대한 양자화 파라미터에 기초하여 제 1 가중화 파라미터를 결정하며;
제 1 가중된 차이 값을 결정하기 위해 상기 제 1 차이 값을 상기 제 1 가중화 파라미터와 곱하며;
상기 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하고;
상기 선택된 샘플과 상기 제 2 이웃 샘플 사이의 거리, 상기 제 2 차이 값, 및 상기 비디오 데이터의 블록에 대한 양자화 파라미터에 기초하여 제 2 가중화 파라미터를 결정하며;
제 2 가중된 차이 값을 결정하기 위해 상기 제 2 차이 값을 상기 제 2 가중화 파라미터와 곱하며; 및
상기 변경된 샘플 값을 결정하기 위해 상기 제 1 가중된 차이 값 및 상기 제 2 가중된 차이 값을 상기 선택된 샘플의 상기 샘플 값에 가산하도록 구성되는, 상기 필터링 동작을 수행하며; 및
상기 비디오 데이터의 필터링된 블록을 출력하도록 구성된, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 8 항에 있어서,
상기 필터링 동작을 수행하기 위해, 상기 하나 이상의 프로세서들은 추가로 다음 방정식에 따라 상기 선택된 샘플의 샘플 값을 변경하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스:
여기서 IF 는 변경된 샘플 값이고, IC 는 선택된 샘플의 샘플 값이며, Ii 는 i 번째 이웃 샘플의 샘플 값이고, wi 는 i 번째 이웃 샘플에 대한 가중화 파라미터이며, N 은 이웃 샘플들의 수이다. - 제 8 항에 있어서,
상기 제 1 이웃 샘플은 상기 선택된 샘플에 바로 인접한 샘플을 포함하고, 상기 제 2 이웃 샘플은 상기 선택된 샘플에 바로 인접하지 않은 샘플을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 8 항에 있어서,
상기 제 1 이웃 샘플은 이전에 디코딩된 픽처로부터의 샘플을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 8 항에 있어서,
상기 비디오 데이터의 블록은 비디오 데이터의 포스트 디블록 필터링된, 재구성된 블록을 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 8 항에 있어서,
상기 디바이스는 비디오 인코딩 프로세스의 디코딩 루프의 일부로서 상기 비디오 데이터를 디코딩하도록 구성되고,
상기 비디오 데이터의 필터링된 블록을 출력하기 위해, 상기 하나 이상의 프로세서들은 상기 비디오 데이터의 필터링된 블록을 포함하는 참조 픽처를 저장하도록 구성되고,
상기 하나 이상의 프로세서들은 또한 상기 비디오 데이터의 다른 픽처를 인코딩함에 있어서 상기 참조 픽처를 사용하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 8 항에 있어서,
상기 비디오 데이터의 필터링된 블록을 출력하기 위해, 상기 하나 이상의 프로세서들은 상기 비디오 데이터의 필터링된 블록을 포함하는 디코딩된 픽처를 디스플레이 디바이스에 출력하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 8 항에 있어서,
상기 디바이스는 인코딩된 비디오 데이터를 수신하도록 구성된 수신기를 더 포함하는 무선 통신 디바이스를 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 15 항에 있어서,
상기 무선 통신 디바이스는 전화기 핸드셋을 포함하고, 상기 수신기는 무선 통신 표준에 따라, 상기 인코딩된 비디오 데이터를 포함하는 신호를 복조하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 8 항에 있어서,
상기 디바이스는 인코딩된 비디오 데이터를 송신하도록 구성된 송신기를 더 포함하는 무선 통신 디바이스를 포함하는, 비디오 데이터를 디코딩하기 위한 디바이스. - 제 17 항에 있어서,
상기 무선 통신 디바이스는 전화기 핸드셋을 포함하고, 상기 송신기는 무선 통신 표준에 따라, 상기 인코딩된 비디오 데이터를 포함하는 신호를 변조하도록 구성되는, 비디오 데이터를 디코딩하기 위한 디바이스. - 명령들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 경우, 상기 하나 이상의 프로세서들로 하여금,
비디오 데이터의 블록의 샘플들에 대한 샘플 값들을 결정하게 하고;
변경된 샘플 값을 포함하는 비디오 데이터의 필터링된 블록을 생성하기 위해 상기 비디오 데이터의 블록의 선택된 샘플의 샘플 값에 대해 필터링 동작을 수행하게 하는 것으로서, 상기 필터링 동작을 수행하기 위해, 상기 명령들은 상기 하나 이상의 프로세서들로 하여금:
상기 선택된 샘플의 샘플 값과 제 1 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 1 차이 값을 결정하게 하고;
상기 선택된 샘플과 상기 제 1 이웃 샘플 사이의 거리, 상기 제 1 차이 값, 및 상기 비디오 데이터의 블록에 대한 양자화 파라미터에 기초하여 제 1 가중화 파라미터를 결정하게 하며;
제 1 가중된 차이 값을 결정하기 위해 상기 제 1 차이 값을 상기 제 1 가중화 파라미터와 곱하게 하며;
상기 선택된 샘플의 샘플 값과 제 2 이웃 샘플의 샘플 값 사이의 차이에 대응하는 제 2 차이 값을 결정하게 하고;
상기 선택된 샘플과 상기 제 2 이웃 샘플 사이의 거리, 상기 제 2 차이 값, 및 상기 비디오 데이터의 블록에 대한 양자화 파라미터에 기초하여 제 2 가중화 파라미터를 결정하게 하며;
제 2 가중된 차이 값을 결정하기 위해 상기 제 2 차이 값을 상기 제 2 가중화 파라미터와 곱하게 하며; 및
상기 변경된 샘플 값을 결정하기 위해 상기 제 1 가중된 차이 값 및 상기 제 2 가중된 차이 값을 상기 선택된 샘플의 상기 샘플 값에 가산하게 하는, 상기 필터링 동작을 수행하게 하며; 및
상기 비디오 데이터의 필터링된 블록을 출력하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762528912P | 2017-07-05 | 2017-07-05 | |
| US62/528,912 | 2017-07-05 | ||
| US16/027,173 | 2018-07-03 | ||
| US16/027,173 US10887622B2 (en) | 2017-07-05 | 2018-07-03 | Division-free bilateral filter |
| PCT/US2018/040933 WO2019010315A1 (en) | 2017-07-05 | 2018-07-05 | BILATERAL FILTER WITHOUT DIVISION |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200023358A KR20200023358A (ko) | 2020-03-04 |
| KR102309353B1 true KR102309353B1 (ko) | 2021-10-05 |
Family
ID=64903535
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207000052A KR102309353B1 (ko) | 2017-07-05 | 2018-07-05 | 무분할 양방향 필터 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US10887622B2 (ko) |
| EP (1) | EP3649777A1 (ko) |
| KR (1) | KR102309353B1 (ko) |
| CN (1) | CN110800295B (ko) |
| AU (1) | AU2018297286A1 (ko) |
| BR (1) | BR112019027830A2 (ko) |
| SG (1) | SG11201910917PA (ko) |
| TW (1) | TW201907715A (ko) |
| WO (1) | WO2019010315A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10834396B2 (en) | 2018-04-12 | 2020-11-10 | Qualcomm Incorporated | Bilateral filter for predicted video data |
| WO2020007848A1 (en) * | 2018-07-02 | 2020-01-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Bilateral high frequency boost |
| WO2020256491A1 (ko) * | 2019-06-19 | 2020-12-24 | 한국전자통신연구원 | 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체 |
| CN114424541B (zh) * | 2019-08-16 | 2024-05-31 | 苹果公司 | 压缩视频及重建压缩视频的系统、方法、及存储介质 |
| CN117859325A (zh) * | 2021-09-07 | 2024-04-09 | 北京达佳互联信息技术有限公司 | 用于视频编解码的自适应双边滤波 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130003832A1 (en) | 2011-06-30 | 2013-01-03 | Futurewei Technologies, Inc. | Simplified Bilateral Intra Smoothing Filter |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4145586B2 (ja) * | 2001-07-24 | 2008-09-03 | セイコーエプソン株式会社 | 画像処理装置及び画像処理プログラム、並びに画像処理方法 |
| US8073276B2 (en) * | 2007-04-10 | 2011-12-06 | Vivante Corporation | De-ringing filter for decompressed video data |
| CN101635849B (zh) * | 2008-07-24 | 2011-11-16 | 青岛海信信芯科技有限公司 | 一种环路滤波方法及环路滤波器 |
| CN101984669A (zh) * | 2010-12-10 | 2011-03-09 | 河海大学 | 一种帧层次自适应维纳插值滤波器的迭代方法 |
| CN102075753B (zh) * | 2011-01-13 | 2012-10-31 | 中国科学院计算技术研究所 | 一种视频编解码中去块滤波方法 |
| US9471988B2 (en) * | 2011-11-02 | 2016-10-18 | Google Inc. | Depth-map generation for an input image using an example approximate depth-map associated with an example similar image |
| US8948253B2 (en) * | 2011-12-15 | 2015-02-03 | Flextronics Ap, Llc | Networked image/video processing system |
| US9142012B2 (en) | 2012-05-31 | 2015-09-22 | Apple Inc. | Systems and methods for chroma noise reduction |
| US9386319B2 (en) * | 2013-09-05 | 2016-07-05 | Microsoft Technology Licensing, Llc | Post-process filter for decompressed screen content |
| CN104794685B (zh) | 2014-01-17 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 一种实现图像去噪的方法及装置 |
| US20160014176A1 (en) * | 2014-07-09 | 2016-01-14 | Liveu Ltd. | System and method for content solicitation |
| US20190037217A1 (en) | 2016-02-16 | 2019-01-31 | Samsung Electronics Co., Ltd. | Video encoding method and apparatus, and decoding method and apparatus therefor |
| US11272175B2 (en) | 2016-10-05 | 2022-03-08 | Telefonaktiebolaget Lm Ericsson (Publ) | Deringing filter for video coding |
| US20180184127A1 (en) | 2016-12-22 | 2018-06-28 | Qualcomm Incorporated | Determining neighboring samples for bilateral filtering in video coding |
| WO2018149995A1 (en) | 2017-02-16 | 2018-08-23 | Telefonaktiebolaget Lm Ericsson (Publ) | Filter apparatus and methods |
| US20190082176A1 (en) | 2017-09-11 | 2019-03-14 | Qualcomm Incorporated | Non-local bilateral filter |
| US10721469B2 (en) | 2017-11-28 | 2020-07-21 | Qualcomm Incorporated | Line buffer reduction for adaptive loop filtering in video coding |
-
2018
- 2018-07-03 US US16/027,173 patent/US10887622B2/en active Active
- 2018-07-04 TW TW107123169A patent/TW201907715A/zh unknown
- 2018-07-05 SG SG11201910917PA patent/SG11201910917PA/en unknown
- 2018-07-05 CN CN201880043814.XA patent/CN110800295B/zh active Active
- 2018-07-05 EP EP18745792.4A patent/EP3649777A1/en active Pending
- 2018-07-05 WO PCT/US2018/040933 patent/WO2019010315A1/en unknown
- 2018-07-05 KR KR1020207000052A patent/KR102309353B1/ko active IP Right Grant
- 2018-07-05 AU AU2018297286A patent/AU2018297286A1/en not_active Abandoned
- 2018-07-05 BR BR112019027830-3A patent/BR112019027830A2/pt unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130003832A1 (en) | 2011-06-30 | 2013-01-03 | Futurewei Technologies, Inc. | Simplified Bilateral Intra Smoothing Filter |
Also Published As
| Publication number | Publication date |
|---|---|
| US10887622B2 (en) | 2021-01-05 |
| WO2019010315A1 (en) | 2019-01-10 |
| BR112019027830A2 (pt) | 2020-07-07 |
| CN110800295A (zh) | 2020-02-14 |
| AU2018297286A1 (en) | 2019-12-19 |
| SG11201910917PA (en) | 2020-01-30 |
| US20190014349A1 (en) | 2019-01-10 |
| EP3649777A1 (en) | 2020-05-13 |
| TW201907715A (zh) | 2019-02-16 |
| KR20200023358A (ko) | 2020-03-04 |
| CN110800295B (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11431968B2 (en) | Variable number of intra modes for video coding | |
| AU2019278991B2 (en) | Block-based adaptive loop filter (ALF) design and signaling | |
| US10419757B2 (en) | Cross-component filter | |
| US10440396B2 (en) | Filter information sharing among color components | |
| AU2018212665A1 (en) | Bilateral filters in video coding with reduced complexity | |
| EP3949412A1 (en) | Block-based adaptive loop filter (alf) with adaptive parameter set (aps) in video coding | |
| KR102309353B1 (ko) | 무분할 양방향 필터 | |
| US20190082176A1 (en) | Non-local bilateral filter | |
| US10623737B2 (en) | Peak sample adaptive offset | |
| US11051017B2 (en) | Adaptive loop filter (ALF) index signaling | |
| US20190320172A1 (en) | Hardware-friendly sample adaptive offset (sao) and adaptive loop filter (alf) for video coding | |
| RU2783335C2 (ru) | Устройство и сигнализация адаптивного контурного фильтра (alf) на блочной основе | |
| US20190373292A1 (en) | In-loop bilateral filter type decision based on block information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| A302 | Request for accelerated examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |