KR101469338B1

KR101469338B1 - 혼합된 탭 필터들

Info

Publication number: KR101469338B1
Application number: KR1020127029494A
Authority: KR
Inventors: 라잔 엘 조쉬; 마르타 카르체비츠; 웨이-정 치엔
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-04-12
Filing date: 2011-04-11
Publication date: 2014-12-24
Also published as: CN102835108A; JP2014222902A; KR20130029077A; AU2011240766A1; TW201220854A; US20110249737A1; CA2795204C; RU2012147772A; HK1177078A1; SG184313A1; ZA201208137B; IL222338A0; CA2795204A1; JP2013524731A; CN102835108B; US9219921B2; TWI437888B; IL222338A; RU2543953C2; AU2011240766B2

Abstract

비디오 인코딩 및/또는 디코딩 프로세스의 예측 스테이지 동안, 비디오 코더는 일정 서브-픽셀 포지션들을 포인팅하는 일정 모션 벡터들에 대하여 상대적으로 더 긴 필터들을 사용할 수 있고 다른 서브-픽셀 포지션들을 포인팅하는 모션 벡터들에 대하여 상대적으로 더 짧은 필터들을 사용할 수 있으며, 여기서 더 긴 필터는 탭들 (taps) 이라고도 불리는 더 많은 수의 필터 계수들을 가진 보간 필터를 일반적으로 지칭하며, 더 짧은 필터는 더 적은 수의 탭들을 가진 보간 필터를 일반적으로 지칭한다.

Description

혼합된 탭 필터들 {MIXED TAP FILTERS}

본 출원은 2010년 4월 12일에 출원된 미국 특허 가출원 61/323,250 호, 2010년 6월 2일에 출원된 미국 특허 가출원 61/350,743 호 및 2010년 7월 2일에 출원된 미국 특허 가출원 61/361,188 호의 이익을 주장하며, 상기 가출원들 각각의 전체 내용들은 본원에서 참조로서 통합된다.

본 개시는 디지털 비디오 인코딩 및 디코딩에 관한 것이며, 더욱 상세하게는, 비디오 인코딩 및 디코딩에서 사용되는 예측 데이터를 생성하기 위해 적용되는 필터링 기술들에 관한 것이다.

디지털 비디오 능력들은 디지털 텔레비전들, 디지털 다이렉트 브로드캐스트 시스템들, 무선 브로드캐스트 시스템들, 개인 휴대 정보 단말들 (PDAs), 랩톱 또는 데스크톱 컴퓨터들, 태블릿 컴퓨터들, 디지털 카메라들, 디지털 레코딩 디바이스들, 비디오 게이밍 디바이스들, 비디오 게임 콘솔들, 셀룰러 또는 위성 라디오 전화기들, 스마트폰들 등의 광범위한 디바이스들로 통합될 수 있다. 디지털 비디오 디바이스들은 디지털 비디오 정보를 보다 효율적으로 송신 및 수신하기 위하여 MPEG-2, MPEG-4, 또는 ITU-T H.264/MPEG-4, Part 10, 고급 비디오 코딩 (AVC) 에 의해 정의된 표준들에서 설명된 기법들과 같은, 비디오 압축 기법들을 구현한다. 비디오 압축 기법들은 비디오 시퀀스들에 내재하는 리던던시 (redundancy) 를 감소 또는 제거하기 위하여 공간적 예측 및/또는 시간적 예측을 수행할 수도 있다.

블록 기반 인터-코딩은 비디오 시퀀스의 연속적인 코딩된 유닛들의 비디오 블록들 간의 시간적 리던던시를 감소 또는 제거하기 위하여 시간적 예측에 의존하는 매우 유용한 코딩 기법이다. 코딩된 유닛들은 비디오 프레임들, 비디오 프레임들의 슬라이스들, 화상들의 그룹들, 또는 인코딩된 비디오 블록들의 다른 정의된 유닛을 포함할 수도 있다. 인터-코딩을 위하여, 비디오 인코더는 2 개 이상의 인접 코딩된 유닛들의 대응하는 비디오 블록들의 이동을 트랙킹하기 위하여 모션 추정 및 모션 보상을 수행한다. 모션 추정은, 하나 이상의 기준 프레임들 또는 다른 코딩된 유닛들에서 대응하는 예측 비디오 블록들에 관련된 비디오 블록들의 변위 (displacement) 를 나타내는 모션 벡터들을 생성한다. 모션 보상은 하나 이상의 기준 프레임들 또는 다른 코딩된 유닛들로부터 예측 비디오 블록들을 생성하기 위하여 모션 벡터들을 사용한다. 모션 보상 후에, 잔여 비디오 블록들은 코딩되는 원래 비디오 블록들로부터 예측 비디오 블록들을 감산함으로써 형성된다.

비디오 인코더는 또한 잔여 블록들의 통신과 연관된 비트 레이트를 더욱 감소시키기 위하여 변환, 양자화 및 엔트로피 코딩 프로세스들을 적용할 수도 있다. 변환 기법들은 이산 코사인 변환들 (DCTs) 또는 개념적으로 유사한 프로세스들을 포함할 수도 있다. 대안적으로, 웨이브릿 변환들 (wavelet transforms), 정수 변환들, 또는 변환들의 다른 유형들이 사용될 수도 있다. DCT 프로세스에서, 예로서, 픽셀 값들의 세트는 주파수 도메인에서 픽셀 값들의 에너지를 나타낼 수도 있는 변환 계수들로 컨버팅된다. 양자화는 변환 계수들에 적용되며, 임의의 주어진 변환 계수와 연관된 비트들의 수를 감소시키는 프로세스와 일반적으로 관련된다. 엔트로피 코딩은 코딩 모드들, 모션 정보, 코딩된 블록 패턴들 및 양자화된 변환 계수들의 시퀀스를 집합적으로 압축하는 하나 이상의 프로세스들을 포함한다. 엔트로피 코딩의 예들은 콘텐츠 적응적 가변 길이 코딩 (CAVLC) 및 콘텍스트 적응적 이진 산술 코딩 (CABAC) 을 포함하지만 그에 제한되지는 않는다.

코딩된 비디오 블록은 예측 블록 및, 코딩되는 블록과 예측 블록 간의 차이들을 나타내는 데이터의 잔여 블록을 만들거나 또는 식별하기 위하여 사용될 수 있는 예측 정보에 의해 표현될 수도 있다. 예측 정보는 데이터의 예측 블록을 식별하기 위해 사용된 하나 이상의 모션 벡터들을 포함할 수도 있다. 모션 벡터들을 고려해 볼 때, 디코더는 잔여 블록을 코딩하기 위해 사용된 예측 블록들을 재구성할 수 있다. 따라서, 잔여 블록들의 세트와 모션 벡터들의 세트 (및 가능하다면 일부 부가 구문 (syntax)) 를 고려해 볼 때, 디코더는 원래 인코딩된 비디오 프레임을 재구성할 수 있다. 연속적 비디오 프레임들 또는 코딩된 유닛들의 다른 유형들이 종종 매우 유사하므로 모션 추정 및 모션 보상에 기초한 인터-코딩은 매우 양호한 압축을 달성할 수 있다. 인코딩된 비디오 시퀀스는 잔여 데이터의 블록들, 모션 벡터들, 및 가능하다면 구문의 다른 유형들을 포함할 수도 있다.

인터-코딩에서 달성될 수 있는 압축의 레벨을 개선하기 위하여 보간 기법들이 개발되었다. 이 경우, 비디오 블록을 코딩하기 위해 사용된, 모션 보상 동안 생성된 예측 데이터는, 모션 추정에서 사용된 비디오 프레임 또는 다른 코딩된 유닛의 비디오 블록들의 픽셀들로부터 보간될 수도 있다. 보간은 종종 예측 1/2 픽셀 (1/2-펠) 값들과 예측 1/4 픽셀 (1/4-펠) 값들을 생성하기 위하여 수행된다. 1/2 펠 값들과 1/4 펠 값들은 픽셀 로케이션들과 연관된다. 프랙셔널 (fractional) 모션 벡터들은 비디오 시퀀스에서 프랙셔널 이동을 캡처하기 위하여 서브-픽셀 해상도에서 비디오 블록들을 식별하기 위하여 사용될 수도 있으며, 이에 의해 정수 비디오 블록들보다 코딩되는 비디오 블록들에 더 유사한 예측 블록들을 제공한다.

일반적으로, 본 개시는 비디오 인코딩 및/또는 디코딩 프로세스의 예측 스테이지 동안 인코더 및 디코더에 의해 적용된 필터링 기법들을 설명한다. 설명된 필터링 기법들의 양태들은 프랙셔널 보간 동안 사용되는 예측 데이터의 정확도를 향상시킬 수도 있으며, 일부의 경우들에서, 픽셀들의 정수 블록들의 예측 데이터를 개선시킬 수도 있다. 일정 서브-픽셀 포지션들을 포인팅하는 일정 모션 벡터들에 대하여 상대적으로 더 긴 필터들을 사용하는 것과 다른 서브-포지션들 포지션들을 포인팅하는 모션 벡터들에 대하여 상대적으로 더 짧은 필터들을 사용하는 것을 포함하여, 본 개시에 대한 수 개의 양태들이 있다.

보간 목적들에 대한 양호한 주파수 응답을 가진 필터들을 설계하기 위하여, 상대적으로 더 긴 필터들 (예를 들면, 6 개 대신에 8 개의 계수들 또는 탭들 (taps) 을 사용하는 것이 바람직할 수도 있다. 그러한 더 긴 필터들은 더 큰 계산 복잡도라는 대가를 치르고 비디오 코더들의 압축 효율을 개선시킬 수 있다. 계산 복잡도에서의 큰 증가 없이 더 긴 필터를 이용한 더 나은 성능의 혜택을 얻기 위하여, 본 개시에서 설명된 기법들은 긴 필터들과 짧은 필터들의 혼합의 사용을 포함한다. 예를 들면, 모션 벡터가 단일 필터링이 필요한 포지션들을 포인팅하면, 8-탭 필터가 사용될 수 있다. 2 개의 필터링 동작들이 필요한 포지션들에 대하여, 6-탭 필터들이 사용될 수 있다. 따라서, H.264 표준의 경우에서와 동일하게, 최악의 경우 복잡도는 6-탭 필터들을 사용한 2 개의 필터링 동작들에 여전히 얽매어져 있으나, 8-탭 필터들의 사용은 H.264 표준에 비하여 개선된 예측 데이터를 발생할 수도 있다.

본 개시의 다른 양태들은 필터의 유형, 그리고 가능하다면 사용된 필터 계수들을 전달하기 위하여 비트스트림 내의 정보를 인코딩하기 위한 기법들과 관련된다. 본 개시의 이들 및 다른 양태들은 아래의 설명으로부터 명확해질 것이다.

하나의 예에서, 본 개시는, 픽셀들의 블록을 획득하는 단계; 제 1 서브-픽셀 포지션에 대한 제 1 서브-픽셀 값을 계산하는 단계; 제 2 서브-픽셀 포지션에 대한 제 2 서브-픽셀 값을 계산하는 단계; 및 적어도 제 1 서브-픽셀 값 및 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하는 단계를 포함하는 방법을 제공하고, 픽셀들의 블록은, 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고, 제 1 서브-픽셀 값을 계산하는 단계는, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 단계를 포함하고, 제 2 서브-픽셀 값을 계산하는 단계는, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 단계, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 단계를 포함하고, 제 1 의 1차원 어레이는, 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며, 제 1 의 1차원 어레이는, 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함한다.

다른 예에서, 본 개시는, 예측 유닛을 포함하는 장치를 제공하고, 그 예측 유닛은, 픽셀들의 블록을 획득하고; 제 1 서브-픽셀 값 및 제 2 서브-픽셀 값을 계산하며; 적어도 제 1 서브-픽셀 값 및 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하도록 구성되고, 픽셀들의 블록은, 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고, 제 1 서브-픽셀 값은, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 것에 의해 계산되고, 제 2 서브-픽셀 값은, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 것, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 것에 의해 계산되고, 제 1 의 1차원 어레이는, 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며, 제 1 의 1차원 어레이는, 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함한다.

다른 예에서, 본 개시는, 픽셀들의 블록을 획득하는 수단; 제 1 서브-픽셀 포지션에 대한 제 1 서브-픽셀 값을 계산하는 수단; 제 2 서브-픽셀 포지션에 대한 제 2 서브-픽셀 값을 계산하는 수단; 및 적어도 제 1 서브-픽셀 값 및 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하는 수단을 포함하는 장치를 제공하고, 픽셀들의 블록은, 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고, 제 1 서브-픽셀 값을 계산하는 것은, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 것을 포함하고, 제 2 서브-픽셀 값을 계산하는 것은, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 것, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 것을 포함하고, 제 1 의 1차원 어레이는, 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며, 제 1 의 1차원 어레이는, 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함한다.

본 개시에서 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되면, 이 소프트웨어는 마이크로프로세서, 주문형 집적 회로 (ASIC), 필드 프로그래머블 게이트 어레이 (FPGA), 또는 디지털 신호 프로세서 (DSP) 와 같은 하나 이상의 프로세서들에서 실행될 수도 있다. 이 기법들을 실행하는 소프트웨어는 컴퓨터-판독가능 매체에 처음에 저장되고 프로세서에서 로딩 및 실행될 수도 있다.

따라서, 본 개시는, 또한 하나 이상의 명령들을 유형적으로 (tangibly) 저장하는 컴퓨터 판독가능 저장 매체를 고려한 것이고, 그 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금, 픽셀들의 블록을 획득하도록 하고; 제 1 서브-픽셀 포지션에 대한 제 1 서브-픽셀 값을 계산하도록 하고; 제 2 서브-픽셀 포지션에 대한 제 2 서브-픽셀 값을 계산하도록 하며; 적어도 제 1 서브-픽셀 값 및 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하도록 하고, 픽셀들의 블록은, 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고, 제 1 서브-픽셀 값을 계산하는 것은, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 것을 포함하고, 제 2 서브-픽셀 값을 계산하는 것은, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 것, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 것을 포함하고, 제 1 의 1차원 어레이는, 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며, 제 1 의 1차원 어레이는, 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함한다.

본 개시의 하나 이상의 양태들의 세부사항들은 첨부된 도면들과 아래의 설명에서 제시된다. 본 개시에서 설명된 기법들의 다른 특징들, 목적들 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백해질 것이다.

도 1 은 본 개시의 기법들을 구현할 수도 있는 하나의 예시적인 비디오 인코딩 및 디코딩 시스템을 도시한 블록도이다.
도 2 는 본 개시와 일치되는 필터링 기법들을 수행할 수도 있는 비디오 인코더의 예를 도시한 블록도이다.
도 3 은 예측 데이터와 연관된 정수-픽셀 포지션들 및 보간된 예측 데이터와 연관된 서브-픽셀 포지션들을 도시한 개념도이다.
도 4 는 예측 데이터와 연관된 정수-픽셀 포지션들 및 보간된 예측 데이터와 연관된 수직 서브-픽셀 포지션들 및 수평 서브-픽셀 포지션들을 도시한 개념도이다.
도 5 는 예측 데이터와 연관된 정수-픽셀 포지션들 및 보간된 예측 데이터와 연관된 비-수직 및 비-수평 서브-픽셀 2L 서브-픽셀 포지션들을 도시한 개념도이다.
도 6 은 서브-픽셀 로케이션에 관하여, 계수 대칭을 가진 수평 8 픽셀 필터 지원을 도시한 개념도이다.
도 7 은 서브-픽셀 로케이션에 관하여, 계수 대칭을 가지지 않은 수평 8 픽셀 필터 지원을 도시한 개념도이다.
도 8 은 서브-픽셀 로케이션에 관하여, 계수 대칭을 가진 수직 8 픽셀 필터 지원을 도시한 개념도이다.
도 9 는 서브-픽셀 로케이션에 관하여, 계수 대칭을 가지지 않은 수직 8 픽셀 필터 지원을 도시한 개념도이다.
도 10 은 본원에서 설명된 방식으로 인코딩된 비디오 시퀀스를 디코딩할 수도 있는 비디오 디코더의 예를 도시한 블록도이다.
도 11 은 본 개시와 일치되는 필터 시그널링을 위한 기법들을 도시한 흐름도이다.
도 12 는 본 개시와 일치되는 필터 시그널링을 위한 기법들을 도시한 흐름도이다.
도 13 은 본 개시와 일치되는 필터 시그널링을 위한 기법들을 도시한 흐름도이다.
도 14 는 본 개시와 일치되는 필터 시그널링을 위한 기법들을 도시한 흐름도이다.
도 15 는 본 개시와 일치되는 보간 필터링을 위한 기법들을 도시한 흐름도이다.

본 개시는 비디오 인코딩 및/또는 디코딩 프로세스의 예측 스테이지 동안에 인코더 및 디코더에 의해 적용된 필터링 기법들을 설명한다. 설명된 필터링 기법들은 프랙셔널 보간 동안에 사용된 예측 데이터의 정확도를 개선시킬 수도 있으며, 일부의 경우들에서, 픽셀들의 정수 블록들의 예측 데이터를 개선시킬 수도 있다. 일정한 서브-픽셀 포지션들을 포인팅하는 일정한 모션 벡터들에 대한 상대적으로 더 긴 필터들 및 다른 서브-픽셀 포지션들을 포인팅하는 모션 벡터들에 대한 상대적으로 더 짧은 필터들의 사용을 포함하여, 본 개시에 대한 수 개의 양태들이 있다. 더 긴 필터는 탭들 (taps) 이라고도 불리는 더 많은 수의 필터 계수들을 가진 보간 필터를 일반적으로 지칭하며, 더 짧은 필터는 더 적은 수의 탭들을 가진 보간 필터를 일반적으로 지칭한다. 일반적으로, 어구 "더 긴 필터" 및 "더 짧은 필터" 는 더 긴 필터는 더 짧은 필터보다 더 길다는 것과 더 짧은 필터는 더 긴 필터보다 더 짧다는 것을 의미하는 상대적인 용어들이다. 이 어구들은, 그러나, 더 긴 필터가 더 짧은 필터보다 더 길고 더 짧은 필터가 더 긴 필터보다 더 짧은 한, 임의의 특정 길이들을 달리 요구하지 않는다. 예를 들면, 8-탭 필터 및 6-탭 필터를 언급하자면, 8-탭 필터는 더 긴 필터이고 6-탭 필터는 더 짧은 필터이다. 그러나, 8-탭 필터 및 10-탭 필터를 언급하자면, 8-탭 필터는 더 짧은 필터이다.

더 많은 탭들을 가진 필터들은 더 적은 탭들을 가진 필터들에 비하여 일반적으로 보간 목적으로 더 나은 주파수 응답을 제공한다. 예를 들면, 8 개의 탭들을 가진 필터는 일반적으로 6 개의 탭들을 가진 필터보다 더 나은 주파수 응답을 발생한다. 더 짧은 필터들에 비하여, 더 긴 필터들은 더 큰 계산 복잡도라는 대가를 치르고 비디오 코더의 압축 효율을 개선시킬 수도 있다. 계산 복잡도에서의 큰 증가 없이 더 긴 필터를 이용한 더 나은 성능의 혜택을 얻기 위하여, 본 개시의 양태들은 긴 필터들과 짧은 필터들의 혼합의 사용을 포함한다. 예를 들면, 모션 벡터가 단일 필터링 동작이 필요한 서브-픽셀 로케이션을 포인팅하면, 8-탭 필터가 사용될 수 있다. 2 개의 필터링 동작들이 필요한 서브-픽셀 로케이션들에 대하여, 6-탭 필터들과 같은 더 짧은 필터들이 사용될 수 있다. 따라서, 더 짧은 필터와 더 긴 필터 사이의 탭들의 수에서의 차이가 그렇게 크지 않은 한, 최악의 경우 복잡도는 더 짧은 필터들을 가진 2 개의 필터링 동작들에 여전히 일반적으로 얽매어져 있다.

도 1 은 본 개시의 양태들을 구현하기 위하여 사용될 수도 있는 하나의 예시적인 비디오 인코딩 및 디코딩 시스템 (10) 을 도시한 블록도이다. 도 1 에 도시한 바와 같이, 시스템 (10) 은 인코딩된 비디오 데이터를 통신 채널 (15) 을 통하여 목적지 디바이스 (16) 로 송신하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 광범위한 디바이스들의 임의의 디바이스를 포함할 수도 있다. 일부의 경우들에서, 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 무선 핸드셋들, 소위 셀룰러 또는 위성 라디오전화기들과 같은 무선 통신 디바이스들, 또는 통신 채널 (15) 을 통하여 비디오 정보를 통신할 수 있는 임의의 무선 디바이스들을 포함하며, 이 경우에 통신 채널 (15) 은 무선이다. 그러나, 예측 코딩 동안의 예측 데이터의 필터링 및 생성에 관련된 개시의 기법들은, 무선 애플리케이션들 또는 셋팅들에 반드시 제한되지는 않는다. 따라서, 본 개시의 양태들은 물리적 와이어들 (wires), 광섬유들 또는 다른 물리적 또는 무선 매체를 통하여 통신하는 디바이스들을 포함한, 광범위한 다른 셋팅들 및 디바이스들에서 또한 유용할 수도 있다. 덧붙여서, 인코딩 또는 디코딩 기법들은 임의의 다른 디바이스와 반드시 통신하지는 않는 독립형 디바이스에서 또한 적용될 수도 있다.

도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (20), 비디오 인코더 (22), 변조기/복조기 (모뎀) (23) 및 송신기 (24) 를 포함할 수도 있다. 목적지 디바이스 (16) 는 수신기 (26), 모뎀 (27), 비디오 디코더 (28) 및 디스플레이 디바이스 (30) 를 포함할 수도 있다. 본 개시에 따라서, 소스 디바이스 (12) 의 비디오 인코더 (22) 는 비디오 인코딩 프로세스의 일부로서 본 개시의 기법들의 하나 이상의 기법들을 적용하도록 구성될 수도 있다. 마찬가지로, 목적지 디바이스 (16) 의 비디오 디코더 (28) 는 비디오 디코딩 프로세스의 일부로서 본 개시의 기법들의 하나 이상의 기법들을 적용하도록 구성될 수도 있다.

다시, 도 1 의 도시된 시스템 (10) 은 단지 예시적이다. 본 개시의 다양한 기법들은 블록-기반 예측 인코딩을 지원하는 임의의 인코딩 디바이스 또는 블록-기반 예측 디코딩을 지원하는 임의의 디코딩 디바이스에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (16) 는, 목적지 디바이스 (16) 로 송신하기 위한 코딩된 비디오 데이터를 소스 디바이스 (12) 가 생성하는 그러한 코딩 디바이스들의 예들에 불과하다. 일부의 경우들에서, 디바이스들 (12, 16) 은 디바이스들 (12, 16) 각각이 비디오 인코딩 및 디코딩 컴포넌트들을 포함하도록 하는 실질적으로 대칭적인 방식으로 동작할 수도 있다. 그러므로, 시스템 (10) 은, 예를 들면, 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 텔레포니를 위한, 비디오 디바이스들 (12, 16) 간의 일방향 또는 양방향 비디오 송신을 지원할 수도 있다.

소스 디바이스 (12) 의 비디오 소스 (20) 는 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브 (video archive), 또는 비디오 콘텐츠 제공자로부터의 비디오 피드 (feed) 와 같은 비디오 캡처 디바이스를 포함할 수도 있다. 추가의 대안으로서, 비디오 소스 (20) 는 소스 비디오로서 컴퓨터 그래픽-기반 데이터, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터-생성된 비디오의 조합을 생성할 수도 있다. 일부의 경우들에서, 비디오 소스 (20) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (16) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 각각의 경우에서, 캡처된, 사전에 캡처된 또는 컴퓨터-생성된 비디오는 비디오 인코더 (22) 에 의해 인코딩될 수도 있다. 인코딩된 비디오 정보는 이후에, 예를 들면, 코드 분할 다중 접속 (CDMA) 또는 다른 통신 표준과 같은, 통신 표준에 따라서 모뎀 (23) 에 의해 변조되어, 송신기 (24) 및 통신 채널 (15) 을 통하여 목적지 디바이스 (16) 로 송신될 수도 있다. 모뎀 (23) 은 다양한 믹서들, 필터들, 증폭기들 또는 신호 복조를 위해 설계된 다른 컴포넌트들을 포함할 수도 있다. 송신기 (24) 는 증폭기들, 필터들 및 하나 이상의 안테나들을 포함한, 데이터를 송신하기 위하여 설계된 회로들을 포함할 수도 있다.

목적지 디바이스 (16) 의 수신기 (26) 는 통신 채널 (15) 을 통하여 정보를 수신하고, 모뎀 (27) 은 이 정보를 복조한다. 송신기 (24) 와 마찬가지로, 수신기 (26) 는 증폭기들, 필터들 및 하나 이상의 안테나들을 포함한, 데이터를 수신하기 위하여 설계된 회로들을 포함할 수도 있다. 일부의 경우들에서, 송신기 (24) 및/또는 수신기 (26) 는 수신 및 송신 회로 양쪽 모두를 포함하는 단일 송수신기 컴포넌트 내에 통합될 수도 있다. 모뎀 (27) 은 믹서들, 필터들, 증폭기들 또는 신호 복조를 위해 설계된 다른 컴포넌트들을 포함할 수도 있다. 일부의 경우들에서, 모뎀들 (23 및 27) 은 변조와 복조 양쪽 모두를 수행하기 위한 컴포넌트들을 포함할 수도 있다.

다시, 비디오 인코더 (22) 에 의해 수행된 비디오 인코딩 프로세스는 모션 보상 동안 본원에서 설명된 기법들의 하나 이상의 기법들을 구현할 수도 있다. 비디오 디코더 (28) 에 의해 수행된 비디오 디코딩 프로세스는 디코딩 프로세스의 그 모션 보상 스테이지 동안 그러한 기법들을 또한 수행할 수도 있다. 용어 "코더" 는 본원에서 비디오 인코딩 또는 비디오 디코딩을 수행하는 특수화된 컴퓨터 디바이스 또는 장치를 지칭하기 위하여 사용된다. 용어 "코더" 는 일반적으로 임의의 비디오 인코더, 비디오 디코더, 또는 결합된 인코더/디코더 (코덱) 를 지칭한다. 용어 "코딩" 은 인코딩 또는 디코딩을 지칭한다. 디스플레이 디바이스 (30) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 디스플레이 디바이스의 다른 유형과 같은 다양한 디스플레이 디바이스들 중 임의의 디스플레이 디바이스를 포함할 수도 있다.

도 1 의 예에서, 통신 채널 (15) 은 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들과 같은 임의의 무선 또는 유선 통신 매체, 또는 무선 및 유선 매체의 임의의 조합을 포함할 수도 있다. 통신 채널 (15) 은 로컬 영역 네트워크, 광역 네트워크, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷-기반 네트워크의 일부를 형성할 수도 있다. 통신 채널 (15) 은 일반적으로, 소스 디바이스 (12) 로부터 목적지 디바이스 (16) 로 비디오 데이터를 송신하기 위한, 임의의 적합한 통신 매체, 또는 상이한 통신 매체의 콜렉션을 표현한다. 통신 채널 (15) 은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (16) 로의 통신을 용이하게 하기 위하여 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

비디오 인코더 (22) 및 비디오 디코더 (28) 는 대안적으로 MPEG-4 로서 설명되는 ITU-T H.264 표준, Part 10, 고급 비디오 코딩 (AVC) 과 같은 하나 이상의 비디오 압축 표준들에 따라서 동작할 수도 있고, 차세대 비디오 압축 표준에 따라 동작할 수도 있다. 본 개시의 기법들은, 그러나, 임의의 특정 비디오 코딩 표준에 제한되지는 않는다. 도 1 에 도시하지는 않았지만, 일부의 양태들에서, 공통 데이터 스트림 또는 분리된 데이터 스트림들에서 오디오와 비디오 양쪽 모두의 인코딩을 핸들링하기 위하여 비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있으며, 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 또는 소프트웨어를 포함할 수도 있다. 적용가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들을 따를 수도 있다.

비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 집적 회로들 (ASICs), 필드 프로그래머블 게이트 어레이들 (FPGAs), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 조합들로서 구현될 수도 있다. 비디오 인코더 (22) 및 비디오 디코더 (28) 각각은 하나 이상의 인코더들 또는 디코더들 내에 포함될 수도 있으며, 이 인코더와 디코더 중 하나는 각각의 모바일 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 서버 등에서 인코딩 및 디코딩 능력들을 제공하는 결합된 코덱의 일부로서 통합될 수도 있다.

비디오 시퀀스는 보통 일련의 비디오 프레임들을 포함한다. 비디오 인코더 (22) 는 비디오 데이터를 인코딩하기 위하여 개별 비디오 프레임들 내의 비디오 블록들 상에서 동작한다. 비디오 블록들은 고정되거나 가변하는 사이즈들을 가질 수도 있으며, 특정 코딩 표준에 따라서 사이즈가 상이할 수도 있다. 각각의 비디오 프레임은 일련의 슬라이스들을 포함한다. 각각의 슬라이스는 서브-블록들로 배치될 수도 있는 일련의 매크로블록들을 포함할 수도 있다. 예로서, ITU-T H.264 표준은, 루마 컴포넌트들을 위한 16 × 16, 16 × 8, 8 × 16, 8 × 8, 8 × 4, 4 × 8 및 4 × 4 그리고 크로마 컴포넌트들을 위한 대응된 스케일링된 사이즈들과 같은, 다양한 블록 사이즈들에서의 인터 예측 (inter prediction) 뿐만 아니라 루마 컴포넌트들을 위한 16 × 16, 8 × 8, 또는 4 × 4, 그리고 크로마 컴포넌트들을 위한 8 × 8 과 같은 다양한 블록 사이즈들에서의 인트라 예측 (intra prediction) 을 지원한다. 비디오 블록들은, 예를 들면, 이산 코사인 변환 (DCT) 과 같은 변환 프로세스 또는 개념적으로 유사한 변환 프로세스를 뒤따르는, 픽셀 데이터의 블록들 또는 변환 계수들의 블록들을 포함할 수도 있다.

더 작은 비디오 블록들은 더 나은 해상도를 제공할 수 있으며, 세부사항의 높은 레벨들을 포함하는 비디오 프레임의 로케이션들을 위해 사용될 수도 있다. 일반적으로, 매크로블록들 및 다양한 서브-블록들은 비디오 블록들로서 고려될 수도 있다. 덧붙여서, 슬라이스는 매크로블록들 및/또는 서브-블록들과 같은 일련의 비디오 블록들로서 고려될 수도 있다. 각각의 슬라이스는 비디오 프레임의 독립적 디코딩가능 유닛일 수도 있다. 대안적으로, 프레임들 그 자체가 디코딩가능 유닛들일 수도 있거나, 프레임의 다른 부분들은 디코딩가능 유닛들로서 정의될 수도 있다. 용어 "코딩된 유닛" 은 전체 프레임과 같은 비디오 프레임의 임의의 독립적 디코딩가능 유닛, 프레임의 슬라이스, 또는 사용된 코딩 기법들에 따라 정의된 다른 독립적 디코딩가능 유닛을 지칭한다.

비디오 블록들을 인코딩하기 위하여, 비디오 인코더 (22) 는 인트라 또는 인터 예측을 수행하여 예측 블록을 생성한다. 비디오 인코더 (22) 는 인코딩될 원래의 비디오 블록들로부터 예측 블록들을 감산하여 잔여 블록들을 생성한다. 따라서, 잔여 블록들은 코딩되는 블록들과 예측 블록들 간의 차이들을 나타낸다. 비디오 인코더 (22) 는 잔여 블록들에 변환을 수행하여 변환 계수들의 블록들을 생성할 수도 있다. 인트라- 또는 인터-기반 예측 코딩 및 변환 기법들 후에, 비디오 인코더 (22) 는 양자화를 수행한다. 양자화는 계수들을 표현하기 위해 사용된 데이터의 양을 가능하다면 감소시키기 위하여 계수들이 양자화되는 프로세스를 일반적으로 지칭한다. 양자화 후에, 콘텍스트 적응적 가변 길이 코딩 (CAVLC) 및 콘텍스트 적응적 이진 산술 코딩 (CABAC) 과 같은 엔트로피 코딩 방법론에 따라서 엔트로피 코딩이 수행될 수도 있다. 비디오 인코더 (22) 에 의해 수행된 인코딩 프로세스의 각각의 단계의 더욱 세부적인 사항들이 아래에서 도 2 에서 더욱 상세하게 설명될 것이다.

목적지 디바이스 (16) 에서, 비디오 디코더 (28) 는 인코딩된 비디오 데이터를 수신한다. 비디오 디코더 (28) 는 양자화된 계수들을 획득하기 위하여 CAVLC 또는 CABAC 과 같은 엔트로피 코딩 방법론에 따라서 수신된 비디오 데이터를 디코딩한다. 비디오 디코더 (28) 는 픽셀 도메인에서 잔여 블록을 재구성하기 위하여 역양자화 (inverse quantization (de-quantization)) 와 역변환 함수들을 적용한다. 비디오 디코더 (28) 는 또한 인코딩된 비디오 데이터에 포함된 제어 정보 또는 구문 정보 (예를 들면, 코딩 모드, 모션 벡터들, 필터 계수들을 정의하는 구문 등) 에 기초하여 예측 블록을 생성한다. 비디오 디코더 (28) 는 예측 블록을 재구성된 잔여 블록과 합산하여 디스플레이를 위한 재구성된 비디오 블록을 발생한다. 비디오 디코더 (28) 에 의해 수행된 디코딩 프로세스의 각각의 단계의 더욱 세부적인 사항들은 아래에서 도 10 을 참조하여 더욱 상세하게 설명될 것이다.

본 개시의 양태들에 따라서, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 모션 보상 동안에 하나 이상의 보간 필터링 기법들을 사용할 수도 있다. 특히, 본 개시의 하나의 양태에 따라서, 비디오 인코더 (22) 및/또는 비디오 디코더 (28) 는 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하는 픽셀들의 블록을 획득할 수도 있고 픽셀들의 블록을 위한 서브-픽셀 값들을 결정하기 위하여 더 긴 필터들과 더 짧은 필터들의 혼합을 사용할 수도 있다.

도 2 는 본 개시와 일치되는 필터링 기법들을 수행할 수도 있는 비디오 인코더 (50) 의 예를 도시한 블록도이다. 비디오 인코더 (50) 는 본원에서 "코더" 로 지칭되는 특수화된 비디오 컴퓨터 디바이스 또는 장치의 일 예이다. 비디오 인코더 (50) 는 디바이스 (20) 의 비디오 인코더 (22) 또는 상이한 디바이스의 비디오 인코더에 대응될 수도 있다. 인트라-코딩 컴포넌트들은 도시의 편이를 위하여 도 2 에서 도시되지 않았지만, 비디오 인코더 (50) 는 비디오 프레임들 내의 블록들의 인트라-코딩 및 인터-코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 내의 비디오 내의 공간적 리던던시를 감소 또는 제거하기 위하여 공간적 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 인접 프레임들 내의 비디오 내의 시간적 리던던시를 감소 또는 제거하기 위하여 시간적 예측에 의존한다. 인트라-모드 (I-모드) 는 공간 기반 압축 모드를 지칭할 수도 있으며, 예측 (P-모드) 또는 양방향 (B-모드) 과 같은 인터-모드들은 시간 기반 압축 모드들을 지칭할 수도 있다. 본 개시의 기법들은 인터-코딩 동안 적용되며, 그러므로, 공간 예측 유닛과 같은 인트라-코딩 유닛들은 도시의 단순화와 편이를 위해 도 2 에서 도시되지 않는다.

도 2 에 도시한 바와 같이, 비디오 인코더 (50) 는 인코딩될 비디오 프레임 내의 비디오 블록을 수신한다. 도 2 의 예에서, 비디오 인코더 (50) 는 예측 유닛 (32), 메모리 (34), 가산기 (48), 변환 유닛 (38), 양자화 유닛 (40) 및 엔트로피 코딩 유닛 (46) 을 포함한다. 비디오 블록 재구성을 위하여, 비디오 인코더 (50) 는 또한 역양자화 유닛 (42), 역변환 유닛 (44) 및 가산기 (51) 를 포함한다. 디블록킹 필터 (미도시) 는 재구성된 비디오로부터 블록킹 아티팩트들 (blocking artifacts) 을 제거하기 위하여 블록 경계들을 필터링하기 위하여 또한 포함될 수도 있다. 원하는 경우, 디블록킹 필터는 보통 가산기 (51) 의 출력을 필터링한다.

예측 유닛 (32) 은 모션 추정 (ME) 유닛 (35) 및 모션 보상 (MC) 유닛 (37) 을 포함할 수도 있다. 필터 유닛 (39) 은 예측 유닛 (32) 에 포함될 수도 있고 본 개시에 따라 모션 추정 및/또는 모션 보상의 일부로서 보간 또는 보간과 유사한 필터링을 수행하기 위하여 ME 유닛 (35) 및 MC 유닛 (37) 중 하나 또는 양쪽 모두에 의해 적용될 수도 있다. 필터 유닛 (39) 은 본원에서 설명된 수많은 상이한 유형들의 보간 및 보간-유형의 필터링을 용이하게 하기 위하여 복수의 상이한 필터들을 실제로 표현할 수도 있다. 따라서, 예측 유닛 (32) 은 복수의 보간 또는 보간과 유사한 필터들을 포함할 수도 있다. 부가하여, 필터 유닛 (39) 은 복수의 서브-픽셀 로케이션들을 위한 복수의 필터 인덱스들을 포함할 수도 있다. 필터 인덱스들은 비트 패턴 및 서브-픽셀 로케이션을 특정 보간 필터와 연관시킨다. 인코딩 프로세스 동안에, 비디오 인코더 (50) 는 (도 2 에서 "비디오 블록" 으로 라벨링된) 코딩될 비디오 블록을 수신하며, 예측 유닛 (32) 은 (도 2 에서 "예측 블록" 으로 라벨링된) 예측 블록을 생성하기 위하여 인터-예측 코딩을 수행한다. 구체적으로, ME 유닛 (35) 은 메모리 (34) 내의 예측 블록을 식별하기 위하여 모션 추정을 수행할 수도 있고, MC 유닛 (37) 은 예측 블록을 생성하기 위하여 모션 보상을 수행할 수도 있다.

모션 추정은 비디오 블록들을 위한 모션을 추정하는 모션 벡터들을 생성하는 프로세스로 보통 고려된다. 예를 들면, 모션 벡터는 현재 프레임 (또는 다른 코딩된 유닛) 내의 코딩될 블록에 관한 예측 또는 기준 프레임 (또는 다른 코딩된 유닛, 예를 들면, 슬라이스) 내에서의 예측 블록의 변위를 나타낼 수도 있다. 기준 프레임 (또는 프레임의 부분) 은 현재 비디오 블록이 속하는 비디오 프레임 (또는 비디오 프레임의 부분) 이전에 또는 이후에 일시적으로 로케이팅될 수도 있다. 모션 보상은 메모리 (34) 로부터 예측 블록을 페칭 (fetching) 또는 생성하거나, 필터링된 예측 데이터를 모션 추정에 의해 결정된 모션 벡터에 기초하여 가능하다면 보간 또는 그렇지 않으면 생성하는 프로세스로 보통 고려된다.

ME 유닛 (35) 은 비디오 블록을 하나 이상의 기준 프레임들 (예를 들면, 이전 및/또는 후속 프레임) 의 비디오 블록들에 비교함으로써 코딩될 비디오 블록을 위한 적절한 모션 벡터를 선택한다. ME 유닛 (35) 은, 때때로 프랙서녈 픽셀, 프랙셔널 펠 또는 서브-픽셀 모션 추정으로 지칭되는, 프랙셔널 픽셀 정밀도를 가진 모션 추정을 수행할 수도 있다. 그와 같이, 용어들 프랙셔널 픽셀, 프랙셔널 펠 및 서브-픽셀 모션 추정은 상호교환적으로 사용될 수도 있다. 프랙셔널 픽셀 모션 추정에서, ME 유닛 (35) 은 정수 픽셀 로케이션 이외의 로케이션으로의 변위를 나타내는 모션 벡터를 선택할 수도 있다. 이러한 방식으로, 프랙셔널 픽셀 모션 추정은 예측 유닛 (32) 이 정수-픽셀 (또는 풀 (full)-픽셀) 보다 높은 정밀도로 모션을 트랙킹할 수 있도록 허용하며, 따라서 더욱 정확한 예측 블록을 생성한다. 프랙셔널 픽셀 모션 추정은 1/2-픽셀 정밀도, 1/4-픽셀 정밀도, 1/8-픽셀 정밀도 또는 임의의 더 미세한 정밀도를 가질 수도 있다. ME 유닛 (35) 은 모션 추정 프로세스 동안 임의의 필요한 보간들에 대하여 필터(들) (39) 를 적용할 수도 있다.

프랙셔널 픽셀 모션 보상을 수행하기 위하여, MC 유닛 (37) 은 (본원에서 서브-픽셀 또는 프랙셔널 픽셀 값들로 지칭되는) 서브-픽셀 해상도에서 데이터를 생성하기 위하여 (때때로 보간 필터링으로 지칭되는) 보간을 수행할 수도 있다. MC 유닛 (37) 은 이 보간에 대해 필터(들) (39) 를 적용할 수도 있다. 예측 유닛 (32) 은 본원에서 설명된 기법들을 이용하여 보간 (또는 정수 픽셀들의 보간과 유사한 필터링) 을 수행할 수도 있다.

코딩될 비디오 블록에 대한 모션 벡터가 ME 유닛 (35) 에 의해 일단 선택되면, MC 유닛 (37) 은 그 모션 벡터와 연관된 예측 비디오 블록을 생성한다. MC 유닛 (37) 은 MC 유닛 (35) 에 의해 결정된 모션 벡터에 기초하여 메모리 (34) 로부터 예측 블록을 페치할 수도 있다. 프랙셔널 픽셀 정밀도를 가진 모션 벡터의 경우에, MC 유닛 (37) 은, 예를 들면, 이 프로세스에 대해 필터(들) (39) 를 적용하는 것과 같이, 그러한 데이터를 서브-픽셀 해상도로 보간하기 위하여 메모리 (34) 로부터의 데이터를 필터링한다. 일부의 경우들에서, 서브-픽셀 예측 데이터를 생성하기 위하여 사용된 보간 필터링 기법 또는 모드는 코딩된 비트스트림에 포함되기 위한 엔트로피 코딩 유닛 (46) 에 대한 하나 이상의 보간 구문 엘리먼트들로서 나타낼 수도 있다.

예측 유닛 (32) 이 일단 예측 블록을 생성하였으면, 비디오 인코더 (50) 는 코딩되는 원래 비디오 블록으로부터 예측 블록을 감산함으로써 (도 2 에서 "잔여 블록" 으로 라벨링된) 잔여 비디오 블록을 형성한다. 가산기 (48) 는 이 감산 연산을 수행하는 컴포넌트 또는 컴포넌트들을 표현한다. 변환 유닛 (38) 은 이산 코사인 변환 (DCT) 또는 개념적으로 유사한 변환과 같은 변환을 잔여 블록에 적용하여 잔여 변환 블록 계수들을 포함하는 비디오 블록을 발생한다. 변환 유닛 (38) 은, 예를 들면, DCT 와 개념적으로 유사한, H.264 표준에 의해 정의된 변환들과 같은 다른 변환들을 수행할 수도 있다. 웨이브릿 변환들, 정수 변환들, 서브-밴드 변환들 또는 변환들의 다른 유형들이 또한 사용될 수 있다. 임의의 경우에서, 변환 유닛 (38) 은 변환을 잔여 블록에 적용하여 잔여 변환 계수들의 블록을 발생한다. 변환은 픽셀 도메인으로부터 주파수 도메인으로 잔여 정보를 컨버팅할 수도 있다.

양자화 유닛 (40) 은 비트 레이트를 더 감소시키기 위하여 잔여 변환 계수들을 양자화한다. 양자화 프로세스는 계수들의 일부 또는 모두와 연관된 비트 깊이를 감소시킬 수도 있다. 양자화 후에, 엔트로피 코딩 유닛 (46) 은 양자화된 변환 계수들을 엔트로피 코딩한다. 예를 들면, 엔트로피 코딩 유닛 (46) 은 CAVLC, CABAC, 또는 다른 엔트로피 코딩 방법론을 수행할 수도 있다.

엔트로피 코딩 유닛 (46) 은 또한 예측 유닛 (32) 또는 비디오 인코더 (50) 의 다른 컴포넌트로부터 획득된 하나 이상의 예측 구문 엘리먼트들을 코딩할 수도 있다. 하나 이상의 예측 구문 엘리먼트들은 코딩 모드, 하나 이상의 모션 벡터들, 서브-픽셀 데이터를 생성하기 위하여 사용된 보간 기법, 필터 계수들의 세트 또는 서브세트, 또는 예측 블록의 생성과 연관된 다른 정보를 포함할 수도 있다. 계수 예측 및 양자화 유닛 (41) 은 본 개시의 일부 양태들에 따라서, 필터 계수들과 같은 예측 구문을 예측적으로 인코딩 및 양자화할 수도 있다. 엔트로피 코딩 유닛 (46) 에 의한 엔트로피 코딩 후에, 인코딩된 비디오 및 구문 엘리먼트들은 다른 디바이스로 송신되거나 이후의 송신 또는 검색을 위해 아카이브될 수도 있다.

역양자화 유닛 (42) 및 역변환 유닛 (44) 은, 예를 들면, 기준 블록으로서의 이후의 사용을 위하여, 픽셀 도메인에서 잔여 블록을 재구성하기 위하여 역양자화 및 역변환을 각각 적용한다. (도 2 에서 "재구성된 잔여 블록" 으로 라벨링된) 재구성된 잔여 블록은 변환 유닛 (38) 에 제공된 잔여 블록의 재구성된 버전을 표현할 수도 있다. 재구성된 잔여 블록은 양자화 및 역양자화 동작들에 의해 초래된 세부사항의 손실 때문에 합산기 (48) 에 의해 생성된 잔여 블록과는 상이할 수도 있다. 합산기 (51) 는 재구성된 잔여 블록을 예측 유닛 (32) 에 의해 발생된 모션 보상된 예측 블록에 가산하여 메모리 (34) 에 저장되기 위한 재구성된 비디오 블록을 발생한다. 재구성된 비디오 블록은, 후속 비디오 프레임 또는 후속 코딩된 유닛에서 그 뒤에 블록을 코딩하기 위하여 사용될 수도 있는 기준 블록으로서 예측 유닛 (32) 에 의해 사용될 수도 있다.

위에서 설명한 바와 같이, 예측 유닛 (32) 은 프랙셔널 픽셀 (또는 서브-픽셀) 정밀도를 가진 모션 추정을 수행할 수도 있다. 예측 유닛 (32) 이 프랙셔널 픽셀 모션 추정을 이용하면, 예측 유닛 (32) 은 본 개시에서 설명된 보간 동작들을 이용하여 서브-픽셀 해상도 (예를 들면, 서브-픽셀 또는 프랙셔널 픽셀 값들) 에서 데이터를 생성할 수도 있다. 다르게 말하면, 보간 동작들은 정수 픽셀 포지션들 간의 포지션들에서 값들을 계산하기 위하여 사용된다. 정수-픽셀 포지션들 간의 거리의 1/2 에 로케이팅된 서브-픽셀 포지션들은 1/2-픽셀 (1/2-펠) 포지션들로 지칭될 수도 있고, 정수-픽셀 포지션과 1/2-픽셀 포지션 간의 거리의 1/2 에 로케이팅된 서브-픽셀 포지션들은 1/4-픽셀 (1/4-펠) 포지션들로 지칭될 수도 있고, 정수-픽셀 포지션 (또는 1/2-픽셀 포지션) 과 1/4-픽셀 포지션 간의 거리의 1/2 에 로케이팅된 서브-픽셀 포지션들은 1/8-픽셀 (1/8-펠) 포지션들로 지칭되는 등등이다.

도 3 은 예측 데이터와 연관된 정수-픽셀 (또는 풀 픽셀) 포지션들 및 보간된 예측 데이터와 연관된 서브-픽셀 (프랙셔널-픽셀) 포지션들을 도시한 개념도이다. 도 3 의 개념적인 도시에서, 상이한 박스들은 프레임 또는 프레임의 블록 내의 픽셀 및 서브-픽셀 로케이션들 또는 포지션들을 표현한다. (실선들로 그려진 박스들 내의) 대문자들은 정수-픽셀 로케이션들을 표현하고, (점선들로 그려진 박스들 내의) 소문자들은 서브-픽셀 로케이션들을 표현한다. 특히, 픽셀 로케이션들 A1-A6, B1-B6, C1-C6, D1-D6, E1-E6 및 F1-F6 는 프레임, 슬라이스, 또는 다른 코딩된 유닛 내의 정수 픽셀 로케이션들의 6×6 어레이를 표현한다. 부가적인 정수-픽셀 로케이션들 G3 및 H3 은 또한 본 개시에서 이후에 설명되는 예들과 함께 사용되기 위하여 도 3 에 도시된다. 서브-픽셀 로케이션들 "a" 내지 "o" 는, 예를 들면, 정수 픽셀 로케이션들 C3, C4, D3 및 D4 사이의, 정수 픽셀 C3 과 연관된 15 개의 서브-픽셀 로케이션들을 표현한다. 유사한 서브-픽셀 로케이션들이 모든 정수 픽셀 로케이션에 대해 존재할 수도 있다. 서브-픽셀 로케이션들 "a" 내지 "o" 는 정수 픽셀 C3 과 연관된 모든 1/2-펠 및 1/4-펠 픽셀 로케이션을 표현한다.

정수-픽셀 로케이션들은, 비디오 데이터가 원래 생성되면 포토다이오드와 같은 물리적 센서 엘리먼트와 연관될 수도 있다. 포토다이오드는 센서의 로케이션에서의 광원의 세기를 측정하고 픽셀 세기 값을 정수-픽셀 로케이션에 연관시킬 수도 있다. 다시, 각각의 정수-픽셀 로케이션은 연관된 15 개의 (또는 가능하다면 더 많은) 서브-픽셀 로케이션들의 세트를 가질 수도 있다. 정수-픽셀 로케이션들과 연관된 서브-픽셀 로케이션들의 수는 원하는 정밀도에 의존할 수도 있다. 도 3 에서 도시된 예에서, 원하는 정밀도는 1/4-픽셀 정밀도이며, 이 경우에, 정수 픽셀 로케이션들 각각은 15 개의 상이한 서브-픽셀 포지션들에 대응한다. 더 많거나 더 적은 서브-픽셀 로케이션들이 원하는 정밀도에 기초하여 각각의 정수-픽셀 로케이션에 연관될 수도 있다. 1/2-픽셀 정밀도에 대하여, 예를 들면, 각각의 정수-픽셀 로케이션은 3 개의 서브-픽셀 포지션들에 대응할 수도 있다. 다른 예로서, 1/8-픽셀 정밀도에 대하여 정수-픽셀 로케이션들 각각은 63 개의 서브-픽셀 포지션들에 대응할 수도 있다. 각각의 픽셀 로케이션은, 예를 들면, 하나 이상의 휘도 및 색차 값들인 하나 이상의 픽셀 값들을 정의할 수도 있다.

Y 는 휘도를 표현할 수도 있으며, Cb 및 Cr 은 3차원 YCbCr 색 공간의 색차의 2 개의 상이한 값들을 표현할 수도 있다. 각각의 픽셀 로케이션은 3차원 색 공간을 위한 3 개의 픽셀 값들을 실제로 정의할 수도 있다. 본 개시의 기법들은, 그러나, 단순화의 목적으로 1차원에 대한 예측을 참조할 수도 있다. 기법들이 1차원에서의 픽셀 값들에 대하여 설명되는 한, 유사한 기법들이 다른 차원들로 확장될 수도 있다. 일부의 경우들에서, 색차 값들은 예측 이전에 서브-샘플링되나, 인간의 시력은 픽셀 색상보다 픽셀 세기에 더 민감하기 때문에 예측은 휘도 공간에서 임의의 서브-샘플링 없이 보통 발생한다.

도 3 의 예에서, 정수 픽셀 "C3" 과 연관된, 서브-픽셀 포지션들로도 또한 지칭되는, 서브-픽셀 로케이션들이 1/4-픽셀 정밀도에 대하여 도시된다. 픽셀 C3 과 연관된 15 개의 서브-픽셀 포지션들은 "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n" 및 "o" 로서 라벨링된다. 다른 정수-픽셀 로케이션들과 연관된 다른 프랙셔널 로케이션들의 대부분은 단순화를 위해 도시되지 않는다. 서브-픽셀 로케이션들 "b", "h" 및 "j" 는 1/2-픽셀 로케이션들로지칭될 수도 있고, 서브-픽셀 로케이션들 "a", "c", "d", "e", "f", "g", "i", "k", "l", "m" 및 "o" 는 1/4-픽셀 로케이션들로 지칭될 수도 있다. 더욱이, 본 개시에서, 정수 픽셀들로서 동일한 수평 축을 따라서 배향된 서브-픽셀 포지션들은 수평 서브-픽셀들로 지칭될 수 있다. 서브-픽셀들 "a", "b" 및 "c" 는 수평 서브-픽셀들의 예들이다. 정수 픽셀로서 동일한 수직 축 상에서 배향된 서브-픽셀들은 수직 서브-픽셀들로 지칭될 수 있다. 서브-픽셀들 "d", "h" 및 "l" 은 수직 서브-픽셀들의 예들이다. 본 개시의 양태들은 단일 선형 보간 필터를 이용하여 수평 서브-픽셀들 및 수직 서브-픽셀들에 대한 픽셀 값들을 결정하는 것을 포함하며, 따라서 본 개시는 수평 서브-픽셀들 및 수직 서브-픽셀들을 집합적으로 1L 서브-픽셀들로 지칭할 수도 있다. 도 4 는 정수 픽셀들 (C1-C6, A3, B3, C3, D3, E3, 및 F3) 의 그룹에 관한 1L 서브-픽셀들 (a, b, c, d, h, l) 을 도시한 개념도이다.

본 개시의 양태들은, 하나는 수직 방향으로 적용되고 하나는 수평 방향으로 적용되는 2 개의 선형 보간 필터들을 이용하여, 서브-픽셀들 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 와 같은 비-수직, 비-수평 서브-픽셀들에 대한 픽셀 값들을 결정하는 것을 포함한다. 따라서, 본 개시는 서브-픽셀들 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 와 같은 비-수직, 비-수평 서브-픽셀들을 2L 서브-픽셀들로 지칭할 수도 있다. 도 5 는 정수 픽셀들 (C1-C6, A3, B3, C3, D3, E3, 및 F3) 의 그룹에 관한 2L 서브-픽셀들 (e, f, g, i, j, k, m, n, o) 을 도시한 개념도이다.

도 6 은 계수 대칭을 보여주는 셰이딩을 가진, 서브-픽셀 포지션 "b" 에 관한 8 개의 수평 선형 픽셀 지원 포지션들 (C0-C7) 을 도시한 개념도이다. 이 경우에, 계수 대칭은 필터 지원 포지션들 (C0-C7) 에 대한 계수들의 전체 세트를 정의하기 위하여 C0, C1, C2 및 C3 에 대한 오직 4 개의 필터 계수만들이 필요하다는 것을 의미한다. C0 은 C7 과 대칭적이며, C1 은 C6 과 대칭적이며, C2 는 C5 와 대칭적이며, C3 은 C4 와 대칭적이다. 따라서, 서브-픽셀 포지션 "b" 를 보간하기 위하여 필요한 8 개의 계수들의 세트를 정의하기 위하여 단지 4 개의 계수들이 인코딩된 비디오 비트스트림의 일부로서 통신되거나 필터 유닛 (39) 에 의해 저장될 필요가 있다. 나머지 계수들은 통신된 계수들에 기초하여 디코더에서 생성될 수 있다. 특히, 대칭이 적용된다는 것을 알기 위하여 디코더는 프로그래밍될 수 있으며, 대칭은 통신된 계수들에 기초하여 임의의 나머지 계수들을 생성하는 방법을 정의할 수 있다.

도 7 은 임의의 계수 대칭의 부족을 보여주는 셰이딩을 가진, 서브-픽셀에 관한 8 개의 수평 선형 픽셀 지원 포지션들을 도시한 개념도이다. 따라서, 서브-픽셀 포지션 "a" 에 대한 필터 지원을 위한 계수들의 세트를 정의하기 위하여 모든 8 개의 계수들이 필요하다. 그러나, 픽셀 대칭은 서브-픽셀 포지션 "c" 에 대한 필터 지원을 유도하기 위하여 서브-픽셀 포지션 "a" 에 대한 이 동일한 계수들이 또한 사용될 수 있다는 것을 의미한다. 서브-포지션 "a" 에 대한 필터 지원을 위한 8 개의 계수들이 1차원 어레이로서 보여지면, 서브-픽셀 "a" 에 대한 값을 결정할 때 C7 에 대한 계수는 서브-픽셀 "c" 에 대한 값을 결정할 때 C0 에 대한 계수일 수 있으며, C6 에 대한 계수는 C1 에 대한 계수일 수 있도록 하는 등등으로, 이후에 서브-픽셀 "c" 에 대한 8 개의 계수들은 어레이를 플립핑 (flipping) 함으로써 발견될 수 있다. 따라서, 예를 들면, 적응적 보간 필터링 (AIF) 을 이용한다면, 필터 계수들이 비디오 인코더 (22) 에서 계산되는 경우에, 서브-픽셀 포지션들 "a" 및 "c" 를 보간하기 위하여 필요한 8 개의 계수들의 2 개의 상이한 세트들을 정의하기 위하여 오직 8 개의 계수들만이 비트 스트림으로 비디오 디코더 (28) 에 통신될 필요가 있다.

도 8 은 계수 대칭을 보여주는 셰이딩을 가진, 서브-픽셀 "h" 에 관한 8 개의 수직 선형 픽셀 지원 포지션들 (G3, A3, B3, C3, D3, E3, F3 및 H3) 을 도시한 개념도이다. 이 경우에, 계수 대칭은 필터 지원 포지션들 (G3, A3, B3, C3, D3, E3, F3 및 H3) 에 대한 계수들의 전체 세트를 정의하기 위하여 G3, A3, B3 및 C3 에 대한 오직 4 개의 필터 계수들만이 필요하다는 것을 의미한다. G3 은 H3 과 대칭적이고, A3 은 F3 과 대칭적이고, B3 은 E3 과 대칭적이고, C3 은 D3 과 대칭적이다. 대칭 때문에, G3 과 연관된 계수는 H3 과 함께 사용될 수 있으며, A3 과 연관된 계수는 F3 과 함께 사용될 수 있는 등등이다. 따라서, 예를 들면, AIF 를 이용한다면, 서브-픽셀 포지션 "h" 를 보간하기 위하여 필요한 8 개의 계수들의 세트를 정의하기 위하여 오직 4 개의 계수들만이 인코딩된 비디오 비트스트림의 일부로서 통신될 필요가 있다.

도 9 는 임의의 계수 대칭의 부족을 보여주는 셰이딩을 가진, 서브-픽셀에 관한 8 개의 수직 선형 픽셀 지원 포지션들을 도시한 개념도이다. 따라서, 서브-픽셀 포지션 "d" 에 대한 필터 지원을 위한 계수들의 세트를 정의하기 위하여 모든 8 개의 계수들이 필요하다. 도 7 에 대하여 위에서 지적한 바와 같이, 그러나, 픽셀 대칭은 서브-픽셀 포지션 "l" 에 대한 필터 지원을 유도하기 위하여 서브-픽셀 포지션 "d" 에 대한 이 동일한 계수들이 또한 사용될 수 있다는 것을 의미한다. 따라서, 예를 들면, AIF 를 이용한다면, 서브-픽셀 포지션들 "d" 및 "l"을 보간하기 위하여 필요한 8 개의 계수들의 2 개의 상이한 세트들을 정의하기 위하여 오직 8 개의 계수들만이 비트 스트림으로 비디오 디코더 (28) 에 통신될 필요가 있다.

비디오 인코더 (40) 의 예측 유닛 (32) 은 필터링 유닛 (39) 에 의한 보간 필터링을 이용하여 서브-픽셀 로케이션들 "a" 내지 "o" 에 대한 픽셀 값들을 결정할 수도 있다. 1/2-픽셀 포지션들 "b" 및 "h" 에 대하여, 탭이라고도 불리는 각각의 필터 계수는 수평 및 수직 방향 각각으로 정수 픽셀 포지션에 대응할 수도 있다. 특히, 1/2-픽셀 포지션 "b" 에 대하여, 8-탭 필터의 탭들은 C0, C1, C2, C3, C4, C5, C6 및 C7 에 대응한다. 서브-픽셀 포지션들 C0 및 C7 은 도 3 에서 도시되지 않았지만, 예를 들면, 도 6 및 도 7 에서는 보여질 수 있다. 마찬가지로, 1/2-픽셀 포지션 "h" 에 대하여, 8-탭 필터의 탭들은 G3, A3, B3, C3, D3, E3, F3 및 H3 에 대응한다. 예를 들면, 서브-픽셀 포지션들 "b" 및 "h" 에 대한 픽셀 값들은 식 (1) 및 식 (2) 를 이용하여 계산될 수도 있다.

(1)

(2)

일부의 구현들에서, 256 에 의한 나눗셈이 8 비트들의 우측 시프트 (right shift) 에 의해 구현될 수 있다. 포지션 "b" 와 마찬가지로, 1/4-픽셀 포지션들 "a" 및 "c" 에 대하여, 8-탭 필터의 탭들은 C0, C1, C2, C3, C4, C5, C6 및 C7 에 대응하지만, 포지션 "b" 에 대해서와는 달리, 필터 계수들은 비대칭적이고 포지션 "b" 에 대해서보다 상이할 수도 있다. 예를 들면, 서브-픽셀 포지션들 "a" 및 "c" 에 대한 픽셀 값들은 식 (3) 및 식 (4) 를 이용하여 계산될 수도 있다.

일부의 구현들에서, 256 에 의한 나눗셈이 8 비트들의 우측 시프트에 의해 구현될 수 있다. 포지션 "h" 와 마찬가지로, 1/4-픽셀 포지션들 "d" 및 "l" 에 대하여, 8-탭 필터의 탭들은 G3, A3, B3, C3, D3, E3, F3 및 H3 에 대응하지만, 포지션 "h" 에 대해서와는 달리, 필터 계수들은 비대칭적이고 포지션 "h" 에 대해서보다 상이할 수도 있다. 예를 들면, 서브-픽셀 포지션들 "d" 및 "l" 에 대한 픽셀 값들은 식 (5) 및 식 (6) 을 이용하여 계산될 수도 있다.

일부의 구현들에서, 256 에 의한 나눗셈이 8 비트들의 우측 시프트에 의해 구현될 수 있다. 위의 식 (1) 내지 식 (6) 에 대해 주어진 예의 계수들은 수평 서브-픽셀들 및 수직 서브-픽셀들 양쪽 모두에 대해 동일한 계수들을 일반적으로 사용하지만, 수평 서브-픽셀들 및 수직 서브-픽셀들에 대한 계수들이 동일하도록 요구되지는 않는다. 예를 들면, 식 (1) 및 식 (2), 식 (3) 및 식 (5), 그리고 식 (4) 및 식 (6) 은 각각 위의 예들에서 동일한 계수들을 가지나, 일부의 구현들에서, 각각은 상이한 계수들을 가질 수도 있다.

비디오 인코더 (40) 의 예측 유닛 (32) 은 필터링 유닛 (39) 에 의한 보간 필터링을 이용하여 2L 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대한 픽셀 값들을 결정할 수도 있다. 2L 서브-픽셀 포지션들에 대하여, 수평 필터링 후에 수직 필터링이 뒤따르거나, 반대의 경우도 마찬가지이다. 제 1 필터링 동작은 중간 값들을 결정하고, 제 2 필터링 동작은 서브-픽셀 로케이션을 위한 픽셀 값을 결정하기 위하여 중간 값들을 활용한다. 예를 들면, "j" 에 대한 값을 결정하기 위하여, 아래의 식들을 이용하여 "aa", "bb", "b", "hh", "ii" 및 "jj" 에 대한 중간 값들을 결정하기 위하여 6-탭 수평 필터들이 사용될 수 있다.

일부의 구현들에서, 256 에 의한 나눗셈이 8 비트들의 우측 시프트에 의해 구현될 수 있다. 6-탭 수직 필터를 위의 중간 값들에 적용하면, "j" 에 대한 값은 아래의 식을 이용하여 결정될 수 있다.

일부의 구현들에서, 256 에 의한 나눗셈이 8 비트들의 우측 시프트에 의해 구현될 수 있다. 대안적으로, "cc", "dd", "h", "ee", "ff" 및 "gg" 에 대한 중간 값들을 발견하기 위하여 6-탭 수직 필터들이 사용될 수 있고, "j" 에 대한 픽셀 값을 결정하기 위하여 6-탭 수평이 그 중간 값들에 적용될 수 있다.

서브-픽셀 "j" 에 대하여 위에서 설명된 절차와 유사하게, 서브-픽셀 로케이션들 "e", "f", "g", "i", "k", "m", "n" 및 "o" 에 대한 픽셀 값들은, 중간 값들을 결정하기 위하여 수직 필터링 동작을 우선 수행하고 이후에 6-탭 수평 필터를 수직 필터링에 의해 결정된 중간 값들에 적용함으로써, 또는 중간 값들을 결정하기 위하여 수평 필터링 동작을 우선 수행하고 이후에 6-탭 수직 필터를 수평 필터링에 의해 결정된 중간 값들에 적용함으로써 결정될 수 있다. 서브-픽셀 "j" 에 대한 위의 예들로서 사용된 수평 및 수직 필터들 양쪽 모두는 대칭적 계수들을 이용하지만, 다른 2D 서브-픽셀 값들에 대한 픽셀 값들을 결정하기 위하여 사용된 수평 또는 수직 필터들 중 하나 또는 양쪽 모두는 대칭적이지 않을 수도 있다. 예를 들면, 하나의 예시적인 구현에서, 서브-픽셀 로케이션들 "e", "g", "m" 및 "o" 에 대한 수평 및 수직 필터들 양쪽 모두는 비대칭적인 계수들을 사용할 수도 있다. 서브-픽셀 로케이션들 "f" 및 "n" 은 대칭적 계수들을 가진 수평 필터와 비대칭적 계수들을 가진 수직 필터를 이용할 수도 있으며, 서브-픽셀 로케이션들 "i" 및 "k" 는 비대칭적 계수들을 가진 수평 필터와 대칭적 필터 계수들을 가진 수직 필터를 이용할 수도 있다.

서브-픽셀 로케이션들에서 보간된 데이터를 생성하기 위하여 필터링 유닛 (39) 에 의해 적용된 실제 필터들은 매우 다양한 구현들의 대상이 될 수도 있다. 하나의 예로서, 예측 유닛 (32) 은 AIF 를 활용할 수도 있으며, 이 경우 필터 계수들은 비디오 인코더 (22) 에 의해 계산되어 비트 스트림으로 비디오 디코더 (28) 에 송신된다. 다른 예로서, 예측 유닛 (32) 은 스위칭된 필터링을 활용할 수도 있으며, 이 경우 다수의 필터들이 비디오 인코더 (22) 및 비디오 디코더 (28) 양쪽 모두에 의해 알려지며, 사용될 특정 필터는 비트 스트림으로 비디오 인코더 (22) 로부터 비디오 디코더 (28) 로 시그널링된다. 스위칭된 필터링의 예에서, 비디오 인코더 (22) 및 비디오 디코더 (28) 는 각각의 서브-픽셀 포지션에 대하여 4 개의 고유 필터들을 저장할 수도 있고, 서브-픽셀 포지션에 대하여 사용될 특정 필터는 2 비트들을 이용하여 비디오 인코더 (22) 로부터 비디오 디코더 (28) 로 시그널링될 수 있다.

예측 유닛 (32) 은 분리가능한 보간 필터들을 수평 방향으로 그리고 수직 방향으로 사용할 수도 있다. 1L 서브-픽셀 포지션들에 대하여, 예측 유닛 (32) (예를 들면, 예측 유닛 (32) 의 MC 유닛 (37)) 은 서브-픽셀 로케이션에 따라 오직 수평 방향 필터들만을 또는 오직 수직 방향 필터들만을 적용한다. 하나의 예에서, 수평 및 수직 방향 필터들은 8-포지션 (또는 8-탭) 필터들을 포함한다. 예측 유닛 (32) 은 필터 지원으로서 정수-픽셀 포지션들 C0, C1, C2, C3, C4, C5, C6 및 C7 (C0 및 C7 은 도 3 에서 도시되지 않음) 을 가지는 서브-픽셀 포지션들 "a", "b" 및 "c" 에 대하여 수평 방향 필터들을 적용하고, 필터 지원으로서 정수-픽셀 포지션들 G3, A3, B3, C3, D3, E3, F3 및 H3 (도 3 참조) 을 가지는 서브-픽셀 포지션들 "d", "h" 및 "l" 에 대하여 수직 방향 필터들을 적용한다. 나머지 서브-픽셀 포지션들, 즉, 2L 서브-픽셀 포지션들에 대하여, 예측 유닛 (32) 은 수직 필터링이 뒤따르는 수평 필터링을 우선 적용하거나 수평 필터링이 뒤따르는 수직 필터링을 우선 적용한다. 2L 서브-픽셀 포지션들에 대하여 사용된 수평 및 수직 필터들은 각각 6-탭 필터일 수도 있다.

본 개시는 예들로서 8-탭 필터들 및 6-탭 필터들을 사용하지만, 다른 필터 길이들이 또한 사용될 수 있으며 본 개시의 범위 내에 있다는 것을 유의하는 것이 중요하다. 예를 들면, 6-탭 필터들은 1L 서브-픽셀 로케이션들에 대한 값들을 결정하기 위하여 사용될 수도 있으며 4-탭 필터들은 2L 서브-픽셀 로케이션들에 대한 값들을 결정하기 위하여 사용되거나, 또는 10-탭 필터들은 1L 서브-픽셀 로케이션들에 대한 값들을 결정하기 위하여 사용될 수도 있으며 8-탭 필터들 또는 6-탭 필터들은 2L 서브-픽셀 로케이션들에 대한 값들을 결정하기 위하여 사용된다.

도 10 은 본원에서 설명된 방식으로 인코딩된 비디오 시퀀스를 디코딩할 수도 있는, 비디오 디코더의 예를 도시한 블록도이다. 비디오 디코더 (60) 는 본원에서 "코더" 로 지칭되는 특수화된 비디오 컴퓨터 디바이스 또는 장치의 하나의 예이다. 비디오 디코더 (60) 는 양자화된 계수들을 생성하기 위하여 수신된 비트스트림과 예측 구문 엘리먼트들을 엔트로피 디코딩하는 엔트로피 디코딩 유닛 (52) 을 포함한다. 예측 구문 엘리먼트들은 코딩 모드, 하나 이상의 모션 벡터들, 서브-픽셀 데이터를 생성하기 위하여 사용된 보간 기법을 식별하는 정보, 보간 필터링에서 사용되기 위한 계수들, 및/또는 예측 블록의 생성과 연관된 다른 정보를 포함할 수도 있다.

예측 구문 엘리먼트들은, 예를 들면, 계수들은, 예측 유닛 (55) 으로 포워딩된다. 고정된 필터의 계수들 또는 서로에 관하여 계수들을 코딩하기 위하여 예측이 사용되면, 계수 예측 및 역양자화 유닛 (53) 은 실제 계수들을 정의하기 위하여 구문 엘리먼트들을 디코딩할 수 있다. 또한, 양자화가 예측 구문 중 임의의 예측 구문에 적용되면, 계수 예측 및 역양자화 유닛 (53) 은 또한 그러한 양자화를 제거할 수 있다. 예를 들면, 필터 계수들은 본 개시에 따라 예측적으로 코딩되고 양자화될 수도 있으며, 이런 경우에, 계수 예측 및 역양자화 유닛 (53) 은 그러한 계수들을 예측적으로 디코딩하고 역양자화하기 위하여 비디오 디코더 (60) 에 의해 사용될 수 있다.

예측 유닛 (55) 은, 비디오 인코더 (50) 의 예측 유닛 (32) 에 대하여 위에서 상세히 설명된 방식과 대체로 동일한 방식으로, 예측 구문 엘리먼트들 및 메모리 (62) 에 저장된 하나 이상의 이전에 디코딩된 블록들에 기초하여 예측 데이터를 생성할 수도 있다. 특히, 예측 유닛 (55) 은 1/4-픽셀 정밀도와 같은 특정 정밀도를 가진 예측 블록을 생성하기 위하여 모션 보상 동안에 본 개시의 보간 필터링 기법들 중 하나 이상의 기법들을 수행할 수도 있다. 그와 같이, 본 개시의 기법들 중 하나 이상의 기법들은 예측 블록을 생성함에 있어서 비디오 디코더 (60) 에 의해 사용될 수도 있다. 예측 유닛 (55) 은 본 개시의 보간 및 보간과 유사한 필터링 기법들을 위해 사용되는 필터들을 포함하는 모션 보상 유닛을 포함할 수도 있다. 모션 보상 컴포넌트는 도시의 단순화와 편이를 위해서 도 10 에 도시되지 않는다.

역양자화 유닛 (56) 은 양자화된 계수들을 역양자화 (inverse quantizes), 즉, 역양자화 (de-quantizes) 한다. 역양자화 프로세스는 H.264 디코딩에 대하여 정의된 프로세스일 수도 있다. 역변환 유닛 (58) 은 픽셀 도메인에서 잔여 블록들을 발생하기 위하여 역변환을, 예를 들면, 역 DCT 또는 개념적으로 유사한 역변환 프로세스를, 변환 계수들에 적용한다. 합산기 (64) 는 비디오 인코더 (50) 에 의해 인코딩된 원래 블록의 재구성된 버전을 형성하기 위하여 잔여 블록을예측 유닛 (55) 에 의해 생성된 대응하는 예측 블록과 합산한다. 원한다면, 블로키니스 아티팩트들 (blockiness artifacts) 을 제거하기 위하여 디블록킹 필터가 디코딩된 블록들을 필터링하도록 또한 적용될 수도 있다. 디코딩된 비디오 블록들은 이후에 기준 프레임 저장소 (62) 에 저장되고, 이 기준 프레임 저장소 (62) 는 후속 모션 보상을 위해 참조 블록들을 제공하고 (도 1 의 디바이스 (28) 와 같은) 디스플레이 디바이스를 구동하기 위하여 디코딩된 비디오를 또한 발생한다.

예측 유닛 (55) 에 의해 사용된 특정 보간 필터는, 예를 들면, 소스 디바이스 (12) 로부터 인코딩된 비디오 비트 스트림으로 수신된 예측 구문 엘리먼트들에 기초하여 결정될 수 있다. 도 11 은 비트 스트림으로 수신된 구문 엘리먼트들에 기초하여 보간 필터들을 결정하는 방법을 보여준다. 도 11 의 방법은, 예를 들면, P 슬라이스들의 서브-픽셀 로케이션들에 대한 필터들을 결정하기 위하여 사용될 수도 있다. 비디오 디코더 (60) 는 소스 디바이스 (12) 로부터 인코딩된 비트 스트림을 수신한다. 프레임 헤더 또는 슬라이스 헤더 내의 구문 엘리먼트들과 같은 코딩 유닛의 구문 엘리먼트들로부터, 예측 유닛 (55) 은 제한 세트를 식별하는 비트들을 판독한다 (1101). 제한 세트는 그 코딩 유닛의 서브-픽셀 로케이션들에 대해 어느 필터 인덱스들의 세트를 사용할 것인지를 예측 유닛 (55) 에게 식별한다. 각각의 서브-픽셀 로케이션은 그 자신의 필터 인덱스를 가질 수도 있거나, 서브-픽셀 로케이션들의 그룹은 필터 인덱스를 공유할 수도 있다. 필터 인덱스는 특정 필터를 비트들의 특정 패턴과 연관시킨다. 예를 들면, 필터 선택을 시그널링하기 위하여 서브-픽셀 로케이션 당 2 비트들을 사용한다면, 비트 패턴 00 는 제 1 필터에, 01 은 제 2 필터에, 10 은 제 3 필터에, 그리고 11 은 제 4 필터에 대응할 수도 있다. 각각의 서브-픽셀 로케이션이 그 자신의 고유한 필터 인덱스 및 고유한 필터들을 가질 수도 있으므로, 비트 패턴 00 는, 예를 들면, 서브-픽셀 로케이션 "e" 에 대해 대응하는 것보다, 예를 들면, 서브-픽셀 로케이션 "j" 에 대한 상이한 필터에 대응할 수도 있다.

도 11 의 예는 3 개의 제한 세트들을 사용한다. 코딩된 유닛의 헤더가, 제 1 제한 세트가 사용된다 (1102) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 각각의 서브-픽셀 값에 대한 수평 및 수직 필터들 양쪽 모두는 수직 시그널링 비트들 및 수평 시그널링 비트들을 사용하여 개별적으로 시그널링될 수 있다. 따라서, 각각의 비트가 수직 시그널링 비트들과 수평 시그널링 비트들에 대한 비트인 2 비트들을 사용한다면, 1L 서브-픽셀 포지션들에 대한 필터들은 총 2 비트들을 사용하여 시그널링되고, 2L 포지션들에 대한 필터들은 총 4 비트들을 사용하여 시그널링되며, 2 비트들은 수직 시그널링 비트들에 대한 것이고 2 비트들은 수평 시그널링 비트들에 대한 것이다.

로케이션들 "a", "b" 및 "c" 이외의 서브-픽셀 로케이션들에 대하여, 비트 스트림 내의 2 수직 시그널링 비트들은 사용될 4 개의 수직 필터들 중 하나를 식별할 수 있다 (1103). 로케이션들 "a", "b" 및 "c" 에 대하여, 비트 스트림 내에 수직 시그널링 비트들은 존재하지 않을 수도 있으며, 수직 필터는 선택되지 않을 수도 있다. 본 개시에 따라서, 서브-픽셀 로케이션들 "d", "h" 및 "l" 에 대하여 선택된 수직 필터들은 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대해 선택된 수직 필터들보다 더 길 수 있다. 예를 들면, 서브-픽셀 로케이션들 "d", "h" 및 "l" 에 대하여 선택된 수직 필터들은 8-탭 필터들을 포함할 수도 있고, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대하여 선택된 수직 필터들은 6-탭 필터들을 포함할 수도 있다.

로케이션들 "d", "h" 및 "l" 이외의 서브-픽셀 로케이션들에 대하여, 2 수평 시그널링 비트들은 사용될 4 개의 수평 필터들 중 하나를 식별할 수도 있다 (1104). 로케이션들 "d", "h" 및 "l" 에 대하여, 비트 스트림 내에 수평 시그널링 비트들은 존재하지 않을 수도 있으며, 수평 필터는 선택되지 않을 수도 있다. 본 개시에 따라서, 서브-픽셀 로케이션들 "a", "b" 및 "c" 에 대하여 선택된 수평 필터들은 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대하여 선택된 수평 필터들보다 더 길 수 있다. 예를 들면, 서브-픽셀 로케이션들 "a", "b" 및 "c" 에 대하여 선택된 수평 필터들은 8-탭 필터들을 포함할 수도 있고, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대해 선택된 수평 필터들은 6-탭 필터들을 포함할 수도 있다.

수평 필터 및 수직 필터가 일단 선택되면, 위에서 설명한 바와 같이, 필터들은 서브-픽셀 로케이션에 대한 값을 결정하기 위하여 사용될 수 있다. 서브-픽셀이 로케이션 "a", "b" 또는 "c" 에 로케이팅되면, 식 (1), 식 (3) 및 식 (4) 에 관련하여 위에서 설명한 바와 같이 단일 수평 필터가 서브-픽셀 값을 결정하기 위하여 사용될 수 있다. 서브-픽셀이 "d", "h" 또는 "l" 에 로케이팅되면, 식 (2), 식 (5) 및 식 (6) 에 관련하여 위에서 설명한 바와 같이 단일 수직 필터가 서브-픽셀 값을 결정하기 위하여 사용될 수 있다. 서브-픽셀이 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 에 로케이팅되면, 식 (7) 내지 식 (13) 에 관련하여 위에서 설명한 바와 같이 수직 필터 및 수평 필터 양쪽 모두가 서브-픽셀 로케이션에 대한 값을 결정하기 위하여 사용될 수 있다.

코딩된 유닛의 헤더가, 제 2 제한 세트가 사용된다 (1107) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 각각의 서브-픽셀 값에 대한 수평 및 수직 필터들 양쪽 모두는 서브-픽셀 로케이션 당 2 시그널링 비트들을 사용하여 함께 시그널링될 수 있다. 시그널링 비트들에 기초하여, 필터 또는 필터들의 쌍이 선택될 수 있다 (1108). 서브-픽셀 로케이션들 "a", "b" 또는 "c" 에 대하여, 그 특정 서브-픽셀 로케이션과 연관된 4 개의 수평 필터들 중 하나를 식별하기 위하여 2 시그널링 비트들이 사용될 수 있다. 서브-픽셀 로케이션들 "d", "h" 또는 "l" 에 대하여, 그 특정 서브-픽셀 로케이션과 연관된 4 개의 수직 필터들 중 하나를 식별하기 위하여 2 시그널링 비트들이 사용될 수 있다. "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 에서의 서브-픽셀 로케이션들에 대하여, 수평 및 수직 필터들의 4 개의 쌍들 중 하나를 식별하기 위하여 2 시그널링 비트들이 사용될 수 있다. 따라서, 제한 세트 1 이 총 16 개의 수평-수직 조합들에 대하여 2 수평 시그널링 비트들로 하여금 4 개의 수평 필터들 중 하나를 식별하도록 하고 2 수직 시그널링 비트들로 하여금 4 개의 수직 필터들 중 하나를 식별하도록 하는데 반하여, 제한 세트 2 는 4 개의 수평-수직 조합들에 대해서만 허용한다. 제한 세트 2 는, 그러나, 필터 선택을 시그널링하기 위하여 필요한 비트들의 총 수를 감소시킨다. 시그널링 비트들에 의해 식별된 필터 또는 필터들의 조합에 기초하여, 위에서 설명한 방식과 유사한 방식으로 서브-픽셀 로케이션에 대한 값이 결정된다 (1109). 코딩된 유닛의 헤더가, 제 3 제한 세트가 사용된다 (1111) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 고정된 필터 또는 필터들의 조합이 서브-픽셀 로케이션에만 기초하여 그리고 서브-픽셀 로케이션과 연관된 임의의 시그널링 비트들에는 기초하지 않고 사용될 수 있다 (1112). 예를 들면, 서브-픽셀 로케이션들 "a", "b" 및 "c" 가 각각 4 개의 가능한 대응하는 수평 필터들을 가질 수 있는 제한 세트 1 및 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "a", "b" 및 "c" 는 각각 하나의 대응하는 수평 필터를 가진다. 서브-픽셀 로케이션들 "d", "h" 및 "l" 이 각각 4 개의 가능한 대응하는 수직 필터들을 가질 수 있는 제한 세트 1 및 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "d", "h" 또는 "l" 은 각각 하나의 대응하는 수직 필터를 가진다. 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 가 각각 16 개 및 4 개의 가능한 수평-수직 필터 조합들을 각각 가지는 제한 세트 1 및 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 는 각각 단일 수평-수직 필터 조합을 가진다. 제한 세트 3 은 가용 필터들을 감소시킬 수도 있으나, 제한 세트 3 은 또한 필터 선택을 시그널링하기 위하여 필요한 총 비트들의 수를 감소시킬 수도 있다.

도 12 는 비트 스트림으로 수신된 구문 엘리먼트들에 기초하여 보간 필터들을 결정하는 방법을 보여준다. 도 12 의 방법은, 예를 들면, B 슬라이스들의 서브-픽셀 로케이션들에 대한 필터들을 결정하기 위하여 사용될 수도 있다. P 슬라이스들에 대한 3 개의 제한 세트들을 포함하는 도 11 과는 달리, 도 12 의 예는 오직 2 개의 제한 세트들만을 포함한다. 도 11 에 관하여 설명된 제한 세트 1 은 B 슬라이스들을 사용할 때 코딩 효율을 개선하기 위하여 제외될 수도 있다. B 슬라이스들은 보통 P 슬라이스들보다 적은 비트들로 인코딩된다. P 슬라이스들 및 B 슬라이스들에 대하여 동일한 제한 세트들을 사용하는 것은 각각의 프랙셔널 픽셀 포지션에 대한 보간 필터들의 초이스 (choice) 를 시그널링하기 위하여 동일한 비트들의 수를 사용하게 될 수도 있으나, 전반적인 비트들의 백분율로서, 보간 필터들을 시그널링하는 것의 오버헤드는 P 슬라이스들에 대해서보다 B 슬라이스들에 대해서 훨씬 더 높을 수도 있다. 더 높은 오버헤드 때문에, B 슬라이스들의 경우에서, 레이트-왜곡 트레이드-오프 (rate-distortion trade-off) 는 P 슬라이스들에서만큼 유리하지 않을 수도 있다. 그러므로, 일부 구현들에서, 제한 세트 1 은 B 슬라이스들에 대해서 사용되지 않을 수도 있다.

코딩된 유닛의 헤더가, 제 2 제한 세트가 사용된다 (1207) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 각각의 서브-픽셀 값에 대한 수평 및 수직 필터들 양쪽 모두는 서브-픽셀 로케이션 당 2 시그널링 비트들을 사용하여 함께 시그널링될 수 있다. 시그널링 비트들에 기초하여, 필터 또는 필터들의 쌍이 선택될 수 있다 (1208). 서브-픽셀 로케이션들 "a", "b" 또는 "c" 에 대하여, 2 시그널링 비트들은 그 특정 서브-픽셀 로케이션과 연관된 4 개의 수평 필터들 중 하나를 식별하기 위하여 사용될 수 있다. 서브-픽셀 로케이션들 "d", "h" 또는 "l" 에 대하여, 2 시그널링 비트들은 그 특정 서브-픽셀 로케이션과 연관된 4 개의 수직 필터들 중 하나를 식별하기 위하여 사용될 수 있다. "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 에서의 서브-픽셀 로케이션들에 대하여, 2 시그널링 비트들이 수평 및 수직 필터들의 4 개의 쌍들 중 하나를 식별하기 위하여 사용될 수 있다. 시그널링 비트들에 의해 식별된 필터 또는 필터들의 조합에 기초하여, 위에서 설명한 방식과 유사한 방식으로 서브-픽셀 로케이션에 대한 값이 결정된다 (1209). 코딩된 유닛의 헤더가, 제 3 제한 세트가 사용된다 (1211) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 고정된 필터 또는 필터들의 조합이 서브-픽셀 로케이션에만 기초하여 그리고 서브-픽셀 로케이션과 연관된 임의의 시그널링 비트들에는 기초하지 않고 사용될 수 있다 (1212). 예를 들면, 서브-픽셀 로케이션들 "a", "b" 및 "c" 가 각각 4 개의 가능한 대응하는 수평 필터들을 가질 수 있는 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "a", "b" 및 "c" 는 각각 하나의 대응하는 수평 필터를 가진다. 서브-픽셀 로케이션들 "d", "h" 및 "l" 이 각각 4 개의 가능한 대응하는 수직 필터들을 가질 수 있는 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "d", "h" 또는 "l" 은 각각 하나의 대응하는 수직 필터를 가진다. 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 가 각각 4 개의 가능한 수평-수직 필터 조합들을 각각 가지는 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 는 각각 단일 수평-수직 필터 조합을 가진다. 제한 세트 3 은 제한 세트 2 에 비하여 가용 필터들을 감소시킬 수도 있으나, 필터 선택을 시그널링하기 위해 필요한 총 비트들의 수를 또한 감소시킨다.

도 13 은 비트 스트림으로 수신된 구문 엘리먼트들에 기초하여 보간 필터들을 결정하는 방법을 도시한 흐름도이다. 도 13 의 방법은 도 11 에 관하여 P 슬라이스들에 대하여 설명된 방법의 변형이다. 코딩된 유닛의 헤더가, 제 1 제한 세트가 사용될 수 있다 (1302) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 플래그 (flag) 가 또한 비트 스트림으로 송신될 수 있다. 플래그는 예측 유닛 (55) 이 그 서브-픽셀 로케이션에 대해 이전에 사용된 동일한 필터 선택 또는 상이한 필터 중 어느 하나를 사용하도록 지시하는 1 비트 신호이다. 특정 서브-픽셀 로케이션에 대해 이전의 필터가 사용되어야 한다는 것을 플래그가 나타내면 (1314, 예), 그 특정 서브-픽셀 로케이션에 대하여 가장 최근에 사용된 수평 필터, 수직 필터 또는 수평 및 수직 필터들의 조합은 특정 서브-픽셀 로케이션에 대한 값을 결정하기 위하여 다시 사용될 수 있다 (1315). 동일한 필터가 사용되어야 한다는 것을 플래그가 나타내면, 수평 및/또는 수직 필터들을 시그널링하기 위하여 달리 사용된 2 또는 4 비트들은 송신될 필요가 없어서, 송신되는 비트들이 감소하게 된다. 그러나, 특정 서브-픽셀 로케이션에 대하여 상이한 필터가 사용되어야 한다는 것을 플래그가 나타내면 (1314, 아니오), 서브-픽셀 로케이션에 대한 수평 및 수직 필터들 양쪽 모두는, 수직 시그널링 비트들 및 수평 시그널링 비트들을 이용하여, 도 11 에 관하여 위에서 설명한 바와 같이, 개별적으로 시그널링될 수 있다.

로케이션들 "a", "b" 및 "c" 이외의 서브-픽셀 로케이션들에 대하여, 비트 스트림 내의 2 수직 시그널링 비트들은 사용될 4 개의 수직 필터들 중 하나를 식별할 수 있다 (1303). 로케이션들 "a", "b" 및 "c" 에 대하여 비트 스트림 내에 수직 시그널링 비트들은 존재하지 않을 수도 있으며, 수직 필터는 선택되지 않을 수 있다. 본 개시에 따라서, 서브-픽셀 로케이션들 "d", "h" 및 "l" 에 대하여 선택된 수직 필터들은 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대하여 선택된 수직 필터들보다 더 길 수 있다. 예를 들면, 서브-픽셀 로케이션들 "d", "h" 및 "l" 에 대하여 선택된 수직 필터들은 8-탭 필터들을 포함할 수도 있고, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대하여 선택된 수직 필터들은 6-탭 필터들을 포함할 수도 있다.

로케이션들 "d", "h" 및 "l" 이외의 서브-픽셀 로케이션들에 대하여, 2 수평 시그널링 비트들은 사용될 4 개의 수평 필터들 중 하나를 식별할 수 있다 (1304). 로케이션들 "d", "h" 및 "l" 에 대하여 비트 스트림 내에 수평 시그널링 비트들은 존재하지 않을 수도 있으며, 수평 필터는 선택되지 않는다. 본 개시에 따라서, 서브-픽셀 로케이션들 "a", "b" 및 "c" 에 대하여 선택된 수평 필터들은 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대하여 선택된 수평 필터들보다 더 길 수 있다. 예를 들면, 서브-픽셀 로케이션들 "a", "b" 및 "c" 에 대하여 선택된 수평 필터들은 8-탭 필터들을 포함할 수도 있고, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대하여 선택된 수평 필터들은 6-탭 필터들을 포함할 수도 있다.

수평 필터 및 수직 필터가 일단 선택되면, 위에서 설명한 바와 같이, 필터들은 서브-픽셀 로케이션에 대한 값을 결정하기 위하여 적용될 수 있다. 서브-픽셀이 로케이션 "a", "b" 또는 "c" 에 로케이팅되면, 서브-픽셀 값을 결정하기 위하여 단일 수평 필터가 사용될 수 있다. 서브-픽셀이 "d", "h" 또는 "l" 에 로케이팅되면, 서브-픽셀 값을 결정하기 위하여 단일 수직 필터가 사용될 수 있다. 서브-픽셀이 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 에 로케이팅되면, 서브-픽셀 로케이션에 대한 값을 결정하기 위하여 수직 필터 및 수평 필터 양쪽 모두가 사용될 수 있다.

코딩된 유닛의 헤더가, 제 3 제한 세트가 사용될 수 있다 (1311) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 고정된 필터 또는 필터들의 조합이 서브-픽셀 로케이션에만 기초하여 그리고 서브-픽셀 로케이션과 연관된 임의의 시그널링 비트들에는 기초하지 않고 선택될 수 있다 (1312). 예를 들면, 서브-픽셀 로케이션들 "a", "b" 및 "c" 가 각각 4 개의 가능한 대응하는 수평 필터들을 가질 수 있는 제한 세트 1 및 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "a", "b" 및 "c" 는 각각 하나의 대응하는 수평 필터를 가진다. 서브-픽셀 로케이션들 "d", "h" 및 "l" 이 각각 4 개의 가능한 대응하는 수직 필터들을 가질 수 있는 제한 세트 1 및 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "d", "h" 또는 "l" 은 각각 하나의 대응하는 수직 필터를 가진다. 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 가 각각 16 개 및 4 개의 가능한 수평-수직 필터 조합들을 각각 가지는 제한 세트 1 과 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 는 각각 단일 수평-수직 필터 조합을 가진다. 제한 세트 3 은 가용 필터들을 감소시킬 수도 있으나, 제한 세트 3 은 또한 필터 선택을 시그널링하기 위하여 필요한 총 비트들의 수를 감소시킨다.

도 14 는 비트 스트림으로 수신된 구문 엘리먼트들에 기초하여 보간 필터들을 결정하는 방법을 도시한 흐름도이다. 도 14 의 방법은 도 12 에 관하여 B 슬라이스들에 대하여 설명된 방법의 변형을 포함할 수도 있다. 코딩된 유닛의 헤더가, 제 2 제한 세트가 사용될 수 있다 (1407) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 플래그가 비트 스트림으로 송신될 수 있다. 플래그는 예측 유닛 (55) 이 그 서브-픽셀 로케이션에 대해 이전에 사용된 동일한 필터 선택 또는 상이한 필터 중 어느 하나를 사용하도록 지시하는 1 비트 신호이다. 특정 서브-픽셀 로케이션에 대해 이전의 필터가 사용되어야 한다는 것을 플래그가 나타내면 (1414, 예), 그 특정 서브-픽셀 로케이션에 대하여 가장 최근에 사용된 수평 필터, 수직 필터 또는 수평 및 수직 필터들의 조합은 특정 서브-픽셀 로케이션에 대한 값을 결정하기 위하여 다시 사용될 수 있다 (1415). 그러나, 특정 서브-픽셀 로케이션에 대하여 상이한 필터가 사용되어야 한다는 것을 플래그가 나타내면 (1414, 아니오), 서브-픽셀 로케이션에 대한 수평 및 수직 필터들 양쪽 모두는, 시그널링 비트들을 이용하여, 도 12 에 관하여 위에서 설명한 바와 같이, 시그널링될 수 있다.

시그널링 비트들에 기초하여, 필터 또는 필터들의 쌍이 선택될 수 있다 (1408). 서브-픽셀 로케이션들 "a", "b" 또는 "c" 에 대하여, 2 시그널링 비트들은 그 특정 서브-픽셀 로케이션과 연관된 4 개의 수평 필터들 중 하나를 식별하기 위하여 사용될 수 있다. 서브-픽셀 로케이션들 "d", "h" 또는 "l" 에 대하여, 2 시그널링 비트들은 그 특정 서브-픽셀 로케이션과 연관된 4 개의 수직 필터들 중 하나를 식별하기 위하여 사용될 수 있다. 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 에 대하여, 2 시그널링 비트들은 수평 및 수직 필터들의 4 개의 쌍들 중 하나를 식별하기 위하여 사용될 수 있다. 시그널링 비트들에 의해 식별된 필터 또는 필터들의 조합에 기초하여, 위에서 설명한 방식과 유사한 방식으로 서브-픽셀 로케이션에 대한 값이 결정된다 (1409).

코딩된 유닛의 헤더가, 제 3 제한 세트가 사용될 수 있다 (1411) 는 예측 유닛 (55) 으로의 신호를 포함하면, 코딩된 유닛에 대하여 결정된 모든 서브-픽셀 값들에 대하여, 고정된 필터 또는 필터들의 조합이 서브-픽셀 로케이션에만 기초하여 그리고 서브-픽셀 로케이션과 연관된 임의의 시그널링 비트들에는 기초하지 않고 선택될 수 있다 (1412). 예를 들면, 서브-픽셀 로케이션들 "a", "b" 및 "c" 가 각각 4 개의 가능한 대응하는 수평 필터들을 가질 수 있는 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "a", "b" 및 "c" 는 각각 하나의 대응하는 수평 필터를 가진다. 서브-픽셀 로케이션들 "d", "h" 및 "l" 이 각각 4 개의 가능한 대응하는 수직 필터들을 가질 수 있는 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "d", "h" 또는 "l" 은 각각 하나의 대응하는 수직 필터를 가진다. 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 가 각각 4 개의 가능한 수평-수직 필터 조합들을 각각 가지는 제한 세트 2 와 달리, 제한 세트 3 에 있어서, 서브-픽셀 로케이션들 "e", "f", "g", "i", "j", "k", "m", "n" 또는 "o" 는 각각 단일 수평-수직 필터 조합을 가진다. 제한 세트 3 은 제한 세트 2 에 비하여 가용 필터들을 감소시킬 수도 있으나, 제한 세트 3 은 또한 필터 선택을 시그널링하기 위하여 필요한 총 비트들의 수를 감소시킨다.

본 개시에 따라서, 도 11, 도 12, 도 13 및 도 14 의 예들에서, 서브-픽셀 로케이션들 "a", "b" 및 "c" 에 대하여 선택된 수평 필터들 및 서브-픽셀 로케이션들 "d", "h" 및 "l" 에 대하여 선택된 수직 필터들은 "e", "f", "g", "i", "j", "k", "m", "n" 및 "o" 에 대하여 선택된 수평 및 수직 필터들보다 더 길 수 있다. 더욱이, 도 11, 도 12, 도 13 및 도 14 의 예들이 4 개의 필터들 중 하나를 선택하기 위하여 2 시그널링 비트들을 사용하는 것을 일반적으로 논의하고 있으나, 더 많거나 더 적은 시그널링 비트들이 또한 사용될 수도 있다. 예를 들면, 2 개의 필터들 중 하나를 선택하기 위하여 1 시그널링 비트가 사용될 수도 있거나, 8 개의 가능한 필터들 중 하나를 선택하기 위하여 3 시그널링 비트들이 사용될 수도 있다.

본 개시는 1/4-픽셀 모션 벡터 정밀도에 기초하여 1L 포지션들에 대하여 더 긴 필터들을 사용하고 2L 포지션들에 대하여 더 짧은 필터들을 사용하는 기법들을 일반적으로 설명하였으나, 본 개시의 기법들은 1/8 픽셀 및 1/2-픽셀 정밀도와 같은 다른 모션 벡터 정밀도들에 또한 적용될 수도 있다. 예를 들면, 1/8 픽셀 정밀도를 사용할 때, 7 개의 수평 픽셀 포지션들 및 7 개의 수직 픽셀 포지션들 (즉, 14 개의 1L 포지션들) 및 49 개의 2L 포지션들이 있을 수도 있다.

부가하여, 일부 구현들에서, 모션 벡터 정밀도는 코딩 동안에, 예를 들어 1/4-픽셀 정밀도와 1/8 픽셀 정밀도 사이에서, 적응적으로 스위칭될 수도 있다. 그러한 구현에서, 본 개시의 기법들은 1/4-픽셀 로케이션들 및 1/8 픽셀 로케이션들 양쪽 모두에서 적용될 수도 있다. 다른 구현들에서, 본 개시의 기법들은, 예를 들면, 1/4-픽셀 로케이션들에만 적용될 수도 있고, 고정된 비-스위칭가능 필터들을 사용하는 것과 같은 상이한 필터 선택 기법들이 1/8 픽셀 로케이션들에서 사용된다. 고정된 비-스위칭가능 필터들이 1/8 픽셀 로케이션들에 대하여 사용되는 예에서, 1/4-픽셀 로케이션들에 대하여 필터 초이스가 디코더로 시그널링될 수도 있으나 1/8 픽셀 로케이션들에 대하여서는 시그널링되지 않는다.

부가하여, 본 개시에서 도 11 내지 도 14 의 예들과 다른 예들이 2L 포지션들에 대하여 분리가능한 필터들을 사용하여 일반적으로 설명되었지만, 일부 구현들에서 하나 이상의 분리불가한 필터들을 식별하기 위하여 2L 포지션들에 대한 시그널링 비트들이 사용될 수 있다는 것이 고려된다. 예로서, 제한 세트 2 에 대하여 위에서 설명된 2 시그널링 비트들은 2 개의 분리불가한 필터들과 2 개의 분리가능한 필터들을 포함하는 4 개의 필터들 사이에서 선택하기 위하여 사용될 수 있다.

도 15 는 본 개시의 양태들을 구현하는 방법을 도시한 흐름도이다. 도 15 의 기법들은, 예를 들면, 도 1, 도 2 및 도 10 에서 도시된 디바이스들에 의해 수행될 수도 있다. 도 1 의 비디오 인코더 (22) 및 비디오 디코더 (28) 양쪽 모두 및 도 10 의 비디오 디코더 (60) 를 포함한 다른 디바이스들이 도 15 의 방법의 양태들을 또한 수행할 수도 있지만, 도 15 의 방법은 도 2 의 관점으로 설명될 것이다. 예측 유닛 (32) 의 MC 유닛 (37) 은 메모리 (34) 로부터 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하는 픽셀들의 블록을 획득한다 (1501). 필터링 유닛 (39) 은 픽셀들의 블록과 연관된 서브-픽셀 포지션들에 대응하는 서브-픽셀 값들을 계산한다. 필터링 유닛 (39) 은 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용함으로써, 정수 픽셀 포지션들을 가진 공통 수직 축 또는 정수 픽셀 포지션들을 가진 공통 수평 축 중 어느 하나의 축 상의 서브-픽셀 포지션 (예를 들면, 도 4 의 1L 서브-픽셀 포지션들 참조) 에 대하여 제 1 서브-픽셀 값을 계산한다 (1502). 제 1 보간 필터는, 예를 들면, 제 1 보간 필터에 대한 필터 지원 포지션들이 정수 픽셀 포지션들의 세트에 대응하는, 8-탭 필터를 포함할 수도 있다. 필터링 유닛 (39) 은 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하고 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용함으로써 제 2 서브-픽셀 값을 계산한다 (1503). 제 2 서브-픽셀 값은 정수 픽셀 포지션들을 가진 공통 수직 축 상에 있지 않고 정수 픽셀 포지션들을 가진 공통 수평 축 상에 있지 않은 서브-픽셀 포지션 (예를 들면, 도 5 의 2L 서브-픽셀 포지션들 참조) 에 대응한다. 제 2 보간 필터 및 제 3 보간 필터는, 예를 들면, 각각 6-탭 필터들일 수도 있다. 본 개시의 하나의 양태에 따라서, 제 1 의 1차원 어레이는 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하고 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함한다.

제 1 서브-픽셀 값 및 제 2 서브-픽셀 값과 같은 서브-픽셀 값들에 기초하여, MC 유닛 (37) 은 예측 블록을 생성한다 (1504). 특히, MC 유닛 (37) 은, 비디오 인코딩 프로세스의 일부로서, 보간된 서브-픽셀 값들을 가진 보간된 예측 블록을 생성 및 출력할 수도 있다. 예측 유닛 (32) 은 또한 서브-픽셀 포지션에 대하여 사용될 특정 보간 필터를 식별하는 시그널링 비트들을, 예측 블록과 함께 출력할 수도 있다 (1505). 시그널링 비트들은 제 2 보간 필터 및 제 3 보간 필터를 개별적으로 식별할 수도 있거나, 제 2 보간 필터 및 제 3 보간 필터의 조합을 식별할 수도 있다. 예측 유닛 (32) 은 또한 서브-픽셀 포지션에 대하여 사용될 보간 필터가 서브-픽셀 포지션에 대하여 이전에 사용된 보간 필터라는 것을 나타내는 플래그를 출력할 수도 있다 (1506).

본 개시의 기법들은, 무선 핸드셋 및 집적 회로 (IC) 또는 IC 들의 세트 (즉, 칩 셋) 를 포함하는 매우 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 임의의 컴포넌트들, 모듈들 또는 유닛들은 기능적 양태들을 강조하기 위하여 설명되고 제공되었으며 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구하는 것은 아니다.

따라서, 본원에서 설명된 기법들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어로 구현되면, 모듈들, 유닛들 또는 컴포넌트들로서 설명된 임의의 특징들은 집적 회로 디바이스에서 함께 구현될 수도 있거나 이산형이지만 상호동작가능한 로직 디바이스들로서 개별적으로 구현될 수도 있다. 소프트웨어로 구현되면, 기법들은, 프로세스에서 실행되면, 위에서 설명된 방법들의 하나 이상의 방법들을 수행하는 명령들을 포함하는 컴퓨터-판독가능 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터-판독가능 매체는 비 일시적인 컴퓨터-판독가능 저장 매체를 포함할 수도 있으며, 패키징 (packaging) 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 일부를 형성할 수도 있다. 컴퓨터-판독가능 저장 매체는 싱크로너스 다이나믹 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기 소거가능 프로그래머블 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광 데이터 저장 매체 등을 포함할 수도 있다. 기법들은 부가적으로 또는 대안적으로, 명령들 또는 데이터 구조들의 형태로 코드를 캐리하거나 통신하고 컴퓨터에 의해 액세스, 판독 및/또는 실행될 수 있는 컴퓨터-판독가능 통신 매체에 의해 적어도 부분적으로 실형될 수도 있다.

코드는 하나 이상의 디지털 신호 프로세서들 (DSP 들) 과 같은 하나 이상의 프로세서들, 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC 들), 필드 프로그래머블 로직 어레이들 (FPGA 들), 또는 다른 등가의 집적 또는 이산 로직 회로에 의해 실행될 수도 있다. 따라서, 본원에서 사용된 용어 "프로세서" 는 앞서의 구조 중 임의의 구조 또는 본원에서 설명된 기법들의 구현에 적합한 다른 구조를 지칭할 수도 있다. 덧붙여서, 일부 양태들에서, 본원에서 설명된 기능은 인코딩 및 디코딩을 위해 구성되거나, 결합된 비디오 코덱에 통합된 전용 소프트웨어 모듈들 또는 하드웨어 모듈들 내에서 제공될 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 충분히 구현될 수 있다.

개시의 다양한 양태들이 설명되었다. 이 양태들 및 다른 양태들은 다음의 청구항들의 범위 내에 있다.

Claims

비디오 신호들을 예측하는 방법으로서,
픽셀들의 블록을 획득하는 단계;
상기 픽셀들의 블록의 제 1 서브-픽셀 포지션에 대한 제 1 서브-픽셀 값을 계산하는 단계;
상기 픽셀들의 블록의 제 2 서브-픽셀 포지션에 대한 제 2 서브-픽셀 값을 계산하는 단계; 및
적어도 상기 제 1 서브-픽셀 값 및 상기 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하는 단계를 포함하고,
상기 픽셀들의 블록은, 상기 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고,
상기 제 1 서브-픽셀 값을 계산하는 단계는, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 단계를 포함하고,
상기 제 2 서브-픽셀 값을 계산하는 단계는, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 단계, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 단계를 포함하고,
상기 제 1 의 1차원 어레이는, 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며,
상기 제 1 의 1차원 어레이는, 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함하는, 비디오 신호들을 예측하는 방법.
제 1 항에 있어서,
상기 제 1 보간 필터는 8-탭 필터를 포함하고;
상기 제 2 보간 필터는 6-탭 필터를 포함하며;
상기 제 3 보간 필터는 6-탭 필터를 포함하는, 비디오 신호들을 예측하는 방법.
제 1 항에 있어서,
상기 제 1 보간 필터에 대한 상기 필터 지원 포지션들은 정수 픽셀 포지션들의 세트에 대응하는, 비디오 신호들을 예측하는 방법.
제 1 항에 있어서,
상기 제 1 서브-픽셀 포지션은, 정수 픽셀 포지션들을 가진 공통 수직 축 또는 정수 픽셀 포지션들을 가진 공통 수평 축 중 어느 하나의 축 상에 있는, 비디오 신호들을 예측하는 방법.
제 1 항에 있어서,
상기 제 2 서브-픽셀 포지션은, 정수 픽셀 포지션들을 가진 공통 수직 축 상에 있지 않고 정수 픽셀 포지션들을 가진 공통 수평 축 상에 있지 않은, 비디오 신호들을 예측하는 방법.
제 1 항에 있어서,
상기 방법은 비디오 인코딩 프로세스의 일부를 형성하고,
상기 방법은,
시그널링 비트들을 인코딩하는 단계를 더 포함하고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대해 사용될 특정 보간 필터를 식별하는, 비디오 신호들을 예측하는 방법.
제 6 항에 있어서,
상기 시그널링 비트들은 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 개별적으로 식별하는, 비디오 신호들을 예측하는 방법.
제 6 항에 있어서,
상기 시그널링 비트들은, 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 포함하는 조합을 식별하는, 비디오 신호들을 예측하는 방법.
제 1 항에 있어서,
상기 방법은 비디오 인코딩 프로세스의 일부를 형성하고,
상기 방법은,
플래그를 인코딩하는 단계를 더 포함하고,
상기 플래그는, 각각의 서브-픽셀 포지션에 대하여 사용될 각각의 보간 필터가, 상기 각각의 서브-픽셀 포지션에 대하여 이전에 사용된 상기 각각의 보간 필터라는 것을 나타내는, 비디오 신호들을 예측하는 방법.
제 1 항에 있어서,
상기 방법은 비디오 디코딩 프로세스의 일부를 형성하고,
상기 방법은,
시그널링 비트들을 디코딩하는 단계를 더 포함하고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대하여 사용될 특정 보간 필터를 식별하는, 비디오 신호들을 예측하는 방법.
예측 유닛을 포함하는, 비디오 신호들을 예측하는 장치로서,
상기 예측 유닛은,
픽셀들의 블록을 획득하고;
상기 픽셀들의 블록의 제 1 서브-픽셀 포지션에 대한 제 1 서브-픽셀 값 및 상기 픽셀들의 블록의 제 2 서브-픽셀 포지션에 대한 제 2 서브-픽셀 값을 계산하며;
적어도 상기 제 1 서브-픽셀 값 및 상기 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하도록 구성되고,
상기 픽셀들의 블록은, 상기 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고,
상기 제 1 서브-픽셀 값은, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 것에 의해 계산되고,
상기 제 2 서브-픽셀 값은, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 것, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 것에 의해 계산되고,
상기 제 1 의 1차원 어레이는, 상기 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며,
상기 제 1 의 1차원 어레이는, 상기 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함하는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 제 1 보간 필터는 8-탭 필터를 포함하고;
상기 제 2 보간 필터는 6-탭 필터를 포함하며;
상기 제 3 보간 필터는 6-탭 필터를 포함하는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 제 1 보간 필터에 대한 상기 필터 지원 포지션들은 정수 픽셀 포지션들의 세트에 대응하는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 제 1 서브-픽셀 값은, 정수 픽셀 포지션들을 가진 공통 수직 축 또는 정수 픽셀 포지션들을 가진 공통 수평 축 중 어느 하나의 축 상의 상기 제 1 서브-픽셀 포지션에 대응하는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 제 2 서브-픽셀 값은, 정수 픽셀 포지션들을 가진 공통 수직 축 상에 있지 않고 정수 픽셀 포지션들을 가진 공통 수평 축 상에 있지 않은 상기 제 2 서브-픽셀 포지션에 대응하는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 예측 유닛은 또한, 시그널링 비트들을 생성하도록 구성되고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대해 사용될 특정 보간 필터를 식별하는, 비디오 신호들을 예측하는 장치.
제 16 항에 있어서,
상기 시그널링 비트들은 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 개별적으로 식별하는, 비디오 신호들을 예측하는 장치.
제 16 항에 있어서,
상기 시그널링 비트들은, 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 포함하는 조합을 식별하는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 예측 유닛은 또한, 송신을 위한 플래그를 생성하도록 구성되고,
상기 플래그는, 각각의 서브-픽셀 포지션에 대하여 사용될 각각의 보간 필터가, 상기 각각의 서브-픽셀 포지션에 대하여 이전에 사용된 상기 각각의 보간 필터라는 것을 나타내는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 예측 유닛은 또한, 시그널링 비트들을 디코딩하도록 구성되고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대하여 사용될 특정 보간 필터를 식별하는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 예측 유닛은 또한, 플래그를 디코딩하도록 구성되고,
상기 플래그는, 각각의 서브-픽셀 포지션에 대하여 사용될 각각의 보간 필터가, 상기 각각의 서브-픽셀 포지션에 대하여 이전에 사용된 상기 각각의 보간 필터라는 것을 나타내는, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 예측 유닛은 비디오 인코딩 디바이스의 컴포넌트인, 비디오 신호들을 예측하는 장치.
제 11 항에 있어서,
상기 예측 유닛은 비디오 디코딩 디바이스의 컴포넌트인, 비디오 신호들을 예측하는 장치.
비디오 신호들을 예측하는 장치로서,
픽셀들의 블록을 획득하는 수단;
상기 픽셀들의 블록의 제 1 서브-픽셀 포지션에 대한 제 1 서브-픽셀 값을 계산하는 수단;
상기 픽셀들의 블록의 제 2 서브-픽셀 포지션에 대한 제 2 서브-픽셀 값을 계산하는 수단; 및
적어도 상기 제 1 서브-픽셀 값 및 상기 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하는 수단을 포함하고,
상기 픽셀들의 블록은, 상기 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고,
상기 제 1 서브-픽셀 값을 계산하는 것은, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 것을 포함하고,
상기 제 2 서브-픽셀 값을 계산하는 것은, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 것, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 것을 포함하고,
상기 제 1 의 1차원 어레이는, 상기 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며,
상기 제 1 의 1차원 어레이는, 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함하는, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
상기 제 1 보간 필터는 8-탭 필터를 포함하고;
상기 제 2 보간 필터는 6-탭 필터를 포함하며;
상기 제 3 보간 필터는 6-탭 필터를 포함하는, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
상기 제 1 보간 필터에 대한 상기 필터 지원 포지션들은 정수 픽셀 포지션들의 세트에 대응하는, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
상기 제 1 서브-픽셀 포지션은, 정수 픽셀 포지션들을 가진 공통 수직 축 또는 정수 픽셀 포지션들을 가진 공통 수평 축 중 어느 하나의 축 상에 있는, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
상기 제 2 서브-픽셀 포지션은, 정수 픽셀 포지션들을 가진 공통 수직 축 상에 있지 않고 정수 픽셀 포지션들을 가진 공통 수평 축 상에 있지 않은, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
시그널링 비트들을 인코딩하는 수단을 더 포함하고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대해 사용될 특정 보간 필터를 식별하는, 비디오 신호들을 예측하는 장치.
제 29 항에 있어서,
상기 시그널링 비트들은 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 개별적으로 식별하는, 비디오 신호들을 예측하는 장치.
제 29 항에 있어서,
상기 시그널링 비트들은, 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 포함하는 조합을 식별하는, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
플래그를 인코딩하는 수단을 더 포함하고,
상기 플래그는, 각각의 서브-픽셀 포지션에 대하여 사용될 각각의 보간 필터가, 상기 각각의 서브-픽셀 포지션에 대하여 이전에 사용된 상기 각각의 보간 필터라는 것을 나타내는, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
시그널링 비트들을 디코딩하는 수단을 더 포함하고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대하여 사용될 특정 보간 필터를 식별하는, 비디오 신호들을 예측하는 장치.
제 24 항에 있어서,
플래그를 디코딩하는 수단을 더 포함하고,
상기 플래그는, 각각의 서브-픽셀 포지션에 대하여 사용될 각각의 보간 필터가, 상기 각각의 서브-픽셀 포지션에 대하여 이전에 사용된 상기 각각의 보간 필터라는 것을 나타내는, 비디오 신호들을 예측하는 장치.
하나 이상의 명령들을 유형적으로 (tangibly) 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
픽셀들의 블록을 획득하도록 하고;
상기 픽셀들의 블록의 제 1 서브-픽셀 포지션에 대한 제 1 서브-픽셀 값을 계산하도록 하고;
상기 픽셀들의 블록의 제 2 서브-픽셀 포지션에 대한 제 2 서브-픽셀 값을 계산하도록 하며;
적어도 상기 제 1 서브-픽셀 값 및 상기 제 2 서브-픽셀 값에 기초하여 예측 블록을 생성하도록 하고,
상기 픽셀들의 블록은, 상기 픽셀들의 블록 내의 정수 픽셀 포지션들에 대응하는 정수 픽셀 값들을 포함하고,
상기 제 1 서브-픽셀 값을 계산하는 것은, 필터 지원 포지션들에 대응하는 필터 계수들의 제 1 의 1차원 어레이를 정의하는 제 1 보간 필터를 적용하는 것을 포함하고,
상기 제 2 서브-픽셀 값을 계산하는 것은, 수평 필터 지원 포지션들에 대응하는 필터 계수들의 제 2 의 1차원 어레이를 정의하는 제 2 보간 필터를 적용하는 것, 및 수직 필터 지원 포지션들에 대응하는 필터 계수들의 제 3 의 1차원 어레이를 정의하는 제 3 보간 필터를 적용하는 것을 포함하고,
상기 제 1 의 1차원 어레이는, 제 2 의 1차원 어레이보다 더 많은 필터 계수들을 포함하며,
상기 제 1 의 1차원 어레이는, 제 3 의 1차원 어레이보다 더 많은 필터 계수들을 포함하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 제 1 보간 필터는 8-탭 필터를 포함하고;
상기 제 2 보간 필터는 6-탭 필터를 포함하며;
상기 제 3 보간 필터는 6-탭 필터를 포함하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 제 1 보간 필터에 대한 상기 필터 지원 포지션들은 정수 픽셀 포지션들의 세트에 대응하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 제 1 서브-픽셀 포지션은, 정수 픽셀 포지션들을 가진 공통 수직 축 또는 정수 픽셀 포지션들을 가진 공통 수평 축 중 어느 하나의 축 상에 있는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 제 2 서브-픽셀 포지션은, 정수 픽셀 포지션들을 가진 공통 수직 축 상에 있지 않고 정수 픽셀 포지션들을 가진 공통 수평 축 상에 있지 않은, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 컴퓨터 판독가능 저장 매체는 하나 이상의 부가적인 명령들을 저장하고,
상기 하나 이상의 부가적인 명령들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
시그널링 비트들을 인코딩하도록 하고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대해 사용될 특정 보간 필터를 식별하는, 컴퓨터 판독가능 저장 매체.
제 40 항에 있어서,
상기 시그널링 비트들은 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 개별적으로 식별하는, 컴퓨터 판독가능 저장 매체.
제 40 항에 있어서,
상기 시그널링 비트들은, 상기 제 2 보간 필터 및 상기 제 3 보간 필터를 포함하는 조합을 식별하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 컴퓨터 판독가능 저장 매체는 하나 이상의 부가적인 명령들을 저장하고,
상기 하나 이상의 부가적인 명령들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
플래그를 인코딩하도록 하고,
상기 플래그는, 각각의 서브-픽셀 포지션에 대하여 사용될 각각의 보간 필터가 상기 각각의 서브-픽셀 포지션에 대하여 이전에 사용된 상기 각각의 보간 필터라는 것을 나타내는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 컴퓨터 판독가능 저장 매체는 하나 이상의 부가적인 명령들을 저장하고,
상기 하나 이상의 부가적인 명령들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
시그널링 비트들을 디코딩하도록 하고,
상기 시그널링 비트들은, 각각의 서브-픽셀 포지션에 대해 사용될 특정 보간 필터를 식별하는, 컴퓨터 판독가능 저장 매체.
제 35 항에 있어서,
상기 컴퓨터 판독가능 저장 매체는 하나 이상의 부가적인 명령들을 저장하고,
상기 하나 이상의 부가적인 명령들은, 상기 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금,
플래그를 디코딩하도록 하고,
상기 플래그는, 각각의 서브-픽셀 포지션에 대하여 사용될 각각의 보간 필터가 상기 각각의 서브-픽셀 포지션에 대하여 이전에 사용된 상기 각각의 보간 필터라는 것을 나타내는, 컴퓨터 판독가능 저장 매체.