KR101569259B1

KR101569259B1 - 비디오 코딩을 위한 변환 계수들의 적응적 스캐닝

Info

Publication number: KR101569259B1
Application number: KR1020137013016A
Authority: KR
Inventors: 무하메드 제이드 코반; 마르타 카르체비츠
Original assignee: 퀄컴 인코포레이티드
Priority date: 2010-10-22
Filing date: 2011-10-21
Publication date: 2015-11-13
Also published as: US20120099646A1; JP2013541917A; WO2012054805A1; CN103181170A; JP5628438B2; KR20130095293A; US9641846B2; EP2630798A1

Abstract

일 예에서, 비디오 데이터를 디코딩하는 장치는 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하도록, 그리고 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하도록 구성된 비디오 디코더를 포함한다. 비디오 디코더는 또한 변환 계수들의 수가 미리 정해진 임계치를 초과할 때에 스캔 순서를 식별하도록, 그리고 스캔 순서를 적용하여 비디오 데이터의 블록과 관련된 다수의 변환 계수들을 역스캔하도록 구성되며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화된 순서를 나타낸다.

Description

비디오 코딩을 위한 변환 계수들의 적응적 스캐닝{ADAPTIVE SCANNING OF TRANSFORM COEFFICIENTS FOR VIDEO CODING}

본 출원은 2010년 10월 22일에 출원된 미국 가출원 제61/406,039호의 이점을 주장하며, 이것은 여기서 그 전체가 참조로서 포함된다.

본 개시물은 비디오 코딩에 관한 것이다.

디지털 비디오 기능들은, 디지털 텔레비전, 디지털 직접 브로드캐스트 시스템, 무선 브로드캐스트 시스템, 개인 휴대 정보 단말 (PDA), 랩톱 또는 데스크톱 컴퓨터, 디지털 카메라, 디지털 리코딩 디바이스, 디지털 미디어 플레이어, 비디오 게이밍 디바이스, 비디오 게임 콘솔, 셀룰러 또는 위성 무선 전화, 비디오 원격 회의 디바이스 등을 포함하는 광범위한 디바이스들 내에 포함될 수 있다. 디지털 비디오 디바이스들은, 디지털 비디오 정보를 더 효율적으로 송신하고 수신하도록 하기 위한, MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Part 10, AVC (Advanced Video Coding), 또는 부상하는 HEVC (High Efficiency Video Coding) 표준에 의해 정의되는 표준들 및 이러한 표준들의 확장들에서 설명되는 것들과 같은 비디오 압축 기법들을 구현한다.

비디오 압축 기법들은 공간 예측 및/또는 시간 예측을 수행하여, 비디오 시퀀스들에 내재하는 리던던시를 감소시키거나 제거한다. 블록 기반 비디오 코딩의 경우, 비디오 프레임 또는 슬라이스는 일반적으로 블록들이라고 지칭될 수도 있는 코딩 유닛들로 파티셔닝될 수도 있다. 각각의 블록은 더 파티셔닝될 수 있다. 인트라-코딩 (I) 프레임 또는 슬라이스 내의 블록들은 동일한 프레임 또는 슬라이스 내의 인근 기준 블록들에 대해 공간 예측을 사용하여 인코딩된다. 인터-코딩 (P 또는 B) 프레임 또는 슬라이스 내의 블록들은 동일한 프레임 또는 슬라이스 내의 인근 블록들에 대해 또는 다른 기준 프레임들에 대해 공간 예측을 사용할 수도 있다.

일반적으로, 본 개시물은 비디오 데이터를 코딩하는 기법들을 설명한다. 본 개시물은 비디오 코딩 프로세스 동안에 잔여 비디오 데이터를 변환하고 변환 계수들을 스캔하는 기법들을 설명한다. 일반적으로, 코딩되는 화상의 블록들은 인트라-모드 인코딩 (예를 들어, 동일한 화상의 다른 블록들 내의 참조 샘플들에 대해 인코딩) 되거나 또는 인터-모드 인코딩 (예를 들어, 이전에 코딩된 화상의 기준 블록들에 대해 인코딩) 될 수도 있다. 어느 경우이든, 비디오 인코더는 코딩되는 블록에 대한 예측 데이터를 형성한다. 예측 데이터와 블록의 실제 데이터 사이의 차분은 잔여 데이터로 나타내진다. 비디오 인코더는 잔여 데이터를, 예를 들어 공간 도메인으로부터 변환 도메인으로 변환하여, 다수의 변환 계수들을 생성할 수도 있다.

본 개시물의 기법들은 전반적으로 엔트로피 코딩을 위해 변환 계수들을 2 차원 블록으로부터 1 차원 어레이로 직렬화하는 데 사용될 수도 있는 변환 계수 스캔 순서를 결정하는 것에 관한 것이다. 본 개시물의 양태들에 따르면, 비디오 인코더는 직렬화되는 변환 계수들의 수에 기초하여 스캔 순서를 시그널링할지를 결정할 수도 있다. 구체적으로, 직렬화되는 변환 계수들의 수가 미리 정해진 임계치를 초과하면, 비디오 인코더는 특정 스캔 순서를 결정하고 명시적으로 시그널링할 수도 있다. 대안으로, 직렬화되는 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않으면, 비디오 인코더는 특정 스캔 순서를 시그널링하지 않을 수도 있다. 이 예에서, 비디오 인코더는 사전 정의된 또는 디폴트의 스캔 순서를 사용하여 변환 계수들을 스캔할 수도 있다.

일 예에서, 비디오 데이터를 디코딩하는 방법은 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하는 단계, 및 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하는 단계를 포함한다. 이 방법은 또한 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 식별하는 단계를 포함하며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화된 순서를 나타낸다. 이 방법은 또한 스캔 순서를 적용하여 비디오 데이터의 블록과 관련된 변환 계수들의 수를 역스캔하는 단계를 포함한다.

다른 예에서, 비디오 데이터를 디코딩하는 장치는, 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하도록, 그리고 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하도록 구성된 비디오 디코더를 포함한다. 비디오 디코더는 또한 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 식별하도록, 그리고 스캔 순서를 적용하여 비디도 데이터의 블록과 관련된 다수의 변환 계수들을 역스캔하도록 구성되며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화된 순서를 나타낸다.

다른 예에서, 비디오 데이터를 디코딩하는 장치는, 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하는 수단, 및 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하는 수단을 포함한다. 이 장치는 또한 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 식별하는 수단, 및 스캔 순서를 적용하여 비디도 데이터의 블록과 관련된 다수의 변환 계수들을 역스캔하는 수단을 포함하며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화된 순서를 나타낸다.

다른 예에서, 명령들을 저장한 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 명령들은, 실행될 때, 비디오 데이터를 디코딩하는 디바이스의 프로세서로 하여금, 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하게 하고; 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하게 하고; 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 식별하게 하고; 스캔 순서를 적용하여 비디도 데이터의 블록과 관련된 다수의 변환 계수들을 역스캔하게 하며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화된 순서를 나타낸다.

다른 예에서, 비디오 데이터를 인코딩하는 방법은, 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하는 단계; 및 변환 계수들의 수가 미리 정해진 임계치를 초과하는지에 기초하여 스캔 순서를 시그널링할지를 판정하는 단계를 포함하며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타낸다. 이 방법은 또한 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 시그널링하는 단계를 포함한다.

다른 예에서, 비디오 데이터를 인코딩하는 장치는, 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하도록, 그리고 변환 계수들의 수가 미리 정해진 임계치를 초과하는지에 기초하여 스캔 순서를 시그널링할지를 판정하도록 구성된 비디오 인코더를 포함하며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타낸다. 비디오 인코더는 또한 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 시그널링하도록 구성된다.

다른 예에서, 비디오 데이터를 인코딩하는 장치는, 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하는 수단, 및 변환 계수들의 수가 미리 정해진 임계치를 초과하는지에 기초하여 스캔 순서를 시그널링할지를 판정하는 수단을 포함하며, 여기서 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타낸다. 이 장치는 또한 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 시그널링하는 수단을 포함한다.

다른 예에서, 명령들을 저장한 컴퓨터 판독가능 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서, 명령들은, 실행될 때, 비디오 데이터를 인코딩하는 디바이스의 프로세서로 하여금, 비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하게 하고; 변환 계수들의 수가 미리 정해진 임계치를 초과하는지에 기초하여 스캔 순서를 시그널링할지를 판정하게 하고; 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 스캔 순서를 시그널링하게 하며, 스캔 순서는 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타낸다.

하나 이상의 예들의 세부사항들은 하기의 설명 및 첨부한 도면에서 설명된다. 다른 특징들, 목적들 및 이점들이 설명 및 도면으로부터, 그리고 청구범위로부터 명백해질 것이다.

도 1 은 코딩 유닛에 대한 스캔 순서를 명백히 시그널링할 것인지를 판정하기 위한 기법들을 이용할 수도 있는 예시적 비디오 인코딩 및 디코딩 시스템을 예시한 블록도이다.
도 2 는 본 개시물에서 설명되는 코딩 유닛에 대한 스캔 순서를 명백히 시그널링할 것인지를 판정하기 위한 기법들 중 임의의 기법들 또는 모든 기법들을 구현할 수도 있는 예시적 비디오 인코더를 예시한 블록도이다.
도 3 은 인코딩된 비디오 시퀀스를 디코딩하는 비디오 디코더의 예를 예시한 블록도이다.
도 4 는 변환 계수들의 예시적 지그-재그 스캔을 예시한 개념도이다.
도 5 는, 본 개시물의 양태들에 따른, 변환 계수들을 스캔하기 위한 스캔 순서를 시그널링할 것인지를 판정하기 위한 예시적 방법을 예시한 플로우차트이다.
도 6 은, 본 개시물의 양태들에 따른, 변환 계수들을 스캔하기 위한 스캔 순서를 시그널링할 것인지를 판정하기 위한 다른 예시적 방법을 예시한 플로우차트이다.
도 7 은 적응적 스캔을 수행하기 위한 예시적 방법을 예시한 플로우차트이다.
도 8 은 적응적으로 스캐닝된 계수들을 설명하는 신택스 엘리먼트들을 스캔하고 엔트로피 인코딩할 때 사용할 콘텍스트 모델을 선택하기 위한 예시적 방법을 예시한 플로우차트이다.
도 9 는, 본 개시물의 양태들에 따른, 변환 계수들을 역스캔하기 위한 스캔 순서를 식별할 것인지를 판정하기 위한 예시적 방법을 예시한 플로우차트이다.
도 10 은, 본 개시물의 양태들에 따른, 변환 계수들을 역스캔하기 위한 스캔 순서를 식별할 것인지를 판정하기 위한 다른 예시적 방법을 예시한 플로우차트이다.

전반적으로, 본 개시물은 비디오 데이터를 코딩하는 기법들을 설명한다. 더 구체적으로, 본 개시물은 비디오 코딩 프로세스 동안에 데이터를 변환하고 변환 계수들을 스캔하는 것에 관한 기법들을 설명한다. 인코딩된 비디오 데이터는 예측 데이터와 잔여 데이터를 포함할 수도 있다. 비디오 인코더는 인트라-예측 모드 또는 인터-예측 모드 동안에 예측 데이터를 생성할 수도 있다. 인트라-예측은 일반적으로 화상의 블록 내의 픽셀 값들을, 동일한 화상의 인근의 이전에 코딩된 블록들 내의 기준 샘플들에 대해서 예측하는 것을 포함한다. 인터-예측은 일반적으로 화상의 블록 내의 픽셀 값들을, 이전에 코딩된 화상 내의 기준 블록의 데이터에 대해 예측하는 것을 포함한다.

인트라- 또는 인터-예측에 이어서, 비디오 인코더는 블록에 대한 잔여 픽셀 값들을 계산할 수도 있다. 잔여 값들은 일반적으로 그 블록에 대한 예측된 픽셀 값 데이터와 그 블록의 실제 픽셀 값 데이터 사이의 차이들에 대응한다. 예를 들어, 잔여 값들은 코딩된 픽셀들과 예측 픽셀들 사이의 차이들을 나타내는 픽셀 차이 값들을 포함할 수도 있다. 몇몇 예들에서, 코딩된 픽셀들은 코딩될 픽셀들의 블록과 관련될 수도 있으며, 예측 픽셀들은 코딩된 블록을 예측하는 데 사용되는 픽셀들의 하나 이상의 블록들과 관련될 수도 있다. 블록의 잔여 값을 더 압축하기 위해, 잔여 값은 변환 도메인 내의 변환 계수 세트로 변환될 수도 있다. 이상적으로는, 변환 계수들은 가급적 많은 데이터 ("에너지" 라고도 지칭됨) 를 가급적 적은 계수들로 컴팩트한다. 변환은 픽셀들의 잔여 값들을 공간 도메인으로부터 변환 도메인으로 전환한다. 변환 계수들은 대개는 오리지널 블록과 동일한 사이즈인 계수들의 2 차원 매트릭스에 대응한다. 다시 말해, 보통은 오리지널 블록 내의 픽셀들처럼 많은 변환 계수들이 존재한다. 그러나, 변환으로 인해, 변환 계수들 중 대부분은 제로와 동일한 값들을 가질 수도 있다.

그 후, 비디오 인코더는 변환 계수들을 양자화하여 비디오 데이터를 더 압축할 수도 있다. 양자화는 일반적으로 상대적으로 넓은 범위 내의 값들을 상대적으로 작은 범위의 값들로 맵핑하여, 양자화된 변환 계수들을 나타내는 데 필요한 데이터의 양을 감소시키는 것을 포함한다. 몇몇 경우들에 있어서, 양자화는 몇몇 값들을 제로로 감소시킬 수도 있다. 양자화에 이어서, 비디오 인코더는 변환 계수들을 스캔하여, 양자화된 변환 계수들을 포함하는 2 차원 매트릭스로부터 1 차원 벡터를 생성할 수도 있다.

그 후, 비디오 인코더는 생성된 어레이를 엔트로피 인코딩하여 데이터를 더욱 더 압축할 수도 있다. 몇몇 예들에서, 비디오 인코더는, 예컨대 콘텍스트 적응적 가변 길이 코딩 (context-adaptive variable-length coding: CAVLC) 을 사용하여, 가변 길이 코드들 (VLCs) 을 사용하여 어레이의 다양한 가능한 양자화된 변환 계수들을 나타내도록 구성될 수도 있다. 다른 예들에서, 비디오 인코더는, 예컨대 콘텍스트 적응적 이진 산술 코딩 (context-adaptive binary arithmetic coding: CABAC) 을 사용하여, 이진 산술 코딩을 사용하여 생성된 양자화된 계수들을 인코딩하도록 구성될 수도 있다.

본 개시물은 비디오 코딩 프로세스 동안에 변환 계수들을 스캔하고 엔트로피 인코딩하는 것에 관련된 여러 기법들을 설명한다. 구체적으로, 본 개시물은, 변환 계수 매트릭스의 사이즈에 의해 판정될 수도 있는, 변환 계수들의 수에 기초하여 변환 계수 매트릭스를 스캔하기 위한 스캔 순서를 식별할 것인지 그리고 명시적으로 시그널링할 것인지를 판정하는 것에 관련된 특정 기법들을 설명한다. 이 기법들은, 비디오 인코더/디코더들 (CODECs) 을 포함하는 비디오 인코딩 및 디코딩 유닛들과 비디오 인코딩 및/또는 디코딩을 수행하도록 구성된 프로세싱 유닛들 양측 모두에 의해 적용될 수도 있다.

현재 고효율 비디오 코딩 (High Efficiency Video Coding: HEVC) 이라고 지칭되는 새로운 비디오 코딩 표준을 개발하려는 노력들이 현재 진행 중에 있다. 도래한 표준은 또한 때때로 비공식적으로 ITU-T H.265 이라고 지칭되지만, 이러한 표기는 정식으로 이루어지지 않고 있다. 표준화 노력들은 HEVC 테스트 모델 (HEVC Test Model: HM) 이라고 지칭되는 비디오 코딩 디바이스의 모델에 기초한다. 제안된 HEVC 표준은, 예컨대 ITU-T H.264/AVC 에 따라서 구성된 다른 디바이스들에 비해 여러 가지 기능들의 비디오 코딩 디바이스들을 상정한다. 예를 들어, H.264 가 9 개의 인트라-예측 인코딩 모드들을 제공하는 반면, 제안된 HEVC 표준은 35 개나 되는 인트라-예측 인코딩 모드들을 제공한다.

제안된 HEVC 표준은 비디오 데이터의 블록을 코딩 유닛 (CU) 이라고 지칭한다. 비트스트림 내의 신택스 데이터는, 픽셀들의 수와 관련하여 최대 코딩 유닛인 최대 코딩 유닛 (LCU) 를 정의할 수도 있다. 일반적으로, CU 는, CU 가 사이즈 특이성을 갖지 않는다는 점을 제외하면, H.264 에 따라서 코딩되는 매크로블록과 유사한 목적을 갖는다. 따라서, CU 는 서브-CUs 로 분할될 수도 있다. 일반적으로, 본 개시물에서 CU 에 대한 언급은 화상의 최대 코딩 유닛 또는 LCU 의 서브-CU 를 지칭할 수도 있다. LCU 는 서브-CUs 로 분할될 수도 있고, 각각의 서브-CU 는 서브-CUs 로 분할될 수도 있다. 비트스트림에 대한 신택스 데이터는 LCU 가 분할될 수도 있는 최대 횟수 (CU 깊이라고 지칭됨) 를 정의할 수도 있다. 따라서, 비트스트림은 또한 최소 코딩 유닛 (SCU) 을 정의할 수도 있다.

LCU 는 쿼드트리 (quadtree) 데이터 구조와 관련될 수도 있다. 일반적으로, 쿼드트리 데이터 구조는 CU 당 하나의 노드를 포함하며, 여기서 루트 노드는 LCU 에 대응한다. CU 가 4 개의 서브-CUs 로 분할되면, 그 CU 에 대응하는 노드는 4 개의 잎 (leaf) 노드들을 포함하며, 각각의 잎 노드는 서브-CUs 중 하나에 대응한다. 쿼드트리 데이터 구조의 각각의 노드는 대응하는 CU 에 대한 신택스 데이터를 제공할 수도 있다. 예를 들어, 쿼드 트리의 노드는, 그 노드에 대응하는 CU 가 서브-CUs 로 분할되는지를 나타내는 분할 플래그를 포함할 수도 있다. CU 에 대한 신택스 엘리먼트들은 귀납적으로 정의될 수도 있으며, 그 CU 가 서브-CUs 로 분할되는지에 의존할 수도 있다.

분할되지 않은 CU 는 하나 이상의 예측 유닛들 (PUs) 을 포함할 수도 있다. 일반적으로, PU 는 대응하는 CU 의 모두 또는 일부를 나타내고, 그 PU 에 대한 기준 샘플을 취출하기 위한 데이터를 포함한다. 예를 들어, PU 가 인트라-모드 인코딩될 때, 그 PU 는 그 PU 에 대한 인트라-예측 모드를 기술하는 데이터를 포함할 수도 있다. 다른 예로서, PU 가 인터-모드 인코딩될 때, PU 는 PU 에 대한 모션 벡터를 정의하는 데이터를 포함할 수도 있다. 모션 벡터를 정의하는 데이터는, 예를 들어 모션 벡터의 수평 방향 콤포넌트, 모션 벡터의 수직 방향 콤포넌트, 모션 벡터의 분해능 (예컨대, 1/4 픽셀 정밀도 또는 1/8 픽셀 정밀도), 모션 벡터가 지시하는 기준 프레임, 및/또는 모션 벡터에 대한 기준 리스트 (예컨대, 리스트 0 또는 리스트 1) 를 설명할 수도 있다. PU(s) 를 정의하는 CU 에 대한 데이터는 또한, 예를 들어 그 CU 를 하나 이상의 PUs 로 파티셔닝하는 것을 설명할 수도 있다. 파티셔닝 모드들은 CU 가 언코딩되는지, 인트라-예측 모드 인코딩되는지, 또는 인터-예측 모드 인코딩되는지에 따라 상이할 수도 있다.

하나 이상의 PUs 를 가지는 CU 는 또한 하나 이상의 변환 유닛들 (TUs) 를 포함할 수도 있다. PU 를 사용한 예측에 이어서, 비디오 인코더는 그 PU 에 대한 잔여 값을 계산할 수도 있다. 잔여 값은 변환될 수도 있고, 양자화될 수도 있으며, 스캔될 수도 있다. TU 는 반드시 PU 의 사이즈로 제한되는 것은 아니다. 따라서, TUs 는 동일한 CU 에 대한 대응하는 PUs 보다 더 클 수도 있고 또는 더 작을 수도 있다. 따라서, PU 는 단일 TU 또는 다수의 TUs 를 가질 수도 있다. 몇몇 예들에서, TU 의 최대 사이즈는 대응하는 CU 의 사이즈일 수도 있다. 본 개시물은 또한 "블록" 이라는 용어를 CU, PU 또는 TU 중 임의의 것을 지칭하는 데에도 사용한다.

일반적으로, 전술한 바와 같이, 본 개시물의 기법들은 비디오 데이터를 변환하고, 양자화하고, 스캔하고, 엔트로피 인코딩하는 것에 관한 것이다. 몇몇 예들에서, 본 개시물의 기법들은, 예를 들어 비디오 데이터의 블록과 관련된 변환 계수들의 수에 기초하여, 변환 계수들에 대한 스캔 순서를 시그널링할 것인지를 판정하는 것을 포함한다. 즉, 일 예에서, 본 개시물의 양태들은 TU 의 사이즈에 기초하여 그 TU 와 관련된 변환 계수들을 스캔하기 위한 스캔 순서를 시그널링할 것인지를 판정하는 것에 관한 것이며, 여기서 TU 의 사이즈는 TU 와 관련된 변환 계수들의 수의 표시를 제공한다. 다른 예에서, 본 개시물의 양태들은 TU 와 관련된 유효 변환 계수들 (significant transform coefficients) 의 수에 기초하여 그 TU 에 대한 스캔 순서를 시그널링할지를 판정하는 것에 관한 것이다. 또 다른 예에서, 본 개시물의 양태들은 TU 의 최종 유효 변환 계수의 상대적 위치에 기초하여 그 TU 에 대한 스캔 순서를 시그널링할 것인지를 판정하는 것에 관한 것이다. 이 예에서, 최종 유효 계수의 상대적 위치는, 더 상세히 후술하는 바와 같이, 최종 유효 계수 플래그에 기초하여 식별될 수도 있다.

본 개시물은, 전반적으로, 양자화된 변환 계수들이, 예를 들어 2 차원 블록 또는 1 차원 어레이 매트릭스로부터 직렬화되는 순서를 "스캔 순서" 라고 지칭한다. 스캔 순서는, 변환 계수들이 직렬화될 때, 2 차원 매트릭스 내의 변환 계수들의 상대적 위치들을 변환 계수들이라고 지칭함으로써, 변환 계수들이 직렬화되는 시퀀스를 식별할 수도 있다. 본 개시물은 또한 양자화된 변환 계수들이 2 차원 매트릭스로부터 1 차원 어레이로 직렬화되는 패턴을 "스캔 패턴" 이라고 지칭한다. 즉, 스캔 패턴은, 2 차원 매트릭스를 통해 트레이스된 패턴 (예컨대, 지그-재그 패턴) 을 지칭함으로써, 변환 계수들이 직렬화되는 시퀀스를 식별할 수도 있다. 따라서, "스캔 순서" 및 "스캔 패턴" 이라는 양측 용어들 모두는 변환 계수들의 2 차원 매트릭스가 어떻게 직렬화되는지를 설명하는 데 사용될 수도 있고, 여기서 상호 교환 가능하게 사용될 수도 있다.

일 예에서, 본 개시물의 기법들은 현재 인코딩되고 있는 CU 와 관련된 변환 유닛 (TU) 의 사이즈를 검사함으로써 변환 계수들의 수에 기초하여 변환 계수들의 스캔 순서를 생성하고 시그널링할지를 판정하는 것을 포함한다. 예를 들어, 16x16 TU 는 정사각형 매트릭스로 배열될 수도 있는 256 개의 개별적인 관련 변환 계수들을 갖는다. 본 개시물의 몇몇 양태들에 따르면, 비디오 인코더는 오로지 미리 정해진 사이즈 임계치를 초과하는 TU 에 대해서만 스캔 순서를 생성하고 명시적으로 시그널링할 수도 있다. TU 가 미리 정해진 사이즈 임계치를 초과하지 않는다면, 비디오 인코더는 TU 와 관련된 변환 계수들을 스캐닝할 때 미리 정해진 스캔 순서 또는 디폴트 스캔 순서를 사용할 수도 있다. 이 예에서, 비디오 인코더는 미리 정해진 스캔 순서를 비디오 인코더에 시그널링하지 않을 수도 있다.

다른 예에서, 본 개시물의 기법들은 TU 에 포함된 유효 계수들의 수를 판정함으로써 변환 계수들의 수에 기초하여 스캔 순서를 생성하고 시그널링할지를 판정하는 것을 포함한다. 예를 들어, 전술한 바와 같이, 변환 후, 계수들은 일반적으로 양자화되어 비디오 데이터를 더 압축한다. 몇몇 경우들에 있어서, 양자화는 몇몇 값들을 제로로 감소시킬 수도 있다. 따라서, 양자화 후 (그리고 직렬화 이전), TU 는 비제로 값들을 갖는 하나 이상의 변환 계수들을 포함할 수도 있지만, 하나 이상의 다른 변환 계수들이 제로 값을 가질 수도 있다. 나머지 비제로의 양자화된 변환 계수들은 "유효" 변환 계수들이라고 지칭될 수도 있다. 본 개시물의 기법들은 유효 변환 계수들의 수가 미리 정해진 임계 값을 초과하는지에 기초하여 스캔 순서를 시그널링할지를 판정하는 것을 포함한다. 유효 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않는다면, 비디오 인코더는 TU 와 관련된 변환 계수들을 스캐닝할 때 미리 정해진 스캔 순서 또는 디폴트 스캔 순서를 사용할 수도 있다. 이 예에서, 비디오 인코더는 그 미리 정해진 스캔 순서를 비디오 디코더에 시그널링하지 않을 수도 있다.

본 개시물의 기법들은 또한 TU 에 포함된 최종 유효 계수의 위치를 식별함으로써 변환 계수들의 수에 기초하여 스캔 순서를 생성하고 시그널링할지를 판정하는 것도 포함한다. 즉, 몇몇 예들에 따르면, 비디오 코더는 TU 에 대한 유효성 맵을 생성할 수도 있으며, 여기서 유효성 맵은 TU 의 유효 계수들의 상대적 위치들을 식별한다. 일 예에서, 유효성 맵은 TU 와 동일한 사이즈일 수도 있으며, 각각의 변환 계수에 대응하는 플래그들로 구성될 수도 있다. 비디오 코더는, 그 위치에서의 대응하는 변환 계수가 비제로인 경우, 유효 플래그를 "1" 의 값으로 설정할 수도 있다. 대안으로, 비디오 코더는, 그 위치에서의 대응하는 변환 계수가 제로 값으로 된 경우, 유효 플래그를 "0" 의 값으로 설정할 수도 있다. 몇몇 예들에서, 비디오 인코더는 변환 계수들과 동일한 방식으로 유효성 맵을 직렬화하고 엔트로피 인코딩할 수도 있다. 다른 예에서, 비디오 인코더는 유효성 맵을 변환 계수들에 상대적인 역순서로 직렬화할 수도 있다.

또한, 비디오 인코더는 사전 정의된 스캔 순서 (예컨대, 지그-재그 스캔 순서) 에 따라서 변환 계수 매트릭스를 스캔하도록 구성될 수도 있다. 따라서, 매트릭스의 각각의 변환 계수는 주어진 변환 계수가 매트릭스의 다른 변환 계수들에 상대적으로 스캔될 때를 식별하는 위치를 할당받을 수도 있다. 변환 계수 위치들이 주어지면, 비디오 인코더는 최종 비제로 변환 계수, 예컨대 최종 "유효" 계수의 위치를 식별할 수도 있다. 일반적으로, 본 개시물에서, 특정 변환 계수 위치는, 특정 변환 계수가 다른 변환 계수 위치보다 시간적으로 늦게 스캔되는 경우, 또 다른 변환 계수 위치보다 "더 큰" 것으로 지칭될 수도 있다.

본 개시물의 몇몇 양태들에 따르면, 비디오 인코더는 오로지 미리 정해진 임계 위치보다 큰 최종 유효 계수를 갖는 TU 에 대해서만 스캔 순서를 생성하고 시그널링할 수도 있다. TU 가 미리 정해진 임계 위치보다 큰 위치에서 하나 이상의 유효 변환 계수들, 즉 비제로 변환 계수들을 갖지 않는다면, 비디오 인코더는 TU 와 관련된 변환 계수들을 스캔할 때 미리 정해진 스캔 순서 또는 디폴트 스캔 순서를 사용할 수도 있다. 이 예에서, 비디오 인코더는 비디오 디코더에 미리 정해진 스캔 순서를 시그널링하지 않을 수도 있다.

비디오 인코더와 관련하여 설명되고 있지만, 이러한 기법들은 또한 비디오 디코더에 의해 구현될 수도 있다는 것이 이해될 것이다. 즉, 비디오 디코더는 수신된 비트스트림이 그 비트스트림에서 수신된 변환 계수들의 수에 기초한 스캔 순서의 표시를 포함하는지를 판정할 수도 있다. 예를 들어, 비디오 디코더는 비트스트림이 수신된 TU 의 사이즈, 수신된 TU 의 유효 계수들의 수, 및/또는 수신된 TU 의 최종 유효 계수의 위치에 기초한 (예컨대, 비트스트림 내에 포함된 변환 계수들의 수에 기초하는) 스캔 순서의 표시를 포함하는지를 판정할 수도 있다. 비디오 디코더가, 수신된 비트스트림이 스캔 순서의 표시 (예컨대, 스캔 순서를 정의하는 하나 이상의 신택스 엘리먼트들) 를 포함하는 것으로 판정하면, 비디오 디코더는 스캔 순서를 식별할 수도 있고, 스캔 순서에 따라서 변환 계수들을 스캔 (또는 역스캔) 할 수도 있다. 즉, 비디오 디코더는 시그널링된 스캔 순서를 적용하여, 수신된 비트스트림의 직렬화된 어레이로부터 변환 계수들의 2 차원 어레이를 생성할 수도 있다. 비디오 디코더가, 수신된 비트스트림이 스캔 순서의 표시를 포함하지 않는 것으로 판정하면, 비디오 디코더는 디폴트의 사전 정의된 스캔 순서 (예컨대, 비디오 디코더에 의해 적용되는 동일한 디폴트 스캔 순서) 를 적용할 수도 있다.

본 개시물의 기법들은 비디오 데이터의 인터-예측된 블록과 관련된 변환 계수들뿐 아니라 비디오 데이터의 인트라-예측된 블록과 관련된 변환 계수들을 직렬화하는 스캔 순서를 생성하고 시그널링할지를 판정하는 것을 포함한다. 또한, 스캔 순서를 명시적으로 시그널링할 때, 본 개시물의 양태들은 그러한 시그널링을 최적화하는 것에 관한 것이다. 즉, 예를 들어, 본 개시물의 기법들은 스캔 순서 시그널링을 개선하는 데 콘텍스트 정보를 사용하는 것을 포함한다.

본 개시물의 양태들에 따르면, 특정 스캔 순서를 생성하고 명시적으로 시그널링할지의 판정에 스캔될 때 필요한 변환 계수들의 수를 기초로 함으로써, 비디오 인코더는 그것이 잠재적으로 가장 효율적일 때 특정 스캔 순서를 시그널링할 수도 있다. 즉, 본 개시물의 기법들은 특정 스캔 순서를 생성하고 시그널링하는 것과 관련된 계산 비용과 시그널링 비용 사이를 절충할 수도 있으며, 전체적인 시그널링 효율의 잠재적 증가가 특정 스캔 순서를 구현함으로써 엔트로피 코딩 동안에 달성될 수도 있다.

예를 들어, 비디오 데이터의 블록을 인코딩할 때, 비디오 인코더는 특정 스캔 순서를 식별함으로써 계산 리소스를 소비할 수도 있다. 또한, 비디오 인코더는 특정 스캔 순서를 비디오 디코더에 시그널링함으로써 시그널링 리소스들을 소비할 수도 있다. 즉, 비디오 인코더는 특정 스캔 순서를 비디오 디코더에 시그널링하는 데 요구될 수도 있고, 그에 의해 비디오 디코더에 전송되는 비트스트림 내의 비트들의 수를 증가시킬 수도 있다.

그러나, 상대적 다수의 변환 계수들로, 스캔 순서를 구현하고 명시적으로 시그널링하는 것과 관련되는 계산 및 시그널링 비용들은 엔트로피 코딩 스테이지에서의 증가된 효율에 의해 상쇄될 수도 있다. 예를 들어, 상대적 다수의 변환 계수들로, 특정 스캔 순서를 구현하는 것은, 변환 계수들의 직렬화된 어레이의 전방을 향해 비제로 변환 계수들을 패킹할 가능성을 증가시킬 수도 있고, 그에 의해 엔트로피 코딩 효율을 더 증가시킬 수도 있다. 또한, 특정 스캔 순서를 구현하는 것은, 제로 값의 변환 계수들의 상대적으로 긴 런들 (runs) 을 생성할 가능성을 증가시킬 수도 있고, 그에 의해 엔트로피 코딩 효율을 더 증가시킬 수도 있다. 즉, 직렬화된 어레이의 변환 계수들의 전방을 향해 비제로 계수들을 패킹하는 것뿐 아니라 제로 값의 변환 계수들의 런을 증가시키는 것은 변환 계수들이 더 적은 비트들로 시그널링되게 할 수도 있다.

상대적으로 적은 관련 변환 계수들 및/또는 유효 변환 계수들을 갖는 비디오 데이터의 상대적으로 작은 블록들을 인코딩할 때, 그것은 특정 스캔 순서를 생성하고 명시적으로 시그널링할 가치가 있는 것이 아닐 수도 있다. 예를 들어, 상대적으로 적은 변환 계수들로, 제로 값의 변환 계수의 상대적으로 긴 런들을 생성할 기회가 감소한다. 따라서, 특정 스캔 순서를 구현하고 시그널링함으로써 엔트로피 코딩 스테이지에서 얻어지는 효율은 스캔 순서를 시그널링하는 데 필요한 비트들에 의해 상쇄될 수도 있다. 이 예에서, 비디오 인코더는 비디오 디코더에 시그널링되지 않아야 할 수도 있는 사전 정의된 또는 고정된 스캔 순서를 적용할 수도 있다. 예를 들어, 간단한 경우에 있어서, 비디오 인코더 및 비디오 디코더는 변환 계수들을 직렬화할 때 특정 스캔 순서를 적용하도록 대칭적으로 사전 프로그래밍될 수도 있다.

전술한 바와 같이, 본 개시물의 기법들은 직렬화되는 변환 계수들의 수에 기초하여 특정 스캔 순서를 명시적으로 시그널링할지를 판정하는 것을 포함한다. 본 개시물의 몇몇 양태들에 따르면, 비디오 인코더는 양자화된 변환 계수 매트릭스의 사이즈에 따라서 변환 계수들의 수를 판정할 수도 있다. 즉, 비디오 인코더는 CU 와 관련된 TU 의 사이즈를 검사함으로써 변환 계수들의 수를 판정할 수도 있다. 본 개시물의 다른 양태들에 따르면, 비디오 인코더는 유효 계수들의 수에 따라서 또는 최종 유효 계수의 상대적 위치에 따라서 변환 계수들의 수를 판정할 수도 있다.

몇몇 예들에서, 비디오 인코더는 오로지 TU 의 사이즈가 미리 정해진 임계 사이즈를 초과할 때에만 특정 스캔 순서를 생성하고 시그널링할 수도 있다. 일 예에서, 임계 사이즈는 변환 계수들의 8x8 매트릭스일 수도 있지만, 다양한 다른 임계 사이즈들 (예컨대, 4x4, 16x16 등) 이 사용될 수도 있다. 즉, 비디오 인코더는 오로지 TU 의 사이즈가 변환 계수들의 8x8 매트릭스를 초과할 때에만 특정 스캔 순서를 생성하고 시그널링할 수도 있다. TU 가 사이즈 임계치를 초과하지 않는다면, 비디오 인코더는 디폴트의 또는 사전 정의된 스캔 순서 (예컨대, 지그-재그 스캔 순서) 를 사용할 수도 있다. 이 경우에 있어서, 비디오 인코더는 스캔 순서를 비디오 디코더에 시그널링하지 않을 수도 있다.

대안으로 또는 추가로, 비디오 인코더는 오로지 유효 변환 계수들의 수가 미리 정해진 임계치를 초과할 때에만 특정 스캔 순서를 생성하고 시그널링할 수도 있다. 일 예에서, 임계 위치는 8 일 수도 있지만, 다양한 다른 임계 위치들 (예컨대, 6, 10, 20 등) 이 사용될 수도 있다. 즉, 비디오 인코더는 오로지 적어도 8 개의 유효 변환 계수들이 존재하는 경우에만 특정 스캔 순서를 생성하고 시그널링할 수도 있다. TU 가 임계치보다 많은 유효 변환 계수들을 포함하지 않는다면, 비디오 인코더는, TU 와 관련된 변환 계수들을 스캔할 때, 비디오 디코더에 시그널링되지 않을 수도 있는 미리 정해진 또는 디폴트의 스캔 순서를 사용할 수도 있다.

대안으로 또는 추가로, 비디오 인코더는 오로지 최종 유효 계수의 위치가 미리 정해진 임계 위치보다 클 때에만 특정 스캔 순서를 생성하고 시그널링할 수도 있다. 일 예에서, 임계 위치는 8 일 수도 있지만, 다양한 다른 임계 위치들이 사용될 수도 있다. 즉, 비디오 인코더는 오로지 최종 유효 변환 계수에 앞서 8 개의 변환 계수들이 존재하는 경우에만 특정 스캔 순서를 생성하고 시그널링할 수도 있다. TU 가 미리 정해진 임계 위치보다 큰 위치에서 하나 이상의 유효 변환 계수들, 즉 비제로의 변환 계수들을 갖지 않는다면, 비디오 인코더는, TU 와 관련된 변환 계수들을 스캔할 때, 비디오에 시그널링되지 않을 수도 있는 미리 정해진 또는 디폴트의 스캔 순서를 사용할 수도 있다.

본 개시물의 양태들은 비디오 데이터의 인터-예측된 블록뿐 아니라 비디오 데이터의 인트라-예측된 블록에 대한 스캔 순서를 생성하고 시그널링할지를 판정하는 것에 관한 것이다. 전술한 바와 같이, 비디오 인코더는 이전에 코딩된 화상의 데이터에 상대적인 비디오 데이터의 블록을 인터-예측할 수도 있다. 일반적으로, 예측된 데이터에서의 내재적 불일치로 인해, 변환 계수 매트릭스 내의 비제로 변환 계수들의 위치를 예상하는 것이 어려울 수도 있다. 즉, 비제로 변환 계수들은 주어진 변환 계수 매트릭스의 전반에 걸쳐서 산재되어 있을 수도 있다.

따라서, 비디오 인코더는 사전 정의되고 고정된 스캔 패턴 (예컨대, 지그-재그 스캔 패턴) 을 적용하여 변환 계수들을 스캔할 수도 있다. 다른 예에서, 인터-예측된 블록들에 대해, 비디오 인코더는 적응적 스캔 패턴을 적용하여 변환 계수들을 스캔할 수도 있다. 즉, 비디오 인코더는 고정된 스캔 패턴을 초기에 구현할 수도 있지만, 화상의 블록들을 인코딩하는 동안에 그 스캔 패턴을 개조 또는 업데이트할 수도 있다. 비디오 인코더는, 예를 들어 위치들에 있는 계수들이 제로 값인 경향이 있는지를 나타내는 통계를 수집할 수도 있으며, 특정 위치에서의 계수가 통상적으로 제로 값이면, 비디오 인코더는 통상적으로 비제로 값들을 갖는 다른 계수들보다 그 계수를 늦게 스캔하도록 선택할 수도 있다.

본 개시물의 기법들은 직렬화되는 변환 계수들의 수에 기초한 인터-예측된 블록의 스캔 순서를 생성하거나 식별하고 명시적으로 시그널링할지를 판정하는 것을 포함한다. 본 개시물의 양태들에 따르면, 비디오 인코더는 오로지 현재 인코딩되고 있는 블록과 관련된 TU 가 특정 사이즈를 초과할 때에만 특정 스캔 순서를 명시적으로 시그널링할 수도 있다. 즉, 스캔 순서를 선택하기 전, 비디오 인코더는 인코딩되고 있는 블록과 관련된 TU 의 사이즈가 미리 정해진 임계 사이즈를 초과하는지를 판정할 수도 있다.

본 개시물의 몇몇 양태들에 따르면, TU 의 사이즈가 미리 정해진 임계 사이즈를 초과하지 않으면, 비디오 인코더는 사전 정의된, 고정된 스캔 순서 (예컨대, 지그-재그 스캔 패턴) 를 이용할 수도 있다. 이 경우에 있어서, 비디오 인코더는 그 스캔 순서를 시그널링하지 않을 수도 있다. 그러나, TU 의 사이즈가 임계 사이즈를 초과하면, 비디오 인코더는 엔트로피 코딩 효율을 증가시키려는 노력으로 스캔 순서를 식별하거나 생성하고 명시적으로 시그널링할 수도 있다. 예를 들어, 비디오 인코더는 특정 위치들에서의 계수들이 제로 값으로 되는 경향이 있는지를 나타내는 통계를 이용하여 적응적 스캔 패턴을 개발할 수도 있다. 다른 예들에서, 비디오 인코더는 다양한 사전 정의된 스캔 순서들을 테스트하고 가장 효율적인 스캔 순서를 선택하는 것에 의해 스캔 순서를 동적으로 선택할 수도 있다. 이러한 예들에서, 비디오 인코더는 적응적 또는 선택된 스캔 순서를 비디오 디코더에 시그널링할 수도 있다.

다른 예들에서, 비디오 인코더는 오로지 유효 변환 계수들의 수가 미리 정해진 임계치를 초과할 때 또는 최종 유효 계수의 상대적 위치가 미리 정해진 임계 위치보다 큰 경우에만 특정 스캔 순서를 생성하고 시그널링할 수도 있다. 즉, 스캔 순서를 선택하기 전, 비디오 인코더는 최종 유효 계수 위치가 미리 정해진 임계 위치보다 큰지를 판정할 수도 있다. 최종 유효 계수 위치가 임계치를 초과하지 않으면, 비디오 인코더는, 시그널링되지 않는 사전 정의된, 고정된 스캔 순서를 이용할 수도 있다. 그러나, 최종 유효 계수 위치가 임계치를 초과하면, 비디오 인코더는 엔트로피 코딩 효율을 증가시키려는 시도 시에 스캔 순서를 식별하거나 생성하고 명시적으로 시그널링할 수도 있다.

비디오 데이터의 인트라-예측된 블록에 대해, 전술한 바와 같이, 비디오 인코더는 특정 인트라-예측 모드를 이용하여 블록을 인트라-예측할 수도 있다. 예를 들어, 제안된 HEVC 표준을 따를 비디오 인코더는 35 개에 달하는 인트라-예측 모드들로 구성될 수도 있다. 몇몇 예들에서, 비디오 인코더는 단일, 고정된 스캔 패턴 (예컨대, 지그-재그 패턴) 을 사용하여 인트라-예측된 블록들과 관련된 변환 계수들을 스캔할 수도 있다. 다른 예들에서, 비디오 인코더는 다른 코딩 프로세스에 기초하여 스캔 패턴을 선택할 수도 있다.

예를 들어, 인트라-예측 후, 비디오 코더는 예측에 이용되는 인트라-예측 모드에 기초하여 변환 계수들을 스캔할 수도 있다. 즉, 분리가능 방향 변환이 잔여 값들의 2 차원 매트릭스에 적용된 후에도, 결과로서 생성된 2 차원 변환 계수 매트릭스는 여전히 몇몇 방향성을 보일 수도 있다. 예를 들어 수직 인트라-예측 모드를 이용한 비디오 데이터의 블록을 예측을 고려하자. 예측, 변환 및 양자화 후, 블록과 관련된 비제로 양자화된 변환 계수들은 수평 방향을 따라 (예컨대, 2 차원 매트릭스의 상대적 상측을 따라) 존재하는 경향이 있을 수도 있다. 따라서, 비디오 코더는 2 차원 매트릭스 내의 비제로 계수들이 결과로서 생성된 1 차원 벡터의 시작부를 향해 더 컴팩트될 수 있도록 수평 방향으로 변환 계수들을 스캔할 수도 있다.

본 개시물의 기법들은 직렬화되는 변환 계수들의 수에 기초한 비디오 데이터의 인트라-예측된 블록에 대한 스캔 순서를 생성하거나 식별하고 명시적으로 시그널링할지를 판정하는 것을 포함한다. 본 개시물의 양태들에 따르면, 비디오 인코더는 오로지 현재 인코딩되고 있는 블록과 관련된 TU 가 특정 사이즈를 초과할 때에만 특정 스캔 순서를 명시적으로 시그널링할 수도 있다. 다른 예에서, 비디오 인코더는 오로지 현재 인코딩되고 있는 TU 의 유효 변환 계수들의 수가 미리 정해진 임계치를 초과할 때에만 특정 스캔 순서를 명시적으로 시그널링할 수도 있다. 다른 예에서, 비디오 인코더는 오로지 현재 인코딩되고 있는 TU 의 최종 유효 계수의 상대적 위치가 미리 정해진 임계 위치를 초과할 때에만 특정 순서를 명시적으로 시그널링할 수도 있다.

비디오 인코더는 엔트로피 코딩 효율을 증가시키려는 시도 시에 스캔 순서를 식별하거나 생성하고 명시적으로 시그널링할 수도 있다. 예를 들어, 비디오 인코더는 다양한 스캔 순서들을 테스트하고 (예컨대, 효율을 나타내는 다른 특징 또는 레이트-왜곡에 따라) 비디오 데이터의 그 블록에 대한 가장 효율적인 스캔 순서를 선택함으로써 스캔 순서를 동적으로 선택할 수도 있으며, 또는 특정 위치들에 있는 계수들이 제로 값으로 되는 경향이 있는지를 나타내는 통계에 기초한 적응적 스캔 순서를 사용할 수도 있다.

본 개시물의 몇몇 양태들에 따르면, 비디오 인코더가 특정 스캔 순서를 생성하지 않으면, 비디오 인코더는 사전 정의된, 고정된 스캔 순서 (예컨대, 지그-재그 스캔 패턴) 를 이용할 수도 있다. 이 경우에 있어서, 비디오 인코더는 스캔 순서를 시그널링하지 않을 수도 있다.

이 방식으로, 직렬화되는 변환 계수들의 수에 기초하여 특정 스캔 순서를 생성하고 시그널링할지를 판정하는 것은, 엔트로피 코딩 스테이지에서 실현되는 이득들을 갖는 스캔 순서를 식별하고 명시적으로 시그널링하는 것과 관련된 계산 및 시그널링 비용들을 밸런싱하는 데 도움이 될 수도 있다. 본 개시물의 특정 양태들이 변환 유닛 (TU) 과 관련된 변환 계수들 (또는 유효 변환 계수들) 의 수에 기초하여 스캔 순서를 생성하고 시그널링할지를 판정하는 것과 관련되지만, 본 개시물의 기법들은, 스캔 순서를 판정하고 시그널링하는 것과 관련된 계산 및 시그널링 비용들이 특정 스캔 순서를 이용하여 달성되는 엔트로피 코딩 효율 증가에 의해 증대될 수도 있는지를 판정하는 것에 전반적으로 관련된다는 것을 이해해야 한다. 따라서, 특정 예들에서, 다른 코딩 메트릭들은 그것이 특정 스캔 순서를 생성하고 시그널링하기에 효율적일지를 판정하는 데 사용될 수도 있다. 예를 들어, TU 의 사이즈를 검사하는 대신, 비디오 인코더는 인코딩되고 있는 CU 와 관련된 변환 계수들의 양에 기초하여 스캔 순서를 생성하고 시그널링할지를 판정할 수도 있다. 다른 예에서, 비디오 인코더는, 비디오 데이터를 코딩하는 데 필요한 변환 계수들의 수의 표시를 간접적으로 제공할 수도 있는 CU 또는 PU 의 사이즈에 기초하여 스캔 순서를 생성하고 시그널링할지를 판정할 수도 있다. 즉, CU 또는 PU 가 유효 변환 계수들의 수의 표시를 제공하지 않을 수도 있지만, 상대적으로 더 큰 CU 또는 PU 는 더 많은 수의 유효 변환 계수들을 포함할 가능성이 더 클 수도 있다.

본 개시물의 기법들은, 스캔 순서를 명시적으로 시그널링할 때, 그러한 시그널링을 최적화하는 것도 포함한다. 예를 들어, 전술한 바와 같이, 변환 계수들의 2 차원 매트릭스를 스캔하는 것은, 이후에 엔트로피 인코딩될 수 있는 1 차원 벡터를 생성한다. 몇몇 예들에서, 비디오 인코더는 가변 길이 코드들, 콘텍스트 적응 이진 산술 코딩 (CABAC), 및 다른 엔트로피 코딩 방법들을 이용하여 변환 계수들을 엔트로피 인코딩할 수도 있다. 이러한 예들에서, 비디오 인코더는 또한, 예를 들어 유효 계수 플래그 및 최종 계수 플래그와 같은 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 본 개시물의 양태들에 따르면, 비디오 인코더는 또한 변환 계수들의 스캔 순서를 엔트로피-인코딩할 수도 있다. 즉, 예를 들어, 본 개시물은 현재 인코딩되고 있는 CU 의 코딩 정보로부터의 콘텍스트 정보 또는 인근 CUs 의 콘텍스트 정보 (예컨대, 예측 모드/방향, 예측 유닛 사이즈, 비제로 계수들의 수 등) 에 의존하는 산술 코딩 방법들 및/또는 콘텍스트 기반 가변 길이 코드 (VLC) 테이블들을 이용하여 스캔 순서를 시그널링하는 기법들을 제공한다.

도 1 은 코딩 유닛에 대한 스캔 순서를 명시적으로 시그널링할지를 판정하는 기법들을 이용할 수도 있는 예시적 비디오 인코딩 및 디코딩 시스템 (10) 을 예시한 블록도이다. 도 1 에 도시된 바와 같이, 시스템 (10) 은 통신 채널 (16) 을 통해 목적지 디바이스 (14) 에 인코딩된 비디오를 전송하는 소스 디바이스 (12) 를 포함한다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 광범위한 디바이스들 중 임의의 것을 포함할 수도 있다. 몇몇 경우들에 있어서, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 무선 핸드셋들, 소위 셀룰러 또는 위성 무선 전화기들, 또는 통신 채널 (16) 이 무선인 경우에 통신 채널 (16) 을 통해 비디오 정보를 통신할 수 있는 임의의 무선 디바이스들을 포함할 수도 있다.

그러나, 코딩 유닛에 대한 스캔 순서를 명시적으로 시그널링할지를 판정하는 것에 관한 본 개시물의 기법들은, 반드시 무선 애플리케이션들 또는 세팅들로 제한되는 것은 아니다. 예를 들어, 이들 기법들은 OTA (over-the-air) 텔레비전 브로드캐스트들, 케이블 텔레비전 송신들, 위성 텔레비전 송신들, 인터넷 비디오 송신들, 저장 매체 상에 인코딩되어 있는, 인코딩된 디지털 비디오, 또는 다른 시나리오들에 적용할 수도 있다. 따라서, 통신 채널 (16) 은 인코딩된 비디오 데이터의 송신 또는 저장에 적합한 무선 또는 유선 매체들의 임의의 조합을 포함할 수도 있다.

도 1 의 예에서, 소스 디바이스 (12) 는 비디오 소스 (18), 비디오 인코더 (20), 변조기/복조기 (모뎀)(22) 및 송신기 (24) 를 포함한다. 목적지 디바이스 (14) 는 수신기 (26), 모뎀 (28), 비디오 디코더 (30) 및 디스플레이 디바이스 (32) 를 포함한다. 본 개시물에 따르면, 소스 디바이스 (12) 의 비디오 인코더 (20) 는 본 개시물의 변환 유닛들의 인코딩 및 디코딩을 위한 기법들을 적용하도록 구성될 수도 있다. 다른 예들에서, 소스 디바이스 및 목적지 디바이스는 다른 콤포넌트들 또는 배열물들을 포함할 수도 있다. 예를 들어, 소스 디바이스 (12) 는 외부 카메라와 같은 외부 비디오 소스 (18) 로부터 비디오 데이터를 수신할 수도 있다. 마찬가지로, 목적지 디바이스 (14) 는 통합된 디스플레이 디바이스를 포함하는 것이 아니라 외부 디스플레이 디바이스와 인터페이스할 수도 있다.

도 1 의 예시된 시스템 (10) 은 단지 일 예에 불과하다. 코딩 유닛에 대한 스캔 순서를 명시적으로 시그널링할지를 판정하는 기법들은 임의의 디지털 비디오 인코딩 및/또는 디코딩 디바이스에 의해 수행될 수도 있다. 본 개시물의 기법들이 전반적으로 비디오 인코딩 디바이스 또는 비디오 디코딩 디바이스에 의해 수행되고 있지만, 이 기법들은 또한 비디오 인코더/디코더 (일반적으로, "코덱 (CODEC)" 이라고 지칭됨) 에 의해 수행될 수도 있다. 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 단지 그러한 코딩 디바이스들의 예들에 불과하며, 여기서 소스 디바이스 (12) 는 목적지 디바이스 (14) 로의 송신을 위한 코딩된 비디오 데이터를 생성한다. 몇몇 예들에서, 디바이스들 (12, 14) 은 디바이스들 (12, 14) 의 각각이 비디오 인코딩 및 디코딩 콤포넌트들을 포함하도록 실질적으로 대칭인 방식으로 동작할 수도 있다. 따라서, 시스템 (10) 은, 예컨대 비디오 스트리밍, 비디오 플레이백, 비디오 브로드캐스팅, 또는 비디오 전화기를 위한, 비디오 디바이스들 (12, 14) 사이의 단방향 또는 양방향 비디오 송신을 지원할 수도 있다.

소스 디바이스 (12) 의 비디오 소스 (18) 는 비디오 카메라, 이전에 캡처된 비디오를 포함하는 비디오 아카이브 (archive), 및/또는 비디오 콘텐츠 제공자로부터의 비디오 피드와 같은 비디오 캡처 디바이스를 포함할 수도 있다. 다른 대안으로서, 비디오 소스 (18) 는 소스 비디오로서의 컴퓨터 그래픽 기반 데이터, 또는 라이브 비디오, 아카이브된 비디오, 및 컴퓨터-생성된 비디오의 조합을 생성할 수도 있다. 몇몇 경우들에 있어서, 비디오 소스 (18) 가 비디오 카메라이면, 소스 디바이스 (12) 및 목적지 디바이스 (14) 는 소위 카메라 폰들 또는 비디오 폰들을 형성할 수도 있다. 그러나, 전술한 바와 같이, 본 개시물에서 설명되는 기법들은 비디오 코딩에 일반적으로 적용 가능할 수도 있고, 무선 및/또는 유선 애플리케이션들에 적용될 수도 있다. 각각의 경우에 있어서, 캡처되거나, 사전 캡처되거나, 또는 컴퓨터-생성된 비디오는 비디오 인코더 (20) 에 의해 인코딩될 수도 있다. 그 후, 인코딩된 비디오 정보는 통신 표준에 따라 모뎀 (22) 에 의해 변조될 수도 있고, 송신기 (24) 를 통해 목적지 디바이스 (14) 로 송신될 수도 있다. 모뎀 (22) 은 다양한 믹서들, 필터들, 증폭기들 또는 신호 변조용으로 설계된 다른 콤포넌트들을 포함할 수도 있다. 송신기 (24) 는, 증폭기들, 필터들, 및 하나 이상의 안테나들을 포함한, 데이터 송신용으로 설계된 회로들을 포함할 수도 있다.

목적지 디바이스 (14) 의 수신기 (26) 는 채널 (16) 을 통해 정보를 수신하고, 모뎀 (28) 은 정보를 복조한다. 또한, 비디오 인코딩 프로세스는 코딩 유닛에 대한 스캔 순서를 명시적으로 스캔할지를 판정하도록 여기서 설명되는 기법들 중 하나 이상을 구현할 수도 있다. 채널 (16) 을 통해 통신되는 정보는 비디오 인코더 (20) 에 의해 정의된 신택스 정보를 포함할 수도 있고, 이 신택스 정보는 비디오 디코더 (30) 에 의해서도 사용되며, 코딩 유닛들의 특성들 및/또는 프로세싱 또는 코딩된 비디오 데이터의 다른 유닛들, 예컨대 화상 그룹들 (GOPs), 슬라이스들, 프레임들 등을 설명하는 신택스 엘리먼트들을 포함한다. 쿼드트리 데이터 구조는 최대 코딩 유닛에 대한 신택스 정보의 일부를 형성할 수도 있다. 즉, 각각의 LCU 는, LCU 가 서브-CUs 로 어떻게 분할되는지를 설명할 수도 있는 쿼드트리 형태의 신택스 정보뿐 아니라 LCU 및 서브-CUs 가 인코딩되는 방식에 대한 시그널링 정보를 포함할 수도 있다.

비디오 디코더 (30) 는 수신된 화상의 CUs 를 디코딩하는 방식을 결정하는 데 쿼드트리를 사용할 수도 있다. 그 후, 비디오 디코더 (30) 는 CUs 를 디코딩할 수도 있고, 디코딩된 비디오 데이터를 디스플레이 디바이스 (32) 에 전송할 수도 있다. 디스플레이 디바이스 (32) 는 디코딩된 비디오 데이터를 사용자에게 디스플레이하고, 음극선관 (CRT), 액정 디스플레이 (LCD), 플라즈마 디스플레이, 유기 발광 다이오드 (OLED) 디스플레이, 또는 다른 타입의 디스플레이 디바이스와 같은 다양한 디스플레이 디바이스들 중 임의의 것을 포함할 수도 있다.

도 1 의 예에서, 통신 채널 (16) 은 무선 주파수 (RF) 스펙트럼 또는 하나 이상의 물리적 송신 라인들, 또는 무선 및 유선 매체들의 임의의 조합과 같은 임의의 무선 또는 유선 통신 매체를 포함할 수도 있다. 통신 채널 (16) 은 근거리 통신망, 광역 통신망, 또는 인터넷과 같은 글로벌 네트워크와 같은 패킷 기반 네트워크의 일부를 형성할 수도 있다. 통신 채널 (16) 은, 일반적으로, 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로 비디오 데이터를 송신하는, 유선 또는 무선 매체들의 임의의 적합한 조합을 포함하는, 임의의 적합한 통신 매체, 또는 상이한 통신 매체들의 집합을 나타낸다. 통신 채널 (16) 은 라우터들, 스위치들, 기지국들, 또는 소스 디바이스 (12) 로부터 목적지 디바이스 (14) 로의 통신을 용이하게 하는 데 유용할 수도 있는 임의의 다른 장비를 포함할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 는, ITU-T H.264 표준 (대안으로, MPEG-4, Part 10, Advanced Video Coding (AVC) 라고 지칭됨) 과 같은 압축 표준에 따라 동작할 수도 있다. 다른 예로서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 고효율 비디오 코딩 (HEVC) 표준에 따라 동작할 수도 있고, HEVC 테스트 모델 (HM) 을 따를 수도 있다. 그러나, 본 개시물의 기법들은 임의의 특정 코딩 표준으로 제한되지 않으며, HEVC 또는 현재 이용 가능하거나 미래에 부상할 수도 있는 다른 표준들이나 사설 코딩 프로세스들에 적용할 수도 있다. 다른 예들은 MPEG-2 및 ITU-T H.263 을 포함한다. 도 1 에는 도시되어 있지 않지만, 몇몇 양태들에서, 비디오 인코더 (20) 및 비디오 디코더 (30) 는 각각 오디오 인코더 및 디코더와 통합될 수도 있으며, 공통 데이터 스트림 또는 개별 데이터 스트림들에서 오디오 및 비디오 양측 모두의 인코딩을 처리하도록 적절한 MUX-DEMUX 유닛들 또는 다른 하드웨어 및 소프트웨어를 포함할 수도 있다. 적용 가능하다면, MUX-DEMUX 유닛들은 ITU H.223 멀티플렉서 프로토콜, 또는 사용자 데이터그램 프로토콜 (UDP) 과 같은 다른 프로토콜들을 따를 수도 있다.

ITU-T H.264/MPEG-4 (AVC) 표준은 ISO/IEC 동영상 전문가 그룹 (MPEG) 과 함께 ITU-T 비디오 코딩 전문가 그룹 (VCEG) 에 의해 조인트 비디오 팀 (JVT) 이라고 알려진 공동 파트너십의 성과로서 정식화되었다. 몇몇 양태들에서, 본 개시물에서 설명되는 기법들은 일반적으로 H.264 표준을 따르는 디바이스들에 적용될 수도 있다. H.264 표준은, ITU-T 스터디 그룹에 의한 ITU-T 권고안 H.264, Advanced Video Coding for generic audiovisual services (2005 년 3월) 에 설명되어 있고, 여기서 H.264 표준 또는 H.264 사양, 또는 H.264/AVC 표준 또는 사양으로서 지칭될 수도 있다. 조인트 비디오 팀 (JVT) 은 H.264/MPEG-4 AVC 에 대한 확장판들에 대해 계속해서 작용한다.

비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 집적회로들 (ASICs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 이산 로직, 소프트웨어, 하드웨어, 펌웨어 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 회로 중 임의의 것으로 구현될 수도 있다. 이들 기법들이 소프트웨어로 구현될 때, 디바이스는 적합한 비일시적 컴퓨터 판독가능 매체에 소프트웨어용 명령들을 저장할 수도 있고, 하나 이상의 프로세서들을 사용하여 본 개시물의 기법들을 수행하는 명령들을 실행할 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 중 어느 쪽이든, 결합된 인코더/디코더 (코덱) 의 부분으로서 각각의 카메라, 컴퓨터, 모바일 디바이스, 가입자 디바이스, 브로드캐스트 디바이스, 셋-톱 박스, 서버 등에 통합될 수도 있다.

비디오 시퀀스는 일반적으로 일련의 비디오 프레임들을 포함한다. 화상 그룹 (GOP) 은 일반적으로 일련의 하나 이상의 비디오 프레임들을 포함한다. GOP 는 GOP 의 헤더, GOP 의 하나 이상의 프레임들의 헤더, 또는 아무 곳에나 GOP 에 포함된 다수의 프레임들을 설명하는 신택스 데이터를 포함할 수도 있다. 각각의 프레임은 각각의 프레임에 대한 인코딩 모드를 설명하는 프레임 신택스 데이터를 포함할 수도 있다. 비디오 인코더 (20) 는 일반적으로 비디오 데이터를 인코딩하기 위해 개개의 비디오 프레임들 내의 코딩 유닛들에 대해 작용한다. 코딩 유닛은 LCU 또는 서브-CU 에 대응할 수도 있으며, 용어 CU 는 LCU 또는 서브-CU 를 지칭할 수도 있다. LCU 에 대한 헤더 정보는 LCU 의 사이즈, LCU 가 분할될 수도 있는 횟수 (본 개시물에서는 CU 깊이로 지칭됨), 및 다른 정보를 설명할 수도 있다. 각각의 비디오 프레임은 복수의 슬라이스들을 포함할 수도 있고, 각각의 슬라이스는 복수의 LCUs 를 포함할 수도 있다.

일 예로서, HEVC 테스트 모델 (HM) 은 다양한 CU 사이즈들에서의 예측을 지원한다. LCU 의 사이즈는 신택스 정보에 의해 정의될 수도 있다. 특정 CU 의 사이즈가 2Nx2N 이라고 가정하면, 2Nx2N 또는 NxN 의 사이즈들에서의 인트라-예측이 지원되고, 2Nx2N, 2NxN, Nx2N 또는 NxN 의 대칭 사이즈들에서의 인터-예측이 지원된다.

본 개시물에서, "NxN" 및 "N 바이 N" 은 수직 및 수평 디멘전들에 대한 블록 (예컨대, CU, PU 또는 TU) 의 픽셀 디멘전, 예컨대, 16x16 픽셀들 또는 16 바이 16 픽셀들을 지칭하는 데 상호 교환 가능하게 사용될 수도 있다. 일반적으로, 16x16 블록은 수직 방향 (y=16) 으로 16 개의 픽셀들을 가질 것이고, 수평 방향 (x=16) 으로 16 개의 픽셀들을 가질 것이다. 마찬가지로, NxN 블록은 일반적으로 수직 방향으로 N 개의 픽셀들을 갖고, 수평 방향으로 N 개의 픽셀들을 가지며, 여기서 N 은 음이 아닌 정수 값을 나타낸다. 블록 내의 픽셀들은 로우들 및 컬럼들로 배열될 수도 있다. 또한, 블록들은 수평 방향에서도 반드시 수직 방향에서와 동일한 수의 픽셀들을 가져야 하는 것은 아니다. 예를 들어, 블록들은 NxM 픽셀들을 포함할 수도 있으며, 여기서 M 은 반드시 N 과 동일한 것은 아니다.

CU 의 PUs 은 공간 도메인 (픽셀 도메인이라고도 지칭됨) 에 픽셀 데이터를 포함할 수도 있지만, CU 의 TUs 는, 예컨대 이산 코사인 변환 (DCT), 정수 변환, 웨이블릿 변환, 또는 잔여 비디오 데이터에 대한 개념적으로 유사한 변환과 같은 변환의 적용 후, 변환 도메인에 계수들을 포함할 수도 있다. 잔여 데이터는 일반적으로 PU 의 값들과 입력 비디오 데이터로부터의 연이은 인코딩되지 않은 픽셀들의 값들 사이의 픽셀 차이들을 나타낸다. TUs 는 변환 도메인에서 양자화된 값들을 포함할 수도 있다. DCT 가 TU 의 계수들을 변환하는 데 사용될 때, TU 의 계수들은 주파수 도메인에 있는 것으로 여겨질 수도 있다.

비디오 인코더 (20) 는 코딩 유닛에 대한 스캔 순서를 명시적으로 시그널링할지를 결정하도록 본 개시물의 기법들 중 임의의 것 또는 모두를 구현할 수도 있다. 마찬가지로, 비디오 디코더 (30) 는 디폴트 스캔 순서가 아닌 특정 스캔 순서가 변환 계수들을 스캔하는 데 사용되었는지를 판정하도록 본 개시물의 기법들 중 임의의 것 또는 모두를 구현할 수도 있다.

비디오 인코더 (20) 는 LCU 를 수신할 수도 있고, 서브-CU 를 각각 포함하는 4 개의 4 분면들로 그 LCU 를 분할할지를 결정할 수도 있고, 또는 분할하지 않고 LCU 를 인코딩할지를 결정할 수도 있다. LCU 를 서브-CUs 로 분할하는 결정에 이어서, 비디오 인코더 (20) 는 서브-CU 를 각각 포함하는 4 개의 사분면들로 각각의 서브-CU 를 분할할지를 결정할 수도 있다. 비디오 인코더 (20) 는 CU 를 분할할지를 재귀적으로 계속해서 결정할 수도 있으며, 최대 분할 개수는 LCU 깊이로 나타내진다. 비디오 인코더 (20) 는 LCU 의 분할 및 LCU 의 서브-CUs 를 나타내는 쿼드트리 데이터 구조를 제공할 수도 있다. LCU 는 쿼드트리의 루트 노드에 대응할 수도 있다. 쿼드트리의 각각의 노드는 LCU 의 CU 에 대응할 수도 있다. 또한, 각각의 노드는 대응하는 CU 가 분할되는지를 나타내는 분할 플래그 값을 포함할 수도 있다.

LCU 가 분할되면, 예를 들어, 비디오 인코더 (20) 는 LCU 가 분할됨을 나타내는 분할 플래그의 값을 루트 노드에 설정할 수도 있다. 그후, 비디오 인코더 (20) 는, 분할되는 LCU 의 서브-CUs 를, 존재한다면, 나타내도록 루트 노드의 차일드 노드들의 값들을 설정할 수도 있다. 분할되지 않은 CU 는 쿼드트리 데이터 구조의 잎 노드에 대응할 수도 있고, 여기서 잎 노드는 어떠한 차일드 노드들도 갖지 않는다.

비디오 인코더 (20) 는 쿼드트리 데이터 구조에서 잎 노드에 대응하는 LCU 의 각각의 서브-CU 를 인코딩할 수도 있다. 예시를 위해, 본 개시물은 인트라-예측 인코딩에 대한 기법들을 설명한다. 따라서, 이러한 전제 하에, 비디오 인코더 (20) 는 쿼드트리 데이터 구조에서 잎 노드에 대응하는 각각의 CU 에 대한 예측 유닛들 (PUs) 을 형성할 수도 있다. 몇몇 예들에서, 비디오 인코더 (20) 는 LCU 에 대한 35 개의 상이한 인트라-예측 모드들 중 하나를 선택할 수도 있고, 쿼드트리의 루트 노드에서 그 선택된 인트라-예측 모드를 시그널링할 수도 있다. 그 후, 잎 노드에 대응하는 각각의 CU 에 대해, 비디오 인코더 (20) 는 CU 와 동일한 사이즈를 갖는 하나의 PU 를 형성할지 또는 CU 의 4 분면들을 나타내는 4 개의 PUs 를 형성할지를 결정할 수도 있다. 각각의 PU 는 선택된 인트라-예측 모드에 따라서 인근의 이전에 코딩된 CUs 로부터 취출된 예측 데이터에 대응한다.

CU 에 대한 PU 를 생성하는 인트라-예측 또는 인터-예측 코딩에 이어서, 비디오 인코더 (20) 는 잔여 데이터를 계산하여 잔여 값들을 생성할 수도 있으며, 그 후에 CU 에 대한 하나 이상의 변환 유닛들 (TUs) 에 변환을 적용할 수도 있다. 잔여 데이터는 CU 의 PU 의 인코딩되지 않은 화상 및 예측 값들의 픽셀들 사이의 픽셀 차이들에 대응할 수도 있다. 비디오 인코더 (20) 는 CU 에 대한 잔여 데이터를 포함하는 하나 이상의 TUs 를 형성할 수도 있다. 그 후, 비디오 인코더 (20) 는 TUs 를 변환할 수도 있다. 비디오 인코더 (20) 는 CU 에 대한 PU 를 인트라-모드 예측하는 데 사용되는 인트라-예측 모드에 기초하여 변환을 선택할 수도 있다. 몇몇 예들에서, 비디오 인코더 (20) 는 하나를 초과하는 변환을 TU 에 적용하도록, 즉 캐스케이드된 변환을 적용하도록 구성될 수도 있다.

TU 에 대한 잔여 데이터를 변환함으로써, 비디오 인코더 (20) 는 변환 계수들의 매트릭스를 생성한다. 이 매트릭스는 일반적으로 변환에 대한 입력 블록과 동일한 사이즈를 갖는다. 일반적으로, 변환은 수학적 변환을 이용하여 잔여 데이터를 변환한다. 변환은 일반적으로 데이터를 더 압축하는 양자화가 뒤따른다. 양자화는 일반적으로 변환 계수들이 계수들을 나타내는 데 사용되는 데이터의 양을 가능한 대로 감소시키도록 양자화되는 프로세스를 지칭한다. 양자화 프로세스는 계수들 중 일부 또는 모두와 관련된 비트 깊이를 감소시킬 수도 있다. 예를 들어, n-비트 값은 양자화 동안 m-비트 값으로 끝수버림 (round down) 될 있으며, 여기서 n 은 m 보다 크다.

몇몇 예들에서, 비디오 인코더 (20) 는, 사전 정의된 스캔 순서를 이용하여, 양자화된 변환 계수들을 스캔함으로써, 엔트로피 인코딩될 수 있는 벡터를 생성할 수도 있다. 즉, 비디오 인코더 (20) 는, 지그-재그 스캔 순서와 같은 사전 정의된 스캔 순서를 이용하여, 양자화된 변환 계수들을 직렬화할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 적응적 스캔을 수행할 수도 있다. 적응적 스캔을 수행하기 위해, 비디오 인코더 (20) 는 변환 계수들의 매트릭스 내의 특정 위치가 유효 (예컨대, 비제로) 할 가능성이 많은지 또는 적은지를 나타내는 통계를 트래킹할 수도 있다. 비디오 인코더 (20) 는 스캔 패턴이 이들 통계적 우도들에 대응하도록 시간에 따라서 스캔 패턴을 적응시킬 수도 있다. 즉, 적응적 스캔 패턴은, 상대적으로 더 높은 확률을 갖는 유효한 (예컨대, 비제로인) 변환 계수들이 상대적으로 더 낮은 확률을 갖는 유효한 변환 계수들에 앞서 스캔되는 것을 보장하고자 할 수도 있다.

본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는, 인코딩되는 비디오 데이터의 블록과 관련된 변환 유닛 (TU) 의 사이즈에 따라서 결정될 수도 있는 직렬화되는 변환 계수들의 수에 기초하여 특정 스캔 순서를 생성하고 시그널링할지를 결정할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 오로지 TU 의 사이즈가 미리 정해진 임계 사이즈를 초과할 때에만 특정 스캔 순서를 시그널링할 수도 있다. 일 예에서, 비디오 인코더는 TU 의 사이즈가 변환 계수들의 8x8 매트릭스를 초과할 때에만 특정 스캔 순서를 생성하고 시그널링할 수도 있지만, 다른 사이즈들 (예컨대, 4x4 매트릭스, 16x16 매트릭스 등) 이 또한 사용될 수도 있다.

몇몇 예들에서, TU 가 사이즈 임계치를 초과하면, 비디오 인코더 (20) 는 디폴트의 또는 미리 정해진 스캔 순서 이외의 스캔 순서를 적용하고 시그널링할 수도 있다. 즉, 일 예에서, 비디오 인코더 (20) 는 적응적 스캔 순서를 적용할 수도 있고, 그 적응적 스캔 순서를 비디오 디코더 (30) 에 시그널링할 수도 있다. 다른 예에서, 비디오 인코더 (20) 는 1 개를 초과하는 프로그래밍된 스캔 순서를 테스트할 수도 있고, 가장 효율적인 스캔 순서, 예컨대 변환 계수들의 직렬화된 어레이의 전방을 향해 가장 유효한 변환 계수들을 패킹하고 및/또는 제로 값의 변환 계수들의 런 (run) 들을 생성하는 스캔 순서를 선택할 수도 있다. 스캔 순서를 선택한 후, 비디오 인코더 (20) 는 선택된 스캔 순서를 비디오 디코더 (30) 에 시그널링할 수도 있다.

TU 가 사이즈 임계치를 초과하지 않으면, 비디오 인코더 (20) 는 사전 정의된 스캔 순서를 사용할 수도 있다. 또한, 이 경우에 있어서, 비디오 인코더 (20) 는 스캔 순서를 시그널링하지 않을 수도 있다. 비디오 디코더 (30) 는, 더 상세히 후술하는 바와 같이, 동일한 사전 정의된 스캔 순서를 적용하도록 구성될 수도 있다.

본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는 또한 직렬화되는 유효 계수들의 수에 기초하여 또는 TU 와 관련된 최종 유효 계수 플래그의 위치를 판정함으로써 특정 스캔 순서를 생성하고 시그널링할지를 결정할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 미리 정해진 임계 위치보다 더 큰 최종 유효 계수를 갖는 TU 에 대해서만 스캔 순서를 생성하고 명시적으로 시그널링할 수도 있다. TU 가 하나 이상의 유효 변환 계수들, 즉 비제로의 변환 계수들을 미리 정해진 임계 위치보다 큰 위치에서 갖지 않는다면, 비디오 인코더는, TU와 관련된 변환 계수들을 스캔할 때, 미리 정해진 또는 디폴트의 스캔 순서를 사용할 수도 있다. 이 예에서, 비디오 인코더는 미리 정해진 스캔 순서를 비디오 디코더 (30) 에 시그널링하지 않을 수도 있다.

특정 스캔 순서를 시그널링할 때, 비디오 인코더 (20) 는 스캔 순서를 명시적으로 시그널링함으로써 스캔 순서를 나타낼 수도 있다. 즉, 비디오 인코더 (20) 는 스캔 순서를 정의하는 하나 이상의 신택스 엘리먼트들을 비트스트림 내에 포함할 수도 있다. 다른 예에서, 비디오 인코더 (20) 는 인덱스 값을 사용하여 특정 스캔 순서를 나타낼 수도 있다. 즉, 비디오 인코더 (20) 는 스캔 순서들의 사전 정의된 테이블 (예컨대, 스캔 순서들의 룩업 테이블) 에서 특정 스캔 순서를 식별하는 인덱스 값을 비트스트림에서 제공할 수도 있다. 이 예에서, 비디오 디코더 (30) 는 스캔 순서들의 유사한 테이블을 포함할 수도 있어, 비디오 디코더 (30) 가 인덱스를 수신할 시에 특정 스캔 순서를 선택하게 할 수도 있다.

몇몇 예들에서, 적응적 스캔을 사용하든 또는 미리 정해진 스캔을 사용하든, 비디오 인코더 (20) 는 스캔에 이어서 어레이 내의 계수들을 제로화할 수도 있다. 즉, 비디오 인코더 (20) 는 어레이의 위치들 N 내지 종단부에서의 계수들에 대한 값들을 제로와 동일하게 설정할 수도 있다. N 의 값은 CU 의 사이즈 및/또는 TU 의 사이즈와 관련될 수도 있다. 몇몇 예들에서, 비디오 인코더 (20) 는 스캔되기 전에 매트릭스 내의 몇몇 변환 계수들, 예컨대 매트릭스의 상부 좌측 코너의 계수들을 제외한 매트릭스 내의 모든 계수들을 제로화할 수도 있다.

변환 매트릭스를 스캔하여 1 차원 벡터를 형성한 후, 비디오 인코더 (20) 는, 예컨대 콘텐츠 적응적 가변 길이 코딩 (CAVLC), 콘텍스트 적응적 이진 산술 코딩 (CABAC), 신택스 기반 콘텍스트 적응적 이진 산술 코딩 (SBAC), 또는 다른 엔트로피 코딩 방법에 따라서, 1 차원 벡터를 엔트로피 인코딩할 수도 있다.

CAVLC 를 수행하기 위해, 비디오 인코더 (20) 는 송신될 심볼에 대한 가변 길이 코드를 선택할 수도 있다. VLC 내의 코드워드들은, 상대적으로 더 짧은 코드들이 심볼들에 대응할 가능성이 높고, 그 반면에 더 긴 코드들이 심볼들에 대응할 가능성이 적도록 구성될 수도 있다. 이 방식으로, VLC 의 사용은, 예를 들어 송신될 각각의 심볼에 대한 동일 길이 코드워드들 (equal-length codewords) 을 사용하는 것 이상으로 비트 절감을 달성할 수도 있다.

CABAC 를 수행하기 위해, 비디오 인코더 (20) 는 송신될 심볼들을 인코딩하도록 특정 콘텍스트에 적용할 콘텍스트 모델을 선택할 수도 있다. 콘텍스트는, 예를 들어 인근 값들이 비제로인지 아닌지에 관한 것일 수도 있다. 비디오 인코더 (20) 는 또한 적응적 스캔을 수행할 때 생성되는 최종 계수 플래그 및 유효 계수 플래그와 같은 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다.

본 개시물의 기법들에 따르면, (예컨대, 변환 계수들이 임계치를 초과하는 경우) 비디오 인코더 (20) 가 특정 스캔 순서를 식별할 때, 비디오 인코더 (20) 는 그 스캔 순서를 엔트로피 인코딩할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 인근 CUs 의 콘텍스트 정보 또는 현재 인코딩되고 있는 CU 의 코딩 정보로부터의 콘텍스트 정보 (예컨대, 예측 모드/방향, 예측 유닛 사이즈, 비제로 계수들의 수 등) 에 의존하는 산술 코딩 방법들 및/또는 콘텍스트 기반 가변 길이 코드 (VLC) 테이블들을 사용하여 스캔 순서를 시그널링할 수도 있다.

비디오 디코더 (30) 는, 인코딩된 PU 및 TU 데이터를 포함하는, 인코딩된 CU 를 나타내는 엔트로피 인코딩된 데이터를 수신할 수도 있다. 비디오 디코더 (30) 는, 인코딩된 양자화 계수들을 형성하는, 수신된 데이터를 역 엔트로피 인코딩할 수도 있다. 비디오 인코더 (20) 가 가변 길이 코드 알고리즘을 이용하여 데이터를 엔트로피 인코딩할 때, 비디오 디코더 (30) 는, 하나 이상의 VLC 테이블들을 사용하여, 수신된 코드워드에 대응하는 심볼을 결정할 수도 있다. 비디오 인코더 (20) 가 산술 코딩 알고리즘을 이용하여 데이터를 엔트로피 인코딩할 때, 비디오 디코더 (30) 는, 비디오 인코더 (20) 에 의해 데이터를 인코딩하는 데 사용된 동일한 콘텍스트 모델에 대응할 수도 있는 콘텍스트 모델을 사용하여 데이터를 디코딩할 수도 있다.

그 후, 비디오 디코더 (30) 는, 비디오 인코더 (20) 에 의해 사용된 스캔을 미러링하는 역스캔을 이용하여, 디코딩된 계수들을 역스캔할 수도 있다. 계수들을 적응적으로 역스캔하기 위해, 비디오 디코더 (30) 는 유효 계수 플래그들 및 최종 계수 플래그들을 포함하는 신택스 엘리먼트들을 디코딩할 수도 있다. 이 방식으로, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 적응적 스캔을 수행하는 데 사용되는 통계를 재생성할 수도 있다. 비디오 디코더 (30) 는 그에 의해 엔트로피 디코딩 프로세스로부터 생성된 1 차원 벡터로부터 2 차원 매트릭스를 형성할 수도 있다.

본 개시물의 양태들에 따르면, 비디오 디코더 (30) 는 미리 정해진 디폴트 역스캔 순서 (예컨대, 비디오 인코더 (20) 에 의해 적용된 미리 정해진 스캔 순서에 대칭임) 를 적용하거나 또는 비디오 인코더 (20) 에 의해 시그널링된 역스캔 순서를 적용하도록 구성될 수도 있다. 즉, 비디오 디코더 (30) 는, 비디오 인코더 (20) 에 의해 시그널링된 것인 경우, 특정 역스캔 순서를 이용할 수도 있지만, 스캔 순서가 비디오 인코더 (20) 에 의해 시그널링되지 않은 경우에는 사전 정의된 디폴트 스캔 순서를 사용할 수도 있다.

몇몇 예들에서, 특정 역스캔 순서를 디코딩하고 적용할지를 결정하기 위해, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 적용되는 동일한 스캔 순서 시그널링 규제들을 적용할 수도 있다. 즉, 비디오 디코더 (30) 는 스캔되는 변환 계수들의 수에 기초하여 특정 역스캔 순서를 식별하고 (예컨대, 특정 스캔 순서가 적용되었음의 표시를 식별하고) 적용할지를 결정할 수도 있다.

예를 들어, 본 개시물의 양태들에 따르면, 비디오 디코더 (30) 는 현재 디코딩되고 있는 블록과 관련된 TU 가 특정 사이즈를 초과할 때에만 특정 스캔 순서를 식별할 수도 있다. 다른 예에서, 비디오 디코더 (30) 는 현재 디코딩되고 있는 TU 의 유효 변환 계수들의 수가 미리 정해진 임계치를 초과할 때에만 특정 스캔 순서를 식별할 수도 있다. 또 다른 예에서, 비디오 디코더 (30) 는 현재 디코딩되고 있는 TU 의 최종 유효 계수의 상대적 위치가 미리 정해진 임계 위치를 초과할 때에만 특정 스캔 순서를 식별할 수도 있다. 이러한 예들에서, 비디오 디코더 (30) 가 특정 스캔 순서 (예컨대, 비디오 인코더에 의해 시그널링된 스캔 순서) 를 식별하지 않으면, 비디오 디코더 (30) 는 다시 프로그래밍된 디폴트 스캔 순서를 적용하여 변환 계수들을 스캔할 수도 있다.

다음, 비디오 디코더 (30) 는 역스캔에 의해 생성된 2 차원 매트릭스 내의 계수들을 역양자화할 수도 있다. 그 후, 비디오 디코더 (30) 는 하나 이상의 역변환들을 2 차원 매트릭스에 적용할 수도 있다. 역변환들은 비디오 인코더 (20) 에 의해 적용되는 변환들에 대응할 수도 있다. 비디오 디코더 (30) 는, 예를 들어 PU 를 형성하는 데 사용되는 인트라-예측 모드에 기초하여, 그리고 다수의 변환들이 특정 사이즈의 TU 에 대해 사용 가능한 경우, 현재 디코딩되고 있는 CU 에 대응하는 쿼드트리의 루트에서 시그널링된 정보에 기초하여, 적용할 역변환들을 결정할 수도 있다.

비디오 인코더 (20) 및 비디오 디코더 (30) 각각은, 적용 가능한 바대로, 하나 이상의 마이크로프로세서들, 디지털 신호 프로세서들 (DSPs), 주문형 반도체들 (ASICs), 필드 프로그래밍가능 게이트 어레이들 (FPGAs), 이산 로직 회로, 소프트웨어, 하드웨어, 펌웨어, 또는 이들의 임의의 조합들과 같은 다양한 적합한 인코더 및 디코더 회로 중 임의의 것으로서 구현될 수도 있다. 비디오 인코더 (20) 및 비디오 디코더 (30) 의 각각은 하나 이상의 인코더들 또는 디코더들에 포함될 수도 있으며, 이들 어느 것이든 결합형 비디오 인코더/디코더 (코덱) 의 일부로서 통합될 수도 있다. 비디오 인코더 (20) 및/또는 비디오 디코더 (30) 를 포함하는 장치는 집적회로, 마이크로프로세서, 및/또는 셀룰러 폰과 같은 무선 통신 디바이스를 포함할 수도 있다.

도 2 는 본 개시물에서 설명되는 코딩 유닛에 대한 스캔 순서를 명시적으로 시그널링할지를 결정하는 기법들 중 임의의 것 또는 모두를 구현할 수도 있는 비디오 인코더 (20) 의 일 예를 예시한 블록도이다. 비디오 인코더 (20) 는 비디오 프레임들 내에서 CUs 의 인트라- 및 인터-코딩을 수행할 수도 있다. 인트라-코딩은 주어진 비디오 프레임 내에서 비디오의 공간 리던던시를 감소시키거나 제거하도록 공간 예측에 의존한다. 인터-코딩은 비디오 시퀀스의 현재 프레임과 이전에 코딩된 프레임들 사이의 시간 리던던시를 감소시키거나 제거하도록 시간 예측에 의존한다. 인트라-모드 (I-모드) 는 여러 공간 기반 압축 모드들 중 임의의 것을 지칭할 수도 있으며, 단방향 예측 (P-모드) 또는 양방향 예측 (B-모드) 와 같은 인터-모드들은 여러 시간 기반 압축 모드들 중 임의의 것을 지칭할 수도 있다.

도 2 에 도시된 바와 같이, 비디오 인코더 (20) 는 인코딩될 비디오 프레임 내의 현재 비디오 블록을 수신한다. 도 2 의 예에서, 비디오 인코더 (20) 는 모션 보상 유닛 (44), 모션 추정 유닛 (42), 인트라-예측 유닛 (46), 기준 프레임 저장소 (64), 합산기 (50), 변환 유닛 (52), 양자화 유닛 (54), 계수 스캐닝 유닛 (55), 및 엔트로피 코딩 유닛 (56) 을 포함한다. 도 2 에 예시된 변환 유닛 (52) 은, CU 의 TU 와 혼동되지 않는, 실제 변환을 수행하는 유닛이다. 비디오 블록 재구성에 대해, 비디오 인코더 (20) 는 또한 역양자화 유닛 (58), 역변환 유닛 (60), 및 합산기 (62) 를 포함한다. 디블로킹 필터 (도 2 에는 비도시) 는, 또한, 블록 경계들을 필터링하여, 재구성된 비디오로부터 블록화현상 아티팩트들 (blockiness artifacts) 을 제거하도록 포함될 수도 있다. 원한다면, 디블로킹 필터는 합산기 (62) 의 출력을 통상적으로 필터링할 것이다.

인코딩 프로세스 동안, 비디오 인코더 (20) 는 코딩되는 비디오 프레임 또는 슬라이스를 수신한다. 프레임 또는 슬라이스는 다수의 비디오 블록들, 예컨대 최대 코딩 유닛들 (LCUs) 로 분할될 수도 있다. 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 하나 이상의 기준 프레임들 내의 하나 이상의 블록들에 대한 수신된 비디오 블록의 인터-예측 코딩을 수행하여, 시간 압축을 제공할 수도 있다. 인트라-예측 유닛 (46) 은 코딩되는 블록과 동일한 프레임 또는 슬라이스 내의 하나 이상의 인근 블록들에 대한 수신된 비디오 블록의 인트라-예측 코딩을 수행하여 공간 압축을 수행할 수도 있다.

모드 선택 유닛 (40) 은, 예컨대 에러 결과들 또는 레이트-왜곡 계산에 기초하여, 코딩 모드들 중 하나, 즉 인트라 또는 인터 코딩 모드를 선택할 수도 있으며, 생성된 인트라- 또는 인터-코딩된 블록을, 잔여 블록 데이터를 생성하도록 합산기 (50) 에 제공하고 기준 프레임에서 사용되는 인코딩된 블록을 재구성하도록 합산기 (62) 에 제공할 수도 있다. 몇몇 비디오 프레임들은 I-프레임들이 지정될 수도 있으며, 이 경우 I-프레임 내의 모든 블록들은 인트라-예측 모드에서 인코딩된다. 몇몇 경우들에 있어서, 인트라-예측 유닛 (46) 은, 예컨대 모션 추정 유닛 (42) 에 의해 수행되는 모션 검색이 블록의 충분한 예측을 초래하지 않을 때, P- 또는 B-프레임 내의 블록의 인트라-예측 인코딩을 수행할 수도 있다.

모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은 고도로 통합될 수도 있지만, 개념적인 목적을 위해 분리되어 예시된다. 모션 추정은, 비디오 블록들의 모션을 추정하는, 모션 벡터들을 생성하는 프로세스이다. 모션 벡터는, 예를 들어 기준 프레임의 참조 샘플에 대한 현재 프레임 내의 예측 유닛의 변위를 나타낼 수도 있다. 참조 샘플은, 절대 차분 합 (sum of absolute difference: SAD), 제곱 차분 합 (sum of square difference: SSD), 또는 다른 차이 메트릭들에 의해 결정될 수도 있는 픽셀 차이와 관련하여 코딩되는 PU 를 포함하는 CU 의 일부와 가깝게 매칭하는 것으로 발견된 블록이다. 모션 보상 유닛 (44) 에 의해 수행되는 모션 보상은, 모션 추정에 의해 결정된 모션 벡터에 기초하여 예측 유닛에 대한 값들을 페치 (fetch) 하거나 생성하는 것을 수반할 수도 있다. 또한, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 은, 몇몇 예들에서, 기능적으로 통합될 수도 있다.

모션 추정 유닛 (42) 은 기준 프레임 저장소 (64) 에 저장된 기준 프레임의 참조 샘블들에 대해 예측 유닛을 비교함으로써 인터-코딩된 프레임의 예측 유닛에 대한 모션 벡터를 계산한다. 몇몇 예들에서, 비디오 인코더 (20) 는 기준 프레임 저장소 (64) 에 저장된 기준 프레임들의 서브-정수 픽셀 위치들에 대한 값들을 계산할 수도 있다. 예를 들어, 비디오 인코더 (20) 는 기준 프레임의 1/4 픽셀 위치들, 1/8 픽셀 위치들, 또는 다른 분수 픽셀 위치들의 값들을 계산할 수도 있다. 따라서, 모션 추정 유닛 (42) 은 전 픽셀 위치들 및 분수 픽셀 위치들에 대해 모션 검색을 수행할 수도 있고, 분수 픽셀 정밀도를 갖는 모션 벡터를 출력할 수도 있다. 모션 추정 유닛 (42) 은 계산된 모션 벡터를 엔트로피 코딩 유닛 (56) 및 모션 보상 유닛 (44) 에 전송한다. 모션 벡터에 의해 식별된 기준 프레임의 부분은 참조 샘플이라고 지칭될 수도 있다. 모션 보상 유닛 (44) 은, 예컨대 PU 에 대한 모션 벡터에 의해 식별된 참조 샘플을 취출함으로써, 현재 CU 의 예측 유닛에 대한 예측 값을 계산할 수도 있다.

인트라-예측 유닛 (46) 은, 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 수행되는 인터-예측에 대한 대안으로서, 수신된 블록을 인트라-예측 인코딩할 수도 있다. 인트라-예측 유닛 (46) 은 인근의 이전에 코딩된 블록들, 예컨대 블록들에 대해 좌-우, 상-하의 인코딩 순서를 상정하면, 현재 블록의 위쪽, 위쪽 우측, 위쪽 좌측, 또는 좌측의 블록들에 대해 수신된 블록을 인코딩할 수도 있다. 인트라-예측 유닛 (46) 은 다양한 상이한 인트라-예측 모드들로 구성될 수도 있다. 예를 들어, 인트라-예측 유닛 (46) 은, 인코딩되는 CU 의 사이즈에 기초하여, 특정 수의 방향 예측 모드들, 예컨대 35 개의 방향 예측 모드들로 구성될 수도 있다.

인트라-예측 유닛 (46) 은, 예를 들어 다양한 인트라-예측 모드들에 대한 에러 값들 또는 레이트-왜곡을 계산함으로써 (예컨대, 미리 정해진 왜곡을 초과하지 않고 압축을 최대화하고자 시도함으로써) 그리고 최저 에러 값을 안출하는 모드를 선택함으로써 인트라-예측 모드를 선택할 수도 있다. 방향 예측 모드들은 공간적 인근 픽셀들의 값들을 조합하고 그 조합된 값들을 PU 내의 하나 이상의 픽셀 위치들에 적용하는 기능들을 포함할 수도 있다. 일단 PU 내의 모든 픽셀 위치들에 대한 값들이 계산되었으면, 인트라-예측 유닛 (46) 은 PU 와 인코딩되는 수신된 블록 사이의 픽셀 차이들에 기초하여 예측 모드에 대한 에러 값을 계산할 수도 있다. 인트라-예측 유닛 (46) 은 허용 가능한 에러 값을 안출하는 인트라-예측 모드가 발견될 때까지 인트라-예측 모드들을 계속해서 테스트할 수도 있다. 그 후, 인트라-예측 유닛 (46) 은 PU 를 합산기 (50) 에 전송할 수도 있다.

비디오 인코더 (20) 는 모션 보상 유닛 (44) 또는 인트라-예측 유닛 (46) 에 의해 계산된 예측 데이터를 코딩되는 오리지널 비디오 블록으로부터 감산함으로써 잔여 블록을 형성한다. 합산기 (50) 는 이 감산 연산을 수행하는 콤포넌트 또는 콤포넌트들을 나타낸다. 잔여 블록은 값들의 2 차원 매트릭스에 대응할 수도 있으며, 여기서 잔여 블록에서의 값들의 수는 잔여 블록에 대응하는 PU 내의 픽셀들의 수와 동일하다. 잔여 블록에서의 값들은 PU 내에서와 코딩되는 오리지널 블록 내에서의 연이은 픽셀들 사이의 차이들에 대응할 수도 있다.

변환 유닛 (52) 은 잔여 블록으로부터 하나 이상의 변환 유닛 (TUs) 을 형성할 수도 있다. 변환 유닛 (52) 은 이산 코사인 변환 (DCT), 방향성 변환, 또는 개념적으로 유사한 변환과 같은 변환을 TU 에 적용하여, 변환 계수들을 포함하는 비디오 블록을 생성한다. 따라서, 변환 유닛 (52) 은 인트라-예측 유닛 (46) 으로부터 수신된 인트라-예측 모드의 표시에 기초하여 TU 에 적용할 변환을 선택할 수도 있다.

변환 유닛 (52) 은 생성된 변환 계수들을 양자화 유닛 (54) 에 전송할 수도 있다. 그 후, 양자화 유닛 (54) 은 변환 계수들을 양자화할 수도 있다. 전술한 바와 같이, 양자화는 일반적으로 상대적으로 넓은 범위 내의 값들을 상대적으로 작은 범위 내의 값들에 맵핑하여, 양자화된 변환 계수들을 나타내는 데 필요한 데이터의 양을 감소시키는 것을 수반한다. 몇몇 경우들에 있어서, 양자화는 몇몇 값들을 제로로 감소시킬 수도 있다.

양자화에 이어서, 계수 스캐닝 유닛 (55) 은 양자화된 변환 계수들을 스캔하여, 양자화된 변환 계수들을 2 차원 매트릭스로부터 1 차원 어레이로 직렬화할 수도 있다. 일반적으로, 계수 스캐닝 유닛 (55) 은, 지그-재그 패턴 (도 4 와 관련하여 도시되고 설명됨) 과 같은 고정된 사전 정의된 스캔 패턴을 적용하여, 양자화된 계수들을 스캔할 수도 있다. 다른 예들에서, 계수 스캐닝 유닛 (55) 은 선택된 인트라-예측 모드의 표시를 인트라-예측 유닛 (46) 으로부터 또는 변환 유닛 (52) 으로부터 수신할 수도 있으며, 인트라-예측 모드에 기초하여 스캔 패턴을 적용할 수도 있다. 계수 스캐닝 유닛 (55) 은 또한, 예를 들어 TU 에 적용되는 변환의 타입 (예컨대, DCT 또는 KLT) 및/또는 블록 타입 (인터 또는 인트라) 과 같은 현재 TU 의 다양한 특성들에 기초하여 특정 스캔을 선택하고 적용할 수도 있다. 또 다른 예들에서, 계수 스캐닝 유닛 (55) 은 특정 스캔 순서를 다수의 스캔 순서들로부터 선택할 수도 있다. 즉, 예를 들어, 계수 스캐닝 유닛 (55) 은 엔트로피 코딩 효율을 증가시킬 최대 잠재력을 갖는 스캔 순서 (예컨대, 어레이의 전방을 향해 변환 계수들을 패킹하는 스캔 순서) 를 다수의 스캔 순서들로부터 선택할 수도 있다.

다른 예에서, 계수 스캐닝 유닛 (55) 은 적응적 스캔을 수행하도록 구성될 수도 있다. 초기에 (예컨대, 현재 프레임의 첫 TU 에 대해), 계수 스캐닝 유닛 (55) 은 미리 정해진 스캔 패턴을 사용할 수도 있다. 시간이 지남에 따라, 계수 스캐닝 유닛 (55) 은 스캔 패턴을 업데이트하여 적응적 스캔을 수행할 수도 있다. 일반적으로, 적응적 스캔의 목적은 특정 변환 계수가 비제로일 확률을 결정하는 것이다. 그 후, 스캔 순서는 일반적으로 계수들이 비제로일 최고 확률로부터 비제로일 최저 확률로 진행한다. 계수 스캐닝 유닛 (55) 은 다양한 통계 및 계산을 이용하여 시간이 지남에 따라 이들 확률들을 결정할 수도 있다. 또한, 계수 스캐닝 유닛 (55) 은 각각의 인트라-예측 모드, 변환, 캐스케이드된 변환, 또는 이들의 임의의 조합에 대한 개별적인 통계를 트래킹할 수도 있다.

본 개시물의 양태들에 따르면, 계수 스캐닝 유닛 (55) 은, 인코딩되는 비디오 데이터의 블록과 관련된 변환 유닛 (TU) 의 사이즈, 유효 변환 계수들의 수, 또는 최종 유효 계수의 위치에 따라서 결정될 수도 있는, 직렬화되는 변환 계수들의 수에 기초하여 특정 스캔 순서를 생성하고 적용할지를 결정할 수도 있다. 몇몇 예들에서, 계수 스캐닝 유닛 (55) 은 특정 스캔 순서를 생성하고 적용할지를 결정하는 역할을 담당할 수도 있으며, 그 반면에 엔트로피 코딩 유닛 (56) 과 같은 비디오 인코더 (20) 의 다은 유닛은 스캔 순서를 시그널링하는 역할, 즉 비디오 디코더와 같은 다른 디바이스에 전송되는 비트스트림을 생성하는 역할을 담당할 수도 있다.

몇몇 예들에서, 계수 스캐닝 유닛 (55) 은, 양자화된 변환 계수들이 임계치를 초과할 때에만, 스캔되는 TU 의 사이즈가 미리 정해진 임계 사이즈를 초과하는지에 따라서 결정될 수도 있는 특정 스캔 순서를 생성 및/또는 적용할 수도 있다. 일 예에서, 비디오 인코더 (20) 는 TU 의 사이즈가 변환 계수들의 8x8 매트릭스를 초과할 때에만 특정 스캔 순서를 생성 및/또는 적용할 수도 있지만, 다른 사이즈들 (예컨대, 4x4 매트릭스, 16x16 매트릭스 등) 이 역시 사용될 수도 있다.

TU 가 사이즈 임계를 초과한다면, 계수 스캐닝 유닛 (55) 은 디폴트의 또는 미리 정해진 스캔 순서 이외의 다른 스캔 순서를 선택하고 적용할 수도 있다. 일 예에서, 계수 스캐닝 유닛 (55) 은, 예를 들어 TU 에 적용될 변환의 타입 (예컨대, DCT 또는 KLT), 블록 타입 (인터 또는 인트라) 및/또는 예측 모드 (인트라-예측된 블록들의 경우) 와 같은 현재 TU 의 다양한 특성들에 기초하여 스캔 순서를 선택할 수도 있다. 다른 예들에서, 계수 스캐닝 유닛 (55) 은 엔트로피 코딩 효율을 증가시킬 최대 잠재력을 갖는 스캔 패턴을 다수의 스캔 패턴들로부터 선택할 수도 있다. 계수 스캐닝 유닛 (55) 은 또한 변환 계수들을 스캔할 적응적 스캔을 개발하고 적용할 수도 있다. 특정 스캔 순서를 선택하고 적용하는 것 외에도, 계수 스캐닝 유닛 (55) 은 또한 선택된 스캔 순서를 시그널링하거나 엔트로피 코딩 유닛 (56) 과 같은 비디오 인코더 (20) 의 다른 유닛이 그 선택된 스캔 순서를 시그널링하도록 촉진할 수도 있다. 전술한 바와 같이, 스캔 순서는 사전 정의된 스캔 순서들의 룩업 테이블과 상응하는 인덱스 값을 이용하여 명시적으로 시그널링 또는 표시될 수도 있다.

대안으로, TU 가 사이즈 임계를 초과하지 않으면, 계수 스캐닝 유닛 (55) 은 디폴트의 또는 미리 정해진 스캔 순서를 적용할 수도 있다. 이 경우에 있어서, 계수 스캐닝 유닛 (55) 은 특정 스캔 순서를 시그널링할지 않을 수도 있고, 또는 엔트로피 코딩 유닛 (56) 과 같은 비디오 인코더의 다른 유닛이 특정 스캔 순서를 시그널링할 것을 촉진하지 않을 수도 있다.

다른 예에서, 계수 스캐닝 유닛 (55) 은, TU 가 유효 변환 계수들의 수를 나타낼 수도 있는 미리 정해진 임계 위치 (예컨대 8 의 임계 위치) 보다 큰 최종 유효 계수를 갖는 때에만 특정 스캔 순서를 생성 및/또는 적용할 수도 있다. TU 가 미리 정해진 임계 위치보다 큰 위치에서 하나 이상의 유효 변환 계수들을 갖지 않으면, 계수 스캐닝 유닛 (55) 은 시그널링되지 않는 디폴트의 또는 미리 정해진 스캔 순서를 적용할 수도 있다.

본 개시물의 몇몇 양태들에 따르면, 스캔 순서를 명시적으로 시그널링할지를 결정하는 것과 같은, 계수 스캐닝 유닛 (55) 에 대한 특정 기법들은 비디오 인코더 (20) 의 다른 유닛에 의해 수행될 수도 있다. 예를 들어, 다른 배열물에서, 엔트로피 코딩 유닛 (56) 또는 양자화 유닛 (54) 은 스캔 순서를 선택하고 명시적으로 시그널링할지를 결정하도록 구성될 수도 있다.

엔트로피 코딩 유닛 (56) 은 직렬화된 양자화된 변환 계수들 뿐 아니라 그 계수들에 대한 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 본 개시물의 몇몇 양태들에 따르면, 엔트로피 코딩 유닛 (56) 은 계수 스캐닝 유닛과 제휴하여 작동할 수도 있다. 즉, 예를 들어 엔트로피 코딩 유닛 (56) 은, 계수 스캐닝 유닛 (55) 이 스캔을 수행하는 동안, 직렬화된 변환 계수들 및 신택스 엘리먼트들을 엔트로피 인코딩할 수도 있다. 신택스 엘리먼트들은 특정 계수가 유효한지 (예컨대, 비제로인지) 를 나타내는 유효 계수 플래그 및 특정 계수가 적응적 스캔에서 스캔된 최종 계수인지를 나타내는 최종 계수 플래그를 포함할 수도 있다. 비디오 디코더는 이들 신택스 엘리먼트들을 사용하여, 엔트로피 코딩 유닛 (56) 에 의해 인코딩된 계수들을 역스캔할 수도 있다. 몇몇 예들에서, 비디오 디코더는 동적으로 업데이트하는 스캔 테이블을 재구성하는 데 신택스 엘리먼트들을 사용하여, 비디오 디코더가 엔트로피 코딩 유닛 (56) 에 의해 인코딩된 계수들을 역스캔할 수도 있도록 할 수도 있다.

신택스 엘리먼트들을 엔트로피 인코딩하기 위해, 엔트로피 코딩 유닛 (56) 은, 예를 들어 이전에 스캔된 N 개의 계수들에서 유효 계수들의 수에 기초하여 CABAC 를 수행하고 콘텍스트 모델들을 선택할 수도 있으며, 여기서 N 은 스캔되는 블록의 사이즈에 관련될 수도 있는 정수 값이다. 엔트로피 코딩 유닛 (56) 은 또한 변환 계수들의 블록으로 변환된 잔여 데이터를 계산하는 데 사용되는 예측 모드 및 잔여 데이터를 변환 계수들의 블록으로 변환하는 데 사용되는 변환의 타입에 기초하여 콘텍스트 모델을 선택할 수도 있다. 대응하는 예측 데이터가 인트라-예측 모드를 사용하여 예측되었을 때, 엔트로피 코딩 유닛 (56) 은 콘텍스트 모델의 선택을 인트라-예측 모드의 방향에 더 기초할 수도 있다.

본 개시물의 양태들에 따르면, 엔트로피 코딩 유닛 (56) 은 엔트로피 인코딩을 수행하여 변환 계수들의 스캔 순서를 코딩할 수도 있다. 즉, 예를 들어 엔트로피 코딩 유닛 (56) 은 현재 인코딩되고 있는 CU 의 코딩 정보로부터의 콘텍스트 정보 또는 인근 CUs 의 콘텍스트 정보 (예컨대, 예측 모드/방향, 예측 유닛 사이즈, 비제로 계수들의 수 등) 에 의존하는 산술 코딩 방법들 및/또는 콘텍스트 기반 가변 길이 코드 (VLC) 테이블들을 이용하여 스캔 순서를 시그널링할 수도 있다.

몇몇 경우들에 있어서, 엔트로피 코딩 유닛 (56) 또는 비디오 인코더 (20) 의 다른 유닛은 엔트로피 코딩에 더해 다른 코딩 기능들을 수행하도록 구성될 수도 있다. 예를 들어, 엔트로피 코딩 유닛 (56) 은 매크로블록들 및 파티션들에 대한 CBP 값들을 결정하도록 구성될 수도 있다. 또한, 몇몇 경우들에 있어서, 엔트로피 코딩 유닛 (56) 은 매크로블록 또는 이것의 파티션 내의 계수들의 런 길이 코딩을 수행할 수도 있다.

역양자화 유닛 (58) 및 역변환 유닛 (60) 은 각각 역양자화 및 영 변환을 적용하여, 예컨대 예측 코딩에 대한 기준 블록으로서의 추후사용을 위해, 픽셀 도메인에서 잔여 블록을 재구성한다. 모션 보상 유닛 (44) 은 잔여 블록을 기준 프레임 저장소 (64) 의 프레임들 중 하나의 프레임의 예측 블록에 추가함으로써 기준 블록을 계산할 수도 있다. 모션 보상 유닛 (44) 은 또한 재구성된 자여 블록에 하나 이상의 내삽 필터들을 적용하여 모션 추정에서의 사용을 위해 서브-정수 픽셀 값들을 계산할 수도 있다. 합산기 (62) 는 재구성된 잔여 블록을 모션 보상 유닛 (44) 에 의해 생성된 모션 보상된 예측 블록에 추가하여, 기준 프레임 저장소 (64) 에의 저장을 위한 재구성된 비디오 블록을 생성한다. 재구성된 비디오 블록은 모션 추정 유닛 (42) 및 모션 보상 유닛 (44) 에 의해 기준 블록으로서 사용되어 후속 비디오 프레임 내의 블록을 인터-코딩할 수도 있다.

도 3 은 인코딩된 비디오 시퀀스를 디코딩하는 비디오 디코더 (30) 의 일 예를 예시한 블록도이다. 도 3 의 예에서, 비디오 디코더 (30) 는 엔트로피 디코딩 유닛 (70), 모션 보상 유닛 (72), 인트라 예측 유닛 (74), 역양자화 유닛 (76), 역변환 유닛 (78), 기준 프레임 저장소 (82) 및 합산기 (80) 를 포함한다. 비디오 디코더 (30) 는, 몇몇 예들에서, 비디오 인코더 (20)(도 2) 에 대해 설명된 인코딩 패스에 전반적으로 상반되는 디코딩 패스를 수행할 수도 있다. 모션 보상 유닛 (72) 은 엔트로피 디코딩 유닛 (70) 으로부터 수신된 모션 벡터들에 기초하여 예측 데이터를 생성할 수도 있다. 인트라-예측 유닛 (74) 은 시그널링된 인트라-예측 모드 및 현재 프레임의 이전에 디코딩된 블록들로부터의 데이터에 기초하여 현재 프레임의 현재 블록에 대한 예측 데이터를 생성할 수도 있다.

몇몇 예들에서, 엔트로피 디코딩 유닛 (70) 또는 역양자화 유닛 (76) 은 비디오 인코더 (20) 에 의해 사용된 스캔 미러링을 이용하여, 수신된 값들을 스캔할 수도 있다. 도 3 의 예에서, 비디오 디코더 (30) 는 미리 정해진, 디폴트 역스캔 순서 (예컨대, 비디오 인코더 (20) 에 의해 적용되는 미리 정해진 스캔 순서에 대칭임) 에 적용하도록 또는 비디오 인코더 (20) 에 의해 시그널링된 스캔 순서에 기초하여 역스캔 순서를 적용하도록 구성될 수도 있다. 즉, 비디오 디코더 (30) 는, 비디오 인코더 (20) 에 의해 시그널링된 것이면, 특정 역스캔 순서를 이용할 수도 있지만, 스캔 순서가 비디오 인코더 (20) 에 의해 시그널링되지 않은 경우에는, 사전 정의된 디폴트 스캔 순서를 사용할 수도 있다.

몇몇 예들에서, 특정 역스캔 순서를 디코딩하고 적용할지를 결정하기 위해, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 의해 적용된 동일한 스캔 순서 시그널링 규제들을 적용할 수도 있다. 즉, 비디오 디코더 (30) 는 스캔되는 변환 계수들의 수에 기초하여 특정 역스캔 순서를 식별할지를 결정할 수도 있다. 몇몇 예들에서, 비디오 디코더 (30) 는 역스캔되는 변환 계수들의 수가 임계치보다 큰 경우에만 특정 역스캔 순서를 식별할 수도 있다. 즉, 예를 들어, 비디오 디코더 (30) 는 역스캔되는 변환 계수들의 수가 임계치보다 많으면 특정 스캔 순서를 식별하지만, 변환 계수들의 수가 임계치보다 작거나 같으면, 사전 정의된 디폴트 스캔 순서를 사용할 수도 있다.

비디오 인코더에 의해 시그널링된 스캔 순서를 디코딩할 때, 비디오 디코더 (30) 는 비디오 인코더 (20) 에 대칭인 방식으로 동작할 수도 있다. 예를 들어, 계수들을 적응적으로 역스캔하기 위해, 유효 계수 플래그들 및 최종 계수 플래그들을 포함하는 신택스 엘리먼트들을 디코딩하여, 비디오 인코더 (20) 에 의해 사용되어 적응적 스캔을 수행하는 데 사용되는 통계를 재생성할 수도 있다. 비디오 디코더 (30) 는 이에 의해 엔트로피 디코딩 프로세스로부터 생성된 1 차원 벡터로부터 2 차원 매트릭스를 형성할 수도 있다. 다른 예에서, 비디오 디코더 (30) 는 비디오 인코더 (20) 와 동일한 기준을 이용하여 다수의 역스캔들로부터 특정 역스캔을 선택할 수도 있다.

역양자화 유닛 (76) 은, 비트스트림에서 제공되고 엔트로피 디코딩 유닛 (70) 에 의해 디코딩된 양자화된 변환 계수들을 역양자화한다, 즉 양자화해제한다. 역양자화 프로세스는, H.264 디코딩 표준 또는 HEVC 에 의해 정의된 바와 같은, 종래의 프로세스를 포함할 수도 있다. 역양자화 프로세스는, CU 에 대해 비디오 인코더 (20) 에 의해 계산된 양자화 파라미터 QP 의 사용을 포함하여, 양자화 정도 및 마찬가지로 적용되어야 하는 역양자화 정도를 결정하도록 할 수도 있다.

역변환 유닛 (58) 은 역변환, 예컨대 역 DCT, 역 정수 변환, 역 회전 변환, 또는 역 방향 변환을 적용한다. 몇몇 예들에서, 역변환 유닛 (78) 은 수신된 인트라-예측 인코딩된 블록에 대해 시그널링된 인트라-예측 모드에 기초하여 역변환을 결정할 수도 있다. 인트라-예측 모드에 기초하여, 블록이 하나를 초과하는 변환이 가능한 사이즈의 것이면, 역변환 유닛 (78) 은 현재 블록을 포함하는 LCU 에 대한 쿼드트리의 루트 노드에서 시그널링된 변환에 기초하여 현재 블록에 적용할 변환을 결정할 수도 있다. 몇몇 예들에서, 역변환 유닛 (78) 은 캐스케이드된 역변환을 적용할 수도 있는데, 예컨대 먼저 역 회전 변환을 적용하고, 이어서 역 방향 변환을 적용할 수도 있다.

모션 보상 유닛 (72) 은 모션 보상된 블록들을 생성하여, 가능하게는 내삽 필터들에 기초하여 내삽을 수행한다. 서브-픽셀 정밀도로 모션 추정에 사용되는 내삽 필터들에 대한 식별자들은 신택스 엘리먼트들에 포함될 수도 있다. 모션 보상 유닛 (72) 은 비디오 블록의 인코딩 동안에 비디오 인코더 (20) 에 의해 사용된 바와 같은 내삽 필터들을 사용하여, 기준 블록의 서브-정수 픽셀들에 대한 내삽된 값들을 계산할 수도 있다. 모션 보상 유닛 (72) 은 수신된 신택스 정보에 따라서 비디오 인코더 (20) 에 의해 사용된 내삽 필터들을 판정할 수도 있으며, 그 내삽 필터들을 사용하여 예측 블록들을 생성할 수도 있다.

모션 보상 유닛 (72) 및 인트라-예측 유닛 (74) 은, 인코딩된 비디오 시퀀스의 프레임(들) 을 인코딩하는 데 사용되는 LCUs 의 사이즈들을 결정하는 신택스 정보 (예컨대, 쿼드트리에 의해 제공됨), 인코딩된 비디오 시퀀스의 프레임의 각각의 CU 가 어떻게 분할되는지 (마찬가지로, 서브-CUs 가 어떻게 분할되는지) 를 설명하는 분할 정보, 각각의 분할이 어떻게 인코딩되는지를 나타내는 모드들 (예컨대, 인트라- 또는 인터-예측, 그리고, 인트라-예측의 경우에는, 인트라-예측 인코딩 모드), 각각의 인터-인코딩된 PU 에 대한 하나 이상의 기준 프레임들 (및/또는 기준 프레임들에 대한 식별자들을 포함하는 참조 리스트들), 및 인코딩된 비디오 시퀀스를 디코딩하는 다른 정보 중 일부를 이용한다.

합산기 (80) 는 잔여 블록들을 모션 보상 유닛 (72) 또는 인트라-예측 유닛 (74) 에 의해 생성된 대응하는 예측 블록들과 결합하여 디코딩된 블록들을 형성한다. 원한다면, 디블로킹 필터가, 블록화현상 아티팩트들을 제거하도록 하기 위해, 디코딩된 블록들을 필터링하도록 역시 적용될 수도 있다. 그 후, 디코딩된 비디오 블록들은 후속 모션 보상을 위한 기준 블록들을 제공하고 또한 디스플레이 디바이스 (예컨대, 도 1 의 디스플레이 디바이스 (32)) 상에서의 프레젠테이션을 위한 디코딩된 비디오를 생성하는 기준 블록들을 제공하는 기준 프레임 저장소 (82) 에 저장된다.

도 4 는 비디오 데이터의 블록과 관련된 위치들 (120A-120P)(위치들 (120)) 의 예시적 지그-재그 스캔을 예시한 개념도이다. 몇몇 예들에서, 각각의 위치 (120) 는 관련된 변환 계수를 포함할 수도 있다. 비디오 인코더 (20) 는, 예컨대 잔여 블록에 대한 DCT 의 적용에 이어서, 도 4 의 지그-재그 스캔을 이용하여 계수들의 블록을 스캔하도록 구성될 수도 있다. 이 예에서, 지그-재그 스캔은 위치 (120A) 에서 시작하고, 그 후, 위치 (120B) 로 진행하고, 그 다음, 위치 (120E) 로 진행하고, 그 후, 위치 (120I) 로 진행하고, 그 다음, 위치 (120F) 로 진행하고, 그 후, 위치 (120C) 로 진행하고, 그 다음, 위치 (120D) 로 진행하고, 그 후, 위치 (120G) 로 진행하고, 그 다음, 위치 (120J) 로 진행하고, 그 후, 위치 (120M) 로 진행하고, 그 다음, 위치 (120N) 로 진행하고, 그 후, 위치 (120K) 로 진행하고, 그 다음, 위치 (120H) 로 진행하고, 그 후, 위치 (120L) 로 진행하고, 그 다음, 위치 (120O) 로 진행하고, 그리고 마지막으로, 위치 (120P) 로 진행한다.

이 스캔을 수행함으로써, 변환 계수들의 2 차원 배열은 위치들 (120) 의 각각에 대한 값들을 포함하는 1 차원 어레이로 변환될 수도 있다. 이들 값들은 스캔의 순서로 어레이에 배열될 수도 있다. 예를 들어, 위치 (120A) 에 대한 값이 어레이에서 처음에 있을 수도 있고, 그 뒤에 위치들 (120B, 120E, 120I, 120F 등) 에 대한 값들이 올 수도 있다.

도 4 의 지그-재그 스캔은 변환 계수들을 형성하도록 잔여 블록에 적용되는 DCT 와 관련될 수도 있다. 일반적으로, DCT 는 위치들 (120) 의 에너지를 변환된 블록의 상측-좌측 코너에 컴팩트화한다. 따라서, 최저 주파수 계수들은 일반적으로 DCT 다음에는 우측-좌측 코너에 가깝게 발생할 수도 있고, 그 반면에 최고 주파수 계수들은 일반적으로 DCT 다음에는 하측-우측 코너에 가깝게 발생할 수도 있다. 따라서, 지그-재그 스캔은 더 낮은 주파수 계수들이 더 높은 주파수 계수들에서보다 어레이에 더 이르게 배치되는 것을 보장하려고 시도하도록 구성될 수도 있다. 이 방식으로, 비디오 인코더는 더 높은 주파수 계수들에 대응해야 하는 어레이 내의 계수들을 추후에 제로화함으로써 데이터를 압축할 수도 있다.

다른 사전 정의된 스캔 패턴들은 또한 다른 변환들에 대해 정의될 수도 있다. 예를 들어, 각각의 방향 변환은 더 높은 주파수 계수들보다 더 이르게 방향 변환으로부터 생성되는 저주파수 계수들을 어레이에 배치하도록 설계된 스캔 패턴과 관련될 수도 있다. 방향 변환들 중 하나는 더 낮은 주파수 계수들로 하여금 변환 계수들의 블록의 더 먼 좌측 컬럼을 따라서 발생하게 할 수도 있으며, 이 경우에 있어서, 위치 (120A) 에서 시작하고, 그 다음, 위치 (120E) 로, 그 후, 위치 (120I) 로, 그 다음, 위치 (120M) 로, 그 후, 위치 (120B) 등으로 진행하는 대응하는 스캔이 정의될 수도 있다. 다른 예로서, 방향 변환들 중 다른 하나는 더 낮은 주파수 계수들로 하여금 변환 계수들의 블록의 상측 로우를 따라서 발생하게 할 수도 있으며, 이 경우에 있어서, 위치 (120A) 에서 시작하고, 그 다음, 위치 (120B) 로, 그 후, 위치 (120C) 로, 그 다음, 위치 (120D) 로, 그 후, 위치 (120E) 등으로 진행하는 대응하는 스캔이 정의될 수도 있다.

몇몇 예들에서, 비디오 인코더 (20) 는 사전 정의된 스캔이 아니라 적응적 스캔을 수행하도록 구성될 수도 있다. 적응적 스캔은 특정 계수들 (즉, 위치들 (120) 에 대응하는 계수들) 이 유효한지를 나타내는 통계에 기초하여 시간이 지남에 따라 변할 수도 있다. 또한, 비디오 인코더 (20) 는, 예를 들어 블록을 예측하도록 선택된 인트라-예측 모드, 초기 변환에 이어서 적용할 회전 변환의 인덱스, 또는 다른 인자들에 기초하여 통계의 개별 세트들을 계산할 수도 있다.

본 개시물의 양태들에 따르면, 비디오 인코더 (20) 는 양자화된 변환 계수들의 수가 임계치를 초과할 때에만 특정 스캔 순서를 적용하고 시그널링할 수도 있다. 몇몇 예들에서, 양자화된 변환 계수들의 수는 스캔되는 TU 의 사이즈에 따라서 결정될 수도 있다. 예를 들어, 스캔되는 양자화된 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않으면, 비디오 인코더 (20) 는 도 4 에 도시된 지그-재그 스캔 순서와 같은 미리 정해진 디폴트 스캔 순서를 적용할 수도 있다. 이 경우에 있어서, 비디오 인코더 (20) 는 스캔 순서를 시그널링하지 않을 수도 있다. 대안으로, 스캔되는 양자화된 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않으면, 비디오 인코더 (20) 는 특정 스캔 순서를 선택하고 시그널링할 수도 있다.

다른 예들에서, 양자화된 변환 계수들의 수는 최종 유효 계수의 위치에 따라서 결정될 수도 있다. 예를 들어, 최종 유효 계수의 위치가 미리 정해진 임계 위치를 초과하지 않으면, 비디오 인코더 (20) 는, 스캔 순서를 시그널링하는 일 없이, 도 4 에 도시된 지그-재그 스캔 순서와 같은 미리 정해진 디폴트 스캔 순서를 적용할 수도 있다. 대안으로, 최종 유효 계수의 위치가 미리 정해진 임계 위치보다 크면, 비디오 인코더는 특정 스캔 순서를 선택하고 시그널링할 수도 있다.

비디오 인코더 (20) 가 특정 스캔 순서를 적용하고 시그널링할 때, 비디오 인코더 (20) 는, 예를 들어 TU 에 적용되는 변환의 타입 (예컨대, DCT 또는 KLT), 블록 타입 (인터 또는 인트라), 및/또는 예측 모드 (인트라-예측된 블록들의 경우) 와 같은 현재 TU 의 다양한 특성들에 기초하여 스캔 순서를 선택할 수도 있다. 다른 예들에서, 비디오 인코더 (20) 는 엔트로피 코딩 효율을 증가시킬 최대 잠재력을 갖는 스캔 순서를 다수의 스캔 순서들로부터 선택할 수도 있다. 또 다른 예들에서, 비디오 인코더 (20) 는, 전술한 바와 같이, 적응적 스캔 순서를 개발, 적용, 및 시그널링할 수도 있다.

본 개시물의 기법들은 스캔되는 TU 의 사이즈에 기초하여 특정 스캔 순서를 적용하고 시그널링할지를 결정하는 것에 관련된다. 본 개시물의 몇몇 양태들에 따르면, 비디오 인코더 (20) 는 TU 의 사이즈가 변환 계수들의 8x8 매트릭스를 초과할 때에만 특정 스캔 순서를 적용하고 시그널링할 수도 있지만, 다른 사이즈들 (예컨대, 4x4 매트릭스, 16x16 매트릭스 등) 이 역시 사용될 수도 있다. 스캔되는 TU 가 사이즈 임계와 같거나 그보다 작으면, 비디오 인코더 (20) 는 디폴트의 또는 미리 정해진 스캔 순서를 적용할 수도 있다. 이 예에서, 비디오 인코더 (20) 는 특정 스캔 순서를 시그널링하지 않을 수도 있으며, 비디오 디코더 (30) 와 같은 비디오 디코더는 동일한 디폴트의 또는 미리 정해진 스캔 순서를 적용하도록 구성될 수도 있다. 대안으로, 스캔되는 TU 가 사이즈 임계를 초과하면, 비디오 인코더 (20) 는 전술한 바와 같이 디폴트의 또는 미리 정해진 스캔 순서 외의 스캔 순서를 적용하고 시그널링할 수도 있다.

본 개시물의 기법들은 또한 최종 유효 계수의 위치에 기초하여 특정 스캔 순서를 적용하고 시그널링할지를 결정하는 것에 관련된다. 본 개시물의 몇몇 양태들에 따르면, 비디오 인코더 (20) 는 최종 유효 계수의 위치가 8 개의 계수들을 초과할 때에만 특정 스캔 순서를 적용하고 시그널링할 수도 있지만, 다른 계수 위치들 (예컨대, 16, 32 등) 이 역시 사용될 수도 있다. 최종 유효 계수 위치가 위치 임계와 같거나 그보다 작으면, 비디오 인코더 (20) 는, 스캔 순서를 시그널링하는 일 없이, 디폴트의 또는 미리 정해진 스캔 순서를 적용할 수도 있다. 대안으로, 최종 유효 계수 위치가 그 위치를 초과하면, 비디오 인코더 (20) 는 전술한 바와 같이 디폴트의 또는 미리 정해진 스캔 순서 외의 스캔 순서를 적용하고 시그널링할 수도 있다.

도 5 는 본 개시물의 양태들에 따라서 변환 계수들의 스캔 순서를 시그널링할지를 결정하는 예시적 방법 (140) 을 예시한 플로우차트이다. 도 5 에 도시된 예에서, 방법은 일반적으로 인코딩되는 TU 의 사이즈에 기초하여 그 TU 와 관련된 변환 계수들에 대한 스캔 순서를 시그널링할지를 결정하는 것을 포함한다. 설명을 위해 비디오 인코더 (20)(도 2) 의 콤포넌트들에 의해 수행되는 바와 같이 일반적으로 설명되고 있지만, 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등과 같은 다른 비디오 인코딩 유닛들이 역시 도 5 의 방법을 수행하도록 구성될 수도 있다는 것이 이해되어야 한다.

도 5 에 도시된 예시적 방법 (140) 은 변환 계수들을 수신하는 것으로 시작한다 (142). 예를 들어 계수 스캐닝 유닛 (55) 과 같은 비디오 인코더의 콤포넌트는 현재 인코딩되고 있는 TU 와 관련된 변환 계수들의 2 차원 매트릭스를 수신할 수도 있다. 즉, 비디오 인코더 (20) 의 계수 스캐닝 유닛 (55) 은 양자화 유닛 (54) 으로부터 2 차원 변환 유닛 (TU) 과 관련된 양자화된 변환 계수 매트릭스를 수신할 수도 있다. 본 개시물의 양태들에 따르면, 계수 스캐닝 유닛 (55) 은 엔트로피 코딩될 수 있는 변환 계수들의 1 차원 어레이를 생성하도록 변환 계수들을 직렬화하는 역할을 담당할 수도 있다.

계수 스캐닝 유닛 (55) 은 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정할 수도 있다 (144). 일 예에서, 비디오 인코더 (20) 는 변환 계수들의 수가 현재 인코딩되고 있는 TU 의 사이즈에 기초하여 임계치를 초과하는지를 판정할 수도 있다. 일 예에서, 계수 스캐닝 유닛 (55) 은 변환 계수 매트릭스의 사이즈가 8x8 변환 계수들의 미리 정해진 임계치를 초과하는지를 판정할 수도 있지만, 다른 임계치들 (예컨대, 4x4, 16x16 등) 이 사용될 수도 있다. 변환 계수 매트릭스의 사이즈가 임계 매트릭스 사이즈보다 작거나 같다면, 계수 스캐닝 유닛 (55) 은 디폴트 스캔 순서를 사용하여 변환 계수 매트릭스를 스캔할 수도 있다 (146). 또한, 엔트로피 코딩 유닛 (56) 은, 스캔 순서를 시그널링하는 일 없이, 스캔된 계수들을 엔트로피 인코딩할 수도 있다 (148).

그러나, 다수의 변환 계수들의 사이즈가 임계치를 초과하면, 계수 스캐닝 유닛 (55) 은 변환 계수들에 대한 스캔 순서를 선택할 수도 있다 (150). 본 개시물의 양태들에 따르면, 계수 스캐닝 유닛 (55) 은, 예를 들어 TU 에 적용되는 변환의 타입, 블록 타입 (인터 또는 인트라), 및/또는 예측 모드/방향과 같은 인코딩되는 TU 의 다양한 특성들에 기초하여 특정 스캔을 선택할 수도 있다. 다른 예들에서, 도 7 에 대해서 더 상세히 설명되는 바와 같이, 계수 스캐닝 유닛 (55) 은 적응적 스캔을 선택할 수도 있다.

그 후, 계수 스캐닝 유닛 (55) 은 선택된 스캔 순서를 이용하여 변환 계수들을 스캔할 수도 있다 (152). 또한, 엔트로피 코딩 유닛 (56) 은 스캔된 변환 계수들을 엔트로피 인코딩할 수도 있을 뿐 아니라 변환 계수들을 스캔하는 데 사용되는 스캔 순서를 시그널링할 수도 있다 (154). 본 개시물의 양태들에 따르면, 도 8 에 대해 후술하는 바와 같이, 엔트로피 코딩 유닛 (56) 은 콘텍스트 모델을 사용하여 스캔 순서를 시그널링할 수도 있다. 즉, 엔트로피 코딩 유닛 (56) 은 현재 인코딩되고 있는 CU 또는 인근 CUs 의 코딩 정보로부터의 콘텍스트 정보 (예컨대, 예측 모드/방향, 예측 유닛 사이즈, 비제로 계수들의 수 등) 에 의존하는 산술 코딩 방법들 및/또는 콘텍스트 기반 가변 길이 코드 (VLC) 테이블들을 이용하여 스캔 순서를 시그널링할 수도 있다.

또한, 도 5 에 대해 도시되고 설명된 단계들이 단지 일 예로서 제공되는 것임을 이해해야 한다. 예를 들어, 도 5 에 도시되고 설명된 임계치 비교는 TU 와 관련되지만, TU 사이즈 외의 코딩 메트릭들이 특정 스캔 순서를 시그널링할지를 결정하는 데 사용될 수도 있다. 예를 들어, TU 의 사이즈를 검사하는 것이 아니라, 비디오 인코더 (20) 는 변환 계수들의 수의 표시를 간접적으로 역시 제공할 수도 있는 CU 또는 PU 의 사이즈에 기초하여 스캔 순서를 시그널링할지를 결정할 수도 있다.

또한, 도 5 의 특정 양태들이 전반적으로 비디오 인코더 (20) 의 계수 스캐닝 유닛 (55) 에 의해 실행되는 것으로 설명되지만, 다양한 다른 유닛들 또는 모듈들, 예컨대 엔트로피 코딩 유닛 (56) 이 그러한 양태들을 실행하도록 구성될 수도 있다. 또한, 도 5 의 방법의 단계들은 도 5 에 도시된 순서로 반드시 수행될 필요는 없으며, 더 적거나, 더 많거나, 또는 대안의 단계들이 수행될 수도 있다.

도 6 은 본 개시물의 양태들에 따라서 변환 계수들에 대한 스캔 순서를 시그널링할지를 결정하는 다른 예시적 방법 (180) 을 예시한 플로우차트이다. 도 6 에 도시된 예에서, 방법은 전반적으로 TU 의 최종 유효 계수의 위치에 기초하여 TU 와 관련된 변환 계수들의 스캔 순서를 시그널링할지를 결정하는 것을 포함한다. 설명을 위해 전반적으로 비디오 인코더 (20)(도 2) 의 콤포넌트들에 의해 수행되는 바와 같이 설명되고 있지만, 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등의 다른 비디오 인코딩 유닛들이 역시 도 6 의 방법을 수행하도록 구성될 수도 있다는 것을 이해해야 한다.

도 6 에 도시된 예시적 방법 (180) 은 변환 계수들을 수신하는 것으로 시작한다 (182). 예를 들어, 계수 스캐닝 유닛 (55) 과 같은 비디오 인코더의 콤포넌트는 현재 인코딩되고 있는 TU 와 관련된 변환 계수들의 2 차원 매트릭스를 수신할 수도 있다. 즉, 비디오 인코더 (20) 의 계수 스캐닝 유닛 (55) 은 2 차원 변환 유닛 (TU) 과 관련된 양자화된 변환 계수 매트릭스를 양자화 유닛 (54) 으로부터 수신할 수도 있다. 본 개시물의 양태들에 따르면, 계수 스캐닝 유닛 (55) 은 엔트로피 코딩될 수 있는 변환 계수들의 1 차원 어레이를 생성하도록 변환 계수들을 직렬화하는 역할을 담당할 수도 있다.

그 후, 계수 스캐닝 유닛 (55) 은 현재 변환 계수 매트릭스의 최종 유효 계수의 위치가 미리 정해진 임계 위치보다 큰지를 판정할 수도 있다 (184). 일 예에서, 계수 스캐닝 유닛 (55) 은 최종 유효 계수의 위치가 8 보다 큰지를 판정할 수도 있지만, TU 에 포함된 유효 변환 계수들의 수의 표시를 제공할 수도 있는 다른 임계 위치들 (예컨대, 16, 32 등) 이 사용될 수도 있다. 변환 계수들의 최종 유효 계수의 위치가 임계 위치보다 작거나 같으면, 계수 스캐닝 유닛 (55) 은 디폴트 스캔 순서를 사용하여 변환 계수들을 스캔할 수도 있다 (186). 또한, 엔트로피 코딩 유닛 (56) 은, 스캔 순서를 시그널링하는 일 없이, 스캔된 계수들을 엔트로피 인코딩할 수도 있다 (188).

그러나, 변환 계수들의 최종 유효 계수의 위치가 임계 위치보다 크면, 계수 스캐닝 유닛 (55) 은 변환 계수들에 대한 스캔 순서를 선택할 수도 있다 (190). 도 5 에 대해 전술한 바와 같이, 계수 스캐닝 유닛 (55) 은 인코딩되는 TU 의 다양한 특성들에 기초하여 특정 스캔을 선택할 수도 있고, 또는 적응적 스캔을 선택할 수도 있다. 그 후, 계수 스캐닝 유닛 (55) 은 선택된 스캔 순서를 사용하여 변환 계수들을 스캔할 수도 있다 (192). 또한, 도 5 의 단계 (154) 에 대해 설명된 바와 같이, 엔트로피 코딩 유닛 (56) 은 스캔된 변환 계수들을 엔트로피 인코딩할 수도 있을 뿐 아니라 변환 계수들을 스캔하는 데 사용되는 스캔 순서를 시그널링할 수도 있다 (194).

또한 도 6 에 대해 도시되고 설명된 단계들이 단지 일 예로서 제공되는 것을 이해해야 한다. 예를 들어, 도 6 의 특정 양태들은 전반적으로 비디오 인코더 (20) 의 계수 스캐닝 유닛 (55) 에 의해 실행되는 것으로 설명되지만, 엔트로피 코딩 유닛 (56) 과 같은 다양한 다른 유닛들 또는 모듈들이 그러한 양태들을 실행하도록 구성될 수도 있음을 이해해야 한다. 또한, 도 6 의 방법의 단계들은 도 6 에 도시된 순서로 반드시 수행되어야 하는 것은 아니며, 더 적거나, 더 많거나, 또는 대안의 단계들이 수행될 수도 있다.

도 7 은 적응적 스캔을 수행하는 예시적 방법 (210) 을 예시한 플로우차트이다. 설명을 위해, 전반적으로 비디오 인코더 (20)(도 2) 의 콤포넌트들에 의해 수행되는 것으로 설명되고 있지만, 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등의 다른 비디오 인코딩 유닛들이 역시 도 7 의 방법을 수행하도록 구성될 수도 있다는 것을 이해해야 한다.

본 개시물의 기법들에 따르면, 도 7 에 도시된 계수들을 적응적으로 스캔하는 기법들은 도 5 의 단계들 (150-154) 또는 도 6 의 단계들 (190-194) 에 대응할 수도 있다. 즉, 예를 들어, 계수들을 적응적으로 스캔하는 기법들은, TU 사이즈가 미리 정해진 임계 사이즈를 초과할 때 또는 TU 의 최종 유효 계수가 미리 정해진 임계 위치를 초과할 때 적용될 수도 있다. 이러한 예들에서, 비디오 인코더 (20) 는 도 7 에 도시된 예시적 방법 (210) 에 따라서 적응적 스캔을 생성하고 시그널링할 수도 있다. 그러나, 도 7 에 도시된 방법은 단지 일 예로서 제공된 것임을 이해해야 한다. 예를 들어, 비디오 인코더 (20) 는, 예를 들어 TU 에 적용되는 변환의 타입, 블록 타입 (인터 또는 인트라), 및/또는 예측 모드/방향과 같은, 인코딩되는 TU 의 다양한 특성들에 기초하여 스캔 순서를 선택할 수도 있다. 또한, 도 7 의 단계들은 반드시 도 7 에 도시된 순서로 수행되어야 하는 것은 아니며, 더 적거나, 더 많거나, 또는 대안의 단계들이 수행될 수도 있다.

도 7 에 도시된 바와 같이, 기본 적응적 스캔을 수행하기 위해, 계수 스캐닝 유닛 (55) 은 현재 블록의 대응하는 예측 모드에 대해 정의된 초기 스캔 순서에 따라서 블록의 계수들을 스캔한다 (212). 비디오 인코더 (20) 의 견지로 볼 때, 스캔은 변환 계수들의 2 차원 블록을 1 차원 계수 어레이로 변환한다. 그러나, 비디오 디코더 (30) 의 견지로 볼 때, 스캔은 1 차원 계수 어레이를 2 차원 변환 계수 블록으로 변환할 것이다. 일 예로서, 대응하는 예측 모드의 초기 스캔 순서는 지그-재그 스캔 순서일 수도 있다. 지그-재그 스캔은 유일한 가능한 초기 스캔 순서는 아니다. 수평 스캔, 수직 스캔, 또는 임의의 다른 초기 스캔 순서가 초기 스캔 순서로서 사용될 수도 있다.

계수 스캐닝 유닛 (55) 은 하나 이상의 블록들에 대한 통계를 수집한다 (214). 구체적으로, 스캔되는 블록들의 각각에 대해, 계수 스캐닝 유닛 (55) 은, 예컨대 2 차원 블록 내의 계수 위치들이 비제로 계수인 주파수의 카운터들로 트래킹한 통계를 수집할 수도 있다. 계수 스캐닝 유닛 (55) 은 스캔 순서를 평가할지를 판정한다 (216). 계수 스캐닝 유닛 (55) 은 고정된 간격들로 (예컨대, 매 블록 경계에서 또는 N 개의 블록 경계들 후에) 또는 비고정된 간격들로 (예컨대, 블록 내의 위치의 카운트 값들 중 하나가 임계치를 초과할 때) 평가할 수도 있다.

계수 스캐닝 유닛 (55) 이 스캔 순서를 평가하지 않는 것으로 판정하면, 계수 스캐닝 유닛 (55) 은 초기 스캔 순서에 따라서 후속 블록을 스캔한다 (212). 계수 스캐닝 유닛 (55) 은, 예컨대 n 개의 블록들이 인코딩/디코딩된 후, 스캔 순서를 평가하는 것으로 판정하면, 계수 스캐닝 유닛은 수집된 통계에 기초하여 스캔 순서를 적응시킬 수도 있다 (218). 예를 들어, 계수 스캐닝 유닛 (55) 은 스캔 순서를 적응시켜 그들의 카운트 값들을 기초로 블록의 계수 위치들을 내림 차순으로 스캔할 수도 있으면, 여기서 카운트 값들은 비제로 계수를 갖는 주어진 위치의 우도를 반영한다. 스캔 순서를 적응시킨 후, 계수 스캐닝 유닛 (55) 은, 몇몇 경우들에 있어서, 통계의 임의의 카운트 값들이 임계 값을 초과하는지를 판정할 수도 있다 (220). 계수 위치들 중 하나가 임계치를 초과하는 대응하는 카운트 값을 가지면, 계수 스캐닝 유닛 (55) 은 수집된 통계, 예컨대 계수 카운트 값들을 표준화할 수도 있다 (222). 예를 들어, 계수 스캐닝 유닛 (55) 은, 미리 정해진 인자에 의해, 예컨대 카운트 값들의 각각을 1/2 로 감소시키는 2 의 인자에 의해 카운트 값들의 각각을 감소시킴으로써 또는 카운트 값들을 초기 카운트 값들의 세트로 재설정함으로써 계수 카운트 값들을 표준화할 수도 있다. 계수 카운트 값들을 표준화하는 것은 비디오 인코더 (20) 가 로컬 계수 통계에 더 급속히 적응하게 할 수도 있다.

수집된 통계를 표준화한 후, 또는 어떠한 표준화도 수행되지 않을 때, 계수 스캐닝 유닛 (55) 은 적응된 스캔 순서를 이용하여 후속 블록들을 스캔한다 (224). 계수 스캐닝 유닛 (55) 은, 적어도 하나의 후속 블록이 이전에 스캔된 비디오 블록의 코딩 유닛 내에 존재할 때, 적응된 스캔 순서를 이용하여 적어도 하나의 후속 블록을 스캔할 수 있다. 계수 스캐닝 유닛 (55) 은, 스캔 순서가, 예컨대 코딩 유닛 경계에서 다시 조절되거나 재초기화될 때까지, 후속 비디오 블록들을 계속해서 스캔할 수도 있다. 이 방식으로, 계수 스캐닝 유닛 (55) 은, 비제로일 것이라는 더 작은 우도를 가지는 것으로 판정된 블록의 계수 위치들에 앞서, 비제로일 것이라는 더 높은 우도를 갖는 것으로 판정된 블록의 계수 위치들을 스캔하도록, 수집된 통계에 기초하여 스캔 순서를 적응한다. 따라서, 1 차원 계수 어레이는 스캔된 1 차원 어레이의 시작부 근처의 비제로 계수들 및 스캔된 1 차원 어레이의 종단부 근처의 제로 값 계수들의 그룹화를 촉진하도록 배열된다. 이것은, 이어서, 엔트로피 코딩 동안 달성될 수 있는 압축의 레벨을 개선할 수 있다.

몇몇 경우들에 있어서, 계수 스캐닝 유닛 (55) 은, 각각의 예측 모드들이 상이한 계수 통계를 가질 수도 있으므로, 예측 모드들 각각에 대해 개별적으로 스캔 순서를 적응적으로 조절할 수도 있다. 다시 말해, 계수 스캐닝 유닛 (55) 은 각각의 예측 모드들에 대한 개별적 통계를 유지할 수도 있고, 각각의 통계에 기초하여 각각의 예측 모드들에 대해 상이하게 스캔 순서를 조절할 수도 있다. 따라서, 전술한 예시적 플로우차트는 각각의 예측 모드에 대해 계수 스캐닝 유닛 (55) 에 의해 수행될 수도 있다.

도 8 은 적응적으로 스캔된 계수들을 설명하는 신택스 엘리먼트들을 스캔 및 엔크로피 인코딩할 때 사용할 콘텍스트 모델을 선택하는 예시적 방법 (240) 을 예시한 플로우차트이다. 설명을 위해, 전반적으로 비디오 인코더 (20)(도 2) 의 콤포넌트들에 의해 수행되는 것으로 설명되고 있지만, 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등과 같은 다른 비디오 인코딩 유닛들이 역시 도 8 의 방법을 수행하도록 구성될 수도 있다는 것을 이해해야 한다.

또한, 유사한 방법들이 도 8 에 예시된 것들에 대해 추가적인 또는 대안인 단계들을 포함할 수도 있으며, 또는 설명된 기법들로부터 벗어나는 일 없이, 예시된 단계들을 상이한 순서로 수행할 수도 있다는 것을 이해해야 한다. 도 8 에 예시된 바와 같은, 적응적으로 스캔된 계수들을 설명하는 신택스 엘리먼트들을 스캔하고 엔트로피 인코딩할 때 사용한 콘텍스트 모델을 선택하는 기법들은, 도 5 의 단계들 (150-154) 또는 도 6 의 단계들 (190-194) 에 대응할 수도 있다. 즉, 도 8 에 도시된 방법 (240) 은 스캔 순서가 선택되고 시그널링될 때 수행될 수도 있다. 도 8 의 기법들은 도 7 의 적응적 스캔이 수행되기 전, 수행되는 동안, 또는 수행된 후에 수행될 수도 있다.

엔트로피 코딩 유닛 (56) 은, 예컨대 양자화 유닛 (54) 으로부터, 양자화된 변환 계수들의 매트릭스를 수신할 수도 있다 (242). 일반적으로, 도 8 의 예시적 방법을 이용하여, 엔트로피 코딩 유닛 (56) 은 수신된 계수들을 설명하는 신택스 엘리먼트들을 인코딩할 수도 있다. 신택스 엘리먼트들은, 각각의 계수에 대해, 유효 계수 플래그 및 최종 계수 플래그를 포함할 수도 있다. 유효 계수 플래그는, 대응하는 계수가 유효한지, 예컨대 대응하는 계수의 값이 제로보다 큰지를 나타낼 수도 있다. 최종 계수 플래그는 대응하는 계수가 적응적 스캔의 최종 계수인지를 나타낼 수도 있다.

엔트로피 코딩 유닛 (56) 은 수신된 매트릭스 내의 유효 계수들의 위치들을 결정할 수도 있다. 엔트로피 코딩 유닛 (56) 은 수신된 매트릭스 내의 유효 계수들의 위치들을 나타내는 신택스 엘리먼트들을 형성할 수도 있다 (244). 예를 들어, 매트릭스 내의 각각의 계수에 대해, 엔트로피 코딩 유닛 (56) 은 계수가 제로보다 큰지를 판정할 수도 있으며, 그러한 경우, 그 계수에 연이은 신택스 엘리먼트 매트릭스 내의 값을 1 과 동일하게 설정할 수도 있고, 그렇지 않은 경우, 엔트로피 코딩 유닛은 그 계수에 연이은 값들을 제로와 동일하게 설정할 수도 있다.

그 후, 엔트로피 코딩 유닛 (56) 은 신택스 엘리먼트 매트릭스 내의 신택스 엘리먼트들 중 제 1 의 것을 스캔할 수도 있다 (246). 엔트로피 코딩 유닛 (56) 은 도 4 에 도시된 것과 같은 지그-재그 스캔, 또는 블록 타입 (인터- 또는 인트라-예측된 블록), 블록이 인트라-예측 인코딩된 블록인 경우의 공간 예측 방향, 및/또는 사용된 변환의 타입에 기초하여 선택된 스캔을 적용할 수도 있다. 다음, 엔트로피 코딩 유닛 (56) 은 스캔된 신택스 엘리먼트를 인코딩하는 콘텍스트 모델을 선택할 수도 있다 (248). 일반적으로, 콘텍스트 모델은 이전에 스캔된 N 개의 계수들에서 유효 (예컨대, 비제로) 계수들의 수에 기초하여 선택될 수도 있으며, 여기서 N 은 비제로 정수 값이다. N 은 블록의 사이즈에 기초하여 선택될 수도 있다. 콘텍스트 모델은 또한 현재 인코딩되고 있는 CU 의 코딩 정보 또는 인근 CUs 의 콘텍스트 정보 (예컨대, 예측 모드/방향, 예측 유닛 사이즈, 비제로 계수들의 수 등) 에 기초하여 선택될 수도 있다.

현재 신택스 엘리먼트를 인코딩하는 데 사용할 콘텍스트 모델을 선택한 후, 엔트로피 코딩 유닛 (56) 은 선택된 콘텍스트 모델을 사용하여, 스캔된 신택스 엘리먼트를 엔트로피 인코딩할 수도 있다 (250). 그 후, 엔트로피 코딩 유닛 (56) 은 인코딩된 신택스 엘리먼트가 인코딩될 최종 신택스 엘리먼트인지를 판정할 수도 있다 (252). 신택스 엘리먼트가 최종 신택스 엘리먼트이면 (252 의 "YES" 브랜치), 엔트로피 코딩 유닛 (56) 은 계수들을 스캔하기를 중지할 수도 있다. 반면, 신택스 엘리먼트가 최종 신택스 엘리먼트가 아니면 (252 의 "NO" 브랜치), 엔트로피 코딩 유닛 (56) 은 다음 신택스 엘리먼트를 스캔할 수도 있고 (254), 스캔된 신택스 엘리먼트를 인코딩하는 콘텍스트 모델을 다시 선택할 수도 있다.

도 8 의 예는 특정 계수들이 유효한지 아닌지를 설명하는 신택스 엘리먼트들에 대해 주로 설명된다. 이들 선택스 엘리먼트들은, 예를 들어 유효 계수 플래그들, 예컨대 대응하는 계수들이 유효한지, 예컨대 비제로인지를 나타내는 1-비트 플래그들을 포함할 수도 있다. 특정 계수가 적응적 스캔에서 최종 계수인지를 설명하는 신택스 엘리먼트들에 대해 유사한 기법들이 적용될 수도 있다는 것을 이해해야 한다. 예를 들어, 유사한 기법들이 최종 계수 플래그에 적용될 수도 있다. CABAC 를 이용하여 최종 계수 플래그들을 인코딩할 때, 콘텍스트 모델은 블록 타입, 공간 예측 방향, 및/또는 선택된 변환에 기초한 적응적 스캔에서 순서 인덱스에 기초할 수도 있다.

도 9 는, 본 개시물의 양태들에 따라서, 수신된 변환 계수들의 스캔 순서를 식별할지를 결정하는 예시적 방법 (260) 을 예시한 플로우 차트이다. 도 9 에 도시된 예에서, 방법은 전반적으로 디코딩되는 TU 의 사이즈에 기초하여 그 TU 와 관련된 변환 계수들에 대한 시그널링된 스캔 순서를 식별할지를 결정하는 것을 포함할 수도 있다. 설명을 위해, 전반적으로 비디오 디코더 (30)(도 3) 의 콤포넌트들에 의해 수행되는 바와 같이 설명되고 있지만, 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등과 같은 다른 비디오 디코딩 유닛들이 역시 도 9 의 방법을 수행하도록 구성될 수도 있다는 것을 이해해야 한다.

도 9 에 도시된 예시적 방법 (260) 은 변환 계수들을 수신하는 것으로 시작한다 (262). 예를 들어, 엔트로피 디코딩 유닛 (70) 과 같은 비디오 디코더 (30) 의 콤포넌트는 인코딩된 비디오 데이터를 포함하는 비트스트림뿐 아니라 인코딩된 비디오 데이터를 디코딩하는 데 도움이 되는 하나 이상의 신택스 엘리먼트들을 수신할 수도 있다. 수신된 비트스트림의 적어도 일부분은, 도 9 에 도시된 예에 따르면, 변환 유닛 (TU) 과 관련되는 다수의 직렬화된 양자화된 변환 계수들을 포함한다. 즉, 엔트로피 디코딩 유닛 (70) 은 다수의 유효 변환 계수들을 수신할 수도 있다. 또한, 엔트로피 디코딩 유닛 (70) 은 TU 내의 유효 계수들에 대한 상대적 위치들을 나타내는 유효성 맵을 수신할 수도 있다. 엔트로피 디코딩 유닛 (70) 은 그러한 정보를 이용하여, 수신된 1 차원 어레이로부터 변환 계수들의 2 차원 블록을 재구성할 수도 있다.

변환 계수들을 수신할 시, 엔트로피 디코딩 유닛 (70) 은 수신된 변환 계수들의 수가 미리 정해진 임계 값을 초과하는지를 판정할 수도 있다 (264). 도 9 에 도시된 예에서, 엔트로피 디코딩 유닛 (70) 은, 디코딩되는 TU 의 사이즈에 기초하여, 수신된 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정할 수도 있다. 즉, 엔트로피 디코딩 유닛 (70) 은, 신택스 엘리먼트와 같이, 수신된 TU 의 사이즈를 식별하는 표시를 수신할 수도 있다. 다른 예에서, 엔트로피 디코딩 유닛 (70) 은 수신된 변환 계수들의 수 및/또는 전술한 유효성 맵에 기초하여, 수신된 TU 의 사이즈를 판정할 수도 있다.

본 개시물의 몇몇 양태들에 따르면, 엔트로피 디코딩 유닛 (70) 은, 수신된 TU 의 사이즈가 8x8 변환 계수들의 미리 정해진 임계치를 초과하는지를 판정할 수도 있지만, 다른 임계치들 (예컨대, 4x4, 16x16 등) 이 사용될 수도 있다. 수신된 TU 의 사이즈가 임계 매트릭스 사이즈보다 작거나 그와 같으면, 엔트로피 디코딩 유닛 (70) 은 디폴트 스캔 순서를 이용하여, 수신된 변환 계수들을 역스캔할 수도 있다 (266). 즉, 엔트로피 디코딩 유닛 (70) 은 사전 정의된 스캔 순서를 이용하여, 비디오 인코더 (예컨대, 비디오 인코더 (20)) 에 의해 TU 를 직렬화하는 데 사용된 디폴트 스캔 순서를 미러링하는 2 차원 TU 를 재구성할 수도 있다. 일 예에서, 엔트로피 디코딩 유닛 (70) 은 비디오 인코더에 의해 적용되는 지그-재그 스캔 순서의 역을 사용할 수도 있다.

그러나, 수신된 TU 의 사이즈가 미리 정해진 임계치를 초과하면, 엔트로피 디코딩 유닛 (70) 은 변환 계수들을 스캔하는 스캔 순서를 식별할 수도 있다 (268). 본 개시물의 양태들에 따르면, 엔트로피 디코딩 유닛 (70) 은 비트스트림에 포함된 하나 이상의 신택스 엘리먼트들에 기초하여 스캔 순서를 식별할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 수신된 비트스트림에서 명시적으로 나타내진 스캔 순서를 식별할 수도 있다. 즉 비디오 디코더 (30) 는 스캔 순서를 정의하는 비트스트림 내의 하나 이상의 신택스 엘리먼트들을 식별할 수도 있다.

추가로 또는 대안으로, 비디오 디코더 (30) 는 적응적 스캔 순서를 식별할 수도 있다. 즉, 비디오 디코더 (30) 는 수신된 비트스트림을 생성한 비디오 인코더에 의해 구현된 적응적 스캔을 미러링하는 적응적 스캔을 비디오 디코더 (30) 가 수행할 것을 촉진하는 다른 표시 또는 신택스 엘리먼트를 수신할 수도 있다. 다른 예에서, 비디오 디코더 (30) 는 인덱스 값에 기초하여 특정 스캔 순서를 식별할 수도 있다. 즉, 비디오 디코더 (30) 는 스캔 순서들의 사전 정의된 테이블 (예컨대, 스캔 순서들의 룩업 테이블) 에서 특정 스캔 순서와 관련되는 비트스트림 내의 인덱스 값을 식별할 수도 있다. 이 예에서, 비디오 디코더 (30) 는 비트스트림을 생성한 비디오 인코더 (20) 와 같은 비디오 인코더에 의해 구현된 테이블과 동일한 스캔 순서들의 테이블을 포함할 수도 있다.

본 개시물의 양태들에 따르면, 도 8 에 대해 더 상세히 전술한 바와 같이, 스캔 순서는 콘텍스트 모델을 이용하여 비트스트림에서 시그널링될 수도 있다. 따라서, 엔트로피 디코딩 유닛 (70) 은 현재 디코딩되고 있는 CU 또는 인근 CUs 의 코딩 정보로부터의 콘텍스트 정보 (예컨대, 예측 모드/방향, 예측 유닛 사이즈, 비제로 계수들의 수 등) 로부터의 콘텍스트 정보에 의존하는 산술 코딩 방법들 및/또는 콘텍스트 기반 가변 길이 코드 (VLC) 테이블들을 사용하여 스캔 순서를 식별할 수도 있다.

그 후, 엔트로피 디코딩 유닛 (70) 은 식별된 스캔 순서를 사용하여 변환 계수들을 역스캔할 수도 있다 (270). 즉, 엔트로피 디코딩 유닛 (70) 은 시그널링된 순서를 이용하여 변환 계수들의 수신된 1 차원 어레이로부터 2 차원 TU 를 재구성할 수도 있다. 또한, 도 9 와 관련하여 도시되고 설명된 단계들은 단지 일 예로서 제공된 것이라는 것을 이해해야 한다. 예를 들어, 도 9 의 방법의 단계들은 반드시 도 9 에 도시된 순서로 수행되어야 하는 것은 아니며, 더 적거나, 더 많거나, 또는 대안의 단계들이 수행될 수도 있다. 또한, 도 9 의 특정 양태들은 전반적으로 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 에 의해 실행되는 것으로 설명되고 있지만, 역양자화 유닛 (76) 과 같은 다양한 다른 유닛들 또는 모듈들이 그러한 양태들을 실행하도록 구성될 수도 있다는 것을 이해해야 한다.

도 10 은 본 개시물의 양태들에 따라서, 수신된 변환 계수들의 스캔 순서를 식별할지를 결정하는 예시적 방법 (280) 을 예시한 플로우차트이다. 도 10 에 도시된 예에서, 방법은 전반적으로 디코딩되는 TU 의 최종 유효 계수의 상대적 위치에 기초하여 그 TU 와 관련된 변환 계수들에 대한 시그널링된 스캔 순서를 식별할지를 결정하는 것을 포함한다. 설명을 위해, 전반적으로 비디오 디코더 (30)(도 3) 의 콤포넌트들에 의해 수행되는 것으로 설명되고 있지만, 프로세서들, 프로세싱 유닛들, 인코더/디코더들 (CODECs) 과 같은 하드웨어 기반 코딩 유닛들 등과 같은 다른 비디오 디코딩 유닛들이 역시 도 10 의 방법을 수행하도록 구성될 수도 있다는 것을 이해해야 한다.

도 10 에 도시된 예시적 방법 (280) 은 변환 계수들을 수신하는 것으로 시작한다 (282). 예를 들어, 엔트로피 디코딩 유닛 (70) 과 같은 비디오 디코더 (30) 의 콤포넌트는 인코딩된 비디오 데이터를 포함하는 비트스트림뿐 아니라 인코딩된 비디오 데이터를 디코딩하는 데 도움이 되는 하나 이상의 신택스 엘리머트들을 수신할 수도 있다. 수신된 비트스트림의 적어도 일부분은, 도 10 에 도시된 예에 따르면, 변환 유닛 (TU) 과 관련되는 다수의 직렬화된 양자화된 변환 계수들을 포함한다. 즉, 엔트로피 디코딩 유닛 (70) 은 다수의 유효 변환 계수들을 수신할 수도 있다. 또한, 엔트로피 디코딩 유닛 (70) 은 TU 내의 유효 계수들에 대한 상대적 위치들을 나타내는 유효성 맵을 수신할 수도 있다. 엔트로피 디코딩 유닛 (70) 은 또한 TU 의 최종 유효 변환 계수의 상대적 위치를 식별하는 최종 유효 계수 플래그를 수신할 수도 있다. 엔트로피 디코딩 유닛 (70) 은 그러한 정보를 이용하여, 수신된 1 차원 어레이로부터 변환 계수들의 2 차원 블록을 재구성할 수도 있다.

변환 계수들을 수신할 시, 엔트로피 디코딩 유닛 (70) 은 최종 유효 계수의 위치가 미리 정해진 임계 위치를 초과하는지를 판정할 수도 있다 (284). 도 10 에 도시된 예에서, 엔트로피 디코딩 유닛 (70) 은 최종 유효 계수 플래그 및/또는 유효성 맵과 같은 다른 유효성 정보게 기초하여 상대적 위치를 식별할 수도 있다. 최종 유효 계수의 위치가 임계 위치보다 작거나 그와 같으면, 엔트로피 디코딩 유닛 (70) 은 수신된 변환 계수들을 역스캔하는 데 디폴트 스캔 순서를 이용할 수도 있다 (286). 즉, 엔트로피 디코딩 유닛 (70) 은 비디오 인코더 (예컨대, 비디오 인코더 (20)) 에 의해 TU 를 직렬화하는 데 사용된 디폴트 스캔 순서를 미러링하는 2 차원 TU 를 재구성하는 데 사전 정의된 스캔 순서를 사용할 수도 있다. 일 예에서, 엔트로피 디코딩 유닛 (70) 은 비디오 인코더에 의해 적용된 지그-재그 스캔 순서의 역을 이용할 수도 있다.

그러나, 최종 유효 변환 계수의 위치가 미리 정해진 임계치를 초과하면, 엔트로피 디코딩 유닛 (70) 은 변환 계수들을 스캔하는 스캔 순서를 식별할 수도 있다 (288). 본 개시물의 양태들에 따르면, 엔트로피 디코딩 유닛 (70) 은 비트스트림에 포함된 하나 이상의 신택스 엘리먼트들에 기초하여 스캔 순서를 식별할 수도 있다. 예를 들어, 비디오 디코더 (30) 는 수신된 비트스트림에 명시적으로 나타내진 스캔 순서를 식별할 수도 있다. 즉, 비디오 디코더 (30) 는 스캔 순서를 정의하는 비트스트림에서 하나 이상의 신택스 엘리먼트들을 식별할 수도 있다.

추가로 또는 대안으로, 비디오 디코더 (30) 는 적응적 스캔 순서를 식별할 수도 있다. 즉, 비디오 디코더 (30) 는 수신된 비트스트림을 생성한 비디오 인코더에 의해 구현되는 적응적 스캔을 미러링하는 적응적 스캔을 비디오 디코더 (30) 가 수행하도록 촉진하는 다른 표시 또는 신택스 엘리먼트를 수신할 수도 있다. 다른 예에서, 비디오 디코더 (30) 는 인덱스 값에 기초하여 특정 스캔 순서를 식별할 수도 있다. 즉, 비디오 디코더 (30) 은 스캔 순서들의 사전 정의된 테이블 (예컨대, 스캔 순서들의 룩업 테이블) 에서 특정 스캔 순서와 관련되는 비트스트림 내의 인덱스 값을 식별할 수도 있다. 이 예에서, 비디오 디코더 (30) 는 비트스트림을 생성한 비디오 인코더 (20) 와 같은 비디오 인코더에 의해 구현된 테이블과 동일한 스캔 순서들의 테이블을 포함할 수도 있다.

본 개시물의 양태들에 따르면, 도 8 에 대해 더 상세히 전술한 바와 같이, 스캔 순서는 콘텍스트 모델을 이용하여 비트스트림에서 시그널링될 수도 있다. 따라서, 엔트로피 디코딩 유닛 (70) 은 현재 인코딩되고 있는 CU 또는 인근 CUs 의 코딩 정보로부터의 콘텍스트 정보 (예컨대, 예측 모드/방향, 예측 유닛 사이즈, 비제로 계수들의 수 등) 에 의존하는 산술 코딩 방법들 및/또는 콘텍스트 기반 가변 길이 코드 (VLC) 테이블들을 이용하여 스캔 순서를 식별할 수도 있다.

엔트로피 디코딩 유닛 (70) 은 식별된 스캔 순서를 이용하여 변환 계수들을 역스캔할 수도 있다 (290). 즉, 엔트로피 디코딩 유닛 (70) 은 시그널링된 스캔 순서를 이용하여 변환 계수들의 수신된 1 차원 어레이로부터 2 차원 TU 를 재구성할 수도 있다. 또한, 도 10 에 대해 도시되고 설명된 단계들은 단지 일 예로서 제공된다는 것을 이해해야 한다. 예를 들어, 도 10 의 방법의 단계들은 도 10 에 도시된 순서로 반드시 수행되어야 하는 것은 아니며, 더 적거나, 더 많거나, 또는 대안의 단계들이 수행될 수도 있다. 또한, 도 10 의 특정 양태들이 전반적으로 비디오 디코더 (30) 의 엔트로피 디코딩 유닛 (70) 에 의해 실행되는 것으로 설명되고 있지만, 역양자화 유닛 (76) 과 같은 다양한 다른 유닛들 또는 모듈들이 그러한 양태들을 실행하도록 구성될 수도 있다는 것을 이해해야 한다.

하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 소프트웨어로 구현되는 경우, 그 기능들은 하나 이상의 명령들 또는 코드들로서 컴퓨터 판독가능 매체 상에 저장되거나 송신되어, 하드웨어-기반의 프로세싱 유닛에 의해 실행될 수도 있다. 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체들을 포함할 수도 있으며, 이 컴퓨터 판독가능 저장 매체들은 데이터 저장 매체와 같은 유형의 매체, 또는 예컨대, 통신 프로토콜에 따라서 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함한 통신 매체들에 대응한다. 이 방법에서, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 캐리어 파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체는 본 개시물에서 설명하는 기법들의 구현을 위한 명령들, 코드 및/또는 데이터 구조들을 취출하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 가용 매체들일 수도 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

일 예로서, 이에 한정하지 않고, 이런 컴퓨터 판독가능 저장 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 저장, 자기디스크 저장, 또는 다른 자기 저장 디바이스들, 플래시 메모리, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 지칭된다. 예를 들어, 동축 케이블, 광섬유 케이블, 이중 권선, 디지털 가입자 회선 (DSL), 또는 무선 기술들 예컨대 적외선, 무선, 및 마이크로파를 이용하여 명령들이 웹사이트, 서버, 또는 다른 원격 소스로부터 송신되는 경우, 동축 케이블, 광섬유 케이블, 이중 권선, DSL, 또는 무선 기술들 예컨대 적외선, 무선, 및 마이크로파가 그 매체의 정의에 포함된다. 그러나, 컴퓨터 판독가능 저장 매체 및 데이터 저장 매체는 접속부들, 캐리어 파들, 신호들, 또는 다른 일시적 매체를 포함하지 않고, 그 대신, 비-일시적인 유형의 저장 매체에 송신되는 것으로 해석되어야 한다. 디스크 (disk) 및 디스크 (disc) 는, 본원에서 사용할 때, 컴팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하며 본원에서, 디스크들 (disks) 은 데이터를 자기적으로 보통 재생하지만, 디스크들 (discs) 은 레이저로 데이터를 광학적으로 재생한다. 전술한 것들의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.

명령들은 하나 이상의 디지털 신호 프로세서들 (DSPs), 범용 마이크로프로세서들, 주문형 집적회로들 (ASICs), 필드 프로그래밍가능 로직 어레이들 (FPGAs), 또는 다른 등가의 통합 또는 이산 로직 회로와 같은, 하나 이상의 프로세서들에 의해 실행될 수도 있다. 따라서, 용어 “프로세서" 는, 본원에서 사용될 때 전술한 구조 또는 본원에서 설명하는 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 게다가, 일부 양태들에서, 본원에서 설명하는 기능 전용 하드웨어 및/또는 인코딩 및 디코딩을 위해 구성되는 소프트웨어 모듈들 내에 제공되거나, 또는 결합된 코덱에 포함될 수도 있다. 또한, 이 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 완전히 구현될 수 있다.

본 개시물의 기법들은 무선 핸드셋, 집적 회로 (IC) 또는 ICs 의 세트 (예컨대, 칩 세트) 를 포함한, 매우 다양한 디바이스들 또는 장치들로 구현될 수도 있다. 개시한 기법들을 수행하도록 구성되는 디바이스들의 기능적 양태들을 강조하기 위해서 여러 구성요소들, 모듈들, 또는 유닛들이 본 개시물에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하지는 않는다. 더 정확히 말하면, 위에서 설명한 바와 같이, 여러 유닛들이 코덱 하드웨어 유닛에 결합되거나 또는 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명한 바와 같은 하나 이상의 프로세서들을 포함한, 상호작용하는 하드웨어 유닛들의 컬렉션으로 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음 청구범위의 범주 내에 있다.

Claims

비디오 데이터를 디코딩하는 방법으로서,
비디오 데이터의 블록과 관련된 변환 계수들의 직렬화된 일차원 어레이 (one-dimensional array) 를 수신하는 단계;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과할 때, 상기 변환 계수들과 별개인, 비디오 데이터의 블록과 관련된 스캔 순서를 식별하는, 적어도 하나의 신택스 엘리먼트를 수신하고, 상기 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 수신하지 않는 단계; 및
상기 식별된 스캔 순서에 따라 상기 변환 계수들의 이차원 어레이 (two-dimensional array) 를 재구성하기 위하여 상기 변환 계수들의 직렬화된 일차원 어레이를 역스캔하는 단계를 포함하고,
상기 스캔 순서는 상기 변환 계수들이 이차원 어레이로부터 상기 직렬화된 일차원 어레이로 직렬화된 순서를 나타내는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
제 2 비디오 데이터의 블록과 관련된 변환 계수들의 제 2 직렬화된 일차원 어레이를 수신하는 단계; 및
상기 변환 계수들의 제 2 직렬화된 일차원 어레이와 관련된 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 식별된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 변환 계수들의 제 2 이차원 어레이를 재구성하기 위하여 상기 제 2 비디오 데이터의 블록과 관련된 변환 계수들의 상기 제 2 직렬화된 일차원 어레이를 역스캔하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 식별된 스캔 순서를 식별하는 인덱스 값인, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 비디오 데이터의 블록을 포함하는 비트스트림이 상기 적어도 하나의 신택스 엘리먼트를 포함하는지를 판정하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
제 1 항에 있어서,
상기 비디오 데이터의 블록의 인근 블록들과 관련된 정보에 기초하여 선택된 콘텍스트 모델을 사용하여 상기 적어도 하나의 신택스 엘리먼트를 디코딩하는 단계를 더 포함하는, 비디오 데이터를 디코딩하는 방법.
비디오 데이터를 디코딩하는 장치로서,
상기 장치는 비디오 디코더를 포함하고,
상기 비디오 디코더는,
비디오 데이터의 블록과 관련된 변환 계수들의 직렬화된 일차원 어레이를 수신하고;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과할 때, 상기 변환 계수들과 별개인, 비디오 데이터의 블록과 관련된 스캔 순서를 식별하는, 적어도 하나의 신택스 엘리먼트를 수신하고, 상기 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 수신하지 않고;
상기 식별된 스캔 순서에 따라 상기 변환 계수들의 이차원 어레이를 재구성하기 위하여 상기 변환 계수들의 직렬화된 일차원 어레이를 역스캔하도록 구성되고,
상기 스캔 순서는 상기 변환 계수들이 이차원 어레이로부터 상기 직렬화된 일차원 어레이로 직렬화된 순서를 나타내는, 비디오 데이터를 디코딩하는 장치.
제 8 항에 있어서,
상기 비디오 디코더는, 추가로,
제 2 비디오 데이터의 블록과 관련된 변환 계수들의 제 2 직렬화된 일차원 어레이를 수신하고;
상기 변환 계수들의 제 2 직렬화된 일차원 어레이와 관련된 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 식별된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 변환 계수들의 제 2 이차원 어레이를 재구성하기 위하여 상기 제 2 비디오 데이터의 블록과 관련된 변환 계수들의 상기 제 2 직렬화된 일차원 어레이를 역스캔하도록 구성된, 비디오 데이터를 디코딩하는 장치.
제 8 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 식별된 스캔 순서를 식별하는 인덱스 값인, 비디오 데이터를 디코딩하는 장치.
제 8 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 비디오 데이터를 디코딩하는 장치.
제 8 항에 있어서,
상기 비디오 디코더는, 추가로, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하도록 구성된, 비디오 데이터를 디코딩하는 장치.
제 8 항에 있어서,
상기 비디오 디코더는, 추가로, 상기 비디오 데이터의 블록을 포함하는 비트스트림이 상기 적어도 하나의 신택스 엘리먼트를 포함하는지를 판정하도록 구성된, 비디오 데이터를 디코딩하는 장치.
제 13 항에 있어서,
상기 비디오 디코더는, 추가로, 상기 비디오 데이터의 블록의 인근 블록들과 관련된 정보에 기초하여 선택된 콘텍스트 모델을 사용하여 상기 적어도 하나의 신택스 엘리먼트를 디코딩하도록 구성된, 비디오 데이터를 디코딩하는 장치.
제 8 항에 있어서,
상기 장치는,
집적회로;
마이크로프로세서; 또는
상기 비디오 디코더를 포함하는 무선 통신 디바이스 중 적어도 하나인, 비디오 데이터를 디코딩하는 장치.
비디오 데이터를 디코딩하는 장치로서,
비디오 데이터의 블록과 관련된 변환 계수들의 직렬화된 일차원 어레이를 수신하는 수단;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과할 때, 상기 변환 계수들과 별개인, 비디오 데이터의 블록과 관련된 스캔 순서를 식별하는, 적어도 하나의 신택스 엘리먼트를 수신하고, 상기 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 수신하지 않는 수단; 및
상기 식별된 스캔 순서에 따라 상기 변환 계수들의 이차원 어레이를 재구성하기 위하여 상기 변환 계수들의 직렬화된 일차원 어레이를 역스캔하는 수단을 포함하고,
상기 스캔 순서는 상기 변환 계수들이 이차원 어레이로부터 상기 직렬화된 일차원 어레이로 직렬화된 순서를 나타내는, 비디오 데이터를 디코딩하는 장치.
제 16 항에 있어서,
제 2 비디오 데이터의 블록과 관련된 변환 계수들의 제 2 직렬화된 일차원 어레이를 수신하는 수단; 및
상기 변환 계수들의 제 2 직렬화된 일차원 어레이와 관련된 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 식별된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 변환 계수들의 제 2 이차원 어레이를 재구성하기 위하여 상기 제 2 비디오 데이터의 블록과 관련된 변환 계수들의 상기 제 2 직렬화된 일차원 어레이를 역스캔하는 수단을 더 포함하는, 비디오 데이터를 디코딩하는 장치.
제 16 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 식별된 스캔 순서를 식별하는 인덱스 값인, 비디오 데이터를 디코딩하는 장치.
제 16 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 비디오 데이터를 디코딩하는 장치.
제 16 항에 있어서,
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하는 수단을 더 포함하는, 비디오 데이터를 디코딩하는 장치.
제 16 항에 있어서,
상기 비디오 데이터의 블록을 포함하는 비트스트림이 상기 적어도 하나의 신택스 엘리먼트를 포함하는지를 판정하는 수단을 더 포함하는, 비디오 데이터를 디코딩하는 장치.
명령들을 저장한 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행될 때, 비디오 데이터를 디코딩하기 위한 디바이스의 프로세서로 하여금,
비디오 데이터의 블록과 관련된 변환 계수들의 직렬화된 일차원 어레이를 수신하게 하고;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과할 때, 상기 변환 계수들과 별개인, 비디오 데이터의 블록과 관련된 스캔 순서를 식별하는, 적어도 하나의 신택스 엘리먼트를 수신하게 하고, 상기 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 수신하지 않게 하고;
상기 식별된 스캔 순서에 따라 상기 변환 계수들의 이차원 어레이를 재구성하기 위하여 상기 변환 계수들의 직렬화된 일차원 어레이를 역스캔하게 하고;
상기 스캔 순서는 상기 변환 계수들이 이차원 어레이로부터 상기 직렬화된 일차원 어레이로 직렬화된 순서를 나타내는, 컴퓨터 판독가능 저장 매체.
제 22 항에 있어서,
실행될 때, 상기 프로세서로 하여금,
제 2 비디오 데이터의 블록과 관련된 변환 계수들의 제 2 직렬화된 일차원 어레이를 수신하게 하고;
상기 변환 계수들의 제 2 직렬화된 일차원 어레이와 관련된 변환 계수들의 수가 미리 정해진 임계치를 초과하지 않을 때 상기 식별된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 변환 계수들의 제 2 이차원 어레이를 재구성하기 위하여 상기 제 2 비디오 데이터의 블록과 관련된 변환 계수들의 상기 제 2 직렬화된 일차원 어레이를 역스캔하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제 22 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 식별된 스캔 순서를 식별하는 인덱스 값인, 컴퓨터 판독가능 저장 매체.
제 22 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 컴퓨터 판독가능 저장 매체.
제 22 항에 있어서,
실행될 때, 상기 프로세서로 하여금, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
제 22 항에 있어서,
실행될 때, 상기 프로세서로 하여금, 상기 비디오 데이터의 블록을 포함하는 비트스트림이 상기 적어도 하나의 신택스 엘리먼트를 포함하는지를 판정하게 하는 명령들을 더 포함하는, 컴퓨터 판독가능 저장 매체.
비디오 데이터를 인코딩하는 방법으로서,
비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하는 단계;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하는 단계에 기초하여 스캔 순서를 시그널링할지를 결정하는 단계로서, 상기 스캔 순서는 상기 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타내는, 상기 스캔 순서를 시그널링할지를 결정하는 단계;
상기 스캔 순서를 결정하고 상기 결정된 스캔 순서에 따라 상기 변환 계수들을 스캔하는 단계; 및
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과할 때 비트스트림 내의 포함을 위한 적어도 하나의 신택스 엘리먼트를 상기 비디오 데이터의 블록과 관련시킴으로써 상기 결정된 스캔 순서를 나타내는, 상기 변환 계수들과 별개인, 적어도 하나의 신택스 엘리먼트를 시그널링하고, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 시그널링하지 않는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
제 28 항에 있어서,
비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수를 판정하는 단계; 및
상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 시그널링된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들을 스캔하는 단계를 더 포함하고,
상기 디폴트 스캔 순서는 대응 신택스 엘리먼트를 사용하여 시그널링되지 않는, 비디오 데이터를 인코딩하는 방법.
제 28 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 시그널링된 스캔 순서를 식별하는 인덱스 값인, 비디오 데이터를 인코딩하는 방법.
제 28 항에 있어서,
상기 미리 정해진 임계치는 미리 정해진 매트릭스 사이즈 임계치인, 비디오 데이터를 인코딩하는 방법.
제 31 항에 있어서,
상기 미리 정해진 매트릭스 사이즈 임계치는 8x8 매트릭스인, 비디오 데이터를 인코딩하는 방법.
제 28 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 비디오 데이터를 인코딩하는 방법.
제 28 항에 있어서,
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하는 단계를 더 포함하는, 비디오 데이터를 인코딩하는 방법.
제 28 항에 있어서,
상기 스캔 순서를 시그널링하는 단계는 상기 비디오 데이터의 블록의 인근 블록들과 관련된 정보에 기초하여 선택된 콘텍스트 모델을 사용하여 상기 적어도 하나의 신택스 엘리먼트를 엔트로피 인코딩하는 단계를 포함하는, 비디오 데이터를 인코딩하는 방법.
비디오 데이터를 인코딩하는 장치로서,
상기 장치는 비디오 인코더를 포함하고,
상기 비디오 인코더는,
비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하고;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하는 것에 기초하여 스캔 순서를 시그널링할지를 판정하고;
상기 스캔 순서를 결정하고 상기 결정된 스캔 순서에 따라 상기 변환 계수들을 스캔하고;
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과할 때 비트스트림 내의 포함을 위한 적어도 하나의 신택스 엘리먼트를 상기 비디오 데이터의 블록과 관련시킴으로써 상기 결정된 스캔 순서를 나타내는, 상기 변환 계수들과 별개인, 적어도 하나의 신택스 엘리먼트를 시그널링하고, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 시그널링하지 않으며,
상기 스캔 순서는 상기 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타내는, 비디오 데이터를 인코딩하는 장치.
제 36 항에 있어서,
상기 비디오 인코더는, 추가로,
비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수를 판정하고;
상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 시그널링된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들을 스캔하고, 상기 디폴트 스캔 순서는 대응 신택스 엘리먼트를 사용하여 시그널링되지 않도록 구성된, 비디오 데이터를 인코딩하는 장치.
제 37 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 시그널링된 스캔 순서를 식별하는 인덱스 값인, 비디오 데이터를 인코딩하는 장치.
제 36 항에 있어서,
상기 미리 정해진 임계치는 미리 정해진 매트릭스 사이즈 임계치인, 비디오 데이터를 인코딩하는 장치.
제 39 항에 있어서,
상기 미리 정해진 매트릭스 사이즈 임계치는 8x8 매트릭스인, 비디오 데이터를 인코딩하는 장치.
제 36 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 비디오 데이터를 인코딩하는 장치.
제 36 항에 있어서,
상기 비디오 인코더는, 추가로, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하도록 구성된, 비디오 데이터를 인코딩하는 장치.
제 36 항에 있어서,
상기 스캔 순서를 시그널링하는 것은 상기 비디오 데이터의 블록의 인근 블록들과 관련된 정보에 기초하여 선택된 콘텍스트 모델을 사용하여 상기 적어도 하나의 신택스 엘리먼트를 엔트로피 인코딩하는 것을 포함하는, 비디오 데이터를 인코딩하는 장치.
제 36 항에 있어서,
상기 비디오 인코더는,
집적회로;
마이크로프로세서; 또는
상기 비디오 인코더를 포함하는 무선 통신 디바이스 중 적어도 하나인 것인, 비디오 데이터를 인코딩하는 장치.
비디오 데이터를 인코딩하는 장치로서,
비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하는 수단;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하는 것에 기초하여 스캔 순서를 시그널링할지를 판정하는 수단으로서, 상기 스캔 순서는 상기 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타내는, 상기 스캔 순서를 시그널링할지를 판정하는 수단;
상기 스캔 순서를 결정하고 상기 결정된 스캔 순서에 따라 상기 변환 계수들을 스캔하는 수단; 및
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과할 때 비트스트림 내의 포함을 위한 적어도 하나의 신택스 엘리먼트를 상기 비디오 데이터의 블록과 관련시킴으로써 상기 결정된 스캔 순서를 나타내는, 상기 변환 계수들과 별개인, 적어도 하나의 신택스 엘리먼트를 시그널링하고, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 시그널링하지 않는 수단을 포함하는, 비디오 데이터를 인코딩하는 장치.
제 45 항에 있어서,
비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수를 판정하는 수단; 및
상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 시그널링된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들을 스캔하는 수단을 더 포함하고,
상기 디폴트 스캔 순서는 대응 신택스 엘리먼트를 사용하여 시그널링되지 않는, 비디오 데이터를 인코딩하는 장치.
제 45 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 시그널링된 스캔 순서를 식별하는 인덱스 값인, 비디오 데이터를 인코딩하는 장치.
제 45 항에 있어서,
상기 미리 정해진 임계치는 미리 정해진 매트릭스 사이즈 임계치인, 비디오 데이터를 인코딩하는 장치.
제 48 항에 있어서,
상기 미리 정해진 매트릭스 사이즈 임계치는 8x8 매트릭스인, 비디오 데이터를 인코딩하는 장치.
제 45 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 비디오 데이터를 인코딩하는 장치.
제 45 항에 있어서,
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하는 수단을 더 포함하는, 비디오 데이터를 인코딩하는 장치.
명령들을 저장한 컴퓨터 판독가능 저장 매체로서,
상기 명령들은, 실행될 때, 비디오 데이터를 인코딩하기 위한 디바이스의 프로세서로 하여금,
비디오 데이터의 블록과 관련된 변환 계수들의 수를 판정하게 하고;
상기 변환 계수들의 수가 미리 정해진 임계치를 초과하는지를 판정하는 것에 기초하여 스캔 순서를 시그널링할지를 판정하게 하고;
상기 스캔 순서를 결정하게 하고 상기 결정된 스캔 순서에 따라 상기 변환 계수들을 스캔하게 하고;
상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과할 때 비트스트림 내의 포함을 위한 적어도 하나의 신택스 엘리먼트를 상기 비디오 데이터의 블록과 관련시킴으로써 상기 결정된 스캔 순서를 나타내는, 상기 변환 계수들과 별개인, 적어도 하나의 신택스 엘리먼트를 시그널링하게 하고, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 적어도 하나의 신택스 엘리먼트를 시그널링하지 않게 하며,
상기 스캔 순서는 상기 변환 계수들이 2 차원 어레이로부터 1 차원 어레이로 직렬화되는 순서를 나타내는, 컴퓨터 판독가능 저장 매체.
제 52 항에 있어서,
상기 프로세서로 하여금,
비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수를 판정하게 하고;
상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하지 않을 때 상기 시그널링된 스캔 순서와 상이한 디폴트 스캔 순서에 따라 상기 비디오 데이터의 제 2 블록과 관련된 변환 계수들을 스캔하게 하는 명령을 더 포함하고,
상기 디폴트 스캔 순서는 대응 신택스 엘리먼트를 사용하여 시그널링되지 않는, 컴퓨터 판독가능 저장 매체.
제 52 항에 있어서,
상기 적어도 하나의 신택스 엘리먼트는 스캔 순서의 사전 정의된 테이블로부터 상기 시그널링된 스캔 순서를 식별하는 인덱스 값인, 컴퓨터 판독가능 저장 매체.
제 52 항에 있어서,
상기 미리 정해진 임계치는 미리 정해진 매트릭스 사이즈 임계치인, 컴퓨터 판독가능 저장 매체.
제 55 항에 있어서,
상기 미리 정해진 매트릭스 사이즈 임계치는 8x8 매트릭스인, 컴퓨터 판독가능 저장 매체.
제 52 항에 있어서,
상기 변환 계수들은 비제로 변환 계수들이고, 상기 미리 정해진 임계치는 미리 정해진 비제로 변환 계수 임계치인, 컴퓨터 판독가능 저장 매체.
제 52 항에 있어서,
상기 프로세서로 하여금, 상기 변환 계수들의 수가 상기 미리 정해진 임계치를 초과하는지를, 상기 비디오 데이터의 블록과 관련된 변환 유닛 (TU; transform unit) 의 최종 유효 계수 플래그 (last significant coefficient flag); 상기 변환 유닛과 관련된 유효 변환 계수들의 수; 상기 변환 유닛과 관련된 최종 유효 변환 계수의 상대적 위치; 및 상기 변환 유닛과 관련된 유효성 맵으로 구성된 그룹 중 하나 이상에 기초하여 판정하게 하는 명령을 더 포함하는, 컴퓨터 판독가능 저장 매체.