KR20170132894A

KR20170132894A - 변환 유닛의 잔차 계수에 대한 유효도 맵을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템

Info

Publication number: KR20170132894A
Application number: KR1020177033760A
Authority: KR
Inventors: 크리스토퍼 제임스 로즈원; 앨빈 에드리아 라비오스
Original assignee: 캐논 가부시끼가이샤
Priority date: 2012-01-19
Filing date: 2013-01-18
Publication date: 2017-12-04
Also published as: HUE048872T2; RU2644127C1; WO2013106887A1; AU2012200319B2; KR101909855B1; BR122019026439B1; JP6165172B2; US10516887B2; CN107734343B; KR20180135991A; CN107734341A; US10531100B2; RU2697615C1; JP2021072641A; AU2017232033B2; KR101930669B1; JP2017184236A; CN107734343A; CN107770549A; HRP20230640T1

Abstract

비디오 데이터의 비트스트림으로부터 변환 유닛의 잔차 계수들을 디코딩하는 방법이 개시된다. 이 방법은, 비디오 데이터의 비트스트림으로부터 변환 유닛(1500)을 수신하고, 이 변환 유닛은 상위(1503) 및 하위(1502) 레벨 정사각형 층을 가진다. 상위 레벨 층은 최대 4개의 유효 계수 그룹 플래그들의 정사각형 배열을 나타내고, 유효 계수 그룹 플래그들 각각은 하위 레벨 층의 비중복 영역을 나타낸다. 이 방법은, 수신된 변환 유닛에 대한 정사각형 상위 레벨층의 유효 계수 그룹 플래그들을 결정하고, 비디오 데이터의 비트스트림의 변환 유닛을 디코딩하기 위해 상기 결정된 유효 계수 그룹 플래그들에 따라 정사각형 하위층의 잔차 계수들의 값들을 결정한다. 대응하는 인코딩 방법들도 역시 개시된다.

Description

변환 유닛의 잔차 계수에 대한 유효도 맵을 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR ENCODING AND DECODING THE SIGNIFICANCE MAP FOR RESIDUAL COEFFICIENTS OF A TRANSFORM UNIT}

본 발명은 대체로 디지털 비디오 신호 처리에 관한 것으로, 특히, 변환 유닛(TU)의 잔차 계수(residual coefficient)를 인코딩 및 디코딩하기 위한 방법, 장치 및 시스템에 관한 것으로, 변환 유닛(TU)은 정사각형 또는 비-정사각형을 가질 수 있다.

비디오 데이터의 전송과 저장을 위한 애플리케이션을 포함한, 비디오 코딩을 위한 많은 애플리케이션이 현재 존재하고 있다. 많은 비디오 코딩 표준도 역시 개발되었고 다른 것들도 현재 개발중에 있다. 비디오 코딩 표준화에서의 현재의 발전은 비디오 코딩에 관한 공동 협력팀(JCT-VC; Joint Collaborative Team on Video Coding)이라 불리는 그룹을 형성하였다. 비디오 코딩에 관한 공동 협력팀(JCT-VC)은, 비디오 코딩 전문가 그룹(VCEG; Video Coding Experts Group)이라 알려진, 국제 통신 연맹(ITU; International Telecommunication Union)의 통신 표준화 섹터(ITU-T)의 스터디 그룹 16, 퀘스쳔 6 (SG16/Q6)의 멤버들과, 동영상 전문가 그룹(MPEG; Moving Picture Experts Group)이라고도 알려진, 국제 표준화 기구/국제 전자기술 위임 공통 기술 위원회 1/부위원회 29/실무 그룹 11(ISO/IEC JTC1/SC29/WG11)의 멤버들을 포함한다.

비디오 코딩에 관한 공동 협력팀(JCT-VC)은 "H.264/MPEG-4 AVC"라 알려진 현존하는 비디오 코딩 표준을 상당히 능가하는 새로운 비디오 코딩 표준을 생성하는 목표를 가진다. H.264/MPEG-4 AVC 자체는, MPEG-4 및 ITU-T H.263 등의, 이전의 비디오 코딩 표준에 관한 상당한 향상이다. 개발중인 새로운 비디오 코딩 표준은 "고효율 비디오 코딩(HEVC; high efficiency video coding)"이라 명명되었다. 비디오 코딩에 관한 공동 협력팀(JCT-VC)은 또한, 표준의 구현을 고해상도 또는 높은 프레임 레이트에서 동작하도록 스케일링할 때 어려움을 야기하는 고효율 비디오 코딩(HEVC)을 위해 제안된 기술로부터 발생하는 구현 해결과제도 역시 고려하고 있다.

높은 압축 효율의 달성에 대해 어려움을 보이고 있는 H.264/MPEG-4 AVC 비디오 코딩 표준의 한 영역은 비디오 데이터를 나타내는데 이용되는 잔차 계수의 코딩이다. 비디오 데이터는 프레임들의 시퀀스에 의해 형성되고, 각 프레임은 샘플들의 2차원 배열을 갖는다. 통상적으로, 프레임은 하나의 휘도(luminance)와 2개의 색도(chrominance) 채널을 포함한다. 각각의 프레임은 최대 코딩 유닛(LCU; largest coding unit)들의 배열로 분해된다. 최대 코딩 유닛(LCU)은 고정된 크기를 가지며, 엣지 치수가 2의 거듭제곱이고, 64 루마 샘플(luma sample) 등의, 동일한 폭과 높이를 가진다. 코딩 트리는, 4개의 코딩 유닛(CU)으로의 각각의 최대 코딩 유닛(LCU)의 세분을 가능케하고, 각 코딩 유닛은 부모 최대 코딩 유닛(LCU)의 절반의 폭과 높이를 가진다. 코딩 유닛(CU)들 각각은 4개의 동등한-크기의 코딩 유닛(CU)들로 더 세분될 수 있다. 이러한 세분 프로세스는, 최소 코딩 유닛(SCU; smallest coding unit) 크기에 도달할 때까지 재귀적으로 적용될 수 있어서, 코딩 유닛(CU)들이 최소의 지원되는 크기까지 정의될 수 있게 한다. 코딩 유닛들의 계층구조로의 최대 코딩 유닛의 재귀적 세분은 쿼드트리(quadtree) 구조를 가지며 코딩 트리라고 한다. 이러한 세분 프로세스는 통신 비트스트림 내에 빈(bin)으로서 코딩된 플래그들의 시퀀스로서 인코딩된다. 따라서 코딩 유닛은 정사각형을 가진다.

코딩 트리에는, 더 이상 세분되지 않는 한 세트의 코딩 유닛들이 존재하고, 이들 코딩 유닛들은 코딩 트리의 리프 노드(leaf node)들을 점유한다. 변환 트리는 이들 코딩 유닛들에 존재한다. 변환 트리는 코딩 트리에 이용될 때 쿼드트리 구조를 이용하여 코딩 유닛을 더 분해할 수 있다. 변환 트리의 리프 노드들에서, 잔차 데이터는 변환 유닛(TU)을 이용하여 인코딩된다. 코딩 트리와는 대조적으로, 변환 트리는 코딩 유닛들을 비-정사각형을 갖는 변환 유닛들로 세분할 수 있다. 또한, 변환 트리 구조는 변환 유닛(TU)들이 부모 코딩 유닛에 의해 제공되는 면역 모두를 점유할 것을 요구하지 않는다.

코딩 트리의 리프 노드에 있는 각 코딩 유닛은, 각각 예측 유닛(PU; prediction unit)이라 알려진, 예측된 데이터 샘플들의 하나 이상의 배열로 세분된다. 각 예측 유닛(PU)은, 인트라-예측 또는 인터-예측 프로세스(inter-prediction process)를 적용함으로써 유도되는, 입력 비디오 프레임 데이터의 일부의 예측을 포함한다. 코딩 유닛(CU) 내의 예측 유닛(PU)들을 코딩하기 위해 수 개의 방법들이 이용될 수 있다. 단일 예측 유닛(PU)은 코딩 유닛(CU)의 전체 면적을 점유하거나, 코딩 유닛(CU)은, 수평으로 또는 수직으로, 2개의 동등한-크기의 직사각형 예측 유닛(PU)으로 분할될 수도 있다. 추가적으로, 코딩 유닛(CU)은 4개의 동등한-크기의 정사각형 예측 유닛(PU)으로 분할될 수 있다.

비디오 인코더는, 비디오 데이터를 신택스 요소들의 시퀀스로 변환함으로써 비디오 데이터를 비트스트림으로 압축한다. MPEG4-AVC/H.264 비디오 압축 표준에서 정의된 것과 똑같은 산술 코딩 방식을 이용하여, 개발중인 고효율 비디오 코딩(HEVC) 표준 내에서 컨텍스트 적응성 2진 산술 코딩(CABAC; context adaptive binary arithmetic coding) 방식이 정의된다. 개발 중인 고효율 비디오 코딩(HEVC) 표준에서, 컨텍스트 적응성 2진 산술 코딩(CABAC)이 이용될 때, 각각의 신택스 요소는 빈들의 시퀀스(sequence of bins)로서 표현되고, 여기서, 빈들은 한 세트의 가용 빈들로부터 선택된다. 가용 빈들의 세트는 컨텍스트 모델로부터 얻어지고, 하나의 컨텍스트는 빈마다 존재한다. 각 컨텍스트는, 산술 인코딩 또는 산술 디코딩 동작에 대한 예상 빈 값(likely bin value)('valMPS') 및 확률 상태를 보유한다. 빈들은 바이패스 코딩될 수도 있고, 여기서, 컨텍스트와의 어떠한 연관도 없다는 점에 유의한다. 바이패스 코딩된 빈들은 비트스트림 내의 한 비트를 소비하므로, 1값 또는 0값과 동등한 확률을 갖는 빈들에 적합하다. 신택스 요소로부터 이러한 빈들의 시퀀스를 생성하는 것은 신택스 요소의 "2진화(binarising)"라 알려져 있다.

비디오 인코더 또는 비디오 디코더에서, 각 빈에 대해 별개의 컨텍스트 정보가 이용가능하므로, 빈에 대한 컨텍스트 선택은 코딩 효율을 개선시키는 수단을 제공한다. 특히, 코딩 효율은 특정한 빈을 선택하되, 연관된 컨텍스트 정보가 이용되었던 빈의 이전 인스턴스들로부터의 통계적 속성이 빈의 현재 인스턴스의 통계적 속성과 상관되도록 선택함으로써 개선될 수 있다. 이러한 컨텍스트 선택은 종종, 최적의 컨텍스트를 결정하기 위해 공간적으로 국지적인 정보를 이용한다.

개발중인 고효율 비디오 코딩(HEVC) 표준에서 및 H.264/MPEG-4 AVC에서, 현재의 블록에 대한 예측은, 다른 프레임들로부터, 또는 이전에 디코딩되었던 현재 블록 내의 이웃 영역들로부터의 기준 샘플 데이터에 기초하여 유도된다. 예측과 원하는 샘플 데이터 사이의 차이가 잔차(residual)라고 알려져 있다. 잔차의 주파수 영역 표현은 잔차 계수의 2차원 배열이다. 관례상, 2차원 배열의 좌상귀는 저주파 정보를 나타내는 잔차 계수를 포함한다.

전형적인 비디오 데이터에서, 샘플 값들에서의 변경의 다수는 점진적이므로, 잔차 내에 저주파 정보의 우세를 야기한다. 이것은 2차원 배열의 좌상귀에 위치한 잔차 계수에 대한 더 큰 크기로서 분명해진다.

잔차 계수의 2차원 배열의 좌상귀에서 저주파 정보가 우세해지는 속성은, 선택된 2진화 방식에 의해 비트스트림 내의 잔차 계수의 크기를 최소화하기 위해 활용될 수 있다.

HM-5.0은 변환 유닛(TU)을 다수의 서브셋으로 분할하고 각각의 서브셋에서 2 패스(two pass)로 잔차 계수를 스캔한다. 제1 패스는, 비제로-값(유효) 또는 제로값(비유효)으로서의 잔차 계수의 상태를 나타내는 플래그를 인코딩한다. 이 데이터는 유효도 맵(significance map)이라 알려져 있다. 제2 패스는, 계수 레벨이라 알려진, 유효 잔차 계수들의 크기와 부호를 인코딩한다.

제공된 스캔 패턴은 잔차 계수들의 2차원 배열의 1차원 배열로의 스캔을 가능케 한다. HM-5.0에서, 제공된 스캔 패턴은 유효도 맵과 계수 레벨들 모두를 처리하는데 이용된다. 제공된 스캔 패턴을 이용하여 유효도 맵을 스캔함으로써, 2차원 유효도 맵 내의 마지막 유효 계수의 위치가 결정될 수 있다. 스캔 패턴은 수평, 수직, 또는 대각일 수 있다.

고효율 비디오 코딩(HEVC) 테스트 모델 5.0(HM-5.0)은, 정사각형과 비-정사각형 양쪽 모두를 갖는 변환 유닛(TU)이라고도 알려진 잔차 블록을 지원한다. 각각의 변환 유닛(TU)은 한 세트의 잔차 계수를 포함한다. 변들의 치수가 같은 잔차 블록은 정사각형 변환 유닛(TU)이라 알려져 있고, 변들의 치수가 같지 않은 잔차 블록은 비-정사각형 변환 유닛(TU)이라 알려져 있다.

HM-5.0에서 지원되는 변환 유닛(TU) 크기는 4x4, 8x8, 16x16, 32x32, 4x16, 16x4, 8x32 및 32x8이다. 변환 유닛(TU) 크기는 통상적으로 루마-샘플(luma-sample)들의 관점에서 기술되지만, 4:2:0의 크로마(chroma) 포멧이 이용될 때, 각각의 크로마 샘플은 2x2 루마 샘플의 면적을 점유한다. 따라서, 크로마 잔차 데이터를 인코딩하기 위한 변환 유닛(TU)의 스캔은, 4x4 루마 잔차 블록에 대해 2x2와 같이, 수평 및 수직 치수의 절반의 스캔 패턴을 이용한다. 잔차 계수의 스캔과 코딩의 목적을 위해, 16x16, 32x32,4x16, 16x4, 8x32 및 32x8 변환 유닛(TU)은 다수의 서브블록, 즉: HM-5.0 내에 존재하는 대응하는 맵과 함께, 4x4 크기를 갖는 변환 유닛(TU) 스캔의 하위층으로 분할된다. HM-5.0에서, 이들 변환 유닛(TU) 크기들에 대한 서브블록들은 변환 유닛(TU) 내의 서브셋들과 함께 위치한다. 하나의 서브블록 내에 함께 위치한 유효도 맵의 일부 내의 설정된 유효 계수 플래그들은 유효 계수 그룹이라 불린다. 16x16, 32x32, 4x16, 16x4, 8x32 및 32x8 변환 유닛(TU)의 경우, 유효도 맵 코딩은 2-레벨 스캔을 이용한다. 상위 레벨 스캔은, 각각의 서브블록의 유효 계수 그룹을 나타내는 플래그들을 코딩 또는 유추하기 위해, 역방향 대각 하방-좌측 스캔 등의, 스캔을 수행한다. 서브블록들 내에서, 역방향 대각 하방-좌측 스캔 등의 스캔이 수행되어 1값의 유효 계수 그룹 플래그를 갖는 서브블록들에 대한 유효 계수 플래그들을 코딩한다. 16x16 변환 유닛(TU)의 경우, 4x4 상위 레벨 스캔이 이용된다. 32x32 변환 유닛(TU)의 경우, 8x8 상위 레벨 스캔이 이용된다. 16x4, 4x16, 32x8 및 8x32 변환 유닛(TU) 크기의 경우, 각각 4x1, 1x4, 8x2 및 2x8 상위 레벨 스캔이 이용된다.

각각의 변환 유닛(TU)에서, 잔차 계수 데이터는 비트스트림으로 인코딩될 수 있다. 각각의 "잔차 계수"는, 주파수(DCT) 영역에서 변환 유닛 내의 화상 특성을 나타내며 변환 유닛 내의 고유 위치를 점유하는 숫자이다. 변환 유닛은, 공간 영역과 주파수 영역 사이에서 변환될 수 있는 잔차 데이터 샘플들의 블록이다. 주파수 영역에서, 변환 유닛(TU)은 잔차 데이터 샘플들을 잔차 계수 데이터로서 인코딩한다. 변환 유닛의 변 치수는 2의 거듭제곱으로 크기 부여될 수 있고, "루마" 채널에 대해서는 4개 샘플 내지 32개 샘플에 이르고, "크로마" 채널에 대해서는 2개 내지 16개 샘플에 이른다. 어떠한 잔차 계수 데이터도 요구되지 않는 경우, 변환 유닛(TU) 트리의 리프 노드들은 변환 유닛(TU)을 포함하거나 아무 것도 포함하지 않는다.

변환 유닛의 공간적 표현은 잔차 데이터 샘플의 2차원 배열이므로, 아래에서 상세히 설명되는 바와 같이, 수정된 이산 코사인 변환(DCT) 등의, 변환으로부터 발생하는 주파수 영역 표현도 역시 잔차 계수의 2차원 배열이다. 변환 유닛(TU) 내의 전형적인 샘플 데이터의 스펙트럼 특성은, 주파수 영역 표현이 공간적 표현보다 더욱 컴팩트하게 되도록 하는 것이다. 또한, 변환 유닛(TU)에서 전형적인 더 낮은-주파수 스펙트럼 정보의 우세는 변환 유닛(TU)의 상위-좌측을 향하여 더 큰 값의 잔차 계수들의 클러스터링을 야기하고, 그 곳에서 저주파 잔차 계수들이 표현된다.

잔차 변환을 구현하기 위해 수정된 이산 코사인 변환(DCT; discrete cosine transform) 또는 수정된 이산 사인 변환(DST; discrete sine transform)이 이용될 수 있다. 잔차 변환의 구현은 각각의 요구되는 변환 유닛(TU) 크기를 지원하도록 구성된다. 비디오 인코더에서, 잔차 변환으로부터의 잔차 계수들은 스케일링되고 양자화된다. 스케일링 및 양자화는 잔차 계수들의 크기를 감소시켜, 영상 품질의 감소를 댓가로 비트스트림 내로 코딩된 데이터의 크기를 감소시킨다.

개발중인 고효율 비디오 코딩(HEVC) 표준의 복잡성의 한 양태는 스캔을 수행하기 위하여 요구되는 참조 테이블(look-up table)의 수이다. 각각의 추가적인 참조 테이블은 원치않는 메모리 소비를 초래하므로 복잡성 감소의 한 양태에서 참조 테이블의 수를 줄이는 것이 요구된다.

본 발명의 목적은 기존 구조의 하나 이상의 단점을 상당히 극복하거나, 적어도 완화하는 것이다.

본 개시의 한 양태에 따르면, 비디오 데이터의 비트스트림으로부터 변환 유닛의 잔차 계수를 디코딩하는 방법이 제공되고, 이 방법은:

비디오 데이터의 비트스트림으로부터 변환 유닛 ―상기 변환 유닛은 상위 및 하위 레벨 정사각형 층을 갖고, 상기 상위 레벨 층은 최대 4개의 유효 계수 그룹 플래그들의 정사각형 배열을 나타내고, 유효 계수 그룹 플래그들 각각은 상기 하위 레벨 층의 비중복 영역을 나타냄― 을 수신하는 단계;

수신된 변환 유닛에 대한 정사각형 상위 레벨 층의 유효 계수 그룹 플래그들을 결정하는 단계; 및

비디오 데이터의 비트스트림의 변환 유닛을 디코딩하기 위해 상기 결정된 유효 계수 그룹 플래그들에 따라 정사각형 하위층의 잔차 계수들의 값들을 결정하는 단계를 포함한다.

바람직하게는 최대 4개의 유효 계수 그룹 플래그들에 의해 표현된 비중복 영역들 각각은 정사각형 영역이고, 각 영역은 16개 잔차 계수를 갖는다.

바람직하게는 상위 레벨층은 4개의 유효 계수 플래그들을 갖고, 이 방법은 미리결정된 스캔 패턴에 오프셋을 적용함으로써 하위 레벨층의 비중복층들 각각에 대한 스캔 패턴을 결정하는 단계를 더 포함한다.

이 방법은 비트스트림에 인코딩된 유효 계수 플래그들을 디코딩함으로써 정사각형 상위 레벨층의 유효 계수 그룹 플래그를 결정할 수도 있다.

바람직하게는 정사각형 상위 레벨층의 유효 계수 그룹 플래그들의 결정은 유효 계수 플래그들 중 적어도 하나를 유추하는 것을 포함한다.

유익하게도 변환 유닛의 하위 레벨 층은 서브블록들로서 형성되고, 결정된 유효 계수 그룹 플래그들에 따라 정사각형 하위층의 잔차 계수들의 값을 결정하는 것은 변환 유닛의 서브블록들 각각에 관해 반복하는 것을 포함한다. 바람직하게 상기 반복은 서브블록들 각각을 나타내는 선형 배열을 형성하고, 여기서, 대응하는 오프셋 값은 선형 배열로부터 각각의 서브블록을 재구성하는데 이용된다.

특정한 구현에서, 상위 레벨 층은 4개의 유효 계수 그룹 플래그들의 정사각형 배열을 나타낸다.

한 구현에서, 변환 유닛의 하위층의 스캔 방향은 변환 유닛에 적용되는 인트라-예측 모드에 따라 선택된다. 또 다른 구현에서, 변환 유닛의 상위층의 스캔 방향은 변환 유닛에 적용되는 인트라-예측 모드에 따라 선택된다. 또한, 변환 유닛의 상위층의 스캔 방향은 대각방향이고 변환 유닛의 하위층의 스캔 방향과는 독립적이다.

본 개시의 또 다른 양태에 따르면, 비디오 데이터의 비트스트림의 변환 유닛의 잔차 계수의 인코딩 방법이 제공되고, 이 방법은:

변환 유닛의 정사각형 하위층에 대한 잔차 계수들의 값들을 수신하는 단계;

상기 변환 유닛의 정사각형 상위 레벨층에 대한 유효 계수 그룹 플래그들 ―상기 상위 레벨 층은 최대 4개의 유효 계수 그룹 플래그들의 정사각형 배열을 나타내고, 유효 계수 그룹 플래그들 각각은 하위 레벨 층의 비중복 영역을 나타냄― 을 결정하는 단계; 및

비디오 데이터의 비트스트림의 변환 유닛을 인코딩하기 위해 정사각형 하위층에 대한 잔차 계수들의 값들과 정사각형 상위 레벨층의 유효 계수 그룹 플래그들을 인코딩하는 단계를 포함한다.

또 다른 양태에 따르면, 비디오 데이터의 비트스트림으로부터의 변환 유닛의 잔차 계수들의 디코딩 방법이 제공되고, 이 방법은:

비디오 데이터의 비트스트림으로부터 변환 유닛 ―상기 변환 유닛은 상위 레벨 및 하위 레벨 정사각형 층을 갖고, 상기 상위 레벨 정사각형 층은 유효 계수 그룹 플래그들의 정사각형 배열을 나타내고, 유효 계수 그룹 플래그들 각각은 상기 하위 레벨 정사각형 층의 비중복 영역을 나타냄― 을 수신하는 단계;

인트라-예측 모드에 따라 상위 레벨 정사각형층 및 하위 레벨 정사각형층 ―상기 상위 레벨 정사각형층 및 하위 레벨 정사각형층의 스캔 패턴은 동일함― 의 스캔 패턴을 결정하는 단계;

결정된 스캔 패턴에 따라 수신된 변환 유닛에 대한 상위 레벨 정사각형층의 유효 계수 그룹 플래그들을 결정하는 단계; 및

비디오 데이터의 비트스트림의 변환 유닛을 디코딩하기 위해 상기 결정된 유효 계수 그룹 플래그들에 따라 하위 레벨 정사각형 층의 잔차 계수들의 값들을 결정하는 단계를 포함한다.

다른 양태들도 역시 개시된다.

본 발명의 적어도 하나의 실시예들이 이제 첨부된 도면들을 참조하여 설명될 것이다:
도 1은 비디오 인코더의 기능 모듈들을 도시하는 개략적 블록도이다;
도 2는 비디오 디코더의 기능 모듈들을 도시하는 개략적 블록도이다;
도 3a 및 도 3b는, 각각 도 1 및 도 2의 인코더 및 디코더가 실시될 수 있는 범용 컴퓨터 시스템의 개략적 블록도를 형성한다;
도 4는 엔트로피 인코더의 기능 모듈들을 도시하는 개략적 블록도이다;
도 5는 엔트로피 디코더의 기능 모듈들을 도시하는 개략적 블록도이다;
도 6은 8x8 변환 유닛(TU)의 잔차 계수들을 인코딩하기 위한 종래의 방법을 도시하는 흐름도이다;
도 7은 8x8 변환 유닛(TU)의 잔차 계수들을 디코딩하기 위한 종래의 방법을 도시하는 흐름도이다;
도 8은 유효 계수 그룹을 이용하여 8x8의 변환 유닛(TU)의 잔차 계수들을 인코딩하기 위한 본 개시에 따른 방법을 도시하는 흐름도이다;
도 9는 유효 계수 그룹을 이용하여 8x8 변환 유닛(TU)의 잔차 계수를 디코딩하기 위한 본 개시에 따른 방법을 도시하는 흐름도이다;
도 10a 및 도 10b는 8x8 변환 유닛(TU)의 유효 계수 그룹을 나타내기 위한 본 개시에 따른 방법을 나타낸다;
도 11은 역방향 대각 스캔을 이용하여 8x8 변환 유닛(TU)의 잔차 계수들을 스캔하기 위한 종래의 방법을 도시하는 도면이다;
도 12는 역방향 수평 스캔을 이용하여 8x8 변환 유닛(TU)의 잔차 계수들을 스캔하기 위한 종래의 방법을 도시하는 도면이다;
도 13은 역방향 수직 스캔을 이용하여 8x8 변환 유닛(TU)의 잔차 계수들을 스캔하기 위한 종래의 방법을 도시하는 도면이다;
도 14는 2층 계층구조를 이용하여 8x8 변환 유닛(TU)의 잔차 계수들을 스캔하기 위한 본 개시에 따른 방법을 도시하는 도면이다;
도 15a 내지 도 15c는 역방향 대각 스캔을 이용하여 8x8 변환 유닛(TU)의 잔차 계수들을 스캔하기 위한 본 개시에 따른 방법을 나타낸다;
도 16a 내지 도 16c는 역방향 수평 스캔을 이용하여 8x8 변환 유닛(TU)의 잔차 계수들을 스캔하기 위한 본 개시에 따른 방법을 나타낸다;
도 17a 내지 도 17c는 역방향 수직 스캔을 이용하여 8x8 변환 유닛(TU)의 잔차 계수들을 스캔하기 위한 본 개시에 따른 방법을 나타낸다;
도 18a 내지 도 18c는 오프셋을 이용하는 스캔에 대한 대안적 접근법을 나타낸다.

첨부된 도면들 중 임의의 하나 이상에서 동일한 참조 번호를 갖는 단계들 및/또는 피쳐들에 대한 참조가 이루어지는 경우, 이들 단계들 및/또는 피쳐들은, 본 설명의 목적을 위해, 반대되는 의도가 나타나지 않는 한, 동일한 기능(들) 또는 동작(들)을 갖는다.

도 1은 비디오 인코더(100)의 기능 모듈들을 도시하는 개략적 블록도이다. 도 2는 대응하는 비디오 디코더(200)의 기능 모듈들을 도시하는 개략적 블록도이다. 비디오 인코더(100) 및 비디오 디코더(200)는, 컴퓨터 시스템(300) 내의 전용 하드웨어에 의해, 컴퓨터 시스템(300) 내에서 실행가능한 소프트웨어에 의해, 또는 대안으로서 컴퓨터 시스템(300) 내의 전용 하드웨어와 실행가능한 소프트웨어의 조합에 의해 다양한 기능 모듈들이 구현될 수 있는 도 3a 및 도 3b에 도시된 바와 같은, 범용 컴퓨터 시스템(300)을 이용하여 구현될 수 있다.

도 3a에서 볼 수 있는 바와 같이, 컴퓨터 시스템(300)은, 컴퓨터 모듈(301); 키보드(302), 마우스 포인터 장치(303), 스캐너(326), 카메라(327), 및 마이크로폰(380) 등의 입력 장치; 및 프린터(315), 디스플레이 장치(314) 및 확성기(317)를 포함하는 출력 장치를 포함한다. 외부 변조기-복조기(Modem) 트랜시버 장치(316)는, 접속(321)을 통해 통신 네트워크(320)와 통신하기 위해 컴퓨터 모듈(301)에 의해 이용될 수 있다. 통신 네트워크(320)는, 인터넷, 셀룰러 통신 네트워크, 또는 사설 WAN 등의 광역 네트워크(WAN)일 수 있다. 접속(321)이 전화선인 경우, 모뎀(316)은 전통적인 "다이얼-업" 모뎀일 수 있다. 대안으로서, 접속(321)이 고용량(예를 들어, 케이블) 접속인 경우, 모뎀(316)은 광대역 모뎀일 수 있다. 통신 네트워크(320)로의 무선 접속을 위해 무선 모뎀도 사용될 수 있다.

컴퓨터 모듈(301)은 통상적으로, 적어도 하나의 프로세서 유닛(305)과 메모리 유닛(306)을 포함한다. 예를 들어, 메모리 유닛(306)은 반도체 랜덤 액세스 메모리(RAM)와 반도체 판독 전용 메모리(ROM)를 가질 수 있다. 컴퓨터 모듈(301)은, 비디오 디스플레이(314), 확성기(317), 및 마이크로폰(380)에 결합하는 오디오-비디오 인터페이스(307); 키보드(302), 마우스(303), 스캐너(326), 카메라(327) 및 선택사항으로서 조이스틱 또는 기타의 인간 인터페이스 장치(미도시)와 결합하는 I/O 인터페이스(313); 및 외부 모뎀(316) 및 프린터(315)를 위한 인터페이스(308)를 포함한 다수의 입력/출력(I/O) 인터페이스를 포함한다. 일부 구현에서, 모뎀(316)은, 컴퓨터 모듈(301) 내에, 예를 들어, 인터페이스(308) 내에 포함될 수 있다. 컴퓨터 모듈(301)은 또한, 접속(323)을 통해, 근거리 통신망(LAN)이라 알려진, 근거리 통신 네트워크(322)로의 컴퓨터 시스템(300)의 결합을 허용하는 근거리 네트워크 인터페이스(311)를 가진다. 도 3a에 나타낸 바와 같이, 근거리 통신 네트워크(322)는 또한, 통상적으로 소위 "방화벽" 장치 또는 유사한 기능의 장치를 포함하는 접속(324)을 통해 광역 네트워크(320)에 결합될 수 있다. 근거리 네트워크 인터페이스(311)는, 이더넷 회로 카드, 블루투스 무선 기구 또는 IEEE 802.11 무선 기구를 포함할 수 있다; 그러나, 인터페이스(311)를 위해 수 많은 다른 유형의 인터페이스들이 실시될 수 있다.

I/O 인터페이스(308 및 313)는 직렬 및 병렬 접속 중 하나 또는 양쪽 모두를 제공할 수 있고, 전자는 통상적으로 유니버설 직렬 버스(USB) 표준에 따라 구현되고 대응하는 USB 단자(미도시)를 가진다. 저장 장치(309)가 제공되고 통상적으로 하드 디스크 드라이브(HDD)(310)를 포함한다. 플로피 디스크 드라이브 및 자기 테이프 드라이브(미도시)와 같은 다른 저장 장치도 이용될 수 있다. 광 디스크 드라이브(312)는 통상적으로 비휘발성 데이터 소스를 제공하기 위해 제공된다. 광 디스크(예를 들어, CD-ROM, DVD, 블루레이 디스크), USB-RAM, 휴대형 외장 하드 드라이브, 및 플로피 디스크 등의 휴대형 메모리 장치는, 예를 들어, 시스템(300)에 대한 적절한 데이터 소스로서 이용될 수 있다. 통상적으로, HDD(310), 광 드라이브(312), 네트워크(320 및 322), 또는 카메라(327) 중 임의의 것은, 인코딩될 비디오 데이터에 대한 소스가 될 수 있고, 디스플레이(314)는 저장되거나 재생될 디코딩된 비디오 데이터의 목적지가 될 수 있다.

컴퓨터 모듈(301)의 컴포넌트(305 내지 313)는 통상적으로 상호접속된 버스(304)를 통해 당업자에게 공지된 컴퓨터 시스템(300)의 종래의 동작 모드를 야기하는 방식으로 통신한다. 예를 들어, 프로세서(305)는 접속(318)을 통해 시스템 버스(304)에 결합된다. 마찬가지로, 메모리(306) 및 광 디스크 드라이브(312)는 접속(319)을 통해 시스템 버스(304)에 결합된다. 설명된 구조가 실시될 수 있는 컴퓨터의 예로서는, IBM-PC 및 그 호환형, Sun Sparcstations, Apple Mac™ 또는 그 유사한 컴퓨터 시스템이 포함된다.

적절하거나 원하는 경우, 인코더(100) 및 디코더(200) 뿐만 아니라, 이하에서 설명되는 방법은, 컴퓨터 시스템(300)을 이용하여 구현될 수 있고, 여기서, 설명될 인코더(100), 디코더(200), 및 도 10 및 도 11의 프로세스들은, 컴퓨터 시스템(300) 내에서 실행가능한 하나 이상의 소프트웨어 애플리케이션 프로그램(333)으로서 구현될 수 있다. 특히, 인코더(100), 디코더(200) 및 설명되는 방법들의 단계들은, 컴퓨터 시스템(300) 내에서 실행되는 소프트웨어(333) 내의 명령어(331))(도 3b 참조)에 의해 시행된다. 소프트웨어 명령어(331)는 하나 이상의 모듈로서 형성될 수 있고, 각 모듈은 하나 이상의 특정한 태스크를 수행하기 위한 것이다. 소프트웨어는 또한, 2개의 별개의 부분들로 분할될 수 있으며, 제1 부분 및 대응하는 코드 모듈은 설명된 방법을 수행하고, 제2 부분 및 대응하는 코드 모듈은 제1 파트와 사용자 사이의 사용자 인터페이스를 관리한다.

소프트웨어는, 예를 들어, 후술되는 저장 장치를 포함한 컴퓨터 판독가능한 매체에 저장될 수 있다. 소프트웨어는 컴퓨터 판독가능한 매체로부터 컴퓨터 시스템(300) 내에 로딩된 다음, 컴퓨터 시스템(300)에 의해 실행된다. 이러한 소프트웨어 또는 컴퓨터 프로그램을 기록한 컴퓨터 판독가능한 매체는 컴퓨터 프로그램 제품이다. 컴퓨터 시스템(300) 내의 컴퓨터 프로그램 제품의 이용은 바람직하게는 인코더(100), 디코더(200), 및 설명되는 방법들을 구현하기 위한 유익한 장치를 달성한다.

소프트웨어(333)는 통상적으로 HDD(310) 또는 메모리(306)에 저장된다. 소프트웨어는 컴퓨터 판독가능한 매체로부터 컴퓨터 시스템(300) 내에 로딩되어, 컴퓨터 시스템(300)에 의해 실행된다. 따라서, 예를 들어, 소프트웨어(333)는 광 디스크 드라이브(312)에 의해 판독되는 광학적으로 판독가능한 저장 매체(예를 들어, CD-ROM)(325) 상에 저장될 수 있다.

일부 예에서, 애플리케이션 프로그램(333)은 하나 이상의 CD-ROM(325) 상에서 인코딩되고 대응하는 드라이브(312)를 통해 판독되어 사용자에게 공급되거나, 대안으로서, 네트워크(320 또는 322)로부터 사용자에 의해 판독될 수도 있다. 역시 또한, 소프트웨어는 다른 컴퓨터 판독가능한 매체로부터 컴퓨터 시스템(300)에 로딩될 수도 있다. 컴퓨터 판독가능한 저장 매체란, 실행 및/또는 처리를 위해, 기록된 명령어 및/또는 데이터를 컴퓨터 시스템(300)에 제공하는 임의의 비일시적 유형물의 저장 매체를 말한다. 이러한 저장 매체의 예로서는, 플로피 디스크, 자기 테이프, CD-ROM, DVD, 블루레이 디스크, 하드 디스크 드라이브, ROM 또는 집적 회로, USB 메모리, 광자기 디스크, 또는 PCMCIA 카드 등과 같은 컴퓨터 판독가능한 카드가, 컴퓨터 모듈(301)의 내부이든 외부이든지 상관없이 포함된다. 소프트웨어, 애플리케이션 프로그램, 명령어 및/또는 비디오 데이터 또는 인코딩된 비디오 데이터의 컴퓨터 모듈(301)로의 제공에 참여할 수 있는 일시적 또는 비-유형물 컴퓨터 판독가능한 전송 매체의 예로서는, 무선 또는 적외선 전송 채널 뿐만 아니라 또 다른 컴퓨터나 네트워킹된 장치로의 네트워크 접속, 및 e메일 전송 및 웹사이트 등에 기록된 정보를 포함한 인터넷이나 인트라넷이 포함된다.

앞서 언급된 애플리케이션 프로그램(333)의 제2 부분 및 대응하는 코드 모듈은, 디스플레이(314) 상에 렌더링되거나 기타의 방식으로 표현될 하나 이상의 그래픽 사용자 인터페이스(GUI)를 구현하기 위해 실행될 수 있다. 통상적으로 키보드(302) 및 마우스(303)의 조작을 통해, 컴퓨터 시스템(300)의 사용자와 애플리케이션은 GUI(들)과 연관된 애플리케이션으로의 제어 명령어 및/또는 입력을 제공하기 위해 기능적으로 조정가능한 방식으로 인터페이스를 조작할 수 있다. 확성기(317)를 통한 음성 프롬프트 출력 및 마이크로폰(380)을 통한 사용자 음성 명령 입력을 이용하는 오디오 인터페이스 등의, 다른 형태의 기능적으로 조정가능한 사용자 인터페이스도 구현될 수 있다.

도 3b는 프로세서(305) 및 "메모리"(334)의 상세한 모식 블록도이다. 메모리(334)는 도 3a의 컴퓨터 모듈(301)에 의해 엑세스될 수 있는 (HDD(309) 및 반도체 메모리(306)를 포함한) 모든 메모리 모듈들의 논리적 집합체를 나타낸다.

컴퓨터 모듈(301)이 처음 전원투입될 때, 시동시-자체-테스트(POST; power-on self-test) 프로그램(350)이 실행된다. POST 프로그램(350)은 통상적으로 도 3a의 반도체 메모리(306)의 ROM(349)에 저장된다. 소프트웨어를 저장하는 ROM(349) 등의 하드웨어 장치는 때때로 펌웨어라고 한다. POST 프로그램(350)은 컴퓨터 모듈(301) 내의 하드웨어를 검사하여 적절한 기능을 보장하고, 통상적으로는, 프로세서(305), 메모리(334)(309, 306), 및 기본 입력-출력 시스템 소프트웨어(BIOS) 모듈(351)을 검사하고, 또한 통상적으로는 정확한 동작을 위해 ROM(349)에 저장된다. 일단 POST 프로그램(350)이 성공적으로 실행되고 나면, BIOS(351)는 도 3a의 하드 디스크 드라이브(310)를 작동시킨다. 하드 디스크 드라이브(310)의 작동은 하드 디스크 드라이브(310) 상에 존재하는 부트스트랩 로더 프로그램(352)이 프로세서(305)를 통해 실행되게 한다. 이것은 운영 체제(353)를 RAM 메모리(306) 내에 로딩하고, 이 때 운영 체제(353)는 동작을 개시한다. 운영 체제(353)는, 프로세서 관리, 메모리 관리, 장치 관리, 저장장치 관리, 소프트웨어 애플리케이션 인터페이스, 및 일반 사용자 인터페이스를 포함한 다양한 하이 레벨 기능을 수행하기 위해, 프로세서(305)에 의해 실행가능한 시스템 레벨 애플리케이션이다.

운영 체제(353)는 컴퓨터 모듈(301) 상에서 실행중인 각각의 프로세스 또는 애플리케이션이 또 다른 프로세스에 할당된 메모리와 충돌하지 않고 실행되기에 충분한 메모리를 갖도록 보장하기 위해 메모리(334)(309, 306)를 관리한다. 또한, 도 3a의 시스템(300)에서 이용가능한 상이한 유형의 메모리는 각각의 프로세스가 효과적으로 실행될 수 있도록 반드시 적절하게 이용되어야 한다. 따라서, 집성된 메모리(334)는, (달리 언급되지 않는 한) 메모리의 특정 세그먼트가 어떻게 할당되는지를 나타내기 위한 것이 아니라, 컴퓨터 시스템(300)에 의해 액세스가능한 메모리와 이러한 것이 어떻게 이용되는지의 일반 뷰를 제공하기 위한 것이다.

도 3b에 도시된 바와 같이, 프로세서(305)는, 제어 유닛(339), 산술 논리 유닛(ALU)(340), 및 때때로 캐쉬 메모리라 불리는 국지 또는 내부 메모리(348)를 포함한 다수의 기능 모듈들을 포함한다. 캐쉬 메모리(348)는 통상적으로 레지스터 섹션에 다수의 저장 레지스터(344-346)를 포함한다. 하나 이상의 내부 버스(341)는 이들 기능 모듈들을 기능적으로 상호접속한다. 프로세서(305)는 또한 통상적으로, 접속(318)을 이용하여 시스템 버스(304)를 통해 외부 장치와 통신하기 위한 하나 이상의 인터페이스(342)를 가진다. 메모리(334)는 접속(319)을 이용하여 버스(304)에 결합된다.

애플리케이션 프로그램(333)은, 조건 분기 및 루프 명령어를 포함할 수 있는 명령어 시퀀스(331)를 포함한다. 프로그램(333)은 또한, 프로그램(333)의 실행에 이용되는 데이터(332)를 포함할 수 있다. 명령어(331) 및 데이터(332)는, 각각, 메모리 위치(328, 329, 330, 및 335, 336, 337)에 저장된다. 명령어(331)와 메모리 위치(328-330)의 상대적 크기에 의존하여, 특정한 명령어는 메모리 위치(330)에 도시된 명령어로 도시된 바와 같이 단일 메모리 위치에 저장될 수 있다. 대안으로서, 명령어는 다수의 부분(part)들로 세그먼트화될 수 있고, 부분들 각각은, 메모리 위치(328 및 329)에 도시된 명령어 세그먼트들에 의해 도시된 바와 같이, 별개의 메모리 위치에 저장된다.

일반적으로, 프로세서(305)에는 그 내부에서 실행되는 한 세트의 명령어가 주어진다. 프로세서(305)는 후속 입력을 기다리고, 후속 입력에 응답하여 프로세서(305)는 또 다른 세트의 명령어를 실행함으로써 응답한다. 모두가 도 3a에 도시되어 있는, 하나 이상의 입력 장치(302, 303)에 의해 생성된 데이터, 네트워크(320, 302) 중 하나를 통해 외부 소스로부터 수신된 데이터, 저장 장치(306, 309) 중 하나로부터 회수된 데이터 또는 대응하는 판독기(312) 내에 삽입된 저장 매체(325)로부터 회수된 데이터를 포함한 다수의 소스들 중 하나 이상으로부터, 각각의 입력이 제공될 수 있다. 한 세트의 명령어의 실행은 일부 경우에 데이터의 출력을 야기할 수 있다. 실행은 또한, 메모리(334)에 데이터 또는 변수를 저장하는 단계를 수반할 수 있다.

인코더(100), 디코더(200), 및 설명된 방법들은, 메모리(334) 내의 대응하는 메모리 위치(355, 356, 357)에 저장된 입력 변수(354)를 이용한다. 인코더(100), 디코더(200), 및 설명된 방법들은, 메모리(334) 내의 대응하는 메모리 위치(362, 363, 364)에 저장된 출력 변수(361)를 생성한다. 중간 변수(358)는 메모리 위치(359, 360, 366 및 367)에 저장될 수 있다.

도 3b의 프로세서(305)를 참조하면, 레지스터(344, 345, 346), 산술 논리 유닛(ALU)(340), 및 제어 유닛(339)은 함께 작업하여 프로그램(333)을 형성하는 명령어 세트 내의 모든 명령어에 대한 "인출, 디코드, 및 실행" 사이클을 수행하는데 필요한 마이크로-동작의 시퀀스를 수행한다. 각각의 인출, 디코드, 및 실행 사이클은:

(a) 메모리 위치(328, 329, 330)로부터 명령어(331)를 인출 또는 판독하는, 인출 동작;

(b) 제어 유닛(339)이 어느 명령어가 인출되었는지를 판정하는 디코드 동작; 및

(c) 제어 유닛(339) 및/또는 ALU(340)가 명령어를 실행하는 실행 동작.

그 후, 다음 명령어에 대한 추가의 인출, 디코드, 및 실행 사이클이 실행될 수 있다. 유사하게, 저장 사이클이 수행되고, 이에 의해 제어 유닛(339)은 메모리 위치(332)에 값을 저장 또는 기입한다.

설명될 도 1, 2, 4, 5, 7 내지 10, 및 14 내지 17의 프로세스들 내의 각각의 단계 또는 서브-프로세스는 프로그램(333)의 하나 이상의 세그먼트와 연관되고, 프로그램(333)의 표기된 세그먼트에 대한 명령어 세트 내의 모든 명령어에 대한 인출, 디코드, 및 실행 사이클을 수행하기 위해 함께 작업하는 프로세서(305) 내의 레지스터 섹션(344, 345, 347), ALU(340), 및 제어 유닛(339)에 의해 수행된다.

인코더(100), 디코더(200) 및 설명된 방법들은, 대안으로서, 설명된 방법들의 기능 또는 부기능을 수행하는 하나 이상의 집적 회로 등의 전용 하드웨어로 구현될 수 있다. 이러한 전용 하드웨어는 컴퓨터화된 장치의 형태일 수 있고, 그래픽 프로세서, 디지털 신호 프로세서, 주문형 집적 회로(ASIC), 필드 프로그래머블 게이트 어레이(FPGA) 또는 하나 이상의 마이크로프로세서 및 연관된 메모리들을 포함할 수 있다. 이러한 컴퓨터화된 장치는 소정의 코딩 동작들을 하드웨어로 수행하고 기타의 코딩 동작들은 하드웨어에 의한 소프트웨어 실행으로 수행하는데 이용될 수 있다.

전술된 바와 같이, 비디오 인코더(100)는, 하드 디스크 드라이브(305) 상에 상주하고 그 실행이 프로세서(305)에 의해 제어되는 소프트웨어 애플리케이션 프로그램(333)의 하나 이상의 소프트웨어 코드 모듈로서 구현될 수 있다. 특히, 비디오 인코더(100)는 모듈들(102 내지 112, 114 및 115)을 포함하고, 모듈들 각각은 소프트웨어 애플리케이션 프로그램(333)의 하나 이상의 소프트웨어 코드 모듈로서 구현될 수 있다.

비디오 인코더(100)는 고효율 비디오 코딩(HEVC) 비디오 디코딩 파이프라인의 예이지만, 모듈들(102 내지 112, 114, 및 115)에 의해 수행되는 처리 스테이지들은 VC-1 또는 H.264/MPEG-4 AVC 등의 다른 비디오 코덱과 공통된다. 비디오 인코더(100)는 인코딩되지 않은 프레임 데이터(101)를 일련의 프레임들로서 수신한다. 비디오 인코더(100)는 프레임 데이터(101)의 각 프레임을 예를 들어 코딩 유닛(CU) 트리로서 나타낼 수 있는 코딩 유닛(CU)의 계층적 세트로 분할한다.

비디오 인코더(100)는, 멀티플렉서 모듈(110)로부터 예측 유닛(PU)(120)이라 알려진 예측된 데이터 샘플들의 배열을 출력함으로써 동작한다. 차분 모듈(115)은, 예측 유닛(PU)(120)과, 프레임 데이터(101)로부터 수신된 데이터 샘플들의 대응하는 배열 사이의 차이를 출력하고, 그 차이는 잔차 데이터 샘플(122)이라고 알려져 있다.

차분 모듈(115)로부터의 잔차 데이터 샘플(122)은 변환 모듈(102)에 의해 수신되고, 변환 모듈(102)은 그 차이를 공간 표현으로부터 주파수 영역 표현으로 변환하여 변환 트리 내의 각 변환 유닛(TU)에 대한 변환 계수(124)를 생성한다. 개발중인 고효율 비디오 코딩(HEVC) 표준의 경우, 주파수 영역 표현으로의 변환은, 전통적인 이산 코사인 변환(DCT)이 쉬프트와 가산을 이용하여 구현되도록 수정된, 수정된 이산 코사인 변환(DCT)을 이용하여 구현된다. 그 다음, 변환 계수(124)는 스케일 및 양자화 모듈(103)에 입력되고, 스케일링 및 양자화되어 잔차 계수(126)를 생성한다. 스케일 및 양자화 프로세스는 정확도의 손실을 야기한다. 잔차 계수(126)는, 스케일 및 양자화 모듈(103)에 의해 수행된 스케일링을 역전시켜 잔차 계수(126)의 리스케일링된 버전인 리스케일링된 변환 계수(128)를 생성하는 역 스케일링 모듈(105)에 대한 입력으로서 취해진다. 잔차 계수(126)는 또한, 인코딩된 비트스트림(113)의 잔차 계수를 인코딩하는 엔트로피 인코더 모듈(104)에 대한 입력으로서 취해진다. 스케일 및 양자화 모듈(103)로부터 발생하는 정확도의 손실로 인해, 리스케일링된 변환 계수(128)는 원래의 변환 계수(124)와 동일하지 않다. 그 다음, 역 스케일링 모듈(105)로부터의 리스케일링된 변환 계수(128)는 역 변환 모듈(106)에 출력된다. 역 변환 모듈(106)은 주파수 영역으로부터 공간 영역으로의 역 변환을 수행하여 디코더에서 생성되는 공간 영역 표현과 동일한 리스케일링된 변환 계수(128)의 공간-영역 표현(130)을 생성한다.

움직임 추정 모듈(107)은, 프레임 데이터(101)를, 통상적으로 메모리(306) 내에 구성된 프레임 버퍼 모듈(112)에 저장된 이전 프레임 데이터와 비교함으로써 움직임 벡터(132)를 생성한다. 그 다음, 움직임 벡터(132)는, 움직임 벡터(132)로부터 유도된 공간 오프셋을 고려하여, 프레임 버퍼 모듈(112)에 저장된 샘플들을 필터링함으로써 인터-예측된(inter-predicted) 기준 샘플(134)을 생성하는 움직임 보상 모듈(108)에 입력된다. 도 1에 나타내지는 않았지만, 움직임 벡터(132)도 역시, 신택스 요소로서, 인코딩된 비트스트림(113)으로의 코딩을 위한 엔트로피 인코더 모듈(104)에 전달된다. 인트라-프레임 예측 모듈(109)은, 멀티플렉서 모듈(110)의 출력(120)과 역변환 모듈(106)로부터의 출력(130)을 합산하는 합산 모듈(114)로부터 얻어진 샘플(138)을 이용하여 인트라-예측된 기준 샘플(136)을 생성한다.

예측 유닛(PU)은 인트라-예측 또는 인터-예측 방법을 이용하여 코딩될 수 있다. 인트라-예측을 이용할지 또는 인터-예측을 이용할지에 대한 결정은 결과적 인코딩된 비트스트림(113)의 원하는 비트레이트와 인트라-예측 또는 인터-예측 방법에 의해 도입된 화질 왜곡량 사이의 레이트-왜곡 트레이드-오프에 따라 이루어진다. 멀티플렉서 모듈(110)은, 예시되어 있지는 않지만 널리 알려진 제어 로직에 의해 결정된 현재 예측 모드(142)에 따라, 인트라-프레임 예측 모듈(109)로부터의 인트라-예측된 기준 샘플(136) 또는 움직임 보상 블록(108)으로부터의 인터-예측된 기준 샘플(134)을 선택한다. 예측 모드(142)는 예시된 바와 같이 엔트로피 인코더(104)에도 제공되므로, 설명되는 바와 같이 변환 유닛의 스캔 순서를 결정하거나 기타의 방식으로 설정하는데 이용된다. 인터-프레임 예측은 대각 스캔 순서만을 이용하는 반면, 인트라-프레임 예측은 대각 스캔, 수평 스캔 또는 수직 스캔 순서를 이용할 수 있다.

합산 모듈(114)은 디블록킹 필터 모듈(111)에 입력된 합(138)을 생성한다. 디블록킹 필터 모듈(111)은 블록 경계를 따라 필터링을 수행하고, 메모리(306) 내에 구성된 프레임 버퍼 모듈(112)에 기입된 디블록킹된 샘플(140)을 생성한다. 프레임 버퍼 모듈(112)은 향후의 참조를 위해 복수의 과거 프레임으로부터의 데이터를 보유하기에 충분한 능력을 갖춘 버퍼이다.

비디오 인코더(100)에서, 하나의 변환 유닛(TU) 내의 잔차 데이터 샘플(122)은, 입력 프레임 데이터(101)의 데이터 샘플과 입력 프레임 데이터(101)의 데이터 샘플의 예측(120) 사이의 차이를 발견함으로써 결정된다. 이 차이는 변환 유닛(TU)의 잔차 계수의 공간적 표현을 제공한다.

엔트로피 인코더 모듈(104)의 동작에서, 변환 유닛(TU)의 잔차 계수는 2차원 유효도 맵(significance map)으로 변환된다. 변환 유닛(TU)에서의 잔차 계수의 유효도 맵은, 유효 계수 플래그(significant coefficient flag)의 리스트라 불리는, 플래그 값들의 1차원 리스트를 형성하도록, 스캔 순서라고 알려진 특정한 순서로 스캔될 수 있다. 스캔 순서는, 인트라-예측 모듈(109)로부터 예측 모드(142)와 함께 수신된 것과 같은, 스캔 패턴에 의해 기술되거나 기타의 방식으로 명시된다. 인트라-예측 모듈(109)은 스캔 패턴을 선택하는데 이용될 수 있는 인트라예측 모드를 결정한다. 예를 들어, 인트라-예측 모드1(수직 인트라-예측)이 선택된다면, 도 12에서 볼 수 있는 바와 같이, 수평 스캔이 이용된다. 인트라-예측 모드0(평면 인트라-예측)이 선택된다면, 도 11에서 볼 수 있는 바와 같이 대각 스캔이 이용되는 반면 인트라-예측 모드2(수평 인트라예측)가 선택된다면, 도 13에서 볼 수 있는 바와 같이 수직 스캔이 이용된다. 스캔 패턴은 수평, 수직, 대각 또는 지그재그일 수 있다. 고효율 비디오 코딩(HEVC) 테스트 모델의 버전 5는 역방향으로 스캔을 수행하지만, 순방향으로의 스캔도 역시 가능하다. 16x16, 32x32, 4x16, 16x4, 8x32 및 32x8 변환 유닛(TU)의 경우, 변환 유닛(TU)이 한 세트의 서브블록들로 분할되고 각각의 서브블록은 정사각형을 갖는 2-레벨 스캔이 정의된다. 상위 레벨에서, 스캐닝은 역방향 대각 하방-좌측 스캔 등의 스캔을 이용하여 각각의 더 낮은 레벨을 스캔함으로써 수행된다. 서브블록 레벨이라고도 알려진 더 낮은 레벨에서, 스캔은 또한, 역방향 대각 하방-좌측 스캔 등의 스캔을 이용하여 수행된다. HEVC 기준 모델 버전 5.0에서, 스캔 동작은 마지막 유효 계수 이후에(여기서, '이후'는 잔차 계수의 역방향 스캔의 방향이다) 하나의 잔차 계수를 개시하고 유효도 맵의 상위-좌측 위치에 도달할 때까지 진행한다. 이러한 속성을 갖고 HEVC 기준 모델 버전 5.0에 따르는 스캔 동작은 '역방향 스캔'이라고 알려져 있다. HEVC 기준 소프트웨어 버전 5.0에서, 마지막 유효 계수(last significant coefficient)의 위치는 변환 유닛(TU)에서의 계수의 좌표를 인코딩함으로써 시그널링된다. 당업자라면, 이 맥락에서 형용사 "마지막"의 사용은 스캔의 특정한 순서에 의존한다는 것을 이해할 것이다. 하나의 스캔 패턴에 따른 "마지막" 비제로 잔차 계수 또는 대응하는 1값 유효 계수 플래그가 될 수 있는 것은, 또 다른 스캔 패턴에 따른 "마지막"이 아닐 수 있다. 마지막 유효 계수 이전의 각각의 잔차 계수의 유효도를 나타내는 유효 계수 플래그의 리스트는 비트스트림(113) 내로 코딩된다. 마지막 유효 계수 플래그 값은 비트스트림(113) 내로 명시적으로 인코딩될 것이 요구되지 않는데, 이것은 마지막 유효 계수 플래그의 위치의 선행 코딩이 이 잔차 계수가 유효한 것이라는 것을 묵시적으로 표시했기 때문이다.

변환 유닛(TU)의 상방-좌측을 향한 더 큰 값의 잔차 계수의 클러스터링의 결과, 리스트의 초기에 최상위 플래그들이 유효한 반면, 리스트의 나중에 최하위 플래그들이 발견된다.

엔트로피 인코더 모듈(104)은 또한, 스케일 및 양자화 모듈(103)로부터 수신된 인입 잔차 계수 데이터(또는 잔차 계수)(126)로부터 신택스 요소를 생성한다. 엔트로피 인코더 모듈(104)은 인코딩된 비트스트림(113)을 출력하고 이하에서 더 상세히 설명될 것이다. 개발중인 고효율 비디오 코딩(HEVC) 표준의 경우, 인코딩된 비트스트림(113)은 네트워크 추상 계층(NAL; network abstraction layer) 유닛들로 구분된다. 프레임의 각각의 슬라이스는 하나의 NAL 유닛에 포함된다.

엔트로피 인코더 모듈(104)에 구현된 엔트로피 인코딩 방법에 대한 수 개의 대안이 있다. 개발중인 고효율 비디오 코딩(HEVC) 표준은, H.264/MPEG-4 AVC에서 발견되는 컨텍스트 적응성 2진 산술 코딩(CABAC)의 한 변형인, 컨텍스트 적응성 2진 산술 코딩(CABAC)을 지원한다. 대안적 엔트로피 코딩 방식은, 본 분야에 공지된 확률 구간 분할 엔트로피(PIPE; probability interval partitioning entropy)이다.

복수의 비디오 코딩 방법을 지원하는 비디오 인코더(100)의 경우, 지원되는 엔트로피 코딩 방법들 중 하나가 인코더(100)의 구성에 따라 선택된다. 또한, 각 프레임으로부터의 코딩 유닛들의 인코딩시에, 엔트로피 인코더 모듈(104)은 인코딩된 비트스트림(113)을 기입하되, 각 프레임이 프레임당 하나 이상의 슬라이스를 갖도록 기입하고, 각 슬라이스는 프레임의 일부에 대한 영상 데이터를 포함한다. 프레임당 하나의 슬라이스를 생성하는 것은 각각의 슬라이스 경계의 구분과 연관된 오버헤드를 감소시킨다. 그러나, 프레임을 복수의 슬라이스로 분할하는 것도 역시 가능하다.

비디오 디코더(200)는, 하드 디스크 드라이브(305) 상에 상주하고 그 실행이 프로세서(305)에 의해 제어되는 소프트웨어 애플리케이션 프로그램(333)의 하나 이상의 소프트웨어 코드 모듈로서 구현될 수 있다. 특히, 비디오 디코더(200)는 모듈들(202 내지 208, 및 210)을 포함하고, 모듈들 각각은 소프트웨어 애플리케이션 프로그램(333)의 하나 이상의 소프트웨어 코드 모듈로서 구현될 수 있다. 비디오 디코더(200)가 고효율 비디오 코딩(HEVC) 비디오 디코딩 파이프라인을 참조하여 설명되지만, 모듈들(202 내지 208, 및 209)에 의해 수행되는 처리 스테이지들은, H.264/MPEG-4 AVC, MPEG-2 및 VC-1 등의, 엔트로피 코딩을 채용하는 다른 비디오 코덱과 공통된다.

인코딩된 비트스트림(113) 등의 인코딩된 비트스트림은 비디오 디코더(200)에 의해 수신된다. 인코딩된 비트스트림(113)은, 메모리(306), 하드 디스크 드라이브(310), CD-ROM, 블루레이 디스크 또는 기타의 컴퓨터 판독가능한 저장 매체로부터 판독될 수 있다. 대안으로서, 인코딩된 비트스트림(113)은 통신 네트워크(320)에 접속된 서버 또는 무선-주파수 수신기 등의 외부 소스로부터 수신될 수 있다. 인코딩된 비트스트림(113)은 디코딩될 프레임 데이터를 나타내는 인코딩된 신택스 요소를 포함한다.

인코딩된 비트스트림(113)은 엔트로피 디코더 모듈(202)에 입력되고, 엔트로피 디코더 모듈(202)은 인코딩된 비트스트림(113)으로부터 신택스 요소를 추출하여 신택스 요소의 값을 비디오 디코더(200) 내의 다른 블록들에 전달한다. 엔트로피 인코더 모듈(104)을 참조하여 기술된 바와 같은, 복수의 엔트로피 디코딩 방법들이 엔트로피 디코더 모듈(202)에 구현될 수 있다. 잔차 계수 데이터를 나타내는 신택스 요소 데이터(220)는 역 스케일 및 변환 모듈(203)에 전달되고 움직임 벡터 정보를 나타내는 신택스 요소 데이터(222)는 움직임 보상 모듈(204)에 전달된다. 역 스케일 및 변환 모듈(203)은 잔차 계수 데이터에 관한 역 스케일링을 수행하여 재구성된 변환 계수를 생성한다. 그 다음, 모듈(203)은 재구성된 변환 계수들을 주파수 영역 표현으로부터 공간 영역 표현으로 변환하기 위해 역 변환을 수행하고, 역 변환 모듈(106)을 참조하여 설명된 역 변환 등의, 잔차 샘플(224)을 생성한다.

움직임 보상 모듈(204)은, 메모리(306) 내에 구성된 프레임 버퍼 블록(208)으로부터의 이전의 프레임 데이터(226)와 결합된, 엔트로피 디코더 모듈(202)로부터의 움직임 벡터 데이터(222)를 이용하여, 출력된 디코딩된 프레임 데이터의 예측이 되는, 예측 유닛(PU)에 대한 인터-예측된 기준 샘플(228)을 생성한다. 신택스 요소가 현재의 코딩 유닛이 인트라예측을 이용하여 코딩되었음을 나타낼 때, 인트라-프레임 예측 모듈(205)은, 예측 유닛(PU)과 공간적으로 이웃하는 샘플들을 이용하여, 예측 유닛(PU)에 대한 인트라-예측된 기준 샘플(230)을 생성한다. 공간적으로 이웃하는 샘플들은 합산 모듈(210)로부터 출력된 합(232)으로부터 얻어진다. 멀티플렉서 모듈(206)은, 인코딩된 비트스트림(113) 내의 신택스 요소에 의해 표시되는 현재 예측 모드에 따라, 예측 유닛(PU)에 대한 인트라-예측된 기준 샘플 또는 인터-예측된 기준 샘플을 선택한다. 멀티플렉서 모듈(206)로부터 출력된 샘플(234)들의 배열은 합산 모듈(210)에 의해 역 스케일 및 변환 모듈(203)로부터의 잔차 샘플(224)에 가산되어 합(232)을 생성하고, 이 합은 디블록킹 필터 모듈(207) 및 인트라-프레임 예측 모듈(205) 각각에 입력된다. 인코더(100)와는 대조적으로, 인트라-프레임 예측 모듈(205)은 엔트로피 디코더(202)로부터 예측 모드(236)를 수신한다. 멀티플렉서(206)는 엔트로피 디코더(202)로부터 인트라-프레임 예측/인터프레임 예측 선택 신호를 수신한다. 디블록킹 필터 모듈(207)은 데이터 블록 경계를 따라 필터링을 수행하여 데이터 블록 경계를 따른 가시적인 아티팩트를 평활화한다. 디블록킹 필터 모듈(207)의 출력은 메모리(306) 내에 구성된 프레임 버퍼 모듈(208)에 기입된다. 프레임 버퍼 모듈(208)은 향후의 참조를 위해 복수의 디코딩된 프레임들을 보유하기에 충분한 저장을 제공한다. 디코딩된 프레임(209)은 또한 프레임 버퍼 모듈(208)로부터 출력된다.

엔트로피 인코더(104)가 도 4를 참조하여 설명될 것이다. 잔차 계수(401) 등의 신택스 요소는 2진화기 모듈(404)에 입력된다. 변환 유닛(TU) 크기(402)는 2진화기 모듈(404)에 입력되고, 인코딩되는 변환 유닛(TU)의 크기를 나타낸다. 스캔 패턴(403)은 2진화기 모듈(404)에 입력된다. 2진화기 모듈(404)은 각각의 신택스 요소를 빈들의 시퀀스로 2진화한다. 각각의 빈은 빈 값(406)과 컨텍스트 인덱스(405)를 포함한다. 빈 값(406)과 컨텍스트 인덱스(405)는 컨텍스트 모델(407)에 의해 수신되고, 컨텍스트 모델(407)은 컨텍스트 인덱스(405)에 따라 선택된 컨텍스트(408)를 출력한다. 컨텍스트(408)는 빈 값(405)에 따라 업데이트된다. 컨텍스트(408)를 업데이트하기 위한 방법은 H.264/MPEG-4 AVC에서 컨텍스트 적응성 2진 산술 코딩(CABAC)에 의해 이용되는 것과 일치한다. 2진화기 모듈(404)은 이하의 도 6을 참조하여 설명되는 방법(600)에 따라 잔차 계수를 2진화한다. 2진 산술 인코더(409)는 빈을 인코딩된 비트스트림(113)으로 인코딩하기 위해 컨텍스트(408)와 빈 값(406)을 이용한다.

엔트로피 디코더(202)가 도 5를 참조하여 설명될 것이다. 변환 유닛(TU) 크기(502)와 스캔 패턴(501)이 역 2진화기 모듈(503)에 의해 수신된다. 스캔 패턴(501)은 엔트로피 디코더(202)에 의해 결정된 예측 모드(236)로부터 결정될 수 있다. 이것은, 인코더(100)의 인트라-예측 모듈(109)과 관련하여 전술된 예측 모드(236)에 기초하여 스캔 패턴을 선택함으로써 이루어질 수 있다. 역 2진화기 모듈(503)은 2진화기 모듈(404)의 역 동작을 수행함으로써 잔차 계수(509)를 출력한다. 컨텍스트 인덱스(504)는 디코딩될 각 빈에 대해 역 2진화기 모듈(503)로부터 출력된다. 컨텍스트 모델(505)은 컨텍스트 인덱스(504)에 의해 선택된 컨텍스트(506)를 출력한다. 2진 산술 디코더(507)는 컨텍스트(506)를 이용하여 인코딩된 비트스트림(113)으로부터 빈 값(508)을 디코딩해 낸다. 빈 값(508)은 컨텍스트 모델(505)에 의해 수신되고 컨텍스트(506)를 업데이트하는데 이용된다. 빈 값(508)은 또한 역 2진화기 모듈(503)에 의해 수신된다. 역 2진화기 모듈(503)은 이하의 도 7을 참조하여 설명되는 방법(700)에 따라 잔차 계수를 디코딩한다.

종래의 8x8 TU 인코딩

역방향 대각 스캔을 이용하여 8x8 변환 유닛(TU)(1100)을 인코딩하기 위한 종래의 방법이 도 6 및 도 11을 참조하여 설명될 것이다. 도 11에서 볼 수 있는 8x8 변환 유닛(TU)(1100)은 서브블록을 이용하지 않는다. 역방향 대각 하방-좌측 스캔(1101)이 8x8 변환 유닛(TU)(1100) 전체에 적용된다. 도 6의 방법(600)은 역방향 대각 하방-좌측 스캔(1101) 스캔 패턴을 이용하여 적용된다.

마지막 유효 계수 위치 인코드 단계(601)는 8x8 변환 유닛(TU)(1100)에서 마지막 유효 계수의 위치를 인코딩한다. 마지막 유효 계수의 위치는, 순방향으로 역방향 대각 하방-좌측 스캔(1101)을 적용함으로써 8x8 변환 유닛(TU)(1100)을 검색할 때 마지막 비-제로 잔차 계수의 위치로서 정의된다.

8x8 테이블 참조 단계(602), 유효 계수 플래그 인코드 단계(603), 및 서브셋 내의 마지막 단계(604)는 16개 계수들의 서브셋에서 모든 유효 계수들을 인코딩한다. 단계들(603 및 604)은 역방향 스캔이 채용될 때 마지막 유효 계수를 포함하는 서브셋 상에서 먼저 동작한다. 8x8 테이블 참조 단계(602)는 8x8 역방향 대각 하방-좌측 스캔(1101)을 보유하는 테이블 내로의 현재의 서브셋에 대한 인덱스를 결정한다. 유효 계수 플래그 인코드 단계(603)는 서브셋 내의 하나의 유효 계수를 2진 산술 인코더(409)를 이용하여 인코딩된 비트스트림(113) 내로 인코딩한다. 서브셋 내의 마지막 단계(604)는, 일단 서브셋 내의 모든 유효 계수들이 스캔되고 나면, 단계들(602 및 603)의 루프를 종료한다. 역방향 스캔의 경우, 이 루프는 최대값으로부터 제로로 하방으로 카운트한다. 최대값은, 마지막 유효 계수를 포함하는 서브셋을 제외하고는 16이고, 여기서, 최대값은 서브셋 스캔으로부터 마지막 유효 계수를 생략하도록 구성된다.

잔차 레벨 인코드 단계(605)는 서브셋 내의 각각의 유효 계수에 대한 잔차 레벨을 인코딩한다. 서브셋 내의 잔차 레벨들은 복수의 단계들에서 인코딩되고, 각각의 단계는 서브셋 내의 유효 계수들에 관해 반복된다. 첫 번째, 유효 계수 절대값이 1보다 크다는 것을 나타내는 플래그가 인코딩된다. 두 번째, 1보다 큰 절대값을 갖는 유효 계수들 중에서, 2보다 큰 절대값을 갖는 유효 계수들을 나타내는 플래그가 인코딩된다. 세 번째, 각각의 유효 계수의 부호를 나타내는 플래그가 인코딩된다. 네 번째, 2보다 큰 값을 갖는 유효 계수들 중에서, 이들 유효 계수들의 크기 - 3이 인코딩된다.

마지막 서브셋 단계(606)는, 필요하다면, 서브셋들(4, 3 및 2) 중 임의의 것이 인코딩된 후에, 변환 유닛(TU)(1100) 내의 첫 번째 서브셋이 인코딩될 때까지 단계들(602, 603, 604 및 605)에 관한 반복을 야기하고, 그 후, 방법(600)은 종료된다.

역방향 수평 스캔을 이용하여 8x8 변환 유닛(TU)(1200)을 인코딩하기 위한 종래의 방법이 도 6 및 도 12를 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1200)은 서브블록을 이용하지 않는다. 역방향 수평 스캔(1201)이 8x8 변환 유닛(TU)(1200) 전체에 적용된다. 방법(600)은 정의된 스캔 패턴을 이용하여 적용된다.

역방향 수직 스캔을 이용하여 8x8 변환 유닛(TU)(1300)을 인코딩하기 위한 종래의 방법이 도 6 및 도 13을 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1300)은 서브블록을 이용하지 않는다. 역방향 수직 스캔(1301)이 8x8 변환 유닛(TU)(1300) 전체에 적용된다. 방법(600)은 정의된 스캔 패턴을 이용하여 적용된다.

종래의 8x8 TU 디코딩

역방향 대각 스캔을 이용하여 8x8 변환 유닛(TU)(1100)을 디코딩하기 위한 종래의 방법이 도 7 및 도 11을 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1100)은 서브블록을 이용하지 않는다. 역방향 대각 하방-좌측 스캔(1101)이 8x8 변환 유닛(TU)(1100) 전체에 적용된다. 방법(700)은 정의된 스캔 패턴을 이용하여 적용된다.

마지막 유효 계수 위치 디코드 단계(701)는, 스캔 패턴이 순방향으로 적용될 때 마지막 비제로 잔차 계수로서 정의되는, 8x8 변환 유닛(TU)(1100) 내의 마지막 유효 계수의 위치를 디코딩한다.

8x8 위치 테이블 참조 단계(702), 유효 계수 디코드 단계(703), 및 서브셋 내의 마지막 테스트 단계(703)는, 마지막 위치로부터 첫 위치까지 서브셋 내의 각 위치에 관해 반복하고 위치당 하나의 유효 계수 플래그를 디코딩함으로써 서브셋 내의 유효 계수 플래그들을 디코딩한다. 8x8 위치 테이블 참조 단계(702)는 서브셋 내의 현재의 유효 계수에 대해 8x8 변환 유닛(TU)(1100) 내의 위치를 결정한다. 마지막 유효 계수를 포함하는 서브셋의 경우, 마지막 위치는, 마지막 유효 계수 위치가 서브셋 스캔으로부터 배제되도록 정의되고, 그렇지 않다면 마지막 위치는 16으로 설정된다.

잔차 레벨 디코드 단계(705)는 서브셋 내의 각각의 유효 계수에 대한 크기와 부호를 디코딩한다. 잔차 레벨 디코드 단계(705)는, 서브셋 내의 유효 계수들에 관해 4회 반복함으로써 유효 계수들의 잔차 레벨들을 디코딩한다. 첫 번째 반복에서, 유효 계수의 절대값이 1보다 큰지를 나타내는 플래그들이 디코딩된다. 두 번째 반복에서, 유효 계수의 절대값이 1보다 크고 또한 2보다 큰지를 나타내는 플래그들이 디코딩된다. 세 번째 반복에서, 각각의 유효 계수에 대한 부호를 나타내는 플래그들이 디코딩된다. 네 번째 반복에서, 2보다 큰 유효 계수에 대해, 크기 - 3이 디코딩되어, 크기가 2보다 크다고 알려진 경우 잔차 크기의 재구성을 가능케 한다.

마지막 서브셋 테스트 단계(706)는, 필요하다면, 서브셋들(4, 3 및 2) 중 임의의 것이 인코딩된 후에, 변환 유닛(TU)(1100) 내의 첫 번째 서브셋이 인코딩될 때까지 단계들(702, 703, 704 및 705)에 관한 반복을 야기하고, 그 후, 방법(700)은 종료된다.

역방향 수평 스캔을 이용하여 8x8 변환 유닛(TU)(1200)을 디코딩하기 위한 종래의 방법이 도 7 및 도 12를 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1200)은 서브블록을 이용하지 않는다. 역방향 수평 스캔(1201)이 8x8 변환 유닛(TU)(1200) 전체에 적용된다. 방법(700)은 정의된 스캔 패턴을 이용하여 적용된다.

역방향 수직 스캔을 이용하여 8x8 변환 유닛(TU)(1300)을 디코딩하기 위한 종래의 방법이 도 7 및 도 13을 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1300)은 서브블록을 이용하지 않는다. 역방향 수직 스캔(1301)이 8x8 변환 유닛(TU)(1300) 전체에 적용된다. 방법(700)은 정의된 스캔 패턴을 이용하여 적용된다.

실시예 - 8x8 TU의 인코딩

역방향 대각 하방-좌측 스캔을 이용하여 8x8 변환 유닛(TU)(1500)을 인코딩하기 위한 본 개시에 따른 방법(800)이 도 8, 10a, 10b, 14, 15a, 15b 및 15c를 참조하여 설명될 것이다. 도 15a에서 볼 수 있는 8x8 변환 유닛(TU)(1500)은 4x4의 서브블록 크기를 가진다. 변환 유닛(TU)(1500)은 인코딩을 위해 스캐닝될 계수들의 정사각형 하위 레벨 층을 나타낸다. 도 15c에서 보이는 서브블록(1502) 등의 각각의 서브블록 내에서, 도 15c에서 볼 수 있는 바와 같은 역방향 대각 하방-좌측 스캔(1505)이 적용된다. 8x8 변환 유닛(TU)(1500) 내의 서브블록들을 스캔할 때, 2x2 역방향 대각 하방-좌측 상위층 스캔(1504)이, 도 15b에 보이는 바와 같이, 그 정사각형 상위층 레벨(1503)에 적용된다. 도 15b에서 볼 수 있는 바와 같이, 상위층 레벨(1503)은 하위층 레벨 서브블록들(1502)의 2x2 배열을 포함한다. 이러한 방식으로, 유효 계수 그룹 플래그들은, 서브블록들이 하위 레벨층에서 중복되지 않는, 비중복 영역을 나타낸다. 따라서 도 15a의 스캔 패턴(1501)은 도 15b의 패턴(1504)에 따라 4회 복제된 도 15c의 패턴(1505)의 조합을 나타낸다. 이러한 접근법의 한 이점은, 도 11, 12 및 13에서와 같이 64 (8x8) 크기의 배열에 대한 패턴을 저장하는 것이 아니라, 패턴(1501)은 4 (2x2) + 16 (4x4) =20 크기의 배열을 이용하여 저장될 수 있어서, 결과적인 메모리 사용량에서의 저감으로 이어진다는 것이다. 또한, 예를 들어 배열 크기 2x2, 4x4 및 8x8 중 임의의 것이 정사각형이라는 것을 이해할 것이다.

방법(800)은 정의된 서브블록 크기와 상위층 크기와 스캔 패턴을 이용하여 적용된다. 방법(800)은 유효 계수 그룹을 이용하여 변환 유닛(TU)의 잔차 계수들을 인코딩하며 도 8을 참조하여 설명될 것이다. 변환 유닛(TU)은 다수의 서브블록들로 분할된다. 도 10a는 변환 유닛(TU)의 예시적인 상위 정사각형층(1000)을 도시한다.

도 15a의 8x8 변환 유닛(TU)(1500)의 예시인 도 14에서 보이는 8x8 변환 유닛(TU)(1400)은 2층(상위 및 하위) 계층구조로 잔차 계수들을 인코딩한다. 8x8 변환 유닛(TU)(1400)은 4x4 서브블록(1401) 등의 동등한-크기의 서브블록들로 분할된다. 변환 유닛(TU)(1400)내의 서브블록들은 상위층(1402)으로 표현된다. 상위층(1402)는, 유효 계수 그룹 플래그(1403) 등의 유효 계수 그룹 플래그들을 포함하며, 그 각각은 계산 또는 유추될 수 있다. 유효 계수 그룹 플래그(1403) 등의 유효 계수 그룹 플래그가 계산될 때, 유효 계수 그룹 플래그는, 서브블록(1401) 등의 대응하는 서브블록 내의 잔차 계수(1404) 등의 잔차 계수들 중 임의의 것이 유효한지를 나타낸다. 유효 계수 그룹 플래그가 유추될 때, 대응하는 서브블록 내의 모든 잔차 계수들이 비-유효인 것이 가능하다.

도 8에 보인 방법(800)에서, 마지막 유효 계수 위치 인코드 단계(801)는 2-레벨 스캔 경로를 따라 마지막 유효 계수의 좌표를 인코딩한다. 2x2 테이블 위치 참조 단계(802)는, 2x2 역방향 대각 하방-좌측 상위층 스캔(1504)에 대한 참조를 적용함으로써 현재의 서브블록에 대한 위치를 결정한다. 이것은 관련 서브블록(1502)의 정확한 식별을 제공한다. 4x4 테이블 위치 참조 단계(803)는, 4x4 역방향 대각 하방-좌측 스캔(1505)에 대한 참조를 수행하여 현재의 4x4 서브블록(1502) 내의 정확한 위치를 식별함으로써, 현재의 유효 계수에 대한 위치 내의 오프셋을 결정한다. 유효 계수 플래그 결정 단계(804)는, 서브블록(1502) 내의, 그에 따라 8x8 변환 유닛(TU)(1500) 내의 결정된 오프셋에서 잔차 계수의 값을 테스트하여, 잔차 계수가 비제로이면 유효(1값)이고 그렇지 않다면 비-유효(제로값)이다.

서브블록 내의 마지막 테스트 단계(805)는 단계(803 및 804)에 관한 반복을 야기하여, 마지막 유효 계수를 포함하지 않는 서브블록 내의 모든 위치들과, 마지막 유효 계수를 포함하는 서브셋에 대해서는, 마지막 유효 계수에 선행하는 모든 위치들이 테스트된다(여기서, '선행하는'은 순방향의 스캐닝의 적용을 가정한다). 패턴(1505) 등의 역방향 스캔의 경우, 서브블록 내의 마지막은 항상 상위 좌측 위치일 것이다. 순방향 스캔의 경우, 그러한 마지막은, 마지막 유효 계수 위치를 소유하지 않는 서브블록들에 대해서는 하위 우측 위치가 될 것이며, 순방향 스캔의 순서에서 마지막 유효 계수 위치 바로 앞에 오는 위치가 될 것이다.

유효 계수 그룹 플래그 결정 단계(806)는 서브블록 내의 유효 계수 플래그들 중 임의의 것(즉: 적어도 하나)이 1값인지를 나타내는 유효 계수 플래그를 결정한다. 마지막 유효 계수를 포함하는 서브블록의 경우, 유효 계수 그룹 플래그는 1값인 것으로 유추된다. 변환 유닛(TU)(1500)의 좌상귀에 위치한 서브블록의 경우, 유효 계수 그룹 플래그는 역시 1값인 것으로 유추된다. 유효 계수 그룹 인코드 단계(807)는 서브블록에 포함된 유효도 맵의 일부를 결정하는 정보를 인코딩한다. 첫 번째, 유추되지 않은 유효 계수 그룹 플래그들은 비트스트림 내에 인코딩된다. 두 번째, 유효 계수 그룹 플래그가 1값이면, 서브셋에 포함된 유효도 맵의 일부가 비트스트림 내에 인코딩된다. 잔차값 인코드 단계(808)는, 2x2 상위층과 4x4 하위 서브블록층으로의 유효도 맵의 배열을 제외하고는, 잔차 레벨 인코드 단계(605)와 유사한 방식으로 동작한다. 마지막 서브블록 테스트 단계(809)는, 마지막 유효 계수를 포함하는 서브블록으로부터 변환 유닛(TU)(1500)의 좌상귀에 위치한 서브블록까지 서브블록들에 관한 반복을 가능케 한다. 이 서브블록이 인코딩된 후에, 방법(800)은 종료한다. 당업자라면, 방법(800)은 비디오 인코더(100)에 의해 지원되는 모든 변환 유닛(TU) 크기들에서 4x4 서브블록 스캔의 이용을 가능케한다는 것을 이해할 것이다.

유효 계수 그룹 플래그를 결정하는데 있어서 상위층의 동작이 도 10a에 보인 예시적인 상위층(1000)에 관하여 설명될 것이다. 예시적인 상위층(1000)은 서브블록당 하나의 유효_계수그룹_플래그로 구성된다. 예시적인 상위층(1000)의 각각의 서브블록의 경우, 유효_계수그룹_플래그는 계산되거나 유추된다. 예시적인 상위층(1000)의 상위-좌측 서브블록의 경우, 유효_계수그룹_플래그는 항상 1값으로서 유추된다. 마지막 유효 계수를 포함하는 예시적인 상위층(1000)의 서브블록의 경우, 유효_계수그룹_플래그도 1값으로서 유추된다. 예시적인 상위층(1000) 내의 다른 위치들의 경우, 유효_계수그룹_플래그 X(1001) 등의 유효_계수그룹_플래그는, 유효_계수그룹_플래그 A(1002) 등의 우측 이웃과 유효_계수그룹_플래그 B(1003) 등의 아래측 이웃 양쪽 모두가 1인 경우에만 1값인 것으로 유추된다. 우측 이웃 또는 아래측 이웃 유효_계수그룹_플래그가 예시적인 상위층(1000) 외부에 해당하는 경우, 그 이웃에 대해 제로값이 유추된다. 유효_계수그룹_플래그가 유추되면, 이것은 인코딩된 비트스트림(113)에 인코딩되지 않는다. 유효_계수그룹_플래그가 유추되지 않고, 대응하는 서브블록 내의 모든 유효_계수그룹_플래그가 제로값인 것으로 알려진다면, 제로값의 유효_계수그룹_플래그가 계산된다. 대안으로서, 대응하는 서브블록 내의 유효_계수_플래그들 중 적어도 하나가 1값이면, 1값의 유효_계수그룹_플래그가 유추된다. 예시적인 상위층(1000)에 대한 유효_계수그룹_플래그의 계산된 값들은, 역방향 대각 하방-좌측 스캔을 이용하여 인코딩된 비트스트림(113) 내에 인코딩된다.

예를 들어, 도 10b를 참조하면, 유효_계수그룹_플래그(1005) 등의 음영진 유효_계수그룹_플래그들은, 우측 이웃과 아래측 이웃에 기초하여 1값인 것으로 유추되므로, 인코딩된 비트스트림(113)에서 인코딩되지 않는다. 유효_계수그룹_플래그(1006)는 마지막 유효 계수를 포함하므로 1값으로서 유추된다.

유효_계수그룹_플래그(1007) 등의 유효_계수그룹_플래그들은 마지막 유효 계수 이후에 위치하므로, 이들 위치들에 대해서는 어떠한 값도 유추되거나 계산되거나 인코딩되지 않는다. 상위층(804)의 상위 좌측에 위치한 유효_계수그룹_플래그(1008)는 항상 1값으로서 유추된다.

상위층 내의 각각의 유효_계수그룹_플래그를 인코딩할 때, 컨텍스트 모델(404)로부터 컨텍스트가 선택된다. 루마 샘플을 인코딩하는 변환 유닛(TU)과 크로마 샘플을 인코딩하는 변환 유닛(TU)의 경우, 2개의 컨텍스트가 이용가능하므로, 예시적인 상위층(1000)의 인코딩에 대해 총 4개의 컨텍스트를 준다. 예시적인 상위층(1000) 내의 각각의 유효_계수그룹_플래그에 대한 컨텍스트 선택은 우측 이웃과 아래측 이웃에 의존한다. 예시의 경우로서, 유효_계수그룹_플래그 X(1001)에 대한 컨텍스트는, 유효_계수그룹_플래그 A(1002)와 유효_계수그룹_플래그 B(1003)의 값들의 논리적 OR를 수행함으로써 결정된다. 예시적인 상위층(1000) 외부에 해당하는 좌측 이웃과 아래측 이웃은 컨텍스트 선택의 목적을 위해 제로값으서 유추된다.

역방향 수평 스캔을 이용하여 8x8 변환 유닛(TU)(1600)을 인코딩하기 위한 본 개시에 따른 방법이 도 8, 16a, 16b, 및 16c를 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1600)은 4x4의 하위 레벨 서브블록 크기를 가진다. 서브블록(1602) 등의 각각의 서브블록 내에서, 역방향 수평 스캔(1605)이 적용되어, 도 16a에 보이는 전체 스캔 패턴(1601)을 야기한다. 8x8 변환 유닛(TU)(1600) 내의 서브블록(1602)을 스캔하기 위해, 2x2 역방향 수평 상위층 스캔(1604)이 적용된다. 방법(800)은 정의된 서브블록 크기와 상위층 크기와 스캔 패턴을 이용하여 적용된다.

역방향 수직 스캔을 이용하여 8x8 변환 유닛(TU)(1700)을 인코딩하기 위한 본 개시에 따른 방법이 도 8, 17a, 17b, 및 17c를 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1700)은 4x4의 서브블록 크기를 가진다. 도 17c의 서브블록(1702) 등의 각각의 하위층 서브블록 내에서, 역방향 수직 스캔(1705)이 적용된다. 8x8 변환 유닛(TU)(1700) 내의 서브블록들을 스캔할 때, 도 17b에 보인 2x2 역방향 수직 상위층 스캔(1704)이 적용되어, 도 17a에 보인 전체 스캔 패턴(1701)을 야기한다. 방법(800)은 정의된 서브블록 크기와 상위층 크기와 스캔 패턴을 이용하여 적용된다.

실시예 - 8x8 TU의 디코딩

8x8 변환 유닛(TU)(1500)을 디코딩하기 위한 본 개시에 따른 방법이 도 9, 15a, 15b, 및 15c를 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1500)은 4x4의 서브블록 크기를 가진다. 서브블록(1502) 등의 각각의 서브블록 내에서, 역방향 대각 하방-좌측 스캔(1505)이 적용된다. 8x8 변환 유닛(TU)(1500) 내의 서브블록들을 스캔할 때, 2x2 역방향 대각 하방-좌측 스캔(1504)이 적용되어, 전체 스캔 패턴(1501)을 야기한다. 방법(900)은 정의된 서브블록 크기와 상위층 크기와 스캔 패턴을 이용하여 적용된다.

유효 계수 그룹을 이용하여 변환 유닛(TU)의 잔차 계수들을 디코딩하기 위한 방법(900)이 도 9를 참조하여 설명될 것이다. 변환 유닛(TU)은 다수의 서브블록들로 분할된다. 마지막 유효 계수 위치 디코드 단계(901)는 2-레벨 스캔 경로(1501)를 따라 변환 유닛(TU)(1500) 내의 마지막 유효 계수의 좌표를 디코딩한다. 2x2 테이블 위치 참조 단계(902)는, 2x2 역방향 대각 하방-좌측 상위층 스캔(1504)에 대한 참조를 적용함으로써 현재의 서브블록에 대한 위치를 결정한다. 유효 계수 그룹 디코드 단계(903)는, 유효 계수 그룹 플래그 결정 단계(806)에서 설명된 것과 유사한 프로세스를 이용하여, 계수 플래그의 유추된 값을 결정하거나, 인코딩된 비트스트림(113)으로부터 하나의 유효 계수 그룹 플래그를 디코딩한다. 유효 계수 그룹 플래그 테스트 단계(904)는 결정된 유효 계수 그룹 플래그의 값을 테스트한다. 플래그가 1값이면, 제어는 4x4 테이블 위치 참조 단계(905)로 전달되고, 그렇지 않고 플래그가 제로값인 경우, 제어는 마지막 서브블록 테스트 단계(909)로 전달된다. 단계(905)는, 4x4 역방향 대각 하방-좌측 스캔에 대한 참조를 수행함으로써 현재의 유효 계수에 대한 위치 내의 오프셋을 결정한다. 4x4 테이블 위치 참조 단계(905)의 결과는 2x2 테이블 위치 참조 단계(902)의 결과와 결합되어 8x8 변환 유닛(TU)(1500) 내로의 위치 오프셋을 제공한다. 그 다음, 유효 계수 플래그 디코드 단계(906)는, 서브블록(1502) 등의 서브블록 내의 하나의 잔차 계수에 대한 유효 계수 플래그를 디코딩한다. 서브블록 내의 최종의 유효 계수에 도달하고, 서브블록 내의 어떠한 이전의 유효 계수도 1값이 아니었고, 대응하는 유효 계수 그룹 플래그는 계산되었으면(즉, 유추되지 않았으면), 서브블록 내의 최종의 유효 계수는 1값인 것으로 유추된다. 서브블록 내의 마지막 테스트 단계(907)는 서브블록 내의 위치를 테스트하고, 4x4 서브블록(1502)이 완전히 처리될 때까지 단계들(905 및 906)에 걸쳐 루핑한다. 마지막 유효 계수 플래그를 포함하는 처리될 첫 번째 서브블록의 경우, 이후의 위치들(여기서 '이후의'는 역방향 스캔 순서에서와 같이 정의된다)만이 서브블록에서 반복된다. 서브블록의 마지막 위치가 처리되면, 잔차 레벨 디코드 단계(908)는 잔차 레벨 디코드 단계(705)와 유사한 방식으로 잔차 레벨들을 디코딩한다. 마지막 서브블록 테스트 단계(909)는, 마지막 유효 계수를 포함하는 서브블록으로부터 시작하여 역방향으로 동작하며, 변환 유닛(TU)(1500)의 좌상귀에 위치한 서브블록이 단계들(902-908)에 의해 처리될 때까지 변환 유닛(TU)(1500) 내의 모든 서브블록들에 관해 반복을 제공하고, 그 후 방법(900)은 종료된다. 당업자라면, 방법(900)은 비디오 디코더(200)에 의해 지원되는 모든 변환 유닛(TU) 크기들에서 4x4 서브블록 스캔의 이용을 가능케한다는 것을 이해할 것이다.

8x8 변환 유닛(TU)(1600)을 디코딩하기 위한 본 개시에 따른 방법이 도 9, 16a, 16b, 및 16c를 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1600)은 4x4의 서브블록 크기를 가진다. 서브블록(1602) 등의 각각의 서브블록 내에서, 역방향 수평 스캔(1605)이 적용된다. 8x8 변환 유닛(TU)(1600) 내의 서브블록들을 스캔할 때, 2x2 역방향 수평 스캔(1604)이 적용된다. 방법(900)은 정의된 서브블록 크기와 상위층 크기와 스캔 패턴을 이용하여 적용된다.

8x8 변환 유닛(TU)(1700)을 디코딩하기 위한 본 개시에 따른 방법이 도 9, 17a, 17b, 및 17c를 참조하여 설명될 것이다. 8x8 변환 유닛(TU)(1700)은 4x4의 서브블록 크기를 가진다. 서브블록(1702) 등의 각각의 서브블록 내에서, 역방향 수직 스캔(1705)이 적용된다. 8x8 변환 유닛(TU)(1700) 내의 서브블록들을 스캔할 때, 2x2 역방향 수직 스캔(1704)이 적용된다. 방법(900)은 정의된 서브블록 크기와 상위층 크기와 스캔 패턴을 이용하여 적용된다.

실시예 - 8x8 변환 유닛의 경우만의 대각 상위층 스캔

방법들(800 및 900)이 변환 유닛(TU)(1500, 1600 및 1700)에 적용되었지만, 각각은 서브블록층으로부터 상위층까지 동일한 스캔 패턴을 적용하였다. 하나의 대안은, 변환 유닛(TU)(1500, 1600, 및 1700)에 대한 상위층 스캔을 위해 역방향 대각 하방-좌측 스캔만을 이용하는 것이다. 또한, 상위층 스캔은 모든 변환 유닛 크기들에 대해 역방향 대각 하방-좌측으로 설정될 수도 있다. 상위층의 스캔 패턴은 하위층의 스캔 패턴과는 독립적이다. 이렇게 하면, 2x2 역방향 수평 스캔(1604)과 2x2 역방향 대각 수직 스캔(1704)에 대한 메모리 스토리지의 필요성이 제거된다.

실시예 - 32x32 상위층 스캔에 대한 8x8 변환 유닛 스캔의 재사용

32x32 변환 유닛은, 역방향 대각 하방-좌측 스캔인, 8x8 상위층 스캔을 이용한다. 8x8 상위층 스캔을, 2x2 역방향 대각 스캔(1504)과 4x4 역방향 대각 스캔(1505)으로부터 유도된, 8x8 역방향 대각 스캔(1500)으로 대체하는 것이 가능하다. 이러한 구조는 8x8 상위층 스캔에 대한 참조 테이블의 제거를 가능케하여, 메모리 스토리지 요건을 감소시킨다.

당업자라면, 명시된 서브블록 크기들에 적용될 때의 방법(600 및 700)은 비디오 인코더(100) 또는 비디오 디코더(200)에 존재하는 테이블수의 감소를 가능케한다는 것을 이해할 것이다.

실시예 - 오프셋을 이용한 스캐닝

도 18a 내지 도 18c는, 값들의 선형 배열이 2차원(2D) 배열로부터 유도되고, 2D 배열의 상이한 서브블록들간의 구분을 확립하기 위해 선형 배열에서 오프셋이 이용되는 경우의 추가의 구현을 나타낸다. 도 18a는, 8x8 변환 유닛이, 순방향-하방 스캔(수평, 및 좌에서 우)인 A, B, C 및 D의 순서로 4개의 4x4 유닛(서브블록)으로서 액세스되고, 각각의 서브블록은 순방향-하방 스캔에 따라 횡단되는 경우를 나타낸다. 당업자라면, 도 18a 내지 도 18c에 나타낸 구현도 역시 역방향으로의 8x8 변환 유닛의 스캔을 가능케한다는 것을 이해할 것이다.

도 18b에서 알 수 있는 바와 같이, 각각의 서브블록의 스캔은 값들의 대응하는 선형 배열을 야기한다. 원하는 경우, 도 18b의 4개의 배열은, 대응하는 변환 유닛의 값들의 스캔의 액세스 순서를 고유하게 정의하도록 저장될 수 있다.

대안으로서, 도 18c에 나타낸 바와 같이, 도 18a의 변환 유닛의 스캔은 16(=4x4)개 값들의 단일의 선형 배열로서 저장될 수 있고, 여기서 오프셋(X)은 4개 배열을 재구성하는데 이용된다. X를 0, 4, 32, 및 36으로 변경함으로써 도 18b의 4개 배열들 각각이 재구성될 수 있다.

개요

여기서 개시된 다양한 구조는 상위 및 하위 레벨 정사각형 층들을 갖는 변환 유닛의 인코딩 및 디코딩을 제공하며, 여기서, 상위 레벨층은 최대 4개의 유효 계수 그룹 플래그의 정사각형 배열(예를 들어, 2x2)을 나타낸다. 이것은, 예를 들어, 도 15b, 16b, 및 17b에서 볼 수 있다. 이것은, 4x4 서브블록에 적용되는 원하는 스캔 패턴(각각 도 15c, 16c, 및 17c)에 따라 하위 레벨 8x8 정사각형층의 효율적인 횡단(각각 도 15a, 16a, 및 17a)을 허용한다. 이와 같이, 8x8 변환 유닛은 4x4 하위 레벨 스캔 및 2x2 상위 레벨 스캔의 조합을 이용하여 인코딩 또는 디코딩될 수 있다.

산업상 이용가능성

설명된 구조는 컴퓨터 및 데이터 처리 산업과 특히 비디오 신호 등의 신호들의 디코딩을 인코딩하기 위한 디지털 신호 처리에 적용가능하다.

전술된 내용은 본 발명의 일부 실시예만을 설명하고 있고, 본 발명의 범위와 사상으로부터 벗어나지 않고 이에 대한 변형 및/또는 변경이 이루어질 수 있으며, 실시예들은 제약이 아닌 예시이다.

Claims

비트스트림으로의 비디오 데이터의 인코딩 방법으로서,
정사각형 블록의 미리 정해진 크기로서 나타내지는 변환 유닛에 대한 잔차 계수들의 값을 수신하는 단계;
상기 정사각형 블록의 서브-블록들의 유효 계수 그룹 플래그들을 결정하는 단계 - 상기 유효 계수 그룹 플래그들 각각은 상기 정사각형 블록의 대응하는 서브-블록 내의 잔차 계수들 중 적어도 하나가 유효한지를 나타냄 -;
복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 변환 유닛의 상기 유효 계수 그룹 플래그들의 제2 스캔 순서가 결정되며, 상기 유효 계수 그룹 플래그들의 제2 스캔 순서는 상기 유효 계수 그룹 플래그들의 제1 스캔 순서와 상이함 -;
상기 복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 변환 유닛에 대한 상기 잔차 계수들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 잔차 계수들의 제1 스캔 순서가 결정되고, 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 잔차 계수들의 제2 스캔 순서가 결정되며, 상기 잔차 계수들의 제2 스캔 순서는 상기 잔차 계수들의 제1 스캔 순서와 상이함 -;
상기 정사각형 블록의 최종 유효 계수의 위치를 결정하는 단계; 및
상기 비트스트림으로의 상기 비디오 데이터로서, 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서에 따라 상기 결정된 유효 계수 그룹 플래그들을 인코딩하고, 상기 잔차 계수들의 상기 결정된 스캔 순서에 따라 상기 잔차 계수들을 인코딩하고, 상기 정사각형 블록의 상기 최종 유효 계수의 상기 결정된 위치를 인코딩하는 단계
를 포함하는 인코딩 방법.
제1항에 있어서, 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 인코딩 방법.
제1항에 있어서, 상기 변환 유닛에 대한 상기 잔차 계수들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 인코딩 방법.
제1항에 있어서, 상기 잔차 계수의 상기 결정된 스캔 순서에 따라 잔차 계수들이 서브-블록 단위로 스캔되는, 인코딩 방법.
제1항에 있어서, 상기 최종 유효 계수의 상기 결정된 위치로부터의 상기 잔차 계수들이 스캔되어 인코딩되는, 인코딩 방법.
비트스트림으로부터의 비디오 데이터의 디코딩 방법으로서,
상기 비트스트림으로부터, 정사각형 블록의 미리 정해진 크기로서 나타내지는 변환 유닛에 대한 잔차 계수들의 인코딩된 데이터, 상기 정사각형 블록의 대응하는 서브-블록 내의 잔차 계수 중 적어도 하나가 유효한지의 여부를 나타내는 유효 계수 그룹 플래그들의 인코딩된 데이터, 및 상기 정사각형 블록의 최종 유효 계수의 위치의 인코딩된 데이터를 수신하는 단계;
복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 유효 계수 그룹 플래그들의 복수의 스캔 순서들로부터 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제2 스캔 순서가 결정되며, 상기 유효 계수 그룹 플래그들의 제2 스캔 순서는 상기 유효 계수 그룹 플래그들의 제1 스캔 순서와 상이함 -;
상기 복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 잔차 계수들의 복수의 스캔 순서들로부터 상기 변환 유닛에 대한 상기 잔차 계수들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 잔차 계수들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 잔차 계수들의 제2 스캔 순서가 결정되며, 상기 잔차 계수들의 제2 스캔 순서는 상기 잔차 계수들의 제1 스캔 순서와 상이함 -;
상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서에 따라, 상기 블록의 각각의 서브-블록들에 대응하는 유효 계수 그룹 플래그들을 결정하는 단계; 및
상기 비디오 데이터를 생성하기 위해 상기 결정된 유효 계수 그룹 플래그들, 상기 잔차 계수들의 상기 결정된 스캔 순서 및 상기 정사각형 블록의 최종 유효 계수의 위치에 따라 상기 변환 유닛의 잔차 계수들을 디코딩하는 단계
를 포함하는 디코딩 방법.
제6항에 있어서, 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 디코딩 방법.
제6항에 있어서, 상기 변환 유닛에 대한 상기 잔차 계수들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 디코딩 방법.
제6항에 있어서, 상기 잔차 계수의 상기 결정된 스캔 순서에 따라 상기 잔차 계수들의 인코딩된 데이터가 서브-블록 단위로 스캔되는, 디코딩 방법.
제6항에 있어서, 상기 잔차 계수의 상기 수신된 인코딩된 데이터가 상기 최종 유효 계수의 상기 결정된 위치로부터 스캔되어 디코딩되는, 디코딩 방법.
컴퓨터에 의한 실행시 상기 컴퓨터가 비트스트림으로의 비디오 데이터의 인코딩 방법을 수행하게 하는 프로그램을 저장한 컴퓨터 판독가능 저장 매체로서,
상기 인코딩 방법은,
정사각형 블록의 미리 정해진 크기로서 나타내지는 변환 유닛에 대한 잔차 계수들의 값을 수신하는 단계;
상기 정사각형 블록의 서브-블록들의 유효 계수 그룹 플래그들을 결정하는 단계 - 상기 유효 계수 그룹 플래그들 각각은 상기 정사각형 블록의 대응하는 서브-블록 내의 잔차 계수들 중 적어도 하나가 유효한지를 나타냄 -;
복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 변환 유닛의 상기 유효 계수 그룹 플래그들의 제2 스캔 순서가 결정되며, 상기 유효 계수 그룹 플래그들의 제2 스캔 순서는 상기 유효 계수 그룹 플래그들의 제1 스캔 순서와 상이함 -;
상기 복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 변환 유닛에 대한 상기 잔차 계수들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 잔차 계수들의 제1 스캔 순서가 결정되고, 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 잔차 계수들의 제2 스캔 순서가 결정되며, 상기 잔차 계수들의 제2 스캔 순서는 상기 잔차 계수들의 제1 스캔 순서와 상이함 -;
상기 정사각형 블록의 최종 유효 계수의 위치를 결정하는 단계; 및
상기 비트스트림으로의 상기 비디오 데이터로서, 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서에 따라 상기 결정된 유효 계수 그룹 플래그들을 인코딩하고, 상기 잔차 계수들의 상기 결정된 스캔 순서에 따라 상기 잔차 계수들을 인코딩하고, 상기 정사각형 블록의 상기 최종 유효 계수의 상기 결정된 위치를 인코딩하는 단계
를 포함하는, 컴퓨터 판독가능 저장 매체.
제11항에 있어서, 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 컴퓨터 판독가능 저장 매체.
제11항에 있어서, 상기 변환 유닛에 대한 상기 잔차 계수들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 컴퓨터 판독가능 저장 매체.
제11항에 있어서, 상기 잔차 계수의 상기 결정된 스캔 순서에 따라 잔차 계수들이 서브-블록 단위로 스캔되는, 컴퓨터 판독가능 저장 매체.
제11항에 있어서, 상기 최종 유효 계수의 상기 결정된 위치로부터의 상기 잔차 계수들이 스캔되어 인코딩되는, 컴퓨터 판독가능 저장 매체.
컴퓨터에 의한 실행시 상기 컴퓨터가 비트스트림으로부터의 비디오 데이터의 디코딩 방법을 수행하게 하는 프로그램을 저장한 컴퓨터 판독가능 저장 매체로서,
상기 디코딩 방법은,
상기 비트스트림으로부터, 정사각형 블록의 미리 정해진 크기로서 나타내지는 변환 유닛에 대한 잔차 계수들의 인코딩된 데이터, 상기 정사각형 블록의 대응하는 서브-블록 내의 잔차 계수 중 적어도 하나가 유효한지의 여부를 나타내는 유효 계수 그룹 플래그들의 인코딩된 데이터, 및 상기 정사각형 블록의 최종 유효 계수의 위치의 인코딩된 데이터를 수신하는 단계;
복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 유효 계수 그룹 플래그들의 복수의 스캔 순서들로부터 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제2 스캔 순서가 결정되며, 상기 유효 계수 그룹 플래그들의 제2 스캔 순서는 상기 유효 계수 그룹 플래그들의 제1 스캔 순서와 상이함 -;
상기 복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 잔차 계수들의 복수의 스캔 순서들로부터 상기 변환 유닛에 대한 상기 잔차 계수들의 스캔 순서를 결정하는 단계 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 잔차 계수들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 잔차 계수들의 제2 스캔 순서가 결정되며, 상기 잔차 계수들의 제2 스캔 순서는 상기 잔차 계수들의 제1 스캔 순서와 상이함 -;
상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서에 따라, 상기 블록의 각각의 서브-블록들에 대응하는 유효 계수 그룹 플래그들을 결정하는 단계; 및
상기 비디오 데이터를 생성하기 위해 상기 결정된 유효 계수 그룹 플래그들, 상기 잔차 계수들의 상기 결정된 스캔 순서 및 상기 정사각형 블록의 최종 유효 계수의 위치에 따라 상기 변환 유닛의 잔차 계수들을 디코딩하는 단계
를 포함하는, 컴퓨터 판독가능 저장 매체.
제16항에 있어서, 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 컴퓨터 판독가능 저장 매체.
제16항에 있어서, 상기 변환 유닛에 대한 상기 잔차 계수들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 컴퓨터 판독가능 저장 매체.
제16항에 있어서, 상기 잔차 계수의 상기 결정된 스캔 순서에 따라 상기 잔차 계수들의 인코딩된 데이터가 서브-블록 단위로 스캔되는, 컴퓨터 판독가능 저장 매체.
제16항에 있어서, 상기 잔차 계수의 상기 수신된 인코딩된 데이터가 상기 최종 유효 계수의 상기 결정된 위치로부터 스캔되어 디코딩되는, 컴퓨터 판독가능 저장 매체.
비트스트림으로의 비디오 데이터의 인코딩 장치로서,
정사각형 블록의 미리 정해진 크기로서 나타내지는 변환 유닛에 대한 잔차 계수들의 값을 수신하는 수단;
상기 정사각형 블록의 서브-블록들의 유효 계수 그룹 플래그들을 결정하는 수단 - 상기 유효 계수 그룹 플래그들 각각은 상기 정사각형 블록의 대응하는 서브-블록 내의 잔차 계수들 중 적어도 하나가 유효한지를 나타냄 -;
복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 스캔 순서를 결정하는 수단 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 변환 유닛의 상기 유효 계수 그룹 플래그들의 제2 스캔 순서가 결정되며, 상기 유효 계수 그룹 플래그들의 제2 스캔 순서는 상기 유효 계수 그룹 플래그들의 제1 스캔 순서와 상이함 -;
상기 복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 변환 유닛에 대한 상기 잔차 계수들의 스캔 순서를 결정하는 수단 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 잔차 계수들의 제1 스캔 순서가 결정되고, 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 잔차 계수들의 제2 스캔 순서가 결정되며, 상기 잔차 계수들의 제2 스캔 순서는 상기 잔차 계수들의 제1 스캔 순서와 상이함 -;
상기 정사각형 블록의 최종 유효 계수의 위치를 결정하는 수단; 및
상기 비트스트림으로의 상기 비디오 데이터로서, 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서에 따라 상기 결정된 유효 계수 그룹 플래그들을 인코딩하고, 상기 잔차 계수들의 상기 결정된 스캔 순서에 따라 상기 잔차 계수들을 인코딩하고, 상기 정사각형 블록의 상기 최종 유효 계수의 상기 결정된 위치를 인코딩하는 수단
을 포함하는 인코딩 장치.
제21항에 있어서, 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 인코딩 장치.
제21항에 있어서, 상기 변환 유닛에 대한 상기 잔차 계수들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 인코딩 장치.
제21항에 있어서, 상기 잔차 계수의 상기 결정된 스캔 순서에 따라 잔차 계수들이 서브-블록 단위로 스캔되는, 인코딩 장치.
제21항에 있어서, 상기 최종 유효 계수의 상기 결정된 위치로부터의 상기 잔차 계수들이 스캔되어 인코딩되는, 인코딩 장치.
비트스트림으로부터의 비디오 데이터의 디코딩 장치로서,
상기 비트스트림으로부터, 정사각형 블록의 미리 정해진 크기로서 나타내지는 변환 유닛에 대한 잔차 계수들의 인코딩된 데이터, 상기 정사각형 블록의 대응하는 서브-블록 내의 잔차 계수 중 적어도 하나가 유효한지의 여부를 나타내는 유효 계수 그룹 플래그들의 인코딩된 데이터, 및 상기 정사각형 블록의 최종 유효 계수의 위치의 인코딩된 데이터를 수신하는 수단;
복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 유효 계수 그룹 플래그들의 복수의 스캔 순서들로부터 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 스캔 순서를 결정하는 수단 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 유효 계수 그룹 플래그들의 제2 스캔 순서가 결정되며, 상기 유효 계수 그룹 플래그들의 제2 스캔 순서는 상기 유효 계수 그룹 플래그들의 제1 스캔 순서와 상이함 -;
상기 복수의 인트라-예측 모드로부터의 상기 변환 유닛에 대응하는 인트라-예측 모드에 따라 상기 잔차 계수들의 복수의 스캔 순서들로부터 상기 변환 유닛에 대한 상기 잔차 계수들의 스캔 순서를 결정하는 수단 - 상기 변환 유닛에 대응하는 인트라-예측 모드가 제1 인트라-예측 모드이면 상기 잔차 계수들의 제1 스캔 순서가 결정되고 상기 변환 유닛에 대응하는 인트라-예측 모드가 상기 제1 인트라-예측 모드와 상이한 제2 인트라-예측 모드이면 상기 잔차 계수들의 제2 스캔 순서가 결정되며, 상기 잔차 계수들의 제2 스캔 순서는 상기 잔차 계수들의 제1 스캔 순서와 상이함 -;
상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서에 따라, 상기 블록의 각각의 서브-블록들에 대응하는 유효 계수 그룹 플래그들을 결정하는 수단; 및
상기 비디오 데이터를 생성하기 위해 상기 결정된 유효 계수 그룹 플래그들, 상기 잔차 계수들의 상기 결정된 스캔 순서 및 상기 정사각형 블록의 최종 유효 계수의 위치에 따라 상기 변환 유닛의 잔차 계수들을 디코딩하는 수단
을 포함하는 디코딩 장치.
제26항에 있어서, 상기 변환 유닛에 대한 상기 유효 계수 그룹 플래그들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 디코딩 장치.
제26항에 있어서, 상기 변환 유닛에 대한 상기 잔차 계수들의 상기 결정된 스캔 순서는 역방향 수평, 역방향 수직 및 역방향 대각 스캔 순서 중 하나인, 디코딩 장치.
제26항에 있어서, 상기 잔차 계수의 상기 결정된 스캔 순서에 따라 상기 잔차 계수들의 인코딩된 데이터가 서브-블록 단위로 스캔되는, 디코딩 장치.
제26항에 있어서, 상기 잔차 계수의 상기 수신된 인코딩된 데이터가 상기 최종 유효 계수의 상기 결정된 위치로부터 스캔되어 디코딩되는, 디코딩 장치.