KR102128877B1

KR102128877B1 - 디코딩 장치 및 디코딩 방법

Info

Publication number: KR102128877B1
Application number: KR1020197035472A
Authority: KR
Inventors: 준 슈; 알리 타바타바이
Original assignee: 소니 주식회사
Priority date: 2012-01-20
Filing date: 2012-12-11
Publication date: 2020-07-02
Also published as: KR102052793B1; SI3731524T1; EP3731524A1; JP2014131332A; CN109510989B; KR20160031046A; KR20200078713A; US10212426B2; CN106028034A; HUE064156T2; ES2965311T3; KR20160031045A; EP3731524B1; JP6075468B2; US20170272754A1; CN103220514A; JP2014131331A; US9826236B2; JP5843224B2; CN106028034B

Abstract

효율을 향상시키면서 설계를 간소화하기 위한 고효율 비디오 코딩(HEVC) 및 유사한 표준 동안 변환 유닛(TU)들에 대한 계수 코딩이 개시된다. 본 발명의 요소들은 수정된 상방-우측 대각 스캔을 수반한 TU들에 대한 계수 코딩과 멀티-레벨 유효도 맵 코딩의 선택적 적용을 포함한다.

Description

디코딩 장치 및 디코딩 방법{DECODING DEVICE AND DECODING METHOD}

관련 출원에 대한 상호참조

본 출원은, 참조에 의해 그 전체가 본 명세서에 포함되는, 2012년 1월 20일 출원된 미국 가출원 번호 제61/589,151호의 정규 출원인, 참조에 의해 그 전체가 본 명세서에 포함되는, 2012년 9월 28일 출원된 미국 특허 출원번호 제13/631,464호의 우선권을 주장한다.

연방 후원 연구 또는 개발에 관한 진술

적용불가

컴팩트 디스크로 제출된 자료의 참조에 의한 포함

적용불가

저작권 보호 대상 자료의 공지

본 특허 문서의 자료의 일부는 미국 및 다른 국가의 저작권법 하에서 저작권 보호를 받는다. 저작권 소유자는, 특허 문서 또는 특허 공개의 타인에 의한 팩시밀리 복사가 미국 특허상표청의 공개된 파일이나 기록에 나타나는 경우라면, 반대하지 않지만, 그 외의 경우에는 모든 저작권을 보유한다. 저작권 소유자는, 37 C.F.R. § 1.14에 따른 권리를 제한없이 포함한, 본 특허 문서를 비밀로 유지할 어떠한 권한도 포기하지 않는다.

1. 발명의 분야

본 발명은 대체로 비디오 코딩에 관한 것으로, 더 구체적으로는, 고효율 비디오 코딩 표준 내에서의 변환 유닛(TU) 인코딩 및 디코딩에 관한 것이다.

2. 관련 기술의 설명

고효율 비디오 코딩(HEVC)에서, 코딩 유닛(CU)은 원하는 코딩 효율의 달성을 위해 비디오 콘텐츠에 따라 가변 크기를 가질 수 있다. CU는 통상적으로 휘도 성분 Y와 2개의 색도 성분들, U 및 V를 포함한다. U와 V 성분의 크기는 샘플수에 관련되고, 비디오 샘플링 포맷에 따라 Y 성분의 크기와 동일하거나 상이할 수 있다. 이들 코딩 유닛들은 예측이나 변환을 위한 더 작은 블록들로 분할될 수 있다. 특히, 각각의 코딩 유닛은 예측 유닛(PU; prediction unit) 및 변환 유닛(TU; transform unit)으로 더 분할될 수 있다. 예측 유닛(PU)은, H.264 표준 등의 다른 비디오 코딩 표준에서 기술되는 파티션과 유사하게 생각될 수 있다. 변환 유닛(TU)이란 일반적으로 변환 계수를 생성할 때 변환이 적용되는 잔차 데이터의 블록을 말한다.

고효율 비디오 코딩(HEVC) 내의 변환 유닛(TU) 코딩은 상당한 처리 오버헤드를 수반한 복잡한 코딩 단계들을 요구하고 일반적으로 모드 의존적 계수 스캔(MDCS; mode dependent coefficient scan), 마지막 비-제로 계수 코딩, 유효도 맵 코딩 및 비-제로 계수 레벨 코딩을 포함한 수 개의 단계들을 포함한다. 이들 성분들은 상이한 변환 유닛(TU) 크기들마다 달라진다.

따라서, HEVC 코딩의 설계를 간소화할 필요성이 존재한다. 본 발명은, HEVC 코딩 동작의 개선을 위해, 이 필요성 외에도 다른 것들을 충족한다.

4x4, 8x8, 16x16 및 32x32 TU들에 걸친 전반적 동작을 강화하고 조화시키는 변환 유닛(TU)에 대한 계수 코딩이 설명된다. 제1 부분에서, 상방-우측 대각 스캔을 수반한 TU들에 대한 계수 코딩이 수정되고, 제2 부분은 멀티-레벨 유효도 맵 코딩을 적용한다. 이들 발명 요소들 양쪽 모두는 4x4 또는 8x8 크기를 갖는 TU에 적용된다.

본 명세서의 이하의 부분들에서 본 발명의 추가 양태들이 드러날 것이며, 상세한 설명은 제약을 부과하지 않고 본 발명의 바람직한 실시예들을 충분히 개시하기 위한 목적이다.

본 발명은 단지 예시적 목적인 이하의 도면들을 참조함으로써 더욱 완전히 이해될 것이다.
도 1은 본 발명의 실시예에 따른 비디오 인코더의 개략도이다.
도 2는 본 발명의 실시예에 따른 비디오 디코더의 개략도이다.
도 3은 본 발명의 실시예에 따라 이용되는 일반화된 변환 유닛(TU) 인코딩 단계들의 흐름도이다.
도 4는 본 발명의 실시예에 따라 이용되는 일반화된 TU 디코딩 단계들의 흐름도이다.
도 5는 종래의 모드 의존 계수 스캔(MDCS; mode dependent coefficient scan)의 흐름도이다.
도 6은 본 발명의 실시예에 따른 모드 의존 계수 스캔(MDCS)의 흐름도이다.
도 7a 내지 도 7d는 종래에 이용되는, 및 본 발명의 실시예에 따라 이용되는 변환 유닛 스캔 패턴이다.
도 8은 종래의 유효도 맵 인코딩의 흐름도이다.
도 9는 종래의 유효도 맵 디코딩의 흐름도이다.
도 10은 본 발명의 실시예에 따른 유효도 맵 인코딩의 흐름도이다.
도 11은 본 발명의 실시예에 따른 유효도 맵 디코딩의 흐름도이다.

고효율 비디오 코딩(HEVC) 동안에, 특히, HEVC 테스트 모델 HM5.0에서, 계수 코딩은 상이한 변환 유닛(TU) 크기들마다 달라지는 수 개의 단계들로 구성된다.

HEVC 코딩 동작을 강화하기 위해, 상방-우측 대각 스캔의 경우 등의 계수 코딩을 조화시켜, 상방-우측 대각 스캔을 수반한 모든 TU들이 동일한 계수 코딩을 갖게 하는 계수 코딩에 대한 더욱 통일된 해결책이 교시된다.

표 1과 표 2는 표 2에 도시된 본 발명에 따라 변하는 HEVC 테스트 모델 HM5.0(표 1)의 기존의 계수 코딩으로부터의 요소들을 비교한다. 스캔(scan)이라 표기된 컬럼은 변환 계수 스캔 순서이고, 멀티-레벨 Sig Map은 멀티-레벨 유효도 맵이 어떻게 먼저 CG 플래그를 인코딩하는지를 나타낸다. 표 1로부터 표 2로 이동시에 서브-블록 상방-우측 대각 대각 스캔(sub-D)에 의해 4x4 및 8 x 8 TU 크기를 갖는 소정 사례들에서 스캔이 강화되는 한편, 멀티-레벨 유효도 맵핑의 추가적 적용이 가해진다는 점에 유의해야 한다.

도 1은 본 발명에 따라 상방-우측 대각 스캔(RDS; up-right diagonal scan)의 대체를 수행하고 멀티-레벨 유효도 맵 코딩(MLSMC; multi-level significance map coding)을 적용하기 위한 인코더(10)를 포함하는 코딩 장치의 실시예를 나타낸다. 본 발명은, 일반화된 RDS와 MLSMC를 포함하는 것으로 도시된 엔트로피 인코딩 블록(34) 내에서 구현되지만, 다른 상황에서는 코딩 시스템과의 호환성을 최대화하는 종래의 비디오 코딩에 의존할 수 있다.

인코더(10)는 하나 이상의 프로세서(44)에 의해 실행되는 인코딩 요소(12)를 갖는 것으로 도시되어 있다. 이 예에서, 비디오 프레임 입력(14)은 참조 프레임(16) 및 프레임 출력(18)과 함께 도시되어 있다. 인터-예측(inter-prediction, 20)은 움직임 추정(ME)(22) 및 움직임 보상(MC)(24)을 갖는 것으로 도시되어 있다. 인트라-예측(intra prediction, 26)이 도시되어 있고, 인터-예측과 인트라 예측 사이에서 스위칭이 도시되어 있다. 합산 결합부(28)는, 잔차 데이터(residual data)의 변환 계수를 생성하기 위해 예측에 기초하여 수행되는 순방향 변환(forward transform, 30)으로의 출력을 갖는 것으로 도시되어 있다. 변환 계수의 양자화는 양자화 스테이지(32)에서 수행되고, 그 이후에 엔트로피 인코딩(34)이 뒤따른다. 역양자화(36) 및 역변환(38) 동작은 합산 결합부(40)에 결합되고, 그 이후에, 디블록킹 및/또는 루프 필터 및/또는 샘플 적응적 오프셋과 같은 필터(42)가 뒤따르는 것으로 도시되어 있다.

인코더는, 인코딩과 연관된 프로그래밍을 실행하기 위한 적어도 하나의 처리 장치(예를 들어, CPU)(46) 및 적어도 하나의 메모리(48)를 포함하는 등의 처리 수단(44)을 포함하여 구현되는 것으로 도시되어 있다는 것을 이해하여야 한다. 또한, 본 발명의 요소들은 인코더(10) 및/또는 디코더(50)용의 CPU에 의한 실행을 위해 액세스될 수 있는 매체에 저장된 프로그래밍으로서 구현될 수 있다는 것을 이해할 것이다.

도 2는 디코더의 실시예(50)를 나타내며, 프로세스 블록(52) 및 연관된 처리 수단(76)을 갖는 것으로 도시되어 있다. 디코더는 실질적으로, 참조 프레임(54)에 관해 동작하고 비디오(74)를 출력하는 도 1의 인코더(10)에 포함된 요소들의 서브셋이라는 점에 유의할 것이다. 디코더 블록은 인코딩된 비디오 신호(56)를 수신하고, 인코딩된 비디오 신호(56)는 모드 의존 스캔에 기초한 1차원 TU들의 디코딩과 인코더에 의해 결정된 마지막 비-제로 변환 위치의 디코딩을 수행하는 엔트로피 디코더(58)를 통해 처리된다. TU들은 : (1) 모드 의존 계수 스캔(MDCS) 동안 4x4 또는 8x8 수평 또는 수직인 TU들은 수평 또는 수직 스캔처리되고, 상방-우측 대각 4x4 및 8x8 TU들을 포함한 나머지 TU들은 4x4 서브-블록 상방-우측 대각 스캔처리되고; 또는 (2) 큰 TU들과 상방-우측 대각 스캔을 수반한 4x4 및 8x8 TU들 양쪽 모두에 대해서는 멀티-레벨 유효도 맵을 이용하여 처리된다. 멀티-레벨 유효도 맵을 이용하는 동안에 디코더의 프로그래밍은 계수 그룹이 모두 제로인지의 여부를 결정하는 인코더로부터의 플래그를 디코딩하고, 계수 그룹이 임의의 비-제로 계수를 가진다면 개개의 유효도 맵을 선택한다.

엔트로피 디코딩에 후속하여, 역영자화(60), 역변환(62), 및 움직임 보상(68)을 갖는 것으로 도시된 인터 예측(66)과 별개의 인트라 예측 블록(70) 중에서 선택된 것과 역변환(62) 출력간의 합산(64)이 뒤따르고 있다. 합산 결합부(64)로부터의 출력은, 루프 필터, 디블록킹 필터, 샘플 적응적 오프셋, 또는 이들의 임의의 조합으로서 구성될 수 있는 필터(72)에 의해 수신된다. 디코더는, 디코딩과 연관된 프로그래밍을 실행하기 위해 적어도 하나의 처리 장치(78) 및 적어도 하나의 메모리(80)를 포함하는 처리 수단(76)을 포함하여 구현될 수 있다는 것을 이해하여야 한다. 또한, 본 발명의 요소들은 처리 장치(CPU)(78)에 의한 실행을 위해 액세스될 수 있는 매체에 저장된 프로그래밍으로서 구현될 수 있다는 점에 유의해야 할 것이다.

본 발명의 요소들(10 및 50)은, 예를 들어 컴퓨터 프로세서(CPU)(46 및 78)에서 실행가능한 메모리(48 및 80)에 상주하는 프로그래밍에 응답하는 등에 의해 처리 수단(44 및 76)에 의한 실행을 위해 구현된다는 것을 이해할 것이다. 또한, 본 발명의 요소들은 CPU(46 및 78)에 의한 실행을 위해 액세스될 수 있는 매체에 저장된 프로그래밍으로서 구현될 수 있다는 것을 이해할 것이다.

프로그래밍은, 일시적 전파 신호(transitory propagating signal)를 구성할 뿐만 아니라 예를 들어 원하는 형태 및 개수의 정적 또는 동적 메모리 장치 내에 프로그래밍을 실제로 유지할 수 있는 비일시적인 유형물의 (물리적) 컴퓨터 판독가능한 매체인 메모리로부터 실행가능하다는 점을 이해하여야 한다. 이들 메모리 장치는, 여기서 비일시적 매체로서 간주되는 모든 상황(예를 들어, 정전)하에서 데이터를 유지하도록 구현될 필요는 없다.

도 3은 종래의 TU 코딩 및 본 발명에 따른 TU 코딩 양쪽 모두가 따르는 인코더에서의 일반적인 TU 코딩 단계들을 나타낸다. 이들 일반적 단계들은 모드 의존 계수 스캔(MDCS)(90)에 기초하여 2차원(2D) TU를 1차원(1D) TU로 변환하는 단계를 포함한다. 마지막 비-제로 계수 위치가 식별되고 인코딩된다(92). 유효도 맵 코딩(94)은 계수가 제로인지 또는 비-제로인지를 인코딩한다. 그 다음, 비-제로 계수들의 값이 인코딩되어(96) TU 코딩을 완료한다.

도 4는 종래의 TU 코딩 및 본 발명에 따른 TU 코딩 양쪽 모두가 따르는 디코더에서의 일반적인 TU 코딩 단계들을 나타낸다. 이들 일반적 단계들은 모드 의존 계수 스캔(MDCS)(98)에 기초하여 2차원(2D) TU를 1차원(1D) TU로 변환하는 단계를 포함한다. 마지막 비-제로 계수 위치가 디코딩된다(100). 유효도 맵 코딩(102)은 계수가 제로인지 또는 비-제로인지를 디코딩한다. 그 다음, 비-제로 계수들의 값이 디코딩되어(104) 디코더에서의 TU 코딩을 완료한다.

도 5는 모드 의존 계수 스캔(MDCS)을 수행하는 종래의 방법을 도시한다. TU 정보(예를 들어, 크기, 예측 모드)(110)가 수신되고 큰 TU들이 단계(112)에서 검출되며, 4x4 또는 8x8이 아닌 TU들은 4x4 서브블록 상방-우측 대각 스캔(114)에 의해 처리된다. 4x4 및 8x8 TU들이 단계(116)에서 검사되고 수평 또는 수직인 TU들은 수평 또는 수직 스캔을 이용하여 단계(118)에서 처리된다. 수평 또는 수직이 아닌 4x4 및 8x8 TU들의 경우, 처리는 블록(116)으로부터 블록(120)으로 이동하고, 블록(120)에서 4x4 TU를 검출하기 위해 검사가 이루어진다. 그 다음, 4x4 TU들은 4x4 상방우측 대각 스캔(122)에 의해 처리되고, 8x8 TU들은 8x8 상방우측 대각 스캔(124)에 의해 처리된다.

도 6은 본 발명에 따른 모드 의존 계수 스캔(MDCS)의 실시예를 나타낸다. TU 정보(130)가 수신되고 큰 TU들이 단계(132)에서 검출되며, 4x4 또는 8x8이 아닌 TU들은 4x4 서브블록 상방-우측 대각 스캔(134)에 의해 처리된다. 4x4 및 8x8 TU들이 단계(136)에서 검사되고 수평 또는 수직인 TU들은 수평 또는 수직 스캔을 이용하여 단계(138)에서 처리된다. 나머지 4x4 및 8x8 비-수평, 비-수직 TU들의 경우, 블록(134)에 따라 4x4 서브-블록 상방-우측 대각 스캔이 역시 수행된다.

도 7a 내지 도 7d는 본 발명에 따른 스캔 패턴을 나타낸다. 도 7a에서, 큰 TU는 서브-블록 분할되고 상방-우측 대각 스캔되는 16x16 계수를 갖는 것을 볼 수 있다. 이 도면은 계수들이 각각의 4x4 서브-블록 내에서 스캔되며, 스캔은 다음 4x4 서브-블록(즉, CG)으로 이동한다는 것을 보여준다. 간소화(및 여유 공간)를 위해 4x4 서브-블록들 각각 내부의 스캔 패턴은 도 7a에 도시되어 있지 않다. 도 7b에서, 상방-우측 대각 스캔이 4x4 상방-우측 대각 TU 상에 도시되어 있다. 도 6에 도시된 본 발명의 변경 이전과 이후 양쪽 모두에서 4x4 상방-우측 대각 스캔이 이들 TU들 상에서 수행된다는 점에 유의해야 할 것이다. 도 7c에, 본 발명에 따라 도 7d에 도시된 4x4 상방-우측 대각 서브-블록 스캔으로 대체되는 종래의 8x8 상방-우측 대각 스캔이 도시되어 있다. 도 7a 내지 도 7d에서, MDCS는 TU의 상부-좌측 코너로부터 시작하여 하부-우측 코너까지 가로지른다. 도 3의 인코딩 프로세스(94 및 96)와 도 4의 디코딩 프로세스(102 및 104)에서, 처리 순서는 도 7a 내지 도 7d에 도시된 MDCS의 역이다.

도 8은 인코더에서의 종래의 유효도 맵 처리를 도시한다. TU 정보(150)가 수신되고, 단계(152)에서 4x4 및 8x8 TU인 것으로 판정되면, 단일 레벨 유효도 맵 인코딩(154)이 수행된다. 그렇지 않고 4x4 또는 8x8이 아닌 TU의 경우, 멀티-레벨 유효도 맵 인코딩(156)이 수행된다. 멀티-레벨 유효도 맵 인코딩은 마지막 비-제로 계수 그룹(CG)으로부터 시작하여 계수 그룹(CG)이 더 있는지를 검사하는 단계(158)를 포함하는 것으로 도시되어 있다. CG가 더 없다면, 멀티-레벨 유효도 맵 인코딩이 완료되고, 실행은 단계(166) 넘어로 점프하는 것으로 도시되어 있다. CG가 더 있다면, 단계(160)에서 첫 번째 CG와 마지막 CG 사이인지를 알기 위해 검사가 이루어진다. (1): 마지막 비-제로 CG(마지막 비-제로 계수를 포함하는 CG) 이후의 모든 제로 CG에 대해서는 플래깅(flagging)이 전송될 필요가 없는데, 그 이유는 이들은 모두 제로일 것이고 CG 플래그는 제로로 설정되는 것으로 가정될 수 있기 때문이다; (2) 마지막 비-제로 CG의 경우, 이것은 비-제로 계수를 갖고 CG 플래그는 1로 설정된다고 유추될 수 있으므로, 아무런 플래깅도 필요하지 않으며, 마지막으로 (3) 첫 번째 CG의 경우, 대부분의 경우에 이 CG는 비-제로 계수를 갖고 CG 플래그는 1로 설정되기 때문에 플래깅은 필요하지 않다는 점에 유의해야 한다. 따라서, 단계(160)에서 첫 번째와 마지막 CG 사이에 있다고 판정되면, (예이면) CG 플래그가 인코딩되는 플래깅(162)이 수행된다. 첫 번째와 마지막 CG 사이에 있지 않다면, CG 플래그는 1로 설정되고(161), 플래깅 단계는 바이패스되며 실행은 CG 플래그 검사(164)로 진행한다. 단계(164)에서, CG 플래그가 1과 같은지의 여부가 검사되고, CG 플래그가 제로와 같다면 단계(158)로 되돌아 간다. 각각의 4x4 서브블록이 계수 그룹(CG)을 포함한다는 점에 유의해야 한다. 단계(164)에서 CG 플래그가 1인 것으로 판정되면, 개개의 유효도 맵 인코딩이 수행된다(166).

도 9는 디코더에서의 종래의 유효도 맵 처리를 도시한다. TU 정보(170)가 수신되고, 단계(172)에서 4x4 및 8x8 TU인 것으로 판정되면, 단일 레벨 유효도 맵 디코딩(174)이 수행된다. 그렇지 않고 4x4 또는 8x8이 아닌 TU의 경우, 멀티-레벨 유효도 맵 디코딩(176)이 수행된다. 멀티-레벨 유효도 맵 디코딩은 마지막 비-제로 계수 그룹(CG)으로부터 시작하여 계수 그룹(CG)이 더 있는지를 검사하는 단계(178)를 포함하는 것으로 도시되어 있다. CG가 더 없다면, 멀티-레벨 유효도 맵 디코딩이 완료되고, 실행은 단계(186) 넘어로 점프하는 것으로 도시되어 있다. CG가 더 있다면, 단계(180)에서 첫 번째 CG와 마지막 CG 사이인지를 알기 위해 검사가 이루어진다. (1): 마지막 비-제로 CG(마지막 비-제로 계수를 포함하는 CG) 이후의 모든 제로 CG에 대해서는 플래깅이 전송될 필요가 없는데, 그 이유는 이들은 모두 제로일 것이고 CG 플래그는 제로로 설정되는 것으로 가정될 수 있기 때문이다; (2) 마지막 비-제로 CG의 경우, 이것은 비-제로 계수를 갖고 CG 플래그는 1로 설정된다고 유추될 수 있으므로, 아무런 플래깅도 필요하지 않으며, 마지막으로 (3) 첫 번째 CG의 경우, 대부분의 경우에 이 CG는 비-제로 계수를 갖고 CG 플래그는 1로 설정되기 때문에 플래깅은 필요하지 않다는 점에 유의해야 한다. 따라서, 단계(180)에서 첫 번째와 마지막 CG 사이에 있는 것으로 판정되면, (예이면) 플래깅(182)이 수행된다. 첫 번째와 마지막 CG 사이에 있지 않다면, CG 플래그는 1로 설정되고(181), 플래깅 단계는 바이패스되며 실행은 CG 플래그 검사(184)로 진행한다. 단계(184)에서, CG 플래그가 1과 같은지의 여부가 검사되고, CG 플래그가 제로와 같다면 단계(178)로 되돌아 간다. 각각의 4x4 서브블록이 계수 그룹(CG)을 포함한다는 점에 유의해야 한다. 단계(184)에서 CG 플래그가 1인 것으로 판정되면, 개개의 유효도 맵 디코딩이 수행된다(186).

도 10은 본 발명의 요소에 따른 인코더에서의 유효도 맵 처리를 나타낸다. TU 정보(190)가 수신되고, 단계(192)에서 수평 및 수직 스캔을 수반한 4x4 또는 8x8 TU인 것으로 판정되면, 단일 레벨 유효도 맵 인코딩(194)이 수행된다. 그렇지 않고, 큰 TU와, 4x4 및 8x8 상방-우측 대각 스캔 TU의 경우, 멀티-레벨 유효도 맵 인코딩(196)이 수행된다. 멀티-레벨 유효도 맵 인코딩은 계수 그룹(CG)이 더 있는지를 검사하는 단계(198)를 포함하는 것으로 도시되어 있다. CG가 더 없다면, 멀티-레벨 유효도 맵 인코딩이 완료되고, 실행은 단계(206) 넘어로 점프하는 것으로 도시되어 있다. CG가 더 있다면, 단계(200)에서 첫 번째 CG와 마지막 CG 사이인지를 알기 위해 검사가 이루어진다. (1): 마지막 비-제로 CG(마지막 비-제로 계수를 포함하는 CG) 이후의 모든 제로 CG에 대해서는 플래깅이 전송될 필요가 없는데, 그 이유는 이들은 모두 제로일 것이고 CG 플래그는 1로 설정되는 것으로 가정될 수 있기 때문이다; (2) 마지막 비-제로 CG의 경우, 이것은 비-제로 계수를 갖는 것으로 유추될 수 있으므로, 아무런 플래깅도 필요하지 않으며, 마지막으로 (3) 첫 번째 CG의 경우, 대부분의 경우에 이 CG는 비-제로 계수를 갖고 CG 플래그는 1로 설정되기 때문에 플래깅은 필요하지 않다는 점에 유의한다. 따라서, 단계(200)에서 첫 번째와 마지막 CG 사이에 있는 것으로 판정되면, (예이면) 플래깅이 수행된다(202). 첫 번째와 마지막 CG 사이에 있지 않다면, CG 플래그는 1로 설정되고(201), 플래깅 단계는 바이패스되며 실행은 CG 플래그 검사(204)로 진행한다. 단계(204)에서, CG 플래그가 1과 같은지의 여부가 검사되고, CG 플래그가 제로와 같다면 단계(198)로 되돌아 간다. 각각의 4x4 서브블록이 계수 그룹(CG)을 포함한다는 점에 유의해야 한다. 단계(204)에서 CG 플래그가 1인 것으로 판정되면, 개개의 유효도 맵 인코딩이 수행된다(206).

도 11은 본 발명의 요소에 따른 디코더에서의 유효도 맵 처리를 나타낸다. TU 정보(210)가 수신되고, 단계(212)에서 수평 및 수직 스캔을 수반한 4x4 또는 8x8 TU인 것으로 판정되면, 단일 레벨 유효도 맵 디코딩(214)이 수행된다. 그렇지 않고, 큰 TU와, 4x4 및 8x8 상방-우측 대각 스캔 TU의 경우, 멀티-레벨 유효도 맵 디코딩(216)이 수행된다. 멀티-레벨 유효도 맵 디코딩은 계수 그룹(CG)이 더 있는지를 검사하는 단계(218)를 포함하는 것으로 도시되어 있다. CG가 더 없다면, 멀티-레벨 유효도 맵 디코딩이 완료되고, 실행은 단계(226) 넘어로 점프하는 것으로 도시되어 있다. CG가 더 있다면, 단계(220)에서 첫 번째 CG와 마지막 CG 사이인지를 알기 위해 검사가 이루어진다. (1): 마지막 비-제로 CG(마지막 비-제로 계수를 포함하는 CG) 이후의 모든 제로 CG에 대해서는 플래깅이 전송될 필요가 없는데, 그 이유는 이들은 모두 제로일 것이고 CG 플래그는 1로 설정되는 것으로 가정될 수 있기 때문이다; (2) 마지막 비-제로 CG의 경우, 이것은 비-제로 계수를 갖는 것으로 유추될 수 있으므로, 아무런 플래깅도 필요하지 않으며, 마지막으로 (3) 첫 번째 CG의 경우, 대부분의 경우에 이 CG는 비-제로 계수를 갖고 CG 플래그는 1로 설정되기 때문에 플래깅은 필요하지 않다는 점에 유의한다. 따라서, 단계(220)에서 첫 번째와 마지막 CG 사이에 있는 것으로 판정되면, (예이면) CG 플래그가 디코딩되는 플래깅(222)이 수행된다. 첫 번째와 마지막 CG 사이에 있지 않다면, CG 플래그는 1로 설정되고(221), 플래깅 단계는 바이패스되며 실행은 CG 플래그 검사(224)로 진행한다. 단계(224)에서, CG 플래그가 1과 같은지의 여부가 검사되고, CG 플래그가 제로와 같다면 단계(218)로 되돌아 간다. 각각의 4x4 서브블록이 계수 그룹(CG)을 포함한다는 점에 유의해야 한다. 단계(224)에서 CG 플래그가 1인 것으로 판정되면, 개개의 유효도 맵 디코딩이 수행된다(226).

이하에서 도 8(인코더) 및 도 9(디코더)로부터 도 10(인코더) 및 도 11(디코더)의 본 발명의 교시로의 변화가 요약된다. 기존의 유효도 맵핑에서, 모든 4x4 및 8x8 TU들은 단일 레벨 유효도 맵핑을 거치는 반면, 더 큰 TU들(16x16 및 32x32)만이 멀티-레벨 유효도 맵핑에 의해 처리된다. 그러나, 도 10 및 도 11에 도시된 바와 같이, 수평 또는 수직 스캔을 수반한 4x4 및 8x8 TU들은 단일 레벨 유효도 맵에 의해 처리되는 반면, 큰 TU들(16x16 및 32x32)과 함께 상방-우측 대각 스캔을 수반한 4x4 및 8x8 TU들은 멀티-레벨 유효도 맵핑을 이용하여 처리된다.

이들 해결책들은 표 2의 특성들에서 요약된다. 소정의 4x4 및 8x8 TU들은 서브블록 상방-우측 대각(Sub-D) 스캔의 경우에 이전과는 상이하게 처리된다는 것을 표에서 알 수 있다. 본 발명의 기술이 HEVC HM5.0 내에 구현되었고, 일반적 테스트 조건하에서 시뮬레이션이 수행되었다.

본 발명의 실시예들은 본 발명의 실시예에 따른 방법 및 시스템의 플로차트 예시, 및/또는 컴퓨터 프로그램 제품으로서 구현될 수도 있는 알고리즘, 공식, 또는 기타의 계산 표현을 참조하여 설명될 수 있다. 이 점에서, 플로차트의 각 블록 또는 단계, 및 플로차트에서 블록들(및/또는 단계들)의 조합, 알고리즘, 공식, 또는 계산 표현은, 하드웨어, 펌웨어, 및/또는 컴퓨터-판독가능한 프로그램 코드 로직으로 구현된 하나 이상의 컴퓨터 명령어를 포함하는 소프트웨어와 같은 다양한 수단에 의해 구현될 수 있다. 이해하겠지만, 임의의 이러한 컴퓨터 프로그램 명령어는, 범용 컴퓨터 또는 특수 목적 컴퓨터, 또는 머신을 생성하는 기타의 프로그램가능한 처리 장치를 포함하지만 이들로 제한되지 않는 컴퓨터에 로딩되어, 컴퓨터 또는 기타의 프로그램가능한 처리 장치에서 실행되는 컴퓨터 프로그램 명령어들이 플로차트(들)의 블록(들)에 명시된 기능을 구현하기 위한 수단을 생성하게 할 수 있다.

따라서, 플로차트의 블록들, 알고리즘, 공식, 또는 계산 표현은, 지정된 기능을 수행하기 위한 수단들의 조합, 지정된 기능을 수행하기 위한 단계들의 조합, 및 지정된 기능을 수행하기 위한 컴퓨터-판독가능한 프로그램 코드 로직 수단으로 구현된 것과 같은 컴퓨터 프로그램 명령어를 지원한다. 여기서 설명된 플로차트 예시의 각 블록, 알고리즘, 공식, 또는 계산 표현 및 이들의 조합은, 지정된 기능이나 단계를 수행하는 특수 목적 하드웨어-기반의 컴퓨터 시스템, 또는 특수 목적 하드웨어 및 컴퓨터 판독가능한 프로그램 코드 로직 수단의 조합에 의해 구현될 수 있다는 것을 이해할 것이다.

또한, 컴퓨터-판독가능한 프로그램 코드 로직으로 구현된 것과 같은 이들 컴퓨터 프로그램 명령어는 또한, 컴퓨터 또는 기타의 프로그램가능한 처리 장치가 특정한 방식으로 기능하되, 컴퓨터 판독가능한 메모리에 저장된 명령어가 플로차트(들)의 블록(들)에 지정된 기능을 구현하는 명령어 수단을 포함하는 제조품을 생성하게끔 기능하도록 지시할 수 있는 컴퓨터 판독가능한 메모리에 저장될 수 있다. 컴퓨터 프로그램 명령어는 또한, 컴퓨터 또는 기타의 프로그램가능한 처리 장치에 로딩되어, 컴퓨터 또는 기타의 프로그램가능한 처리 장치에서 일련의 동작 단계들이 실행되게 하여, 컴퓨터 또는 기타의 프로그램가능한 처리 장치에서 실행되는 명령어가 플로차트(들)의 블록(들), 알고리즘(들), 공식(들), 또는 계산 표현(들)에 지정된 기능을 구현하기 위한 단계들을 제공하게 하는 식으로, 컴퓨터 구현된 프로세스를 생성하게 할 수 있다.

전술된 논의로부터, 본 발명은 하기를 포함한 다양한 방식으로 구현될 수 있다는 것을 이해할 것이다:

1. 비디오 신호를 인코딩 및 디코딩하는 시스템으로서, (a) 비디오 프레임의 인코딩을 위해 구성된 컴퓨터 프로세서를 갖는 비디오 인코더; (b) 상기 컴퓨터 프로세서 상에서 실행가능하며, (i) 상기 비디오 프레임에 대해 이웃하는 재구성된 값들에 기초한 인트라-예측, 및/또는 움직임-추정 및 움직임-보상에 기초한 인터-예측을 수행하고; (ii) 상기 비디오 프레임에 대해 상기 인터-예측에 기초한 변환과 이에 후속하는 변환 계수들의 양자화를 실행하고, 및/또는 역양자화와 이에 후속하는 상기 인터-예측과 합산되는 역변환을 실행하며; (iii) 상기 비디오 프레임에 대해 엔트로피 인코딩을 수행하기 위한 프로그래밍으로서, 상기 엔트로피 인코딩은: (A) 모드 의존 계수 스캔(MDCS)에 기초하여 2차원 변환 유닛(TU)을 1차원 TU로 변환하는 단계; (B) 마지막 비-제로 변환 계수 위치를 식별하고 인코딩하는 단계; (C) 계수가 제로인지 비-제로인지를 인코딩하는 유효도 맵을 생성하는 단계; (D) 여기서, 상기 TU들은, (1) 모드 의존 계수 스캔(MDCS) 동안 4x4 또는 8x8 수평 또는 수직인 TU들은 수평 또는 수직 스캔처리되고, 상방-우측 대각 4x4 및 8x8 TU들을 포함한 나머지 TU들은 4x4 서브블록 상방-우측 대각 스캔처리되거나; 또는 (2) 유효도 맵의 생성 동안에, 큰 TU들과 4x4 서브-블록 상방-우측 대각 스캔을 수반한 4x4 및 8x8 TU들 양쪽 모두에 대해서는 멀티-레벨 유효도 맵 인코딩을 이용하여 처리되며; (E) 나머지 비-제로 변환 계수들을 인코딩하는 단계를 포함하는, 상기 프로그래밍; (c) 비디오 프레임의 디코딩을 위해 구성된 컴퓨터 프로세서를 갖는 디코더; 및 (d) 상방-우측 대각 스캔(RDS)의 대체를 포함하는 인코딩된 비디오 프레임의 수신시에 엔트로피 디코딩을 수행하고, 및/또는 변환 유닛(TU)의 디코딩 동안에 멀티-레벨 유효도 맵 코딩을 적용하기 위한 상기 컴퓨터 프로세서 상에서 실행가능한 프로그래밍을 포함하는, 시스템.

2. 상기 4x4 서브-블록은 계수 그룹(CG)인, 제1 구현예에 따른 시스템.

3. 상기 멀티-레벨 유효도 맵핑 동안에 상기 프로그래밍은, 계수 그룹이 모두 제로인지의 여부를 나타내는 플래그를 인코딩하고 계수 그룹이 임의의 비-제로 계수를 갖는다면 개개의 유효도 맵을 생성하기 위한 상기 컴퓨터 상에서의 실행을 위해 구성된, 제1 구현예 또는 제2 구현예에 따른 시스템.

4. 상기 인코더 코딩 유닛(CU)들은 원하는 코딩 효율을 달성하기 위해 비디오 콘텐츠에 따라 가변 크기를 가지며, 상기 CU들은 더 작은 예측 유닛(PU)과 변환 유닛(TU)으로 분할되는, 제1 구현예 내지 제3 구현예 중 어느 하나에 따른 시스템.

5. 상기 변환 유닛(TU)은 상기 변환이 적용되어 변환 계수들을 생성하는 잔차 데이터의 블록을 지칭하는, 제1 구현예 내지 제4 구현예 중 어느 하나에 따른 시스템.

6. 상기 비디오 코딩 시스템은 고효율 비디오 코딩(HEVC) 코더와 함께 동작하는, 제1 구현예 내지 제5 구현예 중 어느 하나에 따른 시스템.

7. 상기 프로그래밍은 상방-우측 대각 스캔을 수반한 모든 TU에 대해 동일한 계수 코딩을 이용하도록 구성된, 제1 구현예 내지 제6 구현예 중 어느 하나에 따른 시스템.

8. 비디오 코딩 장치 내에서의 엔트로피 인코딩을 위한 장치로서, (a) 비디오 프레임의 인코딩을 위해 구성된 컴퓨터 프로세서를 갖는 인코더; 및 (b) 상기 컴퓨터 프로세서 상에서 실행가능하고, (i) 상기 비디오 프레임에 대해 움직임-추정 및 움직임-보상에 기초한 인터-예측을 수행하고; (ii) 상기 인터-예측에 기초한 변환과 이에 후속하는 상기 변환으로부터의 변환 계수들의 양자화를 실행하며; (iii) 상기 비디오 프레임에 관해 엔트로피 인코딩을 수행하기 위한 프로그래밍을 포함하고, 상기 엔트로피 인코딩은, (A) 모드 의존 계수 스캔(MDCS)에 기초하여 2차원 변환 유닛(TU)을 1차원 TU로 변환하는 단계와; (B) 마지막 비-제로 변환 계수 위치를 식별하고 인코딩하는 단계; (C) 계수가 제로인지 비-제로인지를 인코딩하는 유효도 맵을 생성하는 단계; (D) 여기서, 상기 TU들은, (1) 모드 의존 계수 스캔(MDCS) 동안 4x4 또는 8x8 수평 또는 수직인 TU들은 수평 또는 수직 스캔처리되고, 상방-우측 대각 4x4 및 8x8 TU들을 포함한 나머지 TU들은 4x4 서브블록 상방-우측 대각 스캔처리되거나; 또는 (2) 유효도 맵의 생성 동안에, 큰 TU들과 4x4 서브-블록 상방-우측 대각 스캔을 수반한 4x4 및 8x8 TU들 양쪽 모두에 대해서는 멀티-레벨 유효도 맵 인코딩을 이용하여 처리되며; 및 (E) 나머지 비-제로 변환 계수들을 인코딩하는 단계를 포함하는, 장치.

9. 상기 4x4 서브-블록은 계수 그룹(CG)인, 제8 구현예에 따른 장치.

10. 상기 멀티-레벨 유효도 맵핑 동안에 상기 프로그래밍은, 계수 그룹이 모두 제로인지의 여부를 나타내는 플래그를 인코딩하고 계수 그룹이 임의의 비-제로 계수를 갖는다면 개개의 유효도 맵을 생성하기 위한 상기 컴퓨터 상에서의 실행을 위해 구성되는, 제8 구현예 또는 제9 구현예에 따른 장치.

11. 상기 인코더의 코딩 유닛(CU)들은 원하는 코딩 효율을 달성하기 위해 비디오 콘텐츠에 따라 가변 크기를 가지며, 상기 CU들은 더 작은 예측 유닛(PU)과 변환 유닛(TU)으로 분할되는, 제8 구현예 내지 제10 구현예 중 어느 하나에 따른 장치.

12. 상기 변환 유닛(TU)들은 상기 변환이 적용되어 변환 계수들을 생성하는 잔차 데이터의 블록을 지칭하는 것인, 제8 구현예 내지 제11 구현예 중 어느 하나에 따른 장치.

13. 상기 비디오 코딩 장치는 고효율 비디오 코딩(HEVC) 코더와 함께 동작하는, 제8 구현예 내지 제12 구현예 중 어느 하나에 따른 장치.

14. 상기 프로그래밍은 상방-우측 대각 스캔을 수반한 모든 TU에 대해 동일한 계수 코딩을 이용하도록 구성된, 제8 구현예 내지 제13 구현예 중 어느 하나에 따른 장치.

15. 비디오 디코딩 장치 내에서의 엔트로피 디코딩을 위한 장치로서, (a) 비디오 프레임의 디코딩을 위해 구성된 컴퓨터 프로세서를 갖는 디코더; 및 (b) 인코딩된 비디오 프레임의 수신시 엔트로피 디코딩을 수행하기 위한 상기 컴퓨터 프로세서 상에서 실행가능한 프로그래밍을 포함하고, 상기 엔트로피 디코딩은, (i) 모드 의존 계수 스캔(MDCS)에 기초하여 2차원 변환 유닛(TU)을 1차원 TU로 변환하는 단계와; (ii) 마지막 비-제로 변환 계수 위치를 디코딩하는 단계; (iii) 계수가 제로인지 비-제로인지에 관한 상기 인코더로부터의 유효도 맵을 디코딩하는 단계; (iv) 상기 TU들은, (1) 모드 의존 계수 스캔(MDCS) 동안 4x4 또는 8x8 수평 또는 수직인 TU들은 수평 또는 수직 스캔처리되고, 상방-우측 대각 4x4 및 8x8 TU들을 포함한 나머지 TU들은 4x4 서브블록 상방-우측 대각 스캔처리되거나; 또는 (2) 큰 TU들과 4x4 서브-블록 상방-우측 대각 스캔을 수반한 4x4 및 8x8 TU들 양쪽 모두에 대해서는 멀티-레벨 유효도 맵 디코딩을 이용하여 처리되며; 및 (v) 나머지 비-제로 변환 계수들을 디코딩하는 단계를 포함하는, 장치.

16. 상기 4x4 서브-블록은 계수 그룹(CG)인, 제15 구현예에 따른 장치.

17. 상기 멀티-레벨 유효도 맵을 이용하는 동안에 상기 프로그래밍은, 계수 그룹이 모두 제로인지의 여부를 나타내는 인코더로부터의 플래그를 디코딩하고 계수 그룹이 임의의 비-제로 계수를 갖는다면 개개의 유효도 맵을 선택하도록 구성된, 제15 구현예 또는 제16 구현예에 따른 장치.

18. 상기 디코더의 코딩 유닛(CU)들은 원하는 코딩 효율을 달성하기 위해 비디오 콘텐츠에 따라 가변 크기를 가지며, 상기 CU들은 더 작은 예측 유닛(PU)과 변환 유닛(TU)으로 분할되는, 제15 구현예 내지 제17 구현예 중 어느 하나에 따른 장치.

19. 상기 변환 유닛(TU)들은 역변환이 적용되는 잔차 데이터의 블록을 지칭하는, 제15 구현예 내지 제18 구현예 중 어느 하나에 따른 장치.

20. 상기 비디오 디코딩 장치는 고효율 비디오 코딩(HEVC) 코더와 함께 동작하는, 제15 구현예 내지 제19 구현예 중 어느 하나에 따른 장치.

상기 설명은 많은 상세사항을 포함하지만, 이들은 본 발명의 범위를 제한하는 것으로 해석되어서는 안 되고, 본 발명의 현 양호한 실시예들의 일부의 예시를 제공할 뿐인 것으로 해석되어야 한다. 따라서, 본 발명의 범위는, 당업자에게 명백할 수 있는 다른 실시예들을 완전히 포함하며, 그에 따라 본 발명의 범위는, 단수의 요소에 대한 참조가 명시적으로 언급되지 않는 한 "단 하나"를 의미하는 것이 아니라 "하나 이상"을 의미하도록 의도된 첨부된 청구 범위에 의해서만 제한된다는 점을 이해할 것이다. 당업자에게 공지된 전술된 바람직한 실시예의 요소들의 모든 구조적 및 기능적 등가물들은 본 명세서에서 참조에 의해 명시적으로 포함되며 본 청구항들에 의해 포함되는 것으로 의도된다. 게다가, 장치 또는 방법이, 본 청구항들에 포함된다는 이유로, 본 발명에 의해 해결하고자 하는 각각의 및 모든 문제를 해결할 필요는 없다. 또한, 본 개시의 어떤 요소, 컴포넌트, 또는 방법 단계도, 그 요소, 컴포넌트, 또는 방법 단계가 청구항에서 명시적으로 인용되는지에 관계없이 공개 이용되어서는 안 된다. 여기서의 어떠한 청구항 요소도, 그 요소가 문구 "~를 위한 수단"을 이용하여 명시적으로 인용되지 않는 한, 35 U.S.C. 112 제6 패러그라프의 조항하에 해석되어서는 안 된다.

HEVC 테스트 모델 HM5.0에서의 기존의 계수 코딩

스캔: H=수평 스캔; V=수직 스캔; D= TU 크기에 따라 달라지는 상방-우측 대각 스캔; sub-D= 4x4 서브-블록 상방-우측 대각 스캔.

HEVC에 대한 본 발명의 계수 코딩

Claims

삭제
복수의 변환 블록들 중 제1 변환 블록 및 상기 복수의 변환 블록들 중 제2 변환 블록에 diagonal scan이 적용되는 것을 조건으로 하여, 복수의 가변 블록 크기들의 상기 복수의 변환 블록들에 상기 diagonal scan을 적용하고,
- 상기 제1 변환 블록은 상기 복수의 가변 블록 크기들 중 제1 블록 크기의 블록이고, 상기 제2 변환 블록은 상기 복수의 가변 블록 크기들 중 제2 블록 크기의 블록이고,
상기 제1 변환 블록 및 상기 제2 변환 블록 모두의 4×4 서브 블록들은 diagonal scan이 행해지고, 상기 diagonal scan은 각 4×4 서브 블록들 내에서 적용됨 -,
상기 제1 블록 크기의 상기 제1 변환 블록과 상기 제2 블록 크기의 상기 제2 변환 블록에 동일한 멀티 레벨 유효성 맵 디코딩(multi-level significance map decoding)을 적용하도록 구성된 하드웨어를 포함하고,
상기 하드웨어는, 상기 제1 변환 블록 및 상기 제2 변환 블록에 통일된 멀티 레벨 유효성 맵 디코딩을 적용하도록 구성된, 디코딩 장치.
제2항에 있어서, 상기 복수의 가변 블록 크기들은, 4×4, 8×8, 16×16 및 32×32를 포함하는, 디코딩 장치.
제3항에 있어서, 상기 제1 변환 블록은 코딩 블록을 블록 분할로서 복수의 변환 블록들로 재귀적으로 분할하는 것에 기초하는, 디코딩 장치.
삭제
복수의 변환 블록들 중 제1 변환 블록 및 상기 복수의 변환 블록들 중 제2 변환 블록에 diagonal scan이 적용되는 것을 조건으로 하여, 복수의 가변 블록 크기들의 상기 복수의 변환 블록들에 상기 diagonal scan을 적용하는 단계,
- 상기 제1 변환 블록은 상기 복수의 가변 블록 크기들 중 제1 블록 크기의 블록이고, 상기 제2 변환 블록은 상기 복수의 가변 블록 크기들 중 제2 블록 크기의 블록이고,
상기 제1 변환 블록 및 상기 제2 변환 블록 모두의 4×4 서브 블록들은 diagonal scan이 행해지고, 상기 diagonal scan은 각 4×4 서브 블록들 내에서 적용됨 -, 및
상기 제1 블록 크기의 상기 제1 변환 블록과 상기 제2 블록 크기의 상기 제2 변환 블록에 동일한 멀티 레벨 유효성 맵 디코딩(multi-level significance map decoding)을 적용하는 단계를 포함하고,
상기 멀티 레벨 유효성 맵 디코딩을 적용하는 단계는, 상기 제1 변환 블록 및 상기 제2 변환 블록에 통일된 멀티 레벨 유효성 맵 디코딩을 적용하는 단계를 포함하는, 디코딩 방법.
제6항에 있어서, 상기 복수의 가변 블록 크기들은, 4×4, 8×8, 16×16 및 32×32를 포함하는, 디코딩 방법.
제7항에 있어서, 상기 제1 변환 블록은 코딩 블록을 블록 분할로서 복수의 변환 블록들로 재귀적으로 분할하는 것에 기초하는, 디코딩 방법.