KR101909863B1

KR101909863B1 - 3d 비디오 코딩에서 단순화된 cabac 코딩의 방법

Info

Publication number: KR101909863B1
Application number: KR1020187000290A
Authority: KR
Inventors: 카이 장; 이 웬 첸; 지안 리앙 린; 지쳉 안; 시안구오 장
Original assignee: 미디어텍 싱가폴 피티이. 엘티디.
Priority date: 2013-07-08
Filing date: 2014-06-24
Publication date: 2018-10-18
Also published as: US20160065964A1; CA2908115A1; KR20180005750A; US9973759B2; WO2015003554A1; CN105247863B; KR101817589B1; CA2908115C; KR20150140769A; CN105247863A

Abstract

3-차원 또는 다중-뷰 비디오 인코딩 및 디코딩에서 콘텍스트-기반 코딩의 저장 요건 또는 복잡도를 감소시키기 위한 방법이 개시된다. 시스템은 하나 이상의 이웃 블록들이 이용 가능한지 여부에 조건부로 의존하여 현재 블록의 하나 이상의 이웃 블록들과 연관된 선택된 정보에 기초하여 콘텍스트를 선택한다. 신택스 엘리먼트는 그 후 콘텍스트 선택에 따라 콘텍스트-기반 코딩을 이용하여 인코딩 또는 디코딩된다. 코딩될 신택스 엘리먼트는 IC (illumination compensation) 플래그 또는 ARP (advanced residual prediction) 플래그에 대응할 수 있다. 다른 예에서, DMM(Depth Map Model)을 이용하여 현재 깊이 블록을 코딩하기 위한 하나 이상의 신택스 엘리먼트들은 콘텍스트-기반 코딩을 이용하여 인코딩되거나 디코딩되며, 여기서 콘텍스트-기반 코딩은 적어도 하나의 선택된 신택스 엘리먼트에 대한 바이패스 모드를 선택한다.

Description

3D 비디오 코딩에서 단순화된 CABAC 코딩의 방법{METHOD OF SIMPLIFIED CABAC CODING IN 3D VIDEO CODING}

관련 출원들에 대한 상호참조

본 발명은 2013년 7월 8일 출원되고, 발명의 명칭이 "A Simplified Method on Segmentation Coding in Intra Prediction"인 PCT 특허 출원 일련 번호 제PCT/CN2013/078981호 및 2013년 12월 26일 출원되고 발명의 명칭이 "Simplified CABAC Contexts in 3DVC"인 PCT 특허 출원 일련 번호 제PCT/CN2013/090566호를 우선권으로 주장한다. PCT 특허 출원들은 그에 의해 그 전체가 인용에 의해 포함된다.

발명의 분야

본 발명은 3-차원 비디오 코딩에 관한 것이다. 특히, 본 발명은 3-차원(three-dimensional; 3D) 코딩 시스템에서 CABAC(Context Adaptive Binary Arithmetic Coding)에 대한 최적화된 방법들에 관한 것이다.

3D 비디오 코딩에서, 근본적인 텍스처 이미지들과 연관되는 깊이 정보는 합성된 뷰들(synthesized view)의 렌더링은 물론 코딩 효율을 개선하는데 유용하다. 통상적인 장면들에 대한 깊이 데이터의 통계적 분포는 보통 희박하다. 몇몇 깊이 값들은 깊이 맵들에서 발생하지 않을 수 있다. 3-차원 코딩 표준에 기초한 고 효율 비디오 코딩(High Efficiency Video Coding; HEVC)(3D-HEVC)에서, 파티션-기반 방법들은 깊이 맵 인트라 코딩(depth map Intra coding)을 위해 적용된다. 파티션-기반 방법들은 재구성된 이웃 깊이 픽셀들에 기초하여 현재 깊이 블록의 예측을 형성하도록 깊이 맵 모델링(depth map modelling; DMM)을 이용한다. 파티션-기반 깊이 맵 인트라 코딩 방법들에서, 깊이 블록은 2개의 세그먼트들로 파티셔닝되고, 각각의 세그먼트는 단일 상수값에 의해 표현된다.

JCT3 V-D1005("3D-HEVC Test Model 4", ITU-T SG 16 WP 3 및 ISO/IEC JTC 1/SC 29/WG 11의 3D 비디오 코딩 확장 개발에 관한 공동 협력 팀; 2013년 4월 20-26일 한국, 인천, 4차 미팅, 문서 JCT3V-D1005)에서 특정된 바와 같은 3D-HEVC의 현재 버전에서, 모드 1 - 명시적 웨지렛(Wedgelet) 시그널링, 모드 2 - 인트라-예측된 웨지렛 파티셔닝, 모드 3 - 제한된 시그널링 및 웨지렛 파티션들의 인트라-컴포넌트 예측 및 모드 4 - 인터-컴포넌트-예측된 윤곽 파티셔닝에 대응하는, 정의된 4개의 DMM 모드들이 있다. 테이블 인덱스(DMM 모드 1(DMM1)의 wedge-full-tab_idx)는 이진화되고 고정-길이 코드로서 표현된다. 테이블 인덱스의 빈(bin)들은 이어서 CABAC(Context Adaptive Binary Arithmetic Coding)를 이용하여 코딩되며, 모든 빈들은 하나의 콘텍스트 모델을 공유한다. 도 1은 빈들이 고정-길이 코드에서 표현되는 테이블 인덱스에 대응하는 고정-길이 코드를 이용한 테이블 인덱스 코딩의 예를 예시한다. 빈들은 이어서 코딩된 비트-스트림(120)을 생성하도록 산술 코딩 엔진(110)을 이용하여 압축된다. 이들 빈들은 임의의 특정한 분포 모델을 거의 따르지 않을 수 있고; 단일 콘텍스트 모델(130)에 따라 빈들을 코딩하는 것은 비효율적일 수 있다. 테이블 인덱스(DMM 모드 2(DMM2)의 wedge_predtex_tab_idx) 및 파라미터(DMM 모드 3(DMM3)의 delta_end_abs_minus1)는 유사한 방식으로 코딩된다.

CABAC 코딩은 보통 다른 비-콘텍스트 기반 엔트로피 코딩에 비해 더 높은 복잡도를 초래한다. 빈들이 어떠한 분포 모델도 거의 따르지 않을 수 있는 경우에, CABAC의 더 높은 코딩 효율의 이익은 실현되지 않을 수 있다. 그러므로 근본적인 신택스 엘리먼트의 특성들에 매칭하는 코딩 방식을 개발하는 것이 바람직하다.

CABAC는 또한 3D-HEVC에서 조명 보상(illumination compensation; IC) 및 진보된 잔차 예측(advanced residual prediction; ARP)과 연관된 코딩 신택스에 적용된다. 예를 들어, 각각의 코딩 유닛(coding unit: CU)에 대해, 인코더는 레이트-왜곡 최적화(rate-distortion optimization; RDO) 기준에 따라 IC 또는 ARP를 인에이블 또는 디스에이블하도록 결정하고 비트-스트림에서 제어 플래그(ic_flag 또는 arp_flag)로서 판단들을 시그널링하며, 여기서 제어 플래그는 0 또는 1의 값을 가질 수 있다.

3D-HEVC에서, CABAC는 콘텍스트 모델에 기초하여 제어 플래그들, 즉 (ic_flag 또는 arp_flag)를 코딩하는데 이용된다. X_model[0], X_model[l] 및 X_model[2]로서 표시되는 제어 플래그들에 대한 3개의 콘텍스트 모델들이 있으며, 여기서 X는 "ic" 또는 "arp"에 대응한다. 현재 블록에 대해, X_model[idx]는 X_flag를 코딩하도록 선택되며, 여기서 idx는 다음과 같이 계산된다:

A 및 B 둘 다 이용 가능한 경우, idx= X_flag(A)+X_flag(B);

A는 이용 가능하지만 B는 이용 가능하지 않은 경우, idx= X_flag(A);

A는 이용 가능하지 않지만 B는 이용 가능한 경우, idx= X_flag(B);

A 및 B 둘다 이용 가능하지 않은 경우, idx= 0;

여기서, X_flag(A) 및 X_flag(B)는 도 3에서 도시된 바와 같이 좌측 그리고 상측 이웃 블록들의 X_flag를 각각 나타낸다.

이에 따라, 이웃 블록들의 X_flag는 현재 블록에 대한 idx를 유도하기 위해 저장되어야 한다. 고효율 비디오 코딩(High Efficiency Video Coding; HEVC) 또는 3D-HEVC와 같은 그의 확장들에서, 코딩 트리 유닛(coding tree unit; CTU)은 기본 프로세싱 유닛이다. CTU는 또한 최대 코딩 유닛(largest coding unit; LCU)으로서 지칭된다. 상측 이웃 블록이 현재 블록을 포함하는 현재 CTU와는 상이한 CTU에 있을 수 있으므로, 현재 CTU 위의 X_flag의 CTU 행은 현재 블록에 대한 idx를 유도하기 위해 저장되어야 한다.

그러므로, 3D-HEVC의 현재 버전에 따라 ic_flag 또는 arp_flag에 대한 콘텍스트-기반 코딩은 전체 CTU 행에 대한 플래그들을 저장하는 것을 요구한다. 또한, 콘텍스트-기반 코딩은 비-콘텍스트 기반 코딩보다 더 높은 복잡도를 초래할 것이다. 저장 요건, 복잡도, 또는 둘 다를 감소시키기 위한 방법들 및 시스템들을 개발하는 것이 바람직하다.

3-차원 또는 다중-뷰 비디오 인코딩 및 디코딩에서 콘텍스트-기반 코딩의 저장 요건 또는 복잡도를 감소시키기 위한 방법이 개시된다. 일 실시예에서, 콘텍스트-기반 코딩 선택은 하나 이상의 이웃 블록들이 이용 가능한지 여부에 조건부로 의존하여 현재 블록의 상기 하나 이상의 이웃 블록들과 연관된 선택된 정보에 기초한다. 신택스 엘리먼트는 그 후 콘텍스트 선택에 따라 콘텍스트-기반 코딩을 이용하여 인코딩 또는 디코딩된다. 코딩될 신택스 엘리먼트는 IC(illumination compensation) 플래그 또는 ARP(advanced residual prediction) 플래그에 대응할 수 있다. IC 플래그는 조명 보상이 현재 블록에 대해 인에이블되는지 여부를 나타내는데 이용되고, ARP 플래그는 진보된 잔차 예측이 상기 현재 블록에 대해 인에이블되는지 여부를 나타내는데 이용된다.

하나 이상의 이웃 블록들은 좌측 이웃 블록, 상측 이웃 블록, 또는 상기 현재 블록의 좌측 이웃 블록 및 상측 이웃 블록 둘 다에 대응한다. 하나 이상의 이웃 블록들이 상기 상측 이웃 블록에 대응할 수 있을 때, 상측 이웃 블록은, 상기 상측 이웃 블록이 상기 현재 블록을 포함하는 현재 CTU(coding tree unit) 위의 CTU 행에 있는 경우 이용 불가능한 것으로 고려된다. 하나 이상의 이웃 블록들이 상기 좌측 이웃 블록에 대응할 수 있을 때, 상기 좌측 이웃 블록은, 상기 좌측 이웃 블록이 상기 현재 블록을 포함하는 현재 CTU(coding tree unit)와는 상이한 다른 CTU에 있는 경우 이용 불가능한 것으로 고려된다.

이웃 블록들과 연관되는 선택된 정보는 이웃 블록들의 신택스 엘리먼트에 대응할 수 있다. 신택스 엘리먼트는 IC 플래그 또는 ARP 플래그에 대응할 수 있다. 현재 블록의 하나 이상의 이웃 블록들이 단지 상측 이웃 블록 또는 좌측 이웃 블록에만 대응할 수 있고 각각의 블록에 연관되는 신택스 엘리먼트는 1-비트 플래그일 때, 2개의 콘텍스트들을 갖는 CABAC(Context Adaptive Binary Arithmetic Coding)는 콘텍스트-기반 코딩을 위해 이용될 수 있다. 현재 블록의 하나 이상의 이웃 블록들은 단지 상측 이웃 블록에만 대응하고 CABAC 코딩이 이용될 때, 디폴트 CABAC 콘텍스트는, 상기 상측 이웃 블록이 상기 현재 블록을 포함하는 현재 CTU 위의 CTU 행에 있을 때 이용될 수 있다. 현재 블록의 하나 이상의 이웃 블록들은 단지 좌측 이웃 블록에만 대응하고 CABAC 코딩이 이용될 때, 디폴트 CABAC 콘텍스트는, 상기 좌측 이웃 블록이 상기 현재 블록을 포함하는 현재 CTU와는 상이한 CTU에 있을 때 이용된다.

본 발명의 다른 실시예는 CABAC 코딩을 이용하여 IC 플래그 또는 ARP 플래그를 인코딩 또는 디코딩하며, 현재 블록의 임의의 이웃 블록과 연관되는 선택된 정보는 CABAC 콘텍스트를 결정하기 위해 이용되지 않는다. CABAC가 복수의 콘텍스트들을 이용할 때, 콘텍스트 선택은 현재 블록과 연관되는 CU의 분할 깊이 정보에 기초하여 결정될 수 있다. 예를 들어, CU의 분할 깊이 정보는 CU 사이즈 또는 CU의 PU 파티션 구조에 대응할 수 있다. IC 플래그 또는 ARP 플래그를 인코딩 및 디코딩하는데 요구되는 콘텍스트의 수는 이에 따라 3에서 1로 감소된다. IC 플래그 또는 ARP 플래그는 단 하나의 콘텍스트만을 갖는 CABAC를 이용하여 인코딩되거나 디코딩될 수 있다.

본 발명의 또 다른 실시예에서, DMM(Depth Map Model)을 이용하여 현재 깊이 블록을 코딩하기 위한 하나 이상의 신택스 엘리먼트들이 콘텍스트-기반 코딩을 이용하여 인코딩되거나 디코딩되며, 여기서 콘텍스트-기반 코딩은 적어도 하나의 선택된 신택스 엘리먼트에 대한 바이패스(by-pass) 모드를 선택한다. 적어도 하나의 선택된 신택스 엘리먼트는 신택스 엘리먼트(edge_full_tab_idx, wedge_predtex_tab_idx 또는 delta_end_abs_minus1)에 대응하며, 여기서 wedge_full_tab_idx는 명시적 웨지렛 시그널링을 이용하는 DMM 모드 1의 전체 테이블 인덱스에 대응하고, wedge_predtex_tab_idx는 인트라-예측된 웨지렛 파티셔닝을 이용하는 DMM 모드 2의 예측된 텍스처 테이블 인덱스에 대응하고 delta_end_abs_minus1은 DMM 모드 3의 델타 엔드 값(delta end value)에 대응한다. 또한, 콘텍스트-기반 코딩은 상기 적어도 하나의 선택된 신택스 엘리먼트에 대한 콘텍스트 모드를 또한 선택할 수 있다. 예를 들어, 첫번째 빈(bin)은 콘텍스트 모드를 이용하여 코딩되고, 나머지 빈들은 바이패스 모드를 이용하여 코딩된다. 다른 예에서, 처음 N 개의 빈들은 콘텍스트 모드를 이용하여 코딩되고, 나머지 빈들은 바이패스 모드를 이용하여 코딩되며, 여기서 N는 1보다 큰 정수이다. 바이패스 모드 또는 하이브리드 모드를 갖는 콘텍스트-기반 코딩은 또한 DMM과 연관되는 다른 신택스 엘리먼트들에 적용된다.

도 1은 현재 3D-HEVC(고효율 비디오 코딩 표준에 기초한 3-차원 비디오 코딩)에서 콘텍스트-기반 코딩을 이용하여 DMM(Depth Map Model) 모드 1과 연관된 테이블 인덱스를 코딩하는 예를 예시한다.
도 2는 본 발명의 실시예에 따라 바이패스 모드와 연관되는 콘텍스트-기반 코딩을 이용하여 DMM(Depth Map Model) 모드 1과 연관된 테이블 인덱스를 코딩하는 예를 예시한다.
도 3은 콘텍스트-기반 코딩을 이용하여 현재 블록의 신택스 엘리먼트를 코딩하기 위한 콘텍스트를 선택하는데 이용되는 위의 그리고 좌측 이웃 블록들의 예를 예시한다.
도 4는 본 발명의 실시예에 따라 감소된 저장 요건을 갖는 콘텍스트-기반 코딩을 포함하는 코딩 시스템의 예시적인 흐름도를 예시한다.
도 5는 본 발명의 실시예에 따라 바이패스 모드와 연관되는 콘텍스트-기반 코딩을 포함하는 코딩 시스템의 예시적인 흐름도를 예시한다.

하기의 설명은 본 발명을 수행하는 최상으로-고려되는 모드에 관한 것이다. 설명은 본 발명의 일반 원리들을 예시하는 목적을 위해 의도되며, 본 발명에 대한 제한으로서 해석되어선 안 된다. 본 발명의 범위는 첨부된 청구항들을 참조하여 가장 잘 결정된다.

앞서 언급된 바와 같이, JCT3V-D1005에서 특정된 바와 같은 3D-HEVC의 현재 버전에서, DMM 모드 1(DMMl)의 테이블 인덱스는 이진화되고, 고정-길이 코드로서 표현되며, 여기서 모든 빈들(bins)은 하나의 콘텍스트 모델을 공유한다. 또한, DMM 모드 2(DMM2)의 테이블 인덱스(wedge_predtex_tab_idx) 및 DMM 모드 3(DMM 3)의 파라미터(delta_end_abs minus1)는 유사한 방식으로 코딩된다. 그러나 이들 고정-길이 코드들은 보통 임의의 특정한 분포 모델을 따르지 않는다. 그러므로 콘텍스트-기반 엔트로피 코딩(context-based entropy coding)은 이들 코드들에 대해 효과적이지 않다. 한편, 콘텍스트-기반 엔트로피 코딩의 이용은 더 높은 복잡도를 초래한다. 이에 따라, 본 발명의 실시예들은 DMM1의 전체 테이블 인덱스(wedge_full_tab_idx), DMM2의 예측된 텍스처 테이블 인덱스(wedge_predtex_tab_idx) 및 DMM3의 델타 엔드 값(delta_end_abs minus1)의 빈들에 대해 바이패스 모드를 이용한다. CABAC(Context Adaptive Binary Arithmetic Coding)와 같은 콘텍스트-기반 코딩에 대해, 바이패스 모드가 이용될 수 있다. 이 경우에, CABAC 코딩 엔진은 2개의 서브-엔진들로 구성되는데, 하나는 적응형 확률 모델들의 활용을 포함하는 정규 코딩 모드(본 개시에서 콘텍스트 코딩 모드로도 불림)에 대한 것이다. 다른 하나는 심볼들의 고속 코딩을 제안하는 바이패스 코딩 모드에 대한 것이다.

또한, 바이패스 모드는 또한 다양한 DMM 모드들과 연관된 하기의 신택스 엘리먼트들에 대한 빈들을 코딩하도록 적용될 수 있다:

1. 세그먼트/파티션 라인, 커브, 또는 후보, 또는

2. 세그먼트/파티션 라인, 곡선 또는 후보의 시작/종료 지점, 또는

3. 선택된 세그먼트/파티션 후보의 인덱스.

도 2는 빈들이 콘텍스트-기반 코딩의 바이패스 코딩 모드에 의해 코딩되는, 본 발명의 실시예에 따른 DMM1의 테이블 인덱스를 코딩하는 예를 도시한다. 본 발명의 다른 실시예는 다양한 DMM 모드들에 관련된 하기의 신택스 엘리먼트들 중 하나 또는 그 초과에 하이브리드 빈 코딩을 적용한다:

1. wedge_full_tab_idx로서 표시되는 전체 테이블 인덱스, 또는

2. wedge_predtex_tab_idx로서 표시되는 예측된 텍스처 테이블 인덱스, 또는

3. delta_end_abs_minus1로서 표시되는 DMM3의 델타 엔드 값, 또는

4. 세그먼트/파티션 라인, 커브, 또는 후보, 또는

5. 세그먼트/파티션 라인, 곡선 또는 후보의 시작/종료 지점, 또는

6. 선택된 세그먼트/파티션 후보의 인덱스.

하이브리드 빈 코딩 방법에서, 하나 이상의 빈들은 단일/다중 콘텍스트 모델들에 따라 코딩되고, 하나 이상의 빈들은 바이패스 방법에 기초하여 코딩된다. 하이브리드 빈 코딩의 일 실시예에서, 첫번째 빈은 콘텍스트 모드를 이용하여 코딩되고, 나머지 빈들은 바이패스 모드를 이용하여 코딩된다. 예를 들어, 처음 N개의 빈들은 콘텍스트 모드를 이용하여 코딩되고, 나머지 빈들은 바이패스 모드를 이용하여 코딩되며, 여기서 N은 1보다 큰 정수이다.

앞서 언급된 바와 같이, 3D-HEVC의 현재 버전에서 ic_flag 및 arp_flag에 대한 콘텍스트-기반 코딩은 플래그들 또는 콘텍스트에 대한 인덱스의 선택을 위한 CTU(coding tree unit) 행을 저장하기 위한 라인 버퍼를 요구한다. 요구되는 버퍼를 감소시키기 위해, 몇 개의 방법이 하기와 같이 개시된다:

일 실시예에서, 상측 이웃 블록은, 그것이 현재 블록의 CTU와는 상이한 CTU에 있는 경우 이용 불가능한 것으로 고려된다. 예를 들어, 상측 이웃 블록은 현재 블록을 포함하는 현재 CTU의 위의 CTU 행에 로케이팅된다.

다른 실시예에서, 좌측 이웃 블록은, 그것이 현재 블록의 CTU와는 상이한 CTU에 있는 경우 이용 불가능한 것으로 고려된다. 예를 들어, 좌측 이웃 블록은 현재 블록를 포함하는 현재 CTU의 왼쪽의 좌측 CTU에 로케이팅된다.

다른 실시예에서, 상측 이웃 블록은 항상 이용 불가능한 것으로서 고려된다. 대안적으로, 좌측 이웃 블록은 항상 이용 불가능한 것으로서 고려된다.

다른 실시예에서, 단지 2개의 콘텍스트 모델은 X_flag를 코딩하는데 요구된다. 현재 블록에 대해 X_model[idx]는 X_flag를 코딩하도록 선택되며, 여기서 idx는 idx = X_flag(A)로서 계산되고, X_flag(A)는 좌측 이웃 블록의 X_flag를 나타낸다.

다른 실시예에서, 단지 2개의 콘텍스트 모델들이 X_flag를 코딩하는데 요구된다. 현재 블록에 대해, X_model[idx]가 idx = X flag(B)로서 계산되고, X_flag(B)는 상측 이웃 블록의 X_flag를 나타낸다.

다른 실시예에서, 단지 2개의 콘텍스트 모델들이 X_flag를 코딩하는데 요구된다. 현재 블록에 대해, X_model[idx]는 idx = X flag(B)로서 계산되고, X_flag(B)는, 상측 이웃 블록이 현재 CTU 행에 로케이팅된 경우 상측 이웃 블록의 X_flag를 나타낸다. 그렇지 않으면, idx=0이며, 이는 상측 이웃 블록이 이용 가능하지 않다는 것을 암시한다.

또 다른 실시예에서, CABAC에 대한 콘텍스트는 임의의 이웃 블록과 연관되는 임의의 정보를 지칭하지 않는다. 단순함을 위해 단 하나의 콘텍스트가 신택스 엘리먼트를 코딩하기 위해 CABAC에 의해 이용된다. 이 단순한 CABAC는 IC 플래그, ARP 플래그 또는 다른 신택스 엘리먼트를 코딩하도록 적용될 수 있다. 또한, 복수의 콘텍스트들이 여전히 이용될 수 있지만, CABAC는 임의의 이웃 블록과 연관된 임의의 정보를 지칭하지 않는다. 예를 들어, 복수의 콘텍스트들 중의 콘텍스트 선택은 CU(coding unit) 분할 깊이 정보에 기초할 수 있다. CU의 분할 깊이 정보는 CU 사이즈 또는 CU의 PU(prediction unit) 파티션 구조에 대응할 수 있다.

앞서 언급된 바와 같이, 본 발명은 3-차원 또는 다중-뷰 코딩에서 코딩 신택스에 대한 저장 요건, 복잡도, 또는 둘 다를 감소시키도록 의도된다. 본 발명의 실시예에 따라 바이패스 모드를 갖는 콘텍스트-기반 코딩을 포함하는 3D 비디오 코딩 시스템의 성능은 공통 테스트 조건(common test condition; CTC)에 대해 표 1에서 그리고 모든 인트라(All Intra; AI) 테스트 조건에 대해 표 2에서 도시된 바와 같이 종래의 시스템의 성능에 비교된다. 성능 비교는 제 1 열에 나열된 테스트 데이터의 상이한 세트들에 기초한다. BD-레이트 차이는 뷰 1(비디오 1) 및 뷰 2(비디오 2)에서 텍스처 화상들에 대해 도시된다. BD-레이트의 음의 값은, 본 발명이 더 나은 성능을 갖는다는 것을 암시한다. 비디오 비트레이트에 있어 코딩된 비디오 PSNR, 총 비트레이트(텍스처 비트레이트 및 깊이 비트레이트)에 있어 코딩된 비디오 PSNR 및 총 비트레이트에 있어 합성된 비디오 PSNR에 대한 BD-레이트 측정이 또한 도시된다. 테이블 1 및 테이블 2에서 도시된 바와 같이, 종래의 시스템에 비해 성능 손실이 없다. 실제로, 몇몇 사소한 성능 개선이 눈에 띈다. 프로세싱 시간들(인코딩 시간, 디코딩 시간 및 렌더링 시간)이 또한 비교된다. 테이블 1 및 테이블 2에서 도시된 바와 같이, 프로세싱 시간들은 종래의 시스템과 대략 동일하다. 이에 따라, 본 발명의 일 실시예에 따라 바이패스 모드를 갖는 콘텍스트-기반 코딩을 이용하는 시스템은, 감소된 계산 복잡도를 제공하면서 종래의 시스템에 비해 어떠한 성능 손실도 초래하지 않는다.

테이블 1

테이블 2

본 발명의 실시예에 따라 감소된 저장 요건 및/또는 복잡도를 갖는 콘텍스트-기반 코딩을 포함하는 3D 비디오 코딩 시스템의 성능은 테이블 3에서 도시된 바와 같이이 종래의 시스템의 성능에 비교되며, 여기서 ic_flag는 이웃 블록들로부터의 어떠한 정보도 없이 코딩된다. 이에 따라, 콘텍스트들의 수는 종래 접근법에 비교하면 3에서 1로 감소된다. 또한, 현재 블록을 포함하는 현재 CTU 위의 CTU 행에 대한 ic_flag의 CTU 행을 저장할 필요가 없다. 테이블 3에서 도시된 바와 같이, 종래의 시스템에 비해 어떠한 성능 손실도 없다. 프로세싱 시간(인코딩 시간, 디코딩 시간 및 렌더링 시간)이 약간 감소된다.

테이블 3

본 발명의 실시예에 따라 감소된 저장 요건 및/또는 복잡도를 갖는 콘텍스트-기반 코딩을 포함하는 3D 비디오 코딩 시스템의 성능이 테이블 4에서 도시된 바와 같이 종래의 시스템의 성능에 비교되며, 여기서 iv_res_pred_weight_idx에 대한 콘텍스트는 좌측 이웃 블록에만 기초한다. 이에 따라, 콘텍스트들의 수는 종래의 접근법에 비교하면 3에서 2로 감소된다. 또한, 현재 블록을 포함하는 현재 CTU 위의 CTU 행에 대한 iv_res_pred_weight_idx의 CTU 행을 저장할 필요가 없다. 테이블 4에서 도시된 바와 같이, 종래의 시스템에 비해 어떠한 성능 손실도 없다. 프로세싱 시간(인코딩 시간, 디코딩 시간 및 렌더링 시간)이 약간 감소된다.

테이블 4

도 4는 본 발명의 실시예에 따라 단순화된 콘텍스트-기반 코딩을 포함하는 3-차원 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 예시한다. 시스템은 단계(410)에서 의존형 뷰(dependent view)에서 현재 블록의 신택스 엘리먼트와 연관되는 입력 데이터를 수신한다. 코딩에 대해, 입력 데이터는 인코딩될 신택스 엘리먼트에 대응한다. 디코딩에 대해, 입력 데이터는 디코딩될 코딩된 신택스 엘리먼트에 대응한다. 입력 데이터는 메모리(예를 들어, 컴퓨터 메모리, 버퍼(RAM 또는 DRAM), 또는 다른 매체들)로부터 또는 프로세서로부터 리트리브(retrieve)된다. 단계(420)에서, 콘텍스트 선택은, 하나 이상의 이웃 블록들이 이용 가능한지 여부에 조건부로 의존하여 현재 블록의 상기 하나 이상의 이웃 블록들과 연관된 선택된 정보에 기초하여 결정된다. 신택스 엘리먼트는 이어서 단계(430)에서 도시된 바와 같이, 콘텍스트 선택에 따라 콘텍스트-기반 코딩을 이용하여 인코딩되거나 디코딩된다.

도 5는 본 발명의 실시예에 따라 DMM(Depth Map Model)을 이용하여 현재 깊이 블록을 코딩하기 위한 신택스 엘리먼트에 대해 바이패스 모드를 갖는 콘텍스트-기반 코딩을 포함하는 3-차원 인코딩 또는 디코딩 시스템의 예시적인 흐름도를 예시한다. 시스템은 단계(510)에서 DMM(Depth Map Model)을 이용하여 현재 깊이 블록을 코딩하기 위한 하나 이상의 신택스 엘리먼트들과 연관되는 입력 데이터를 수신한다. 하나 이상의 신택스 엘리먼트들은 이어서 단계(520)에서 도시된 바와 같이 콘텍스트-기반 코딩을 이용하여 인코딩되거나 디코딩되며, 여기서 콘텍스트-기반 코딩은 적어도 하나의 선택된 신택스 엘리먼트에 대한 바이패스 모드를 선택한다.

위에서 도시된 흐름도들은 본 발명에 따라 단순화된 콘텍스트-기반 코딩을 갖는 예시적인 3D 또는 다중-뷰 코딩을 예시하도록 의도된다. 당업자들은 본 발명의 사상으로부터 벗어남 없이 본 발명을 실시하기 위해 각각의 단계를 변형하고, 단계들을 재-배열하고, 단계를 분할하거나, 또는 단계들을 결합할 수 있다.

위의 설명은 당업자가, 특정한 애플리케이션 및 그의 요건의 맥락에서 제공되는 바와 같이 본 발명을 실시하는 것을 가능케 하도록 제시된다. 설명된 실시예들에 대한 다양한 변형들이 당업자들에게 자명하게 될 것이고, 본 명세서에서 정의된 일반 원리들은 다른 실시예들에 적용될 수 있다. 그러므로 본 발명은 도시되고 설명된 특정한 실시예들로 제한되도록 의도되는 것이 아니라, 본 명세서에서 개시된 원리들 및 독창적인 특징들에 부합하는 최광의의 범위로 허여될 것이다. 위의 상세한 설명에서, 다양한 특정한 세부사항들은 본 발명의 완전한 이해를 제공하기 위해 예시된다. 그럼에도, 본 발명은 실시될 수 있다는 것이 당업자에 의해 이해될 것이다.

위에서 설명된 바와 같은 본 발명의 실시예는 다양한 하드웨어, 소프트웨어 코드들 또는 이 둘의 결합으로 구현될 수 있다. 예를 들어, 본 발명의 실시예는 본 명세서에서 설명된 프로세싱을 수행하기 위해 비디오 압축 소프트웨어에 통합되는 프로그램 코드 또는 비디오 압축 칩에 통합되는 회로일 수 있다. 본 발명의 실시예는 또한 본 명세서에서 설명된 프로세싱을 수행하기 위해 디지털 신호 프로세서(Digital Signal Processor; DSP) 상에서 실행되는 프로그램 코드일 수 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 또는 필드 프로그래밍 가능 게이트 어레이(field programmable gate array; FPGA)에 의해 수행되는 복수의 함수들을 포함할 수 있다. 이들 프로세서들은 본 발명에 의해 실현되는 특정한 방법들을 정의하는 머신-판독 가능한 소프트웨어 코드 또는 펌웨어 코드에 의해 본 발명에 따른 특정한 작업들을 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어들 및 상이한 포맷들 또는 스타일들로 개발될 수 있다. 소프트웨어 코드는 상이한 타겟 플랫폼들에 대해 또한 컴파일될 수 있다. 그러나 소프트웨어 코드들의 상이한 코드 포맷들, 스타일들 및 언어들 및 본 발명에 따른 작업들을 수행하도록 코드를 구성하는 다른 수단은 본 발명의 사상 및 범위로부터 벗어나지 않을 것이다.

본 발명은 본 발명의 사상 또는 본질적인 특성들로부터 벗어남 없이 다른 특정한 형태들로 실현될 수 있다. 설명된 예들은 모든 면에서 제한적이 아니라 단지 예시적인 것으로서 고려될 것이다. 본 발명의 범위는 이에 따라 위의 설명에 의해서 보단 첨부된 청구항들에 의해 표시된다. 청구항들의 등가물의 의미 및 범위 내에 있게 되는 모든 변화들은 본 발명의 범위 내에 포함될 것이다.

Claims

3-차원 또는 다중-뷰 비디오 인코딩 또는 디코딩을 위한 방법에 있어서,
DMM(Depth Map Model)을 이용하여 현재 깊이 블록을 코딩하기 위한 하나 이상의 신택스 엘리먼트들과 연관되는 입력 데이터를 수신하는 단계; 및
콘텍스트-기반 코딩을 이용하여 상기 하나 이상의 신택스 엘리먼트들을 인코딩 또는 디코딩하는 단계
를 포함하고, 상기 콘텍스트-기반 코딩은 적어도 하나의 선택된 신택스 엘리먼트에 대한 바이패스 모드(by-pass mode)를 선택하는 것이고,
상기 적어도 하나의 선택된 신택스 엘리먼트는 wedge_full_tab_idx에 대응하고, wedge_full_tab_idx는 명시적 웨지렛(Wedgelet) 시그널링을 이용하는 DMM 모드 1의 전체 테이블 인덱스에 대응하는 것인, 3-차원 또는 다중-뷰 비디오 인코딩 또는 디코딩을 위한 방법.
삭제
3-차원 또는 다중-뷰 비디오 인코딩 또는 디코딩을 위한 방법에 있어서,
DMM(Depth Map Model)을 이용하여 현재 깊이 블록을 코딩하기 위한 하나 이상의 신택스 엘리먼트들과 연관되는 입력 데이터를 수신하는 단계; 및
콘텍스트-기반 코딩을 이용하여 상기 하나 이상의 신택스 엘리먼트들을 인코딩 또는 디코딩하는 단계
를 포함하고, 상기 콘텍스트-기반 코딩은 적어도 하나의 선택된 신택스 엘리먼트에 대한 바이패스 모드(by-pass mode)를 선택하는 것이고,
상기 적어도 하나의 선택된 신택스 엘리먼트는 wedge_predtex_tab_idx 또는 delta_end_abs_minus1에 대응하고, wedge_predtex_tab_idx는 인트라-예측된 웨지렛 파티셔닝(partitioning)을 이용하는 DMM 모드 2의 예측된 텍스처 테이블 인덱스에 대응하고, delta_end_abs_minus1은 DMM 모드 3의 델타 엔드 값(delta end value)에 대응하는 것인, 3-차원 또는 다중-뷰 비디오 인코딩 또는 디코딩을 위한 방법.
삭제
3-차원 또는 다중-뷰 비디오 인코딩 또는 디코딩을 위한 방법에 있어서,
DMM(Depth Map Model)을 이용하여 현재 깊이 블록을 코딩하기 위한 하나 이상의 신택스 엘리먼트들과 연관되는 입력 데이터를 수신하는 단계; 및
콘텍스트-기반 코딩을 이용하여 상기 하나 이상의 신택스 엘리먼트들을 인코딩 또는 디코딩하는 단계
를 포함하고, 상기 콘텍스트-기반 코딩은 적어도 하나의 선택된 신택스 엘리먼트에 대한 바이패스 모드(by-pass mode)를 선택하는 것이고,
상기 콘텍스트-기반 코딩은 상기 적어도 하나의 선택된 신택스 엘리먼트에 대한 콘텍스트 모드를 추가로 선택하는 것이고,
상기 적어도 하나의 선택된 신택스 엘리먼트는 인트라 코딩에서 세그먼트/파티션 라인, 커브 또는 후보에 대한 시작/종료 지점, 인덱스, wedge_full_tab_idx, wedge_predtex_tab_idx, 또는 delta_end_abs_minus1에 대응하고, wedge_full_tab_idx는 명시적 웨지렛 시그널링을 이용하는 DMM 모드 1의 전체 테이블 인덱스에 대응하고, wedge_predtex_tab_idx는 인트라-예측된 웨지렛 파티셔닝을 이용하는 DMM 모드 2의 예측된 텍스처 테이블 인덱스에 대응하고, delta_end_abs_minus1은 DMM 모드 3의 델타 엔드 값에 대응하는 것인, 3-차원 또는 다중-뷰 비디오 인코딩 또는 디코딩을 위한 방법.
삭제
제 5 항에 있어서,
처음 N개의 빈(bin)들은 상기 콘텍스트 모드를 이용하여 코딩되고, 나머지 빈들은 상기 바이패스 모드를 이용하여 코딩되고, N은 1 이상의 정수인 것인, 3-차원 또는 다중-뷰 비디오 인코딩 또는 디코딩을 위한 방법.