KR20150006362A

KR20150006362A - 깊이 맵 모델링을 사용한 깊이 인트라 예측 방법

Info

Publication number: KR20150006362A
Application number: KR1020140083119A
Authority: KR
Inventors: 카이 장; 지쳉 안; 지안 리앙 린
Original assignee: 미디어텍 싱가폴 피티이. 엘티디.
Priority date: 2013-07-05
Filing date: 2014-07-03
Publication date: 2015-01-16
Also published as: KR101622468B1; US9596484B2; WO2015000168A1; IN2014MU02121A; US20150010049A1

Abstract

연장 재구성 인접 깊이 샘플들을 통합하는 3차원 비디오 코딩 시스템을 위한 깊이 맵 코딩 방법이 개시된다. 깊이 블록은 하나 이상의 세그먼트로 구획된다. 각각의 세그먼트에 대한 예측 값은 재구성 인접 깊이 샘플들에 기반하여 도출된다. 적어도 하나의 세그먼트를 위한 재구성 인접 깊이 샘플들은 연장 상부 인접 행 또는 연장 좌측 인접 열로부터 적어도 하나의 재구성 샘플을 포함한다. 연장 상부 인접 행은 현재 깊이 블록의 우측에 인접한 제2 깊이 블록의 상부측에 인접하여 위치하는 적어도 하나의 연장 상부 행의 재구성 깊이 샘플을 포함한다. 연장 좌측 인접 열은 현재 깊이 블록의 바닥측에 인접한 제3 깊이 블록의 좌측에 인접하여 위치하는 적어도 하나의 연장 좌측 열의 재구성 깊이 샘플을 포함한다.

Description

깊이 맵 모델링을 사용한 깊이 인트라 예측 방법{METHOD OF DEPTH INTRA PREDICTION USING DEPTH MAP MODELLING}

본 발명은 2013년 7월 5일에 출원되고, 발명의 명칭이 “A Simplified DC Prediction Method in Intra Prediction”인 PCT 특허출원 제PCT/CN2013/078866호에 대한 우선권을 주장한다. 이 PCT 특허출원은 전체적으로 참조로서 여기에 통합되어 있다.

본 발명은 3차원 비디오 코딩에 관한 것이다. 특히, 본 발명은 3차원(3D) 코딩 시스템에서 깊이 맵 모델링(Depth Map Modelling; DMM)을 위한 인트라 예측에 관한 것이다.

3차원(3D) 텔레비전은 시청자들에게 환상적인 시청 경험을 가져다 주려는 최근의 기술 트렌드가 되고 있다. 3D 시청을 가능하게 하는 다양한 기술들은 개발되고 있고, 다시점 비디오는 이들 중에 3DTV 애플리케이션을 위한 중요 기술이다. 3D 코딩의 경우, 깊이 맵들은 또한 텍스처 데이터와 함께 코딩된다.

3D-HEVC에서, 파티션 기반 방법들이 깊이 맵 인트라 코딩에 적용된다. 파티션 기반 방법들은 깊이 맵 모델링(DMM)을 사용하여 재구성된 인접 깊이 픽셀들에 기반하여 현재 깊이 블록의 예측을 형성한다. 파티션 기반 깊이 맵 인트라 코딩 방법들을 이용하면, 깊이 블록이 도 1의 예시에서 명칭이 P₀ 및 P₁인 2개의 세그먼트로 구획된다. 각 세그먼트는 DC 값이라고도 지칭되는 단일 상수 값에 의해 표현된다. 도 1에서, DC 값들, DC₀ 및 DC₁이 각각 세그먼트(P₀ 및 P₁)에 대해 선택된다. 깊이 맵 인트라 코딩의 경우, 델타 DC/잔존 값(residual value)이 결정되고 비트스트림에서 명시적으로 시그널링되며 이에 따라 재구성된 깊이 맵들이 DC 값 및 송신된 델타 DC/잔존 값에 따라 형성될 수 있다.

현재 3D-HEVC 개발에서, DMM 예측은 도 2에서 “경우(case)”라고도 지칭되는 4개의 파티션 패턴에 따라 깊이 블록을 2개의 세그먼트로 구획한다. DMM 예측 경우들은 다음의 의사 코드들에서 설명된다.

; 및

,

여기서

는 샘플 (X,Y)의 세그먼트 번호를 나타내고, (X,Y)에서의 샘플이 세그먼트 0에 있으면

= 0이고, (X,Y)에서의 샘플이 세그먼트 1에 있으면

= 1이다. 전술한 수학식에 도시된 바와 같이, Bt는 현재 깊이 블록의 상부 행에서의 2개의 마지막 깊이 샘플이 동일한 세그먼트에 있지 않다는 표시이고, bL는 현재 깊이 블록의 좌측 열에서의 2개의 마지막 깊이 샘플들이 동일한 세그먼트에 있지 않다는 표시이다. DMM 예측 모드의 4가지 경우들은 다음과 같이 결정된다.

경우 1: bT == bL && bL ==1,

DC_X = (p_-1,0 + p_0,-1)>>1, 및

DC_1-X= (p_-1,N-1 + p_N-1,-1)>>1.

경우 2: bT == bL && bL ==0,

DC_X = (p_-1,0 + p_0,-1)>>1, 및

DC_1-X=2^B-1, 여기서 B는 비트 깊이(bit depth)를 나타낸다.

경우 3: bT != bL && bL == 1,

DC_X = p_(N-1)>>1,-1, 및

DC_1-X = p_-1,N-1.

경우 4: bT != bL && bL == 0,

DC_X = p_-1,(N-1)>>1, 및

DC_1-X = p_N-1,-1.

도 2에 도시된 바와 같이, 경우 1과 경우 2는 모두 유사한 패턴을 갖는다. 그러나, 경우 2에서의 세그먼트 0는 전체 상부 행 및 좌측 열을 커버한다. 이 경우, 최대 깊이 값의 절반(즉, 2^B/2)에 대응하는 DC 값에 의해 채워진다. 경우 1의 경우, 세그먼트 0는 전체 상부 행을 커버하지 않고, 전체 좌측 열을 포함하지 않는다. 경우 1의 세그먼트 1은 p_-1,N-1 및 p_N-1,-1로부터 도출된 DC 값에 의해 채워진다. 세그먼트 0의 경우, DC 값은 경우 1과 경우 2 모두에 대해 동일한 방식으로 p_-1,0 및 p_0,-1로부터 결정된다.

성능에 인식할 수 있는 영향 없이 깊이 인트라 예측 프로세스를 간략화하는 것이 바람직하다.

본 발명에 따른 연장 재구성 인접 깊이 샘플들을 통합하는 3차원 비디오 코딩 시스템을 위한 깊이 맵 코딩 방법이 개시된다. 깊이 블록은 하나 이상의 세그먼트로 구획된다. 일 실시예에 따르면, 각 세그먼트에 대한 예측 값이 재구성 인접 깊이 샘플들에 기반하여 도출되고, 여기서 적어도 하나의 세그먼트에 대한 재구성 인접 깊이 샘플들은 연장 상부 인접 행 또는 연장 좌측 인접 열로부터의 적어도 하나의 재구성 샘플을 포함한다. 연장 상부 인접 행은 현재 깊이 블록의 우측에 인접한 제2 깊이 블록의 상부측에 인접하여 위치하는 적어도 하나의 연장 상부 행의 재구성 깊이 샘플을 포함한다. 연장 좌측 인접 열은 현재 깊이 블록의 바닥측에 인접한 제3 깊이 블록의 좌측에 인접하여 위치하는 적어도 하나의 연장 좌측 열의 재구성 깊이 샘플을 포함한다. 도출된 예측 값은 현재 깊이 블록의 각 세그먼트를 인코딩 또는 디코딩하는데 사용된다.

일 실시예에서, 현재 깊이 블록은 N×N 블록에 대응할 수 있고, N은 정수이다. P_0,0는 현재 깊이 블록의 좌상 코너 샘플을 지칭하고, P_(N-1),(N-1)는 현재 깊이 블록의 우하 코너 샘플을 지칭한다. 연장 상부 인접 행은 {P_N,-1,…,P_2N-1,-1}에 대응하고, 연장 좌측 인접 열은 {P_-1,N,…,P_-1,2N-1}에 대응한다. 세그먼트에 대한 예측 값은 (P_X,-1 + P_-1,X+ 1) >> 1 또는 (P_X,-1 + P_-1,X) >> 1로서 계산될 수 있고, 여기서 “>>”는 우측 시프트 연산에 대응하고, X는 0 내지 (2N-1)의 정수들의 집합으로부터 선택된다. 세그먼트에 대한 예측 값은 또한 P_X,-1 또는 P_-1,X로서 계산될 수 있다. 재구성된 인접 깊이 샘플들은 P_-1,-1를 더 포함할 수 있다.

본 발명의 다른 실시예에서, 현재 깊이 블록은 적어도 2개의 깊이 맵 모델링(DMM) 예측 모드에 따라 2개의 세그먼트로 구획되고, DMM 예측 모드들은 통합 DMM 예측 모드를 포함한다. 예측 값은 세그먼트 및 DMM 예측 모드마다 도출된다. DMM 예측 모드는 제1 테스트의 제1 결과와 제2 테스트의 제2 결과에 기반하여 결정되고, 제1 테스트는 P_0,0와 P_0,(N-1)가 상이한 세그먼트에 있는지 여부에 대응하고, 제2 테스트는 P_0,0와 P_(N-1),0가 상이한 세그먼트에 있는지 여부에 대응하고, 통합 DMM 예측 모드는 제1 결과와 제2 결과가 모두 참(true)인 것에 대응하는 제1 경우 및 제1 결과와 제2 결과가 모두 거짓(false)인 것에 대응하는 제2 경우를 포함한다. 적어도 2개의 DMM 예측 모드는 제1 결과가 참이고 제2 결과가 거짓이거나, 제1 결과가 거짓이고 제2 결과가 참인 것에 대응하는 제2 DMM 예측 모드를 포함할 수 있다.

일 실시예에서, 통합 DMM 예측 모드에서의 2개의 세그먼트 중 제1 세그먼트에 대한 예측 값은 P_-1,0와 P_0,-1로부터 도출되고, 통합 DMM 예측 모드에서의 2개의 세그먼트 중 제2 세그먼트에 대한 예측 값은 P_-1,2N-1과 P_2N-1,-1로부터 도출된다. 다른 실시예에서, 통합 DMM 예측 모드에서의 2개의 세그먼트 중 제1 세그먼트에 대한 예측 값은 (P_-1,0 + P_0,-1) >> 1에 따라 도출되고, 통합 DMM 예측 모드에서의 2개의 세그먼트 중 제2 세그먼트에 대한 예측 값은 (P_-1,2N-1 + P_2N-1,-1) >> 1에 따라 도출된다.

통합 DMM 예측 모드를 포함하는 적어도 2개의 깊이 맵 모델링(DMM)에 따라 현재 깊이 블록을 2개의 세그먼트로 구획하는 실시예는 연장 상부 인접 행 또는 연장 좌측 인접 열을 사용하여 적어도 하나의 세그먼트에 대한 예측 값을 도출하는 실시예로 통합될 수 있다.

도 1은 깊이 맵 모델링(DMM)을 사용하여 깊이 인트라 예측의 일례를 예시하는데, 여기서 깊이는 2개의 세그먼트로 구획된다.
도 2는 3차원 코딩에 기반하여 종래의 고효율 비디오 코딩(HEVC)에 따라 깊이 맵 모델링(DMM)을 사용한 깊이 인트라 예측의 일례를 예시하는데, 여기서 DMM 예측 모드를 위한 파티션은 4개의 경우로 분류된다.
도 3은 연장 상부 행 인접 샘플들 및 연장 좌측-열 인접 샘플들을 포함하는 재구성된 인접 깊이 샘플들의 일례를 예시한다.
도 4는 연장 상부 행 인접 샘플들 또는 연장 좌측-열 인접 샘플들로부터의 적어도 하나의 샘플을 이용하여 적어도 하나의 세그먼트에 대한 예측 값을 도출하기 위해 본 발명의 일 실시예를 통합하는 3차원 비디오 코딩 시스템의 예시적인 흐름도를 예시한다.
도 5는 종래의 경우-1 및 경우-2 통합 DMM 예측 모드들의 조합에 대응하는 통합 DMM 예측 모드를 사용하기 위해 본 발명의 일 실시예를 통합하는 3차원 비디오 코딩 시스템의 예시적인 흐름도를 예시한다.

전술한 바와 같이, 깊이 맵 모델링(DMM)을 사용하는 깊이 인트라 예측은 유사한 경우-1 및 경우-2 예측 모드들을 갖는다, DMM 프로세스를 간략화하기 위해, 본 발명에 따른 실시예들은 종래의 경우-1 및 경우-2 예측 모드들이 통합되어 있는 간략화된 DMM을 사용한다. 전술한 바와 같이, 종래의 경우-1 예측 모드는 bT 및 bL이 1인 것에 대응하고, 종래의 경우-2 예측 모드는 bT 및 bL이 0인 것에 대응한다. 이들 2개의 경우는 유사한 인트라 예측 패턴을 초래한다. 그러므로, 본 발명의 실시예들은 종래의 경우-1 예측 모드와 종래의 경우-2 예측 모드를 결합한 통합 예측 모드를 형성한다. bT가 bL과 동일한지 여부를 확인함으로써 새로운 통합 예측 모드가 결정될 수 있다. 다시 말하면, 그 결과(bT == bL ?)가 주장되면, 새로운 통합 예측 모드가 선택된다.

본 발명에 따른 실시예들은 또한 도 3에 도시된 바와 같은 통합 예측 모드에 대한 새로운 DC 값을 사용하며, 여기서 통합 경우는 도 2의 종래의 경우 2에 대응한다. 블록 사이즈는 N×N이라고 가정한다, 연장된 인접 기준 픽셀들((P_-1,2*N-1) 및 (P_2*N-1,-1))이 확인된다. 연장된 인접 기준 픽셀들이 이용될 수 있으면, (P_-1,2*N-1)와 (P_-1,0) 사이의 절대적 차이는 및 (P_2*N-1,-1)와 (P_0,-1) 사이의 절대적 차이가 계산된다. abs(P_-1,2*N-1 - P_-1,0)가 abs(P_2*N-1,-1 - P_0,-1)보다 크면, (P_-1,2*N-1)의 값은 우바닥 파티션(즉, 세그먼트 1)의 DC 프리딕터(predictor)로서 사용된다. abs(P_-1,2*N-1 - P_-1,0)가 abs(P_2*N-1,-1 - P_0,-1)보다 작으면, (P_2*N-1,-1)의 값은 우바닥 파티션(즉, 세그먼트 1)의 DC 프리딕터로서 사용된다. 따라서, 통합 예측 모드를 위한 세그먼트 1(즉, 우바닥 세그먼트)의 DC 값은 다음의 코드에 의해 설명될 것이다.

DC_1-X = abs(P_-1,2*N-1 - P_-1,0) > abs(P_2*N-1,-1 - P_0,-1) ? P_-1,2*N-1 : P_2*N-1,-1.

연장 인접 샘플들을 사용하여 앞서 도시된 바와 같은 세그먼트를 위한 예측 샘플을 도출하는 특정 단계들은 본 발명의 실시예들의 일례를 예시하려는 것이다. 이러한 예시는 결과 철저하지 않다. 당업자는 예측 값을 도출하기 위해 다양한 방식을 결정하는 다른 테스트들을 수행할 수 있다. 예를 들어, 연장 상부 행 인접 샘플들의 2개의 최종 샘플 사이의 절대 차이(즉, abs(P_2*N-1,-1 - P_0,-1)) 및 연장 좌측 열 인접 샘플들의 2개의 최종 샘플 사이의 절대 차이(즉, abs(P_-1,2*N-1 - P_-1,0))를 평가하는 프로세스는 다른 프로세스에 의해 대체될 수 있다. 또한, 전술한 예시에서, (P_-1,2*N-1) 또는 (P_2*N-1,-1)가 세그먼트를 위한 예측 값으로서 선택되고, 다른 인접 샘플 또는 샘플들은 예측 값을 도출하는데 사용될 수 있다. 예를 들어, 예측은 P_X,-1 또는 P_-1,X와 같은 연장 좌측 열 인접 샘플들 및/또는 연장 상부 열 인접 샘플들로부터의 임의의 샘플로부터 선택될 수 있고, X는 0 내지 (2N-1)의 정수들의 집합으로부터 선택된다. 연장 인접 샘플 및/또는 연장 상부 열 인접 샘플들로부터의 다수의 인접 샘플들의 조합은 세그먼트를 위한 예측 값을 도출하는데 사용될 수 있다. 예를 들어, 예측 샘플은 (P_X,-1 + P_-1,X+ 1) >> 1 또는 (P_X,-1 + P_-1,X) >> 1에 따라 도출될 수 있고, 여기서 “>>”는 우측 시프트 연산에 대응하고, X는 0 내지 (2N-1)의 정수들의 집합으로부터 선택된다. 다른 실시예에서, 인접 깊이 샘플은 또한 P_-1,-1에서의 코너 샘플을 포함할 수 있다.

통합된 경우의 경우, 좌상측 파티션(즉, 세그먼트 0)에 대한 DC 값은 종래의 경우-1 및 경우-2 예측 모드들과 동일한 방식으로 도출된다. 다시 말하면, 세그먼트 0의 DC 값은 DCX = (P_-1,0 + P_0,-1)>>1에 따라 결정된다.

더구나, 텍스처 데이터를 위한 종래의 인트라 예측 모드들(모드 0 내지 모드 34)이 깊이 맵 인트라 예측에 사용되면, 상부 인접 행 또는 좌측 인접 열에 대응하는 인접 샘플들의 필터링 프로세스는 PU 사이즈가 16 미만인 경우 스킵될 것이다. 파티션으로부터 생성되는 세그먼트들의 정보는 인코더로부터 디코더로 운송되어야 할 수 있다. 세그먼트들은 체인 코딩을 사용하여 코딩될 수 있다.

전술한 예시에서, 연장된 인접 깊이 샘플들은 통합된 DMM 예측 모드를 사용하여 깊이 블록 파티션을 위한 세그먼트마다 예측 값을 도출하는데 사용된다. 연장 인접 깊이 샘플들에 기반한 예측 값 도출은 또한 종래의 DMM 예측 모드에서의 세그먼트에 적용될 수 있다. 예를 들어, 경우들(즉 경우-1 내지 경우-4) 중 어느 하나는 본 발명의 실시예들에 따라 연장 인접 깊이 샘플들을 사용하여 세그먼트에 대한 예측 값을 도출할 수 있다.

전술한 바와 같이, 본 발명은 인식 가능한 성능 저하를 일으키지 않고, 깊이 맵 모델링(DMM) 프로세스를 사용하여 깊이 인트라 코딩을 간략화하려는 것이다. 본 발명의 실시예들은 종래의 경우-1 및 경우-2 DMM 모드들을 새로운 통합 DMM 모드에 통합되었다. 그러므로, DMM 모드에 대한 경우들의 개수는 4에서 3으로 감소된다. 새로운 통합 DMM 모드를 통합하는 3D 비디오 코딩 시스템의 성능은 표 1에 도시된 바와 같은 공통 테스트 조건(CTC)에 대해 HTM-7.0 (High Efficiency Video Coding, HEVC Test Model version 7.0)에 기반한 종래의 시스템의 성능에 비교된다. 성능 비교는 제1 열에 열거된 상이한 테스트 데이터 세트에 기반한다. BD-레이트 차이들은 뷰(1)(비디오(1)) 및 뷰(2)(비디오(2))에서의 텍스처 픽처들에 대해 도시된다. BD 레이트에서의 음의 값은 본 발명이 더 우수한 성능을 갖는다는 것을 함축한다. 표 1에 도시된 바와 같이, 뷰(1) 및 뷰(2)에 대한 BD 레이트 측정치는 종래의 HTM-7.0에 비해 성능 손실을 일으키지 않는다. 뷰(2)를 위한 0.1% BD-레이트 감소가 존재한다. 비디오 비트레이트를 갖는 코딩된 비디오 PSNR 및 총 비트레이트(텍스처 비트레이트 및 깊이 비트레이트)를 갖는 코딩된 비디오 PSNR에 대한 BD-레이트 측정치는 종래의 HTM-7.0와 거의 동일하다. 총 비트레이트를 갖는 합성된 비디오 PSNR은 0.1% BD-레이트 감소를 도시한다. 프로세싱 시간(인코딩 시간, 디코딩 시간, 및 랜더링 시간)은 거의 동일하다.

	비디오 0	비디오 1	비디오 2	비디오 PSNR/ 비디오 비트레이트	비디오 PSNR/ 총 비트레이트	Synth PSNR/ 총 비트레이트	Enc 시간	Dec 시간	Ren 시간
Balloons	0.0%	-0.1%	0.0%	0.0%	0.0%	0.0%	99.5%	94.2%	99.9%
Kendo	0.0%	0.1%	-0.1%	0.0%	0.0%	0.0%	100.1%	107.0%	103.6%
Newspapercc	0.0%	0.1%	-0.1%	0.0%	0.0%	-0.3%	99.4%	99.1%	97.8%
GhostTownFly	0.0%	-0.1%	-0.1%	0.0%	0.0%	-0.1%	100.7%	95.3%	99.6%
PoznanHall2	0.0%	0.1%	-0.4%	-0.1%	-0.1%	-0.1%	100.1%	98.5%	104.5%
PoznanStreet	0.0%	-0.1%	0.0%	0.0%	0.0%	-0.1%	99.8%	94.6%	100.2%
UndoDancer	0.0%	0.0%	0.0%	0.0%	0.0%	0.0%	100.0%	107.4%	102.6%
1024x768	0.0%	0.0%	-0.1%	0.0%	0.0%	-0.1%	99.7%	100.1%	100.5%
1920x1088	0.0%	0.0%	-0.1%	0.0%	0.0%	-0.1%	100.2%	98.9%	101.7%
평균	0.0%	0.0%	-0.1%	0.0%	0.0%	-0.1%	99.9%	99.4%	101.2%

새로운 통합 DMM 모드를 통합하는 3D 비디오 코딩 시스템의 성능은 또한 표 2에 도시된 올 인트라(Al) 구성 하에서 HTM-7.0 (High Efficiency Video Coding, HEVC Test Model version 7.0)에 기반한 종래의 시스템의 성능에 비교된다. 표 2에 도시된 바와 같이, 뷰(1) 및 뷰(2)에 대한 BD 레이트 측정치는 종래의 HTM-7.0에 비해 성능 손실을 일으키지 않는다. 비디오 비트레이트를 갖는 코딩된 비디오 PSNR 및 총 비트레이트(텍스처 비트레이트 및 깊이 비트레이트)를 갖는 코딩된 비디오 PSNR에 대한 BD-레이트 측정치는 종래의 HTM-7.0와 거의 동일하다. 총 비트레이트를 갖는 합성된 비디오 PSNR은 0.1% BD-레이트 감소를 도시한다. 프로세싱 시간(인코딩 시간, 디코딩 시간, 및 랜더링 시간)은 거의 동일하다.

	비디오 0	비디오 1	비디오 2	비디오 PSNR/ 비디오 비트레이트	비디오 PSNR/ 총 비트레이트	Synth PSNR/ 총 비트레이트	Enc 시간	Dec 시간	Ren 시간
Balloons	0.0%	0.0%	0.0%	0.0%	0.0%	0.0%	99.4%	97.0%	98.7%
Kendo	0.0%	0.0%	0.0%	0.0%	0.0%	0.0%	100.0%	96.3%	97.1%
Newspapercc	0.0%	0.0%	0.0%	0.0%	0.0%	-0.1%	99.8%	96.9%	100.2%
GhostTownFly	0.0%	0.0%	0.0%	0.0%	0.0%	-0.1%	99.2%	98.2%	98.7%
PoznanHall2	0.0%	0.0%	0.0%	0.0%	0.0%	-0.1%	100.2%	93.7%	97.5%
PoznanStreet	0.0%	0.0%	0.0%	0.0%	0.0%	-0.1%	98.1%	100.0%	99.1%
UndoDancer	0.0%	0.0%	0.0%	0.0%	0.0%	0.0%	100.0%	101.7%	96.7%
1024x768	0.0%	0.0%	0.0%	0.0%	0.0%	-0.1%	99.7%	96.7%	98.7%
1920x1088	0.0%	0.0%	0.0%	0.0%	0.0%	-0.1%	99.4%	98.4%	98.0%
평균	0.0%	0.0%	0.0%	0.0%	0.0%	-0.1%	99.5%	97.7%	98.3%

도 4는 본 발명의 일 실시예에 따른 파티션의 적어도 하나의 세그먼트에 대한 예측 값을 도출하기 위한 연장 재구성 인접 깊이 샘플들을 통합하는 3차원 비디오 코딩 시스템의 예시적인 흐름도를 예시한다. 단계(410)에 도시된 바와 같이, 시스템은 현재 깊이 블록과 관련된 입력 데이터를 수신하며, 여기서 현재 깊이 블록은 하나 이상의 세그먼트로 구획된다. 인코딩의 경우, 입력 데이터는 인코딩될 깊이 데이터에 대응한다. 디코딩의 경우, 입력 데이터는 디코딩될 코딩 깊이 데이터에 대응한다. 입력 데이터는 메모리(예를 들어, 컴퓨터 메모리, 버퍼(RAM 또는 DRAM), 또는 다른 매체) 또는 프로세서로부터 검색될 수 있다. 단계(420)에 도시된 바와 같이, 현재 깊이 블록의 재구성 인접 깊이 샘플들이 수신된다. 단계(430)에 도시된 바와 같이, 재구성 인접 깊이 샘플들에 기반하여 세그먼트마다 예측 값이 도출된다. 적어도 하나의 세그먼트를 위한 재구성 인접 깊이 샘플들은 연장 상부 인접 행 또는 연장 좌측 인접 열로부터 적어도 하나의 재구성 샘플을 포함한다. 연장 상부 인접 행은 현재 깊이 블록의 우측에 인접한 제2 깊이 블록의 상부측에 인접하여 위치하는 적어도 하나의 연장 상부 행의 재구성 깊이 샘플을 포함한다. 연장 좌측 인접 열은 현재 깊이 블록의 바닥측에 인접한 제3 깊이 블록의 좌측에 인접하여 위치하는 적어도 하나의 연장 좌측 열의 재구성 깊이 샘플을 포함한다. 그 후, 단계(440)에 도시된 바와 같이 현재 깊이 블록의 각각의 세그먼트는 예측 값을 사용하여 인코딩 또는 디코딩된다.

도 5는 본 발명의 일 실시예에 따른 통합 깊이 맵 모델링(DMM) 예측 모드를 통합하는 3차원 비디오 코딩 시스템의 예시적인 흐름도를 예시한다. 블록 사이즈가 N×N인 현재 깊이 블록과 관련된 입력 데이터는 단계(510)에서 수신되고, N은 정수이다. 현재 깊이 블록은 통합 DMM 예측 모드를 포함하는 적어도 2개의 깊이 맵 모델링(DMM) 예측 모드들에 따라 2개의 세그먼트로 구획된다. DMM 예측 모드는 제1 테스트의 제1 결과와 제2 테스트의 제2 결과에 기반하여 결정된다. 제1 테스트는 P_0,0와 P_0,(N-1)가 상이한 세그먼트에 있는지 여부에 대응한다. 제2 테스트는 P_0,0와 P_(N-1),0가 상이한 세그먼트에 있는지 여부에 대응한다. 통합 DMM 예측 모드는 제1 결과와 제2 결과가 모두 참인 것에 대응하는 제1 경우 및 제1 결과와 제2 결과가 모두 거짓인 것에 대응하는 제2 경우를 포함한다. 현재 깊이 블록의 재구성 인접 깊이 샘플들은 단계(520)에서 수신된다. 각각의 세그먼트 및 각각의 DMM 예측 모드에 대한 예측 값이 단계(530)에서 재구성 인접 깊이 샘플들에 기반하여 도출된다. 그 후, 단계(540)에 도시된 바와 같이 현재 깊이 블록의 각각의 세그먼트는 예측 값을 사용하여 인코딩 또는 디코딩된다.

앞서 도시된 흐름도들은 본 발명에 따라 3D 코딩에서의 깊이 블록 파티션의 세그먼트마다 예측 값 도출의 예들을 예시하려 한다. 당업자는 각 단계를 수정, 재배열, 분할, 또는 결합하여 본 발명의 사상으로부터 벗어나지 않고 본 발명을 실시할 수 있다.

앞선 설명은 당업자가 특정 애플리케이션 및 그 조건의 측면에서 제공되는 바와 같이 본 발명을 실시할 수 있도록 제시된다. 설명된 실시예들에 대한 다양한 변형은 당업자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 다른 실시예데 적용될 수 있다. 그러므로, 본 발명은 도시되고 설명된 실시예들로 제한되는 것이 아니라 여기에 개시된 원리 및 신규한 특징과 일치하는 최광의 범위에 부합된다. 전술된 설명에는 본 발명의 완전한 이해를 제공하기 위해 여러 특정 상세 설명들이 예시되어 있다. 그럼에도 불구하고, 본 발명이 실시될 수 있다는 점이 당업자에 의해 이해될 것이다.

전술된 바와 같은 본 발명의 실시예는 다양한 하드웨어, 소프트웨어 코드, 또는 이들의 조합으로 구현될 수 있다. 예를 들어, 본 발명의 일 실시예는 여기에 설명된 프로세싱을 수행하기 위해 비디오 압축 칩으로 통합된 회로 또는 비디오 압축 소프트웨어에 통합된 프로그램 코드일 수 있다. 본 발명의 일 실시예는 또한 여기에 설명된 프로세싱을 수행하기 위해 디지털 신호 프로세서(DSP)에서 실행될 프로그램 코드일 수 있다. 본 발명은 또한 컴퓨터 프로세서, 디지털 신호 프로세서, 마이크로프로세서, 필드 프로그래머블 게이트 어레이(FPGA)에 의해 수행될 여러 기능들을 포함할 수 있다. 이들 프로세서는 본 발명에 의해 구현되는 특정 방법들을 정의하는 기계 판독가능 소프트웨어 또는 펌웨어 코드를 실행함으로써 본 발명에 따라 특정 태스크들을 수행하도록 구성될 수 있다. 소프트웨어 코드 또는 펌웨어 코드는 상이한 프로그래밍 언어 및 상이한 포맷 또는 스타일로 개발될 수 있다. 소프트웨어 코드는 또한 상이한 타깃 플랫폼을 위해 컴파일될 수 있다. 그러나, 소프트웨어의 상이한 코드 포맷, 스타일, 및 언어, 및 본 발명에 따라 태스크들을 수행하도록 코드를 구성하는 다른 수단은 본 발명의 사상 및 범위로부터 벗어나지 않을 것이다.

본 발명은 그 사상 또는 필수적인 특징들로부터 벗어나지 않고 특정 형상으로 구현될 수 있다. 설명된 예시들은 모든 측면에서 제한적이 아니라 예시적인 것으로 간주되어야 한다. 그러므로, 본 발명의 범위는 전술한 설명뿐 아니라 첨부된 청구항에 의해 지시된다. 청구항들의 균등성의 의미 및 범위 내에 있는 모든 변화들은 이들의 범위 내에 포괄되어야 한다.

Claims

3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩(Intra coding)하는 방법에 있어서,
하나 이상의 세그먼트로 구획된 현재 깊이 블록과 관련된 입력 데이터를 수신하는 단계;
상기 현재 깊이 블록의 재구성된 인접 깊이 샘플들을 수신하는 단계;
상기 재구성된 인접 깊이 샘플들에 기반하여 각 세그먼트마다 예측 값을 도출하는 단계; 및
상기 예측 값을 사용하여 상기 현재 깊이 블록의 각 세그먼트를 인코딩하거나 디코딩하는 단계를
포함하고,
적어도 하나의 세그먼트에 대한 상기 재구성된 인접 깊이 샘플들은 연장된 상부 인접 행 또는 연장된 좌측 인접 열로부터의 적어도 하나의 재구성된 샘플을 포함하고, 상기 연장된 상부 인접 행은 상기 현재 깊이 블록의 우측에 인접한 제2 깊이 블록의 상부측에 인접하여 위치하는 적어도 하나의 연장된 상부 행의 재구성된 깊이 샘플을 포함하고, 상기 연장된 좌측 인접 열은 상기 현재 깊이 블록의 바닥측에 인접한 제3 깊이 블록의 좌측에 인접하여 위치하는 적어도 하나의 연장된 좌측 열의 재구성된 깊이 샘플을 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제1항에 있어서, 상기 현재 깊이 블록은 N×N 블록에 대응하고, N은 정수이고, 상기 현재 블록의 좌상 코너 샘플은 P_0,0라고 지정되고, 상기 현재 블록의 우하 코너 샘플은 P_(N-1),(N-1)라고 지정되고, 상기 연장된 상부 인접 행은 {P_N,-1,…, P_2N-1,-1}에 대응하며, 상기 연장된 좌측 인접 열은 {P_-1,N,…,P_-1,2N-1}에 대응하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제2항에 있어서, 하나의 세그먼트에 대한 예측 값은 (P_X,-1 + P_-1,X+ 1) >> 1 또는 (P_X,-1 + P_-1,X) >> 1 로서 계산되고, “>>”는 우측 시프트 연산에 대응하며, X는 0 내지 (2N-1)의 정수들의 집합으로부터 선택되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제2항에 있어서, 하나의 세그먼트에 대한 예측 값은 P_X,-1 또는 P_-1,X로서 계산되고, X는 0 내지 (2N-1)의 정수들의 집합으로부터 선택되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제1항에 있어서, 상기 재구성된 인접 깊이 샘플들은 코너 샘플(P_-1,-1)을 더 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제1항에 있어서, 상기 현재 깊이 블록은 N×N 블록에 대응하고, N은 정수이고, 상기 현재 깊이 블록은 통합 깊이 맵 모델링(depth map modelling; DMM) 예측 모드를 포함하는 적어도 2개의 DMM 예측 모드에 따라 2개의 세그먼트로 구획되고, 상기 예측 값은 각 세그먼트 및 각 DMM 예측 모드마다 도출되고, 상기 DMM 예측 모드는 제1 테스트의 제1 결과와 제2 테스트의 제2 결과에 기반하여 결정되고, 상기 제1 테스트는 P_0,0와 P_0,(N-1)이 상이한 세그먼트에 있는지 여부에 대응하고, 상기 제2 테스트는 P_0,0와 P_(N-1),0이 상이한 세그먼트에 있는지 여부에 대응하고, 상기 통합 DMM 예측 모드는 상기 제1 결과와 상기 제2 결과가 모두 참(true)인 것에 대응하는 제1 경우 및 상기 제1 결과와 상기 제2 결과가 모두 거짓(false)인 것에 대응하는 제2 경우를 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제6항에 있어서, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제1 세그먼트에 대한 예측 값은 P_-1,0와 P_0,-1로부터 도출되고, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제2 세그먼트에 대한 예측 값은 P_-1,2N-1과 P_2N-1,-1로부터 도출되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제6항에 있어서, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제1 세그먼트에 대한 예측 값은 (P_-1,0 + P_0,-1) >> 1에 따라 도출되고, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제2 세그먼트에 대한 예측 값은 (P_-1,2N-1 + P_2N-1,-1) >> 1에 따라 도출되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제1항에 있어서, 상기 현재 깊이 블록은 2개의 세그먼트로 구획되고, 상기 2개의 세그먼트들은 체인 코딩을 사용하여 코딩되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법에 있어서,
N×N의 블록 사이즈 - N은 정수임 - 를 갖는 현재 깊이 블록과 관련된 입력 데이터를 수신하는 단계;
상기 현재 깊이 블록의 재구성된 인접 깊이 샘플들을 수신하는 단계;
상기 재구성된 인접 깊이 샘플들에 기반하여 각 세그먼트 및 각 깊이 맵 모델링(depth map modelling; DMM) 예측 모드마다 예측 값을 도출하는 단계; 및
상기 예측 값을 사용하여 상기 현재 깊이 블록의 각 세그먼트를 인코딩하거나 디코딩하는 단계를
포함하고,
상기 현재 깊이 블록은 통합 DMM 예측 모드를 포함하는 적어도 2개의 DMM 예측 모드에 따라 2개의 세그먼트로 구획되고, 상기 DMM 예측 모드는 제1 테스트의 제1 결과와 제2 테스트의 제2 결과에 기반하여 결정되고, 상기 제1 테스트는 P_0,0와 P_0,(N-1)이 상이한 세그먼트에 있는지 여부에 대응하고, 상기 제2 테스트는 P_0,0와 P_(N-1),0이 상이한 세그먼트에 있는지 여부에 대응하고, 상기 통합 DMM 예측 모드는 상기 제1 결과와 상기 제2 결과가 모두 참인 것에 대응하는 제1 경우 및 상기 제1 결과와 상기 제2 결과가 모두 거짓인 것에 대응하는 제2 경우를 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
제10항에 있어서, 상기 적어도 2개의 DMM 예측 모드는, 상기 제1 결과가 참이고 상기 제2 결과가 거짓인 것에 대응하거나, 상기 제1 결과가 거짓이고 상기 제2 결과가 참인 것에 대응하는 제2 DMM 예측 모드를 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 방법.
3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치에 있어서,
하나 이상의 전자 기기를 포함하고, 상기 전자 기기는,
하나 이상의 세그먼트로 구획된 현재 깊이 블록과 관련된 입력 데이터를 수신하고;
상기 현재 깊이 블록의 재구성된 인접 깊이 샘플들을 수신하고;
상기 재구성된 인접 깊이 샘플들에 기반하여 각 세그먼트마다 예측 값을 도출하고;
상기 예측 값을 사용하여 상기 현재 깊이 블록의 각 세그먼트를 인코딩하거나 디코딩하도록 구성되고,
적어도 하나의 세그먼트에 대한 상기 재구성된 인접 깊이 샘플들은 연장된 상부 인접 행 또는 연장된 좌측 인접 열로부터의 적어도 하나의 재구성된 샘플을 포함하고, 상기 연장된 상부 인접 행은 상기 현재 깊이 블록의 우측에 인접한 제2 깊이 블록의 상부측에 인접하여 위치하는 적어도 하나의 연장된 상부 행의 재구성된 깊이 샘플을 포함하고, 상기 연장된 좌측 인접 열은 상기 현재 깊이 블록의 바닥측에 인접한 제3 깊이 블록의 좌측에 인접하여 위치하는 적어도 하나의 연장된 좌측 열의 재구성된 깊이 샘플을 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.
제12항에 있어서, 상기 현재 깊이 블록은 N×N 블록에 대응하고, N은 정수이고, 상기 현재 블록의 좌상 코너 샘플은 P_0,0로서 지정되고, 상기 현재 블록의 우하 코너 샘플은 P_(N-1),(N-1)로서지정되고, 상기 연장된 상부 인접 행은 {P_N,-1,…, P_2N-1,-1}에 대응하고, 상기 연장된 좌측 인접 열은 {P_-1,N,…,P_-1,2N-1}에 대응하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.
제13항에 있어서, 하나의 세그먼트에 대한 예측 값은 (P_X,-1 + P_-1,X+ 1) >> 1 또는 (P_X,-1 + P_-1,X) >> 1 로서 계산되고, “>>”는 우측 시프트 연산에 대응하고, X는 0 내지 (2N-1)의 정수들의 집합으로부터 선택되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.
제13항에 있어서, 하나의 세그먼트에 대한 예측 값은 P_X,-1 또는 P_-1,X로서 계산되고, X는 0 내지 (2N-1)의 정수들의 집합으로부터 선택되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.
제12항에 있어서, 상기 재구성된 인접 깊이 샘플들은 코너 샘플(P_-1,-1)을 더 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.
제12항에 있어서, 상기 현재 깊이 블록은 N×N 블록에 대응하고, N은 정수이고, 상기 현재 깊이 블록은 통합 깊이 맵 모델링(depth map modelling; DMM) 예측 모드를 포함하는 적어도 2개의 DMM 예측 모드에 따라 2개의 세그먼트로 구획되고, 상기 예측 값은 각 세그먼트 및 각 DMM 예측 모드마다 도출되고, 상기 DMM 예측 모드는 제1 테스트의 제1 결과와 제2 테스트의 제2 결과에 기반하여 결정되고, 상기 제1 테스트는 P_0,0와 P_0,(N-1)이 상이한 세그먼트에 있는지 여부에 대응하고, 상기 제2 테스트는 P_0,0와 P_(N-1),0이 상이한 세그먼트에 있는지 여부에 대응하고, 상기 통합 DMM 예측 모드는 상기 제1 결과와 상기 제2 결과가 모두 참인 것에 대응하는 제1 경우 및 상기 제1 결과와 상기 제2 결과가 모두 거짓인 것에 대응하는 제2 경우를 포함하는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.
제17항에 있어서, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제1 세그먼트에 대한 예측 값은 P_-1,0와 P_0,-1로부터 도출되고, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제2 세그먼트에 대한 예측 값은 P_-1,2N-1과 P_2N-1,-1로부터 도출되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.
제17항에 있어서, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제1 세그먼트에 대한 예측 값은 (P_-1,0 + P_0,-1) >> 1에 따라 도출되고, 상기 통합 DMM 예측 모드에서의 상기 2개의 세그먼트 중 제2 세그먼트에 대한 예측 값은 (P_-1,2N-1 + P_2N-1,-1) >> 1에 따라 도출되는 것인, 3차원 비디오 코딩 시스템에서 깊이 블록을 인트라 코딩하는 장치.