KR102086124B1 - 깊이 헬퍼 데이터 - Google Patents

Abstract

다양한 타입들의 3D 디스플레이로의 3D 데이터의 전송을 위한 하이브리드 전송/자동-변환 3D 포맷 및 방식이 기술된다. 디코더(20)에서, 스테레오-깊이 변환기(24)는 깊이 맵을 생성한다. 3D 비디오 신호에서, 깊이 헬퍼 데이터(DH-bitstr)로 칭해지는 부가의 깊이 정보가 시간으로(시간에서 부분 깊이들) 및/또는 공간적으로(프레임들 내에서 부분 깊이) 둘다에 드물게 전송된다. 깊이 스위처(depth switcher; 25)는 이들이 이용되어야 할 때 또는 깊이들이 국부적으로 자동 생성되어야 할 때를 표시하기 위한 명시적 또는 암시적 메커니즘에 기초하여 부분 깊이들을 선택한다. 유리하게 상기 스테레오-깊이 변환기로 인한 교란 깊이 에러들은 깊이 헬퍼 데이터에 의해 감소된다.

Description

깊이 헬퍼 데이터{DEPTH HELPER DATA}

본 발명은 3D 목적지 디바이스에 이송하기 위한 3차원 [3D] 비디오 신호를 제공하기 위한 3D 소스 디바이스에 관한 것이다. 3D 비디오 신호는 3D 디스플레이 상의 좌안 뷰를 표현하는 제 1 비디오 정보 및 3D 디스플레이 상의 우안 뷰를 표현하는 제 2 비디오 정보를 포함한다. 3D 목적지 디바이스는 3D 비디오 신호를 수신하기 위한 수신기, 및 제 1 및 제 2 비디오 정보에 기초하여 제 1 생성된 깊이 맵을 생성하기 위한 스테레오-깊이 변환기(stereo-to-depth convertor)를 포함한다. 3D 소스 디바이스는, 3D 비디오 신호를 생성하고, 3D 비디오 신호를 3D 목적지 디바이스에 이송하기 위한 출력 유닛을 포함한다.

본 발명은 또한 3D 목적지 디바이스에 이송하기 위한 3D 비디오 신호를 제공하는 방법에 관한 것이다.

본 발명은 소스 디바이스, 예를 들면 방송사, 인터넷 웹사이트 서버, 오서링 시스템, 블루-레이 디스크의 제조업자 등에서 3D 비디오 신호를 생성하여 다중 뷰들을 렌더링하기 위한 깊이 맵을 요구하는 3D 목적지 디바이스, 예를 들면 블루-레이 디스크 플레이어, 3D TV 세트, 3D 디스플레이, 모바일 컴퓨팅 디바이스 등에 이송하는 분야에 관한 것이다.

문서 "2011년 12월, Teruhiko Suzuki, Miska M. Hannuksela, Ying Chen에 의한 Working Draft on MVC extensions for inclusion of depth maps - ISO/IEC/JTC1/SC29/WG11/N12351"은 3D 비디오 기술들을 MPEG 코딩된 비디오 이송 신호들에 추가하기 위하여 ITU-T Rec. H.264 | ISO/IEC 14496-10에 대한 새로운 개정들의 제안서(또한 ISO 제안서로도 칭해짐)이다. ISO 제안서는 오디오-비주얼 오브젝트들의 코딩, 특히 상기 ISO 표준 파트 10: 깊이 맵들의 비디오 포맷에의 포함을 위한 다중 뷰 코딩(MVC: Multi View Coding) 확장들에 관한 어드밴스드 비디오 코딩에 대한 개정들을 기술한다. 깊이 맵들의 포함을 위한 개정 MVC 확장들에 따라 비디오 코딩은 다중 뷰들과 함께 관련 다중 보조 뷰들, 즉 깊이 맵 뷰들을 표현하는 비트스트림들의 구성을 허용하여 명시된다. 다중뷰 비디오 코딩과 유사하게, 다중 보조 뷰들을 표현하는 비트스트림들도 또한 제안된 명세에 따르는 다른 서브-비트스트림들을 포함할 수 있다.

ISO 제안서에 따라 깊이 맵들은 3D 디스플레이 상의 좌안 뷰를 표현하는 제 1 비디오 정보 및 3D 디스플레이 상의 우안 뷰를 표현하는 제 2 비디오 정보를 가진 3D 비디오 데이터 스트림에 추가될 수 있다. 디코더측에서의 깊이 맵은 예를 들면 오토-스테레오스코픽 디스플레이(auto-stereoscopic display)를 위해 좌측 및 우측 뷰 외에도 다른 뷰들의 생성을 가능하게 한다.

ISO 제안서는 비디오 자료에 부가의 데이터 전송 용량을 필요로 하는 깊이 맵들이 제공되는 것을 요구한다. 또한, 깊이 맵 데이터를 가지지 않은 많은 기존의 3D 비디오 자료가 존재한다. 이러한 자료를 위해, 목적지 디바이스는 제 1 및 제 2 비디오 정보에 기초하여 생성된 깊이 맵을 생성하기 위한 스테레오-깊이 변환기를 구비할 수 있다.

본 발명의 목적은, 깊이 정보를 제공하고 3D 비디오 렌더링을 보강하기 위해 더욱 유연한 깊이 정보를 이송하기 위한 시스템을 제공하는 것이다.

이를 위해 본 발명의 제 1 양태에 따라, 개시 단락에 기술된 소스 디바이스가 비디오 정보에 관한 소스 깊이 맵을 제공하도록 구성되고, 3D 소스 디바이스는 제 1 및 제 2 비디오 정보에 기초하여 제 2 생성된 깊이 맵을 생성하기 위한 소스 스테레오-깊이 변환기, 및 소스 깊이 맵과 제 2 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과할 때에만 깊이 헬퍼 데이터(depth helper data)를 제공하도록 구성된 소스 깊이 처리기로서, 깊이 헬퍼 데이터는 소스 깊이 맵을 표현하고, 출력 유닛은 깊이 헬퍼 데이터를 3D 비디오 신호에 포함하도록 구성되는, 상기 소스 깊이 처리기를 포함한다.

3D 비디오 신호는 깊이 헬퍼 데이터를 포함한다.

3D 목적지 디바이스는, 깊이 헬퍼 데이터가 3D 비디오 신호에서 이용 가능하지 않을 때 제 1 생성된 깊이 맵에 기초하여, 및 깊이 헬퍼 데이터가 3D 비디오 신호에서 이용 가능할 때 깊이 헬퍼 데이터에 기초하여 목적지 깊이 맵을 생성하기 위한 깊이 처리기를 포함한다.

이 방식은 목적지 디바이스가 좌측 및 우측 뷰들을 표현하는 제 1 및 제 2 비디오 정보로부터 국부적으로 생성된 깊이 맵에 기초하여 목적지 깊이 맵을 생성하고, 이용 가능한 때와 장소에서, 상기 국부적으로 생성된 깊이 맵을 보강하기 위해 깊이 헬퍼 데이터를 적용하는 것이 가능한 효과를 가진다. 유리하게, 깊이 헬퍼 데이터는 국부적으로 생성된 깊이 맵이 소스 깊이 맵과의 실질적인 차를 가질 때에만 이송된다. 따라서 부정확하게 생성된 깊이 맵들에 의해 야기되는 시각적 교란 에러들이 감소된다.

본 발명은 또한 다음의 인식에 기초한다. 본 발명자들은 국부적 깊이 맵 생성이 일반적으로 좌측 및 우측 뷰에 기초할 때 매우 합치하는 결과를 제공한다는 것을 알았다. 그러나, 일부 순간들 또는 위치들에서 교란 에러들이 발생할 수 있다. 소스에서 이러한 에러들의 발생을 예측하고, 이러한 순간들 또는 기간들에 대해서만 상기 헬퍼 데이터를 추가함으로써, 이송되어야 하는 추가 깊이 데이터량이 제한된다. 또한, 소스 깊이 맵에 기초하여 헬퍼 데이터를 이송하고, 에러가 있는 국부적으로 생성된 깊이 데이터를 이용하는 대신에 목적지 측에서 그 헬퍼 데이터를 선택함으로써, 다중 뷰들의 깊이 기반 렌더링의 상당한 개선이 달성된다.

선택적으로, 3D 소스 디바이스에서, 출력 유닛은 보정 기간 내에서 상기 차가 상기 임계값을 초과할 때의 보정 시간 기간에 대해서만 깊이 헬퍼 데이터를 3D 비디오 신호에 포함하도록 구성된다. 이 효과는 상당한 깊이 에러들이 발생하는 기간들에 대해서만 헬퍼 데이터가 전송된다는 것이고, 이것은 실제로 그 시간의 10%보다 적다. 유리하게, 이송될 데이터량은 감소된다.

선택적으로, 3D 소스 디바이스에서, 출력 유닛은 보정 영역에서 상기 차가 상기 임계값을 초과할 때의 3D 디스플레이보다 작은 보정 영역에 대해서만 깊이 헬퍼 데이터를 3D 비디오 신호에 포함하도록 구성된다. 이 효과는 상당한 깊이 에러들이 발생하는 위치들에 대해서만 헬퍼 데이터가 전송된다는 것이고, 이것은 실제로 이러한 에러들이 발생하는 프레임들의 50%보다 적다. 유리하게, 이송될 데이터량은 감소된다.

선택적으로, 3D 소스 디바이스에서, 깊이 처리기는 보정 영역이 3D 비디오 신호에서 적어도 하나의 매크로블록에 정렬되도록 상기 보정 영역에 대한 깊이 헬퍼 데이터를 생성하도록 구성되고, 매크로블록은 압축된 비디오 데이터의 미리 결정된 블록을 표현하고, 매크로블록 정렬된 보정 영역은 소스 깊이 맵과 제 2 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과하지 않을 때의 위치들에 대한 다른 깊이 데이터를 포함한다. 이 효과는 인코딩이 매크로블록들로 구성되기 때문에, 보정 영역은 일반적인 인코딩 처리기들에 의해 효율적으로 코딩될 것이라는 것이다. 반대로, 에러가 있는 깊이 값들에 대한 보정들만을 포함하는 임의의 형상을 인코딩하는 것은 많은 코딩 수고를 필요로 하고 낮은 압축률을 유발한다. 이러한 보정 영역은 또한 소스 깊이 맵 및 제 2 생성된 깊이 맵의 깊이 값들이 작고 임계값 아래인 픽셀들을 포함한다. 다른 깊이 데이터는 매크로블록 정렬된 보정 영역의 외부 경계에서 깊이 점프들을 회피하기 위해 제 2 생성된 깊이 맵에 기초할 수 있다. 유리하게, 다른 깊이 보정 값들을 생성된 값들과 동일하게 만드는 것은 디코더측에서 매크로블록들에 걸친 깊이 차들이 가시적이 되는 것을 회피할 것이다.

선택적으로, 3D 소스 디바이스에서, 출력 유닛은 3D 비디오 신호에 시그널링 헬퍼 데이터를 포함하도록 구성되고, 시그널링 헬퍼 데이터는 깊이 헬퍼 데이터의 가용성을 표시한다. 유리하게 디코더는 시그널링 헬퍼 데이터에 기초하여 깊이 헬퍼 데이터의 존재 또는 부재를 쉽게 검출할 수 있게 한다. 시그널링 헬퍼 데이터는 예를 들면:

- 깊이 헬퍼 데이터의 존재를 표시하는 플래그 신호;

- 대응하는 위치에 대한 깊이 헬퍼 데이터의 부재를 표시하는 깊이 맵의 미리 규정된 무-깊이 값(no-depth value);

- 데이터 구조에서 깊이 헬퍼 데이터량을 표시하는 헬퍼 길이 데이터;

- 깊이 헬퍼 데이터가 이용 가능한 뷰들의 수 및/또는 타입을 표시하는 뷰 표시자 데이터;

- 깊이 헬퍼 데이터에 이용되는 데이터 구조를 표시하는 헬퍼 타입 데이터;

- 깊이 헬퍼 데이터의 해상도를 표시하는 헬퍼 해상도 데이터;

- 깊이 헬퍼 데이터의 위치를 표시하는 헬퍼 위치 데이터, 중 적어도 하나를 포함할 수 있다.

유리하게, 이러한 시그널링 헬퍼 데이터는 깊이 헬퍼 데이터의 존재 및/또는 양을 표시한다.

선택적으로, 3D 소스 디바이스에서, 출력 유닛은 3D 디스플레이 상의 디스플레이 영역에 대응하는 깊이 맵을 3D 비디오 신호에 포함하도록 구성되고, 깊이 맵은 보정 영역 및/또는 보정 기간에 대한 깊이 헬퍼 데이터, 및 시그널링 헬퍼 데이터로서, 다른 영역들 및/또는 기간들에 대한 대응하는 위치에 대한 깊이 헬퍼 데이터의 부재를 표시하는 미리 규정된 무-깊이 값을 포함한다. 깊이 맵은 임의의 깊이 헬퍼 데이터를 가진 프레임들에 대한 신호에 포함될 수 있고, 즉 암시적으로 깊이 맵의 존재는 깊이 헬퍼 데이터가 존재한다는 것을 표시한다. 대안적으로, 깊이 맵은 모든 프레임들에 대해 포함될 수 있다. 본 발명자들은, 특히 헬퍼 데이터의 국부적 부재를 표시하는 무-깊이 값이 0 또는 255가 되도록 선택될 때, 현재 압축 방식이 대부분 또는 심지어 전체 디스플레이 표면에 걸쳐 단일 값을 가지는 깊이 맵들을 매우 효과적으로 압축한다는 것을 주지하였다. 유리하게, 디코더측에서, 깊이 맵은 깊이 값들이 상기 무-깊이 값으로부터 벗어날 때 임의의 보정 값들만을 이용하여 자동으로 처리된다.

선택적으로, 깊이 맵은: 좌측 뷰에 대응하는 깊이 데이터; 우측 뷰에 대응하는 깊이 데이터; 중앙 뷰에 대응하는 깊이 데이터; 제 1 비디오 정보 또는 제 2 비디오 정보보다 낮은 해상도를 가진 깊이 데이터 중 적어도 하나를 포함한다. 유리하게, 상기 기준들에 따라 하나 이상의 깊이 맵들을 제공함으로써, 디코더는 필요시 적합한 깊이 맵을 이용할 수 있다.

본 발명에 따른 디바이스 및 방법의 다른 양호한 실시예들은 첨부된 특허청구범위에 주어지고, 이의 개시 내용은 본 명세서에 참조로서 포함된다.

본 발명의 이들 및 다른 양태들은 다음의 기술에서 예의 방식으로 기술된 실시예들을 참조하고 첨부 도면들을 참조하여 더욱 명백해지고 명확해질 것이다.

본 발명에 의하면, 깊이 정보를 제공하고 3D 비디오 렌더링을 보강하기 위해 더욱 유연한 깊이 정보를 이송하기 위한 시스템을 제공함으로써, 스테레오-깊이 변환기로 인한 교란 깊이 에러들이 감소될 수 있다.

도 1은 3D 비디오 데이터를 처리하고 3D 비디오 데이터를 디스플레이하기 위한 시스템을 도시한 도면.
도 2는 깊이 헬퍼 데이터를 이용하는 3D 디코더를 도시한 도면.
도 3은 깊이 헬퍼 데이터를 제공하는 3D 인코더를 도시한 도면.
도 4는 오토-스테레오 디스플레이 디바이스 및 다중 뷰들 생성을 도시한 도면.
도 5는 듀얼 뷰 스테레오 디스플레이 디바이스 및 보강된 뷰들 생성을 도시한 도면.
도 6은 3D 비디오 신호에서 깊이 헬퍼 데이터의 존재를 도시한 도면.

도면들은 순전히 도식적이고 비례적으로 도시되지 않았다. 도면들에서, 이미 기술된 요소들에 대응하는 요소들은 동일한 참조 번호들을 가질 수 있다.

본 발명은 정지 화상이든 또는 동영상이든 임의 타입의 3D 이미지 데이터에 대해 이용될 수 있음을 유념한다. 3D 이미지 데이터는 전자, 디지털 인코딩된 데이터로서 이용 가능한 것으로 가정된다. 본 발명은 이러한 이미지 데이터에 관한 것이고 이미지 데이터를 디지털 도메인에서 조작한다.

소위 3D 비디오 포맷에 따라 3D 비디오 신호가 포맷되어 이송될 수 있는 많은 상이한 방식들이 존재한다. 일부 포맷들은 또한 스테레오 정보를 전달하기 위해 2D 채널을 이용하는 것에 기초한다. 3D 비디오 신호에서, 이미지는 이미지 값들에 의해 픽셀들의 2차원 어레이로 표현된다. 예를 들면, 좌측 및 우측 뷰는 인터레이싱될 수 있거나 또는 위 및 아래에 나란히 배치될 수 있다. 또한 깊이 맵이 이송될 수 있고, 가림(occlusion) 또는 투명 데이터와 같은 다른 3D 데이터도 가능하다. 디스패리티 맵은 이 텍스트에서, 또한 일종의 깊이 맵으로 간주된다. 깊이 맵은 이미지에 대응하는 2차원 어레이로도 또한 깊이 값들을 가지지만, 깊이 맵은 상이한 해상도를 가질 수 있다. 3D 비디오 데이터는 예를 들면 MPEG와 같은 알려진 압축 방법들에 따라 압축될 수 있다. 인터넷 또는 블루-레이 디스크(BD)와 같은 임의의 3D 비디오 시스템이 제안된 인핸스먼트들로부터 이익을 얻을 수 있다.

3D 디스플레이는 비교적 작은 유닛(예를 들면, 모바일 폰), 셔터 안경을 필요로 하는 큰 스테레오 디스플레이(STD), 임의의 스테레오스코픽 디스플레이(STD), 가변 베이스라인을 고려한 고급 STD, 헤드 트래킹에 기초하여 L 및 R 뷰들을 뷰어들의 눈들로 향하게 하는 액티브 STD, 또는 오토-스테레오스코픽 다중뷰 디스플레이(ASD) 등일 수 있다.

통상적으로 다양한 타입들의 3D 디스플레이들을 구동하는데 필요한 모든 구성요소들이 전송되고, 이것은, 예를 들면 스위스, 제네바, 2011년 3월, "Call for Proposals on 3D Video Coding Technology" - MPEG 문서 N12036에서 논의된 바와 같이, 통상적으로 하나보다 많은 뷰(카메라 신호) 및 그 대응하는 깊이들의 압축 및 전송을 수반한다. 이러한 시스템이 가진 문제들은 깊이 신호들의 가용성(생성하기 어렵고 비용이 많이 듦), 가변 베이스라인에 대한 ASD 및 고급 STD를 구동하기 위한 제한된 초기 컨텐트 가용성, 및 깊이 신호들을 전송하는데 요구되는 부가 비트레이트이다. 디코더의 자동-변환(스테레오로부터 자동으로 도출되는 깊이)은 예를 들면, 스위스 제네바, 2011년 11월, ""Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI", MPEG 문서 M22668로부터 자체적으로 알려져 있다. 그러나 전체 품질은 보장될 수 없고 품질은 특정 "어려운(difficult)" 장면들에 제한될 것이다(예를 들면, 장면들의 5%). 스테레오-비디오 디코더 후에 이용되는 자동-변환에 대한 대안으로서, 스테레오-깊이 변환기가 또한 더 많은 처리 전력이 인가될 수 있는 인코더측에 배치될 수 있다. 그러나, 이것은 이송될 데이터량을 감소시키지 않고 합성된 깊이 맵들이 신뢰할 수 없는 일부 어려운 장면들을 여전히 경험한다.

도 1은 3D 비디오 데이터를 처리하고 3D 비디오 데이터를 디스플레이하기 위한 시스템을 도시한다. 3D 소스 디바이스(40)로 칭해지는 제 1의 3D 비디오 디바이스는 3D 비디오 신호(41)를 3D 목적지 디바이스(50)로 칭해지는 다른 3D 이미지 처리 디바이스에 제공 및 이송하고, 3D 목적지 디바이스(50)는 3D 디스플레이 디바이스(60)에 결합되어 3D 디스플레이 신호(56)를 이송한다. 비디오 신호는 예를 들면 ½ HD 프레임 호환 가능한, 다중 뷰 코딩된(MVC) 또는 프레임 호환 가능한 전해상도(예를 들면 돌비에 의해 제안된 바와 같은 FCFR)를 이용하는 표준 스테레오 전송과 같은 3D TV 방송 신호일 수 있다. 프레임-호환 가능한 베이스층 상에 기반하여, 돌비는 전해상도 3D 이미지들을 재현하기 위해 인핸스먼트층(enhancement layer)을 개발하였다. 이 기술은 표준화를 위해 MPEG에 제안되었고 비트레이트의 ~10% 증가만을 필요로 한다. 통상적인 3D 비디오 신호는 하기에 설명되는 바와 같이 깊이 헬퍼 데이터에 의해 보강된다.

도 1은 또한 기록 캐리어(54)를 3D 비디오 신호의 캐리어로 도시한다. 기록 캐리어는 디스크-형상이고 트랙 및 중심 홀을 가진다. 물리적으로 검출 가능한 마크들의 패턴으로 구성된 트랙은 하나 이상의 정보층들 상에 실질적으로 병렬인 트랙들을 구성하는 턴들의 나선 또는 동심원 패턴에 따라 배열된다. 기록 캐리어는 광학적으로 판독 가능할 수 있고 광 디스크로 칭해지며, 예를 들면 DVD 또는 BD(Blu-ray Disc; 블루 레이 디스크)이다. 정보는 트랙을 따라 광학적으로 검출 가능한 마크들, 예를 들면 피트들 및 랜드들에 의해 정보층 상에서 구현된다. 트랙 구조는 또한 위치 정보, 예를 들면 정보 단위들의 위치를 표시하기 위한, 일반적으로 정보 블록들로 칭해지는 헤더들 및 어드레스들을 포함한다. 기록 캐리어(54)는, 예를 들면 MPEG2 또는 MPEG4 인코딩 시스템에 따라 DVD 또는 BD 포맷과 같은 미리 규정된 기록 포맷으로 인코딩된 비디오와 같은 디지털 인코딩된 3D 이미지 데이터를 표현하는 정보를 전달한다.

3D 소스 디바이스는 입력 유닛(47)을 통해 수신되는 3D 비디오 데이터를 처리하기 위한 소스 깊이 처리기(42)를 구비한다. 입력 3D 비디오 데이터(43)는 저장 시스템으로부터, 기록 스튜디오, 3D 카메라 등으로부터 이용 가능할 수 있다. 소스 시스템은 3D 이미지 데이터를 위해 제공되는 깊이 맵을 처리하고, 깊이 맵은 시스템의 입력에 원래 존재하거나, 예를 들면 스테레오 (L+R) 비디오 신호의 좌측/우측 프레임들로부터 또는 2D 비디오로부터 하기에 기술되는 바와 같은 고품질 처리 시스템에 의해 자동 생성될 수 있고, 동반하는 2D 이미지 데이터 또는 좌측/우측 프레임들에 대응하는 깊이 값들을 정확하게 표현하는 소스 깊이 맵을 제공하도록 더 처리되거나 보정될 수도 있다.

소스 깊이 처리기(42)는 3D 비디오 데이터를 포함하는 3D 비디오 신호(41)를 생성한다. 3D 비디오 신호는 3D 디스플레이 상의 좌안 뷰를 표현하는 제 1 비디오 정보, 및 3D 디스플레이 상의 우안 뷰를 표현하는 제 2 비디오 정보를 가진다. 소스 디바이스는 3D 비디오 신호를 비디오 처리기로부터 출력 유닛(46)을 통해 다른 3D 비디오 디바이스에 이송하거나, 또는 예를 들면 기록 캐리어를 통해 배포하기 위해 3D 비디오 신호를 제공하도록 구성될 수 있다. 3D 비디오 신호는 예를 들면 미리 규정된 포맷에 따라 3D 비디오 데이터를 인코딩 및 포맷함으로써 입력 3D 비디오 데이터(43) 처리에 기초한다.

3D 소스 디바이스는 제 1 및 제 2 비디오 정보에 기초하여 소스 생성된 깊이 맵을 생성하기 위한 소스 스테레오-깊이 변환기(48) 및 깊이 헬퍼 데이터를 제공하기 위한 소스 깊이 처리기(42)를 구비한다.

깊이 맵을 생성하기 위한 스테레오-깊이 변환기는 동작시, 좌-우 비디오 신호로 칭해지는 스테레오 3D 신호를 수신하고, 이 신호는 3D 효과를 생성하기 위해 뷰어의 각각의 눈들에 디스플레이되도록 좌측 뷰 및 우측 뷰를 표현하는 좌측 프레임들 L 및 우측 프레임들 R의 시간-순서를 가진다. 유닛은 좌측 뷰 및 우측 뷰의 디스패리티 추정에 의해 생성된 깊이 맵을 만들고, 또한 좌측 뷰 및/또는 우측 뷰에 기초하여 2D 이미지를 제공할 수 있다. 디스패리티 추정은 L 및 R 프레임들을 비교하는데 이용되는 모션 추정 알고리즘들에 기초할 수 있다. 오브젝트의 L 과 R 뷰 사이의 큰 차들은 차의 방향에 의존하여 디스플레이 스크린 앞 또는 뒤에서 깊이 값들로 변환된다. 생성기 유닛의 출력은 생성된 깊이 맵이다. 후속적으로, 깊이 헬퍼 데이터는 깊이 에러들이 검출되는 경우, 즉 소스 깊이 맵과 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과할 때에만 생성된다. 예를 들면, 미리 결정된 깊이 차는 상기 임계값을 구성할 수 있다. 임계값은 또한, 예를 들면 국부적 이미지 세기 또는 콘트라스트, 또는 텍스처와 같은 깊이 에러들의 가시성에 영향을 미치는 다른 이미지 속성들에 의존하여 만들어질 수 있다. 임계값은 또한 다음과 같이 생성된 깊이 맵의 품질 레벨을 검출함으로써 결정될 수 있다. 생성된 깊이 맵은 주어진 상이한 뷰에 대응하는 방향을 가지는 뷰를 워핑(warp)하기 위해 이용된다. 예를 들면, R의 뷰는 오리지널 L 이미지 데이터 및 생성된 깊이 맵에 기초한다. 후속적으로, 예를 들면 잘 알려진 PSNR 함수(피크 신호-대-잡음비)에 의해 R의 뷰와 오리지널 R 뷰 사이에 차가 계산된다. PSNR은 그 표현의 충실도(fidelity)에 영향을 미치는 오류가 있는 잡음의 전력과 신호의 최대 가능한 전력 사이의 비이다. 많은 신호들이 매우 광범위한 다이내믹 레인지를 가지기 때문에, PSNR은 일반적으로 대수 데시벨 스케일(logarithmic decibel scale)에 관해 표현된다. PSNR은 이제 생성된 깊이 맵의 품질의 척도로서 이용될 수 있다. 이 경우의 신호는 오리지널 데이터 R이고 잡음은 생성된 깊이 맵에 기초하여 R을 워핑함으로써 도입되는 에러이다. 또한, 임계값은 다른 가시성 기준들에 기초하거나, 또는 생성된 깊이 맵에 기초하여 결과들을 저술하거나 리뷰하고, 3D 비디오의 섹션들 및/또는 기간들이 깊이 헬퍼 데이터에 의해 증가되어야 하는 것을 제어하는 에디터에 의해 판단될 수도 있다.

깊이 헬퍼 데이터는 소스 깊이 맵, 예를 들면 상기 깊이 에러들의 위치들에서 소스 깊이 맵의 깊이 값들을 표현한다. 대안적으로, 깊이 차 또는 깊이 보정 팩터는 소스 깊이 맵의 깊이 값들에 도달하는 방법을 목적지 디바이스에 표시하기 위해 깊이 헬퍼 데이터에 포함될 수 있다. 출력 유닛(46)은 깊이 헬퍼 데이터를 3D 비디오 신호에 포함하도록 구성된다. 깊이 처리기(42), 스테레오-깊이 변환기(48) 및 출력 유닛(46)의 기능들을 가진 처리기 유닛은 3D 인코더로 칭해질 수 있다.

3D 소스는 서버, 방송사, 기록 디바이스, 또는 블루-레이 디스크와 같은 광 기록 캐리어들을 제작하기 위한 오서링 및/또는 생산 시스템일 수 있다. 블루-레이 디스크는 비디오를 배포하기 위한 상호작용 플랫폼을 컨텐트 제작자들에게 제공한다. 블루-레이 디스크 포맷 상의 정보는 오디오-비주얼 애플리케이션 포맷에 관한 페이퍼들에서 블루-레이 디스크 연계의 웹사이트, 예를 들면 http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf로부터 이용 가능하다. 광 기록 캐리어의 생산 공정은 패턴이 깊이 헬퍼 데이터를 포함하는 3D 비디오 신호를 구현하는 트랙들에서 마크들의 물리적 패턴을 제공하고, 후속적으로 적어도 하나의 저장층 상에 마크들의 트랙들을 제공하기 위해 패턴에 따라 기록 캐리어의 재료를 성형(shaping)하는 단계를 더 포함한다.

3D 목적지 디바이스(50)는 3D 비디오 신호(41)를 수신하기 위한 입력 유닛(51)을 구비한다. 예를 들면, 디바이스는 입력 유닛에 결합되어 DVD 또는 블루-레이 디스크와 같은 광 기록 캐리어(54)로부터 3D 비디오 정보를 검색하기 위한 입력 유닛에 결합된 광 디스크 유닛(58)을 포함할 수 있다. 대안적으로(또는 부가적으로), 디바이스는, 예를 들면 셋-톱 박스인 디바이스 또는 모바일 폰이나 태블릿 컴퓨터와 같은 모바일 컴퓨팅 디바이스와 같이, 인터넷 또는 방송 네트워크와 같은 네트워크(45)에 결합하기 위한 네트워크 인터페이스 유닛(59)을 포함할 수 있다. 3D 비디오 신호는 원격 웹사이트 또는 미디어 서버, 예를 들면 3D 소스 디바이스(40)로부터 검색될 수 있다. 3D 이미지 처리 디바이스는 이미지 입력 신호를 필요한 깊이 정보를 가진 이미지 출력 신호로 변환하는 변환기일 수 있다. 이러한 변환기는 특정 타입의 3D 디스플레이에 대한 상이한 입력 3D 비디오 신호들을 변환하기 위해, 예를 들면 표준 3D 컨텐트를 특정 타입 또는 벤더(vendor)의 오토-스테레오스코픽 디스플레이들에 적합한 비디오 신호로 변환하기 위해 이용될 수 있다. 실제로, 디바이스는 3D 광 디스크 플레이어, 또는 위성 수신기 또는 셋톱 박스, 또는 임의 타입의 미디어 플레이어일 수 있다.

3D 목적지 디바이스는 입력 유닛(51)에 결합되어, 출력 인터페이스 유닛(55)을 통해 디스플레이 디바이스에 이송될 3D 디스플레이 신호(56), 예를 들면 HDMI 표준에 따른 디스플레이 신호를 생성하기 위해 3D 정보를 처리하기 위한 깊이 처리기(52)를 구비하고, "High Definition Multimedia Interface; 2010년 3월 4일의 명세 버전 1.4a"를 참조하고, 3D 부분은 대중 다운로드를 위해 http://hdmi.org/manufacturer/specification.aspx에서 이용 가능하다.

3D 목적지 디바이스는 제 1 및 제 2 비디오 정보에 기초하여 목적지 생성된 깊이 맵을 생성하기 위해 스테레오-깊이 변환기(53)를 구비한다. 스테레오-깊이 변환기의 동작은 상술된 소스 디바이스에서의 스테레오-깊이 변환기와 등가이다. 두 변환기들이 동일할 때, 동일한 깊이 에러들이 발생할 것이고, 에러들은 깊이 헬퍼 데이터를 통해 보정 가능하다. 목적지 스테레오-깊이 변환기가 더욱 개선되는 경우, 즉 소스 스테레오-깊이 변환기보다 적어도 양호하게 수행하는 경우, 최종 목적지 깊이 맵은 헬퍼 데이터가 이용 가능하지 않은 경우에도 이점이 있을 것이다. 목적지 깊이 처리기(52), 스테레오-깊이 변환기(53) 및 출력 유닛(55)의 기능들을 가진 유닛은 3D 디코더로 칭해질 수 있다.

목적지 깊이 처리기(52)는 디스플레이 디바이스(60) 상의 디스플레이를 위해 3D 디스플레이 신호(56)에 포함된 이미지 데이터를 생성하도록 구성된다. 깊이 처리기는 깊이 헬퍼 데이터가 3D 비디오 신호에서 이용 가능하지 않을 때 목적지 생성된 깊이 맵에 기초하여, 및 깊이 헬퍼 데이터가 3D 비디오 신호에서 이용 가능할 때 깊이 헬퍼 데이터에 기초하여 목적지 깊이 맵을 생성하도록 구성된다. 예를 들면, 깊이 스위치는 목적지 생성된 깊이 맵의 깊이 값들을 이용 가능한 깊이 헬퍼 데이터에 의해 제공된 깊이 값들로 대체할 수 있다. 깊이 헬퍼 데이터의 처리는 하기에 더 설명된다.

3D 디스플레이 디바이스(60)는 3D 이미지 데이터를 디스플레이하기 위한 것이다. 디바이스는 3D 목적지 디바이스(50)로부터 이송된 목적지 깊이 맵 및 3D 비디오 데이터를 포함하는 3D 디스플레이 신호(56)를 수신하기 위한 입력 인터페이스 유닛(61)을 구비한다. 디바이스는 목적지 깊이 맵에 의존하여 제 1 및 제 2 비디오 정보에 기초하여 3D 비디오 데이터의 다중 뷰들을 생성하기 위한 뷰 처리기(62) 및 3D 비디오 데이터의 다중 뷰를 디스플레이하기 위한 3D 디스플레이(63)를 구비한다. 이송된 3D 비디오 데이터는 3D 디스플레이(63), 예를 들면 다중-뷰 LCD 상에 디스플레이하기 위한 처리 유닛(62)에서 처리된다. 디스플레이 디바이스(60)는 임의 타입의 스테레오스코픽 디스플레이일 수 있고, 또한 3D 디스플레이로 칭해진다.

3D 디스플레이 디바이스(60)에서의 비디오 처리기(62)는 다중 뷰들을 렌더링하기 위한 디스플레이 제어 신호들을 생성하기 위해 3D 비디오 데이터를 처리하도록 구성된다. 뷰들은 목적지 깊이 맵을 이용하여 3D 이미지 데이터로부터 생성된다. 대안적으로, 3D 플레이어 디바이스에서의 비디오 처리기(52)는 상기 깊이 맵 처리를 수행하도록 구성될 수 있다. 특정 3D 디스플레이를 위해 생성된 다중 뷰들은 3D 이미지 신호와 함께 상기 3D 디스플레이쪽으로 이송될 수 있다.

다른 실시예에서, 목적지 디바이스 및 디스플레이 디바이스는 단일 디바이스로 조합된다. 깊이 처리기(52) 및 처리 유닛(62)의 기능들, 및 출력 유닛(55) 및 입력 유닛(61)의 나머지 기능들은 단일 비디오 처리 유닛에 의해 수행될 수 있다.

도 2는 깊이 헬퍼 데이터를 이용하는 3D 디코더를 도시한다. 3D 디코더(20)는 BS3(베이스 신호 3D)로 마킹된 3D 비디오 신호에 대한 입력을 구비하여 개략적으로 도시된다. 입력 디멀티플렉서(21)(DEMUX)는 좌측 및 우측 뷰(LR-bitstr) 및 깊이 헬퍼 데이터(DH-bitstr)로부터 비트스트림들을 검색한다. 제 1 디코더(22)(DEC)는 좌측 및 우측 뷰를 출력들 L 및 R로 디코딩하며, 출력들은 또한, 목적지 생성된 깊이 맵으로 칭해지는 좌측 깊이 맵 LD1 및 우측 깊이 맵 RD1을 생성하는 소비자 타입 스테레오-깊이 변환기(CE-S2D)에 결합된다. 제 2 디코더(23)는 DH-bitstr를 디코딩하고, 깊이 헬퍼 데이터가 이용 가능한 좌측 헬퍼 깊이 맵 LD2 및 우측 헬퍼 깊이 맵 RD2를 제공한다. 깊이 스위처 DEPTH-SW(25)는 예를 들면 깊이 헬퍼 데이터의 존재를 표시하는 플래그에 기초하여, 목적지 생성된 깊이 맵(LD1/RD1) 또는 좌측 헬퍼 깊이 맵 LD2 및 우측 헬퍼 깊이 맵 RD2을 선택한다.

3D 디코더는 소비자측에서 셋톱 박스(STB)의 일부일 수 있으며, 이것은 깊이 헬퍼 시스템을 따라 비트스트림을 수신하고(BS3), 이것은 2개의 스트림들로 디멀티플렉싱된다: L 및 R 뷰들을 가진 하나의 비디오 스트림, 및 깊이 헬퍼(DH) 데이터를 가진 하나의 깊이 스트림, 둘다는 그 후에 각각의 디코더들에 전송된다(예를 들면, MVC/H264). 국부적 플래그가 도출되어, 디코딩된 DH 깊이들(LD2/RD2)과 국부적 생성된(CE-S2D에 의해) 깊이 값들(LD1/RD1) 사이를 스위칭하기 위해 이용된다. 3D 디코더의 최종 출력들(LD3/RD3)은 그 후에, 디스플레이의 타입에 의존하여 도 4 또는 도 5와 함께 논의되는 바와 같이 뷰-워핑 블록에 이송된다.

도 3은 깊이 헬퍼 데이터를 제공하는 3D 인코더를 도시한다. 3D 인코더(30)는 3D 비디오 신호를 수신하기 위한 입력(L, R)을 구비하여 개략적으로 도시된다. 스테레오-깊이 변환기(예를 들면, 고품질 전문가 타입 HQ-S2D)는 소스 생성된 깊이 맵으로 칭해지는 좌측 깊이 맵 LD4 및 우측 깊이 맵 RD4를 생성한다. 다른 입력은 소스 깊이 맵(LD-man, RD-man으로 마킹됨)을 수신하고, 이것은 오프-라인으로 제공될 수 있거나(예를 들면, 수동으로 편집되거나 개선될 수 있거나), 입력 3D 비디오 신호와 함께 이용 가능할 수 있다. 깊이 스위처 유닛(32)은 소스 생성된 깊이 맵 LD4, RD4 및 소스 깊이 맵 LD-man 및 RD-man 둘 다를 수신하고 소스 깊이 맵과 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과하는지를 결정한다. 그러한 경우, 깊이 스위치들은 깊이 헬퍼 데이터 LD5, RD5를 생성한다. 깊이 스위처는 깊이 맵들 중 하나를 선택할 수 있다. 선택은 또한 이러한 차를 표시하는 외부 신호(flag로 마킹됨)에 기초할 수 있고, 신호는 출력 멀티플렉서(35)(MUX)에 의해 헬퍼 시그널링 데이터로서 출력 신호에 포함될 수 있다. 멀티플렉서는 또한 제 1 인코더(33)로부터 인코딩된 비디오 데이터(BS1) 및 제 2 인코더(34)로부터 인코딩된 깊이 헬퍼 데이터(BS2)를 수신하고, BS3으로 마킹된 3D 비디오 신호를 생성한다.

3D 인코더에서, 출력 유닛은 보정 기간 내에서 상기 차가 상기 임계값을 초과할 때의 보정 시간 기간에 대해서만 깊이 헬퍼 데이터를 3D 비디오 신호에 포함하도록 준비될 수 있다. 또한, 출력 유닛은 보정 영역에서 상기 차가 상기 임계값을 초과할 때의 3D 디스플레이보다 작은 보정 영역에 대해서만 깊이 헬퍼 데이터를 3D 비디오 신호에 포함하도록 준비될 수 있다. 예를 들면, 깊이 헬퍼 데이터를 제공하는 깊이 맵은 (ⅰ) 전체-프레임이거나, (ⅱ) 부분적으로 존재하거나), 또는 (ⅲ) 존재하지 않는다. 또한 깊이 맵은 특정 프레임들 또는 GOP들에만 존재할 수 있다. 또한, 전체-프레임 깊이-맵이 포함될 수 있지만, "깊이 헬퍼 정보 없음(no depth helper information)"을 의미하기 위해 할당된 특정 휘도 값(예를 들면, 0x00 또는 OxFF)를 가진다. 이러한 맵은 역방향-호환 가능한 방식으로 코딩될 수 있다. 또한, 깊이 헬퍼 데이터 및 그들 프레임-위치는 사용자-데이터 또는 일부 다른 시스템으로 전송되는 표 또는 다른 데이터 구조에 저장될 수 있다.

인코더는 다음의 효과를 가진다. 깊이 헬퍼 데이터로 칭해지는 깊이 정보가 시간으로(시간에서 부분 깊이들) 및/또는 공간적으로(프레임들 내에서 부분 깊이) 둘다에 부분적으로 전송된다. 부분 깊이들이 이용되어야 할 때 또는 깊이들이 국부적으로 자동 생성되어야 할 때를 표시하기 위한 명시적 또는 암시적 메커니즘이 존재한다. 명시적 메커니즘은 플래그들의 비트스트림으로의 삽입을 통한 것일 수 있고, 암시적 메커니즘은 이와 같은 깊이 헬퍼 데이터의 부재가 국부적 깊이가 생성되어야 하는 것을 표시하는 합의를 통한 것일 수 있다.

실시예에서, 깊이 맵에서 특정 깊이 레벨 LEV(예를 들면, 흑색 레벨 0 또는 백색 레벨 255)는 무 DH-깊이가 전송되는 것을 의미하여 할당될 수 있다. 이러한 무-깊이 값은 깊이 값의 위치에 물리적으로 존재하며, 이것은 예를 들면 비디오 및 깊이 동기를 유지하기 위해 일부 실리적인 이점들을 가진다.

또한, 이러한 시그널링은 깊이 헬퍼 데이터의 "공간적(spatial)" 표시를 허용하여 부분적으로 시간적 뿐만 아니라 부분적으로 공간적, 즉 프레임 내의 부분들만의 표시를 허용한다. 예를 들면, 깊이 에러들은 특정 샷의 프레임 내에서 국부적 생성된 깊이 맵의 일부 부분들에 존재할 수 있다. 그 경우, 깊이 헬퍼 데이터는 국부적 생성된 깊이가 불충분한 픽셀들을 제외하고, 무-깊이 레벨 LEV에서 설정될 것이다.

깊이 에러들이 발생할 수 있는 예는 컨텐트에, 또한 샷 경계들에 걸쳐 일정하게 존재하는 로고들이다. 일반적으로, 깊이들에 대한 디스패리티들의 맵핑은 샷마다 상이하지만, 통상적으로 로고들의 디스패리티들은 일정하다. 국부적 생성된 깊이는 에러가 많을 수 있어서, 로고의 깊이들은 샷들에 걸쳐 시간에 변화한다. ASD의 속성으로 인해, 이것은 또한, 인간 눈이 매우 민감하기 때문에, 어느 정도 변화하는 블러링 효과를 유발할 수도 있다. 그러나, 로고에 대응하는 이들 깊이 픽셀들에만 이용 가능한 (즉, 무 LEV 값에서) 깊이 헬퍼 데이터는 로고 깊이를 고정된 및 적합한 레벨로 설정하는 것이 가능하다. 따라서 이러한 품질 문제들은 극복된다. 무 LEV인 깊이 맵 값들은 플래그로서 해석될 것이고, 이들 픽셀들에 대해, 깊이 출력(LD3/RD3)은 국부적 생성된 깊이들 LD1/RD1에서 깊이 헬퍼 데이터 LD2/RD2로 스위칭될 것이다.

표준 이용 가능한 스테레오 신호를 하나 또는 두 개의 대응하는 깊이 신호들로 변환하는 스테레오-깊이 변환기 모듈 S2D(CE-S2D 또는 HQ-S2D)의 거동이 알려져 있다(그리고 고정된다). 유리하게, 특정 스테레오-깊이 변환기는 특히 표준 3D 포맷의 일부가 되도록 선택된다. 따라서 디코더 측에서의 스테레오-깊이 변환기는 그 후에 인코더 측에서의 스테레오-깊이 변환기와 동일하게 될 수 있다. 이것은 디코더에서 S2D 모듈, CE-S2D의 인코더 측에서의 품질 제어를 허용한다. 예를 들면 주어진 샷(새로운 장면의 시작 또는 "테이크(take)")에 대해 ASD에 대한 렌더링 후의 품질이 불충분한(통상적으로 이따금씩, 즉 샷들의 5%만 발생하는 어떤 것) 것으로 판명되는 경우, 이들 샷들에 대해서만 깊이 헬퍼 데이터가 생성되고 전송된다. 이것은 전체 품질을 보장할 뿐만 아니라, 컨텐트를 생성하는 비용들을 제한하는 동시에 전송할 비트들을 절감한다.

깊이 헬퍼 데이터 원리는 모든 3D 비디오 이송 단계에서, 예를 들면 소비자에게 전송하기 위해 현재 보강된 깊이 맵들을 부가로 인코딩하는 스튜디오 또는 저작가와 방송사 사이에서 적용될 수 있음을 유념한다. 또한 깊이 헬퍼 데이터 시스템은 연속적인 이송들에 대해 실행될 수 있고, 예를 들면 다른 개선된 버전이 다른 개선된 소스 깊이 맵에 기초하여 제 2 깊이 헬퍼 데이터를 포함함으로써 초기 버전에 대해 생성될 수 있다. 이것은 3D 디스플레이들에 대한 달성 가능한 품질, 깊이 정보의 전송을 위해 필요한 비트레이트들 또는 3D 컨텐트를 생성하기 위한 비용들에 관해 큰 유연성을 제공한다.

실시예에서, 깊이 헬퍼 데이터는 다음의 형태를 취할 수 있다. 3D 비디오 신호는 3D 디스플레이 상의 디스플레이 영역에 대응하는 깊이 맵을 포함한다. 상기 깊이 맵은 보정 영역 및/또는 보정 기간에 대한 깊이 헬퍼 데이터를 가진다. 또한, 미리 규정된 무-깊이 값은 다른 영역들 및/또는 기간들에 대해 대응하는 위치에 대한 깊이 헬퍼 데이터의 부재를 표시한다.

실시예에서, 깊이 맵은 깊이 맵은 좌측 뷰에 대응하는 깊이 데이터, 우측 뷰에 대응하는 깊이 데이터, 및/또는 중앙 뷰에 대응하는 깊이 데이터 중 적어도 하나를 포함할 수 있다. 또한, 깊이 데이터는 제 1 비디오 정보 또는 제 2 비디오 정보보다 낮은 해상도를 가질 수 있다.

깊이 처리기는 상기 보정 영역이 3D 비디오 신호에서 적어도 하나의 매크로블록에 정렬되도록 보정 영역에 대한 깊이 헬퍼 데이터를 생성하도록 구성될 수 있다. 매크로블록들은 압축된 비디오 데이터, 예를 들면 MPEG 인코딩된 비디오 신호의 미리 결정된 블록을 표현한다.

매크로블록 정렬된 보정 영역은 소스 깊이 맵과 제 2 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과하지 않을 때 위치들에 대한 다른 깊이 데이터를 포함할 수 있다. 이러한 보정 영역은 또한 제 2 생성된 깊이 맵 및 소스 깊이 맵의 깊이 값들이 작고 임계값보다 아래인 픽셀들을 포함한다. 다른 깊이 데이터는 매크로블록 정렬된 보정 영역의 외부 경계에서 깊이 점프들을 회피하기 위해 제 2 생성된 깊이 맵에 기초할 수 있다. 다른 깊이 보정 값들을 생성된 값들과 동일하게 만드는 것은 디코더측에서 매크로블록들에 걸친 깊이 차들이 가시적이 되는 것을 회피할 것이다.

실시예에서, 3D 비디오 신호는 시그널링 헬퍼 데이터를 포함한다. 시그널링 헬퍼 데이터는 깊이 헬퍼 데이터의 가용성을 표시한다. 시그널링 헬퍼 데이터는 다음 중 적어도 하나의 형태를 취할 수 있다. 플래그 신호는 깊이 헬퍼 데이터의 존재를 표시할 수 있다. 깊이 맵의 미리 규정된 무-깊이 값은 대응하는 위치에 대한 깊이 헬퍼 데이터의 부재를 표시할 수 있다. 헬퍼 길이 데이터는 데이터 구조에서 깊이 헬퍼 데이터의 양을 표시할 수 있다. 뷰 표시자 데이터는 깊이 헬퍼 데이터가 이용 가능한 뷰들의 수 및/또는 타입을 표시할 수 있다. 헬퍼 타입 데이터는 깊이 헬퍼 데이터에 이용되는 데이터 구조 또는 데이터 포맷을 표시할 수 있다. 헬퍼 해상도 데이터는 깊이 헬퍼 데이터의 해상도를 표시할 수 있다. 헬퍼 위치 데이터는 깊이 헬퍼 데이터의 위치를 표시할 수 있다.

깊이 헬퍼 데이터는 렌더링 후의 출력에 에러들을 유발할 수 있는 자동 생성된 깊이 맵의 이들 영역들을 보조/보정하기 위한 것임을 유념한다. 깊이 맵의 이용되지 않은 영역들은 단일 휘도 값에 의해 표시될 수 있다. 이 값을 우리는 NoDH라 칭한다.

깊이 헬퍼 데이터에 대해 (다양한 조합들을 포함하여 하나 이상) 이송될 수 있는 다른 시그널링 파라미터들은:

1. 깊이 데이터 해석,

a. Zfar, znear (가장 근접한 및 가장 먼 깊이 값들),

b. znear_sign (znear값을 양으로서 0, 음으로서 1로 해석하는 방법을 표시)

c. znear_exponent(깊이 값들의 더 큰 충실도로의 확장을 위해)

d. num_of_views(깊이 정보가 존재하는 뷰들의 수)

2. 깊이 헬퍼 데이터에서 최상의 결과들을 얻는데 있어서 렌더링을 돕기 위한 특정 처리 시그널링. 시그널링은 규정된 표에서 이용되는 시그널링과 대응하는 수로 구성될 것이다.

a. DH 데이터에서 이용되는 스케일링의 타입, 스케일링을 위해 이용되는 알고리즘의 종류, 바이-리니어(bi-linear), 바이큐빅(bicubic) 등.

b. 깊이 정보에서 에지들의 타입. 이것은 깊이 헬퍼 데이터에서 최대 결과를 얻는데 있어서 렌더러를 돕기 위해 특정 타입의 에지를 표시하는 표로 구성될 것이다. 예를 들면, 예리한, 희미한, 부드러운 등.

c. 깊이 헬퍼 데이터를 생성하기 위해 이용되는 알고리즘. 렌더링 시스템은 이 값을 해석하고 이로부터 깊이 헬퍼 데이터를 렌더링하는 방법을 추론할 수 있을 것이다. 수동, 초점으로부터의 깊이, 원근으로부터의 깊이, 움직임으로부터의 깊이, 방식들의 조합 등 등.

상기에 나열된 표 엔트리 값들 외에도, 다음의 부가의 실제 값들:

d. 0에서 128까지 깊이 데이터에서의 오브젝트들의 가장자리들에서 이용되는 팽창의 양

e. 깊이 헬퍼 데이터를 포함하지 않은 깊이 이미지 데이터에서의 휘도 값. 0과 255 사이의 값들로서 NoDH. 에지들에서의 비트레이트를 최소화하기 위해, 이것은 예를 들면 깊이 비디오 스트림의 매크로블록 크기에 대응하는 8x8 또는 16x16으로 정렬된 블록이어야 한다.

깊이 데이터 해석 (1)과 렌더링을 위한 특정 처리 시그널링(2) 둘다는 비디오 기본 스트림에서 비디오 신호에 포함되도록 전송되는 것이 바람직하다. 깊이 데이터 해석의 전송을 위해, 이러한 소위 깊이 범위 업데이트를 위해 새로운 nal 유닛 타입을 규정하는 것이 제안되었다.

특정 처리 시그널링에 관해 데이터는 또한, 깊이 헬퍼 데이터를 전달하는 비디오 스트림의 일부를 형성하는 NAL 유닛들에 시그널링을 전달하도록 제안한 깊이 헬퍼 데이터를 해석할 때 이용되어야 한다. 이들에 대해 우리는 Rendering_Depth_Helper_data로서 규정한 표와 함께 depth_range_update nal 유닛을 연장할 수 있다. 대안적으로 하기 표는 SEI 메시지로 전달될 수 있지만, 이들은 또한 비디오 기본 스트림으로 전달될 수 있다.

하기는 표시된 바와 같이 데이터와 함께 nal 유닛의 일부의 예를 도시한 표이다.

실시예에서, 3D 비디오 신호는 인코딩된 비디오 데이터 스트림을 포함하도록 포맷되고 미리 규정된 표준, 예를 들면 BD 표준에 따라 디코딩 정보를 전달하도록 구성된다. 3D 비디오 신호에서의 시그널링 헬퍼 데이터는 표준에 따라 디코딩 정보로서 사용자 데이터 메시지; 시그널링 기본 스트림 정보 [SEI] 메시지; 엔트리 포인트 표; 또는 XML 기반 기술 중 적어도 하나에 포함된다.

도 4는 오토-스테레오 디스플레이 디바이스 및 다중 뷰들 생성을 도시한다. 오토-스테레오 디스플레이(ASD)(403)는 깊이 처리기(400)에 의해 생성된 다중 뷰들을 수신한다. 깊이 처리기는, 도면의 하부에 도시된 바와 같이, 전체 좌측 뷰 L 및 목적지 깊이 맵 LD3으로부터 뷰들(405)의 세트를 생성하기 위한 뷰 워핑 유닛(401)을 구비한다. 디스플레이 입력 인터페이스(406)는 RGB 및 깊이를 이송하기 위해 확장된 HDMI 표준(RGBD HDMI)에 따를 수 있고, 깊이 헬퍼 데이터 HD에 기초하여 전체 좌측 뷰 L 및 목적지 깊이 맵 LD3을 포함할 수 있다. 생성된 뷰들은 인터리브 유닛(402)을 통해 디스플레이(403)에 이송된다. 목적지 깊이 맵은 깊이 후처리기 Z-PP(404)에 의해 또한 처리될 수 있다.

도 5는 듀얼 뷰 스테레오 디스플레이 디바이스 및 보강된 뷰들 생성을 도시한다. 듀얼-뷰 스테레오 디스플레이(STD)(503)는 깊이 처리기(501)에 의해 생성된 2개의 보강된 뷰들(new_L, new_R)을 수신한다. 깊이 처리기는, 도면의 하부에 도시된 바와 같이, 오리지널 전체 좌측 뷰 L 및 전체 R 뷰 및 목적지 깊이 맵으로부터 보강된 뷰들을 생성하기 위한 뷰 워핑 기능을 구비한다. 디스플레이 입력 인터페이스(502)는 뷰 정보 IF를 이송하기 위해 확장된 HDMI 표준 (HDMI IF)에 따를 수 있다. 새로운 뷰들은 디스플레이 동안 베이스 라인 (BL)을 표시하는 파라미터 BL에 대해 워핑된다. 3D 비디오 자료의 베이스라인은 원래 L과 R 카메라 위치들(광학, 줌 팩터 등에 대해 보정된) 사이의 유효 거리이다. 자료를 디스플레이할 때 베이스라인은 크기, 해상도, 뷰잉 거리, 또는 뷰어 선호 설정들과 같은 디스플레이 구성에 의해 효과적으로 변환될 것이다. 디스플레이 동안 베이스라인을 변경하기 위해, L 및 R 뷰의 위치들은 오리지널 베이스라인보다 크거나(> 100%) 작을(< 100%) 수 있는 새로운 베이스라인 거리를 형성하는 new_L 및 new_R로 칭해지는 새로운 뷰들을 워핑함으로써 이동될 수 있다. 새로운 뷰들은 BL = 100%에서 오리지널 전체 L 및 R 뷰들에 관해 외부 또는 내부로 이동된다. 제 3 예(0% < BL < 50%)는 단일 뷰(전체 L)에 기초하여 워핑된 새로운 뷰들을 둘다 가진다. 새로운 뷰들을 전체 뷰들에 근접하게 워핑하는 것은 워핑 아티팩트들을 회피한다. 도시된 이들 3개의 예들에 의해, 워핑된 새로운 뷰와 오리지널 뷰 사이의 거리는 25%보다 낮지만, 0% < BL < 150%의 제어 범위를 가능하게 한다.

도 6은 3D 비디오 신호에서의 깊이 헬퍼 데이터의 존재를 도시한다. 도면에서 상향 화살표는 비디오 프로그램에서 새로운 샷의 시작 시간(t1, t2 등)을 표시한다. t3 및 t6에서 시작하는 샷들 동안, 하이로 가는 플래그 신호에 의해 표시된 바와 같이 깊이 헬퍼 데이터 LD4 및 RD4가 생성된다. 도면은 보정 기간 내에서 상기 차가 임계값을 초과할 때, 즉 국부적으로 생성된 깊이 맵에서 깊이 에러들이 교란하여 가시적인 경우의 보정 시간 기간에 대해서만 깊이 헬퍼 데이터를 3D 비디오 신호에 포함하는 것을 도시한다.

본 발명이 소비자 타입 목적지 디바이스들을 이용하여 실시예들에 의해 주로 설명되었지만, 본 발명은 임의의 3D 비디오 시스템에도 또한 적합하다. 요약하면, 3D 데이터의 다양한 타입들의 3D 디스플레이들쪽으로의 전송을 위한 하이브리드 전송/오디오-변환 3D 포맷 및 방식이 제안된다. 깊이 정보("깊이들(depths)")는 시간으로(시간에서 부분 깊이들) 및/또는 공간적으로(프레임들 내에서 부분 깊이) 둘다에 부분적으로 전송된다. 부분 깊이들이 이용되어야 할 때 또는 깊이들이 국부적으로 자동 생성되어야 할 때를 표시하기 위한 명시적 또는 암시적 메커니즘이 존재한다. 하이브리드 원리는 소비자측에서 및/또는 방송사측에서 적용될 수 있고, 이것은 3D 디스플레이들에 대한 달성 가능한 품질, 깊이 정보의 전송을 위해 필요한 비트레이트들 또는 3D 컨텐트를 생성하기 위한 비용들에 관해 큰 유연성을 제공한다.

본 발명은 프로그래밍 가능한 구성요소들을 이용하여 하드웨어 및/또는 소프트웨어로 구현될 수 있음을 유념한다. 본 발명을 구현하기 위한 방법은 도 1을 참조하여 기술된 바와 같은 시스템에 대해 규정된 기능들에 대응하는 단계들을 가진다.

상기 기술은 상이한 기능 유닛들 및 처리기들에 관해 본 발명의 실시예들을 명확하게 기술하였음을 알 것이다. 그러나, 상이한 기능 유닛들 또는 처리기들 사이에서 임의의 적당한 기능 분배가 본 발명을 벗어나지 않고 이용될 수 있음이 분명할 것이다. 예를 들면, 개별 유닛들, 처리기들 또는 제어기들에 의해 수행되도록 예시된 기능은 동일한 처리기 또는 제어기들에 의해 수행될 수 있다. 따라서, 특정 기능 유닛들에 대한 참조들은 엄격한 논리적 또는 물리적 구조 또는 구성을 표시하기보다 기술된 기능을 제공하기에 적합한 수단에 대한 참조들로서만 보여야 한다. 본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적합한 형태로 구현될 수 있다.

이 문서에서 단어 '포함(comprising)'은 나열된 요소들 또는 단계들 외의 다른 요소들 또는 단계들의 존재를 배제하지 않고 복수의 표시가 없는 요소(word 'a' or 'an' preceding an element)는 이러한 요소들의 복수의 존재를 배제하지 않고, 임의의 참조 부호들은 청구항들의 범위를 제한하지 않고, 본 발명은 하드웨어 및 소프트웨어 둘다에 의해 구현될 수 있고, 여러 '수단(means)' 또는 '유닛들(units)'은 하드웨어 또는 소프트웨어 중 하나의 기능을 이행할 수 있고, 하드웨어 요소들과 협력하는 것도 가능함을 유념한다. 또한, 본 발명은 실시예들에 제한되지 않고, 본 발명은 어느 것이나 새로운 특징 또는 상술된 또는 서로 상이한 종속 청구항들에 인용된 특징들의 조합에 있다.

40 : 3D 소스 디바이스 41 : 3D 비디오 신호
42 : 소스 깊이 처리기 43 : 입력 3D 비디오 데이터
50 : 3D 목적지 디바이스 54 : 기록 캐리어
56 : 3D 디스플레이 신호 60 : 3D 디스플레이 디바이스

Claims (17)

1. 3D 목적지 디바이스(50)에 이송하기 위한 3차원 [3D] 비디오 신호(41)를 제공하기 위한 3D 소스 디바이스(40)에 있어서,
   상기 3D 비디오 신호는:
   - 3D 디스플레이 상의 좌안 뷰를 표현하는 제 1 비디오 정보,
   - 상기 3D 디스플레이 상의 우안 뷰를 표현하는 제 2 비디오 정보를 포함하고,
   상기 3D 목적지 디바이스는:
   - 상기 3D 비디오 신호를 수신하기 위한 수신기(51, 58, 59),
   - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 1 생성된 깊이 맵을 생성하기 위한 스테레오-깊이 변환기(stereo-to-depth convertor; 53)를 포함하고,
   상기 3D 소스 디바이스는:
   - 상기 3D 비디오 신호를 생성하고, 상기 3D 비디오 신호를 상기 3D 목적지 디바이스에 이송하기 위한 출력 유닛(46)을 포함하고,
   상기 3D 소스 디바이스는,
   - 상기 비디오 정보에 관한 소스 깊이 맵을 제공하도록 구성되고,
   상기 3D 소스 디바이스는,
   - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 2 생성된 깊이 맵을 생성하기 위한 소스 스테레오-깊이 변환기(48), 및
   - 상기 소스 깊이 맵과 상기 제 2 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과할 때에만 깊이 헬퍼 데이터(depth helper data)를 제공하도록 구성된 소스 깊이 처리기(42)로서, 상기 깊이 헬퍼 데이터는 상기 소스 깊이 맵을 표현하고, 상기 출력 유닛은 상기 깊이 헬퍼 데이터를 상기 3D 비디오 신호에 포함하도록 구성되는, 상기 소스 깊이 처리기(42)를 포함하고,
   상기 3D 목적지 디바이스는,
   - 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용 가능하지 않을 때 상기 제 1 생성된 깊이 맵에 기초하여 그리고 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용 가능할 때 상기 깊이 헬퍼 데이터에 기초하여 목적지 깊이 맵을 생성하기 위한 깊이 처리기(52)를 포함하는, 3D 소스 디바이스.
2. 제 1 항에 있어서,
   상기 출력 유닛은 보정 기간 내에서 상기 차가 상기 임계값을 초과할 때의 보정 시간 기간에 대해서만 상기 깊이 헬퍼 데이터를 상기 3D 비디오 신호에 포함하도록 구성되는, 3D 소스 디바이스.
3. 제 1 항에 있어서,
   상기 출력 유닛은 보정 영역에서 상기 차가 상기 임계값을 초과할 때의 상기 3D 디스플레이보다 작은 상기 보정 영역에 대해서만 상기 깊이 헬퍼 데이터를 상기 3D 비디오 신호에 포함하도록 구성되는, 3D 소스 디바이스.
4. 제 3 항에 있어서,
   상기 깊이 처리기는 상기 보정 영역이 상기 3D 비디오 신호에서 적어도 하나의 매크로블록에 정렬되도록 상기 보정 영역에 대한 상기 깊이 헬퍼 데이터를 생성하도록 구성되고, 상기 매크로블록은 압축된 비디오 데이터의 미리 결정된 블록을 표현하고, 상기 매크로블록에 정렬된 보정 영역은 상기 소스 깊이 맵과 상기 제 2 생성된 깊이 맵 사이의 상기 차가 상기 미리 결정된 임계값을 초과하지 않을 때의 위치들에 대한 다른 깊이 데이터를 포함하는, 3D 소스 디바이스.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
   상기 출력 유닛은 시그널링 헬퍼 데이터를 상기 3D 비디오 신호에 포함하도록 구성되고, 상기 시그널링 헬퍼 데이터는 상기 깊이 헬퍼 데이터의 가용성을 표시하는, 3D 소스 디바이스.
6. 제 5 항에 있어서,
   상기 시그널링 헬퍼 데이터는:
   - 상기 깊이 헬퍼 데이터의 존재를 표시하는 플래그 신호;
   - 대응하는 위치에 대한 깊이 헬퍼 데이터의 부재를 표시하는 깊이 맵의 미리 규정된 무-깊이 값(no-depth value);
   - 데이터 구조에서 깊이 헬퍼 데이터량을 표시하는 헬퍼 길이 데이터;
   - 상기 깊이 헬퍼 데이터가 이용 가능한 뷰들의 수 및/또는 타입을 표시하는 뷰 표시자 데이터;
   - 상기 깊이 헬퍼 데이터에 이용되는 데이터 구조를 표시하는 헬퍼 타입 데이터;
   - 상기 깊이 헬퍼 데이터의 해상도를 표시하는 헬퍼 해상도 데이터;
   - 상기 깊이 헬퍼 데이터의 위치를 표시하는 헬퍼 위치 데이터 중 적어도 하나를 포함하는, 3D 소스 디바이스.
7. 제 5 항에 있어서,
   상기 출력 유닛은 상기 3D 디스플레이 상의 디스플레이 영역에 대응하는 깊이 맵을 상기 3D 비디오 신호에 포함하도록 구성되고, 상기 깊이 맵은 상기 보정 영역 및/또는 상기 보정 기간에 대한 상기 깊이 헬퍼 데이터, 및 상기 시그널링 헬퍼 데이터로서, 다른 영역들 및/또는 기간들에 대한 대응하는 위치에 대한 깊이 헬퍼 데이터의 부재를 표시하는 미리 규정된 무-깊이 값을 포함하는, 3D 소스 디바이스.
8. 3D 소스 디바이스로부터 3차원 [3D] 비디오 신호를 수신하기 위한 3D 목적지 디바이스(50)에 있어서,
   상기 3D 비디오 신호는:
   - 3D 디스플레이 상의 좌안 뷰를 표현하는 제 1 비디오 정보,
   - 상기 3D 디스플레이 상의 우안 뷰를 표현하는 제 2 비디오 정보를 포함하고,
   상기 3D 목적지 디바이스는:
   - 상기 3D 비디오 신호를 수신하기 위한 수신기,
   - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 1 생성된 깊이 맵을 생성하기 위한 스테레오-깊이 변환기를 포함하고,
   상기 3D 소스 디바이스는:
   - 상기 3D 비디오 신호를 생성하고, 상기 3D 비디오 신호를 상기 3D 목적지 디바이스에 이송하기 위한 출력 유닛(46)을 포함하고,
   상기 3D 소스 디바이스는,
   - 상기 비디오 정보에 관한 소스 깊이 맵을 제공하도록 구성되고,
   상기 3D 소스 디바이스는,
   - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 2 생성된 깊이 맵을 생성하기 위한 소스 스테레오-깊이 변환기, 및
   - 상기 소스 깊이 맵과 상기 제 2 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과할 때에만 깊이 헬퍼 데이터를 제공하도록 구성된 소스 깊이 처리기로서, 상기 깊이 헬퍼 데이터는 상기 소스 깊이 맵을 표현하고, 상기 출력 유닛은 상기 깊이 헬퍼 데이터를 상기 3D 비디오 신호에 포함하도록 구성되는, 상기 소스 깊이 처리기를 포함하고,
   상기 3D 목적지 디바이스는,
   - 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용가능하지 않을 때 상기 제 1 생성된 깊이 맵에 기초하여 및 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용 가능할 때 상기 깊이 헬퍼 데이터에 기초하여 목적지 깊이 맵을 생성하기 위한 깊이 처리기를 포함하는, 3D 목적지 디바이스.
9. 제 8 항에 있어서,
   상기 수신기는 상기 3D 비디오 신호를 수신하기 위한 기록 캐리어를 판독하기 위한 판독 유닛(58)을 포함하는, 3D 목적지 디바이스.
10. 제 8 항에 있어서,
    상기 디바이스는,
    - 상기 목적지 깊이 맵에 의존하여 상기 제 1 및 제 2 비디오 정보에 기초하여 상기 3D 비디오 데이터의 다중 뷰들을 생성하기 위한 뷰 처리기; 및
    - 상기 3D 비디오 데이터의 상기 다중 뷰들을 디스플레이하기 위한 3D 디스플레이(63)를 포함하는, 3D 목적지 디바이스.
11. 3D 목적지 디바이스에 이송하기 위한 3차원 [3D] 비디오 신호를 제공하는 방법에 있어서,
    상기 3D 비디오 신호는:
    - 3D 디스플레이 상의 좌안 뷰를 표현하는 제 1 비디오 정보,
    - 상기 3D 디스플레이 상의 우안 뷰를 표현하는 제 2 비디오 정보를 포함하고,
    상기 3D 목적지 디바이스는:
    - 상기 3D 비디오 신호를 수신하기 위한 수신기,
    - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 1 생성된 깊이 맵을 생성하기 위한 스테레오-깊이 변환기를 포함하고,
    상기 방법은,
    - 상기 3D 비디오 신호를 생성하고, 상기 3D 비디오 신호를 상기 3D 목적지 디바이스에 이송하는 단계를 포함하고,
    상기 방법은,
    - 상기 비디오 정보에 관한 소스 깊이 맵을 제공하는 단계,
    - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 2 생성된 깊이 맵을 생성하는 단계, 및
    - 상기 소스 깊이 맵과 상기 제 2 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과할 때에만 깊이 헬퍼 데이터를 제공하는 단계로서, 상기 깊이 헬퍼 데이터는 상기 소스 깊이 맵을 표현하는, 상기 깊이 헬퍼 데이터를 제공하는 단계, 및
    상기 깊이 헬퍼 데이터를 상기 3D 비디오 신호에 포함하는 단계를 포함하고,
    상기 3D 목적지 디바이스는,
    - 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용가능하지 않을 때 상기 제 1 생성된 깊이 맵에 기초하여 및 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용 가능할 때 상기 깊이 헬퍼 데이터에 기초하여 목적지 깊이 맵을 생성하기 위한 깊이 처리기를 포함하는, 3차원 [3D] 비디오 신호를 제공하는 방법.
12. 제 11 항에 있어서,
    상기 방법은 기록 캐리어를 제작하는 단계를 포함하고, 상기 기록 캐리어에는 상기 3D 비디오 신호를 표현하는 마크들의 트랙이 제공되는, 3차원 [3D] 비디오 신호를 제공하는 방법.
13. 삭제
14. 3D 비디오 데이터를 3D 소스 디바이스에서 3D 목적지 디바이스로 이송하기 위한 3차원 [3D] 비디오 신호를 포함하는 컴퓨터 판독 가능 기록 매체에 있어서:
    - 3D 디스플레이 상의 좌안 뷰를 표현하는 제 1 비디오 정보,
    - 상기 3D 디스플레이 상의 우안 뷰를 표현하는 제 2 비디오 정보를 포함하고,
    상기 3D 목적지 디바이스는:
    - 상기 3D 비디오 신호를 수신하기 위한 수신기,
    - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 1 생성된 깊이 맵을 생성하기 위한 스테레오-깊이 변환기를 포함하고,
    상기 3D 소스 디바이스는:
    - 상기 3D 비디오 신호를 생성하고, 상기 3D 비디오 신호를 상기 3D 목적지 디바이스에 이송하기 위한 출력 유닛을 포함하고,
    상기 3D 소스 디바이스는,
    - 상기 비디오 정보에 관한 소스 깊이 맵을 제공하도록 구성되고,
    상기 3D 소스 디바이스는,
    - 상기 제 1 및 제 2 비디오 정보에 기초하여 제 2 생성된 깊이 맵을 생성하기 위한 소스 스테레오-깊이 변환기, 및
    - 상기 소스 깊이 맵과 상기 제 2 생성된 깊이 맵 사이의 차가 미리 결정된 임계값을 초과할 때에만 깊이 헬퍼 데이터를 제공하도록 구성된 소스 깊이 처리기로서, 상기 깊이 헬퍼 데이터는 상기 소스 깊이 맵을 표현하는, 상기 소스 깊이 처리기를 포함하고,
    상기 3D 비디오 신호는 상기 깊이 헬퍼 데이터를 포함하고,
    상기 3D 목적지 디바이스는,
    - 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용 가능하지 않을 때 상기 제 1 생성된 깊이 맵에 기초하여 및 깊이 헬퍼 데이터가 상기 3D 비디오 신호에서 이용 가능할 때 상기 깊이 헬퍼 데이터에 기초하여 목적지 깊이 맵을 생성하기 위한 깊이 처리기를 포함하는, 컴퓨터 판독 가능 기록 매체.
15. 3D 목적지 디바이스에 이송하기 위한 3차원 [3D] 비디오 신호를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능 기록 매체에 있어서,
    상기 프로그램은 처리기로 하여금 제 11 항에 따른 방법의 각각의 단계들을 수행하게 하도록 동작하는, 컴퓨터 판독 가능 기록 매체.
16. 삭제
17. 삭제

Images