KR20110059777A

KR20110059777A - ３차원 이미지 데이터 처리

Info

Publication number: KR20110059777A
Application number: KR1020117009069A
Authority: KR
Inventors: 바르트 헤. 베. 바렌부르흐; 베르나르두스 아. 엠. 즈반스
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2008-09-25
Filing date: 2009-09-18
Publication date: 2011-06-03
Also published as: CN102165495A; EP2342693B1; EP2342693A1; JP5583127B2; ES2390253T3; JP2012503813A; KR101648206B1; PL2342693T3; CN102165495B; WO2010035193A1; US20110169823A1; TW201021543A; US8890868B2

Abstract

장치는 3차원 이미지 데이터를 생성한다. 구체적으로 제 1 이미지 층에 대한 이미지 데이터 및 제 2 이미지 층에 대한 이미지 데이터는 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시와 함께 생성된다. 2개의 이미지 층들은 예를 들면, 전경 및 배경 이미지들과 같은 종속적인 이미지들을 위해, 또는 크로스 페이드 동안 초기 및 마지막 이미지들과 같은 독립적 이미지들을 위해 이용된다. 이미지 층들 간의 종속성을 표시하는 종속성 표시자가 생성되고 3차원 데이터에 포함된다. 렌더링 디바이스는 3차원 데이터를 수신하고 이 데이터에 기초하여 3차원 표현을 위한 이미지들을 생성할 수 있다. 3차원 처리는 종속성 표시자에 의존하여 적응된다. 예를 들면, 층간 차폐-해제 처리는 종속성 표시자가 종속적 이미지 층들을 나타내는 경우에만 실행될 수 있다.

Description

３차원 이미지 데이터 처리{THREE DIMENSIONAL IMAGE DATA PROCESSING}

본 발명은 3차원 비디오 이미지 데이터를 포함하는 3차원 이미지 데이터에 관한 것이다.

3차원 디스플레이들은 주시되는 장면의 상이한 뷰들을 뷰어(viewer)의 눈들에 제공함으로써 3차원을 뷰잉 경험에 부가한다. 3차원(3D) 이미지들을 표현하는 인기있는 방식은 하나 이상의 2차원(2D) 이미지들에 제 3 치수의 정보를 제공하는 깊이 표현을 더하는 방식을 이용하는 것이다. 이러한 방식은 3D 뷰들이 상대적으로 낮은 복잡도로 생성되는 것을 허용하고 효율적인 데이터 표현을 제공하고, 이에 의해 3D 이미지(및 비디오) 신호들에 대해 예를 들면, 저장 및 통신 지원 요건들을 감소시킨다. 또한 이 방식은 2D 이미지들이 3D 이미지 데이터에 포함된 2D 이미지들과 상이한 뷰포인트들 및 뷰잉 각들(viewing angles)로 생성되는 것을 허용한다. 이는 특히 뷰어들의 두 눈들의 뷰잉 각에 대응하는 2개의 이미지들이 제공되도록 부가적인 이미지를 생성하기 위해 이용된다. 이는 3D 지각의 제공 즉, 3D 이미지를 제공하기 위해 이용될 수 있다.

단일의 2D 이미지 및 연관된 깊이 정보에 의해 3D 이미지를 표현하는 단점은 전경 오브젝트들(foreground objects)에 의해 차폐되는 배경 이미지 영역들에 관한 정보를 포함하지 않는다는 것이다. 이에 따라, 장면이 상이한 뷰포인트에 대해 렌더링(rendering)되는 경우, 전경 오브젝트들 뒤에서는 어떠한 정보도 드러나지 않을 수 있다. 따라서, 연관된 깊이 정보를 갖는 복수의 2차원 이미지들(예를 들면, 전경 이미지 및 배경 이미지)을 포함하는 다중-층 이미지 및 깊이 표현들을 이용하는 것이 제안되었다. 이러한 정보로부터 새로운 뷰들을 어떻게 렌더링하는지에 관한 설명은 http://research.microsoft.com/research/pubs/view.aspx?type=Technical%20Report&id=20에서 이용가능한 Steven J. Gortler 및 Li-wei He, Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09, a.o. 및 예를 들면, 미국 특허 출원 번호 US20070057944에서 발견될 수 있다.

하나의 층보다 많은 층을 이용하는 방식들에서, 층들이 반투명이 되게 허용하는 것이 제안되었다. 컴퓨터 그래픽스 분야에서, 이러한 방식은 예를 들면, 그래픽 하드웨어 1999에 관한 Proceedings of Eurographics/Siggraph workshop에서의, Norman P.Jouppi 및 Chun-Fa Chang의 "An Economical Hardware Technique for High-Quality Antialiasing and Transparency"에서 기술된다. 이러한 방식은 반-투명 재료들(예를 들면, 물, 연기, 화염들)이 가시화되는 것을 허용하고, 또한 상이한 깊이들로 오브젝트들의 에지들(edges)의 개선된 안티-에일리어싱(anti-aliasing)을 허용한다. 특히, 에지들의 보다 점진적인 천이를 허용한다. 따라서, 투명도는 단지 반-투명 오브젝트들을 표현하기 위해 이용하는 것이 아니라, 얼마나 많은 화소가 전경이어야 하는지 및 얼마나 많은 배경이 보여져야 하는지를 투명도 값이 표현하도록 에지를 반투명하게 함으로써 전경 오브젝트들의 에지들의 안티-에일리어싱 또한 허용할 수 있다. 이러한 방식의 예는 C. Lawrence Zitnick Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski에 의한 Proceedings of Siggraph 2004에서의, "High-quality video view interpolation using a layered representation"에서 발견될 수 있다.

그러나, 이런 방식들이 다수의 시나리오에서 개선된 3D 이미지 지각 및 이미지들을 제공할 수 있지만, 이들은 몇 개의 단점들을 갖기 쉽다. 특히, 이미지 품질 및 3D 지각은 일부 시나리오들에서 차선일 수 있고, 3D 처리는 시각적 아티팩트들(visual artefacts)과 같은 왜곡들 및 이미지 열화들을 야기할 수 있다.

그러므로 3D 이미지 데이터 처리를 위한 개선된 방식은 유리할 수 있고, 특히 증가한 유연성, 개선된 이미지 품질, 용이해진 구현 및/또는 개선된 성능을 허용하는 방식이 유리할 수 있다.

따라서, 본 발명은 위에서 언급한 하나 이상의 단점들 자체 또는 임의의 조합을 바람직하게 완화, 경감 또는 제거하고자 한다.

본 발명의 양태에 따라, 3차원 이미지들의 뷰들의 화상 요소들을 렌더링하는데 이용하기 위해 복수의 이미지 층들을 포함하는 3차원 이미지 데이터를 생성하는 방법이 제공되고, 방법은 제 1 이미지 층에 대한 제 1 이미지 데이터를 제공하는 단계(301); 제 2 이미지 층에 대한 제 2 이미지 데이터를 제공하는 단계(303); 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터를 제공하는 단계(305); 종속성 표시자를 생성하는 단계(307)로서, 상기 종속성 표시자는 제 1 이미지 층의 제 1 이미지가 제 2 이미지 층의 제 2 동시성 이미지에 대한 보충적 3차원 계층화된 이미지 데이터를 포함하는지의 여부를 나타내는, 상기 종속성 표시자 생성 단계(307); 및 제 1 이미지 데이터, 제 2 이미지 데이터, 깊이 표시 데이터 및 종속성 표시자를 포함하는 3차원 이미지 데이터를 생성하는 단계(309)를 포함한다.

본 발명은 다수의 시나리오들에서 개선된 성능을 제공할 수 있다. 특히, 개선된 3D 지각 및/또는 이미지 품질이 달성될 수 있다. 특히, 일부 조건들에서, 3D 이미지 처리와 연관된 다수의 이미지 아티팩트들 및 열화들이 감소 또는 제거될 수 있다. 이미지 요소들의 렌더링은 이미지의 (서브)화소들의 렌더링을 지칭할 수 있고, 이미지는 예를 들면, 3차원 장면의 전체 뷰(full view)이다.

종속성 표시자는 제 1 이미지 층 및 제 2 이미지 층의 동시성 이미지들이 서로에 대해 보충적인 3차원 계층화된 이미지 데이터를 포함하는지의 여부를 나타낼 수 있다. 여기서 의도된 동시성 이미지는 시간의 일 순간에 이미지 요소들을 렌더링하는데 이용하기 위해 의도된 데이터를 지칭하도록 의도된다.

예를 들면, 보충적 이미지 데이터는 상이한 깊이를 표현하는 하나 이상의 부가적인 이미지 평면들에 대한 데이터일 수 있다. 예를 들면, 전경 이미지는 배경 이미지에 대한 보충적 3D 이미지 데이터를 제공할 수 있고, 그 반대도 가능하다.

특히, 발명자들은 계층화된 3D 이미지 포맷들이 이미지 층들의 이미지들의 상이한 카테고리들에 대해 이용될 수 있고, 열화들이 이들의 3D 처리로부터 발생할 수 있다는 것을 알게 되었다. 발명자들은 개선된 성능이 이미지 층들에 제공되는 이미지 데이터의 성질(nature)에 의존하여 3D 처리를 적응시킴으로써, 구체적으로 이미지 층들간의 관계에 응답하여 3D 처리를 적응시킴으로써 달성될 수 있다는 것 또한 알게 되었다. 구체적으로, 발명자들은 이미지 층들이 독립적으로 간주되었지만 사실상 종속적일 때, 또는 그 반대일 때 이미지 열화들이 발생할 수 있다는 것을 알게 되었다. 발명자들은 예를 들면, 3D 이미지들의 렌더링이 종속성 표시자를 3차원 데이터에 포함시킴으로써, 발생기/인코더/송신기에 의해 제어될 수 있다는 것 또한 알게 되었다.

예를 들면, 비디오 시퀀스와 같은 이미지들의 시퀀스에 대해, 제 1 및 제 2 이미지 층은 동일한 장면에 대한 전경 및 배경을 포함할 수 있다. 따라서, 층들의 이미지 데이터는 입체적 이미지들을 생성하도록 조합될 수 있다(예를 들면, 전경 이미지 오브젝트들에 대한 차폐-해제(de-occlusion)는 배경 이미지들로부터의 이미지 정보를 이용할 수 있음). 이미지 층들은 이에 따라 종속적 및 상호 관련되고, 렌더링 유닛은 3D 이미지 뷰들의 생성시에 이미지 양쪽 모두를 함께 고려할 수 있다. 그러나, 한 장면으로부터 다른 장면으로의 크로스 페이드(cross fade) 동안, 제 1 이미지 층은 원 장면의 혼합된 전경 및 배경 이미지들을 포함할 수 있고, 제 2 이미지 층은 후속 장면의 혼합된 전경 및 배경 이미지들을 포함할 수 있다. 그러면, 점진적으로 변하는 투명도 값들은 제 1 이미지 층으로부터 제 2 이미지 층으로의 크로스 페이드를 실행하도록 이용될 수 있다. 그러면, 크로스 페이드에 이어서, 이미지 층들은 별개의 전경 및 배경 이미지들을 포함하도록 복귀될 수 있다. 그러나, 발명자들이 알게 된 것처럼, 이러한 시퀀스는 3D 처리가 서로의 전경 및 배경 이미지들이 아닌 이미지들에 기초하여 차폐-해제를 실행하도록 시도할 것이므로, 크로스 페이드 동안 이미지 열화들 및 아티팩트들을 또한 발생시킬 것이다. 발명자들이 또한 알게 된 것처럼, 이는 이미지 층들이 크로스 페이드 동안이 아니라 전후에 종속적임을 반영할 수 있는 종속성 표시자에 의해 완화될 수 있다. 따라서, 3D 처리는 이미지 층들이 종속적이지 않음을 종속성 표시자가 나타낼 때 층간 3D 처리를 실행하지 않도록 동적으로 적응될 수 있다.

종속성 표시자는 제 1 이미지 층 및 제 2 이미지 층의 동시성 이미지들의 3차원 층간 처리가 실용적인지의 여부를 나타낼 수 있다. 종속성 표시자는 제 1 및 제 2 이미지의 동시성 이미지들이 렌더링된 이미지에 대해 상이한 깊이 레벨들의 보충적 표현들을 제공하는지의 여부를 나타낼 수 있다. 종속성 표시자는 특히 제 1 이미지 층 및 제 2 이미지 층의 동시성 이미지들이 층들로부터 상호관련된 3차원 정보를 이용하는 3차원 처리에 의해 조합될 수 있는지의 여부를 나타내는 조합 표시자일 수 있다.

이미지 층들 각각은 하나 이상의 이미지들을 포함할 수 있다. 예를 들면, 각 이미지 층은 이미지들의 시퀀스를 포함할 수 있다. 제 1 및 제 2 이미지 층들은 서로 중첩하는 이미지들을 포함할 수 있다.

본 발명의 선택적인 특징에 따라, 종속성 표시자는 제 1 이미지 층이 제 2 이미지에 대한 차폐 층(occlusion layer)일 때 제 1 이미지 층 및 제 2 이미지 층이 종속적이라고 나타낸다.

이는 개선된 3D 이미지 처리를 허용할 수 있고, 특히 차폐-해제 처리에 의해 도입된 이미지 아티팩트들 및 이미지 품질 열화를 감소시킨다. 3D 렌더링 유닛은 특히 종속성 표시자에 의존하여 3D 차폐-해제 처리를 적응시킬 수 있고, 제 1 및 제 2 이미지 층들이 독립적이라고 종속성 표시자가 나타내는 경우 차폐-해제 처리를 위해 제 1 및 제 2 이미지 층들 양쪽 모두를 이용할 수 있고, 그렇지 않으면 층들 중 하나만을 이용할 수 있다.

본 발명의 선택적인 특징에 따라, 종속성 표시자는 제 1 이미지 층이 제 2 이미지에 대한 차폐 층이 아닐 때 제 1 이미지 층 및 제 2 이미지 층이 독립적이라고 나타낸다.

이는 단순화된 및/또는 개선된 종속성 표시를 허용할 수 있고, 특히 다수의 실시예들에서 단순화된 동작을 허용할 수 있다. 종속성 표시자는 제 1 이미지 층이 제 2 이미지 층에 대한 차폐 층인지의 여부를 반영하는 이진 값일 수 있다.

본 발명의 선택적인 특징에 따라, 깊이 표시 데이터는 제 1 이미지 층에 대한 제 1 깊이 표시 맵 및 제 2 이미지 층에 대한 제 2 깊이 표시 맵을 포함하고, 상기 종속성 표시자는 제 1 깊이 표시 맵의 깊이 표시 값들이 제 2 깊이 표시 맵의 깊이 표시 맵들과 일치하지 않을 때 제 1 이미지 층 및 제 2 이미지 층이 독립적이라는 것을 나타낸다.

이는 개선된 3D 이미지 처리를 허용할 수 있고, 특히 3D 처리에 의해 도입된 이미지 아티팩트들 및 이미지 품질 열화를 감소시킬 수 있다. 특히, 종속성 표시자는 3D 이미지 처리 시스템에서 깊이 정보에 대한 개선된 제어를 제공할 수 있고, 일치하지 않는 깊이 데이터를 처리하는 충격(impact)을 감소 또는 완화시킬 수 있다.

본 발명의 선택적인 특징에 따라, 제 1 깊이 표시 맵의 깊이 표시 값들이 적어도 하나의 이미지 영역에서 제 2 표시 맵의 깊이 표시 값들보다 더 깊은 깊이 레벨들을 표시하고, 제 2 깊이 표시 맵의 깊이 표시 값들이 적어도 하나의 다른 이미지 영역에서 제 1 표시 맵의 깊이 표시 값들보다 더 깊은 레벨들을 표시하는 경우 제 1 깊이 표시 맵의 깊이 표시 값들은 제 2 깊이 표시 맵의 깊이 표시 값들과 일치하지 않는다.

이는 개선된 3D 이미지 처리를 허용할 수 있고, 특히 3D 처리에 의해 도입된 이미지 아티팩트들 및 이미지 품질 열화를 감소시킬 수 있다. 이미지 요소 또는 화소에 대한 더 깊은 레벨은 특히 3차원 이미지의 뷰에 대응하는 시점에 대해 더 멀리 있는 이미지 요소를 표현하는 깊이 표시 값일 수 있다.

본 발명의 선택적인 특징에 따라, 종속성 표시자는 제 1 이미지 층 및 제 2 이미지 층이 크로스 페이드 이미지들을 포함할 때 제 1 이미지 층 및 제 2 이미지 층이 독립적이라고 나타내고, 제 1 이미지 층 및 제 2 이미지 층이 크로스 페이드 이미지들을 포함하지 않을 때 제 1 이미지 층 및 제 2 이미지 층이 종속적이라고 나타낸다.

본 발명은 특히 개선된 크로스 페이드 동작을 허용할 수 있다. 특히, 본 발명은 크로스 페이드가 실행되지 않을 때 높은 품질의 3D 처리를 여전히 허용하면서 크로스 페이드를 실행할 때 이미지 열화 및 아티팩트들을 감소시킬 수 있다.

크로스 페이드는 한 이미지 또는 이미지 시퀀스로부터 다른 이미지 또는 이미지 시퀀스로의 임의의 천이를 포함할 수 있다. 예를 들면, 두 개의 이미지들(또는 이미지 시퀀스들) 간의 점진적인 투명도 천이가 이용될 수 있다. 다른 예로서, 크로스 페이드는 와이프(wipe) 또는 다른 천이 패턴일 수 있다.

본 발명의 선택적인 특징에 따라, 종속성 표시자는 제 1 이미지 층 및 제 2 이미지 층이 종속적이라는 것을 나타내는 제 1 값, 및 제 1 이미지 층 및 제 2 이미지 층이 독립적이라는 것을 나타내는 제 2 값을 갖는 이진 데이터 값이다.

이는 3D 처리에 의해 야기된 이미지 열화 또는 아티팩트들을 감소시키기 위해 효율적인 3D 처리 제어를 허용하면서 효율적인 표현 및 데이터 오버헤드의 감소를 허용할 수 있다.

본 발명의 선택적인 특징에 따라, 종속성 표시자는 제 1 이미지 층이 제 2 이미지 층의 이미지의 전경 이미지를 포함하는 경우 제 1 값으로 설정되고, 제 1 이미지 층이 제 2 이미지 층의 이미지에 대한 전경 이미지를 포함하지 않을 때 제 2 값으로 설정된다.

이는 개선된 3D 이미지 처리를 허용할 수 있고 특히 이용가능하지 않을 때 이미지 아티팩트들 및 이미지 품질 열화를 감소시키면서 전경 및 배경 이미지들에 기초하여 높은 품질의 3D 처리를 허용할 수 있다. 제 2 이미지 층의 전경 이미지는 특히 제 2 이미지 층의 이미지의 하나 이상의 이미지 영역들 뿐만 아니라, 제 2 이미지 층의 이미지의 전경 이미지 오브젝트들 양쪽 모두를 포함하는 혼합된 이미지일 수 있다.

본 발명의 선택적인 특징에 따라, 제 1 이미지 층은 제 1 이미지 층 그룹에 속하고, 제 2 이미지 층은 제 2 이미지 층 그룹에 속하고, 제 1 이미지 층 그룹 및 제 2 이미지 층 그룹 중 적어도 하나는 복수의 이미지 층들을 포함하고; 종속성 표시자는 제 1 이미지 층 그룹의 이미지 층들 및 제 2 이미지 층 그룹의 이미지 층들 사이의 종속성을 나타낸다.

이는 효율적인 동작, 개선된 이미지 품질 및/또는 개선된 유연성을 허용할 수 있다. 다수의 실시예들에서, 방식은 낮은 시그널링 오버헤드를 유지하면서 3D 처리의 효율적인 제어를 허용할 수 있다.

본 발명의 선택적인 특징에 따라, 이미지 층 그룹의 이미지 층들은 종속적 이미지 층들이다.

이는 효율적인 동작, 개선된 이미지 품질 및/또는 개선된 유연성을 허용할 수 있다. 특히, 가변성인 그룹들 사이에서 및 종속성 표시자에 의해 표시되는 종속성을 갖는 종속 이미지 층들의 그룹들로 이미지 층들을 분할하는 것은 3D 이미지 데이터의 효율적인 표현을 허용할 수 있고, 예를 들면, 데이터 레이트를 감소시킬 수 있다.

본 발명의 선택적인 특징에 따라, 이미지 층 그룹의 이미지 층들에 대한 이미지 데이터는 인접하고, 종속성 표시자는 다음의 독립적 이미지 층 그룹의 3차원 이미지 데이터의 위치를 나타낸다.

이는 특히 종속성 정보에 대한 효율적인 표현을 허용할 수 있고, 종속성 표시자에 대해 요구되는 오버헤드의 양을 감소시킬 수 있다.

본 발명의 선택적인 특징에 따라, 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 투명도 데이터를 제공하는 단계 및 3차원 이미지 데이터에 투명도 데이터를 포함시키는 단계를 추가로 포함한다.

투명도 정보 및 종속성 정보의 조합은 특히 효율적인 3D 방식을 허용할 수 있다. 특히, 조합은 개선된 성능 및/또는 이미지 품질로 다수의 효율적인 처리 알고리즘들이 실행되는 것을 허용할 수 있다. 예를 들면, 개선된 크로스 페이드 동작들은 용이해진 제어 및 낮은 리소스 이용을 유지하면서 달성될 수 있다.

본 발명의 또 다른 양태에 따라, 이미지 요소들을 렌더링하는 방법이 제공되고, 방법은 제 1 이미지 층에 대한 제 1 이미지 데이터, 제 2 이미지 층에 대한 제 2 이미지 데이터, 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터, 제 1 이미지 층 및 제 2 이미지 층간의 종속성을 나타내는 종속성 표시자를 포함하는 3차원 이미지 데이터를 수신하는 단계(501); 및 종속성 표시자에 응답하여 제 1 이미지 데이터, 제 2 이미지 데이터, 및 깊이 표시 데이터를 처리함으로써 3차원 이미지를 가시화하는데 이용하기 위해 3차원 이미지 데이터의 다수의 뷰들의 이미지 요소들을 렌더링 단계(503)를 포함한다.

이 방법은 3D 표현들을 위한 이미지 요소들의 개선된 렌더링을 허용할 수 있다. 특히, 3D 처리로부터 기인하는 감소된 이미지 열화 및 아티팩트들이 달성될 수 있다. 특히, 3D 이미지 데이터의 특정한 특성들에 자동으로 적응되는 이미지 처리를 방지할 수 있다. 3D 이미지 데이터를 생성하는 방법을 참조하여 이전에 기술된 특징들, 코멘트들 및 이점들은 적절히 렌더링 방법에 균등하게 적용할 수 있을 것이란 점이 이해될 것이다.

본 발명의 선택적인 특징에 따라, 렌더링 단계(503)는 제 1 이미지 층 및 제 2 이미지 층이 종속적이라고 종속성 표시자가 나타낼 때만, 제 1 이미지 층 및 제 2 이미지 층의 동시성 이미지들의 층간 3차원 이미지 처리를 실행하는 단계를 포함한다.

이는 다수의 애플리케이션들에서 개선된 이미지 품질을 허용할 수 있고, 특히 유리할 것 같은 조건들에 층간 처리의 적용을 제한하는 효율적이고 높은 성능 수단을 제공할 수 있다.

본 발명의 선택적인 특징에 따라, 렌더링 단계(503)는 제 1 이미지 층 및 제 2 이미지 층이 종속적이라고 종속성 표시자가 나타낼 때만 제 2 이미지 층의 제 2 이미지으로부터의 정보를 이용하여 제 1 이미지 층의 제 1 이미지에 대한 차폐-해제를 실행하는 단계를 포함한다.

이는 다수의 애플리케이션들에서 개선된 이미지 품질을 허용할 수 있고, 특히 특정한(현재의) 특성들 및 이미지 층들의 이용에 대해 차폐-해제 및 3D 렌더링 알고리즘들을 적응하는 효율적이고 높은 성능 수단을 제공할 수 있다.

본 발명의 선택적인 특징에 따라, 렌더링 단계(503)는 제 1 이미지 층의 제 1 이미지 및 제 2 이미지 층의 제 2 이미지를 조합하는 단계를 포함하고, 조합은 제 1 이미지 층 및 상기 제 2 이미지 층이 종속적이라고 종속성 표시자가 나타낼 때 3차원 이미지 정보에 응답하고, 제 1 이미지 층 및 제 2 이미지 층이 독립적이라고 종속성 표시자 나타낼 때 3차원 이미지 정보에 응답하지 않는다.

조합은 특히 이미지 층들이 독립적일 때 투명도 정보에는 응답할 수 있다. 개별적인 제 1 및 제 2 이미지는 양쪽 모두 3D 정보를 고려하여 생성되지만, 이들의 조합은 선택적인 특징에 따라 결과적인 이미지들을 조합할 때 3D 정보를 고려하지 않는다. 조합은 특히 이미지 층들이 독립적일 때 화소 값들의 선형 조합에 의할 수 있다. 제 1 및 제 2 이미지들의 가중치는 이 경우 화소의 투명도 값에 의존할 수 있다.

본 발명의 또 다른 양태에 따라, 3차원 이미지의 뷰들의 화상 요소들을 렌더링하는데 이용하기 위해 복수의 이미지 층들을 포함하는 3차원 이미지 데이터를 생성하기 위한 장치가 제공되는데, 장치는 제 1 이미지 층에 대한 제 1 이미지 데이터를 제공하기 위한 수단(203); 제 2 이미지 층에 대한 제 2 이미지 데이터를 제공하기 위한 수단(205); 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터를 제공하기 위한 수단(209, 211); 제 1 이미지 층 및 제 2 이미지 층 간의 종속성을 나타내는 종속성 표시자를 생성하기 위한 수단(213); 및 제 1 이미지 데이터, 제 2 이미지 데이터, 깊이 표시 데이터 및 종속성 표시자를 포함하는 3차원 이미지 데이터를 생성하기 위한 수단(215)을 포함한다.

본 발명의 또 다른 양태에 따라, 이미지 요소들을 렌더링하기 위한 장치가 제공되는데, 장치는 제 1 이미지 층에 대한 제 1 이미지 데이터, 제 2 이미지 층에 대한 제 2 이미지 데이터, 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터, 제 1 이미지 층 및 제 2 이미지 층간의 종속성을 나타내는 종속성 표시자를 포함하는 3차원 이미지 데이터를 수신하기 위한 수단(401); 및 종속성 표시자에 응답하여 제 1 이미지 데이터, 제 2 이미지 데이터, 및 깊이 표시 데이터를 처리함으로써 3차원 이미지를 가시화하는데 이용하기 위해 3차원 이미지 데이터의 다수의 뷰들의 이미지 요소들을 렌더링하기 위한 수단(403)을 포함한다.

본 발명의 또 다른 양태에 따라, 제 1 이미지 층에 대한 제 1 이미지; 제 2 이미지 층에 대한 제 2 이미지; 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터; 및 제 1 이미지 층 및 제 2 이미지 층간의 종속성을 나타내는 종속성 표시자를 포함하는 이미지 신호가 제공된다.

본 발명의 또 다른 양태에 따라, 3차원 이미지의 뷰들의 화상 요소들을 렌더링하는데 이용하기 위해 복수의 이미지 층들을 포함하는 3차원 이미지 데이터를 생성하는 방법이 제공되는데, 방법은 적어도 일부의 이미지들이 복수의 이미지들로부터의 기여(contribution)를 포함하는 합성 이미지를 표현하는 이미지 데이터를 포함하는 제 1 이미지 층을 제공하는 단계; 합성 이미지에 대한 합성 깊이 맵을 포함하는 제 1 깊이 층을 제공하는 단계; 합성 이미지에 기여하는 추가의 이미지에 대한 이미지 데이터를 포함하는 제 2 이미지 층을 제공하는 단계; 추가의 이미지에 대한 추가의 깊이 맵을 포함하는 제 2 깊이 층을 제공하는 단계; 합성 이미지에 대한 추가의 이미지의 기여를 표현하는 투명도 맵을 제공하는 단계; 제 2 이미지 층의 이미지가 제 1 이미지 층의 합성 이미지에 기여하는 적어도 하나의 이미지에 대한 전경 이미지 및 배경 이미지 중 적어도 하나를 포함하는지 또는 제 2 이미지 층의 이미지가 합성 이미지에 기여하는 임의의 이미지의 전경 이미지 및 배경 이미지 중 하나인지를 반영하는 종속성 표시자를 생성하는 단계; 및 제 1 이미지 층, 제 1 깊이 층, 제 2 이미지 층, 제 2 깊이 층, 투명도 맵 및 종속성 표시자를 포함하는 3차원 이미지 데이터를 생성하는 단계를 포함한다.

본 발명의 또 다른 양태에 따라, 이미지 요소들을 렌더링하는 방법이 제공되는데, 상기 방법은 3차원 이미지 데이터를 수신하는 단계로서, 상기 3차원 이미지 데이터는 적어도 일부의 이미지들에 대해 복수의 이미지들로부터의 기여를 포함하는 합성 이미지를 표현하는 이미지 데이터를 포함하는 제 1 이미지 층; 합성 이미지에 대한 합성 깊이 맵을 포함하는 제 1 깊이 층; 합성 이미지에 기여하는 추가의 이미지에 대한 이미지 데이터를 포함하는 제 2 이미지 층; 추가의 이미지에 대한 추가의 깊이 맵을 포함하는 제 2 깊이 층; 합성 이미지에 대한 추가의 이미지의 기여를 표현하는 투명도 맵; 제 2 이미지 층의 이미지가 제 1 이미지 층의 합성 이미지에 기여하는 적어도 하나의 이미지에 대한 전경 이미지 및 배경 이미지 중 적어도 하나를 포함하는지 또는 제 2 이미지 층의 이미지가 합성 이미지에 기여하는 임의의 이미지의 전경 이미지 및 배경 이미지 중 하나인지를 반영하는 종속성 표시자를 포함하는, 상기 3차원 이미지 데이터 수신 단계; 및 제 2 이미지 층의 이미지가 제 1 이미지 층의 이미지에 기여하는 이미지의 배경 이미지 및 전경 이미지 중 적어도 하나라고 종속성 표시자가 나타내는 경우에만, 제 1 이미지 층의 이미지에 대한 차폐-해제가 제 2 이미지 층의 동시성 이미지에 응답하는 3차원 이미지의 3차원 처리에 의해 3차원 이미지를 가시화하는데 이용하기 위해 3차원 이미지 데이터의 다수의 뷰들의 이미지 요소들을 렌더링 단계를 포함한다.

본 발명의 이들 및 다른 양태들, 특징들 및 이점들은 이하에 설명된 실시예(들)로부터 명백해질 것이고 상기 실시예들을 참조하여 기술될 것이다.

본 발명의 실시예들은 도면들을 참조하여 예의 방식으로 기술될 것이다.

도 1은 3차원 뷰잉을 위한 이미지들의 생성을 위한 데이터의 예들의 예시를 도시한 도면.
도 2는 본 발명의 일부 실시예들에 따라 3차원 이미지 데이터를 생성하기 위한 장치의 예를 도시한 도면.
도 3은 본 발명의 일부 실시예들에 따라 3차원 이미지 데이터를 생성하는 방법의 예를 도시한 도면.
도 4는 본 발명의 일부 실시예들에 따라 이미지 요소들을 렌더링하기 위한 장치의 예를 도시한 도면.
도 5는 본 발명의 일부 실시예들에 따라 이미지 요소들을 렌더링하는 방법의 예를 도시한 도면.
도 6은 본 발명의 일부 실시예들에 따른 크로스 페이드의 예를 도시한 도면.
도 7은 본 발명의 일부 실시예들에 따른 크로스 페이드의 예를 도시한 도면.
도 8은 상이한 뷰잉 각들에 대한 이미지들의 렌더링의 예를 도시한 도면.
도 9는 본 발명의 일부 실시예들에 따른 크로스 페이드의 예를 도시한 도면.

이하의 설명은 비디오 신호의 하나 이상의 프레임들에 적용될 수 있는 3D 이미지 정보의 표현에 응용가능한 본 발명의 실시예들에 초점을 맞춘다. 그러나, 본 발명은 이 애플리케이션으로 제한되지 않고 예를 들면, 정지 이미지들, 애니메이션들 등을 포함하는 다수의 다른 이미지 형태들에 적용될 수 있다는 것이 이해될 것이다.

3D 이미지 데이터를 표현하는 인기있는 전경 이미지들에 대한 이미지 데이터에 대해 제 1 이미지 층 및 배경 이미지들에 대한 이미지 데이터에 대해 제 2 이미지 층을 이용하는 것이다. 일부 시나리오들에서, 2층보다 많은 층이 이용될 수 있는데, 예를 들면, 배경 이미지 및 전경 이미지 사이에 있는 제 3 층이 이미지들에 대해 이용될 수 있다. 또한, 깊이 표시 데이터는 배경 이미지, 전경 이미지 또는 통상적으로 전경 및 배경 이미지 양쪽 모두에 대한 깊이 표시 맵의 형태로 종종 포함된다. 또한, 이미지들의 이미지 오브젝트들에 대한 투명도의 정도를 표현하는 투명도 데이터를 포함하는 것이 제안되었다. 통상적으로, 전경이 얼마나 투명해야 하는지 즉, 배경이 전경을 통해 가시화되어야 하는 정도를 기술하는 투명도 정보를 포함하는 전경 투명도 층이 포함된다.

도 1은 이러한 포맷을 따라 3D 이미지 데이터의 예를 예시한다. 구체적으로, 도 1은 각 화소에 대해 배경 이미지 화소의 깊이를 나타내는 값을 갖는 연관된 깊이 표시 맵(103)을 갖는 배경 이미지(101)을 예시한다. 예에서, 3D 이미지 데이터는 전경 이미지(105) 및 연관된 깊이 표시 맵(107)을 추가로 포함한다. 특정 예에서, 전경 이미지(105)은 실제로 전경 이미지 오브젝트들을 포함하는 혼합된 이미지가다. 그러나, 전경 이미지 오브젝트들이 존재하지 않는 이미지 영역에 대해, 배경 화소 값들은 전경 이미지에 복제된다. 유사하게, 이러한 화소들에 대해, 배경 깊이 표시값은 전경 깊이 표시 맵(109)에 복제된다. 혼합된 이미지의 이용은 종래의 2D 이미지과 같이 혼합된 이미지가 직접 제공되는 것을 허용하기 때문에 개선된 역방향 호환성을 제공할 수 있다. 그러나, 이하의 방식은 전경 이미지 오브젝트들만을 포함하는 전경 이미지들, 즉 종래의 전경 이미지들에 동등하게 적용할 수 있다.

3D 이미지 데이터는 각 화소에 대해 배경의 투명도는 지시하는 투명도 맵(109)을 추가로 포함한다. 구체적으로, 실선 전경 이미지 오브젝트의 부분인 화소 값들에 대해, 투명도 값은 완전한 불투명(즉, 전경만이 가시화됨)을 나타낼 수 있다. 임의의 전경 이미지 오브젝트에 완전히 외부에 있는 화소 값들에 대해, 투명도 값은 완전한 투명도(즉, 배경이 이 위치에서 명확하고 완전히 가시화됨)를 나타낼 수 있다. 또한, 예의 고스트 이미지 오브젝트(ghost image object)와 같은 반-투명 전경 이미지 오브젝트들에 대해, 투명도 값은 전경 및 배경이 부분적으로 가시화되는 것을 나타내는 중간값을 가질 수 있다. 중간 투명도 값은 전경 및 배경 간의 자연스러운 천이를 제공하기 위해 전경 이미지 오브젝트들의 에지들 주변에 또한 적용될 수 있다. 이는 안티-에일리어싱 성능을 개선할 수 있다.

3D 이미지 데이터는 3-차원 이미지 처리를 실행하기 위해 이용될 수 있다. 특히, 이미지 데이터는 상이한 뷰잉 각들에 대응하는 2개의 뷰들을 생성하기 위해 이용될 수 있다. 그러면, 2개의 뷰들은 사람의 눈들에 제공되어 3D 지각 뷰잉 경험을 발생시킨다.

예를 들면, 좌안에 대한 이미지는 투명도 값을 이용하여 배경 및 전경 이미지들을 직접 조합함으로써 생성될 수 있다(또는 본 경우에 혼합된 이미지가 바로 이용될 수 있음). 그러면, 우안에 대한 제 2 이미지는 깊이 맵들 및 투명도 맵들에 포함된 3-차원 정보에 기초하여 생성될 수 있다. 이러한 처리의 예들은 예를 들면, Steven J, Gortler and Li-wei He, Rendering Layered Depth Images, Microsoft Technical Report MSTR-TR-97-09, 및 예를 들면, 미국 특허 출원 번호 US 20070057944에서 제공된다.

제 2 이미지를 생성하기 위한 처리는 결정된 시차에 대응하여 이미지 오브젝트를 재배치하는 것을 포함할 수 있다. 또한, 처리는 일부의 전경 이미지 오브젝트들에 대한 차폐-해제(de-occlusion)를 실행하는 것을 포함한다. 특히, 하나의 전경 이미지 개체들에 의한 오버레이로 인해 원 뷰에서 가시화되지 않는 일부의 배경 화소들은 상이한 뷰잉 각에서 가시화될 수 있다. 이러한 경우에, 우안 이미지에 대한 화소 값들은 적절한 배경 이미지 화소(이전에 차폐됨)에 대한 화소 값들에 대응하도록 설정될 수 있다. 이 방식은 새롭게 생성된 이미지에 대한 높은 이미지 품질을 발생시킬 수 있다.

그러나, 일부 상황들에서, 이용가능한 이미지 층들은 다른 가시화 효과들을 제공하는데 또한 이용될 수 있다. 구체적으로, 하나의 이미지으로부터 다른 이미지으로의 크로스 페이드(또는 하나의 이미지들의 시퀀스로부터 다른 이미지들의 시퀀스로의 비디오 시퀀스에 대한)는 제 1 이미지 층에 원 이미지를, 제 2 이미지 층에 새로운 이미지를 넣음으로써 달성될 수 있다. 그러면, 이 투명도 데이터는 제 1 이미지 층으로부터 제 2 이미지 층으로의 천이에 이용될 수 있다. 이는 저 복잡도로 달성될 수 있는 매우 효율적인 크로스 페이드를 제공할 수 있다.

발명자들은 3D 이미지 데이터 및 투명도 값들에 대해 상이한 이용 경우들이 존재한다는 것을 알게 되었다. 예를 들면, 투명도 값들은 장면에서 반-투명 오브젝트들/에지들을 생성하기 위해 이용될 수 있거나 이들은 예를 들면, 2개의 3D 이미지들 간의 크로스 페이드를 실행할 때와 같이 완전히 독립적인 이미지들 사이에서 오버레이 효과들을 생성하기 위해 이용될 수 있다.

또한 발명자들은 이미지들의 렌더링에 대한 상당한 결과를 가질 수 있다는 것을 알게 되었다. 구체적으로 층들이 관련/독립적이고, 링크된 3D 시그니피컨스(significance)를 가질 때(전경/배경 예에서와 같이), 층간 3D 처리는 렌더링된 이미지 품질을 개선하기 위해 적용될 수 있다. 이러한 층간 처리의 예들은 제 2 층으로부터 정보를 갖는 제 1 층에 차폐-해제된 영역들의 채움(filling); 차폐-해제 바로 이전에 전경에 배경 층 화소들을 복제 등을 포함한다. 그러나, 발명자들은 이러한 층간 처리는 2개의 층들이 3D 관계를 갖지 않을 때 통상적으로 불리하게 될 것이라는 것을 알게 되었다.

또한, 발명자들은 부가적인 정보가 3D 이미지 데이터에 포함되어, 발생/송신 엔드가 렌더기 유닛에 의해 실행된 렌더링 처리들을 제어하는 것을 허용할 수 있다는 것을 알게 되었다. 구체적으로, 발명자들은 개선된 동작 및 성능이 두 이미지 층들간의 (현재) 종속성에 영향을 주는 종속성 표시자를 포함함으로써 달성될 수 있다는 것을 알게 되었다. 종속성 표시자는 하나의 이미지 층의 이미지가 다른 이미지 층의 동시성 이미지에 대해 보충적인 3D 계층화된 이미지 데이터를 포함하는 지를 표시한다. 2개의 이미지들에 대한 보충적인 3D 데이터는 해당 이미지 평면에서 가시화 가능한 이미지 오브젝트들에 대한 데이터를 반영하는 데이터에 대응할 수 있다.

이 종속성 표시자는 예를 들면, 3D 이미지 데이터의 렌더링시에 층간 3D 처리가 적용될 수 있거나 적용되지 말아야 한다는 것을 나타낼 수 있다. 따라서, 구체적으로는 종속성 표시자가 다중-층 표현의 층들이 서로 관련되었는지를 시그널링하기 위해 이용될 수 있어서, 적절한 처리가 온 또는 오프로 전환될 수 있게 한다. 2층 표현에 대한 특정 예에서, 종속성 표시자는 2층들이 독립적인지 관련되는지를 시그널링(signaling)하는 하나의 비트일 수 있다.

종속성 표시자는 예를 들면, 콘텐트 생성 툴들에 의해 생성될 수 있고, 예를 들면, 적절한 파일 포맷에서 메타-데이터로서 인코딩될 수 있다. 예를 들면, 3D 이미지 데이터를 포함하는 데이터 패킷들에 대한 메시지 헤더에 부가적인 프래그(flag)로서 삽입될 수 있다.

도 2는 복수의 이미지 층들을 포함하는 3차원 이미지 데이터를 생성하기 위한 장치의 예를 예시한다. 이 장치는 특히 도 2의 예에 대응하는 데이터를 포함하는 3차원 이미지 신호를 인코딩하는 신호 인코더이다.

신호 인코더는 스테레오-메트릭 뷰들(예를 들면, 2개의 개별적인 비디오 카메라들로부터 발생)에 대응하는 비디오 신호들을 수신하는 콘텐트 처리기(201)를 포함한다. 이에 응답하여, 콘텐트 처리기(201)는 전경 이미지들의 시퀀스 및 배경 이미지들의 시퀀스를 생성한다.

전경 이미지들은 제 1 이미지 층에 대한 제 1 이미지 데이터를 생성하도록 진행하는 제 1 이미지 층 처리기(203)에 제공된다. 예에서, 제 1 이미지 층 처리기(203)는 일반적으로 전경 이미지들의 시퀀스를 제 1 이미지 층이 포함하도록 제 1 이미지 층에 대한 전경 이미지 데이터를 생성한다. 그러나, 일부 천이 시간 간격들 동안, 제 1 이미지 층은 다른 형태들의 이미지들을 위해 이용될 수 있다. 구체적으로, 하나의 이미지 시퀀스로부터 다른 것으로의 크로스 페이드 동안, 제 1 이미지 층에 대해 생성된 이미지 데이터는 조합된 전경 및 배경 이미지의 것이 될 수 있다. 따라서, 제 1 이미지 층은 때때로 전경 이미지를 포함할 수 있고, 조합된 전경 및 배경 이미지 즉, 단일 층 이미지 표현을 포함할 수 있다. 혼합된 이미지가 전경(도 1의 예에서와 같이)에 대해 이용되는 실시예들에서, 제 1 이미지 층은 항상 혼합된 이미지를 포함할 수 있다는 것이 이해될 것이다. 그러나, 다른 실시예들에서, 제 1 이미지 층 처리기(203)는 크로스 페이드 천이 동안 수신된 전경 및 배경 이미지(만을) 조합하도록 배치될 수 있다.

배경 이미지들은 제 2 이미지 층에 대한 제 2 이미지 데이터를 생성하도록 진행하는 제 2 이미지 층 처리기(205)에 공급된다. 예에서, 제 2 이미지 층 처리기(205)는 대부분 제 2 이미지 층에 대한 배경 이미지 데이터를 생성한다. 그러나, 일부의 천이 시간 간격들 동안, 제 2 이미지 층은 다른 형태들의 이미지들에 대해 이용될 수 있다. 구체적으로, 하나의 이미지 시퀀스로부터 다른 것으로의 크로스 페이드 동안, 제 2 이미지 층에 대해 생성된 이미지 데이터는 크로스 페이드가 페이딩되는 이미지 시퀀스에 대한 이미지일 수 있다. 따라서, 제 2 이미지 층은 때때로 제 1 이미지 층의 전경 이미지에 대한 배경 이미지를 포함할 수 있고, 때때로 제 1 이미지 층의 이미지에 독립적인 이미지를 포함할 수 있다.

따라서, 예에서, 제 1 이미지 층은 전경 이미지를 포함하고, 제 2 이미지 층은 대부분의 시간 동안 대응하는 배경 이미지들을 포함한다. 그러나, 크로스 페이드들 동안, 제 1 이미지 층은 크로스 페이드 이전에 이미지 시퀀스에 대해 전경 및 배경 이미지들이 조합되는 혼합된 이미지들에 대한 데이터를 포함할 것이다. 유사하게, 제 2 이미지 층은 크로스 페이드 이후에 이미지 시퀀스에 대해 전경 및 배경 이미지들이 조합되는 혼합된 이미지들에 대한 데이터를 포함할 것이다.

신호 인코더는 콘텐트 처리기(201)에 결합되고 제 1 이미지 층 및 제 2 이미지 층 중 적어도 하나에 대한 투명도 데이터를 생성하도록 배열되는 투명도 처리기(207)를 추가로 포함한다. 구체적으로, 예에서, 투명도 처리기(207)는 제 1 이미지 층의 이미지들에 대한 투명도 맵을 생성한다. 따라서, 크로스 페이드들 외부에서, 투명도 맵은 제 1 이미지 층의 전경 이미지들에 포함된 전경 오브젝트들의 투명도 레벨을 나타낼 수 있다. 그러나, 단순한 크로스 페이드들 동안, 투명도 맵은 전체 이미지들에 대해 균일한 투명도 값들을 포함할 수 있다. 또한, 크로스 페이드는 제 1 이미지값에 대해 완전한 불투명에 대응하는 값으로부터 완전히 투명하는 것에 대응하는 값으로 이미지들에 대한 투명도 레벨은 점진적으로 변경함으로써 달성될 수 있다. 따라서, 초기 이미지 시퀀스로부터 후속 이미지 시퀀스로의 자연스러운 천이 및 크로스 페이드가 달성된다.

따라서, 크로스 페이드 외부에서, 투명도 데이터는 예를 들면, 상이한 뷰잉 각들에 따라 이미지들을 생성하는 것과 같이 정확한 3D 이미징을 생성하기 위해 이용될 수 있다. 그러나, 크로스 페이드 동안, 투명도 맵은 오히려 원하는 크로스 페이드를 효율적으로 및 용이하게 달성하기 위해 이용되는 3D 처리에 적합하지 않다. 따라서, 투명도 맵은 상이한 종속성 시나리오들에 대해 상이하게 이용될 수 있다.

신호 인코더는 또한 콘텐트 처리기(201)에 결합되고 제 1 이미지 층의 이미지들에 대한 깊이 표시 맵을 생성하도록 배열되는 제 1 깊이 맵 처리기(209)를 포함한다.

깊이 표시 맵은 혼합된 이미지의 화소들에 대한 깊이 표시 값들을 포함한다. 깊이 표시 값들은 예를 들면, 화소들이 속하는 이미지 오브젝트에 대한 이미지 깊이를 직접 반영하는 숫자값에 대응할 수 있다. 그러나, 다른 실시예들에서, 다른 깊이 표시 값들이 이용될 수 있다는 것이 이해될 것이다. 예를 들면, 깊이 표시 값들은 화소에 대한 디스패리티(disparity) 또는 시차에 대응할 수 있다.

따라서, 예에서, 깊이 표시 맵은 제 1 이미지 층의 대응하는 이미지의 각 화소에 대 한 깊이 표시 값들을 포함한다. 따라서, 크로스 페이드 외부에서, 깊이 표시는 전경 이미지에 대한 깊이 표시일 수 있다. 크로스 페이드 동안, 깊이 표시 값들은 전경 및 배경 이미지들에 대 한 깊이 표시 값들의 혼합에 대응할 수 있는데, 그 이유는 이들이 혼합된 이미지들로 조합되기 때문이다. 예를 들면, 혼합된 이미지에 대해, 깊이 표시 값은 완전 투명에 대응하는 화소들을 제외하고 전경 이미지의 깊이 표시 값으로서 취해질 수 있다. 이 화소들에 대해, 깊이 표시 값은 배경 이미지으로부터 취해질 수 있다. 순(pure) 전경 이미지 보단 혼합된 이미지가 이용되는 실시예들에서, 깊이 표시 맵은 크로스 페이드 간격 외부의 혼합된 깊이 정보를 또한 표현할 수 있다.

구체적으로, 깊이 표시 맵은 예를 들면, 배경 이미지의 각 화소에 대한 깊이 레벨, 깊이 값, 시차 값 또는 디스패리티 값을 포함하는 맵으로서 생성될 수 있다. 깊이 표시 맵을 생성하는 다양한 방식들이 당업자에게 알려져 있을 것이란 점이 이해될 것이다. 예를 들면, 깊이 표시 맵은 반-자동화된 2D-3D 변환을 이용하여 스테레오 이미지들로부터, 또는 컴퓨터 그래픽들로부터 생성될 수 있다. 2D 비디오로부터 완전-자동화된 깊이 생성이 또한 가능하다.

신호 인코더는 콘텐트 처리기(201)에 결합되고 제 2 이미지 층의 이미지들에 대한 깊이 표시 맵을 생성하도록 배열된 제 2 깊이 맵 처리기(211)를 추가로 포함한다. 따라서, 크로스 페이드 외부에, 제 2 깊이 맵 처리기(211)는 배경 이미지들에 대한 깊이 정보를 생성하고, 크로스 페이드 동안, 제 2 깊이 맵 처리기(211)는 크로스 페이드에 이어지는 이미지 시퀀스를 위해 전경 및 배경 이미지들의 혼합된 이미지들에 대한 깊이 맵들을 생성한다.

또한, 신호 인코더는 콘텐트 처리기(201)에 결합되고 제 1 이미지 층 및 제 2 이미지 층의 이미지들 간의 종속성의 표시를 제공하도록 배열되는 종속성 처리기(213)를 포함한다. 예를 들면, 2개의 이미지 층들의 이미지들이 크로스 페이드 천이의 일부인지의 여부를 반영하는 단순한 이진 값이 생성될 수 있다. 따라서, 종속성 표시자는 제 1 이미지 층의 이미지가 제 2 층의 이미지에 대한 전경 이미지일 때 제 1 값으로 설정되고, 제 1 이미지 층의 이미지가 크로스 페이드 이전에 이미지 시퀀스의 혼합된 이미지이고, 제 2 이미지 층의 이미지가 크로스 페이드에 이어지는 이미지 시퀀스의 혼합된 이미지일 때 제 2 값으로 설정될 수 있다. 따라서, 종속성 표시자는 제 1 이미지 층 및 제 2 이미지 층의 이미지들이 종속되고 서로 관련되는지 또는 그렇지 않은지를 표시하는 단순한 이진 플래그일 수 있다.

제 1 이미지 층 처리기(203), 제 2 이미지 층 처리기(205), 투명도 처리기(207), 제 1 깊이 맵 처리기(209), 제 2 깊이 맵 처리기(211), 및 종속성 처리기(213)는 제 1 이미지 층에 대한 이미지 데이터, 제 2 이미지 층에 대한 이미지 데이터, 투명도 데이터, 제 1 이미지 층에 대한 깊이 표시 맵 데이터, 제 2 이미지 층에 대한 깊이 표시 맵 데이터, 및 종속성 표시자를 3D 이미지 데이터의 스트림으로 조합하는 데이터 조합기(215)에 결합된다.

도 3은 도 2의 신호 인코더에 의해 실행될 수 있는 3D 이미지 데이터를 생성하는 방법의 예를 예시한다.

방법은 이전에 기술한 바와 같이 제 1 이미지 층 처리기(203)가 제 1 이미지 층에 대한 이미지 데이터를 생성하는 단계(301)에서 개시한다.

이전에 기술한 바와 같이 제 2 이미지 층 처리기(205)가 제 2 이미지 층에 대한 이미지 데이터를 생성하는 단계(303)가 단계(301)에 이어진다.

제 1 이미지 층 및 제 2 이미지 층의 적어도 하나에 대한 깊이 표시 데이터가 제 1 및/또는 제 2 깊이 처리기들(209, 211)에 의해 생성되는 단계(305)가 단계(303)에 이어진다.

제 1 이미지 층 및 제 2 이미지 층 간의 종속성을 나타내는 종속성 표시자가 종속성 처리기(213)에 의해 생성되는 단계(307)가 단계(305)에 이어진다.

이미지 층 데이터, 깊이 표시 데이터 및 종속성 표시자가 3D 데이터에 조합되는 단계(309)가 단계(307)에 이어진다.

도 4는 이미지 요소들을 렌더링하기 위한 장치의 예를 예시한다. 장치는 특히 도 2의 신호 인코더에 의해 생성된 3D 이미지 데이터를 수신하고 뷰어의 눈들에 의해 개별적으로 뷰잉될 때 3D 지각을 위한 2대의 이미지들을 생성할 수 있는 렌더링 디바이스이다.

장치는 데이터를 수신하고 이를 상이한 데이터 카테고리들로 분할하는 수신기(401)를 포함한다. 따라서, 수신기(401)는 제 1 이미지 층에 대한 이미지 데이터, 제 2 이미지 층에 대한 이미지 데이터, 제 1 이미지 층에 대한 깊이 표시 데이터, 제 2 이미지 층에 대한 깊이 표시 데이터, 투명도 맵 및 종속성 표시자를 제공한다.

데이터는 데이터를 수신하고 이에 응답하여 3차원 이미지를 가시화하는데 이용하기 위해 3차원 이미지 데이터의 다수의 뷰들의 이미지 요소들에 대응하는 이미지 요소들을 렌더링하는 렌더링 유닛(403)에 공급된다. 렌더링 유닛(403)은 특히 뷰어의 좌안 및 우안에 각각 대응하는 2개의 이미지들을 생성한다. 이미지들은 적어도 제 1 이미지 층의 이미지 데이터, 제 2 이미지 층의 이미지 데이터 및 깊이 표시 데이터를 처리함으로써 생성된다. 투명도 데이터가 3D 데이터에 추가로 포함되는 예에서, 이미지들(제 1 이미지 층 및 제 2 이미지 층의 이미지들과 상이한 뷰잉 각에 대응)의 적어도 하나의 생성은 투명도 데이터에 또한 응답한다.

또한, 처리는 이미지 층들이 종속성인지의 여부를 반영하도록 적응된다. 따라서, 렌더링 유닛(403)은 종속성 표시자에 의존하여 3D 처리를 적응시키도록 배열된다. 예에서, 렌더링 유닛(403)은 이미지 층들이 종속성인지의 여부를 종속성 표시자가 나타내는 것에 의존하여 층간 처리가 온 또는 오프로 전환될 수 있다.

예에서, 렌더링 유닛은 오프셋 뷰잉 각 이미지(즉, 제 1 및 제 2 이미지 층들의 이미지들의 것과 상이한 뷰잉 각에 대응하는 이미지)을 생성하여 이용자에 대한 스테레오-메트릭 3D 지각을 제공한다.

크로스 페이드들을 포함하는 신호의 특정 예에서, 이 이미지는 크로스 페이드가 실행되지 않을 때 깊이 표시 맵들 및 전경 및 배경 이미지들일 이용하여 생성된다. 따라서, 제 1 및 제 2 이미지 층들이 종속적이라는 것을 종속성 표시자 나타내고, 이에 따라 제 1 이미지 층이 제 2 이미지 층의 이미지에 대한 전경 이미지를 포함할 때, 오프셋 뷰잉 각 이미지의 생성은 깊이 표시 맵들을 이용할 뿐만 아니라, 전경 및 배경 이미지들을 이용하여 층간 처리를 실행함으로써 실행된다.

구체적으로, 오프셋 뷰잉 각 이미지의 생성은 차폐-해제 처리를 포함한다. 따라서, 오프셋 뷰잉 각은 전경 이미지 오브젝트들에 의해 이전에 차폐된 화소들이 더 이상 차폐되지 않도록 일부의 전경 오브젝트들을 재배치할 수 있다. 그 후, 렌더링 유닛(401)은 차폐-해제된 영역들을 채우도록 배경 이미지의 적절한 값들을 이용할 수 있다. 따라서, 층간 차폐-해제 처리가 3D 이미지를 생성하기 위해 이용된다.

그러나, 크로스 페이드 동안, 제 2 이미지 층의 이미지는 제 1 이미지 층의 이미지에 대한 배경 이미지가 아니다. 이에 따라, 층간 차폐-해제는 차폐-해제된 이미지 영역들을 채우는데 완전히 무관한 화소 값들을 이용하게 될 것이다. 이는 상당한 이미지 열화 및 시각적 아티팩트들의 도입을 발생시킬 것이다.

그러나, 도 4의 렌더링 디바이스에서, 차폐-해제 처리는 종속성 표시자에 의존한다. 구체적으로, 렌더링 유닛(403)은 이미지 층들이 종속된다고 종속성 표시자가 나타낼 때, 2개의 층들의 대응하는(동시성) 이미지들에 대한 층간 차폐-해제를 실행하도록 배열된다. 그러나, 이미지 층들이 독립적이라고, 즉 특정 예에서 크로스 페이드가 실행된다고 종속성 표시자가 나타내는 경우, 렌더링 유닛(403)은 2개의 이미지 층들의 동시 이미지들에 대한 단일 층 차폐-해제를 실행하도록 진행한다.

예를 들면, 차폐-해제된 화소 영역들은 대응하는 화소들에 대한 저장된 배경 데이터를 이용하여 채워질 것이다. 구체적으로, 최근 저장된 배경 이미지(즉, 종속성 표시자가 종속의 표시자로부터 독립의 표시로 전화하기 바로 이전의 배경 이미지)으로부터 배경 화소 값들은 차폐-해제된 이미지 영역을 채우기 위해 이용될 수 있다. 이는 개선된 지각 이미지 품질을 제공할 것이고, 특히 차폐 해제 처리에 의해 도입된 아티팩트들의 지각되는 중요도를 감소시킬 것이다.

따라서, 예에서, 렌더링 유닛(403)에 의해 실행된 렌더링은 이미지 층들이 종속적임을 종속성 표시자가 나타낼 때 제 1 및 제 2 이미지 층들의 이미지들을 조합한다. 조합은 특히 제 1 및 제 2 이미지 층들 양쪽 모두, 즉 전경 및 배경 이미지들 양쪽 모두에 대한 깊이 표시 맵들에 기초하여 상이한 뷰잉 각 이미지에 대한 재배치 정보를 생성하는 것을 포함한다. 조합은 제 2 이미지 층의 배경 이미지으로부터의 화소 값들에 기초하여 제 1 이미지 층의 전경 이미지에 대한 차폐-해제를 실행하는 것을 추가로 포함한다. 따라서, 이미지들은 수신된 3D 데이터 스트림에 포함된 3D 데이터에 기초하여 조합된다.

그러나, 이미지 층들이 독립적이라고 종속성 표시자가 나타낼 때, 제 1 및 제 2 이미지 층의 이미지들이 여전히 조합될 수 있다. 예를 들면, 크로스 페이드 동안, 렌더링된 이미지는 제 1 이미지 층의 이미지 및 제 2 이미지 층의 이미지 양쪽 모두로부터의 기여을 포함할 수 있다. 그러나, 이 경우, 조합은 제 1 층의 이미지에 대한 투명도 값들에만 기초한다. 따라서, 제 1 및 제 2 이미지 층들의 개별적인 이미지는 예를 들면, 깊이 맵을 고려하여 및 단일 층 차폐-해제를 이용하여 렌더링될 수 있는 반면, 2개의 이미지들의 조합은 임의의 3D 정보를 고려하지 않는다.

도 5는 도 4의 렌더링 디바이스에 의해 실행될 수 있는 이미지 요소들을 렌더링하는 방법의 예를 예시한다.

방법은 수신기(401)가 제 1 이미지 층에 대한 이미지 데이터, 제 2 이미지 층에 대한 이미지 데이터, 제 1 이미지 층에 대한 깊이 표시 데이터, 제 2 이미지 층에 대한 깊이 표시 데이터, 투명도 맵 및 종속성 표시자를 포함하는 3D 이미지 데이터를 수신하는 단계(501)에서 시작한다.

그 후, 이 데이터는 단계(503)에서 수신기(401)로부터 수신된 데이터를 처리함으로써 3차원 이미지를 가시화하기 위해 이용하는 3D 이미지 데이터의 다수의 뷰들의 이미지 요소들에 대응하는 이미지 요소들을 렌더링하도록 진행하는 렌더링 유닛(403)에 공급된다.

도 6은 크로스 페이드 동안 도 2의 인코더 및 도 4의 렌더링 디바이스를 포함하는 시스템에 의해 실행된 처리의 특정 예를 예시한다. 도 4는 특히 제 1 및 제 2 이미지 층들간의 종속성을 반영하도록 0으로, 및 제 1 및 제 2 이미지 층들의 독립성을 반영하도록 1 설정된 종속성 표시자(Ind)의 값을 예시한다. 또한, 제 1 이미지 층(L1), 제 1 이미지 층에 대한 깊이 표시 맵(D-L1), 제 2 이미지 층(L2), 제 2 이미지 층에 대한 깊이 표시 맵(D-L2), 투명도 맵(TRP) 및 상이한 시간들 동안 렌더링된 이미지(IMG)의 콘텐트들을 예시한다. 다른 실시예들에서, 로우(IMG)는 인코더에서 생성되고 적합한 렌더링 유닛들에 송신된 혼합된 이미지에 대응할 수 있다는 것이 이해될 것이다.

따라서, 예에서, 제 1 층들, 즉 제 1 및 제 2 이미지 층(L1, L2), 제 1 및 제 2 깊이 층(D-L1, D-L2) 및 제 1 투명도 층(TRP)을 포함하는 시스템 스트림이 송신될 수 있다. 일부 상황들에서, 제 1 및 제 2 이미지 층들(L1, L2)은 2개의 이미지 층들(L1, L2)의 동시성 이미지들이 조합될 수 있도록 종속 및 보충적인 3D 이미지 데이터를 포함한다. 다른 시간들에서, 2개의 이미지 층들(L1, L2)은 서로에 대해 종속적인 보충적인 3D 이미지 데이터를 포함하지 않고, 따라서, 예를 들면, 차폐 해제를 실행할 때 조합될 수 없다. 이는 비트스트림에 추가로 포함되고 2개의 이미지 층들의 정보가 보충적, 상호 관련된 3차원 정보를 표현하는 이미지들에 대응하는지 또는 2개의 이미지 층들의 정보가 상관된 3차원 정보를 전혀 갖고 있지 않은지의 여부를 나타내는 종속성 표시자에 의해 표시된다. 종속성 표시자는 통상적으로 2개의 이미지 층들(L1, L2)이 종속적일 때 종속적이 되고 및 그렇지 않으면 독립적이 될 깊이 층들(D-L1, D-L2)에 균등하게 적용할 것이라는 것이 이해될 것이다.

크로스 페이드 이전에(t<t1)(도시되지 않음), 제 1 이미지 층은 전경 전상을 포함하고, 제 2 이미지 층은 배경 이미지를 포함한다. 유사하게, 깊이 표시 맵들은 전경 및 배경 이미지들을 반영하고, 투명도 맵은 배경에 대응한다. 종속성 표시자는 층들이 종속적이고 층간 3D 처리가 이용된다는 것을 반영하도록 0으로 설정된다. 따라서, 종래의 층간 3D 처리는 상이한 뷰에 대응하는 이미지를 생성하도록 이용될 수 있는데, 예를 들면, 층간 차폐-해제가 실행될 수 있다.

시간(t1)에서, 2개의 이미지 층들은 제 1 이미지 층(L1)에 포함된 단일의 조합된, 혼합된 전경 및 배경 이미지를 생성하도록 조합된다. 깊이 표시 맵은 혼합된 이미지의 깊이를 반영하고, 따라서 전경 및 배경 깊이 표시 맵들의 조합이다. 따라서, 시간(t1)에서, 3D 데이터는 단지 단일의 층 이미지 및 깊이를 포함하고, 따라서 종속성 표시자는 관련이 없다(이에 따라 0의 값을 유지한다).

시간(t2)에서, 크로스 페이드에 후속하는 이미지 시퀀스에 대한 이미지는 추가로 포함되는 대응하는 깊이 맵(D-L2)으로 제 2 이미지 층(L2)에 삽입된다. 이 이미지는 또한 조합된 전경 및 배경 이미지이고, 깊이 표시 맵은 조합된 전경 및 배경 깊이 표시 맵이다.

또한, 종속성 표시자는 제 1 및 제 2 이미지 층들의 2개의 이미지들이 독립적이라는 것을 반영하도록 1로 설정된다. 따라서, 차폐-해제 및 제 1 이미지 층에 대응하는 대안의 뷰잉 각 이미지를 위한 다른 3D 처리는 제 1 이미지 층 및 제 1 이미지 층에 대한 깊이 표시 맵만을 기초로 한다. 또한, 전체 이미지에 대해 균일한 투명도 값은 완전 불투명으로 설정되어 제 1 이미지 층의 원 이미지에 대응하는 렌더링 이미지를 발생시킨다.

그 후, 투명도 값은 완전 불투명에서 완전 투명으로 점진적으로 변경되어, 원 이미지 시퀀스로부터 후속 이미지 시퀀스로 점진적으로 페이딩하는 렌더링된 이미지를 발생시킨다.

구체적으로, 시간(T3)에서, 투명도 값은 완전 불투명 및 완전 투명 사이의 중간이고, 렌더링된 이미지는 제 1 및 제 2 이미지 층들의 이미지들 사이에서 균등한 혼합이다.

시간(t4)에서, 투명도 값은 완전 투명을 나타내어 제 1 이미지 층이 더 이상 가시적이지 않고, 렌더링된 이미지는 크로스 페이드 이후의 이미지에 완전히 대응한다.

시간(t5)에서, 후속 이미지 시퀀스 및 연관된 깊이 표시 맵이 제 1 이미지 층(전경 이미지 층에 대응)으로 이동하고, 투명도 값은 완전히 불투명으로 설정된다. 또한, 이 단계에서, 단일의 이미지 층만이 존재하고, 이에 따라 깊이 표시는 0으로 설정될 수 있다.

그 후, 시스템은 이미지 시퀀스가 2개의 이미지 층들 및 연관된 깊이 표시 맵들에 의해 표현되는 2개의 층 표현으로 전환하도록 진행할 수 있다.

이미지 층들의 이미지들이 예를 들면, 정적 이미지들(예를 들면, 도 6에 예시된 이미지들은 항상 동일할 수 있음)일 수 있다는 것이 이해될 것이다. 그러나, 다른 예들에서, 이미지는 예를 들면, 비디오 신호의 비디오 프레임과 같이 순차적인 이미지들을 표현할 수 있다.

도 6의 예는 매우 기본적인 크로스 페이드를 예시하고 보다 다양한 와이프들(wipes) 및 다른 천이 효과들을 포함하는 복잡한 크로스 페이드들이 쉽게 구현될 수 있다는 것 또한 이해할 것이다. 예를 들면, 일부의 이미지 영역들이 하나의 이미지의 부분들을 보여주고, 다른 이미지 영역들이 또 다른 이미지의 부분들을 보여주고, 또다시 다른 이미지 역역들이 혼합된 이미지들을 보여주는 천이 효과들은 비균일 투명도 맵을 이용하여 쉽게 달성될 수 있다. 예를 들면, 완전 불투명에서 완전 투명으로 단순히 천이하는 투명도 맵을 이용하기 보단, 복잡하고 동적인 변화 패턴들이 이용될 수 있다. 와이프 천이를 이용하는 크로스 페이드의 예가 도 7에 예시된다.

도 8은 이미지가 종속성 표시자의 값에 의존하여 렌더링 유닛(403)에 의해 처리되는 방식의 예를 예시한다. 예에서, 제 1 층(L1)의 이미지 콘텐트들은 점선으로 표시되고, 제 2 층의 이미지 콘텐트들은 실선으로 표시된다. 예에서, 제 1 층의 이미지는 전경 이미지 오브젝트(F) 및 배경으로부터의 두 요소들을 포함하는 혼합된 이미지가다. L2의 이미지가 L1의 이미지에 대한 배경 이미지인 상황에서, L2의 이미지는 완전 배경 이미지를 제공한다. 이 경우, 종속성 표시자는 L1 및 L2가 종속적이고 이에 따라 L2의 이미지가 예를 들면, 차폐-해제 처리를 위해 이용될 수 있다는 것을 나타낸다.

이에 따라, 렌더링 유닛(403)은 뷰잉 각(V)에 대응하는 제 1 이미지를 생성할 수 있다. 이 경우, 뷰잉 각은 층들의 이미지들의 것에 대응하고, L1의 이미지는 혼합된 이미지이기 때문에, 이는 직접적으로 이용될 수 있다. 또한, 제 2 이미지는 상이한 뷰잉 각(A)에 대응하여 렌더링될 수 있다. 이 경우, 전경 이미지(F)은 이미지에서 재배치(displace)될 것이고, 배경의 상이한 부분을 덮을 것이다. 결과적으로 전경 오브젝트(F)에 의해 이전에 차폐된 배경(C)의 부분은 이제 볼 수 있다. 2개의 층들이 종속적이기 때문에, 렌더링 유닛(403)은 L2에 제공된 배경 이미지의 이미지 영역(C)에 대한 화소 값들을 이용하여 뷰잉 각(A)에 대해 랜더링된 이미지에 대한 화소 값들을 결정하도록 진행한다. 따라서, 뷰잉 각(A)에 대한 개선된 이미지가 제공된다.

그러나, L2의 이미지가 L1의 이미지에 대한 배경 층이 아닌 경우, 이 방식은 이미지 영역이 전경 또는 배경 이미지들에 관련없는 화소 값들로 채워지는 결과를 발생시킬 것이다. 이에 따라, 시각적 아티팩트가 도입될 것이고 이미지 품질이 감소될 것이다.

그러나, 현재 방식에 따라, 종속성 표시자는 이 경우에 2개의 층들이 독립적이라는 것을 나타낼 것이다. 이는 L1의 이미지에 대한 차폐-해제를 실행하기 위해 L2의 동시성 이미지 데이터를 이용하지 않을 수 있음을 렌더링 유닛(403)에 알려줄 것이다. 따라서, 대신, 렌더링 유닛(403)은 예를 들면, L1의 이미지에 기초하여(예를 들면, 인접한 화소 값들 또는 L1의 배경 B의 이미지 영역으로부터 텍스처를 복제) 또는 저장된 이미지들(예를 들면, 이전의 배경 층)을 이용하여 L1 이미지에 대한 차폐-해제를 실행하도록 진행한다. 따라서, 차폐-해제 처리는 차폐-해제된 이미지 영역들의 최적의 도출을 반영하도록 자동으로 적응될 수 있고, 그에 의해 이미지의 품질을 개선한다.

일부 실시예들에서, 송신된 이미지 층들 중 적어도 하나는 독립적인 이미지들의 조합인 이미지들을 포함될 수 있음이 이해될 것이다. 예를 들면, 도 9는 도 6과 바로 대응하는 예를 예시한다. 그러나, 이 예에서, 상이한 층들이 렌더링 디바이스들에 분배되는 생성된 3D 데이터에 포함된다. 예에서, 제 1 이미지 층(L1)은 크로스 페이드 이전의 이미지 뿐만 아니라, 크로스 페이드(및 크로스 페이드 외부의 전경 및 배경의 혼합된 이미지들)에 후속하는 이미지들로부터 기여들을 포함하는 조합된/합성의 이미지에 대응한다. 이 경우, 제 1 이미지 층은 예를 들면, t3에서, 서로 독립적인 이미지들(즉 크로스 페이드 이전 및 이후로부터의 이미지들)로부터 기여들을 포함하는 합성 이미지를 포함한다. 또한, 예에서, 제 2 이미지 층(L2)은 합성 이미지에 포함된 이미지에 동일한 이미지를 포함한다. 그러나, 이것이 상관되는 제 1 및 제 2 이미지 층의 동시성 이미지들을 렌더링할 수 있지만, 크로스 페이드 동안 2개의 층들은 서로 보완 및 보충하는 3차원 이미지 데이터를 포함하지 않는다(오히려 L2의 이미지는 L1의 합성 이미지에 포함된 페이딩된 이미지과 동일하다). 구체적으로, 하나의 이미지 층의 이미지는 다른 이미지 층의 이미지 데이터에 의해 표현되는 이미지 평면의 보완적인 이미지 평면을 위한 임의의 이미지 데이터를 포함하지 않는다.

예에서, 제 1 깊이 층(D-L1)은 L1의 합성 이미지에 대한 깊이 정보를 제공하는 합성 깊이 층을 추가로 포함한다. 또한, 예에서, 전경 이미지 및 연관된 깊이 맵(도 9의 2번째 로우)은 3D 데이터에 포함되지 않고 합성층들(L1 및 D-L1)에 대한 데이터를 생성하는데만 이용된다.

또한, L2의 이미지에 대해 전경 이미지의 투명도를 반영하는 투명층이 생성된다. 따라서, 이 투명도 맵은 사전-크로스 페이드 이미지 및 사후-크로스 페이드 이미지의 상대적 기여의 표시는 L1의 합성 이미지에 제공한다.

종속성 표시자는 앞서와 동일한 방식으로, 즉 상이한 이미지 평면들에 대응하고 이에 따라 예를 들면, 차폐-해제를 실행하기 위해 이용될 수 있는 보충적 3D 데이터를 이미지 층이 포함하고 있는지의 여부를 나타내기 위해 생성된다.

따라서, 도 9의 특정 예에서, 적어도 일부 이미지들에 대해 복수의 이미지들로부터의 기여를 포함하는 합성 이미지를 표현하는 이미지 데이터를 포함하는 제 1 이미지 층;

합성 이미지에 대한 합성 깊이 맵을 포함하는 제 1 깊이 층;

합성 이미지에 기여하는 추가의 이미지에 대한 이미지 데이터를 포함하는 제 2 이미지 층;

추가의 이미지에 대한 추가의 깊이 맵을 포함하는 제 2 깊이 층; 및

합성 이미지에 대한 추가의 이미지의 기여를 표현하는 투명도 맵을 포함하는 3D 시그널링 데이터가 생성될 수 있다.

또한, 제 2 이미지 층의 이미지가 제 1 이미지 층의 합성 이미지에 기여하는 적어도 하나의 이미지에 대해 전경 이미지 및 배경 이미지 중 적어도 하나를 포함하는지 또는 제 2 이미지 층의 이미지가 합성 이미지에 기여하는 임의의 이미지의 전경 이미지 및 배경 이미지 중 하나인지의 여부를 반영하는 종속성 표시자가 포함된다.

기술된 방식은 제 1 이미지 층(L1)이 종래의 렌더링 유닛에서 바로 이용될 수 있다는 이점을 제공할 수 있다. 따라서, 단순히 L1의 이미지를 이용함으로써 상이한 이미지들의 크로스 페이드 및 조합을 포함하는 이미지가 제공된다. 그러나, 동시에, 제공된 데이터 모두를 활용할 수 있는 렌더링 유닛의 동작이 개선될 수 있다. 따라서, 렌더링 유닛(403)은 예를 들면, 합성 이미지 및 투명도 정보에 기초하여 원 혼합된 이미지(도 9의 첫번째 로우의)을 재생성할 수 있다. 그 후, 종속성 표시자의 값에 의존하여 이 이미지의 차폐-해제를 실행하도록 진행할 수 있다. 따라서, 종속성 표시자는 유도된 이미지에 대한 배경 데이터를 L2가 제공하다고 반영하는 경우, 정보는 차폐-해제를 위해 이용되고 그렇지 않으면 L2의 현재 이미지는 이 목적을 위해 무시된다.

기술된 예에서, 층간 처리는 층들이 종속적이라고 종속성 표시자가 나타낼 때 및 층들이 독립적이라고 종속성 표시자가 나타낼 때에만 알맞게 적용되고, 층들이 독립적이라고 종속성 표시자가 나타낼 때는 적용되지 않는다. 다른 실시예들에서, 종속성 표시자는 이진 값 일 필요가 없다는 것이 이해될 것이다. 예를 들면, 각 값이 종속성에 대해 적용될 수 있는 처리 알고리즘의 세트에 대응하는 다수의 이산 값들을 취할 수 있는 파라미터일 수 있다.

특정 예에서, 층간 3D 이미지 처리는 종속성 표시자의 값에 의존하여 온 및 오프로 전환되고, 구체적으로 층간 차폐-해제 처리는(차폐-해제 처리에 대응하는 것이 단일의 층 또는 층간 처리가 되도록 적응됨) 스위칭 온 및 스위칭 오프된다. 그러나, 다른 실시예들에서, 층간 3D 처리는 종속성 표시자에 응답하여 적응될 수 있다. 예를 들면, 일부 실시예들에서, 상이한 이미지 뷰들에서 변위의 결정은 종속성 표시자에 의존하여 층간 처리 및 단일의 층 처리 사이에서 스위칭될 수 있다.

일부 실시예들에서, 종속성 표시자는 제 1 및 제 2 이미지 층들의 이미지들의 깊이표시 맵이 일치하는지 또는 일치하지 않은지를 표시할 수 있다. 구체적으로 제 1 및 제 2 이미지 층들은 각각 전경(또는 혼합된) 이미지 및 배경 이미지를 포함할 때, 배경 이미지(즉 제 2 이미지 층)에 대한 깊이 표시 맵은 전경 이미지에 대한 깊이 표시 맵을 위한 대응하는 화소보다 항상 더 깊은(또는 동일하게) 위치를 표현할 것이다. 그러나, 두 이미지 층들이 대응하는 전경 및 배경 이미지들을 포함하지 않고 오히려 이를 테면 크로스 페이드 동안 독립적인 이미지들을 포함하는 시나리오들에서, 깊이 표시 냅들간의 이 관계는 붕괴될 수 있다. 이 경우, 제 1 이미지 층에 대한 깊이 표시 값들은 일부 이미지 영역에서 제 2 이미지 층에 대한 대응하는 깊이 표시 값들보다 낮게 될 수 있고, 다른 영역들에서, 제 2 이미지 층에 대한 대응하는 깊이 표시 값들보다 더 높게 될 수 있다.

따라서, 종속성 표시자는 깊이 표시 맵들이 서로 일치하는지 또는 일치하지 않는지를 반영하도록 설정될 수 있다. 실제로, 일부 실시예들에서 이 기준은 종속성 표시자의 값을 결정하기 위해 이용될 수 있다.

이전의 설명은 3D 데이터가 2개의 이미지 층들을 포함하는 예들에 초점을 맞춘다. 그러나, 다른 실시예에서 2개의 이미지 층들보다 많은 층들이 이용될 수 있다. 이러한 실시예들에서, 종속성 표시자는 예를 들면, 모든 가능한 이미지 층 쌍들 사이에서 종속성의 표시를 제공한다.

일부 실시예들에서, 이미지 층은 각 이미지 층이 하나 이상의 종속 이미지 층들을 포함하는 이미지 층 그룹들로 동적으로 또는 정적으로 분할될 수 있다. 예를 들면, 하나의 이미지 층 그룹은 종속 이미지 층을 포함하는 2개의 이미지 층들을 포함할 수 있다. 또 다른 이미지 층 그룹은 또한 종속적인 2개의 이미지 층들을 포함할 수 있다. 그러나, 이미지 층 그룹들 간의 종속성은 다를 수 있고, 이미지 층 그룹들 간의 현재 종속성은 종속성 표시자에 의해 표시될 수 있다. 예를 들면, 3D 이미지 표현은 3D 지각을 위한 이미지들을 제공하기 위해 조합될 수 있는 4개의 상이한 이미지 층들을 포함할 수 있다. 그러나, 크로스 페이드 동안, 표현은 크로스 페이드 이전의 이미지 및 크로스 페이드에 후속하는 이미지에 대한 2개의 층 표현으로 감소될 수 있다. 크로스 페이드에 후속하여 표현은 재차 4개의 층 표현으로 증가된다. 따라서, 크로스 페이드 전 및 후에, 3D 처리는 모든 4개의 층들을 이용할 수 있다. 그러나, 크로스 페이드 동안, 각 2개의 이미지 층들의 2개의 이미지 층 그룹들 독립적 이미지들을 포함할 수 있다. 따라서, 크로스 페이드 동안, 각 이미지의 3D 처리는 2개의 층 처리로 감소된다. 이러한 예에서, 종속성 표시자는 이미지 그룹들이 종속적인지를 여부를 나타낼 수 있고, 3D 처리는 이에 응답하여 적응될 수 있다. 또 다른 예로서, 3개의 층 비디오 표현은 크로스 페이드 동안 이용되는 2개의 2층 비디오 표현들을 포함하는 4층 신호를 갖고 크로스 페이드 전 및 후에 이용될 수 있다. 그러면, 이 종속성 표시자는 크로스 페이드 동안 2개의 비디오들 간의 독립성이 아니라 각 2-층 비디오내에서 종속성을 표시할 수 있다.

따라서, 보다 많은 층들에 대해, 종속성 표시자는 표시자에 기초한 그룹일 수 있다. 또한, 일부 실시예들에서, 3D 데이터는 이미지 층 그룹들에 따라 구조화될 수 있다. 예를 들면, 각 그룹내의 이미지 층들은 이들이 인접하게 되도록 배열될 수 있는데, 예를 들면, 데이터 조합기(215)가 동일한 이미지 층 그룹에 속하는 이미지 층들이 인접하게 되도록 이미지 층들을 위한 데이터를 순서화하기 위해 배열된다. 이러한 실시예들에서, 종속성 표시자는 단순히 다음 독립적 이미지 층 그룹의 3D 데이터의 위치를 표시할 수 있다.

예를 들면, 3D 데이터 스트림은 이미지 층들(1-6)과 같이 넘버링된 6개의 이미지 층들을 포함할 수 있다. 일부 시나리오들에서, 모든 층들은 종속적일 수 있고, 이는 0으로 설정되는 종속성 표시자에 의해 반영될 수 있다. 다른 시나리오들에서, 이미지 층들은 각각이 3개의 이미지 층들을 포함하는 2개의 독립적 이미지 층 그룹들로 분할될 수 있다. 제 1 이미지 층 그룹은 층들(1-3)을 이용할 것이고 제 2 이미지 층 그룹은 층들(4-6)을 이용할 것이다. 이는 4의 값으로 종속성 표시자를 단순히 설정함으로써 표시될 수 있다. 다른 시나리오들에서,이미지 층들은 3개의 독립적 이미지 층 그룹들(이미지 층들(1-2, 3-4 및 4-6)을 각각 포함)로 분할될 수 있다. 이는 (3, 5)의 값으로 종속성 표시자 설정함으로써 통신될 수 있다.

따라서, 종속성 정보의 매우 효율적인 표현이 달성되어 시그널링 오버헤드가 낮아진다.

명확성을 위해 상기 설명은 상이한 기능적 유닛들 및 처리기들을 참조하여 본 발명의 실시예들을 기술하였다는 것이 이해될 것이다. 그러나, 상이한 기능적 유닛들 또는 처리기들 사이에 임의의 적합한 기능의 분배가 본 발명으로부터 벗어남 없이 이용될 수 있다는 것이 자명할 것이다. 예를 들면, 별개의 처리기들 또는 제어기들에 의해 실행되도록 예시된 기능은 동일한 처리기 또는 제어기들에 의해 실행될 수 있다. 그러므로 특정한 기능적 유닛들에 대한 참조들은 단지 엄격한 논리적 또는 물리적 구조 또는 구성을 나타내기 보단 기술된 기능을 제공하는 적합한 수단에 대한 참조들로서 인식되어야 한다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합을 포함하는 임의의 적합한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 처리기들 및/또는 디지털 신호 처리기들 상에서 동작하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 성분들은 임의의 적합한 방식으로 물리적으로, 기능적으로 및 논리적으로 구현될 수 있다. 사실상, 기능은 단일의 유닛으로, 복수의 유닛들로 또는 다른 기능적 유닛들의 부분으로서 구현될 수 있다. 이러한 것으로서, 본 발명은 단일의 유닛으로 구현될 수 있거나 상이한 유닛들 및 처리기들 사이에 물리적으로 및 기능적으로 분배될 수 있다.

본 발명은 일부 실시예들과 연계하여 기술되었지만, 여기서 기술된 특정 형태로 제한되도록 의도하지 않는다. 오히려, 본 발명의 범위는 첨부된 청구범위에 의해서만 제한된다. 또한, 특징이 특정 실시예들과 연계하여 기술되게 보여질 수 있 있지만, 당업자는 기술된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있다는 것을 인지할 것이다. 청구범위에서, 용어 포함하는 은 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

또한, 개별적으로 나열된, 복수의 수단들, 요소들 또는 방법 단계들이 예를 들면, 단일의 유닛 또는 처리기에 의해 구현될 수 있다. 또한, 개별적인 특징들이 상이한 청구항들에 포함될 수 있지만, 이들은 유리하게 조합되는 것이 가능할 수 있고, 상이한 청구항들에의 포함은 특징들의 조합이 실용적이지 않고/않거나 이득이 있지 않다는 것을 암시하는 것은 아니다. 또한, 하나의 청구항의 카테고리에의 특징의 포함은 이 카테고리로의 제한을 암시하지 않고 오히려 특징이 적절히 다른 청구항 카테고리들에 균등하게 응용가능하다는 것을 나타낸다. 또한, 청구항들에서 특징들의 순서는 이 특징들이 반드시 작동되어야 하는 임의의 특정 순서를 암시하는 것이 아니고, 특히 방법 청구항의 개별적인 단계들의 순서는 단계들이 반드시 이 순서로 실행되어야 한다는 것을 암시하지 않는다. 오히려, 단계들은 임의의 적합한 순서로 실행될 수 있다. 또한, 단수의 참조들이 복수성을 배제하지 않는다. 따라서, 부정관사("a", "an"), "제 1" , "제 2" 등에 대한 참조들은 복수성을 배제하지 않는다. 명확한 예로서 단순히 제공된 청구항들에서 참조 부호들은 어떤 방식으로도 청구하의 범위를 제한하는 것으로 해석되선 안 된다.

201: 콘텐트 처리기 203: 제 1 이미지 층 처리기
205: 제 2 이미지 층 처리기 207: 투명도 처리기
209: 제 1 깊이 맵 처리기 211: 제 2 깊이 맵 처리기
213: 종속성 처리기 401: 수신기
403: 렌더링 유닛

Claims

3차원 이미지들의 뷰들(views)의 화상 요소들을 렌더링(rendering)하는데 이용하기 위해 복수의 이미지 층들을 포함하는 3차원 이미지 데이터를 생성하는 방법에 있어서:
제 1 이미지 층에 대한 제 1 이미지 데이터를 제공하는 단계(301);
제 2 이미지 층에 대한 제 2 이미지 데이터를 제공하는 단계(303);
상기 제 1 이미지 층 및 상기 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터를 제공하는 단계(305);
종속성 표시자를 생성하는 단계(307)로서, 상기 종속성 표시자는 상기 제 1 이미지 층의 제 1 이미지가 상기 제 2 이미지 층의 제 2 동시성 이미지에 대한 보충적 3차원 계층화된 이미지 데이터를 포함하는지의 여부를 나타내는, 상기 종속성 표시자 생성 단계(307); 및
상기 제 1 이미지 데이터, 상기 제 2 이미지 데이터, 상기 깊이 표시 데이터 및 상기 종속성 표시자를 포함하는 상기 3차원 이미지 데이터를 생성하는 단계(309)를 포함하는, 3차원 이미지 데이터 생성 방법.
제 1 항에 있어서,
상기 종속성 표시자는 상기 제 1 이미지 층이 상기 제 2 이미지에 대한 차폐 층(occlusion layer)일 때 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 종속적이라고 나타내는, 3차원 이미지 데이터 생성 방법.
제 2 항에 있어서,
상기 종속성 표시자는 상기 제 1 이미지 층이 상기 제 2 이미지에 대한 차폐 층이 아닐 때 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 독립적이라고 나타내는, 3차원 이미지 데이터 생성 방법
제 1 항에 있어서,
상기 깊이 표시 데이터는 상기 제 1 이미지 층에 대한 제 1 깊이 표시 맵 및 상기 제 2 이미지 층에 대한 제 2 깊이 표시 맵을 포함하고, 상기 종속성 표시자는 상기 제 1 깊이 표시 맵의 깊이 표시 값들이 상기 제 2 깊이 표시 맵의 깊이 표시 맵들과 일치할 때 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 독립적이라는 것을 나타내는, 3차원 이미지 데이터 생성 방법.
제 4 항에 있어서,
상기 제 1 깊이 표시 맵의 깊이 표시 값들은 적어도 하나의 이미지 영역에서 상기 제 2 표시 맵의 깊이 표시 값들보다 더 깊은 깊이 레벨들을 표시하고, 상기 제 2 깊이 표시 맵의 깊이 표시 값들이 적어도 하나의 다른 이미지 영역에서 상기 제 1 표시 맵의 깊이 표시 값들보다 더 깊은 레벨들을 표시하는 경우 상기 제 1 깊이 표시 맵의 깊이 표시 값들은 상기 제 2 깊이 표시 맵의 깊이 표시 값들과 일치하지 않는, 3차원 이미지 데이터 생성 방법.
제 1 항에 있어서,
상기 종속성 표시자는 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 크로스 페이드(cross fade) 이미지들을 포함할 때 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 독립적이라고 나타내고, 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 크로스 페이드 이미지들을 포함하지 않을 때 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 종속적이라고 나타내는, 3차원 이미지 데이터 생성 방법.
제 1 항에 있어서,
상기 종속성 표시자는 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 종속적이라는 것을 나타내는 제 1 값과 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 독립적이라는 것을 나타내는 제 2 값을 갖는 이진 데이터 값인, 3차원 이미지 데이터 생성 방법.
제 7 항에 있어서,
상기 종속성 표시자는 상기 제 1 이미지 층이 상기 제 2 이미지 층의 이미지의 전경 이미지를 포함하는 경우 상기 제 1 값으로 설정되고, 상기 제 1 이미지 층이 상기 제 2 이미지 층의 이미지에 대한 전경 이미지를 포함하지 않을 때 상기 제 2 값으로 설정되는, 3차원 이미지 데이터 생성 방법.
제 1 항에 있어서,
상기 제 1 이미지 층은 제 1 이미지 층 그룹에 속하고, 상기 제 2 이미지 층은 제 2 이미지 층 그룹에 속하고, 상기 제 1 이미지 층 그룹 및 상기 제 2 이미지 층 그룹 중 적어도 하나는 복수의 이미지 층들을 포함하고, 상기 종속성 표시자는 상기 제 1 이미지 층 그룹의 이미지 층들 및 상기 제 2 이미지 층 그룹의 이미지 층들 사이의 종속성을 나타내는, 3차원 이미지 데이터 생성 방법.
제 9 항에 있어서,
이미지 층 그룹의 이미지 층들은 종속적 이미지 층들인, 3차원 이미지 데이터 생성 방법.
제 9 항에 있어서,
이미지 층 그룹의 이미지 층들에 대한 이미지 데이터는 인접하고, 상기 종속성 표시자는 다음의 독립적 이미지 층 그룹의 3차원 이미지 데이터의 위치를 나타내는, 3차원 이미지 데이터 생성 방법.
제 1 항에 있어서,
상기 제 1 이미지 층 및 상기 제 2 이미지 층 중 적어도 하나에 대한 투명도 데이터를 제공하는 단계 및 상기 3차원 이미지 데이터에 상기 투명도 데이터를 포함하는 단계를 추가로 포함하는, 3차원 이미지 데이터 생성 방법.
이미지 요소들을 렌더링하는 방법에 있어서:
제 1 이미지 층에 대한 제 1 이미지 데이터, 제 2 이미지 층에 대한 제 2 이미지 데이터, 상기 제 1 이미지 층 및 상기 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터, 상기 제 1 이미지 층 및 상기 제 2 이미지 층간의 종속성을 나타내는 종속성 표시자를 포함하는 3차원 이미지 데이터를 수신하는 단계(501); 및
상기 종속성 표시자에 응답하여 상기 제 1 이미지 데이터, 상기 제 2 이미지 데이터, 및 상기 깊이 표시 데이터를 처리함으로써 3차원 이미지를 가시화하는데 이용하기 위해 상기 3차원 이미지 데이터의 다수의 뷰들의 이미지 요소들을 렌더링 단계(503)를 포함하는, 이미지 요소들을 렌더링하는 방법.
제 13 항에 있어서,
상기 렌더링 단계(503)는 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 종속적이라고 상기 종속성 표시자가 나타낼 때만, 상기 제 1 이미지 층 및 상기 제 2 이미지 층의 동시성 이미지들의 층간 3차원 이미지 처리를 실행하는 단계를 포함하는, 이미지 요소들을 렌더링하는 방법.
제 13 항에 있어서,
상기 렌더링 단계(503)는 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 종속적이라고 상기 종속성 표시자가 나타낼 때만 상기 제 2 이미지 층의 제 2 이미지으로부터의 정보를 이용하여 상기 제 1 이미지 층의 제 1 이미지에 대한 차폐-해제(de-occlusion)를 실행하는 단계를 포함하는, 이미지 요소들을 렌더링하는 방법.
제 13 항에 있어서,
상기 렌더링 단계(503)는 상기 제 1 이미지 층의 제 1 이미지 및 상기 제 2 이미지 층의 제 2 이미지를 조합하는 단계를 포함하고, 상기 조합은 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 종속적이라고 상기 종속성 표시자가 나타낼 때 3차원 이미지 정보에 응답하고, 상기 제 1 이미지 층 및 상기 제 2 이미지 층이 독립적이라고 상기 종속성 표시자 나타낼 때 3차원 이미지 정보에 응답하지 않는, 이미지 요소들을 렌더링하는 방법.
3차원 이미지의 뷰들의 화상 요소들을 렌더링하는데 이용하기 위해 복수의 이미지 층들을 포함하는 3차원 이미지 데이터를 생성하기 위한 장치에 있어서:
제 1 이미지 층에 대한 제 1 이미지 데이터를 제공하기 위한 수단(203);
제 2 이미지 층에 대한 제 2 이미지 데이터를 제공하기 위한 수단(205);
상기 제 1 이미지 층 및 상기 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터를 제공하기 위한 수단(209, 211);
상기 제 1 이미지 층 및 상기 제 2 이미지 층 간의 종속성을 나타내는 종속성 표시자를 생성하기 위한 수단(213); 및
상기 제 1 이미지 데이터, 상기 제 2 이미지 데이터, 상기 깊이 표시 데이터 및 상기 종속성 표시자를 포함하는 상기 3차원 이미지 데이터를 생성하기 위한 수단(215)을 포함하는, 3차원 이미지 데이터 생성 장치.
이미지 요소들을 렌더링하기 위한 장치에 있어서:
제 1 이미지 층에 대한 제 1 이미지 데이터, 제 2 이미지 층에 대한 제 2 이미지 데이터, 상기 제 1 이미지 층 및 상기 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터, 상기 제 1 이미지 층 및 상기 제 2 이미지 층간의 종속성을 나타내는 종속성 표시자를 포함하는 3차원 이미지 데이터를 수신하기 위한 수단(401); 및
상기 종속성 표시자에 응답하여 상기 제 1 이미지 데이터, 상기 제 2 이미지 데이터, 및 상기 깊이 표시 데이터를 처리함으로써 3차원 이미지를 가시화하는데 이용하기 위해 상기 3차원 이미지 데이터의 다수의 뷰들의 이미지 요소들을 렌더링하기 위한 수단(403)을 포함하는, 이미지 요소들을 렌더링하기 위한 장치.
이미지 신호에 있어서:
제 1 이미지 층에 대한 제 1 이미지;
제 2 이미지 층에 대한 제 2 이미지;
상기 제 1 이미지 층 및 상기 제 2 이미지 층 중 적어도 하나에 대한 깊이 표시 데이터; 및
상기 제 1 이미지 층 및 상기 제 2 이미지 층간의 종속성을 나타내는 종속성 표시자를 포함하는, 이미지 신호.
처리기로 하여금 제 1 항 내지 제 16 항 중 어느 한 항의 방법을 실행하게 하는, 컴퓨터 프로그램 제품.
3차원 이미지의 뷰들의 화상 요소들을 렌더링하는데 이용하기 위해 복수의 이미지 층들을 포함하는 3차원 이미지 데이터를 생성하는 방법에 있어서:
적어도 일부의 이미지들이 복수의 이미지들로부터의 기여(contribution)를 포함하는 합성 이미지를 표현하는 이미지 데이터를 포함하는 제 1 이미지 층을 제공하는 단계;
상기 합성 이미지에 대한 합성 깊이 맵을 포함하는 제 1 깊이 층을 제공하는 단계;
상기 합성 이미지에 기여하는 추가의 이미지에 대한 이미지 데이터를 포함하는 제 2 이미지 층을 제공하는 단계;
상기 추가의 이미지에 대한 추가의 깊이 맵을 포함하는 제 2 깊이 층을 제공하는 단계;
상기 합성 이미지에 대한 상기 추가의 이미지의 기여를 표현하는 투명도 맵을 제공하는 단계;
상기 제 2 이미지 층의 이미지가 상기 제 1 이미지 층의 합성 이미지에 기여하는 적어도 하나의 이미지에 대한 전경 이미지 및 배경 이미지 중 적어도 하나를 포함하는지 또는 상기 제 2 이미지 층의 상기 이미지가 상기 합성 이미지에 기여하는 임의의 이미지의 전경 이미지 및 배경 이미지 중 하나인지를 반영하는 종속성 표시자를 생성하는 단계; 및
상기 제 1 이미지 층, 상기 제 1 깊이 층, 상기 제 2 이미지 층, 상기 제 2 깊이 층, 상기 투명도 맵 및 상기 종속성 표시자를 포함하는 상기 3차원 이미지 데이터를 생성하는 단계를 포함하는, 3차원 이미지 데이터 생성 방법.
이미지 요소들을 렌더링하는 방법에 있어서:
3차원 이미지 데이터를 수신하는 단계로서, 상기 3차원 이미지 데이터는 적어도 일부의 이미지들에 대해 복수의 이미지들로부터의 기여를 포함하는 합성 이미지를 표현하는 이미지 데이터를 포함하는 제 1 이미지 층;
상기 합성 이미지에 대한 합성 깊이 맵을 포함하는 제 1 깊이 층;
상기 합성 이미지에 기여하는 추가의 이미지에 대한 이미지 데이터를 포함하는 제 2 이미지 층;
상기 추가의 이미지에 대한 추가의 깊이 맵을 포함하는 제 2 깊이 층;
상기 합성 이미지에 대한 상기 추가의 이미지의 기여를 표현하는 투명도 맵;
상기 제 2 이미지 층의 이미지가 상기 제 1 이미지 층의 합성 이미지에 기여하는 적어도 하나의 이미지에 대한 전경 이미지 및 배경 이미지 중 적어도 하나를 포함하는지 또는 상기 제 2 이미지 층의 상기 이미지가 상기 합성 이미지에 기여하는 임의의 이미지의 전경 이미지 및 배경 이미지 중 하나인지를 반영하는 종속성 표시자를 포함하는, 상기 3차원 이미지 데이터 수신 단계; 및
상기 제 2 이미지 층의 상기 이미지가 상기 제 1 이미지 층의 상기 이미지에 기여하는 이미지의 배경 이미지 및 전경 이미지 중 적어도 하나라고 상기 종속성 표시자가 나타내는 경우에만, 상기 제 1 이미지 층의 이미지에 대한 차폐-해제가 상기 제 2 이미지 층의 동시성 이미지에 응답하는 3차원 이미지의 3차원 처리에 의해 상기 3차원 이미지를 가시화하는데 이용하기 위해 상기 3차원 이미지 데이터의 다수의 뷰들의 이미지 요소들을 렌더링 단계를 포함하는, 이미지 요소들을 렌더링하는 방법.