KR20110025796A

KR20110025796A - 깊이 정보를 가진 비디오 신호

Info

Publication number: KR20110025796A
Application number: KR1020107029871A
Authority: KR
Inventors: 베. 바렌브러그 바트 헤.; 하. 로에렌 발더러스 아.
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2008-06-02
Filing date: 2009-05-27
Publication date: 2011-03-11
Also published as: CN102047669A; US20110074924A1; WO2009147581A1; CN102047669B; TW201004313A; JP2011523743A; EP2297971A1

Abstract

주 뷰로부터 3차원 장면을 나타내는 신호(1300)를 생성하는 시스템(100)은, 주 뷰로부터 3차원 장면의 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스를 발생하는 시퀀스 발생기(104), 및 스트라이프들의 시퀀스를 포함하는 비디오 신호를 발생하기 위한 신호 발생기(106)를 포함한다. 각각의 스트라이프는 이미지 정보의 직사각형 영역의 색, 깊이 및 위치를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타내며, 각각의 스트라이프를 위한 색 및 깊이 데이터 요소들은 장면 내 적어도 한 물체의 표면 윤곽 정보로부터 도출되며, 위치 데이터 요소는 주 뷰 내의 적어도 한 물체의 표면 윤곽 정보의 위치로부터 도출된다. 이 신호에서 스트라이프들의 시퀀스의 적어도 한 스트라이프는 장면 내 적어도 한 물체의 오클루전 영역 또는 사이드 영역에서 선택된 적어도 한 물체의 표면 윤곽 정보를 나타낸다.

Description

깊이 정보를 가진 비디오 신호{VIDEO SIGNAL WITH DEPTH INFORMATION}

발명은 깊이 정보를 가진 비디오 신호에 관한 것이다. 또한, 발명은 깊이 정보를 가진 비디오 신호를 생성하고 깊이 정보를 가진 비디오 신호를 렌더링하는 방법들 및 시스템들에 관한 것이다.

디스플레이 디바이스들의 도입 이래로, 현실적인 3-D 디스플레이 디바이스는 많은 사람들에게 꿈이었다. 이러한 디스플레이 디바이스에 이르게 할 많은 원리들이 조사되었다. 한 이러한 원리는 단지 양안 시차에 기초한 3-D 디스플레이 디바이스이다. 이들 시스템들에서 뷰어의 좌안 및 우안은 또 다른 원근감을 인지하며, 결국, 뷰어는 3-D 이미지를 인지한다. 이들 개념들의 개요는 D. F. McAllister (Ed.)등의 책 "Stereo Computer Graphics and Other True 3-D Technologies", Princeton University Press, 1993에서 찾아볼 수 있다. 예를 들어, 셔터 안경을 예를 들면 CRT와 조합하여 사용할 수 있다. 홀수 프레임이 디스플레이된다면, 좌안에 대해 광이 차단되고, 짝수 프레임이 디스플레이된다면 우안에 대해 광이 차단된다.

안경과 같은 추가의 기구들에 대한 필요성 없이 3-D를 보여주는 디스플레이 디바이스들을 오토스테레오스코픽 디스플레이 디바이스들이라고 한다. 예를 들어, 멀티-뷰 오토스테레오스코픽 디스플레이 디바이스들이 제안되어 있다. US6064424에 개시된 바와 같은 디스플레이 디바이스들에서는 슬란트 렌티큘라가 사용되고, 이에 의해 렌티큘라의 폭은 2개의 서브-화소들보다 크다. 서로 이웃하는 몇 개의 이미지들이 있고 뷰어는 좌우로 이동할 어떤 자유도를 갖는다. 다른 유형의 오토스테레오스코픽 디스플레이 디바이스들이 이 기술에 공지되어 있다.

멀티-뷰 디스플레이 디바이스 상에 3-D 인상을 생성하기 위해서, 서로 다른 가상 뷰포인트들로부터 이미지들이 렌더링되어야 한다. 이것은 복수의 입력 뷰들, 아니면 어떤 3D 또는 깊이 정보가 있어야 함을 요구한다. 이 깊이 정보는 멀티-뷰 카메라 시스템들로부터 기록되거나, 생성되거나, 종래의 2D 비디오 자료로부터 생성될 수 있다. 2D 비디오로부터 깊이 정보를 생성하기 위해서, 이를테면 움직임으로부터 구조, 포커스 정보, 기하학적 형상들 및 동적 오클루전(occlusion)과 같은 몇몇 유형의 깊이 큐들이 적용될 수 있다. 밀집한 깊이 맵, 즉, 화소 당 깊이값이 생성되는 것이 바람직하다. 이어서 이 깊이 맵은 뷰어에게 깊은 인상을 주기 위해서 멀티-뷰 이미지를 렌더링하는데 사용된다.

현존의 비디오 접속들은 이미지들의 시퀀스들을 교환하기 위해 설계된다. 전형적으로 이미지들은 접속의 양측, 즉 송신기 및 수신기에서 화소 값들의 2차원 매트릭스들에 의해 표현된다. 화소 값들은 휘도 및/또는 색 값들에 대응한다. 송신기 및 수신기 둘 다는 데이터의 세만틱에 관한 지식을 갖고 있는데, 즉, 이들은 동일 정보 모델을 공유한다. 전형적으로, 송신기 및 수신기 간의 접속은 정보 모델에 맞게 수정된다. 데이터의 이러한 교환의 예가 RGB 링크이다. 송신기 및 수신기의 정황에서 이미지 데이터는 트리플렛(triplet)들의 값들, 즉 서로 다른 화소값들을 형성하는 R(적색), G(녹색) 및 B(청색)을 포함하는 데이터 형식으로 저장되고 처리된다. 이미지 데이터의 교환은 3개의 상관된, 그러나 분리된 데이터의 스트림들에 의해 수행된다. 이들 데이터 스트림들은 3개의 채널들에 의해 전송된다. 제 1 채널은 적색 값들, 즉 적색 값들을 나타내는 비트들의 시퀀스들을 교환하며, 제 2 채널은 청색 값들을 교환하며, 제 3 채널은 녹색 값들을 교환한다. 트리플렛들의 값들이 전형적으로 직렬로 교환될지라도, 정보 모델은 소정 수의 트리플렛들이 함께 이미지를 형성하게 하는 것으로서, 이것은 트리플렛들이 각각의 공간 좌표들을 가짐을 의미한다. 이들 공간좌표들은 이미지를 나타내는 2차원 행렬에서 트리플렛들의 위치에 대응한다. 이러한 RGB 링크에 기초하는 표준들의 예들은 DVI(digital visual interface), HDMI(High Definition Multimedia Interface) 및 LVDS(low-voltage differential signaling)이다. 그러나, 3-D의 경우에는 비디오 데이터와 함께 깊이에 관계된 데이터도 교환되어야 한다.

WO 2006/137000 A1은 이미지 데이터 및 깊이 데이터와 같은 이미지 데이터에 관계된 또 다른 데이터의 결합된 교환의 방법을 개시하며, 이미지 데이터는 제 1의 2차원 행렬의 이미지 데이터 요소들로 나타내며, 또 다른 데이터는 또 다른 데이터 요소들의 제 2의 2차원 행렬로 나타낸다. 방법은 제 1의 2차원 행렬 및 제 2의 2차원 행렬을 결합된 데이터 요소들의 2차원 행렬로 결합하는 것을 포함한다. 그러나, 상기 방법은 제공된 정보에 관하여 다소 제한되며 정확한 렌더링을 위한 충분한 정보를 제공하지 않을 수 있다.

이미지 데이터를 교환하는 개선된 방법을 제공한다.

이 문제를 더 잘 해결하기 위해서, 발명의 제 1 면에서, 주 뷰로부터 3차원 장면을 나타내는 신호를 생성하는 시스템으로서,

주 뷰로부터 3차원 장면을 나타내는 신호를 생성하는 시스템에 있어서,

각각의 스트라이프는 직사각형 영역의 색, 깊이 및 위치를 규정하는 데이터 요소들을 포함하는 이미지 정보의 상기 직사각형을 나타내는 것으로, 상기 주 뷰로부터 상기 3차원 장면의 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스를 발생하는 시퀀스 발생기로서,

각각의 스트라이프를 위한 상기 색 및 깊이 데이터 요소들은 상기 장면 내 적어도 한 물체의 표면 윤곽 정보로부터 도출되며,

상기 위치 데이터 요소는 상기 주 뷰 내의 상기 적어도 한 물체의 상기 표면 윤곽 정보의 상기 위치로부터 도출되며,

스트라이프들의 시퀀스의 적어도 한 스트라이프는 상기 장면 내 상기 적어도 한 물체의 오클루전 영역 또는 사이드 영역에서 선택된 상기 적어도 한 물체의 표면 윤곽 정보를 나타내는, 상기 시퀀스 발생기; 및

상기 스트라이프들의 시퀀스를 포함하는 비디오 신호를 발생하기 위한 신호 발생기를 포함하는, 시스템이 제공된다.

각각의 스트라이프는 주 뷰 내에 이미지 정보의 직사각형 영역에 대응하며, 이에 따라 스트라이프는 단일 화소, 라인 형태의 화소들의 1차원 어레이, 혹은 화소들의 2차원 어레이에 대응할 수 있다. 이에 따라, 스트라이프가 이미지 정보의 직사각형 영역에 대응할지라도, 깊이 요소들의 포함에 기인하여, 스트라이프에 의해 나타난 실제 데이터는 3차원 구조를 기술할 수 있다.

스트라이프들이 주 뷰 내에 이미지 정보의 직사각형 영역의 위치를 나타내는 데이터 요소들을 포함하기 때문에, 비디오 신호에 오클루전 또는 사이드 영역 정보를 더 유연하게 수용하는 것이 가능해진다. 시스템이 사용할 수도 있을 장면의 부분들에 관한 임의의 정보는 하나 이상의 이러한 스트라이프들에 삽입될 수 있다. 신호의 비디오-유사 특징들은 스트라이프들이 색 및 깊이를 나타내는 잘 아는 데이터 요소들을 포함하기 때문에, 광범위하게 보존될 수 있다. 결국, 이들 데이터 요소들은 비디오 인코딩 기술에서 공지된 방법으로 인코딩될 수 있다. 이것은 역 호환성 문제들을 해결하게 한다. 또한 이것은 스트라이프 내에 포함된 정보에 대해 표준 비디오 압축 방법들을 적용할 수 있게 한다.

스트라이프들은 색, 깊이 및 위치의 터플(tuple)들에 포함된 데이터 요소들의 형태일 수 있는 스트라이프의 위치를 나타내는 데이터 요소들을 포함하기 때문에, 스트라이프들 간의 혹은 스트라이프 내의 샘플링 밀도를 가변시키기가 쉬워지게 된다. 이것은 비디오 신호 내 오클루전 및/또는 사이드 영역들에 대한 이미지 정보를 포함시킬 수 있게 한다. 또한, 주 뷰의 뷰 방향에 평행하게 가까운 물체의 부분들은 개선된 해상도로 저장될 수 있다. 이들 사이드 영역들은 주 뷰에 대해 부호화된 통상의 이미지에서는 오클루전되거나 불충분하게 규정될 수 있다. 결국 이들 부분들이 저장되는 개선된 해상도는 이러한 사이드 물체 부분들의 개선된 복구로 스테레오스코픽 뷰들을 생성하기 위해 사용될 수 있다.

또한, 후방 영역들의 정보는 스테레오스코픽 뷰들을 더 향상시키기 위해 포함될 수 있다. 또한, 후방 영역들의 정보는 물체들을 둘러보게 할 가능성을 개선하는데, 장면는 매우 다른 시각에서 볼 수 있어, 예를 들어 뷰어가 가상으로 장면을 이동할 수 있게 할 수 있게 한다.

상기한 바와 같이, 스트라이프는 주 뷰 내의 이미지 정보의 직사각형 영역을 규정하는데, 여기에서 직사각형 영역은 2차원 영역들, 1차원 영역들, 및/또는 점들을 포함하는 직사각형 영역들을 포함하는 것으로 이해된다. 2차원 영역의 예는 등거리 샘플들의 직사각형 어레이이며, 1차원 영역의 예는 등거리 샘플들의 1차원 어레이가 될 것이다.

주 뷰 내의 이미지 정보의 직사각형 영역일지라도 스트라이프는 주 뷰 내에서 볼 수 있는 것보다 밑에 있는 3차원 장면으로부터 더 많은 정보를 실제로 포함할 수 있는 것에 유의한다. 이것은 사실 이 추가의 정보가 다른 뷰가 렌더링될 때 보여질 수 있게 될 수도 있기 때문에, 스트라이프 표현의 강도이다.

1차원의 라인-기반 표현은 불필요한 저장 손실없이 더 불규칙한 형상의 물체들을 표현할 수 있게 하는 잇점이 있다. 2차원, 즉 복수-라인 기반의 표현은 예를 들어 블록 기반 압축 방식들을 사용하여 스트라이프 내에 공간적 리던던시가 활용될 수 있기 때문에 스트라이프 데이터의 개선된 압축을 할 수 있게 하는 잇점이 있다.

데이터 요소들은 색, 깊이 및 위치 데이터 요소들을 포함하는 터플들로서 그룹화될 수 있다. 색 및 깊이가 하나의 동일한 해상도로 표현되는 경우에, 화소 색 데이터 요소를 나타내는 적색, 녹색 및 청색-값들, 화소 깊이 데이터 요소를 나타내는 z-값, 및 화소 위치 데이터 요소를 나타내는 p-값을 포함하는 터플들(rgb, z, p)을 사용하는 표현이 사용될 수 있다.

깊이 정보가 색 해상도의 1/4로 서브-샘플되어 나타낸 경우에, 터플들(rgb₁, rgb₂, rgb₃, rgb₄, z, p)을 사용한 표현이 사용될 수 있다. RGB 데이터 요소들의 사용은 단지 예시적이며 YUV, 또는 서브-샘플된 YUV(4:2:0)와 같은 다른 색 데이터 요소들이 대신 사용될 수 있음이 당업자에게 명백할 것이다. 선행 터플에서 단일 p-값 및 z-값은 색 및 깊이 정보 둘 다의 위치를 나타내기 위해 사용되며, 색 및 깊이 데이터-요소들의 실제 위치는 p-값으로부터 도출될 수 있다. 라인 기반 스트라이프들을 사용할 때 p-값은 라인의 시작에 관하여 라인을 따라 오프셋을 나타낼 수 있다. 그러나, 복수-라인 스트라이프들의 경우에 p-값 자체는 x 및 y 좌표 둘 다를 나타낼 수 있고, 혹은 대안적으로, 라인 수 및 라인의 시작에 관한 오프셋을 나타낼 수 있다.

상기 예들은 모든 좌표들에 대한 단일 p-값만을 포함한다. 대안적으로 대역폭/저장이 덜 중대할 때는, 다음과 같은 더 많은 정교한 터플들이 사용될 수 있고, 더 및/또는 모든 개별적 색 및 깊이 데이터-요소들에 대해 위치 정보가 제공된다.

예를 들어, 상기 터플 (1)은 2개의 p-값들로서, 하나는 색 데이터-요소에 대한 것 및 또 하나는 깊이 데이터-요소에 대한 것을 포함한다. 터플 (2)는 색 데이터-요소들이 2개의 라인들에 걸쳐 산재된 상황을 나타내며, 색 샘플점들 1 및 2는 맨 상기 라인 상에 있으며, 샘플점들 3 및 4는 바로 밑에 맨 아래 라인 상에 위치된다. 점들 1 및 3이 이들 각각의 라인 내에서 동일한 오프셋을 갖기 때문에, 여기에서는 단일 p-값으로 충분하다. 터플들 (3) 및 (4)은 깊이 데이터-요소에 대한 별도의 p-값을 포함하지 않는다. 터플들 (3) 및 (4)에서 깊이 데이터-요소에 대한 p-값은 색 데이터-요소들의 p-값들로부터 도출될 수 있다. 마지막으로 터플 (5)는 주 뷰 내에 이미지 정보의 직사각형 영역 내에 샘플링 점들의 위치를 완전히 제어할 수 있게 한다.

신호는 주 뷰로부터 3차원 장면의 이미지를 나타내는 스트라이프들에 대응하는 샘플들을 나타내는 터플들의 제 1 서브세트, 및 오클루전 및 사이드 영역 정보를 나타내는 스트라이프들을 포함하는 제 2 서브세트로 분할될 수 있다. 결국 제 1 서브세트의 색 데이터 요소들은 제 1 데이터 스트림로서 부호화될 수 있고, 제 1 서브세트의 깊이 데이터 요소들은 제 2 데이터 스트림으로서 부호화될 수 있다. 이렇게 하여, 이미지-및 깊이와 같은 통상의 3차원 장면 표현들과의 호환성이 달성될 수 있다. 오클루전 또는 사이드 영역 정보의 색, 깊이 및 위치 데이터 요소들은 단일 스트림으로 혹은 복수의 스트림들로 부호화될 수 있다.

독립 청구항들은 발명의 또 다른 면들을 규정한다. 종속 청구항들은 잇점이 있는 실시예들을 규정한다.

도 1은 비디오 신호 및 디스플레이 시스템을 생성하기 위한 시스템의 면들을 도시한 블록도.
도 2a는 비디오 신호를 발생하는 방법의 흐름도.
도 2b는 비디오 신호를 렌더링하는 방법의 흐름도.
도 3은 장면 내 물체들을 도시한 도면.
도 4는 주 뷰 각도로부터 보여질 수 있는 장면의 부분들을 도시한 도면.
도 5는 주 뷰에서 오클루전 된 장면의 부분들의 제 2 층을 도시한 도면.
도 6은 스트라이프들의 시퀀스를 사용하여 캡처될 수 있는 장면의 부분들을 도시한 도면.
도 7은 스트라이프들의 시퀀스를 사용하여 캡처될 수 있는 장면의 부분들의 또 다른 예를 도시한 도면.
도 8은 장면의 몇 개의 뷰들을 도시한 도면.
도 9는 하드웨어 아키텍처를 도시한 도면.
도 1Oa는 3차원 장면 및 카메라 뷰포인트를 도시한 도면.
도 10b는 사이드 영역들로부터 이미지 정보는 전방 뷰 이미지를 나타내는 스트라이프들과 인터리브되는, 본 발명에 따른 스트라이프들의 시퀀스를 도시한 도면.
도 1Oc는 사이드 영역들로부터 이미지 정보는 전방 뷰 이미지와는 별개로 부호화되는, 본 발명에 따른 스트라이프들의 시퀀스를 도시한 도면.
도 11은 라인-기반 비디오 이미지를 도시한 도면.
도 12a는 비디오 라인을 따른 3차원 장면의 단면을 도시한 도면.
도 12b는 비디오 라인을 따른 윤곽 라인들을 도시한 도면.
도 13은 윤곽 라인을 따른 점들의 시퀀스를 도시한 도면.
도 14는 비디오 스트림을 도시한 도면.
도 15는 또 다른 비디오 스트림을 도시한 도면.

발명의 이들 및 다른 면들은 도면을 참조하여 더 명료하게 될 것이며 도면을 참조하여 기술될 것이다.

최근에, 3D 디스플레이들 및 이러한 디스플레이들을 구동하는데 적합한 데이터 표현들의 개발에 많은 노력이 투입되었다. 오토스테레오스코픽 3D 디스플레이들은 뷰어가 특별한 안경류(이를테면 적색/녹색 안경)를 착용할 것을 요구하지 않으나, 일반적으로 사용자들이 디스플레이되는 장면을 자유롭게 둘러볼 수 있게 하며 사용자의 좌안 및 우안이 2 이상의 서로 다른 뷰들 중 2개를 "보기" 때문에 깊이를 인지할 수 있게 하는 이들 2 이상의 뷰들을 디스플레이하는 것에 의존한다. 디스플레이들은 디스플레이되는 뷰들의 수가 다양할 수 있고, 또한 이들이 묘사할 수 있는 깊이 범위와 같은 다른 속성들이 다양할 수 있기 때문에, 이러한 차이들에 무관한 데이터 형식이 필요하게 된다. 이미지-및-깊이 형식은 MPEG-C 파트 3에 채택되었다.

이미지-및-깊이 형식이 보통의 깊이 범위 능력들을 가진 제 1 세대 3D 디스플레이들에는 적합하지만, 더 둘러볼 수 있게 하며 더 적은 소위 오클루전 아티팩트가 가능하도록 확장될 필요가 있다. 그러나, 오클루전 아티팩트는 이후 세대들의 3D 디스플레이들에서도 일어날 수 있으므로, 개선된 이미지-및-깊이 형식을 사용함으로써 이들을 제거하는 것이 잇점이 있을 것이다.

도 1은 주 뷰로부터 3차원 장면을 나타내는 신호(1300)를 발생하는 시스템(100) 및 신호를 수신하고 동일 또는 다른 뷰포인트로부터 장면을 디스플레이하기 위한 디스플레이 시스템(150)을 도시한 것이다. 신호의 몇가지 특징들이 도 10 내지 도 15에 도시되었으며 이는 시스템들(100, 150)의 설명에서 참조될 것이다. 시스템(100)은 예를 들어 DVD 마스터링 시스템, 비디오 브로드캐스트 시스템, 또는 비디오 편집 시스템에서 구현될 수 있다. 디스플레이 시스템(150)은 예를 들면 텔레비전, 예를 들어 LCD 디스플레이 또는 플라즈마 디스플레이일 수 있다. 디스플레이 시스템은 예를 들어 셔터 안경과 조합하여, 스테레오스코픽 능력들을 갖출 수 있다. 또한, 디스플레이 시스템은 이 기술에 공지된 바와 같이, 예를 들어 슬란트 렌티큘라들을 포함하는, 오토스테레오스코픽 디스플레이일 수도 있다. 디스플레이 시스템은 2D 디스플레이일 수도 있다. 이러한 2D 디스플레이 시스템은 디스플레이되는 물체들을 회전시킴으로써 3D 인상을 제공할 수도 있다. 또한, 사용자가 장면을 둘러볼 수 있게 하는 2D 또는 3D 디스플레이 시스템(150)에 의해서, 뷰포인트에 적응하는 더 정교한 자유도가 제공될 수도 있다.

도 1Oa는 이하 주 뷰라고 하는 화살표(941)로 나타낸 바와 같은 뷰 방향을 따라 뷰포인트로부터 이미지화되는 배경면(943) 전방에 위치된 입방체(944)를 포함하는 3차원 장면을 개략적으로 도시한 것이다. 화살표(941)는 배경면에 그리고 입방체 전방에 수직하므로, 이 주 뷰에 대해 인지되는 2차원 이미지에 화소들은 배경면(S921, S922, S926, S927)의 부분들에 대응하는 이미지 정보의 직사각형 영역들, 및 배경면(943)의 부분을 오클루전하는 입방체(944)의 전면에 대응하는 직사각형 영역(S924)으로 구성될 것이다. 입방체(944)의 사이드들에 대응하는 이미지 정보의 직사각형 영역들은 이러한 2차원 이미지에 포함되지 않을 것임에 유의한다. 도 10b는 주 뷰에 대해 도 10a에 도시된 3차원 장면을 나타내는 스트라이프들의 시퀀스를 도시한 것이다. 도시된 시퀀스는 입방체(944)의 사이드 영역들에 대한 이미지 정보를 더해주며, 오클루전 데이터, 즉 입방체(944)에 의해 오클루전된 배경면(943)의 데이터 요소들을 더해주지는 않는다. 도 10b에 스트라이프들의 시퀀스는 7개의 스트라이프들(S921, S922, S923, S924, S925, S926, S297)로 구성된다. 스트라이프들의 시퀀스는 도 10a에 화살표(941)로 나타낸 뷰로부터 관찰된 3차원 장면에 기초한다. 스트라이프들의 시퀀스는 도 1Oa에 도시된 바와 같이 수평 스캔 방향을 따라, 좌에서 우로, 위에서 아래로, 스캔 경로(942)에 대응한다.

스트라이프들(S921, S927)은 2차원 이미지에서 각각 입방체(944) 위 및 아래에 있을 배경면(943)의 부분의 색 및 깊이를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역들을 나타낸다. 마찬가지로, 스트라이프들(S922, S925)은 각각 입방체(944)의 좌 및 우에 대한 배경면(943)의 부분들의 이미지 정보의 직사각형 영역들을 나타낸다. 스트라이프들(S923, S925)은 스캔 경로(942)를 따라, 입방체의 두 사이드들의 색 및 깊이를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역들을 나타낸다.

시퀀스 발생기(104)에 의해 확립된 스트라이프들의 시퀀스는 신호를 직접, 즉 스캔 경로에 의해 결정된 순서로, 발생하기 위해 사용될 수 있다. 이렇게 하는 잇점은 라인을 렌더링하는데 필요한 이미지 정보는 비교적 매우 근접하게 스트라이프들에 위치된다는 것이다.

또한, 스캔 방향에 이웃하여 위치된 스트라이프들은 스트라이프들의 시퀀스를 분할하여 스트라이프들의 3 시퀀스들이 되게 함으로써, 즉 S921에 대응하는 제 1 시퀀스, 스트라이프들(S922, S923, S924, S925, S926)에 대응하는 제 2 시퀀스, 및 스트라이프(S927)에 대응하는 제 3 시퀀스로, 클러스트될 수도 있을 것이다. 이들 시퀀스들의 스트라이프들의 각각은 이들의 각각의 위치를 나타내기 위해 수평 오프셋만이 필요하게 되도록 서로에 관하여 부호화될 수도 있을 것이다. 그러나 도 10b에서 알 수 있는 바와 같이, 이것은 배경면(943) 및 입방체(944)로부터의 이미지 정보가 인터리브될 것임을 의미한다.

색, 깊이 및 위치 데이터 요소들은 3 이상의 값의 터플들 형태로 하나의 동일한 스트라이프로 함께 부호화될 수도 있다. 대안적으로, 서로 다른 유형들의 데이터 요소들 각각은 개개의 스트림들로 부호화될 수 있고, 그럼으로써 서로 다른 유형들의 데이터 요소들을 디멀티플렉스할 수 있다. 이렇게 하여 통상의 이미지-및-깊이 표현들에 더 가깝게 닮은 신호가 얻어질 수 있다.

도 1Oc은 이미지-및-깊이 형식에 더 가깝게 일치하게 되도록 정보를 부호화할 수 있게 하는 또 다른 표현을 도시한 것이다. 도 10b로부터 스트라이프들의 시퀀스를 재구성함으로써, 스트라이프들이 함께 주 뷰로부터 인지되는 2차원 이미지를 형성하도록 스트라이프들이 정렬된 신호를 발생하는 것이 가능하다. 사실 이들 스트라이프들로부터 정보는 도 1Oa에 나타낸 바와 같이 뷰포인트 및 뷰 방향으로부터 관찰된 2차원 이미지에 대응하는 새로운 스트라이프(931)로 조합될 수도 있을 것이다. 사이드 영역으로부터 이미지 정보를 포함하는 나머지 스트라이프들은 스트라이프(931)에 첨부된 스트라이프들(S923, S925)의 시퀀스로서 신호로 부호화될 것이다.

명확성을 위해서 어떠한 오클루전 정보도 상기 예에서 인코딩되지 않았을지라도, 바람직한 실시예는 사이드 영역들 및 오클루전 영역들로부터의 두 이미지 정보를 포함한다. 이렇게 하여 물체들의 사이드들이 서로 다른 뷰들에 대해 더 정확하게 렌더링될 수 있을 뿐만 아니라, 디-오클루전 영역들이 적합한 이미지 정보로 채워질 수 있다.

상기 예는 배경면 전방에 입방체를 포함하였으나, 그러나 본 발명은 더 복잡한 3차원 장면들에도 적용될 수 있다. 이 경우에, 직사각형 영역의 어떤 영역들에 대해서 가용한 이미지 정보가 전혀 없는 상황이 일어날 수도 있다. 이것은 예를 들어, 이들 데이터 요소들에 대해 마스크 또는 투명성 비트를 추가함에 의한 것과 같은, 다양한 방법들로 해결될 수 있다.

이하 복수-라인 스트라이프들이라 하는, 복수의 비디오-라인들의 데이터 요소들을 커버하는 이미지 정보의 직사각형 영역들에 대응하는 스트라이프들을 사용하는 잇점은 이러한 식으로 인코딩된 이미지 정보가 화소들 간의 공간적 리던던시를 고려하는 방식으로 압축될 수 있다. 후자는 8 x 8 DCT와 같은 복수의 데이터 요소들을 어드레스하는 주파수 영역 변환들을 사용하는 압축 방식을 사용할 때 특히 유용하다.

복수-라인 스트라이프들을 사용하는 또 다른 잇점은 이것이 색 정보 및 깊이 정보에 대해 서로 다른 샘플링 주파수들을 사용할 수 있게 한다는 것이다. 예를 들어 색 정보 RGB을 제 1 해상도로 표현하는 것과 깊이를 제 2 해상도, 예를 들어 제 1 해상도의 1/4로 사용하는 것이 가능할 수 있다.

복수-라인 스트라이프들을 사용하는 것이 어떤 잇점들이 있을지라도, 단일 비디오-라인의 데이터 요소들을 포함하는 스트라이프들을 사용하는 것도 가능하다. 이하 본 발명은 단지 명확성을 위해서 단일 비디오 라인의 데이터 요소들을 포함하는 스트라이프들의 예들을 주로 사용하여 더 설명될 것이다.

도 11은 비디오 라인들(1002)을 가진 비디오 이미지(1000)를 개략적으로 도시한 것이다. 이미지(1000)의 각각의 비디오 라인(1002)을 위한 데이터(1350)는 도 14에 도시된 바와 같이 비디오 스트림(1300)에 포함될 수 있다. 통상적으로 각각의 라인(1002)은 디스플레이의 화소들에 직접 대응하는 직선이다. 아래 기술된 실시예들에서, 이들 라인들은 매우 유연한 방식으로 3차원 정보를 포함하게 확장된다. 도 12a는 물체(1102) 및 배경(1104)을 포함하는 3차원 장면의 단면(1100)의 탑 뷰를 도시한 것이다. 생성될 신호는 바람직하게는 화살표(1106)의 방향에 가까운 뷰 방향들로부터 장면의 이미지들을 렌더링하기 위한 정보를 내포한다. 뷰포인트는 장면으로부터 먼 거리일 수도 있어 도면에 도시되지 않았다. 단면(1100)은 렌더링 프로세스 동안 수평 비디오 라인(1102)에서 보일 수 있게 될 수 있는 것에 대응한다.

시스템(100)은 단면(1100)에서 보여질 수 있는 물체들의 윤곽들의 적어도 일부를 생성하기 위한 윤곽 발생기(102)를 포함한다. 이러한 윤곽 발생기는 이 기술에 공지된 방법으로서, 예를 들어 움직임으로부터 깊이 알고리즘들을 사용하거나, 장면을 기록하기 위해 하나 이상의 카메라를 사용하고 깊이 계산 기술들을 적용함으로써 구현될 수 있다. 이러한 알고리즘들이 완전한 윤곽을 재구성하지 못할 수도 있고, 특히 물체(1102)의 후방 사이드(1108)는 이미지들 중 어느 한 이미지에서는 보이지 않을 수도 있으며, 이러한 경우에 윤곽 정보의 이 부분은 입수되지 못할 수도 있다. 또한, 장면의 다른 부분들은 이 앞에 다른 물체들 때문에 오클루전될 수 있다. 장면을 기록하기 위해 더 많은 카메라 위치들이 사용될 때, 더 많은 윤곽 정보가 얻어지게 될 수도 있다. 도 12b에서 윤곽(1154)은 시스템이 사용할 수도 있을 윤곽들(1150)의 예를 나타낸다. 예를 들어 물체(1102)의 윤곽의 부분(1154)만이 신호에 포함시키는데 사용될 수 있다. 윤곽 발생기(102) 대신에, 다른 곳으로부터 윤곽 발생기(102)에 의해 발생된 정보를 수신하기 위해 입력이 제공될 수도 있다.

시스템(100)은 뷰로부터 3차원 장면의 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스를 발생하기 위한 시퀀스 발생기(104)를 더 포함한다. 여기에서 각각의 스트라이프는 직사각형 영역의 색, 깊이 및 위치를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타낸다. 이 라인-기반 실시예에서 직사각형 영역은 한 데이터 요소의 높이를 갖는 것으로 간주된다. 윤곽 상에 샘플점들은 이들을, 터플들로서 구성될 수 있는 색, 깊이 및 위치와 같은 다양한 데이터 요소들에 연관시켰다. 도 13에 도시된 모든 샘플점들은 특정 뷰를 위해 렌더링된 비디오 라인(1002)에 기여할 수도 있다.

대부분의 현재의 멀티-뷰 디스플레이들은 뷰들의 각각에 대한 뷰 방향이 단지 각각의 수평 방향에서 상이한 복수의 뷰들을 렌더링한다. 결국 이미지들의 렌더링은 일반적으로 라인-기반 방식으로 행해질 수 있다. 결국 비디오 라인(1002)은 바람직하게는 수평 비디오 라인이다. 그러나, 본 발명은 수직 방향의 방위로 놓인 비디오 라인들에 대해 적용될 수 있다.

이들 샘플점들(1202)은 장면에 물체들의 윤곽들(1102)의 복수의 세그먼트들로부터 선택될 수 있다. 샘플점들에 연관된 데이터 요소들은 예를 들어 적색, 녹색, 및 청색(RGB) 성분들로 표현된 색, 혹은 대응하는 윤곽 점에 물체 윤곽의 색에 대응하는 당업자들에게 공지된 다른 형식들을 나타낼 수 있다. 더 융통성있는 솔루션이 요망되는 경우 예를 들어, 바이너리일 수도 있을 투명성 데이터-요소, 혹은 복수-값 데이터-요소와 같은 또 다른 정보를 추가할 수 있게 하는 것이 가능하며, 이에 따라 투명한 혹은 반-투명한 물체들을 인코딩할 수 있게 한다.

또한, 데이터 요소들은 깊이(1208)를 나타낼 수도 있다. 이러한 깊이는 1208로 화살표로 나타낸 방향으로 좌표로서 표현될 수 있다, 즉 뷰 포인트까지의 거리에 관하여 정보를 제공할 수 있다. 또한, 깊이는 이 기술에 공지된 바와 같이, 시차값으로서 표현될 수도 있다. 표현된 깊이는 앞서 언급된 뷰 방향(1106)에 대응하는 한 특정 주 뷰에 대응한다. 뷰 방향(1106)은 여기에서는 예를 들어 뷰 포인트 및 배경(1104)의 중심을 통한 라인에 평행한 라인의 방향에 관계된다. 카메라 위치가 장면 가까이에 있다면, 깊이 좌표들은 배경 상에 장면의 프로젝션에 따라 발산하는 방향들에 대응할 수 있다. 또한, 데이터 요소들은 1210로 화살표로 나타낸 방향으로 비디오 라인 위치(1210)를 나타낼 수도 있다. 이 비디오 라인 위치(1210)는 주 뷰에 따라, 비디오 이미지(1000)의 비디오 라인(1002) 내에 디스플레이 위치를 나타낸다.

특히 불규칙하게 형성된 형상들을 처리할 때 모든 샘플점들에 연관된 위치 및 깊이 데이터 요소들을 명확하게 부호화하기 위해 관계될 수 있다. 이렇게 하여, 윤곽에 관하여 임의로 분포된 샘플점들을 부호화하는 것이 가능하다. 예를 들어, 데이터 요소들은 윤곽 표면 상에 등거리로 선택된 샘플점들에 관계될 수도 있고, 또는 대안적으로 노멀 특정 물체 윤곽에 관하여 등거리로 선택될 수도 있다. 대안적으로, 좀 더 규칙적인 다각형 구조들을 부호화할 때는, 예를 들면 폴리라인(polyline) 상에 등거리 샘플 격자를 사용하여 더 효율적인 위치 부호화가 채택될 수 있다.

시퀀스 발생기(104)는 윤곽 라인들(1150)을 따라 연속한 점들을 선택한다. 예를 들어, 비디오 라인이 수평 라인이라면, 선택기(104)는 좌측에서 우측으로 연속된 점들을 선택할 수도 있다. 대안적으로 점들은 우측에서 좌측으로 선택될 수도 있다. 선택기(104)는 배경의 최좌측 부분(1152)부터 시작하여, 배경 전방의 물체 때문에 어떠한 정보도 없을 때까지 우측으로 동작한다. 이어서 선택기(104)는 물체(1154)의 윤곽에 계속될 수 있다. 선택기는 윤곽(1154)의 맨 좌측의 종점에서 시작하여, 맨 우측의 종점에 도달할 때까지 윤곽(1154)을 따라 내내 동작하고, 이곳부터, 이 경우에는 배경의 나머지 부분(1156)인 다음 물체로 계속한다.

시퀀스 발생기(104)는 스트라이프들의 시퀀스에서 1204에 가까운 샘플점들의 데이터 요소들을 내포하는 제 1 서브시퀀스, 혹은 주 뷰에서의 적어도 한 물체(1102)의 사이드 영역의 일부인 세그먼트로부터 선택된 샘플점들의 연속한 데이터 요소들을 포함할 수 있다. 또한, 시퀀스 발생기(104)는 1206에 가까운 샘플점들의 데이터 요소들, 혹은 주 뷰에서의 적어도 한 물체의 전방 영역의 일부인 세그먼트로부터 선택된 샘플점들의 연속한 데이터 요소들을 포함할 수 있다. 제 1 서브시퀀스(1204)의 2개의 연속한 샘플점들의 비디오 라인 위치들 간의 차이는 제 2 서브시퀀스(1206)의 2개의 연속한 샘플점들의 비디오 라인 위치들 간의 차이보다 작다. 이에 따라 어떤 시퀀스 부분들은 렌더링된 출력의 이미지 품질을 개선하기 위해서, 더 높은 샘플 주파수로, 혹은 대안적으로 표현 크기를 위해서 더 낮은 샘플 주파수로 샘플된 데이터 요소들을 사용하여 표현된다.

상기 시퀀스 발생기(104)는 서로 다른 스트라이프들 간의 접속을 나타내기 위해 스트라이프 내의 하나 이상의 투명한 데이터 요소들(1212)을 나타내는 터플들을 포함하도록 구성될 수 있다. 이들 투명한 샘플들(1212)은 디스플레이 시스템(150)에서 스트라이프들의 시퀀스를 효율적으로 렌더링하는데 도움을 준다. 예를 들어 한 특별한 데이터 요소가 스트라이프에, 혹은 한 개의 윤곽이 투명한지 여부를 나타내는 데이터 요소들의 터플에 포함될 수 있고, 대안적으로 '투명'을 나타내기 위해서 한 특별한 색 값, 혹은 색 범위를 유보해 둘 수도 있다. 범위의 사용은 예를 들어 신호가 후속하여 손실성 압축될 때 특히 이익될 수 있다. 시스템(100)은 스트라이프들(1350)의 시퀀스에 포함된 데이터 요소들을 포함하는 비디오 신호를 발생하는 신호 발생기(106)를 더 포함한다. 이 신호 발생기는 스트라이프들의 시퀀스가 적합하게 인코딩되는 한, 임의의 방법으로 구현될 수 있다. MPEG 표준들과 같은 디지털 신호 인코딩 방법들이 사용될 수 있다. 저장 신호들 및 송신 신호들을 포함한, 다른 아날로그 및 디지털 신호들이 발생될 수 있고 이들 신호들은 본 설명에 비추어 당업자가 이해할 수 있는 범위 내에 있다. 예를 들어, 스트라이프들의 디지털 시퀀스는 간단히 자기 디스크 또는 DVD에 파일로 저장될 수도 있다. 또한, 신호는 디스플레이 시스템(150)에 의해 수신되도록, 위성, 또는 케이블 TV를 통해 방송될 수도 있고, 예를 들어, 인터넷을 통해 송신되거나, DVI 또는 HDMI과 같은 인터페이스에 송신될 수 있다.

복수의 스트라이프들의 각각의 시퀀스들이 준비되어 복수의 각각의 비디오 라인들(1002)을 위한 신호에 포함될 수 있다. 이것은 완전한 3D 비디오 이미지(1000)을 인코딩할 수 있게 한다.

몇몇의 수단들(102, 104, 106)은 이들의 중간 결과들을 예를 들어 랜덤 액세스 메모리(110)를 통해 통보할 수 있다. 그외 구조적 설계들도 가능하다.

또한, 시스템(100)은 주 뷰에서 오클루전되는 세그먼트 및/또는 물체들의 후방 영역들의 세그먼트로부터의 샘플들을 포함하게 할 수 있다.

도 14는 몇몇의 데이터 스트림들을 포함하는 수송 스트림을 개략적으로 도시한 것이다. 각각의 수평 행은 수송 스트림 내의 데이터 스트림을 나타낸다. 이러한 수송 스트림은 신호 발생기(106)에 의해 발생될 수 있다. 대안적으로, 신호 발생기(106)는 멀티플렉서(도시되지 않음)에 의해 수송 스트림에 포함시키기 위한 데이터 스트림들을 제공할 뿐이다. 블록(1350)은 비디오 라인에 대응하는 스트라이프들의 시퀀스를 나타낸다. 라인 상의 몇 개의 블록들은 이미지의 서로 다른 비디오 라인들에 대한 다수 시퀀스들의 스트라이프들에 대응한다. 실제로, 이들 데이터 블록들은 복수의 이들 블록들을 더 큰 데이터 청크들(도면들에는 도시되어 있지 않음)에 조합시키는 압축 방법들이 적용될 수 있다. 신호 발생기(106)에 의해 발생된 수송 스트림은 스트라이프들 중 적어도 제 1 서브세트의 색들을 나타내는 데이터 요소들을 포함하는 제 1 데이터 스트림(1302)을 포함할 수 있다. 또한, 제 2 데이터 스트림(1304)은 스트라이프들 중 적어도 제 1 서브세트의 깊이들을 나타내는 데이터 요소들을 포함할 수 있다. 결국, 스트라이프들의 서로 다른 데이터 요소들은 개별적으로 신호로 송신될 수도 있다. 이것은 압축 결과들을 개선할 수 있으며 깊이 및/또는 수평 위치로서의 추가의 정보가 색 정보와는 별도로 보조 데이터 스트림에 포함된다면 이들이 레거시 디스플레이 장비에 의해 무시될 수 있기 때문에, 역 호환성을 제공하는데 도움을 준다. 또한, 색 및/또는 깊이는 이 기술에 공지된 방법들을 사용하여 인코딩될 수 있고, 2차원 비디오 코딩에 개발들을 리버리지하여, 현존의 비디오 인코더들 및 디코더들을 재사용하게 할 수 있다.

압축비를 더 개선하기 위해서, 신호 발생기(106)는 패딩 데이터 요소들을 삽입시킴으로써 스트라이프들의 제 1 시퀀스 내 데이터 요소들을 스트라이프들의 제 2 시퀀스 내 데이터 요소들에 정렬시키도록 구성될 수 있는데, 이들 두 시퀀스들은 적어도 한 물체의 부분에 관계된 것들이다. 예를 들어, 스트라이프들의 제 1 시퀀스가 제 1 비디오 라인에 관계되고 스트라이프들의 제 2 시퀀스가 이웃한 비디오 라인에 관계된 상황을 고찰한다. 이 경우에 시퀀스들은 스트라이프들의 제 1 시퀀스의 데이터 요소 수 N이 스트라이프들의 제 2 시퀀스의 데이터 요소 수 N과 동일한 수평 위치를 갖게 수평으로 정렬될 수도 있다.

스트라이프들의 시퀀스가 스캔 방향을 따라 인코딩될 때, 스트라이프들의 시퀀스는 데이터 스트림 내 공간적으로 이웃한 데이터 요소들이 스캔 방향에 수직한 방향으로 공간적으로 근접한 데이터 요소들에 정렬되게 시퀀스 발생기에 의해 데이터 스트림으로 인코딩될 수 있다.

신호 발생기(106)는 스트라이프들 중 적어도 제 1 서브세트의 위치들을 포함하는 제 3 데이터 스트림(1306)을 더 발생할 수 있다. 이들 위치 값들은 고정된 참조점(예를 들어 비디오 이미지의 좌측에 대응하는)에 대한 위치 값들로서 인코딩될 수 있다. 바람직하게, 연속한 샘플들의 위치들은 연속한 샘플들의 비디오 라인 위치들 간의 델타(차이)로서 표현된다. 후자의 경우에 값들은 공지된 무손실 압축 기술인 런-렝스 인코딩을 사용하여 효율적으로 압축될 수 있다. 그러나, 압축은 선택적인 것이며, 처리 요건들이 대역폭보다 더 중대한 상황들에선 압축은 필요하지 않을 수도 있다. 예를 들어, 압축은 DVI 또는 HDMI와 같은 디스플레이 인터페이스를 사용할 때 필요하지 않을 수 있다. 이러한 경우에, 델타 값들 또는 고정된 참조점에 대한 값들은 예를 들어 색 채널들 중 2개의 채널들, 예를 들어 녹색 및 청색 채널로 비압축된 형태로 인코딩될 수 있고, 깊이는 제 3 색 채널, 예를 들어 적색 채널로 인코딩될 수 있다.

도 15는 역 호환성이 제공되는 또 다른 실시예를 도시한 것이다. 이를 위해서, 도 10c를 참조로 기술된 상황과 유사하게, 표준 2D 비디오 프레임이 제 1 스트림(1402)으로 인코딩된다. 이 제 1 스트림(1402)은 레거시 2D 디스플레이들에 호환될 수 있다. 대응하는 깊이 값들은 제 2 스트림(1404)에 저장된다. 제 1 스트림(1402) 과 제 2 스트림(1404)의 조합은 이미지-및-깊이 비디오 데이터를 렌더링할 수 있는 레거시 3D 디스플레이들에 호환될 수 있다. 레거시 2D 이미지를 위한 수평 위치들(도 14의 제 3 스트림(1306)에서처럼)은 이들이 표준 비디오 프레임들에 대해 선험적으로 인식되기 때문에 생략될 수도 있다. 그러나, 이미지-및-깊이 스트림들(1402, 1404)에 없는 스트라이프들의 시퀀스의 부분들은 하나 이상의 추가의 스트림들에 포함된다. 즉, 스트라이프들의 시퀀스의 적어도 제 2 서브세트에 나타난 정보는 다른 한 세트의 스트림들로 인코딩되며, 제 1 서브세트 및 제 2 서브세트는 분리된다. 스트림들은 부분적으로 겹치는 점들에 관계될 수 있는데, 예를 들어 한 특정한 윤곽 세그먼트가 불충분한 해상도로 스트림들(1402, 1404)에 나타난다면(예를 들어, 뷰 방향의 각도에 가까운 각도의 면에 관계된 이미지 정보), 추가의 스트림들은 이 특정한 윤곽 세그먼트의 더 높은 해상도 버전을 제공할 수 있다. 예를 들어, 또 다른 스트림(1408)은 스트라이프들의 시퀀스의 적어도 제 2 서브세트의 색들을 포함하며, 또 다른 스트림(1410)은 스트라이프들의 시퀀스의 적어도 제 2 서브세트의 깊이들을 포함하며, 또 다른 스트림(1412)은 스트라이프들의 시퀀스의 적어도 제 2 서브세트의 수평 위치들을 포함한다.

또한, 하나 이상의 역 호환가능한 스트림들에 포함시키기 위한 정보의 다른 부분들을 추출하는 것이 가능하다. 예를 들어, 복수의 이미지-및 깊이 층들, 또는 또 다른 층의 깊이 이미지들(LDI) 표현은 역 호환가능한 스트림에 포함될 수 있는데, 역 호환가능한 스트림에 포함되지 않은 나머지 정보 및/또는 불만족스러운 해상도로 역 호환가능한 스트림에 포함된 나머지 정보는 개별적으로 포함될 수 있다.

실시예는 주 뷰로부터 3차원 장면을 나타내는 신호(1300)를 포함하며, 신호는 뷰로부터 3차원 장면의 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스(1350)를 포함한다. 그러면 각각의 스트라이프는 색, 깊이(1208) 및 위치(1210)를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타내며, 각각의 스트라이프에 대한 색 및 깊이 데이터 요소들은 장면 내 적어도 한 물체의 표면 윤곽 정보(1102)로부터 도출된다. 위치 데이터 요소는 뷰(1202) 내에 적어도 한 물체의 표면 윤곽 정보의 위치로부터 도출되며, 스트라이프들의 시퀀스의 적어도 한 스트라이프(1204)는 장면 내 적어도 한 물체의 오클루전 영역 혹은 사이드 영역에서 선택된 적어도 한 물체의 표면 윤곽 정보를 나타낸다.

스트라이프들의 시퀀스는 주 뷰에서 적어도 한 물체의 오클루전 영역 또는 사이드 영역의 일부인 세그먼트로부터 선택된 연속한 점들에 연관된 데이터 요소들의 제 1 스트라이프(1204), 및 주 뷰에서 적어도 한 물체의 전방 영역의 부분인 세그먼트로부터 선택된 연속한 데이터 요소들의 제 2 스트라이프(1206)를 포함한다. 또한, 제 1 서브시퀀스의 2개의 연속한 위치 데이터 요소들의 수평 위치들 간의 제 1 차이는 제 2 서브시퀀스의 2개의 연속한 위치 요소들의 수평 위치들 간의 제 2 차이보다 더 작을 수 있다.

도 1을 참조하면, 디스플레이 시스템(150)은 개시된 바와 같은 스트라이프들의 시퀀스를 나타내는 신호를 수신하기 위한 입력(152)을 포함한다. 디스플레이 시스템(150)은 이 신호를 예를 들어 저장매체로부터 혹은 네트워크 접속을 통해 판독함으로써 수신할 수 있다.

디스플레이 시스템(150)은 스트라이프들의 시퀀스를 사용하여 스테레오스코픽 뷰들에 대응하는 복수의 이미지들을 생성하는 이미지 발생기(154)를 더 포함한다. 스테레오스코픽 뷰들은 서로 다른 뷰 방향들을 갖는데, 즉 이들은 동일한 3차원 장면의 서로 다른 뷰들에 대응한다. 뷰들은 바람직하게는 수평으로 분산되거나, 또는 적어도 수평 방향을 따라 분산된다. 복수의 이미지들의 한 이미지는 다음과 같이 생성될 수 있다. 먼저 위치 및 깊이 데이터 요소들은 생성될 이미지의 뷰 방향 및 뷰포인트에 대응하는 비디오 라인 위치들 및 깊이들로 변환된다. 두 번째로 이미지는 이들 변환된 값들을 사용하여 렌더링되며, 임의의 수평 위치에 대해서 뷰포인트에 가장 가까운 위치를 나타내는 깊이 값만이 고려될 필요가 있다. 사실, 터플들의 시퀀스는 라인-기반 스트라이프들 경우에는 하나 이상의 3D 폴리라인들을 나타내며 복수-라인 기반 스트라이프들의 경우에는 다각형들을 나타낸다. 이들 폴리라인들은 이 기술에 공지된 바와 같이, z-버퍼링을 사용하여 렌더링될 수 있다. 예를 들어, 스트라이프들의 시퀀스에 연관된 데이터 요소들은 z-버퍼링을 사용하여 하나씩 렌더링될 수 있다. 데이터 요소들을 렌더링하는 정확한 방법은 본 발명을 제한하지 않는다.

디스플레이 시스템은 상기 복수의 이미지들을 디스플레이하기 위한 디스플레이(156)를 포함할 수 있다. 디스플레이(156)는 예를 들어 오토스테레오스코픽 슬란트 렌티큘라 디스플레이일 수 있다. 몇몇의 이미지들은 이러한 디스플레이 상에 인터리브 방식으로 렌더링될 수 있다. 대안적으로, 2개의 이미지들은 시간-순차적으로 디스플레이될 수 있으며, 셔터 안경은 사람에 의한 적합한 3D 이미지 인지를 위해 사용될 수 있다. 스테레오스코픽 디스플레이 모드들을 포함한 다른 종류의 디스플레이 모드들이 당업자에게 공지되어 있다. 또한, 복수의 이미지들은 회전 효과를 생성할 수 있는, 3D 디스플레이 상에 혹은 2D 디스플레이 상에 순차로 디스플레이될 수 있다. 이미지들을 디스플레이하는 다른 방법들, 예를 들어 장면을 통한 상호작용적 가상 내비게이션도 가능하다.

도 2a는 비디오 신호를 생성하는 방법에서 처리 단계들을 도시한 것이다. 단계(200)에서, 프로세스는 예를 들어 새로운 비디오 프레임이 처리되어야 할 때 개시된다. 단계(202)에서, 장면(배경을 포함한) 내 물체들의 윤곽 라인들은 개시된 바와 같이 준비된다. 프로세스에서 분명하게 이 단계를 수행하는 대신에, 단계(202)의 결과는 프로세스의 입력으로서 제공될 수도 있다.

단계(204)에서, 주 뷰로부터 3차원 장면의 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스(1350)가 생성되는데, 각각의 스트라이프는 색, 깊이(1208) 및 위치(1210)를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타낸다. 각각의 스트라이프에 대한 색 및 깊이 데이터 요소들은 장면 내 적어도 한 물체의 표면 윤곽 정보(1102)로부터 도출된다. 위치 데이터 요소는 주 뷰(1202) 내 적어도 한 물체의 표면 윤곽 정보의 위치로부터 도출된다. 또한, 단계(204)는 주 뷰에서 적어도 한 물체의 사이드 영역의 일부인 세그먼트로부터 선택된 연속한 점들의 데이터 요소들을 포함하는 제 1 스트라이프(1204)를 스트라이프들의 시퀀스에 포함하는 것을 수반할 수 있다. 연속한 점들의 데이터 요소들을 포함하는 제 2 스트라이프(1206)는 주 뷰에서 적어도 한 물체의 전방 영역의 일부인 세그먼트로부터 선택될 수 있다. 제 1 서브시퀀스의 2개의 연속한 위치 데이터 요소들의 수평 위치들 간의 제 1 차이는 제 2 서브시퀀스의 2개의 연속한 위치 데이터 요소들의 수평 위치들 간의 제 2 차이보다 더 작을 수 있다.

단계들(202, 204)은 이미지 내 복수의 비디오 라인들에 대해 반복될 수 있다. 단계(206)에서, 결과적인 시퀀스 또는 다수 시퀀스들의 샘플들을 포함하는 비디오 신호가 생성된다. 단계(210)에서, 프로세스가 종료된다. 앞에서 나타낸 바와 같이, 라인 기반의 스트라이프들의 시퀀스들 및 비슷하게 복수-라인 기반의 스트라이프들의 시퀀스들에 대해 방법이 적용될 수 있다. 단계(202)는 다음과 같이 수행될 수 있다. 복수의 서로 다른 뷰들로부터 본 적어도 한 물체의 복수의 이미지들이 수신된다. 깊이 정보는 상기 복수의 이미지들의 화소들에 대해 확립되거나, 추가의 입력, 예를 들어, 범위 파인더를 사용하여 결정된 깊이 값들로서 제공될 수 있다. 적어도 한 물체의 주 뷰에 따라 깊이 및 수평 위치를 나타내는 정보가 화소들에 대해 얻어지게, 2차 뷰들의 화소들이 주 뷰에 워핑된다. 이렇게 하여, 윤곽 정보가 얻어진다.

도 2b는 디스플레이 상에 이미지를 렌더링하는 방법을 도시한 것이다. 예를 들어 디스플레이를 위해 새로운 비디오 프레임이 준비될 필요가 있기 때문에, 단계(250)에서 프로세스가 개시된다. 단계(252)에서, 스트라이프들의 시퀀스(1350)를 포함하는 신호가, 개시된 바와 같이 수신된다. 단계(254)에서, 스트라이프들의 시퀀스를 사용하여 스테레오스코픽 뷰들에 대응하는 복수의 이미지들이 생성된다. 단계(256)에서, 상기 복수의 이미지들이, 개시된 바와 같이 디스플레이된다.

여기에 기술된 프로세스들 및 시스템들은 부분적으로 혹은 완전하게 소프트웨어로 구현될 수 있다.

도 3은 배경면(5) 전방에 3개의 물체들 1, 2, 및 3을 가진 장면의 단면 탑-뷰를 도시한 것이다. 화살표(310)의 방향으로 물체들 1, 2, 3 및 배경면(5)을 보았을 때, 이미지-및-깊이 형식은 화소당 색 및 깊이로서, 도 4에 401 ~ 405로 나타낸 정보를 저장할 것이다. 대안적 뷰들이 이 표현으로부터 생성될 수 있지만, 예를 들어, 화살표(320)로 나타낸 방향으로, 상이한 뷰 각도에서 장면을 관찰할 때, 이미지-및-깊이 표현은 실제로 물체들을 "둘러보고" 보여질 수 있게 되는 것, 즉 원 위치보다 더 좌측의 위치에서 보았을 때 보여질 수 있게 될 물체 1 전방의 우측 부분, 혹은 물체 2와 물체 3 사이의 우측에서 보았을 때 보여질 수도 있을 배경의 부분과 같은, 디-오클루전되는 것을 보는데 필요한 정보를 내포하지 않는다.

도 5는 복수 층들의 이미지 및 깊이를 사용함으로써 이 문제에 대한 부분적 해결책을 도시한 것이다. 예를 들어, 두 층들의 이미지-및-깊이가 사용될 수 있다. 도 5는 본 예를 위해 제 2 층에 저장될 수도 있을 부가 정보를 501 ~ 505에서 보인 것이다. 물체들 1 및 3의 완전한 전방에 면하는 사이드들은 이제 저장될 수 있으나, 3개의 층들은 완전한 배경을 저장할 것이 요구될 것이다. 또한, 중앙 뷰에 관하여 고정된 수평 간격을 사용하는 표현을 사용하여 물체들(예를 들어 물체들 1 및 3)의 사이드들을 규정하기는 어렵다. 또한 물체들의 후방에 면하는 사이드들은 이 표현과 함께 저장되지 않는다. 복수의 뷰들로부터 이미지-및-깊이를 저장하는 것이 해결책일 수도 있으나, 이들의 관계들을 깊이 신호의 압축 하에 온전하게 유지하는 것은 어려우며 복잡한 계산들을 요구하며, 또한 투명성은 많은 뷰들이 사용되지 않는 한, 또는 많은 층들, 따라서 많은 저장공간을 요구할 복수의 뷰들을 위해 복수의 층들이 제공되지 않는 한, 이러한 표현에 대해 지원하기는 어렵다.

도 6은 일종의 드레이프(drape)(600)로서 이미지 데이터를 구성하는 방법을 도시한 것이다. 이러한 드레이프(600)로, 장면의 윤곽 묘사가 효율적이고 스케일가능하게 제공될 수 있다. 이러한 드레이프(600)는 장면의 물체들 1 ~ 3 및 배경(5) 주위로 드레이프되는 시트처럼 은유적으로 거동한다. 도 6은 드레이프(600)가 장면에 대해 느슨하게 드레이프되는 구성을 도시한 것이다.

드레이프(600)는 장면 내 물체들의 표면들을 따라 윤곽 라인을 묘사한다. 바람직하게 이러한 윤곽 라인은 완전히 장면의 단면 내에 있다. 드레이프(600)는 물체들의 전방 사이드들(602)인 윤곽 라인의 부분들을 포함할 뿐만 아니라, 물체 1의 좌측 사이드(601) 및 물체 2의 좌측 사이드, 그리고 물체 3의 우측 사이드(603) 및 물체 2의 우측 사이드도 포함한다. 결국, 이미지-및-깊이 형식에 비교해서, 더 많은 오클루전 데이터가 캡처된다. 드레이프(600)의 어떤 부분들은 이미지 데이터를 내포한다. 이것의 예들이 부분들(601, 602, 603)이다. 드레이프(600)의 다른 부분들은 투명하다. 투명한 부분의 예는 부분(610, 611, 612, 613)이다. 이러한 투명한 부분은 많은 저장공간을 요구하지 않는다. 예를 들어, 이러한 부분은 모두 함께 스킵될 수도 있다. 바람직하게 드레이프의 부분이 투명함을 나타내기 위한 표시가 신호에 삽입된다. 대안적으로, 연속한 개개의 드레이프들 간의 거리가 소정의 문턱값 이상일 때, 개개의 연속한 드레이프들 사이의 부분은 투명한 것으로 설정된다.

도 7은 드레이프 표현에서 더 많은 오클루전 데이터가 캡처될 수 있음을 도시한 것이다. 은유적으로, 드레이프는 장면의 물체들 주상기 타이트하게 들어맞을 수 있다. 도 7에서 드레이프(700)는 너무 타이트하게 되어 물체들의 전체 윤곽들이 횡단되며, 이것은 스테레오스코픽 뷰들을 생성하는데 있어 최대 융통성을 제공한다. 도 6 및 도 7의 상황들 사이에 중간 량으로 타이트하게 하는 것도 가능하다.

타이트한 량 다음에, 드레이프를 따라 정보가 저장되는 해상도는 정보량 및 저장량/송신용량에 균형을 맞추기 위해 가변될 수 있다. 앞서 언급된 "투명한" 부분들은 이의 극한의 예이지만, 예를 들어, 더 낮은 해상도들로 물체들(및 특히 물체들의 후방)의 사이드들을 인코딩하기로 선택할 수도 있을 것이다. 드레이프는 등거리 또는 비-등거리 점들에 연관된 일련의 데이터 요소들로 구성될 수 있다. 이들 데이터 요소들은 색 및 아마도 또한 투명성에 관한 정보를 포함할 수 있다. 선택적으로 뷰-방향 의존성 효과들을 캡처하기 위해 추가의 정보가 포함될 수 있고, 이를테면 임의의 다른 관계된 정보뿐만 아니라, 양방향 반사 분포 데이터가 포함될 수도 있다. 샘플들은 연관된 좌표들(도면들에 도시된 바와 같은 드레이프에 대해 x 및 z, 및 완전 3D 이미지가 표현될 때 각각의 라인에 대한 시리즈)을 가질 수도 있다. 이들 시리즈를 저장하기 위해 다른 방법들이 사용될 수 있다. 특히 무손실 압축이 사용된다면, 체인 코드들이 사용될 수도 있을 것이다.

후속되는 수평 드레이프-라인들을 위해 수직 응집력(cohesion)을 유지하는 것이 가능하다. 이것은 양호한 압축 성능을 달성할 수 있게 한다. 예를 들어, 레귤러 이미지-및-깊이 표현이 개별적으로 추출되거나 저장될 수 있으며, 추가의 개개의 드레이프들(이미지-및-깊이 샘플들에 다시 삽입될 수 있는)이 추가의 데이터로서 저장될 수 있다. 이것은 현재의 이미지-및-깊이 형식에 역 호환성을 보증하며 전체 드레이프-데이터를 선택적 부가로서 추가한다. 또한, 레귤러 이미지-및-깊이 표현은 고성능 압축 기술들을 사용하여 압축될 수 있다. 나머지 개개의 추가의 데이터들은 최적 압축을 위해 수직 응집력이 최대화되도록 구성될 수 있다. 드레이프-라인들이 수직 비디오 라인들에 대응한다면, 유사한 방식으로 수평 응집력이 유지될 수 있다.

드레이프 표현은 서로 다른 위치들에서 장면을 보는 몇대의 카메라들의 이미지들(및 아마도 깊이들)로부터 구성될 수 있고, 혹은 예를 들어 (가상의) 장면을 통해 슬라이스함으로써 얻어지는 복셀(voxel) 표현으로부터 도출될 수 있다. 드레이프로부터 뷰를 렌더링하는 것은 적합한 오클루전 및 디-오클루전 처리에 의한 깊이-의존성 시프트의 프로세스에 의해 실현될 수 있다.

컴퓨터 그래픽스 분야에서, 예를 들어 컴퓨터 그래픽스 및 상호작용 기술들에 관한 27차 연례 컨퍼런스 회의에서, M.M. Oliveira 등의 "Relief texture mapping", pages 359-368, 2000, ISBN 1-58113-208-5에 기술된 바와 같은 경계 표현들이 공지되어 있다. 이들 컴퓨터 그래픽스 표현들은 사실상 일반적으로 매우 기하학적이며(예를 들어, 메시-기반), 드레이프는 매우 잘 압축될 수 있는 비디오 신호들로서 색만이 아니라 깊이들도 표현될 수 있는 비디오와 같은 표현에서 사용될 수 있다.

또한 여기에 기술된 기술을 사용하여 수직 디-오클루전 정보를 인코딩하는 것이 가능하다. 예를 들어, 하나 이상의 시퀀스들의 샘플들은 이에 연관된 수평 위치들 대신 수직 위치들을 가질 수도 있다. 이들 "수직 드레이프 라인들" 은 "수평 드레이프 라인들" 대신에 혹은 이에 더하여 사용될 수 있다. 대안적으로, 물체의 상측 및/또는 하측 에지를 시각화하는 것을 수용하기 위해, 연속한 시퀀스들의 샘플들 간에 수직 간격을 가변되게 할 수도 있다.

"드레이프"는 스트라이프들의 시퀀스로서 기술될 수 있다. 이들 스트라이프들은 색 값, 수평 위치값(예를 들어, 주 뷰의 한 라인 상의 화소수), 깊이값 또는 시차값, 및/또는 투명성 인디케이터 또는 값을 포함할 수 있다. 완전히 투명한 부분을 위해 색이 필요하지 않음이, 또는 "투명"을 나타내기 위해 한 특정한 색 값이 유보될 수 있는 것이 명백할 것이다. 전방 사이드가 뷰 방향에 정상적으로 가까운 입방체의 사이드들은 (거의 혹은 정확히)동일 위치 p, 다른 d, 및 적합한 색 값들을 갖는 연속된 터플들을 사용하여 기술될 것이다. 서로의 전방에 있는 물체들은 드레이프의 투명한 부분에 의해 접속될 수 있다. "느슨한 드레이프"를 사용하면, 물체들의 전방 표면들 및 사이드 표면들만이 드레이프로 기술된다. "타이트한 드레이프"를 사용하면, 물체들의 뒷면들이 드레이프로 기술된다. 많은 경우들에서, 어떤 사이드 및 후방 표면 정보는 있지만 모든 정보가 있지는 않다. 드레이프는 가용한 임의의 정보를 수용하기 위해 사용될 수 있다. 가용하지 않은 혹은 수신측에서 필요로 하지 않는 정보를 위해 저장공간을 낭비하는 것을 필요하지 않다. 또한, 리던던트 데이터를 저장하는 것은 필요하지 않다. 복수의 층들을 사용한 비디오 인코딩들에서, 압축 후라도, 모든 층들을 채우기 위해 가용한 충분한 정보가 없다면 일부 저장공간은 낭비될 수도 있다.

예를 들어 3개의 이웃한 카메라들(좌측, 중앙, 및 우측 카메라)에 의해 취해진, 동일 장면의 3개의 이미지들(좌, 중앙, 및 우 이미지)를 사용하면, 3개의 이미지들의 정보를 단일 드레이프로 합체하는 것이 가능하다. 먼저, 모든 3개의 이미지들을 위해 깊이 맵이 재구성된다. 예를 들어 카메라 조정(calibration)을 수반하는 스테레오스코픽 계산들이 채용될 수도 있다. 이러한 계산들은 공지되어 있다. 다음에, 우 및 좌 이미지들이 중앙 이미지의 기하형태로 워핑된다. 워핑된 좌 이미지, 워핑된 우 이미지, 및 중앙 이미지에 나타나는 표면들은 겹치거나 이웃한 표면 영역들을 검출함으로써 함께 스티치될 수 있다. 다음에, 이들 (워핑된) 이미지 점들을 샘플링 혹은 선택함으로써 드레이프 라인들이 구성될 수 있다.

수직 일관성을 유지하기 위해서, 투명한 샘플들을 삽입하는 것이 가능하다. 이것은 공지된 비디오 압축 기술들을 사용할 때 얻어지는 압축비들을 개선한다.

드레이프 라인의 렌더링은 z-버퍼링을 사용한 3D 폴리라인 렌더링과 매우 유사하게 수행될 수 있다.

드레이프 라인들을 나타내는 샘플들의 시퀀스들은 다수의 이미지들로 저장될 수 있다. 제 1 이미지는 색 정보를 포함할 수 있다. 또한, 3개의 개별적 이미지들로서 R, G, 및 B, 또는 Y, U 및 V와 같은 성분들 각각을 인코딩하는 것이 가능하다. 또한, 공지된 바와 같이, U 및 V을 서브-샘플링함으로써 더 잘 압축될 수 있는 예를 들어 YUV 색 공간으로 색들을 변환하는 것이 가능하다. 제 2 이미지는 깊이 정보를 포함할 수 있다. 이 깊이 정보는 예를 들어 좌표에 의해서, 혹은 시차 정보에 의해 인코딩될 수 있다. 제 3 이미지는 수평 좌표들로서, 예를 들어 전체 화소들로 표현되거나, 대안적으로 서브-화소 정밀(예를 들어, 부동점 값)을 가능하게 하는 표시를 사용하여 표현된 비디오 라인 위치를 포함할 수 있다. 이들 이미지들은 표준 비디오 압축을 사용하여 더욱 압축될 수 있다. 바람직하게, x-좌표들을 내포하는 이미지는 델타들로 표현될 수 있는데, 연속된 샘플들의 x-좌표들 간의 차이는 x-좌표들의 절대값들 대신 저장될 수 있다. 이것은 효율적인 런-렝스 인코딩 압축을 수행할 수 있게 한다. 이들 이미지들은 별도의 데이터 스트림들에 저장될 수 있다.

바람직하게, 종래의 비디오 스트림으로서 개별적으로 저장 혹은 송신되게 하기 위해서, 선택적 깊이 정보를 가진 레귤러 2D 이미지를 추출함으로써 역 호환성이 제공된다. 깊이 이미지는 보조 스트림으로서 추가될 수 있다. 샘플들의 시퀀스들의 나머지 부분은 하나 이상의 별도의 스트림들에 저장될 수 있다.

도 8은 입방체(801) 및 배경(802)을 포함하는 장면을 도시한 것이다. 장면은 3대의 카메라 위치들(810, 811, 812)을 사용하여 캡처된다. 도 8은 특정하게 좌측 카메라(810)를 사용하여 캡처된 것을 도시한 것이다. 예를 들어, 좌측 카메라는 윤곽 세그먼트들 F, G, 및 H이 아닌 윤곽 세그먼트들 A, B, C, D, E, 및 I을 캡처한다.

카메라들 중 2개의 이미지 데이터는 제 3 카메라 위치에 워핑될 수 있다, 예를 들어 맨 좌측 및 맨 우측 이미지들은 중앙 카메라에 워핑될 수 있는데, 이것은 워핑된 이미지들의 화소들의 x-값들을 변경한다. 도 8에서 입방체 물체의 사이드 표면의 경우와 같이, 몇몇의 화소들이 동일 x-값(그러나 다른 깊이값을 가진)을 갖는 것이 발생할 수도 있다. 특히 좌측 카메라가 중앙 카메라의 뷰에서 물체의 후방 표면인 물체의 부분을 본다면, 이러한 워핑된 이미지의 x-값들이 단조가 아닌 것도 가능하다. 이들 사이드 및 후방 부분은 이 설명에서 기술된 바와 같이, 터플들("드레이프")의 시퀀스로 효과적으로 저장될 수 있다. 이러한 사이드 혹은 후방 부분들이 저장되는 해상도는 가용한 뷰들에서 사이드 혹은 후방 부분에 할당되는 화소들의 수에 좌우될 수 있다.

도 9는 여기에서는 소프트웨어로 기술된 방법들 및 시스템들의 부분을 구현하기 위한 하드웨어 아키텍처의 예를 도시한 것이다. 그외 아키텍처들도 사용될 수 있다. 명령들을 포함한 컴퓨터 프로그램 제품을 저장하기 위해 메모리(906)가 사용된다. 이들 명령들은 프로세서(902)에 의해 판독되고 실행된다. 예를 들어 원격제어기 또는 컴퓨터 키보드에 의해, 사용자 상호작용 가능성들을 위해서 입력(904)이 제공된다. 이것은 예를 들어 한 시퀀스의 이미지들의 처리를 개시하기 위해 사용될 수 있다. 또한, 깊이 인지량, 생성할 스테레오스코픽 이미지들 수, 혹은 비디오 신호에 포함될 오클루전 데이터의 량 및 해상도와 같은 구성가능 파라미터들을 설정하기 위해 입력이 사용될 수 있다. 디스플레이(912)는 예를 들어, 그래픽 사용자 인터페이스를 제공함으로써 사용자 친화적으로 상호작용 가능성들을 구현하는데 도움이 될 수 있다. 또한, 디스플레이(912)는 입력 이미지들, 출력 이미지들, 및 여기에 기술된 처리의 중간 결과들을 디스플레이하기 위해 사용될 수 있다. 이미지 데이터의 교환은 비디오 네트워크(예를 들어 디지털 또는 아날로그, 지상, 위성, 또는 케이블 브로드캐스트 시스템) 혹은 인터넷에 접속될 수 있는 통신포트(908)에 의해 용이해진다. 또한, 데이터 교환은 착탈가능 매체(910)(예를 들어, DVD 드라이브 또는 플래시 드라이브)에 의해 용이해 질 수 있다. 이러한 이미지 데이터는 로컬 메모리(906)에 저장될 수도 있다.

본 발명은 발명을 실시하도록 구성된, 컴퓨터 프로그램들, 특히 캐리어 상의 또는 캐리어 내의 컴퓨터 프로그램들로 확장됨을 알 것이다. 프로그램은 소스 코드, 객체 코드, 코드 중간 소스 및 부분적으로 컴파일된 형태와 같은 객체 코드 형태로, 혹은 발명에 따른 방법의 구현에 사용하기에 적합한 그외 어떤 다른 형태일 수 있다. 캐리어는 프로그램을 실을 수 있는 임의의 엔티티 혹은 디바이스일 수 있다. 예를 들어, 캐리어는 ROM과 같은 저장매체로서 예를 들어 CD ROM 혹은 반도체 ROM, 혹은 자기기록매체로서 예를 들어 플로피 디스크 혹은 하드디스크를 포함할 수 있다. 또한, 캐리어는 전기적 혹은 광학적 케이블을 통해서 혹은 무선 또는 그외 수단에 의해 전달될 수 있는 전기적 혹은 광학적 신호와 같은 전송가능한 캐리어일 수 있다. 프로그램이 이러한 신호로 실현될 때, 캐리어는 이러한 케이블 혹은 그외 디바이스 혹은 수단에 의해 구성될 수 있다. 대안적으로, 캐리어는 프로그램이 내장된 집적회로일 수 있고, 집적회로는 관계된 방법을 수행하거나, 혹은 이 방법의 수행에서 사용하도록 구성된 것이다.

상기 언급된 실시예들은 발명을 제한하기보다는 예시하는 것이며 당업자들은 첨부된 청구항들의 범위 내에서 많은 대안적 실시예들을 설계할 수 있을 것임에 유의한다. 청구항들에서, 괄호 내 임의의 참조부호들은 청구항을 한정하는 것으로 해석되지 않을 것이다. "포함하다"라는 동사의 사용은 청구항에 언급된 것들 외의 요소들 혹은 단계들의 존재를 배제하는 것이 아니다. 단수표시는 이러한 요소들의 복수의 존재를 배제하지 않는다. 발명은 몇 개의 구별되는 요소들을 포함하는 하드웨어에 의해서, 그리고 적절히 프로그램된 컴퓨터에 의해서 구현될 수 있다. 몇 개의 수단들을 나열한 디바이스 청구항에서, 이들 수단들 중 몇몇은 하나의 동일한 하드웨어에 의해 실현될 수 있다. 어떤 조치들이 상호 서로 다른 종속 청구항들에 인용되었다는 단순한 사실은 이들 조치들의 조합이 잇점이 있게 사용될 수 없다는 것을 나타내는 것은 아니다.

Claims

주 뷰로부터 3차원 장면을 나타내는 신호(1300)를 생성하는 시스템(100)에 있어서,
각각의 스트라이프는 직사각형 영역의 색, 깊이(1208) 및 위치(1210)를 규정하는 데이터 요소들을 포함하는 이미지 정보의 상기 직사각형 영역을 나타내는 것으로, 상기 주 뷰로부터 상기 3차원 장면의 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스(1350)를 발생하는 시퀀스 발생기(104)로서,
각각의 스트라이프를 위한 상기 색 및 깊이 데이터 요소들은 상기 장면 내 적어도 한 물체의 표면 윤곽 정보(1102)로부터 도출되며,
상기 위치 데이터 요소는 상기 주 뷰 내의 상기 적어도 한 물체의 상기 표면 윤곽 정보의 상기 위치로부터 도출되며,
스트라이프들의 시퀀스의 적어도 한 스트라이프(1204)는 상기 장면 내 상기 적어도 한 물체의 오클루전 영역 또는 사이드 영역에서 선택된 상기 적어도 한 물체의 표면 윤곽 정보를 나타내는, 상기 시퀀스 발생기(104); 및
상기 스트라이프들의 시퀀스를 포함하는 비디오 신호를 발생하기 위한 신호 발생기(106)를 포함하는, 시스템(100).
제 1 항에 있어서, 각각의 스트라이프에 포함된 상기 색, 깊이 및 위치 데이터 요소들은 색, 깊이 및 위치 데이터 요소들의 터플(tuple)들로서 그룹화된, 시스템(100).
제 1 항에 있어서, 상기 시퀀스 발생기는 상기 주 뷰에 상기 적어도 한 물체의 후방 사이드 영역으로부터 표면 윤곽 정보를 나타내는 스트라이프를 상기 스트라이프들의 시퀀스에 포함시키도록 구성되는, 시스템(100).
제 1 항에 있어서, 상기 신호 발생기는 수송 스트림을 발생하도록 구성되며, 상기 수송 스트림은:
상기 스트라이프들의 시퀀스의 적어도 제 1 서브세트의 상기 색 데이터 요소들을 포함하는 제 1 데이터 스트림(1302); 및
상기 스트라이프들의 시퀀스의 적어도 상기 제 1 서브세트의 상기 깊이 데이터 요소들을 포함하는 제 2 데이터 스트림(1304)을 포함하는, 시스템(100).
제 4 항에 있어서, 상기 수송 스트림은 상기 스트라이프들의 시퀀스의 적어도 상기 제 1 서브세트의 위치 데이터 요소들을 포함하는 제 3 데이터 스트림(1306)을 더 포함하는, 시스템(100).
제 4 항에 있어서, 데이터 스트림(1302, 1304)로 인코딩된 상기 스트라이프들의 시퀀스는 스캔 방향으로 인코딩되고, 상기 시퀀스 발생기는 상기 제 1 데이터 스트림 및 상기 제 2 데이터 스트림 중 적어도 한 스트림 내 공간적으로 이웃한 데이터 요소들을 상기 스캔 방향에 수직한 방향으로 정렬시키기 위해 패딩 데이터 요소들을 상기 데이터 스트림(1302, 1304)에 추가하도록 구성되는, 시스템(100).
제 1 항 또는 제 4 항에 있어서, 상기 색 데이터 요소들은 제 1 해상도로 표현되고, 상기 깊이 데이터 요소들은 제 2 해상도로 표현되며, 상기 제 1 해상도의 상기 x-성분 또는 상기 y-성분 중 적어도 하나는 상기 제 2 해상도보다 큰, 시스템(100).
제 1 항 또는 제 4 항에 있어서, 각각의 스트라이프에 포함된 색 및 깊이 데이터 요소들은 색 및 깊이 데이터 요소들의 터플들로서 그룹화되며;
각각의 스트라이프에 포함된 색 및 깊이 데이터 요소들은 등거리 격자 상에 배치되며;
상기 위치 데이터 요소는 상기 주 뷰 내의 스캔 방향을 따라 상기 스트라이프의 상기 표면 윤곽 정보의 위치를 나타내는, 시스템(100).
제 4 항에 있어서, 상기 수송 스트림은:
상기 스트라이프들의 시퀀스의 제 2 서브세트의 상기 색 데이터 요소들을 포함하는 데이터 스트림;
상기 스트라이프들의 시퀀스의 적어도 상기 제 2 서브세트의 상기 깊이 데이터 요소들을 포함하는 데이터 스트림; 및
상기 스트라이프들의 시퀀스의 적어도 상기 제 2 서브세트의 상기 위치 데이터 요소들을 포함하는 데이터 스트림 중 적어도 하나를 더 포함하며;
상기 제 1 서브세트 및 상기 제 2 서브세트는 분리된 것인, 시스템(100).
주 뷰로부터 3차원 장면을 나타내는 신호를 사용하여 이미지를 렌더링하는 렌더링 시스템(150)에 있어서,
상기 주 뷰로부터 상기 3차원 장면의 상기 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스(1350)를 포함하는 상기 신호를 수신하는 입력(152)으로서, 각각의 스트라이프는 직사각형 영역의 색, 깊이(1208) 및 위치(1210)를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타내며,
각각의 스트라이프를 위한 상기 색 및 깊이 데이터 요소들은 상기 장면 내 적어도 한 물체의 표면 윤곽 정보(1102)로부터 도출되며;
상기 위치 데이터 요소는 상기 주 뷰 내 상기 적어도 한 물체의 상기 표면 윤곽 정보의 상기 위치로부터 도출되며;
상기 스트라이프들의 시퀀스의 적어도 한 스트라이프(1204)는 상기 장면 내 상기 적어도 한 물체의 오클루전 영역 또는 사이드 영역에서 선택된 상기 적어도 한 물체의 표면 윤곽 정보를 나타내는, 상기 입력(152); 및
스트라이프들의 시퀀스를 사용하여 또 다른 뷰에 대응하는 상기 이미지를 렌더링하기 위한 이미지 발생기(154)를 포함하는, 렌더링 시스템.
제 10 항에 있어서, 상기 이미지 발생기는 상기 스트라이프들의 시퀀스를 사용하여 복수의 스테레오스코픽 뷰들에 대응하는 복수의 스테레오스코픽 이미지들을 발생하도록 구성된, 렌더링 시스템.
주 뷰로부터 3차원 장면을 나타내는 신호를 사용하여 이미지를 디스플레이하는 디스플레이 시스템에 있어서,
제 10 항 또는 제 11 항에 따른 렌더링 시스템; 및
상기 렌더링된 이미지를 디스플레이하는 디스플레이(156)를 포함하는, 디스플레이 시스템.
주 뷰로부터 3차원 장면을 나타내는 신호(1300)로서, 상기 신호는 상기 주 뷰로부터 상기 3차원 장면의 상기 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스(1350)를 포함하며, 각각의 스트라이프는 직사각형 영역의 색, 깊이(1208) 및 위치(1210)를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타내며,
각각의 스트라이프를 위한 상기 색 및 깊이 데이터 요소들은 상기 장면 내 적어도 한 물체의 표면 윤곽 정보(1102)로부터 도출되며;
상기 위치 데이터 요소는 상기 주 뷰 내 상기 적어도 한 물체의 상기 표면 윤곽 정보의 상기 위치로부터 도출되며;
상기 스트라이프들의 시퀀스의 적어도 한 스트라이프(1204)는 상기 장면 내 상기 적어도 한 물체의 오클루전 영역 또는 사이드 영역에서 선택된 상기 적어도 한 물체의 표면 윤곽 정보를 나타내는, 신호.
주 뷰로부터 3차원 장면을 나타내는 신호(1300)를 발생하는 방법(100)에 있어서,
상기 주 뷰로부터 상기 3차원 장면의 상기 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스(1350)를 생성하는 단계로서, 각각의 스트라이프는 직사각형 영역의 색, 깊이(1208) 및 위치(1210)를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타내며,
각각의 스트라이프를 위한 상기 색 및 깊이 데이터 요소들은 상기 장면 내 적어도 한 물체의 표면 윤곽 정보(1102)로부터 도출되며;
상기 위치 데이터 요소는 상기 주 뷰 내 상기 적어도 한 물체의 상기 표면 윤곽 정보의 상기 위치로부터 도출되며;
상기 스트라이프들의 시퀀스의 적어도 한 스트라이프(1204)는 상기 장면 내 상기 적어도 한 물체의 오클루전 영역 또는 사이드 영역에서 선택된 상기 적어도 한 물체의 표면 윤곽 정보를 나타내는, 상기 생성 단계; 및
상기 스트라이프들의 시퀀스를 포함하는 비디오 신호를 생성하는 단계를 포함하는, 방법.
제 14 항에 있어서, 복수의 뷰들로부터 본 상기 적어도 한 물체의 복수의 이미지들을 수신하는 단계;
상기 복수의 이미지들의 화소들에 대한 깊이 정보를 확립하는 단계;
상기 주 뷰에 따른 색, 깊이 및 위치를 나타내는 정보가 상기 스트라이프들의 시퀀스를 생성하는데 사용하기 위해 얻어지도록, 상기 주 뷰에 대한 상기 색, 깊이 및 위치 데이터 요소들을 포함한, 상기 복수의 뷰포인트들의 상기 이미지 정보를 워핑(warping)하는 단계를 더 포함하는, 방법.
주 뷰로부터 3차원 장면을 나타내는 신호를 사용하여 이미지를 렌더링하는 렌더링 방법에 있어서,
상기 주 뷰로부터 상기 3차원 장면의 상기 표현의 적어도 일부를 규정하는 스트라이프들의 시퀀스(1350)를 포함하는 상기 신호를 수신하는 단계로서, 각각의 스트라이프는 직사각형 영역의 색, 깊이(1208) 및 위치(1210)를 규정하는 데이터 요소들을 포함하는 이미지 정보의 직사각형 영역을 나타내며,
각각의 스트라이프를 위한 상기 색 및 깊이 데이터 요소들은 상기 장면 내 물체의 표면 윤곽 정보(1102)로부터 도출되며;
상기 위치 데이터 요소는 상기 주 뷰 내 상기 물체의 상기 표면 윤곽 정보의 상기 위치로부터 도출되며;
상기 스트라이프들의 시퀀스의 적어도 한 스트라이프(1204)는 상기 장면 내 상기 적어도 한 물체의 오클루전 영역 또는 사이드 영역에서 선택된 상기 물체의 표면 윤곽 정보를 나타내는, 상기 수신 단계; 및
상기 스트라이프들의 시퀀스를 사용하여 상기 주 뷰에 대응하는 상기 이미지를 렌더링하는 단계를 포함하는, 방법.
제 14 항 내지 제 16 항 중 어느 한 항에 따른 상기 방법을 적어도 한 프로세서로 하여금 수행하도록 하기 위한 기계 판독가능 명령들을 포함하는 컴퓨터 프로그램 제품.