KR20170040342A - 스테레오 이미지 녹화 및 재생 - Google Patents

스테레오 이미지 녹화 및 재생 Download PDF

Info

Publication number
KR20170040342A
KR20170040342A KR1020177006477A KR20177006477A KR20170040342A KR 20170040342 A KR20170040342 A KR 20170040342A KR 1020177006477 A KR1020177006477 A KR 1020177006477A KR 20177006477 A KR20177006477 A KR 20177006477A KR 20170040342 A KR20170040342 A KR 20170040342A
Authority
KR
South Korea
Prior art keywords
rendering
layer
scene
rendering layer
pixels
Prior art date
Application number
KR1020177006477A
Other languages
English (en)
Inventor
마르코 니에멜라
킴 그론홀름
앤드류 발드빈
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20170040342A publication Critical patent/KR20170040342A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H04N13/0275—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

본 발명은 장면 모델을 형성하고, 제 1 그룹의 장면 포인트를 결정하고 - 제 1 그룹의 장면 포인트는 렌더링 시점에서 가시적임 - , 제 2 그룹의 장면 포인트를 결정하고 - 제 2 그룹의 장면 포인트는 렌더링 시점에서 보이는 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - , 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성하고, 제 1 렌더링 층 및 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더하는 것과 관련된다. 본 발명은 또한 픽셀을 포함하는 제 1 렌더링 층 및 제 2 렌더링 층을 수신하고 - 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 제 2 렌더링 층은 렌더링 시점에서 보이는 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 장면의 제 2 부분은 렌더링 시점에서 보이는 제 1 부분에 의해 가려짐 - , 제 1 렌더링 층의 픽셀 및 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하고, 깊이 값을 픽셀과 연관시키고, 픽셀 및 깊이 값을 이용하여 스테레오 이미지를 렌더링하는 것과 관련된다.

Description

스테레오 이미지 녹화 및 재생{STEREO IMAGE RECORDING AND PLAYBACK}
정지 이미지 및 동화상의 디지털 스테레오 뷰잉(digital stereo viewing)은 보편화되었고, 3D(three-dimensional; 3차원) 영화를 보기 위한 장비가 보다 폭 넓게 이용 가능해 졌다. 영화관은, 영화의 각각의 프레임에 대해 좌안과 우안이 서로 다른 이미지를 볼 수 있도록 하는 특수 안경을 이용한 영화 감상에 기반하여 3D 영화를 제공하고 있다. 동일한 접근법이 3D 이용가능 플레이어 및 텔레비전 세트를 이용하는 가정에서의 사용에 적용되었다. 실제로, 영화는 동일한 장면에 대해 두 개의 뷰인 좌안용의 뷰와 우안용의 뷰로 구성되었다. 이들 뷰는, 스테레오 뷰잉에 적합한 컨텐츠를 직접적으로 생성하는 특수 스테레오 카메라를 가지고 영화를 캡쳐하는 것에 의해 생성되었다. 뷰가 두 눈에 제공될 때, 사람의 시각 시스템은 장면의 3D 뷰를 생성한다. 이 기술은, 뷰잉 영역(영화 스크린 또는 텔레비전)이 시야(field of vision)의 일부만을 점유하며, 따라서 3D 뷰의 경험이 제한된다는 단점을 갖는다.
보다 현실적인 경험을 위해, 전체 시야 중 더 큰 영역을 차지하는 디바이스가 생성되었다. 눈(eye)을 덮도록 그리고 작은 스크린 및 렌즈 배열체(lens arrangement)를 이용하여 좌안용 픽쳐 및 우안용 픽쳐를 디스플레이하도록 머리에 착용되는 것이 의도된 이용가능한 특수 스테레오 뷰잉 고글이 존재한다. 이러한 기술은 또한, 3D 뷰잉을 위해 일반적으로 사용되는 상당히 큰 TV 세트와 비교하여, 그것이 작은 공간에서, 심지어 이동 중에도 사용될 수 있다는 이점을 갖는다. 게이밍 목적을 위해, 이러한 스테레오 고글과 호환되며, 인공적인 게임 세계의 스테레오 뷰잉에 필요로 되는 두 개의 이미지를 생성할 수 있는, 따라서 게임 장면의 내부 모델의 3D 뷰를 생성하는 게임이 존재한다. 상이한 픽쳐는 모델로부터 실시간으로 렌더링되며, 따라서 이 접근법은, 특히 게임의 장면 모델이 복잡하고 아주 상세하며 많은 오브젝트를 포함하는 경우 컴퓨팅 파워를 필요로 한다. 이 합성 모델 기반 접근법은 실세계 비디오 재생에 적용가능하지 않다.
따라서, 스테레오 녹화 및 재생, 즉 3D 비디오 같은 3D 이미지의 캡쳐 및 뷰잉을 가능하게 하는 대안적인 솔루션이 필요하다.
이제, 상기 문제점이 경감되게 하는 향상된 방법 및 그 방법을 구현하는 기술적 장비가 발명되었다. 본 발명의 다양한 양태는, 독립 청구항에서 언급되는 것을 특징으로 하는 방법, 장치, 서버, 렌더러, 데이터 구조, 및 내부에 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 매체를 포함한다. 본 발명의 다양한 실시예는 종속 청구항에서 개시된다.
본 발명은 장면 모델을 형성하고, 제 1 그룹의 장면 포인트를 결정하고 - 제 1 그룹의 장면 포인트는 렌더링 시점에서 가시적임 - , 제 2 그룹의 장면 포인트를 결정하고 - 제 2 그룹의 장면 포인트는 렌더링 시점에서 보이는 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - , 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성하고, 제 1 렌더링 층 및 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더하는 것과 관련된다. 본 발명은 또한 픽셀을 포함하는 제 1 렌더링 층 및 제 2 렌더링 층을 수신하고 - 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 제 2 렌더링 층은 렌더링 시점에서 보이는 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 장면의 제 2 부분은 렌더링 시점에서 보이는 제 1 부분에 의해 가려짐 - , 제 1 렌더링 층의 픽셀 및 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하고, 깊이 값을 픽셀과 연관시키고, 픽셀 및 깊이 값을 이용하여 스테레오 이미지를 렌더링하는 것과 관련된다. 따라서, 제 1 렌더링 층은 시점에서 직접 볼 수 있는 그리고 예컨대 제 1 카메라에 의해 캡쳐된 장면의 부분을 나타내는 픽셀을 포함한다. 제 2 렌더링 층 및 추가 렌더링 층은 하나 이상의 오브젝트 뒤에 가려진 장면의 부분을 나타내는 픽셀을 포함한다. 추가 렌더링 층에 대한 데이터는 제 1 카메라와 다른 위치에 배치된 다른 카메라에 의해 캡쳐되었을 수 있다.
제 1 양상에 따라, 방법이 제공되는데, 방법은 제 1 소스 이미지로부터의 제 1 이미지 데이터와 제 2 소스 이미지로부터의 제 2 이미지 데이터를 이용하여 장면 모델을 형성하는 단계 - 장면 모델은 장면 포인트를 포함하고, 각 장면 포인트는 장면의 좌표 공간 내의 위치를 가짐 - 와, 제 1 그룹의 장면 포인트를 결정하는 단계 - 제 1 그룹의 장면 포인트는 시점에서 가시적이고, 시점은 장면의 좌표 공간 내의 위치를 가짐 - 와, 제 2 그룹의 장면 포인트를 결정하는 단계 - 제 2 그룹의 장면 포인트는 시점에서 보이는 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 와, 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성하는 단계 - 제 1 렌더링 층 및 제 2 렌더링 층은 픽셀을 포함함 - 와, 제 1 렌더링 층 및 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더링하는 단계를 포함한다.
실시예에 따라, 방법은 제 3 그룹의 장면 포인트를 결정하는 단계 - 제 3 그룹의 장면 포인트는 시점에서 보이는 제 2 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 와, 제 3 그룹의 장면 포인트를 이용하여 제 3 렌더링 층을 형성하는 단계 - 제 3 렌더링 층은 픽셀을 포함함 - 와, 제 3 렌더링 층을 제공하여 스테레오 이미지를 렌더링하는 단계를 포함한다. 실시예에 따라, 제 2 렌더링 층은, 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려진 장면 포인트에 대응하는 활성 픽셀을 포함하는 희박층(sparse layer)이다. 실시예에 따라, 방법은 제 2 렌더링 층에 더미 픽셀을 형성하는 단계 - 더미 픽셀은 장면 포인트에 대응하지 않음 - 와, 이미지 인코더를 이용하여 제 2 렌더링 층을 데이터 구조로 인코딩하는 단계를 포함한다. 실시예에 따라, 방법은 이미지 인코더를 이용하여 렌더링 층들을 하나 이상의 인코딩된 데이터 구조로 인코딩하는 단계를 포함한다. 실시예에 따라 장면 모델을 형성하는 단계는, 소스 이미지들에 대한 깊이 정보를 이용함으로써 장면 포인트에 대한 3-차원 위치를 결정하는 단계를 포함한다. 실시예에 따라, 장면 모델을 형성하는 단계는, 소스 이미지들의 카메라 위치를 이용하는 단계와, 소스 이미지들의 이미지 콘텐츠를 비교하는 단계를 포함한다. 실시예에 따라, 방법은 렌더링 층들 중 하나 이상을 2-차원 이미지 데이터 구조로 형성하는 단계 - 2-차원 이미지 데이터 구조는 렌더링 층 픽셀을 포함함 - 를 포함한다. 실시예에 따라, 렌더링 층 픽셀은 컬러 값 및 알파 값과 같은 투명도 값을 포함한다. 실시예에 따라, 방법은 렌더링 층들의 적어도 2개의 데이터를 콜레이트된(collated) 이미지 데이터 구조로 형성하는 단계 - 콜레이트된 이미지 데이터 구조는 적어도 2개의 세그먼트를 포함하고, 각각의 세그먼트는 각각의 렌더링 층에 대응함 - 를 포함한다.
제 2 양상에 따라, 방법이 제공되는데, 방법은 제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 단계 - 제 1 렌더링 층 및 제 2 렌더링 층은 픽셀을 포함하고, 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 제 2 렌더링 층은 렌더링 시점에서 보이는 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 장면의 제 2 부분은 렌더링 시점에서 보이는 제 1 부분에 의해 가려짐 - 와, 제 1 렌더링 층의 픽셀 및 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하는 단계와, 깊이 값을 픽셀과 연관시키는 단계와, 픽셀 및 깊이 값을 이용하여 좌안 이미지 및 우안 이미지를 렌더링하는 단계를 포함한다.
실시예에 따라, 제 1 렌더링 층의 픽셀 및 제 2 렌더링 층의 픽셀은 컬러 값을 포함하고, 적어도 제 1 렌더링 층의 픽셀은 적어도 제 1 렌더링 층의 픽셀의 투명도를 렌더링하기 위해 알파 값과 같은 투명도 값을 포함한다. 실시예에 따라, 방법은 렌더링될 렌더링 층이 반투명 픽셀을 포함하는지를 판정하는 단계와, 판정이 렌더링 층이 반투명 픽셀을 포함하는 것을 나타내는 경우, 렌더링 층의 렌더링 중에 알파 블렌딩을 인에이블링하고, 그렇지 않으면 렌더링 층의 렌더링 중에 알파 블렌딩을 디스에이블링하는 단계를 포함한다. 실시예에 따라, 방법은 2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 단계와, 텍스처 매핑을 사용함으로써 제 1 렌더링 층의 픽셀 및 제 2 렌더링 층의 픽셀에 대한 컬러 값을 결정하는 단계를 포함한다. 실시예에 따라, 방법은 2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 단계와, 텍스처 매핑을 사용함으로써 제 1 렌더링 층의 픽셀 및 제 2 렌더링 층의 픽셀에 대한 깊이 값을 결정하는 단계 - 깊이 값은 렌더링 시점으로부터의 거리를 나타냄 - 를 포함한다. 실시예에 따라, 방법은 2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 단계와, 텍스처 매핑을 사용함으로써 제 1 렌더링 층의 픽셀 및 제 2 렌더링 층의 픽셀에 대한 시야각 값을 결정하는 단계를 포함한다.
제 3 양상에 따라, 제 1 양상에 따른 방법을 수행하기 위한 장치 및/또는 그의 실시예가 제공된다.
제 4 양상에 따라, 제 2 양상에 따른 방법을 수행하기 위한 장치 및/또는 그의 실시예가 제공된다.
제 5 양상에 따라, 제 1 양상에 따른 방법을 수행하기 위한 시스템 및/또는 그의 실시예가 제공된다.
제 6 양상에 따라, 제 2 양상에 따른 방법을 수행하기 위한 시스템 및/또는 그의 실시예가 제공된다.
제 7 양상에 따라, 제 1 양상에 따른 방법을 수행하기 위한 컴퓨터 프로그램 제품 및/또는 그의 실시예가 제공된다.
제 8 양상에 따라, 제 2 양상에 따른 방법을 수행하기 위한 컴퓨터 프로그램 제품 및/또는 그의 실시예가 제공된다.
하기에서는, 본 발명의 다양한 실시예가 첨부된 도면을 참조로 더 상세히 설명될 것인데, 도면에서,
도 1a, 도 1b, 도 1c 및 도 1d는 사용자에게 스테레오 이미지를 형성하기 위한 셋업을 도시한다;
도 2a는 스테레오 뷰잉을 위한 시스템 및 장치를 도시한다;
도 2b는 스테레오 뷰잉을 위한 스테레오 카메라 디바이스를 도시한다;
도 2c는 스테레오 뷰잉을 위한 헤드 마운트형 디스플레이(head-mounted display)를 도시한다;
도 2d는 카메라 디바이스를 예시한다;
도 3a은 3D 렌더링을 위해 이미지 또는 비디오를 캡쳐하는 장치를 예시한다;
도 3b는 다수의 캡쳐된 이미지로부터 포인트 클라우드를 형성하는 것을 예시한다;
도 4a 및 도 4b는 렌더링 층 및 이미지 데이터를 형성하여 저장하는 것을 예시한다;
도 4c는 렌더링 층을 이용하여 이미지를 렌더링하는 것을 예시한다;
도 5a는 이미지 데이터를 캡쳐함으로써 렌더링 층을 형성하는 것의 흐름도이다;
도 5b는 렌더링 층을 이용하여 이미지를 렌더링하는 것의 흐름도이다;
도 6a 및 도 6b는 이미지를 렌더링하기 위한 렌더링 층을 포함하는 데이터 구조를 도시한다;
도 7은 렌더링 층의 예를 도시한다.
이하, 본 발명의 여러 실시예가 3D 안경을 이용한 스테레오 뷰잉의 맥락에서 설명될 것이다. 그러나, 본 발명은 임의의 특정 디스플레이 기술로 제한되지 않는다는 것을 유의해야 한다. 실제로, 다른 실시예는, 스테레오 뷰잉이 필요한 임의의 환경, 예를 들면, 영화 및 텔레비전에서 적용된다. 또한, 설명은 카메라 셋업을 이미지 소스의 예로서 사용할 수 있지만, 상이한 카메라 셋업 및 이미지 소스 장치가 사용될 수 있다. 다양한 실시예들의 특징들은 단독으로 또는 조합하여 나타날 수 있음을 이해할 필요가 있다. 따라서, 상이한 특징들 및 실시예들이 하나씩 설명되었지만, 이들의 조합은 본질적으로 여기에 개시되어 있다.
도 1a, 도 1b, 도 1c 및 도 1d는 사용자에게 스테레오 이미지를 형성하기 위한 셋업을 도시한다. 도 1a에서, 사람이 두 눈(E1 및 E2)을 사용하여 두 개의 구체(spheres)(A1 및 A2)를 보고 있는 상황이 도시된다. 구체(A1)는 구체(A2)보다 뷰어에게 더 가까운데, 제1 눈(E1)까지의 각각의 거리는 LE1,A1 및 LE1,A2이다. 상이한 오브젝트는, 공간에서, SZ, SY 및 SZ 좌표 시스템에 의해 정의되는 그들 각각의 (x,y,z) 좌표에 존재한다. 사람의 눈들 사이의 거리(d12)는 평균적으로 대략 62-64 mm이고, 사람마다 55 mm와 74 mm 사이에서 변한다. 이 거리는 시차(parallax)로 칭해지는데, 사람 시각의 입체적 뷰는 이 시차에 기초한다. 뷰잉 방향(광축)(DIR1 및 DIR2)은 통상적으로 본질적으로 평행하며, 어쩌면 평행한 것으로부터 작은 편차를 가지며, 눈에 대한 시야를 정의한다. 사용자의 머리는 주위 환경과 관련하여, 눈들이 전방으로 똑바로 보고 있을 때 눈들의 공통 방향에 의해 가장 쉽게 정의되는 방향(머리 방향)을 갖는다. 즉, 머리 방향은, 사용자가 존재하는 곳의 장면의 좌표 시스템에 대하여 머리의 요(yaw), 피치(pitch) 및 롤(roll)을 알려준다.
도 1a의 셋업에서, 구체(A1 및 A2)는 양 눈들의 시야 내에 있다. 구체와 눈 사이의 중심점(O12)은 동일한 라인 상에 있다. 즉, 중심점으로부터, 구체(A2)는 구체(A1) 뒤에 가려져 있다. 그러나, 각각의 눈은 A1 뒤에서 구체(A2)의 일부를 보게 되는데, 구체가 눈의 어느 쪽으로부터도 동일한 시선(line of view) 상에 있지 않기 때문이다.
도 1b에서는, 카메라(C1 및 C2)에 의해 눈이 대체된 셋업이 도시되는데, 카메라(C1 및 C2)는 도 1a에서 눈이 있었던 위치에 위치된다. 그 외에 셋업의 거리와 방향은 동일하다. 자연적으로, 도 1b의 셋업의 목적은 구체(A1 및 A2)의 스테레오 이미지를 찍을 수 있는 것이다. 이미지 캡쳐로부터 나타나게 되는 두 개의 이미지는 Fc1 및 Fc2이다. "좌안" 이미지(Fc1)는 구체(A1)의 이미지(SA1)의 좌측 상에서 부분적으로 볼 수 있는 구체(A2)의 이미지(SA2)를 도시한다. "우안" 이미지(Fc2)는 구체(A1)의 이미지(SA1)의 우측 상에서 부분적으로 볼 수 있는 구체(A2)의 이미지(SA2)를 도시한다. 우측 이미지와 좌측 이미지 사이의 차이는 디스패리티(disparity)로 칭해지며, 사람의 시각 시스템이 깊이 정보를 결정하고 장면의 3D 뷰를 생성하는 기본 메커니즘인 이 디스패리티는 3D 이미지의 환영(illusion)을 생성하기 위해 사용될 수 있다.
도 1c에서는, 이 3D 환영의 생성이 도시된다. 카메라(C1 및 C2)에 의해 캡쳐되는 이미지(Fc1 및 Fc2)는, 디스플레이(D1 및 D2)를 사용하여, 눈(E1 및 E2)에 디스플레이된다. 이미지 사이의 디스패리티는 사람 시각 시스템에 의해 프로세싱되어 깊이에 대한 이해를 불러일으키도록 한다. 즉, 각각, 좌안이 구체(A1)의 이미지(SA1)의 좌측 상에서 구체(A2)의 이미지(SA2)를 보고, 우안이 우측 상에서 A2의 이미지를 볼 때, 사람 시각 시스템은, 3차원 세계에서 구체(V1) 뒤에 구체(V2)가 존재한다는 이해를 불러일으킨다. 여기서, 이미지(Fc1 및 Fc2)는 또한 합성물일 수도 있다는 것, 즉 컴퓨터에 의해 생성될 수도 있다는 것 또한 이해될 필요가 있다. 이들이 디스패리티 정보를 가지고 있으면, 합성 이미지는 사람 시각 시스템에 의해 3차원으로 또한 보일 것이다. 즉, 스테레오 이미지로서 사용될 수 있도록, 컴퓨터 생성 이미지의 쌍이 형성될 수 있다.
도 1d는, 3차원인 환영을 갖는 가상 현실 장면 또는 3D 영화를 생성하기 위해, 스테레오 이미지를 눈에 디스플레이하는 원리가 어떻게 사용될 수 있는지를 예시한다. 이미지(Fx1 및 Fx2)는 이미지가 적절한 디스패리티를 갖도록 모델로부터 계산되거나 또는 스테레오 카메라로 캡쳐된다. 좌안 및 우안 사이에서 이미지가 디스패리티를 갖도록 디스플레이(D1 및 D2)를 사용하여 양 눈에 초당 많은 수(예를 들면, 30)의 프레임을 디스플레이하는 것에 의해, 사람 시각 시스템은 움직이는 3차원 이미지의 인식을 만들 것이다. 카메라가 회전되거나, 또는 합성 이미지가 계산되는 뷰의 방향이 변경되면, 이미지에서의 변경은 뷰의 방향이 변경되고 있는, 즉, 뷰어가 회전하고 있는 환영을 생성한다. 뷰의 이 방향, 즉 머리 방향은, 예를 들면, 머리 상에 장착되는 방향 검출기에 의해 머리의 실제 방향으로서, 또는 사용자가 실제 자신의 머리를 움직이지 않고도 뷰의 방향을 조작하기 위해 사용될 수 있는 조이스틱 또는 마우스와 같은 제어 디바이스에 의해 결정되는 가상 방향으로서 결정될 수도 있다. 즉, 용어 "머리 방향"은 사용자의 머리의 실제의 물리적인 방향 및 물리적 방향에서의 변경을 지칭하기 위해 사용될 수도 있거나, 또는 그것은 컴퓨터 프로그램 또는 컴퓨터 입력 디바이스에 의해 결정되는 사용자의 뷰의 가상 방향을 지칭하기 위해 사용될 수도 있다.
도 2a는, 스테레오 뷰잉을 위한, 즉, 3D 비디오 및 3D 오디오 디지털 캡쳐 및 재생을 위한 시스템 및 장치를 도시한다. 시스템의 태스크는, 상이한 위치에 물리적으로 위치되는 그리고 옵션적으로는 미래의 나중의 시간에 한 명 이상의 뷰어에 의해, 특정 위치에 있다는 경험, 또는 현장감의 설득력 있는 재현(convincing reproduction)이 달성될 수 있도록, 충분한 시각적 그리고 청각적 정보를 캡쳐하는 것이다. 뷰어가 그들의 눈 및 그들의 귀를 사용하여 장면 내의 오브젝트의 거리 및 위치를 결정할 수 있기 위해서는, 이러한 재현은, 단일의 카메라 또는 마이크에 의해 캡쳐될 수 있는 정보보다 더 많은 정보를 필요로 한다. 도 1a 내지 도 1d의 맥락에서 설명된 바와 같이, 디스패리티를 갖는 이미지의 쌍을 생성하기 위해, 두 개의 카메라 소스가 사용된다. 유사한 방식으로, 사람 청각 시스템이 사운드의 방향을 감지할 수 있기 위해서는, 적어도 두 개의 마이크가 사용된다(두 개의 오디오 채널을 녹음하는 것에 의해 일반적으로 알려진 스테레오 사운드가 생성된다). 사람 청각 시스템은, 사운드의 방향을 검출하기 위해, 예를 들면 오디오 신호의 타이밍 차이에서의 큐를 검출할 수 있다.
도 2a의 시스템은 세 개의 주요 부분으로 구성될 수도 있다: 이미지 소스, 서버 및 렌더링 디바이스. 비디오 캡쳐 디바이스(SRC1)는, 비디오 캡쳐 디바이스의 주변의 뷰의 구역이 적어도 두 개의 카메라로부터 캡쳐되도록 중첩하는 시야를 갖는 다수의(예를 들면, 8개의) 카메라(CAM1, CAM2, ..., CAMN)를 포함한다. 디바이스(SRC1)는 상이한 방향으로부터 유래하는 오디오의 타이밍 차이 및 위상 차이를 캡쳐하기 위해 다수의 마이크를 포함할 수도 있다. 디바이스는, 복수의 카메라의 방향(뷰의 방향)이 검출되어 기록될 수 있도록, 고해상도 방향 센서를 포함할 수도 있다. 디바이스(SRC1)는, 컴퓨터 프로세서(PROC1) 및 메모리(MEM1)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 캡쳐 디바이스를 제어하기 위한 컴퓨터 프로그램(PROGR1) 코드를 포함한다. 디바이스에 의해 캡쳐되는 이미지 스트림은 다른 디바이스, 예를 들면 뷰어에서의 사용을 위해 메모리 디바이스(MEM2) 상에 저장될 수도 있고, 및/또는 통신 인터페이스(COMM1)를 사용하여 서버로 송신될 수도 있다.
상술한 바와 같이, 단일 카메라 디바이스는 복수의 카메라 및/또는 복수의 마이크를 포함할 수 있다. 상이한 위치들에 배치된 복수의 카메라 디바이스들이 사용될 수 있는데, 여기서 단일 카메라 디바이스는 하나 이상의 카메라를 포함할 수 있다. 카메라 디바이스들 및 이들의 카메라들은 이러한 방식으로 단일 카메라 디바이스보다 더 포괄적인 방식으로 장면 내의 오브젝트의 이미지 데이터를 캡쳐할 수 있다. 예를 들어, 제 1 카메라 디바이스 또는 제 1 카메라의 특정 시점에서 오브젝트가 보여질 때 제 1 오브젝트 뒤에 숨겨진 제 2 오브젝트가 있는 경우, 제 2 오브젝트는 제 2 카메라 디바이스 또는 제 2 카메라의 다른 시점에서 보일 수 있다. 따라서, 제 2 오브젝트의 이미지 데이터는 예를 들어, 제 2 오브젝트의 일부가 제 1 오브젝트 뒤에서 부분적으로 한쪽 눈에는 보여지나 다른 쪽 눈에는 보여지지 않는 그런 3D 뷰를 생성하기 위해 수집될 수 있다. 둘 이상의 카메라들에서 통합된 픽처 데이터를 생성하기 위해 상이한 카메라들로부터의 픽처 데이터는 서로 결합될 필요가 있다. 또한, 장면 내의 상이한 오브젝트들은 상이한 카메라들로부터의 데이터를 분석함으로써 결정될 수 있다. 이것은 장면 내의 오브젝트들의 3차원 위치를 결정할 수 있게 한다.
이미지 스트림을 생성하는 비디오 캡쳐 디바이스(SRC1)에 대안적으로 또는 부가하여, 합성 이미지의 하나 이상의 소스(SRC2)가 시스템에 존재할 수도 있다. 합성 이미지의 이러한 소스는, 자신이 송신하는 다양한 이미지 스트림을 계산하기 위해 가상 세계의 컴퓨터 모델을 사용할 수도 있다. 예를 들면, 소스(SRC2)는, 가상 뷰잉 위치에 위치되는 N 개의 가상 카메라에 대응하는 N개의 비디오 스트림을 계산할 수도 있다. 비디오 스트림의 이러한 합성 세트가 뷰잉을 위해 사용되면, 뷰어는, 도 1d에서 앞서 설명된 바와 같이, 3차원의 가상 세계를 볼 수도 있다. 디바이스(SRC2)는, 컴퓨터 프로세서(PROC2) 및 메모리(MEM2)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 합성 소스 디바이스(SRC2)를 제어하기 위한 컴퓨터 프로그램(PROGR2) 코드를 포함한다. 디바이스에 의해 캡쳐되는 이미지 스트림은 다른 디바이스, 예를 들면 뷰어에서의 사용을 위해 메모리 디바이스(MEM5)(예를 들면, 메모리 카드(CARD1)) 상에 저장될 수도 있거나, 또는 통신 인터페이스(COMM2)를 사용하여 서버 또는 뷰어로 송신될 수도 있다.
캡쳐 디바이스(SRC1)에 추가적으로, 스토리지, 프로세싱 및 데이터 스트림 서빙 네트워크가 존재할 수도 있다. 예를 들면, 캡쳐 디바이스(SRC1) 또는 계산 디바이스(SRC2)로부터의 출력을 저장하는 서버(SERV) 또는 복수의 서버가 존재할 수도 있다. 디바이스는, 컴퓨터 프로세서(PROC3) 및 메모리(MEM3)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 서버를 제어하기 위한 컴퓨터 프로그램(PROGR3) 코드를 포함한다. 서버는 유선 또는 무선 네트워크 연결에 의해, 또는 둘 다에 의해, 소스(SRC1 및/또는 SRC2)뿐만 아니라, 통신 인터페이스(COMM3)를 통해 뷰어 디바이스(VIEWER1 및 VIEWER2)에 연결될 수도 있다.
캡쳐된 또는 생성된 비디오 컨텐츠를 보기 위해, 하나 이상의 뷰어 디바이스(VIEWER1 및 VIEWER2)가 존재할 수도 있다. 이들 디바이스는 렌더링 모듈 및 디스플레이 모듈을 구비할 수도 있거나, 또는 이들 기능들은 단일의 디바이스에서 결합될 수도 있다. 디바이스는, 컴퓨터 프로세서(PROC4) 및 메모리(MEM4)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 뷰잉 디바이스를 제어하기 위한 컴퓨터 프로그램(PROGR4) 코드를 포함한다. 뷰어(재생) 디바이스는, 서버로부터 비디오 데이터 스트림을 수신하기 위한 그리고 비디오 데이터 스트림을 디코딩하기 위한 데이터 스트림 수신기로 구성될 수도 있다. 데이터 스트림은 통신 인터페이스(COMM4)를 통한 네트워크 연결을 통해, 또는 메모리 카드(CARD2)와 같은 메모리 디바이스(MEM6)로부터 수신될 수도 있다. 뷰어 디바이스는, 도 1c 및 도 1d를 이용하여 설명된 바와 같이 뷰잉을 위한 적절한 포맷으로의 데이터의 프로세싱을 위한 그래픽 프로세싱 유닛을 구비할 수도 있다. 뷰어(VIEWER1)는, 렌더링된 스테레오 비디오 시퀀스를 보기 위한 고해상도 스테레오 이미지 헤드 마운트형 디스플레이를 포함한다. 헤드 마운트형 디바이스는 방향 센서(DET1) 및 스테레오 오디오 헤드폰을 구비할 수도 있다. 뷰어(VIEWER2)는 (스테레오 비디오를 디스플레이하기 위한) 3D 기술 대응의 디스플레이를 포함하고, 렌더링 디바이스는 자신에게 연결된 머리 방향 검출기(DET2)를 구비할 수도 있다. 디바이스(SRC1, SRC2, 서버(SERVER), 렌더러(RENDERER), VIEWER1, VIEWER2) 중 임의의 것은 컴퓨터 또는 휴대형 컴퓨팅 디바이스일 수도 있거나, 또는 이러한 것에 연결될 수도 있다. 이러한 렌더링 디바이스는, 본 명세서에서 설명되는 다양한 예에 따른 방법을 실행하기 위한 컴퓨터 프로그램 코드를 구비할 수도 있다.
도 2b는 스테레오 뷰잉을 위해 이미지 데이터를 캡쳐하는 복수의 카메라를 갖는 예시적 카메라 디바이스를 도시한다. 카메라는, 좌안 이미지 및 우안 이미지를 생성하기 위한 카메라 쌍으로 구성되는, 또는 이러한 쌍으로 정렬될 수 있는 세 개 이상의 카메라를 포함한다. 카메라 사이의 거리는, 사람 눈 사이의 보통의 거리에 대응할 수도 있다. 카메라들은, 카메라들이 자신들의 시야에서 상당한 중첩을 가지도록 정렬될 수도 있다. 예를 들면, 180도 이상의 광각 렌즈가 사용될 수도 있고, 3, 4, 5, 6, 7, 8, 9, 10, 12, 16 또는 20개의 카메라가 존재할 수도 있다. 카메라들은 뷰의 전체 구체에 걸쳐 규칙적인 간격 또는 불규칙한 간격으로 이격될 수 있거나, 또는 이들은 전체 구체 중 일부만을 커버할 수도 있다. 예를 들면, 모든 세 개의 카메라가 뷰의 방향의 중간에서 중첩 영역을 커버하도록, 삼각형으로 정렬되며 삼각형의 한 변을 향하는 상이한 뷰의 방향을 갖는 세 개의 카메라가 존재할 수도 있다. 다른 예로서, 전체 구체 또는 본질적으로 전체 구체가 적어도 3개 또는 4개의 카메라에 의해 모든 방향에서 커버되도록, 광각을 가지며 가상 정육면체의 코너에 규칙적으로 정렬되며 전체 구체를 커버하는 8개의 카메라가 존재할 수도 있다. 도 2b에서, 세 개의 카메라 쌍이 도시된다. 전술한 바와 같이, 복수의 카메라 디바이스가 장면의 이미지 데이터를 캡쳐하는데 사용될 수 있으며, 카메라 디바이스는 하나 이상의 카메라를 갖는다. 카메라 디바이스는 도 2b에 도시된 것과 같을 수 있고, 이는 입체 영상을 생성할 수 있고 또는 단일-뷰 비디오 데이터를 생성할 수 있다. 상이한 카메라로부터의 - 하나의 카메라 디바이스의 복수의 카메라로부터의 및/또는 상이한 카메라 디바이스의 복수의 카메라로부터의 - 데이터는 결합되어 장면의 3차원 이미지 데이터를 획득할 수 있다.
도 2c는 스테레오 뷰잉을 위한 헤드 마운트형 디스플레이를 도시한다. 헤드 마운트형 디스플레이는, 좌안 이미지 및 우안 이미지를 디스플레이하기 위한 두 개의 스크린 섹션 또는 두 개의 스크린(DISP1 및 DISP2)을 포함한다. 디스플레이는 눈에 가까우며, 따라서 렌즈는 이미지를 쉽게 볼 수 있게 만들기 위해 그리고 가능한 한 눈의 시야만큼 많이 커버하도록 이미지를 확산시키기 위해 사용된다. 디바이스는, 사용자가 그의 머리를 돌리더라도 디바이스가 제자리에 있도록, 사용자의 머리에 부착된다. 디바이스는, 머리 움직임 및 머리의 방향을 결정하기 위한 방향 검출 모듈(ORDET1)을 구비할 수도 있다. 이 타입의 디바이스에서, 머리 움직임을 추적하는 것이 행해질 수도 있지만, 그러나, 디스플레이가 넓은 영역의 시야를 커버하기 때문에, 눈 움직임 검출이 불필요하다는 것을 여기서 유의해야 한다. 머리 방향은 사용자 머리의 실제 물리적 방향에 관련될 수도 있고, 머리 방향은 사용자 머리의 실제 방향을 결정하기 위해 센서에 의해 추적될 수도 있다. 대안적으로 또는 추가적으로, 머리 방향은, 컴퓨터 프로그램에 의해 또는 조이스틱과 같은 컴퓨터 입력 디바이스에 의해 제어되는, 사용자의 뷰 방향의 가상 방향에 관련될 수도 있다. 즉, 사용자는 결정된 머리 방향을 입력 디바이스를 가지고 변경할 수 있거나, 또는 컴퓨터 프로그램이 뷰 방향을 변경할 수도 있다(예를 들면, 프로그램은, 실제 머리 방향 대신 또는 실제 머리 방향 외에, 결정된 머리 방향을 제어할 수도 있다).
도 2d는 카메라 디바이스(CAM1)를 예시한다. 카메라 디바이스는, 센서 엘리먼트에 충돌하는 광의 세기를 감지하기 위한 복수의 센서 엘리먼트를 포함하는 카메라 검출기(CAMDET1)를 구비한다. 카메라 디바이스는 렌즈(OBJ1)(또는 복수의 렌즈의 렌즈 배열체)를 구비하는데, 렌즈는, 센서 엘리먼트에 충돌하는 광이 렌즈를 통해 센서 엘리먼트로 이동하도록 위치된다. 카메라 검출기(CAMDET1)는, 복수의 센서 엘리먼트의 중간 지점인 공칭 중심점(CP1), 예를 들면, 직사각형 센서의 경우 대각선의 교차점을 갖는다. 렌즈는, 예를 들면 렌즈의 대칭 축 상에 놓이는 공칭 중심점(PP1)을 또한 갖는다. 카메라가 향하는 방향은, 렌즈의 중심점(PP1) 및 카메라 센서의 중심점(CP1)을 지나가는 반직선에 의해 정의된다.
위에서 설명된 시스템은 다음과 같이 기능할 수도 있다. 하나 이상의 카메라 디바이스의 카메라에 의해 시간 동기화된 비디오, 오디오 및 방향 데이터가 먼저 기록된다. 이것은 위에서 설명된 바와 같이 다수의 동시적 비디오 및 오디오 스트림으로 구성될 수 있다. 그 다음, 이들은, 재생 디바이스로의 후속하는 전달에 적합한 포맷으로의 프로세싱 및 변환을 위해, 스토리지 및 프로세싱 네트워크로 즉시 또는 나중에 송신된다. 변환은, 품질을 향상시키기 위해 및/또는 품질을 원하는 레벨에서 보존하면서 데이터의 양을 감소시키기 위해 오디오 및 비디오 데이터에 대한 후처리 단계를 수반할 수 있다. 최종적으로, 각각의 재생 디바이스는 네트워크로부터 또는 저장 디바이스로부터 데이터의 스트림을 수신하고, 그것을, 헤드 마운트형 디스플레이 및 헤드폰을 갖는 사용자에 의해 경험될 수 있는 원래의 위치의 스테레오 뷰잉 재현으로 렌더링한다.
도 3a는 3D 렌더링을 위해 이미지 또는 비디오를 캡쳐하는 장치를 예시한다. 3D 렌더링을 위한 이미지 데이터 캡쳐에는 두 가지 기본 옵션이 있다. 제 1 옵션은 카메라를 사용하여 실제 세계에서 이미지 데이터를 캡쳐하는 것이다. 제 2 옵션은 합성 장면 모델에서 이미지 데이터를 생성하는 것이다. 현실 세계의 장면 (애니메이션 영화) 또는 그 반대 (가상 현실)에 합성 오브젝트를 배치하는데 제 1 옵션과 제 2 옵션의 조합이 또한 사용될 수 있다. 둘 중 하나의 옵션 또는 그 조합을 사용하여, 복수의 카메라는 장면에 있는 오브젝트의 컬러 데이터를 캡쳐하는데 사용될 수 있다. 카메라의 위치, 방향 및 광학 특성(예를 들어, 렌즈 특성)은 알려져 있다. 이것은 다수의 그림에서 오브젝트의 존재를 검출할 수 있게 하며, 차례로 장면 내의 다양한 오브젝트(또는 그의 표면 포인트)의 위치를 결정할 수 있게 한다. 오브젝트 표면의 포인트의 위치 및 컬러가 알려질 때, 렌더링 시점에서 보여지는 이 장면의 이미지가 생성될 수 있다. 이에 대해서는 나중에 설명한다.
이미지 데이터는 서로 다른 위치에 있는 다수의 카메라를 사용하여 실제 장면에서 캡쳐될 수 있다. 카메라 쌍은 두 개의 이미지에서 일치하는 모든 포인트에 대한 깊이 추정치를 생성하는데 사용될 수 있다. 포인트 추정치는 공통 원점 및 방향으로 매핑될 수 있고, 엔트리들의 컬러 및 위치 값들을 비교함으로써 제거된 엔트리들을 복제할 수 있다. 그런 다음 렌더링 시점에서의 가시성 순서에 기초하여 포인트들이 렌더링 층 또는 더 짧은 표현으로서의 층으로 배열된다.
최상위 층은 보통 희박하지 않으며, 원점(렌더링 시점)에서 보이는 장면의 모든 포인트에 대한 엔트리를 포함한다. 기록된 데이터를 저장하고 충분히 자세하게 뷰를 표현하는데 필요해서 생성된 하나 이상의 희박층을 이용하여 각각의 가려진 픽셀이 희박 하위 층으로 이동된다. 또한, 합성 데이터는 렌더링할 때 시각적인 구멍과 관련된 추후 문제를 피하기 위해 기록된 데이터를 둘러싼 희박층으로 생성될 수 있다.
층들은 2차원 이미지들로서 표현될 수 있으며, 이미지는 픽셀을 가지며, 픽셀은 연관된 컬러 및 깊이 값을 갖는다. 층은 좌표 변환을 통해 그리고 예컨대 그래픽 프로세서의 텍스처 연산을 사용하여 픽셀의 컬러 및 깊이 값을 보간하도록 렌더링 공간에 매핑될 수 있다.
각 순간은 새로운 층 집합 및 매핑 파라미터로 인코딩되어 3D 환경의 변화를 시간 기준으로 재생할 수 있다. 각 프레임에서 새로운 층 데이터와 매핑 메타 데이터가 각각의 새로운 프레임에 사용된다. 대안으로, 시간/기준 재생은 일시 중지될 수 있고 단일 프레임이 사용되어 다른 위치에서 렌더링될 수 있다.
대안으로, 가상 현실 모델의 합성 비디오 소스는 스테레오 뷰잉을 위한 이미지를 생성하는데 사용될 수 있다. 가능한 복수의 카메라를 포함하는 하나 이상의 가상 카메라 디바이스가 영화의 가상 세계에 위치된다. 동작은 컴퓨터에 의해 가상 카메라 디바이스의 가상 카메라에 대응하는 비디오 스트림으로 캡쳐될 수 있다(사용자가 시점을 전환할 수 있는 다중-뷰 비디오로 지칭됨). 대안으로, 단일 카메라 위치가 시점으로 사용될 수 있다. 즉, 플레이어에 전달되는 콘텐츠는, 다수의 카메라 뷰(2 이상), 및 각 뷰어 방향에 대해 사실적인 오디오 신호를 생성할 수 있는 다중 오디오 스트림을 포함하지만, 기존의 3D 필름과 동일한 방식으로 합성되어 생성될 수 있다. 실용적인 측면에서, 가상 세계의 내부 3차원 (이동) 모델은 이미지 소스 이미지를 계산하는 데 사용된다. 다른 오브젝트를 렌더링하면 카메라로 캡쳐된 이미지가 만들어지고 계산은 각 카메라(하나 이상의 카메라)에 대해 수행된다. 가상 카메라는 가상 세계에 보이지 않게 만들어질 수 있으므로 실제 카메라와 동일한 방식으로 서로를 방해하지 않는다. 미리 결정된 수의 가려진 픽셀(미리 결정된 수의 가려진 픽셀 층)이 보조 층에 저장된 경우, 렌더링 층에 대한 이미지 데이터는 그래픽 프로세서 또는 범용 프로세서에 의한 처리를 사용하여 복잡한 관념 모델 (예컨대, CGI 필름 콘텐츠 모델)에서 생성되어 단일 시점에서 층 형식으로 세계를 렌더링할 수 있다.
도 3b는 다수의 캡쳐된 이미지로부터 포인트 클라우드를 형성하는 것을 예시한다. 이미지 데이터는 복수의 상이한 기술을 사용하여 실제 장면으로부터 캡쳐될 수 있다. 동일한 장면에 대해 여러 이미지가 사용 가능하고 각 이미지가 다른 원점 위치에서 캡쳐된 경우 해당 이미지 데이터를 사용하여 오브젝트 표면의 위치와 컬러를 추정할 수 있다. 장면 내의 카메라의 정확한 위치(LOC1, LOC2) 및 방향(DIR1, DIR2)은 각 이미지에 대해 알려져 있거나 계산될 수 있다. 또한, 렌즈 움직임은 이미지의 각 픽셀이 공간에서 3D 벡터와 직접적으로 대응하도록 알려져 있거나 계산될 수 있다. 이 정보를 이용하여, 제 1 카메라로부터의 하나의 이미지(CAM VIEW 1)의 픽셀은, 매칭하는 픽셀이 놓여야 하는 벡터 경로를 따라 제 2 카메라로부터의 다른 이미지(CAM VIEW 2)의 유사한 컬러 픽셀에 대해 매칭될 수 있다. 매칭이 발견되면 공간 내의 위치(좌표)가 두 개의 3D 벡터(포인트 P1에 대한 VEC1 및 VEC2)의 교차점에서 찾을 수 있다. 이러한 방식으로, 오브젝트의 표면의 포인트 P1, P2, P3, ... PN이 결정될 수 있고, 즉, 포인트들의 컬러와 위치가 계산될 수 있다.
단 하나의 이미지에서 다른 오브젝트에 의해 가려진 일부 오브젝트의 위치를 추정하기 위해 적어도 3개의 중첩 이미지가 필요하다. 이것은 2개의 층의 정보를 제공한다(렌더링 시점에서 볼 수 있는 제 1 오브젝트와 제 1 오브젝트 뒤에 숨겨진 오브젝트). 한 개 빼고 모든 이미지가 가려진 오브젝트의 경우, 유사한 알려진 오브젝트의 근처 위치를 기반으로 추정함으로써 대략적인 위치 추정이 수행될 수 있다.
동일한 카메라가 서로 다른 위치에서 서로 다른 시간에 다수의 이미지를 캡쳐할 수 있다. 이 경우 카메라 위치는 다른 센서를 사용하여 측정되거나 장면의 참조 오브젝트 위치 변경 정보를 사용하여 측정될 필요가 있을 것이다. 이 경우 장면의 오브젝트는 정적이어야 한다.
대안으로, 다수의 이미지는, 알려진 또는 기준점에 상대적인 사전-교정된 관련 위치 및 방향을 각각 갖는 다수의 카메라를 이용하여 시간상 동시에 캡쳐될 수 있다. 이 경우, 장면 내의 오브젝트 또는 카메라 시스템 그 자신은 정적일 필요가 없다. 이러한 접근법으로, 이미지의 각 세트가 캡쳐되는 순간과 시간적으로 매칭되는 각 순간에 대해 층들의 시퀀스를 생성하는 것이 가능하다.
렌더링 층에 포인트 데이터를 생성하는 다른 기술은 "ToF(time-of-flight)" 기술을 채용하는 센서를 사용하여 (레이저 또는 LED로부터의) 빛의 펄스가 측정 디바이스로부터 오브젝트를 벗어나 이동하여 측정 디바이스로 되돌아오는 정확한 시간을 측정할 수 있다. 이러한 센서는 다중 이미지 기술과 동일한 교정 요구 사항을 갖는 일반 컬러 이미지 센서와 함께 위치 결정되고 교정되어, 각 픽셀이 카메라에 대한 예상 컬러 및 공간상의 위치를 부여받을 수 있다. 그러나 한 쌍의 센서로 단 하나의 데이터 층만 생성할 수 있다. (다른 쌍의 센서에서 가려진 일부 오브젝트에 대한 위치를 추정하기 위해) 동일한 장면을 커버하는 적어도 두 개의 쌍들의 센서가 두 개의 층을 생성하는데 필요할 것이다. 각각의 추가 층을 위해 추가 쌍의 센서가 사용될 수 있다.
유사한 제한사항이 있는 관련 기술은 ToF(time-of-flight) 센서 대신에 "라이다(lidar)" 스캐너를 이용하는 것이다. 이것은 통상 장면에 레이저 빔을 스캔하고 반사된 빛의 위상 또는 진폭을 측정하여 정확한 거리 추정치를 생성한다. 다시 추가 한 쌍의 라이다+이미지 센서가 각각의 추가 층을 생성하는데 사용될 수 있다.
도 4a는 렌더링 층 및 이미지 데이터를 형성하여 저장 및 송신하는 것을 예시한다. 렌더링 층인 다수의 픽셀 세트를 생성함으로써 장면을 기록하여 파일에 저장하거나 전송하는데, 여기서 층 내의 각 데이터 포인트는 공통 원점 및 컬러 데이터로부터의 벡터를 적어도 포함한다. 각각의 데이터 세트는 알려진 2D 이미지 또는 비디오 시퀀스 압축 기술을 사용하여 압축될 수 있다.
전술한 바와 같이, 도 4a의 복수의 포인트(P1, PN 및 PX1, PX2)가 형성 될 수 있으며, 각 포인트는 컬러 및 공간 내의 위치를 갖는다. 포인트 PX1 및 PX2는 픽셀 P1, P2 및 P3 뒤에 숨겨있다. 이러한 포인트는 렌더링 층으로 변환되어, VIEWPNT 시점에서 볼 때 직접 보이는 포인트에서 제 1 렌더링 층(RENDER LAYER 1)이 생성되고, 제 1 렌더링 층 뒤에 숨겨진 포인트에서 하나 이상의 렌더링 층(RENDER LAYER 2)이 적어도 부분적으로 생성된다. 각 포인트의 위치 벡터는 다른 방식으로 저장되거나 압축될 수 있다. 이것은 포인트 당 3개의 독립적인 파라미터 - 참조 벡터(시점 또는 뷰 방향에 의해 정의된 벡터)로부터의 각도 쌍 및 거리, 또는 직교하는 축 방향의 3개의 거리 - 로 단순하게 표현될 수 있다. 대안으로, 파라미터화 매핑 함수를 사용하여 포인트 인덱스에 기초하여 원점으로부터 떨어진 각 포인트에 대한 위치 벡터를 보다 압축적으로, 렌더링 층 픽셀(RP1, PR2, PR3 및 RPX1, RPX2)을 포함하는, 알려진 정수 폭 및 높이를 갖는 2차원 레귤러 층(이미지)으로 해석되는, 포인트 시퀀스로 인코딩한다. 이것은 도 4a의 렌더링 층(RENDER LAYER 1 및 RENDER LAYER 2)에 대응한다. 예를 들어 x 및 y 좌표를 요 및 피치 좌표(yaw and pitch coordinates)에 직접 매핑하여 전체 구체(full sphere)가 직사각형 구조로 인코딩될 수 있게 한다. 각 (요, 피치) 픽셀에 대한 픽셀 컬러 값은 기존 포인트 값으로부터의 보간에 의해 형성될 수 있다. 대안으로, 원형 매핑 함수는 등가 매핑[radius=2*focalLength*sin(angleFromAxis/2)]과 같이 사용되어, 반구 또는 그 이상을 원형 이미지에 매핑시킬 수 있다.
대안으로, 원형 매핑 함수는 구 좌표를 2D 직교 좌표로 매핑하는데 사용될 수 있다. 이러한 매핑 함수 모든 x 및 y 값 쌍이 다시 구 좌표로 매핑될 수 있는 원형 이미지를 생성한다. 함수는 광축으로부터의 각도(쎄타(theta))를 이미지 원형 중심(r)으로부터의 포인트의 거리에 매핑시킨다. 모든 포인트에 대해, 광축 둘레의 각도(phi)는 구 좌표 및 매핑된 원형 이미지에서 동일하게 유지된다. 매핑된 원형 이미지에서의 x 및 y 좌표와 r 및 phi 간의 관계는 다음과 같다:
Figure pct00001
, 여기서 포인트(x0, y0)는 원형 이미지의 중심임.
이러한 매핑 함수의 예로는 어안 렌즈(fisheye lenses)에 보통 사용되는 이퀴솔리드(equisolid)가 있다. 이퀴솔리드 매핑은 렌즈의 초점 거리(f)에 의존하며 다음과 같다:
Figure pct00002
. 그래서, 광축의 중앙에 있는 포인트(쎄타는 0)에 대해, r은 제로가 되며, 따라서 매핑된 포인트는 또한 원형 이미지의 센터에 존재하게 된다. 광축에 수직인 벡터 상의 포인트(쎄타는 90도)에 대해, r은 1.41*f가 되고 원형 이미지 내의 포인트는 다음과 같이 계산될 수 있다:
Figure pct00003
. x 및 y는 좌표를 목표 해상도의 픽셀로 변환하기 위해 상수 승수로 크기 조절될 수 있다. 다른 매핑 함수는 입체그래픽
Figure pct00004
, 등거리
Figure pct00005
및 정사영(orthograpic)
Figure pct00006
일 수 있다.
각 층은, 도 4a의 RENDER LAYER 1과 같이 카메라 주위의 공간을 완전히 덮을 수 있거나(즉, 구멍 없이 계속적인 방식으로), 도 4a의 RENDER LAYER 2와 같이, 각 층은 매핑 파라미터를 사용하여 완전히 없거나 또는 더 큰 크기의 고도로 압축 가능한 제로 값으로 인코딩된 커버되지 않은 부분을 가지고 공간을 듬성듬성 덮을 수 있다. 시각화될 수 있는 모든 오브젝트는 층들 중 하나에 기록된다. 각 층에는 층의 2차원 이미지 데이터를 렌더링 공간에 매핑하는데 필요한 매핑 파라미터가 제공된다. 모든 층은 필요한 매핑 메타 데이터와 함께 제공된 단일 데이터 구조로 최종적으로 패키지되어 디코딩될 수 있다. 대안적으로, 상이한 층들은 상이한 파일들 또는 스트림들, 또는 상이한 데이터 구조들로 제공될 수 있다.
또한, 층의 인코딩은 렌더링 복잡도를 조정하거나 전달된 데이터양을 줄이는 동시에 장면을 잘 재생할 수 있게 한다.
이에 대한 하나의 접근법은 하나의 축, 가령 (아래로) 증가하는 y 축을 따라 더 멀리 위치된 점점 더 먼 서브 층을 갖는 2D 이미지에 모든 층을 패킹하는 것이다. 적은 렌더링이 요구되는 경우, 하위 데이터는 최상위 층 및 가능한 제한된 서브층 서브세트만으로 단순히 전달되지 않고, 또는 디코딩/프로세싱되지 않는다.
본 발명은, 완전히 합성된 장면을 렌더링하는, 큰 데이터를 처리하는 능력 외에는 이전에 불가능했던 물리적인 현실적 행동의 레벨을 갖는 복잡한 3D 환경의 기록, 배포 및 재생을 허용할 수 있다. 이는 렌더링 층 구조의 사용으로 인해 특정 이미지 해상도에 대해 전달되어야 하는 데이터의 양을 크게 줄임으로써 다른 시점들의 다수의 이미지들을 기반으로 한 초기 재생 기술을 향상시킬 수 있다.
도 4b에는 2개의 카메라(CAMR 및 CAML)를 사용하여 2개의 렌더링 층(RENDER LAYER 1 및 RENDER LAYER 2)을 형성하는 것이 예시된다. 오브젝트(REAROBJ)가 다른 오브젝트(FRONTOBJ) 뒤에 숨겨져 있기 때문에 상이한 카메라들은 오브젝트(REAROBJ)의 상이한 부분을 "본다(see)". 좌측 카메라(CAML)는 좌측에서 오브젝트(REAROBJ)의 더 많은 이미지 정보를 캡쳐할 수 있고, 우측 카메라(CAMR)는 우측에서 오브젝트(REAROBJ)의 더 많은 이미지 정보를 캡쳐할 수 있다. 렌더링 층이 생성될 때, 오브젝트(FRONTOBJ)는 예컨대, 시점으로서 포인트(VIEWPNT)를 홀딩함으로써 이미지 정보가 없는 오브젝트(REAROBJ)의 부분뿐만 아니라 이미지 정보가 있는 오브젝트(REAROBJ)의 부분도 숨긴다. 결과적으로, 제 1 렌더링 층(RENDER LAYER 1)은 제 1 오브젝트(FRONTOBJ)를 나타내는 픽셀(AREA1) 및 제 2 오브젝트(REAROBJ)의 가시적인 부분을 나타내는 픽셀(AREA2)을 포함한다. 제 2 렌더링 층은 제 2 객체(REAROBJ)의 숨겨진 부분의 이미지 정보에 대응하는 픽셀(AREA3)을 포함한다. AREA3 밖의 픽셀은 비어 있거나 더미 픽셀일 수 있다. 앞에서 설명한 것처럼 렌더링 층의 깊이 정보가 생성될 수 있다.
도 4c는 렌더링 층을 사용하여 이미지를 렌더링하는 것을 예시한다. 스테레오 이미지 또는 스테레오 비디오 시퀀스를 렌더링하기 위해, 앞서 설명된 바와 같이, 좌안용 및 우안용 이미지 프레임이 형성된다. 이미지 프레임을 렌더링할 때, 모든 층(RENDER LAYER1, RENDER LAYER 2)의 콘텐츠가 하나의 새로운 렌더링 카메라 공간으로 투영되고 깊이별로 정렬되어 올바른 장면을 렌더링한다. 예를 들어, 종래의 그래픽 처리 유닛에서, 각각의 렌더링 층 포인트(RP1, RP2, RPN 및 RPX1, RPX2,...)는 "파티클"로서 취급될 수 있고, 버텍스 셰이더 프로그램(a vertex shader program)을 사용하여 변환될 수 있고, 렌더링 시점에 상대적인 깊이 값을 포함하는 단일 픽셀 "포인트 스프라이트(point sprite)"를 갖는 3차원 렌더링 공간으로 변환될 수 있다. 중첩된 투영 파티클의 깊이 값은 올바른 혼합 함수를 사용하여 올바른 순서로 비교되고 그려진다. 이것은 포인트(RP1, RP2, RP3, RPX1, RPX2)에 해당하는 점선으로 된 직사각형으로 표시된다. 이러한 방식으로, 픽셀이 실제 공간에서의 각각의 소스 이미지 포인트의 위치에 대응하는 위치에 위치되게 할 수 있다. 불투명한 콘텐츠(opaque content)는 렌더링되어, 렌더링 카메라에 가장 가까운 포인트가 보여진다. 불투명하지 않은 콘텐츠는 그 뒤의 가시적인 콘텐츠의 올바른 혼합으로 렌더링될 수 있다.
렌더링 층의 픽셀이 렌더링 공간에서 다른 크기의 오브젝트를 나타낼 수 있다는 점을 알아야 한다. 시점에서 멀리 떨어져 있는 픽셀(큰 깊이 값을 갖는 픽셀)은 시점에 가까운 픽셀보다 큰 오브젝트를 나타낼 수 있다. 이는 렌더링 층 픽셀이 특정 공간 "원뿔"과 해당 "원뿔"의 이미지 콘텐츠를 원래 나타낼 수 있기 때문이다. 원뿔의 바닥까지의 거리에 따라 픽셀은 공간에서 다른 크기의 포인트를 나타낸다. 렌더링 층은 렌더링 시점에서 볼 때 픽셀 그리드가 본질적으로 서로 꼭대기에 정렬되는 방식으로 렌더링을 위해 정렬될 수 있다.
공간을 렌더링하기 위해 렌더링 층을 변형하려면 렌더링 층은 회전되어야 할 수도 있다. 각도
Figure pct00007
(피치 각으로도 알려짐)에 의한 x축을 중심으로 한 좌표의 회전 변환 Rx의 예는 회전 행렬
Figure pct00008
에 의해 정의된다.
유사한 방식으로, 다른 축을 중심으로 (요(yaw)에 대한) 회전 Ry 및 (롤(roll)에 대한) 회전 Rz가 형성될 수 있다. 일반적인 회전으로서, R = Rx Ry Rz에 의해 3개의 회전의 행렬 곱이 형성될 수 있다. 그런 다음에, 목표 좌표계에서 벡터를 획득하기 위해, 이 회전 행렬은 v2 = Rv1에 따라 첫 번째 좌표계에서 임의의 벡터를 곱하는데 사용된다.
회전의 예로서, 사용자가 그의 머리를 돌릴 때 (피치, 요 및 롤 값으로 표시된 회전이 있음), 사용자의 머리 방향은 새로운 머리 방향을 획득하기 위해 결정될 수 있다. 이것은 예를 들어 헤드 장착형 디스플레이에 헤드 움직임 검출기가 존재하도록 할 수 있다. 새로운 머리 방향이 결정되면, 렌더링된 이미지가 새로운 머리 방향과 일치하도록 뷰의 방향 및 가상 눈의 위치가 재계산될 수 있다.
다른 예로서, 헤드 장착 카메라 방향의 수정이 설명된다. 여기서 사용되는 기술은 캡쳐 디바이스 방향을 기록하고 방향 정보를 사용하여, 사용자에게 제공되는 뷰의 방향을 수정함으로써 - 재생하는 동안 캡쳐 디바이스의 회전을 효과적으로 취소함 - 사용자가 캡쳐 디바이스가 아닌 뷰 방향을 제어하도록 하는 것이다. 뷰어가 캡쳐 디바이스의 원래 움직임을 경험하기를 원한다면, 수정이 불가능할 수도 있다. 뷰어가 원래 움직임의 덜 극단적인 버전을 경험하기를 원한다면 - 수정은 필터를 사용하여 동적으로 적용될 수 있으므로 좀 더 천천히 또는 정상적인 방향으로부터의 더 적은 편차로 원래 움직임이 따른다.
프레임을 디스플레이하기 위해, 불투명 층에서 시작하여 반투명 영역이 포함된 층으로 끝나는 다수의 렌더링 패스에서 층들이 렌더링될 수 있다. 마지막으로 별도의 사후 처리 렌더링 패스를 수행하여 필요에 따라 빈 픽셀의 값을 보간할 수 있다.
렌더링하는 동안, 가려진 프래그먼트(occluded fragments)를 버리기 위해 그래픽 처리(예컨대, OpenGL) 깊이 테스트가 인에이블되고, 쓰기를 위해 깊이 버퍼가 인에이블된다. 렌더링된 층이 반투명 영역을 포함하면 알파 블렌딩이 렌더링 중에 인에이블되고, 그렇지 않으면 디스에이블된다. 장면 지오메트리(scene geometry)는 각각이 저장된 렌더링 층 데이터의 한 픽셀에 해당하는 많은 수의 연결되지 않은 버텍스(GL_POINT)를 포함한다. 층 저장 포맷에 따라 하나의 버텍스는 상이한 개수의 속성을 가질 수 있다. 버텍스 속성은 예를 들어, 위치(x, y, z), 컬러 또는 실제 층 이미지 데이터를 가리키는 텍스처 좌표이다.
OpenGL 버텍스 및 프래그먼트 처리가 예로서 다음에 설명된다. 다른 렌더링 기술도 유사한 방식으로 사용될 수 있다.
버텍스 및 프래그먼트 처리는 상이한 층 저장 포맷들에 따라 약간 다를 수 있다. 비 압축 리스트 포맷으로 저장된 층을 (버텍스마다) 처리하는 단계는 다음과 같다:
1. 처음에, 모든 버텍스는, 뷰 각도, 컬러 및 공통 원점(렌더링 시점)을 기준으로 한 깊이를 포함하는 자신의 속성을 사용하여 버텍스 처리 스테이지에 할당 및 전달된다. 처리된 층에 반투명 콘텐츠가 있으면 버텍스는 자신의 깊이 값에 따라 저장되야 한다.
2. 버텍스의 (요, 피치, 깊이) 표현은 3d 데카르트 벡터(x, y z)로 변환된다.
3. 카메라 및 세계 변환은 버텍스를 해당 행렬에 곱함으로써 버텍스에 적용된다.
4. 버텍스 컬러 속성은 프래그먼트 처리 스테이지로 전달된다.
5. 최종 버텍스 좌표는 출력 변수(gl_Position)에 쓰여진다.
6. 버텍스 처리 스테이지로부터 수신된 컬러 데이터는 프래그먼트 처리 스테이지에서 출력 변수(gl_FlagColor)로 직접 쓰여진다.
압축된 이미지 포맷으로 저장된 층, 즉 픽셀 컬러 데이터 및 깊이 값을 갖는 픽셀을 포함하는 렌더링 층을 (버텍스마다) 처리하는 단계는 다음과 같을 수 있다:
1. 처음에, 모든 버텍스가 동일한 깊이 값을 갖는 장면 주위에 고르게 할당된다.
2. 버텍스가 뷰어의 현재 시야 안에 있지 않으면 현재 시야 안에 버텍스를 위치시키기 위해 변환 함수가 적용된다. 이 변환의 목적은 처음에 사용 가능한 모든 버텍스를 현재 보이는 영역에 집중시키는 것이다. 그렇지 않으면, 그 버텍스에 의해 표현된 픽셀 데이터는 프래그먼트 처리 스테이지에서의 렌더링 동안 클리핑 될 것이다. 이 경우 클리핑을 방지하면 렌더링 품질이 향상된다. 위치 변환은 시야 밖의 버텍스가 시야 내에 균일하게 분포되도록 하는 방식으로 수행될 수 있다. 예를 들어, 시야가 수평 방향으로 0~90도인 경우, 원래 수평 방향으로 91도로 위치한 버텍스는 1도 수평 위치로 이어서 변환될 수 있다. 유사하게, 수평 위치에서의 91~180도 버텍스는 수평에서 1~90도 범위로 변환된다. 수직 위치가 같은 방법으로 계산할 수 있다. 변형된 버텍스가 이미 시야 내에 있는 다른 버텍스와 정확하게 동일한 위치에 들어가는 것을 방지하기 위해, 작은 일정 비율(a small constant fraction)(예컨대, 이 경우 0.25 픽셀)이 버텍스 새 위치 값에 추가될 수 있다.
3. 버텍스 컬러 데이터의 텍스처 좌표는 변환된 버텍스 위치로부터 계산되어 프래그먼트 처리 스테이지로 전달된다.
4. 텍스처로부터의 텍스처 룩업을 사용하여 버텍스에 대한 깊이 값을 가져온다.
5. 버텍스의 뷰 각도는 매핑 기능을 사용하여 계산된다.
6. 버텍스의 (요, 피치, 깊이) 깊이 표현은 데카르트 3d 벡터 (x, y, z)로 변환된다.
7. 카메라 및 세계 변환은 버텍스를 해당 행렬에 곱함으로써 버텍스에 적용된다.
8. 픽셀 해상도는 최종 버텍스 위치에서 작은 반올림 오차를 발생시키는데, 이것은, (서브 픽셀) 반올림 오차를 계산하여 프래그먼트 처리 스테이지로 전달하는 것에 고려될 수 있다.
9. 최종 버텍스 좌표가 셰이더 출력 변수(gl_Position)에 쓰여진다.
10. 프래그먼트 처리 스테이지에서, 주변 포인트를 사용하여 보다 적절한 컬러 값을 보간하기 위해, 수신된 텍스처 좌표를 사용하고 서브 픽셀 반올림 오차 값을 고려하여 컬러 텍스처로부터 컬러 데이터가 검색된다 (비 압축 리스트 포맷으로는 불가능함). 컬러 값은 이어서 출력 변수(gl_FragColor)에 쓰여진다.
소스 픽셀들은 제 1 렌더링 층으로부터의 제 1 픽셀 및 제 2 렌더링 층으로부터의 제 2 픽셀이 공간에서의 그들의 위치를 서브 픽셀 양만큼 조정함으로써 서로의 상부에 등록되는 방식으로 렌더링 동안 정렬될 수 있다. 렌더링 층의 저장 포맷에 따라 버텍스(픽셀)는 일종의 가상 그리드에 우선 정렬되거나("압축된" 이미지 포맷의 단계 1 및 단계 2) 정렬되지 않을 수 있다. 버텍스는 정확한 깊이를 페치하고 좌표를 변형 및 매핑한 후 (단계 7) 카메라 및 세계 변환이 적용되는 단계에서 최종적으로 정렬/배치될 수 있다. 정렬은 다른 단계에서도 발생할 수도 있고 또는 자체의 별개 단계에서 발생할 수도 있다는 것을 이해해야 한다.
도 5a는 이미지 데이터를 캡쳐함으로써 렌더링 층을 형성하는 것의 흐름도이다. 단계 510에서, 장면 모델은 제 1 소스 이미지로부터의 제 1 이미지 데이터 및 제 2 소스 이미지로부터의 제 2 이미지 데이터를 사용하여 형성된다. 장면 모델은 장면 포인트들을 포함하고, 각각의 장면 포인트는 장면의 좌표 공간에서의 위치를 가진다. 캡쳐된 이미지 데이터로부터 장면 포인트를 형성하는 것은 앞서 설명되었다. 대안으로 또는 부가적으로, 합성 장면이 사용될 수 있으며, 합성 장면은 그 위치, 방향, 컬러, 투명성 및 다른 측면이 모델에 정의된 디지털 오브젝트를 포함한다. 단계 520에서, 제 1 그룹의 장면 포인트가 결정되고, 제 1 그룹의 장면 포인트는 장면 좌표 공간에서 위치를 갖는 렌더링 시점에서 가시적이다. 즉, 장면이 렌더링 시점(예컨대, 도 1에서 설명된 가상 눈들 사이의 중심점)에서 보일 때, 시점에서 볼 수 있는 포인트(다른 오브젝트 뒤에서 가려지지 않은)는 장면 포인트의 제 1 그룹에 속할 수 있다. 단계 525에서, 제 2 그룹의 장면 포인트가 결정되며, 제 2 그룹의 장면 포인트는 렌더링 시점에서 본 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려진다. 즉, 제 2 그룹의 포인트는 제 1 그룹의 포인트보다 뒤에 있거나, 제 2 그룹의 포인트 중 적어도 일부는 제 1 그룹의 포인트 중 일부 뒤에 가려져 있다. 단계 530에서, 제 1 렌더링 층은 제 1 그룹의 장면 포인트를 사용하여 형성되고 제 2 렌더링 층은 제 2 그룹의 장면 포인트를 사용하여 형성되며, 제 1 및 제 2 렌더링 층은 픽셀을 포함한다. 단계 540에서, 제 1 및 제 2 렌더링 층은, 예를 들어 파일에 저장하거나 그것들을 렌더러(a renderer)에 전송함으로써 스테레오 이미지를 렌더링하기 위해 제공된다. 좌안 이미지용 렌더링 시점을 좌안의 가상 위치로 하고 우안 이미지용 렌더링 시점을 우안의 가상 위치로 하여 좌안 이미지와 우안 이미지가 계산되도록 함으로써, 스테레오 이미지가 렌더링 층으로부터 계산될 수 있다.
제 3 그룹의 장면 포인트 또한 결정될 수 있으며, 제 3 그룹의 장면 포인트는 렌더링 시점에서 바라본 제 2 그룹의 장면 포인트에 의해 적어도 부분적으로 가려진다. 그 다음, 제 3 렌더링 층은 제 3 그룹의 장면 포인트를 사용하여 형성될 수 있고, 제 3 렌더링 층은 픽셀을 포함하고, 제 3 렌더링 층은 스테레오 이미지를 렌더링하기 위해 제공될 수 있다.
제 2 렌더링 층은 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려지는 장면 포인트에 대응하는 활성 픽셀들을 포함하는 희박층일 수 있다. 또한, 제 3 렌더링 층도 희박층일 수 있다. 일부 희박층에서는 픽셀이 "누락"될 수 있기 때문에 더미 픽셀이 제 2 렌더링 층 내에 형성될 수 있는데, 여기서 더미 픽셀은 실제 장면 포인트에 해당하지 않는다. 이것은 이미지 인코더를 사용하여 제 2 렌더링 층을 데이터 구조로 인코딩하기 위해 형성될 수 있다. 렌더링 층은 렌더링 층 데이터를 저장 및/또는 전송할 목적으로 이미지 인코더를 사용하는 하나 이상의 인코딩된 데이터 구조로 될 수 있다. 예를 들어, 렌더링 층을 포함하는 데이터 구조를 갖는 파일이 생성될 수 있다. 하나 이상의 렌더링 층은 2차원 이미지 데이터 구조로 형성될 수 있으며, 이미지 데이터 구조는 렌더링 층 픽셀을 포함한다. 렌더링 층 픽셀은 컬러 값 및 알파 값과 같은 투명도 값을 포함할 수 있다. 렌더링 층 중 적어도 2개의 데이터는 앞서 설명한 바와 같이 콜레이트된(collated) 이미지 데이터 구조로 형성될 수 있으며, 콜레이트된 이미지 데이터 구조는 각각의 세그먼트가 각각의 렌더링 층에 해당하는 적어도 2개의 세그먼트를 포함한다.
장면 모델을 형성하는 것은 소스 이미지에 대한 깊이 정보를 이용함으로써 장면 포인트에 대한 3차원 위치를 결정하는 것을 포함할 수 있다. 장면 모델을 형성하는 것은 위에 설명된 바와 같이 소스 이미지의 카메라 위치를 사용하는 것과, 소스 이미지들의 이미지 콘텐츠들을 비교하는 것을 포함할 수 있다.
도 5b는 렌더링 층을 사용하여 이미지를 렌더링하는 것의 흐름도이다. 단계 550에서, 제 1 렌더링 층 및 제 2 렌더링 층이 수신된다. 제 1 및 제 2 렌더링 층은 픽셀을 포함하고, 제 1 렌더링 층은 렌더링 시점으로부터 본 장면의 제 1 부분에 대응하는 픽셀을 포함하고, 제 2 렌더링 층은 렌더링 시점에서 본 장면의 제 2 부분에 대응하는 픽셀을 포함한다. 장면의 제 2 부분은 렌더링 시점에서 본 제 1 부분으로 가려진다. 단계 560에서, 제 1 렌더링 층의 픽셀(또는 버텍스) 및 제 2 렌더링 층의 픽셀(또는 버텍스)은 렌더링 공간에 배치된다. 예를 들어, 렌더링 층이 이미지 데이터로 저장되는 경우, 2차원 이미지는 픽셀 단위로 렌더링 공간으로 변환될 수 있다. 단계 570에서, 깊이 값은 픽셀들, 예를 들어 픽셀 단위와 관련될 수 있다. 단계 580에서, 좌안 이미지 및 우안 이미지는 픽셀 및 그들의 깊이 값을 이용하여 렌더링될 수 있다.
제 1 렌더링 층 및 제 2 렌더링 층의 픽셀은 컬러 값을 포함할 수 있고, 적어도 제 1 렌더링 층의 픽셀은 적어도 제 1 렌더링 층의 픽셀의 투명도 렌더링을 위한 알파 값과 같은 투명도 값을 포함할 수 있다. 이러한 투명 처리를 보다 효율적으로 하기 위해, 렌더링될 렌더링 층이 반투명 픽셀을 포함하는지가 판정될 수 있고, 판정이 렌더링 층이 반투명 픽셀을 포함한다는 것을 나타내는 경우, 렌더링 층의 렌더링에서 알파 블렌딩이 가능하며, 그렇지 않으면 렌더링 층의 렌더링에서 알파 블렌딩이 불가능하다.
제 1 렌더링 층 및 제 2 렌더링 층은 2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 수신될 수 있다. 예를 들어, 렌더링 층은 이미지 데이터 포맷으로 이미지 파일에 저장되거나 그렇지 않으면 2차원 포맷의 데이터 구조로 (예컨대,컴퓨터 메모리 안에) 표현될 수 있다. 제 1 및 제 2 렌더링 층의 픽셀에 대한 컬러 값은 텍스처 매핑을 이용함으로써, 즉 데이터 구조의 데이터를 사용하고 데이터 구조로부터의 컬러 값을 그래픽 렌더링 시스템(예컨대, OpenGL 그래픽 액셀레이터)의 텍스처 처리 기능을 통해 렌더링 공간에 매핑시킴으로써 결정될 수 있다.
유사한 방식으로, 제 1 렌더링 층 및 제 2 렌더링 층은 2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 수신될 수 있고, 제 1 및 제 2 렌더링 층의 픽셀에 대한 깊이 값은 텍스처 매핑을 이용함으로써 결정될 수 있는데, 여기서, 깊이 값은 렌더링 시점으로부터의 거리를 나타낸다. 즉, 깊이 데이터는 렌더링 층의 컬러 값에 대응하는 이미지-유사 데이터 구조(image-like data structure)로도 저장되거나 전송될 수 있다.
광 반사 및 음영을 렌더링하기 위해, 렌더링 층은 렌더링 층의 픽셀에 대한 시야각 값의 정보를 포함할 수 있다. 제 1 렌더링 층 및 제 2 렌더링 층은 2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 수신될 수 있고, 시야각 값은 제 1 및 제 2 렌더링 층의 픽셀에 대한 이들 픽셀 값으로부터 텍스처 매핑을 이용하여 결정될 수 있다. 이러한 시야각 값의 결정은, 예를 들어, 그래픽 프로세서 기능 소위 "범프 매핑(bump mapping)" 기능을 사용함으로써 수행될 수 있다. 이러한 방법에서, 픽셀의 방향 각도는 텍스처를 사용하여 계산되며, 픽셀에 의한 광원으로부터의 광의 반사는 이 방향의 각도에 의존한다. 즉, 디스플레이될 이미지를 계산할 목적으로, 픽셀은 뷰어 쪽이 아닌 다른 방향을 갖는 표면 법선을 가질 수 있다.
도 6a는 이미지를 렌더링하기 위한 렌더링 층을 포함하는 데이터 구조를 도시한다. 비 압축 리스트-타입 포맷에서 다양한 장면 포인트는 컬러(3가지 값, 예컨대, 적색, 녹색, 청색), 투명도(예컨대, 알파 채널), 위치(3가지 값, 예컨대, 요, 피치, 깊이 좌표들) 및 가능한 기타 속성에 대한 값을 각각이 갖는 포인트 데이터 구조로 표현된다.
도 6b에 도시된 바와 같이, 이미지 데이터 포맷에서, 제 1 렌더링 층 내의 장면 포인트의 컬러 값은 하나의 코딩된 이미지로 표현되고, 이미지는 렌더링 층 픽셀(RP1, RP2, RP3)로서 장면 포인트에 대한 컬러 값을 포함하거나, 가령, 텍스처 매핑을 이용함으로써 장면 포인트의 컬러 값을 계산하는데 사용될 수 있는 컬러 값을 포함한다. 유사한 방식으로, 제 1 렌더링 층의 다른 속성들은 이미지들, 예를 들어, 렌더링 층 픽셀의 깊이 값(RPD1, RPD2, RPD3)을 포함하는 깊이 값 이미지로서 표현될 수 있다. 제 2 렌더링 층의 장면 포인트의 컬러 값은 하나의 코딩된 이미지로 표현되고, 이미지는 렌더링 층 픽셀(RPX1, RPX2)로서의 장면 포인트에 대한 컬러 값을 포함하거나 이미지는, 가령 텍스처 매핑을 이용함으로써, 장면 포인트의 컬러 값을 계산하는 데 사용될 수 있는 컬러 값을 포함한다. 깊이 값(RPDX1, RPDX2)은 대응하는 깊이 이미지 내에 존재한다.
상이한 렌더링 층들은 그들 자신의 이미지 데이터 구조를 가질 수 있거나, 하나 이상의 이미지와 함께 결합될 수 있다. 예를 들어, 이미지는 제 1 렌더링 층 데이터에 대한 세그먼트, 제 2 렌더링 층 데이터에 대한 다른 세그먼트 등을 가질 수 있다. 이미지는 또한 종래의 이미지 압축 기술을 이용하여 압축될 수 있다.
도 7은 렌더링 층의 예를 도시한다. 제 1 렌더링 층(LAYER 1)은 3차원 공간에서 다수의 큐브의 이미지를 포함한다. 큐브는, 뷰어에 더 가까운 큐브가 뷰어에서 멀리 떨어진 큐브의 일부를 가리도록 배치된다. 모든 방향에서 장면의 일부(적어도 배경)가 가시적이므로 제 1 렌더링 층에서 모든 픽셀은 컬러 값을 포함한다. 제 2 렌더링 층(LAYER 2)은 큐브의 일부가 가려진 부분을 포함한다. 가려진 부분은 제 1 렌더링 층의 이미지와 약간 다른 시점(예컨대, 좌측으로)의 이미지를 가져 와서 획득된다. 제 2 렌더링 층은 제 1 렌더링 층에서 이용 가능한 픽셀을 포함하지 않는다. 따라서, 제 2 렌더링 층은 듬성듬성 많은 픽셀 - 이 경우, 최대의 픽셀 - 이 비어 있다(블랙으로 도시됨). 좌안 이미지 및 우안 이미지는 앞에서 설명한 것처럼 두 렌더링 층의 픽셀 데이터를 사용함으로써 그리고 좌안에 대한 이미지 및 우안에 대한 이미지를 계산함으로써 형성된다.
발명의 다양한 실시예는 메모에 상주하며 관련 장치가 본 발명을 실하게 하는 컴퓨터 프로그램 코드의 도움을 통해 구현될 수 있다. 예를 들면, 디바이스는, 데이터를 핸들링하고, 수신하고 그리고 송신하기 위한 회로부 및 전자장치, 메모리의 컴퓨터 프로그램 코드, 및 컴퓨터 프로그램 코드를 실행하고 있을 때, 디바이스로 하여금 실시예의 피쳐를 수행하게 하는 프로세서를 포함할 수도 있다. 여전히 또한, 서버와 같은 디바이스는, 데이터를 핸들링하고, 수신하고 그리고 송신하기 위한 회로부 및 전자장치, 메모리의 컴퓨터 프로그램 코드, 및 컴퓨터 프로그램 코드를 실행하고 있을 때, 네트워크 디바이스로 하여금 실시예의 피쳐를 수행하게 하는 프로세서를 포함할 수도 있다.
본 발명은 위에 제시된 실시예로 전적으로 제한되는 것이 아니라, 본 발명은 첨부의 청구범위의 범위 내에서 수정될 수 있다는 것이 명백하다.

Claims (68)

  1. 제 1 소스 이미지로부터의 제 1 이미지 데이터와 제 2 소스 이미지로부터의 제 2 이미지 데이터를 이용하여 장면 모델을 형성하는 단계 - 상기 장면 모델은 장면 포인트를 포함하고, 각 장면 포인트는 장면의 좌표 공간 내의 위치를 가짐 - 와,
    제 1 그룹의 장면 포인트를 결정하는 단계 - 상기 제 1 그룹의 장면 포인트는 시점에서 가시적이고, 상기 시점은 상기 장면의 상기 좌표 공간 내의 위치를 가짐 - 와,
    제 2 그룹의 장면 포인트를 결정하는 단계 - 상기 제 2 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 와,
    상기 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 상기 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성하는 단계 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함함 - 와,
    상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더링하는 단계를 포함하는
    방법.

  2. 제 1 항에 있어서,
    제 3 그룹의 장면 포인트를 결정하는 단계 - 상기 제 3 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 2 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 와,
    상기 제 3 그룹의 장면 포인트를 이용하여 제 3 렌더링 층을 형성하는 단계 - 상기 제 3 렌더링 층은 픽셀을 포함함 - 와,
    상기 제 3 렌더링 층을 제공하여 스테레오 이미지를 렌더링하는 단계를 포함하는
    방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 2 렌더링 층은, 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려진 장면 포인트에 대응하는 활성 픽셀을 포함하는 희박층(sparse layer)인
    방법.
  4. 제 3 항에 있어서,
    상기 제 2 렌더링 층에 더미 픽셀을 형성하는 단계 - 상기 더미 픽셀은 장면 포인트에 대응하지 않음 - 와,
    이미지 인코더를 이용하여 상기 제 2 렌더링 층을 데이터 구조로 인코딩하는 단계를 포함하는
    방법.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    이미지 인코더를 이용하여 상기 렌더링 층들을 하나 이상의 인코딩된 데이터 구조로 인코딩하는 단계를 포함하는
    방법.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 단계는, 상기 소스 이미지들에 대한 깊이 정보를 이용함으로써 상기 장면 포인트에 대한 3-차원 위치를 결정하는 단계를 포함하는
    방법.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 단계는,
    상기 소스 이미지들의 카메라 위치를 이용하는 단계와,
    상기 소스 이미지들의 이미지 콘텐츠를 비교하는 단계를 포함하는
    방법.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 렌더링 층들 중 하나 이상을 2-차원 이미지 데이터 구조로 형성하는 단계 - 상기 2-차원 이미지 데이터 구조는 렌더링 층 픽셀을 포함함 - 를 포함하는
    방법.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 렌더링 층 픽셀은 컬러 값 및 알파 값과 같은 투명도 값을 포함하는
    방법.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 렌더링 층들의 적어도 2개의 데이터를 콜레이트된(collated) 이미지 데이터 구조로 형성하는 단계 - 상기 콜레이트된 이미지 데이터 구조는 적어도 2개의 세그먼트를 포함하고, 각각의 세그먼트는 각각의 렌더링 층에 대응함 - 를 포함하는
    방법.
  11. 제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 단계 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함하고, 상기 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 상기 제 2 렌더링 층은 상기 렌더링 시점에서 보이는 상기 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 상기 장면의 상기 제 2 부분은 상기 렌더링 시점에서 보이는 상기 제 1 부분에 의해 가려짐 - 와,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하는 단계와,
    깊이 값을 상기 픽셀과 연관시키는 단계와,
    상기 픽셀 및 상기 깊이 값을 이용하여 좌안 이미지 및 우안 이미지를 렌더링하는 단계를 포함하는
    방법.
  12. 제 11 항에 있어서,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀은 컬러 값을 포함하고, 적어도 상기 제 1 렌더링 층의 픽셀은 적어도 상기 제 1 렌더링 층의 픽셀의 투명도를 렌더링하기 위해 알파 값과 같은 투명도 값을 포함하는
    방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    렌더링될 렌더링 층이 반투명 픽셀을 포함하는지를 판정하는 단계와,
    상기 판정이 렌더링 층이 반투명 픽셀을 포함하는 것을 나타내는 경우, 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 인에이블링하고, 그렇지 않으면 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 디스에이블링하는 단계를 포함하는
    방법.
  14. 제 11 항 내지 제 13 항 중 어느 항 항에 있어서,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하는 단계와,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 컬러 값을 결정하는 단계를 포함하는
    방법.
  15. 제 11 항 내지 제 14 항 중 어느 항 항에 있어서,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하는 단계와,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 깊이 값을 결정하는 단계 - 상기 깊이 값은 렌더링 시점으로부터의 거리를 나타냄 - 를 포함하는
    방법.
  16. 제 11 항 내지 제 15 항 중 어느 항 항에 있어서,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하는 단계와,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 시야각 값을 결정하는 단계를 포함하는
    방법.
  17. 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금 적어도,
    제 1 소스 이미지로부터의 제 1 이미지 데이터와 제 2 소스 이미지로부터의 제 2 이미지 데이터를 이용하여 장면 모델을 형성하는 것 - 상기 장면 모델은 장면 포인트를 포함하고, 각 장면 포인트는 장면의 좌표 공간 내의 위치를 가짐 - 과,
    제 1 그룹의 장면 포인트를 결정하는 것 - 상기 제 1 그룹의 장면 포인트는 시점에서 가시적이고, 상기 시점은 상기 장면의 상기 좌표 공간 내의 위치를 가짐 - 과,
    제 2 그룹의 장면 포인트를 결정하는 것 - 상기 제 2 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 과,
    상기 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 상기 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성하는 것 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함함 - 과,
    상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더링하는 것
    을 수행하게 하도록 구성되는
    장치.
  18. 제 17 항에 있어서,
    상기 장치로 하여금,
    제 3 그룹의 장면 포인트를 결정 - 상기 제 3 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 2 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 하게 하고,
    상기 제 3 그룹의 장면 포인트를 이용하여 제 3 렌더링 층을 형성 - 상기 제 3 렌더링 층은 픽셀을 포함함 - 하게 하고,
    상기 제 3 렌더링 층을 제공하여 스테레오 이미지를 렌더링하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  19. 제 17 항 또는 제 18 항에 있어서,
    상기 제 2 렌더링 층은, 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려진 장면 포인트에 대응하는 활성 픽셀을 포함하는 희박층인
    장치.
  20. 제 19 항에 있어서,
    상기 장치로 하여금,
    상기 제 2 렌더링 층에 더미 픽셀을 형성 - 상기 더미 픽셀은 장면 포인트에 대응하지 않음 - 하게 하고,
    이미지 인코더를 이용하여 상기 제 2 렌더링 층을 데이터 구조로 인코딩하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  21. 제 17 항 내지 제 20 항 중 어느 한 항에 있어서,
    상기 장치로 하여금,
    이미지 인코더를 이용하여 상기 렌더링 층들을 하나 이상의 인코딩된 데이터 구조로 인코딩하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  22. 제 17 항 내지 제 21 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 것은, 상기 소스 이미지들에 대한 깊이 정보를 이용함으로써 상기 장면 포인트에 대한 3-차원 위치를 결정하는 것을 포함하는
    장치.
  23. 제 17 항 내지 제 22 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 것은,
    상기 소스 이미지들의 카메라 위치를 이용하는 것과,
    상기 소스 이미지들의 이미지 콘텐츠를 비교하는 것을 포함하는
    장치.
  24. 제 17 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 장치로 하여금,
    상기 렌더링 층들 중 하나 이상을 2-차원 이미지 데이터 구조로 형성 - 상기 2-차원 이미지 데이터 구조는 렌더링 층 픽셀을 포함함 - 하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  25. 제 17 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 렌더링 층 픽셀은 컬러 값 및 알파 값과 같은 투명도 값을 포함하는
    장치.
  26. 제 17 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 장치로 하여금,
    상기 렌더링 층들의 적어도 2개의 데이터를 콜레이트된 이미지 데이터 구조로 형성 - 상기 콜레이트된 이미지 데이터 구조는 적어도 2개의 세그먼트를 포함하고, 각각의 세그먼트는 각각의 렌더링 층에 대응함 - 하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  27. 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 장치로 하여금 적어도,
    제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 것 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함하고, 상기 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 상기 제 2 렌더링 층은 상기 렌더링 시점에서 보이는 상기 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 상기 장면의 상기 제 2 부분은 상기 렌더링 시점에서 보이는 상기 제 1 부분에 의해 가려짐 - 과,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하는 것과,
    깊이 값을 상기 픽셀과 연관시키는 것과,
    상기 픽셀 및 상기 깊이 값을 이용하여 좌안 이미지 및 우안 이미지를 렌더링하는 것
    을 수행하게 하도록 구성되는
    장치.
  28. 제 27 항에 있어서,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀은 컬러 값을 포함하고, 적어도 상기 제 1 렌더링 층의 픽셀은 적어도 상기 제 1 렌더링 층의 픽셀의 투명도를 렌더링하기 위해 알파 값과 같은 투명도 값을 포함하는
    장치.
  29. 제 27 항 또는 제 28 항에 있어서,
    상기 장치로 하여금,
    렌더링될 렌더링 층이 반투명 픽셀을 포함하는지를 판정하게 하고,
    상기 판정이 렌더링 층이 반투명 픽셀을 포함하는 것을 나타내는 경우, 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 인에이블링하고, 그렇지 않으면 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 디스에이블링하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  30. 제 27 항 내지 제 29 항 중 어느 항 항에 있어서,
    상기 장치로 하여금,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하게 하고,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 컬러 값을 결정하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  31. 제 27 항 내지 제 30 항 중 어느 항 항에 있어서,
    상기 장치로 하여금,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하게 하고,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 깊이 값을 결정 - 상기 깊이 값은 렌더링 시점으로부터의 거리를 나타냄 - 하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  32. 제 27 항 내지 제 31 항 중 어느 항 항에 있어서,
    상기 장치로 하여금,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하게 하고,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 시야각 값을 결정하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  33. 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 시스템으로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 시스템으로 하여금 적어도,
    제 1 소스 이미지로부터의 제 1 이미지 데이터와 제 2 소스 이미지로부터의 제 2 이미지 데이터를 이용하여 장면 모델을 형성하는 것 - 상기 장면 모델은 장면 포인트를 포함하고, 각 장면 포인트는 장면의 좌표 공간 내의 위치를 가짐 - 과,
    제 1 그룹의 장면 포인트를 결정하는 것 - 상기 제 1 그룹의 장면 포인트는 시점에서 가시적이고, 상기 시점은 상기 장면의 상기 좌표 공간 내의 위치를 가짐 - 과,
    제 2 그룹의 장면 포인트를 결정하는 것 - 상기 제 2 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 과,
    상기 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 상기 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성하는 것 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함함 - 과,
    상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더링하는 것
    을 수행하게 하도록 구성되는
    시스템.
  34. 제 33 항에 있어서,
    상기 시스템으로 하여금,
    제 3 그룹의 장면 포인트를 결정 - 상기 제 3 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 2 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 하게 하고,
    상기 제 3 그룹의 장면 포인트를 이용하여 제 3 렌더링 층을 형성 - 상기 제 3 렌더링 층은 픽셀을 포함함 - 하게 하고,
    상기 제 3 렌더링 층을 제공하여 스테레오 이미지를 렌더링하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  35. 제 33 항 또는 제 34 항에 있어서,
    상기 제 2 렌더링 층은, 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려진 장면 포인트에 대응하는 활성 픽셀을 포함하는 희박층인
    시스템.
  36. 제 35 항에 있어서,
    상기 시스템으로 하여금,
    상기 제 2 렌더링 층에 더미 픽셀을 형성 - 상기 더미 픽셀은 장면 포인트에 대응하지 않음 - 하게 하고,
    이미지 인코더를 이용하여 상기 제 2 렌더링 층을 데이터 구조로 인코딩하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  37. 제 33 항 내지 제 36 항 중 어느 한 항에 있어서,
    상기 시스템으로 하여금,
    이미지 인코더를 이용하여 상기 렌더링 층들을 하나 이상의 인코딩된 데이터 구조로 인코딩하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  38. 제 33 항 내지 제 37 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 것은, 상기 소스 이미지들에 대한 깊이 정보를 이용함으로써 상기 장면 포인트에 대한 3-차원 위치를 결정하는 것을 포함하는
    시스템.
  39. 제 33 항 내지 제 38 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 것은,
    상기 소스 이미지들의 카메라 위치를 이용하는 것과,
    상기 소스 이미지들의 이미지 콘텐츠를 비교하는 것을 포함하는
    시스템.
  40. 제 33 항 내지 제 39 항 중 어느 한 항에 있어서,
    상기 시스템으로 하여금,
    상기 렌더링 층들 중 하나 이상을 2-차원 이미지 데이터 구조로 형성 - 상기 2-차원 이미지 데이터 구조는 렌더링 층 픽셀을 포함함 - 하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  41. 제 33 항 내지 제 40 항 중 어느 한 항에 있어서,
    상기 렌더링 층 픽셀은 컬러 값 및 알파 값과 같은 투명도 값을 포함하는
    시스템.
  42. 제 33 항 내지 제 41 항 중 어느 한 항에 있어서,
    상기 시스템으로 하여금,
    상기 렌더링 층들의 적어도 2개의 데이터를 콜레이트된 이미지 데이터 구조로 형성 - 상기 콜레이트된 이미지 데이터 구조는 적어도 2개의 세그먼트를 포함하고, 각각의 세그먼트는 각각의 렌더링 층에 대응함 - 하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  43. 적어도 하나의 프로세서, 및 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 시스템으로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는 상기 적어도 하나의 프로세서와 함께 상기 시스템으로 하여금 적어도,
    제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 것 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함하고, 상기 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 상기 제 2 렌더링 층은 상기 렌더링 시점에서 보이는 상기 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 상기 장면의 상기 제 2 부분은 상기 렌더링 시점에서 보이는 상기 제 1 부분에 의해 가려짐 - 과,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하는 것과,
    깊이 값을 상기 픽셀과 연관시키는 것과,
    상기 픽셀 및 상기 깊이 값을 이용하여 좌안 이미지 및 우안 이미지를 렌더링하는 것
    을 수행하게 하도록 구성되는
    시스템.
  44. 제 43 항에 있어서,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀은 컬러 값을 포함하고, 적어도 상기 제 1 렌더링 층의 픽셀은 적어도 상기 제 1 렌더링 층의 픽셀의 투명도를 렌더링하기 위해 알파 값과 같은 투명도 값을 포함하는
    시스템.
  45. 제 43 항 또는 제 44 항에 있어서,
    상기 시스템으로 하여금,
    렌더링될 렌더링 층이 반투명 픽셀을 포함하는지를 판정하게 하고,
    상기 판정이 렌더링 층이 반투명 픽셀을 포함하는 것을 나타내는 경우, 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 인에이블링하고, 그렇지 않으면 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 디스에이블링하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  46. 제 43 항 내지 제 45 항 중 어느 항 항에 있어서,
    상기 시스템으로 하여금,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하게 하고,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 컬러 값을 결정하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  47. 제 43 항 내지 제 46 항 중 어느 항 항에 있어서,
    상기 시스템으로 하여금,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하게 하고,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 깊이 값을 결정 - 상기 깊이 값은 렌더링 시점으로부터의 거리를 나타냄 - 하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  48. 제 43 항 내지 제 47 항 중 어느 항 항에 있어서,
    상기 시스템으로 하여금,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하게 하고,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 시야각 값을 결정하게 하는
    컴퓨터 프로그램 코드를 포함하는
    시스템.
  49. 제 1 소스 이미지로부터의 제 1 이미지 데이터와 제 2 소스 이미지로부터의 제 2 이미지 데이터를 이용하여 장면 모델을 형성하는 수단 - 상기 장면 모델은 장면 포인트를 포함하고, 각 장면 포인트는 장면의 좌표 공간 내의 위치를 가짐 - 과,
    제 1 그룹의 장면 포인트를 결정하는 수단 - 상기 제 1 그룹의 장면 포인트는 시점에서 가시적이고, 상기 시점은 상기 장면의 상기 좌표 공간 내의 위치를 가짐 - 과,
    제 2 그룹의 장면 포인트를 결정하는 수단 - 상기 제 2 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 과,
    상기 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 상기 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성하는 수단 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함함 - 과,
    상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더링하는 수단을 포함하는
    장치.
  50. 제 49 항에 있어서,
    제 3 그룹의 장면 포인트를 결정하는 수단 - 상기 제 3 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 2 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 과,
    상기 제 3 그룹의 장면 포인트를 이용하여 제 3 렌더링 층을 형성하는 수단 - 상기 제 3 렌더링 층은 픽셀을 포함함 - 과,
    상기 제 3 렌더링 층을 제공하여 스테레오 이미지를 렌더링하는 수단을 포함하는
    장치.
  51. 제 49 항 또는 제 50 항에 있어서,
    상기 제 2 렌더링 층은, 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려진 장면 포인트에 대응하는 활성 픽셀을 포함하는 희박층(sparse layer)인
    장치.
  52. 제 51 항에 있어서,
    상기 제 2 렌더링 층에 더미 픽셀을 형성하는 수단 - 상기 더미 픽셀은 장면 포인트에 대응하지 않음 - 과,
    이미지 인코더를 이용하여 상기 제 2 렌더링 층을 데이터 구조로 인코딩하는 수단을 포함하는
    장치.
  53. 제 49 항 내지 제 52 항 중 어느 한 항에 있어서,
    이미지 인코더를 이용하여 상기 렌더링 층들을 하나 이상의 인코딩된 데이터 구조로 인코딩하는 수단을 포함하는
    장치.
  54. 제 49 항 내지 제 53 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 것은, 상기 소스 이미지들에 대한 깊이 정보를 이용함으로써 상기 장면 포인트에 대한 3-차원 위치를 결정하는 것을 포함하는
    장치.
  55. 제 49 항 내지 제 54 항 중 어느 한 항에 있어서,
    상기 장면 모델을 형성하는 것은,
    상기 소스 이미지들의 카메라 위치를 이용하는 것과,
    상기 소스 이미지들의 이미지 콘텐츠를 비교하는 것을 포함하는
    장치.
  56. 제 49 항 내지 제 55 항 중 어느 한 항에 있어서,
    상기 렌더링 층들 중 하나 이상을 2-차원 이미지 데이터 구조로 형성하는 수단 - 상기 2-차원 이미지 데이터 구조는 렌더링 층 픽셀을 포함함 - 을 포함하는
    장치.
  57. 제 49 항 내지 제 56 항 중 어느 한 항에 있어서,
    상기 렌더링 층 픽셀은 컬러 값 및 알파 값과 같은 투명도 값을 포함하는
    장치.
  58. 제 49 항 내지 제 57 항 중 어느 한 항에 있어서,
    상기 렌더링 층들의 적어도 2개의 데이터를 콜레이트된(collated) 이미지 데이터 구조로 형성하는 수단 - 상기 콜레이트된 이미지 데이터 구조는 적어도 2개의 세그먼트를 포함하고, 각각의 세그먼트는 각각의 렌더링 층에 대응함 - 을 포함하는
    장치.

  59. 제 1 렌더링 층 및 제 2 렌더링 층을 수신하는 수단 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함하고, 상기 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 상기 제 2 렌더링 층은 상기 렌더링 시점에서 보이는 상기 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 상기 장면의 상기 제 2 부분은 상기 렌더링 시점에서 보이는 상기 제 1 부분에 의해 가려짐 - 과,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하는 수단과,
    깊이 값을 상기 픽셀과 연관시키는 수단과,
    상기 픽셀 및 상기 깊이 값을 이용하여 좌안 이미지 및 우안 이미지를 렌더링하는 수단을 포함하는
    장치.
  60. 제 59 항에 있어서,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀은 컬러 값을 포함하고, 적어도 상기 제 1 렌더링 층의 픽셀은 적어도 상기 제 1 렌더링 층의 픽셀의 투명도를 렌더링하기 위해 알파 값과 같은 투명도 값을 포함하는
    장치.
  61. 제 59 항 또는 제 60 항에 있어서,
    렌더링될 렌더링 층이 반투명 픽셀을 포함하는지를 판정하는 수단과,
    상기 판정이 렌더링 층이 반투명 픽셀을 포함하는 것을 나타내는 경우, 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 인에이블링하고, 그렇지 않으면 상기 렌더링 층의 렌더링 중에 알파 블렌딩을 디스에이블링하는 수단을 포함하는
    장치.
  62. 제 59 항 내지 제 61 항 중 어느 항 항에 있어서,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하는 수단과,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 컬러 값을 결정하는 수단을 포함하는
    장치.
  63. 제 59 항 내지 제 62 항 중 어느 항 항에 있어서,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하는 수단과,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 깊이 값을 결정하는 수단 - 상기 깊이 값은 렌더링 시점으로부터의 거리를 나타냄 - 을 포함하는
    장치.
  64. 제 59 항 내지 제 63 항 중 어느 항 항에 있어서,
    2차원 이미지로서 픽셀 값을 포함하는 데이터 구조로부터 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 수신하는 수단과,
    텍스처 매핑을 사용함으로써 상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀에 대한 시야각 값을 결정하는 수단을 포함하는
    장치.
  65. 컴퓨터 프로그램 코드를 포함하는, 비-일시적인 컴퓨터 판독가능 매체에 실장된 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 코드는 적어도 하나의 프로세서상에서 실행될 때, 장치 또는 시스템으로 하여금,
    제 1 소스 이미지로부터의 제 1 이미지 데이터와 제 2 소스 이미지로부터의 제 2 이미지 데이터를 이용하여 장면 모델을 형성 - 상기 장면 모델은 장면 포인트를 포함하고, 각 장면 포인트는 장면의 좌표 공간 내의 위치를 가짐 - 하게 하고,
    제 1 그룹의 장면 포인트를 결정 - 상기 제 1 그룹의 장면 포인트는 시점에서 가시적이고, 상기 시점은 상기 장면의 상기 좌표 공간 내의 위치를 가짐 - 하게 하고,
    제 2 그룹의 장면 포인트를 결정 - 상기 제 2 그룹의 장면 포인트는 상기 시점에서 보이는 상기 제 1 그룹의 장면 포인트에 의해 적어도 부분적으로 가려짐 - 하게 하고,
    상기 제 1 그룹의 장면 포인트를 이용하여 제 1 렌더링 층을 형성하고 상기 제 2 그룹의 장면 포인트를 이용하여 제 2 렌더링 층을 형성 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함함 - 하게 하고,
    상기 제 1 렌더링 층 및 상기 제 2 렌더링 층을 제공하여 스트레오 이미지를 렌더링하게 하도록 구성되는
    컴퓨터 프로그램 제품.
  66. 제 65 항에 있어서,
    상기 장치 또는 상기 시스템으로 하여금 청구항 제 2 항 내지 제 10 항 중 어느 한 항에 따른 방법을 실행하게 하는 컴퓨터 프로그램 코드를 포함하는
    컴퓨터 프로그램 제품.
  67. 컴퓨터 프로그램 코드를 포함하는, 비-일시적인 컴퓨터 판독가능 매체에 실장된 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 코드는 적어도 하나의 프로세서상에서 실행될 때, 장치 또는 시스템으로 하여금,
    제 1 렌더링 층 및 제 2 렌더링 층을 수신 - 상기 제 1 렌더링 층 및 상기 제 2 렌더링 층은 픽셀을 포함하고, 상기 제 1 렌더링 층은 렌더링 시점에서 보이는 장면의 제 1 부분에 대응하는 픽셀을 포함하고 상기 제 2 렌더링 층은 상기 렌더링 시점에서 보이는 상기 장면의 제 2 부분에 대응하는 픽셀을 포함하며, 상기 장면의 상기 제 2 부분은 상기 렌더링 시점에서 보이는 상기 제 1 부분에 의해 가려짐 - 하게 하고,
    상기 제 1 렌더링 층의 픽셀 및 상기 제 2 렌더링 층의 픽셀을 렌더링 공간에 배치하게 하고,
    깊이 값을 상기 픽셀과 연관시키게 하고,
    상기 픽셀 및 상기 깊이 값을 이용하여 좌안 이미지 및 우안 이미지를 렌더링하게 하도록 구성되는
    컴퓨터 프로그램 제품.
  68. 제 67 항에 있어서,
    상기 장치 또는 상기 시스템으로 하여금 청구항 제 12 항 내지 제 16 항 중 어느 한 항에 따른 방법을 실행하게 하는 컴퓨터 프로그램 코드를 포함하는
    컴퓨터 프로그램 제품.
KR1020177006477A 2014-09-09 2014-09-09 스테레오 이미지 녹화 및 재생 KR20170040342A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2014/050684 WO2016038240A1 (en) 2014-09-09 2014-09-09 Stereo image recording and playback

Publications (1)

Publication Number Publication Date
KR20170040342A true KR20170040342A (ko) 2017-04-12

Family

ID=55458373

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177006477A KR20170040342A (ko) 2014-09-09 2014-09-09 스테레오 이미지 녹화 및 재생

Country Status (7)

Country Link
US (1) US20170280133A1 (ko)
EP (1) EP3192259A4 (ko)
JP (1) JP2017532847A (ko)
KR (1) KR20170040342A (ko)
CN (1) CN106688231A (ko)
CA (1) CA2960426A1 (ko)
WO (1) WO2016038240A1 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US9721385B2 (en) * 2015-02-10 2017-08-01 Dreamworks Animation Llc Generation of three-dimensional imagery from a two-dimensional image using a depth map
CN107430446A (zh) 2015-03-01 2017-12-01 奈克斯特Vr股份有限公司 进行环境测量和/或在3d图像渲染中使用此类测量的方法和装置
CA2979560C (en) 2015-03-05 2023-11-07 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
JP7009996B2 (ja) * 2015-11-11 2022-01-26 ソニーグループ株式会社 画像処理装置および画像処理方法
AU2016365422A1 (en) 2015-12-04 2018-06-28 Magic Leap, Inc. Relocalization systems and methods
EP3437076A4 (en) 2016-03-30 2019-10-16 eBay, Inc. DIGITAL MODEL OPTIMIZATION IN RESPONSE TO ORIENTATION SENSOR DATA
CN109478347A (zh) * 2016-07-29 2019-03-15 索尼公司 图像处理装置和图像处理方法
JP7028168B2 (ja) * 2016-07-29 2022-03-02 ソニーグループ株式会社 画像処理装置および画像処理方法
CN109478348B (zh) * 2016-07-29 2023-06-09 索尼公司 图像处理装置和图像处理方法
KR102626821B1 (ko) 2016-08-02 2024-01-18 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
JP7101331B2 (ja) * 2016-11-22 2022-07-15 サン電子株式会社 管理装置及び管理システム
JP6952456B2 (ja) * 2016-11-28 2021-10-20 キヤノン株式会社 情報処理装置、制御方法、及びプログラム
CN107223270B (zh) * 2016-12-28 2021-09-03 达闼机器人有限公司 一种显示数据处理方法及装置
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
EP3596702A4 (en) 2017-03-17 2020-07-22 Magic Leap, Inc. MIXED REALITY SYSTEM WITH MULTI-SOURCE VIRTUAL CONTENT COMPOSITION AND ASSOCIATED VIRTUAL CONTENT GENERATION PROCESS
JP7055815B2 (ja) * 2017-03-17 2022-04-18 マジック リープ， インコーポレイテッド 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
KR20230149347A (ko) 2017-03-17 2023-10-26 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
KR102389157B1 (ko) 2017-09-19 2022-04-21 한국전자통신연구원 계층 프로젝션 기반 6-자유도 전방위 입체 영상 제공 방법 및 장치
JP2019103067A (ja) 2017-12-06 2019-06-24 キヤノン株式会社 情報処理装置、記憶装置、画像処理装置、画像処理システム、制御方法、及びプログラム
CN108198237A (zh) * 2017-12-29 2018-06-22 珠海市君天电子科技有限公司 动态壁纸生成方法、装置、设备及介质
GB2571306A (en) * 2018-02-23 2019-08-28 Sony Interactive Entertainment Europe Ltd Video recording and playback systems and methods
US11127203B2 (en) * 2018-05-16 2021-09-21 Samsung Electronics Co., Ltd. Leveraging crowdsourced data for localization and mapping within an environment
US11379948B2 (en) 2018-07-23 2022-07-05 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
JP7313811B2 (ja) * 2018-10-26 2023-07-25 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN110784704B (zh) * 2019-11-11 2021-08-13 四川航天神坤科技有限公司 一种监控视频的显示方法、装置及电子设备
CN111701238B (zh) * 2020-06-24 2022-04-26 腾讯科技（深圳）有限公司 虚拟画卷的显示方法、装置、设备及存储介质
US20230237616A1 (en) * 2022-01-27 2023-07-27 Sonic Star Global Limited Image processing system and method for generating a super-resolution image
CN117475104A (zh) * 2022-07-22 2024-01-30 戴尔产品有限公司 用于渲染目标场景的方法、电子设备和计算机程序产品
US11593959B1 (en) * 2022-09-30 2023-02-28 Illuscio, Inc. Systems and methods for digitally representing a scene with multi-faceted primitives

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7528830B2 (en) * 2003-09-17 2009-05-05 Koninklijke Philips Electronics N.V. System and method for rendering 3-D images on a 3-D image display screen
EP1851727A4 (en) * 2005-02-23 2008-12-03 Craig Summers AUTOMATIC SCENES MODELING FOR 3D CAMERA AND 3D VIDEO
WO2009001255A1 (en) * 2007-06-26 2008-12-31 Koninklijke Philips Electronics N.V. Method and system for encoding a 3d video signal, enclosed 3d video signal, method and system for decoder for a 3d video signal
GB0712690D0 (en) * 2007-06-29 2007-08-08 Imp Innovations Ltd Imagee processing
JP5553310B2 (ja) * 2007-12-20 2014-07-16 コーニンクレッカ フィリップス エヌ ヴェ 立体的なレンダリングのための画像エンコード方法
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
BRPI0912953A2 (pt) * 2008-08-26 2019-09-24 Koninl Philips Electronics Nv método para a codificação de sinais de vídeo 3d, sistema que compreende um codificador para a codificação de sinal de vídeo 3d, método para a decodificação de um sinal de vídeo codificado, sistema que compreende um decodificador para a decodifição de um sinal de vídeo codificado onde é decodificado um sinal de vídeo 3d, decodificador, programa de computador e sinal de imagem
PL2342693T3 (pl) * 2008-09-25 2012-12-31 Koninl Philips Electronics Nv Przetwarzanie danych obrazu trójwymiarowego
EP2180449A1 (en) * 2008-10-21 2010-04-28 Koninklijke Philips Electronics N.V. Method and device for providing a layered depth model of a scene
WO2010049850A1 (en) * 2008-10-28 2010-05-06 Koninklijke Philips Electronics N.V. Generation of occlusion data for image properties
TWI542190B (zh) * 2008-11-04 2016-07-11 皇家飛利浦電子股份有限公司 編碼三維影像信號的方法及系統、經編碼之三維影像信號、解碼三維影像信號的方法及系統
US8447099B2 (en) * 2011-01-11 2013-05-21 Eastman Kodak Company Forming 3D models using two images
KR20130074383A (ko) * 2011-12-26 2013-07-04 삼성전자주식회사 다중-레이어 표현을 사용하는 영상 처리 방법 및 장치

Also Published As

Publication number Publication date
US20170280133A1 (en) 2017-09-28
EP3192259A1 (en) 2017-07-19
JP2017532847A (ja) 2017-11-02
WO2016038240A1 (en) 2016-03-17
CN106688231A (zh) 2017-05-17
EP3192259A4 (en) 2018-05-16
CA2960426A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
KR20170040342A (ko) 스테레오 이미지 녹화 및 재생
US11599968B2 (en) Apparatus, a method and a computer program for volumetric video
US11528468B2 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US11010958B2 (en) Method and system for generating an image of a subject in a scene
US10499033B2 (en) Apparatus, a method and a computer program for coding and rendering volumetric video
CN108141578B (zh) 呈现相机
US10115227B2 (en) Digital video rendering
KR102499904B1 (ko) 가상 현실 미디어 콘텐트 내에 포함시키기 위해 실세계 장면의 맞춤화된 뷰의 가상화된 투영을 생성하기 위한 방법들 및 시스템들
TW201921921A (zh) 基於紋理圖與網格之３ｄ影像資訊的處理
EP3396635A2 (en) A method and technical equipment for encoding media content
KR20170013704A (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
CN115529835A (zh) 用于新颖视图合成的神经混合
EP3729805A1 (en) Method for encoding and decoding volumetric video data
US20230283759A1 (en) System and method for presenting three-dimensional content
EP3540696A1 (en) A method and an apparatus for volumetric video rendering
US20230106679A1 (en) Image Processing Systems and Methods
WO2009109804A1 (en) Method and apparatus for image processing
CN114513646A (zh) 一种三维虚拟场景中全景视频的生成方法及设备
EP3686833A1 (en) Generating and processing an image property pixel structure

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application