KR20160143746A - 스테레오 뷰잉 - Google Patents

스테레오 뷰잉 Download PDF

Info

Publication number
KR20160143746A
KR20160143746A KR1020167030907A KR20167030907A KR20160143746A KR 20160143746 A KR20160143746 A KR 20160143746A KR 1020167030907 A KR1020167030907 A KR 1020167030907A KR 20167030907 A KR20167030907 A KR 20167030907A KR 20160143746 A KR20160143746 A KR 20160143746A
Authority
KR
South Korea
Prior art keywords
image
image source
source
eye
user
Prior art date
Application number
KR1020167030907A
Other languages
English (en)
Other versions
KR101885979B1 (ko
Inventor
킴 그로놈
앤드류 로버트 발드윈
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20160143746A publication Critical patent/KR20160143746A/ko
Application granted granted Critical
Publication of KR101885979B1 publication Critical patent/KR101885979B1/ko

Links

Images

Classifications

    • H04N13/0436—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H04N13/044—
    • H04N13/0468—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/378—Image reproducers using viewer tracking for tracking rotational head movements around an axis perpendicular to the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/008—Aspects relating to glasses for viewing stereoscopic images

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 스테레오 이미지, 예를 들면 스테레오 비디오 이미지, 소위 3D 비디오를 작성하고 보는 것에 관련된다. 장면 중 한 에어리어가 적어도 세 개의 카메라에 의해 커버되도록 장면을 캡쳐하기 위해, 중첩하는 시야를 갖는 적어도 세 개의 카메라 소스가 사용된다. 뷰어에서, 유저가 카메라 소스의 장소에 위치되었다면, 유저의 눈의 위치에 가장 잘 매치하는 스테레오 카메라 쌍을 생성하기 위해 다수의 카메라로부터 카메라 쌍이 선택된다. 즉, 카메라 소스에 의해 생성되는 디스패리티(disparity)가 유저의 눈이 그 위치에서 가질 디스패리티와 닮도록 카메라 쌍이 선택된다. 유저가 자신의 머리를 기울이거나, 또는 다르게는 뷰 방위가 수정되면, 예를 들면, 다른 카메라로 전환하는 것에 의해 새로운 쌍이 형성될 수 있다. 그 다음, 뷰어 디바이스는, 현실적인 스테레오 디스패리티를 위한 각각의 이미지의 각각의 에어리어에 대한 최상의 소스를 고르는 것에 의해 좌안용 및 우안용의 비디오 프레임의 이미지를 형성한다.

Description

스테레오 뷰잉{STEREO VIEWING}
배경
정지 이미지 및 동화상의 디지털 스테레오 뷰잉(digital stereo viewing)은 일반적인 것으로 되었으며, 3D(three-dimensional; 3차원) 영화를 보기 위한 기기가 보다 폭 넓게 이용가능하다. 영화관은, 영화의 각각의 프레임에 대해 좌안용 및 우안용의 상이한 이미지의 뷰잉을 보장하는 특수 안경을 이용하여 영화를 보는 것에 기초하여 3D 영화를 제공하고 있다. 3D 가능 플레이어 및 텔레비전 세트를 이용하여 동일한 방식이 가정에도 적용되었다. 실제, 영화는 동일한 장면에 대해 두 개의 뷰인 좌안용의 뷰와 우안용의 뷰로 구성된다. 이들 뷰는, 스테레오 뷰잉에 적합한 컨텐츠를 직접적으로 생성하는 특수 스테레오 카메라를 가지고 영화를 캡쳐하는 것에 의해 생성되었다. 뷰가 두 눈에 제공될 때, 사람의 시각 시스템은 장면의 3D 뷰를 생성한다. 이 기술은, 뷰잉 에어리어(area)(영화 스크린 또는 텔레비전)가 시야(field of vision)의 일부만을 점유하며, 따라서 3D 뷰의 경험이 제한된다는 단점을 갖는다.
보다 현실적인 경험을 위해, 전체 시야 중 더 큰 에어리어를 차지하는 디바이스가 생성되었다. 눈(eye)을 덮도록 그리고 작은 스크린 및 렌즈 배열체(lens arrangement)를 이용하여 좌안용 픽쳐 및 우안용 픽쳐를 디스플레이하도록 머리에 착용되는 것이 의도된 이용가능한 특수 스테레오 뷰잉 고글이 존재한다. 이러한 기술은 또한, 3D 뷰잉을 위해 일반적으로 사용되는 상당히 큰 TV 세트와 비교하여, 그것이 작은 공간에서, 심지어 이동 중에도 사용될 수 있다는 이점을 갖는다. 게이밍 목적을 위해, 이러한 스테레오 고글과 호환되며, 인공적인 게임 세계의 스테레오 뷰잉에 필요로 되는 두 개의 이미지를 작성할 수 있는, 따라서 게임 장면의 내부 모델의 3D 뷰를 작성하는 게임이 존재한다. 상이한 픽쳐는 모델로부터 실시간으로 렌더링되며, 따라서 이 방식은, 특히 게임의 장면 모델이 복잡하고 아주 상세하며 많은 오브젝트를 포함하는 경우 컴퓨팅 파워를 필요로 한다.
따라서, 스테레오 뷰잉, 즉 3D 이미지의 뷰잉을 가능하게 하는 솔루션에 대한 필요성이 존재한다.
개요
이제, 상기 문제점이 경감되게 하는 향상된 방법 및 그 방법을 구현하는 기술적 기기가 발명되었다. 본 발명의 다양한 양태는, 독립 청구항에서 언급되는 것을 특징으로 하는 방법, 카메라 장치, 서버, 클라이언트 렌더러 및 내부에 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 매체를 포함한다. 본 발명의 다양한 실시형태는 종속 청구항에서 개시된다.
본 발명은 스테레오 이미지, 예를 들면 스테레오 비디오 이미지, 소위 3D 비디오를 작성하고 보는 것에 관련된다. 장면 중 한 에어리어가 적어도 세 개의 카메라에 의해 커버되도록 장면을 캡쳐하기 위해, 중첩하는 시야를 갖는 적어도 세 개의 카메라 소스가 사용된다. 뷰어에서, 유저가 카메라 소스의 장소에 위치되었다면, 유저의 눈의 위치에 가장 잘 매치하는 스테레오 카메라 쌍을 생성하기 위해 다수의 카메라로부터 카메라 쌍이 선택된다. 즉, 카메라 소스에 의해 생성되는 디스패리티(disparity)가 유저의 눈이 그 위치에서 가질 디스패리티와 닮도록 카메라 쌍이 선택된다. 유저가 자신의 머리를 기울이거나, 또는 다르게는 뷰 방위(orientation)가 수정되면, 예를 들면, 다른 카메라로 전환하는 것에 의해 새로운 쌍이 형성될 수 있다. 그 다음, 뷰어 디바이스는, 현실적인 스테레오 디스패리티를 위한 각각의 이미지의 각각의 에어리어에 대한 최상의 소스를 고르는 것에 의해 좌안용 및 우안용의 비디오 프레임의 이미지를 형성한다.
방법이 제공되는데, 그 방법은, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하는 것, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 것, 제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 것, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 및 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 것을 포함한다.
방법이 제공되는데, 그 방법은, 장면의 스테레오 비디오 시퀀스를 형성하기 위한 유저의 머리 방위를 결정하는 것, 상기 머리 방위에 기초하여 제1 이미지 소스, 제2 이미지 소스 및 제3 이미지 소스를 선택하는 것; 및 상기 제1 이미지 소스 및 상기 제2 이미지 소스를 사용하여 유저의 좌안에 대한 이미지 시퀀스를 렌더링하고 상기 제1 이미지 소스 및 상기 제3 이미지 소스를 사용하여 유저의 우안에 대한 이미지 시퀀스를 렌더링하는 것에 의해 상기 스테레오 비디오 시퀀스를 렌더링하는 것을 포함하고, 상기 제1 이미지 소스는 상기 비디오 시퀀스의 각각의 스테레오 프레임에서의 유저의 좌안 및 우안에 대한 상기 장면의 상이한 에어리어를 렌더링하기 위해 사용된다.
방법이 제공되는데, 그 방법은, 스테레오 뷰잉을 위한 복수의 소스 비디오 신호 - 상기 소스 비디오 신호는 복수의 카메라 소스로부터의 비디오 데이터를 포함하고, 상기 소스 비디오 신호는 액티브 장면 에어리어 신호(active scene area signal) 및 패시브 장면 에어리어 신호(passive scene area signal)를 포함함 - 를 인코딩하는 것, 상기 복수의 소스 비디오 신호를 뷰잉을 위해 스테레오 뷰잉 디바이스로 송신하는 것, 송신된 소스 비디오 신호에서, 상기 액티브 장면 에어리어 신호가 상기 패시브 장면 에어리어 신호보다 더 높은 충실도로 인코딩되도록 상기 인코딩하는 것 및 송신하는 것 중 적어도 하나를 수행하는 것을 포함하고, 상기 액티브 및 패시브 장면 에어리어 신호는, 상기 액티브 장면 에어리어 신호가 유저가 보고 있는 장면 에어리어에 대응하고 상기 패시브 장면 에어리어 신호가 다른 장면 에어리어에 대응하도록, 유저의 머리 방위에 대응한다.
스테레오 뷰잉 이미지 데이터를 생성하기 위한 카메라 디바이스가 제공되는데, 그 카메라 디바이스는, 디스패리티를 갖는 스테레오 이미지를 생성하기 위해, 적어도 세 개의 카메라 중 카메라의 임의의 쌍이 서로에 대해 디스패리티를 갖는 방식으로 규칙적인 또는 불규칙적인 설정으로 위치되는 상기 적어도 세 개의 카메라를 포함하고, 상기 적어도 세 개의 카메라는, 모든 부분이 상기 적어도 세 개의 카메라에 의해 캡쳐되는 중첩 영역(region)이 정의되도록, 중첩하는 시야를 갖는다. 카메라 디바이스는, 상기 적어도 세 개의 카메라 중 카메라의 상기 임의의 쌍이, 스테레오 이미지를 생성하기 위해 사람 눈의 시차에 대응하는 시차를 갖도록 하는 그런 것일 수도 있다. 카메라 디바이스는, 적어도 세 개의 카메라가, 가상 정육면체의 코너에 본질적으로 위치되며, 본질적으로 가상 정육면체의 중심점으로부터 코너로 규칙적인 방식으로 광학 축의 방향(direction)을 각각 구비하는 8개의 광 시야 카메라를 포함하도록 하는 그런 것일 수도 있는데, 상기 광시야 카메라의 각각의 시야는 적어도 180도이며, 따라서 전체 구체 뷰의 각각의 부분은 적어도 네 개의 카메라에 의해 커버된다.
적어도 하나의 프로세서, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치가 제공되는데, 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 장치로 하여금 적어도, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하게 하도록, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하게 하도록, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하게 하도록, 제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하게 하도록, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하게 하도록, 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하게 하도록 구성된다.
적어도 하나의 프로세서, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치가 제공되는데, 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 장치로 하여금 적어도, 장면의 스테레오 비디오 시퀀스를 형성하기 위한 유저의 머리 방위를 결정하게 하도록, 상기 머리 방위에 기초하여 제1 이미지 소스, 제2 이미지 소스 및 제3 이미지 소스를 선택하게 하도록, 상기 제1 이미지 소스 및 상기 제2 이미지 소스를 사용하여 유저의 좌안에 대한 이미지 시퀀스를 렌더링하고 상기 제1 이미지 소스 및 상기 제3 이미지 소스를 사용하여 유저의 우안에 대한 이미지 시퀀스를 렌더링하는 것에 의해 상기 스테레오 비디오 시퀀스를 렌더링하게 하도록 구성되고, 상기 제1 이미지 소스는 상기 비디오 시퀀스의 각각의 스테레오 프레임에서의 유저의 좌안 및 우안에 대한 상기 장면의 상이한 에어리어를 렌더링하기 위해 사용된다.
적어도 하나의 프로세서, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치가 제공되는데, 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 장치로 하여금 적어도, 스테레오 뷰잉을 위한 복수의 소스 비디오 신호 - 상기 소스 비디오 신호는 복수의 카메라 소스로부터의 비디오 데이터를 포함하고, 상기 소스 비디오 신호는 액티브 장면 에어리어 신호 및 패시브 장면 에어리어 신호를 포함함 - 를 인코딩하게 하도록, 상기 복수의 소스 비디오 신호를 뷰잉을 위해 스테레오 뷰잉 디바이스로 송신하게 하도록, 송신된 소스 비디오 신호에서, 상기 액티브 장면 에어리어 신호가 상기 패시브 장면 에어리어 신호보다 더 높은 충실도로 인코딩되도록 상기 인코딩하는 것 및 상기 송신하는 것 중 적어도 하나를 수행하게 하도록 구성되고, 상기 액티브 및 패시브 장면 에어리어 신호는, 상기 액티브 장면 에어리어 신호가 유저가 보고 있는 상기 장면 에어리어에 대응하고 상기 패시브 장면 에어리어 신호가 다른 장면 에어리어에 대응하도록, 유저의 머리 방위에 대응한다.
적어도 하나의 프로세서, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 시스템이 제공되는데, 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서와 함께, 시스템으로 하여금 적어도, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하게 하도록, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하게 하도록, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하게 하도록, 제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하게 하도록, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하게 하도록, 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하게 하도록 구성된다.
비일시적 컴퓨터 판독가능 매체 상에서 구현되는 컴퓨터 프로그램 제품이 제공되는데, 그 컴퓨터 프로그램 제품은 컴퓨터 프로그램 코드를 포함하고, 그 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서 상에서의 실행시, 장치 또는 시스템으로 하여금, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하게 하도록, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하게 하도록, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하게 하도록, 제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하게 하도록, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하게 하도록, 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하게 하도록 구성된다.
장치가 제공되는데, 그 장치는, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하기 위한 수단, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하기 위한 수단, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하기 위한 수단, 제2 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하기 위한 수단, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하기 위한 수단, 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하기 위한 수단을 포함한다.
방법이 제공되는데, 그 방법은, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하는 것, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 것, 제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 것, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 것, 상기 제1 이미지 소스를 사용하여 형성된 상기 이미지 및 상기 제3 이미지 소스를 사용한 상기 이미지로부터 시간적 전이를 혼합하는(blending) 것을 포함한다. 그 방법은, 머리 움직임 속도에 관한 정보를 사용하는 것에 의해 시간적 전이 혼합의 지속시간을 조정하는 것을 포함할 수도 있다.
방법이 제공되는데, 그 방법은, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하는 것, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 것, 제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 것, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 것, 상기 이미지 소스에 대한 소스 방위 정보를 결정하는 것, 및 상기 이미지 소스를 선택하기 위한 상기 머리 방위 정보와 함께 상기 소스 방위 정보를 사용하는 것을 포함한다.
방법이 제공되는데, 그 방법은, 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하는 것, 상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스 - 상기 제1 및 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 상기 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 것, 제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 것, 상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 - 상기 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 를 선택하는 것, 상기 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 것, 상기 제1, 제2 및 제3 이미지 소스에 대한 렌더링된 합성 이미지(synthetic image)를 생성하기 위한 가상 카메라를 사용하여 상기 제1, 제2 및 제3 이미지 소스를 컴퓨터 디바이스의 출력으로서 형성하는 것을 포함한다.
도면의 설명
하기에서는, 본 발명의 다양한 실시형태가 첨부된 도면을 참조로 더 상세히 설명될 것인데, 도면에서,
도 1a, 도 1b, 도 1c 및 도 1d는 유저에 대한 스테레오 이미지를 형성하기 위한 셋업을 도시한다;
도 2a는 스테레오 뷰잉을 위한 시스템 및 장치를 도시한다;
도 2b는 스테레오 뷰잉을 위한 스테레오 카메라 디바이스를 도시한다;
도 2c는 스테레오 뷰잉을 위한 헤드 마운트형 디스플레이(head-mounted display)를 도시한다;
도 2d는 카메라 디바이스를 예시한다;
도 3a, 도 3b 및 도 3c는 이미지 소스로부터 제1 및 제2 눈에 대한 스테레오 이미지를 형성하는 것을 예시한다;
도 4a, 도 4b, 도 4c, 도 4d 및 도 4e는, 머리 방위가 변경되고 있을 때 스테레오 이미지의 생성을 위한 이미지 소스의 선택을 예시한다;
도 5a 및 도 5b는, 이미지 소스로서 사용되기 위한 카메라 디바이스의 예를 도시한다;
도 5c는 오디오 소스로서 사용되기 위한 마이크 디바이스의 예를 도시한다;
도 6a, 도 6b, 도 6c 및 도 6d는, 스테레오 뷰잉을 위한 소스 및 목적지 좌표 시스템의 사용을 도시한다;
도 7a 및 도 7b는 스테레오 뷰잉을 위한 이미지 소스 데이터의 송신을 예시한다;
도 8은 스테레오 뷰잉을 위한 이미지를 생성하기 위한 가상 현실 모델에서의 합성 이미지 소스의 사용을 예시한다;
도 9a는 스테레오 뷰잉을 위한 이미지를 형성하기 위한 방법의 흐름도를 도시한다; 그리고
도 9b는 스테레오 뷰잉을 위한 이미지를 송신하기 위한 방법의 흐름도를 도시한다.
예시적인 실시형태의 설명
하기에서는, 본 발명의 여러 실시형태가 3D 안경을 이용한 스테레오 뷰잉의 맥락에서 설명될 것이다. 그러나, 본 발명은 임의의 특정 디스플레이 기술로 제한되지 않는다는 것을 유의해야 한다. 사실, 다른 실시형태는, 스테레오 뷰잉이 필요로 되는 임의의 환경, 예를 들면, 영화 및 텔레비전에서 적용된다. 추가적으로, 설명이 소정의 카메라 셋업을 이미지 소스의 예로서 사용하지만, 상이한 카메라 셋업 및 이미지 소스 장치가 사용될 수 있다.
도 1a, 도 1b, 도 1c 및 도 1d는 유저에 대한 스테레오 이미지를 형성하기 위한 셋업을 도시한다. 도 1a에서, 사람이 두 눈(E1 및 E2)을 사용하여 두 개의 구체(A1 및 A2)를 보고 있는 상황이 도시된다. 구체(A1)는 구체(A2)보다 뷰어에게 더 가까운데, 제1 눈(E1)에 대한 각각의 거리는 LE1,A1 및 LE1,A2이다. 상이한 오브젝트는, 공간에서, SZ, SY 및 SZ 좌표 시스템에 의해 정의되는 그들 각각의 (x,y,z) 좌표에 존재한다. 사람의 눈 사이의 거리(d12)는 평균적으로 대략 62-64 mm이고, 사람마다 55 mm와 74 mm 사이에서 변한다. 이 거리는 시차(parallax)로 칭해지는데, 사람 시각의 입체적 뷰는 이 시차에 기초한다. 뷰잉 방향(광축)(DIR1 및 DIR2)은 통상적으로 본질적으로 평행하며, 어쩌면 평행한 것으로부터 작은 편차를 가지며, 눈에 대한 시야를 정의한다. 유저의 머리는 주위 환경과 관련하여, 눈이 전방으로 똑바로 보고 있을 때 눈의 공통 방향에 의해 가장 쉽게 정의되는 방위(머리 방위)를 갖는다. 즉, 머리 방위는, 유저가 존재하는 곳의 장면의 좌표 시스템에 대하여 머리의 요(yaw), 피치(pitch) 및 롤(roll)을 알려준다.
도 1a의 셋업에서, 구체(A1 및 A2)는 양 눈의 시야 내에 있다. 구체와 눈 사이의 중심점(O12)은 동일한 라인 상에 있다. 즉, 중심점으로부터, 구체(A2)는 구체(A1) 뒤에 있다. 그러나, 각각의 눈은 A1 뒤에서부터 구체(A2)의 일부를 보게 되는데, 구체가 눈의 어느 쪽으로부터도 동일한 시선(line of view) 상에 있지 않기 때문이다.
도 1b에서는, 카메라(C1 및 C2)에 의해 눈이 대체된 셋업이 도시되는데, 카메라(C1 및 C2)는 도 1a에서 눈이 있었던 위치에 위치된다. 그 외에 셋업의 거리와 방위는 동일하다. 자연적으로, 도 1b의 셋업의 목적은 구체(A1 및 A2)의 스테레오 이미지를 찍을 수 있는 것이다. 이미지 캡쳐로부터 나타나게 되는 두 개의 이미지는 Fc1 및 Fc2이다. "좌안" 이미지(Fc1)는 구체(A1)의 이미지(SA1)의 좌측 상에서 부분적으로 볼 수 있는 구체(A2)의 이미지(SA2)를 도시한다. "우안" 이미지(Fc2)는 구체(A1)의 이미지(SA1)의 우측 상에서 부분적으로 볼 수 있는 구체(A2)의 이미지(SA2)를 도시한다. 우측 이미지와 좌측 이미지 사이의 차이는 디스패리티로 칭해지며, 사람의 시각 시스템이 깊이 정보를 결정하고 장면의 3D 뷰를 생성하는 기본 메커니즘인 이 디스패리티는 3D 이미지의 환영(illusion)을 생성하기 위해 사용될 수 있다.
도 1c에서는, 이 3D 환영의 생성이 도시된다. 카메라(C1 및 C2)에 의해 캡쳐되는 이미지(Fc1 및 Fc2)는, 디스플레이(D1 및 D2)를 사용하여, 눈(E1 및 E2)에 디스플레이된다. 이미지 사이의 디스패리티는, 깊이의 이해가 생성되도록 사람 시각 시스템에 의해 프로세싱된다. 즉, 각각, 좌안이 구체(A1)의 이미지(SA1)의 좌측 상에서 구체(A2)의 이미지(SA2)를 보고, 우안이 우측 상에서 A2의 이미지를 볼 때, 사람 시각 시스템은, 3차원 세계에서 구체(V1) 뒤에 구체(V2)가 존재한다는 이해를 생성한다. 여기서, 이미지(Fc1 및 Fc2)는 또한 합성물일 수도 있다는 것, 즉 컴퓨터에 의해 생성될 수도 있다는 것이 이해될 필요가 있다. 이들이 디스패리티 정보를 가지고 있으면, 합성 이미지는 사람 시각 시스템에 의해 3차원으로 또한 보일 것이다. 즉, 스테레오 이미지로서 사용될 수 있도록, 컴퓨터 생성 이미지의 쌍이 형성될 수 있다.
도 1d는, 3차원인 환영을 갖는 가상 현실 장면 또는 3D 영화를 생성하기 위해, 스테레오 이미지를 눈에 디스플레이하는 원리가 어떻게 사용될 수 있는지를 예시한다. 이미지(Fx1 및 Fx2)는 이미지가 적절한 디스패리티를 갖도록 모델로부터 계산되거나 또는 스테레오 카메라로 캡쳐된다. 좌안 및 우안 사이에서 이미지가 디스패리티를 갖도록 디스플레이(D1 및 D2)를 사용하여 양 눈에 초당 많은 수(예를 들면, 30)의 프레임을 디스플레이하는 것에 의해, 사람 시각 시스템은 움직이는 3차원 이미지의 인식을 생성할 것이다. 카메라가 회전되거나, 또는 합성 이미지가 계산되는 뷰의 방향이 변경되면, 이미지에서의 변경은 뷰의 방향이 변경되고 있는, 즉, 뷰어가 회전하고 있는 환영을 생성한다. 뷰의 이 방향, 즉 머리 방위는, 예를 들면, 머리 상에 장착되는 방위 검출기에 의해 머리의 실제 방위로서, 또는 유저가 실제 자신의 머리를 움직이지 않고도 뷰의 방향을 조작하기 위해 사용될 수 있는 조이스틱 또는 마우스와 같은 제어 디바이스에 의해 결정되는 가상 방위로서 결정될 수도 있다. 즉, 용어 "머리 방위"는 유저의 머리의 실제의 물리적인 방위 및 물리적 방위에서의 변경을 지칭하기 위해 사용될 수도 있거나, 또는 그것은 컴퓨터 프로그램 또는 컴퓨터 입력 디바이스에 의해 결정되는 유저의 뷰의 가상 방향을 지칭하기 위해 사용될 수도 있다.
도 2a는, 스테레오 뷰잉을 위한, 즉, 3D 비디오 및 3D 오디오 디지털 캡쳐 및 재생을 위한 시스템 및 장치를 도시한다. 시스템의 태스크는, 상이한 위치에 물리적으로 위치되는 그리고 옵션적으로는 미래의 나중의 시간에 한 명 이상의 뷰어에 의해, 특정 위치에 있다는 경험, 또는 현장감의 설득력 있는 재현(convincing reproduction)이 달성될 수 있도록, 그 위치로부터 충분한 시각적 그리고 청각적 정보를 캡쳐하는 것이다. 뷰어가 그들의 눈 및 그들의 귀를 사용하여 장면 내의 오브젝트의 거리 및 위치를 결정할 수 있기 위해서는, 이러한 재현은, 단일의 카메라 또는 마이크에 의해 캡쳐될 수 있는 정보보다 더 많은 정보를 필요로 한다. 도 1a 내지 도 1d의 맥락에서 설명된 바와 같이, 디스패리티를 갖는 이미지의 쌍을 생성하기 위해, 두 개의 카메라 소스가 사용된다. 유사한 방식으로, 사람 청각 시스템이 사운드의 방향을 감지할 수 있기 위해서는, 적어도 두 개의 마이크가 사용된다(두 개의 오디오 채널을 녹음하는 것에 의해 일반적으로 알려진 스테레오 사운드가 생성된다). 사람 청각 시스템은, 사운드의 방향을 검출하기 위해, 예를 들면 오디오 신호의 타이밍 차이에서의 큐를 검출할 수 있다.
도 2의 시스템은 세 개의 주요 부분으로 구성될 수도 있다: 이미지 소스, 서버 및 렌더링 디바이스. 비디오 캡쳐 디바이스(SRC1)는, 비디오 캡쳐 디바이스의 주변의 뷰의 영역이 적어도 두 개의 카메라로부터 캡쳐되도록 중첩하는 시야를 갖는 다수의(예를 들면, 8개의) 카메라(CAM1, CAM2, ..., CAMN)를 포함한다. 디바이스(SRC1)는 상이한 방향으로부터 유래하는 오디오의 타이밍 차이 및 위상 차이를 캡쳐하기 위해 다수의 마이크를 포함할 수도 있다. 디바이스는, 복수의 카메라의 방위(뷰의 방향)가 검출되어 기록될 수 있도록, 고해상도 방위 센서를 포함할 수도 있다. 디바이스(SRC1)는, 컴퓨터 프로세서(PROC1) 및 메모리(MEM1)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 캡쳐 디바이스를 제어하기 위한 컴퓨터 프로그램(PROGR1) 코드를 포함한다. 디바이스에 의해 캡쳐되는 이미지 스트림은 다른 디바이스, 예를 들면 뷰어에서의 사용을 위해 메모리 디바이스(MEM2) 상에 저장될 수도 있고, 및/또는 통신 인터페이스(COMM1)를 사용하여 서버로 송신될 수도 있다.
이미지 스트림을 생성하는 비디오 캡쳐 디바이스(SRC1)에 대안적으로 또는 외에, 합성 이미지의 하나 이상의 소스(SRC2)가 시스템에 존재할 수도 있다. 합성 이미지의 이러한 소스는, 자신이 송신하는 다양한 이미지 스트림을 계산하기 위해 가상 세계의 컴퓨터 모델을 사용할 수도 있다. 예를 들면, 소스(SRC2)는, 가상 뷰잉 위치에 위치되는 N 개의 가상 카메라에 대응하는 N개의 비디오 스트림을 계산할 수도 있다. 비디오 스트림의 이러한 합성 세트가 뷰잉을 위해 사용되면, 뷰어는, 도 1d에서 앞서 설명된 바와 같이, 3차원의 가상 세계를 볼 수도 있다. 디바이스(SRC2)는, 컴퓨터 프로세서(PROC2) 및 메모리(MEM2)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 합성 소스 디바이스(SRC2)를 제어하기 위한 컴퓨터 프로그램(PROGR2) 코드를 포함한다. 디바이스에 의해 캡쳐되는 이미지 스트림은 다른 디바이스, 예를 들면 뷰어에서의 사용을 위해 메모리 디바이스(MEM5)(예를 들면, 메모리 카드(CARD1)) 상에 저장될 수도 있거나, 또는 통신 인터페이스(COMM2)를 사용하여 서버 또는 뷰어로 송신될 수도 있다.
캡쳐 디바이스(SRC1) 외에, 스토리지, 프로세싱 및 데이터 스트림 서빙 네트워크가 존재할 수도 있다. 예를 들면, 캡쳐 디바이스(SRC1) 또는 계산 디바이스(SRC2)로부터의 출력을 저장하는 서버(SERV) 또는 복수의 서버가 존재할 수도 있다. 디바이스는, 컴퓨터 프로세서(PROC3) 및 메모리(MEM3)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 서버를 제어하기 위한 컴퓨터 프로그램(PROGR3) 코드를 포함한다. 서버는 유선 또는 무선 네트워크 연결에 의해, 또는 둘 다에 의해, 소스(SRC1 및/또는 SRC2)뿐만 아니라, 통신 인터페이스(COMM3)를 통해 뷰어 디바이스(VIEWER1 및 VIEWER2)에 연결될 수도 있다.
캡쳐된 또는 생성된 비디오 컨텐츠를 보기(viewing) 위해, 하나 이상의 뷰어 디바이스(VIEWER1 및 VIEWER2)가 존재할 수도 있다. 이들 디바이스는 렌더링 모듈 및 디스플레이 모듈을 구비할 수도 있거나, 또는 이들 기능성은 단일의 디바이스에서 결합될 수도 있다. 디바이스는, 컴퓨터 프로세서(PROC4) 및 메모리(MEM4)를 포함하거나 또는 이들에 기능적으로 연결되는데, 메모리는 뷰잉 디바이스를 제어하기 위한 컴퓨터 프로그램(PROGR4) 코드를 포함한다. 뷰어(재생) 디바이스는, 서버로부터 비디오 데이터 스트림을 수신하기 위한 그리고 비디오 데이터 스트림을 디코딩하기 위한 데이터 스트림 수신기로 구성될 수도 있다. 데이터 스트림은 통신 인터페이스(COMM4)를 통한 네트워크 연결을 통해, 또는 메모리 카드(CARD2)와 같은 메모리 디바이스(MEM6)로부터 수신될 수도 있다. 뷰어 디바이스는, 도 1c 및 도 1d를 이용하여 설명된 바와 같이 뷰잉을 위한 적절한 포맷으로의 데이터의 프로세싱을 위한 그래픽 프로세싱 유닛을 구비할 수도 있다. 뷰어(VIEWER1)는, 렌더링된 스테레오 비디오 시퀀스를 보기 위한 고해상도 스테레오 이미지 헤드 마운트형 디스플레이를 포함한다. 헤드 마운트형 디바이스는 방위 센서(DET1) 및 스테레오 오디오 헤드폰을 구비할 수도 있다. 뷰어(VIEWER2)는 (스테레오 비디오를 디스플레이하기 위한) 3D 기술 대응의 디스플레이를 포함하고, 렌더링 디바이스는 자신에게 연결된 머리 방위 검출기(DET2)를 구비할 수도 있다. 디바이스(SRC1, SRC2, 서버(SERVER), 렌더러(RENDERER), VIEWER1, VIEWER2) 중 임의의 것은 컴퓨터 또는 휴대형 컴퓨팅 디바이스일 수도 있거나, 또는 이러한 것에 연결될 수도 있다. 이러한 렌더링 디바이스는, 본 문서에서 설명되는 다양한 예에 따른 방법을 실행하기 위한 컴퓨터 프로그램 코드를 구비할 수도 있다.
도 2b는 스테레오 뷰잉을 위한 카메라 디바이스를 도시한다. 카메라는, 좌안 이미지 및 우안 이미지를 생성하기 위한 카메라 쌍으로 구성되는, 또는 이러한 쌍으로 정렬될 수 있는 세 개 이상의 카메라를 포함한다. 카메라 사이의 거리는, 사람 눈 사이의 보통의 거리에 대응할 수도 있다. 카메라는, 이들이 그들의 시야에서 상당한 중첩을 가지도록 정렬될 수도 있다. 예를 들면, 180도 이상의 광각 렌즈가 사용될 수도 있고, 3, 4, 5, 6, 7, 8, 9, 10, 12, 16 또는 20개의 카메라가 존재할 수도 있다. 카메라는 뷰의 전체 구체에 걸쳐 규칙적인 간격 또는 불규칙한 간격일 수도 있거나, 또는 이들은 전체 구체 중 일부만을 커버할 수도 있다. 예를 들면, 모든 세 개의 카메라가 뷰의 방향의 중간에서 중첩 에어리어를 커버하도록, 삼각형으로 정렬되며 삼각형의 한 변을 향하는 상이한 뷰의 방향을 갖는 세 개의 카메라가 존재할 수도 있다. 다른 예로서, 전체 또는 본질적으로 전체 구체가 적어도 3개 또는 4개의 카메라에 의해 모든 방향에서 커버되도록, 광각을 가지며 가상 정육면체의 코너에 규칙적으로 정렬되며 전체 구체를 커버하는 8개의 카메라가 존재할 수도 있다. 도 2b에서, 세 개의 카메라 쌍이 도시된다.
도 2c는 스테레오 뷰잉을 위한 헤드 마운트형 디스플레이를 도시한다. 헤드 마운트형 디스플레이는, 좌안 이미지 및 우안 이미지를 디스플레이하기 위한 두 개의 스크린 섹션 또는 두 개의 스크린(DISP1 및 DISP2)을 포함한다. 디스플레이는 눈에 가까우며, 따라서 렌즈는 이미지를 쉽게 볼 수 있게 만들기 위해 그리고 가능한 한 눈의 시야만큼 많이 커버하도록 이미지를 확산시키기 위해 사용된다. 디바이스는, 유저가 그의 머리를 돌리더라도 디바이스가 제자리에 유지하도록, 유저의 머리에 부착된다. 디바이스는, 머리 움직임 및 머리의 방향을 결정하기 위한 방위 검출 모듈(ORDET1)을 구비할 수도 있다. 이 타입의 디바이스에서, 머리 움직임을 추적하는 것이 행해질 수도 있지만, 그러나, 디스플레이가 넓은 에어리어의 시야를 커버하기 때문에, 눈 움직임 검출은 불필요하다는 것을 여기서 유의해야 한다. 머리 방위는, 유저의 머리의 실제의 물리적 방위에 관련될 수도 있고, 그것은 유저의 머리의 실제 방위를 결정하기 위한 센서에 의해 추적될 수도 있다. 대안적으로 또는 추가적으로, 머리 방위는, 컴퓨터 프로그램에 의해 또는 조이스틱과 같은 컴퓨터 입력 디바이스에 의해 제어되는, 유저의 뷰 방향의 가상 방위에 관련될 수도 있다. 즉, 유저는 결정된 머리 방위를 입력 디바이스를 가지고 변경할 수도 있거나, 또는 컴퓨터 프로그램이 뷰 방향을 변경할 수도 있다(예를 들면, 게임에서, 게임 프로그램은, 실제 머리 방위 대신 또는 실제 머리 방위 외에, 결정된 머리 방위를 제어할 수도 있다).
도 2d는 카메라 디바이스(CAM1)를 예시한다. 카메라 디바이스는, 센서 엘리먼트에 충돌하는 광의 세기를 감지하기 위한 복수의 센서 엘리먼트를 포함하는 카메라 검출기(CAMDET1)를 구비한다. 카메라 디바이스는 렌즈(OBJ1)(또는 복수의 렌즈의 렌즈 배열체)를 구비하는데, 렌즈는, 센서 엘리먼트에 충돌하는 광이 렌즈를 통해 센서 엘리먼트로 이동하도록 위치된다. 카메라 검출기(CAMDET1)는, 복수의 센서 엘리먼트의 중간 지점인 공칭 중심점(CP1), 예를 들면, 직사각형 센서의 경우 대각선의 교차점을 갖는다. 렌즈는, 예를 들면 렌즈의 대칭 축 상에 놓이는 공칭 중심점(PP1)을 또한 갖는다. 카메라의 방위의 방향은, 렌즈의 중심점(PP1) 및 카메라 센서의 중심점(CP1)을 지나가는 반직선에 의해 정의된다.
상기에서 설명된 시스템은 다음과 같이 기능할 수도 있다. 캡쳐 디바이스에 의해 시간 동기화된 비디오, 오디오 및 방위 데이터가 먼저 기록된다. 이것은 상기에서 설명된 바와 같이 다수의 동시적 비디오 및 오디오 스트림으로 구성될 수 있다. 그 다음, 이들은, 재생 디바이스로의 후속하는 전달에 적합한 포맷으로의 프로세싱 및 변환을 위해, 스토리지 및 프로세싱 네트워크로 즉시 또는 나중에 송신된다. 변환은, 품질을 향상시키기 위해 및/또는 품질을 소망의 레벨에서 보존하면서 데이터의 양을 감소시키기 위해 오디오 및 비디오 데이터에 대한 후처리 단계를 수반할 수 있다. 최종적으로, 각각의 재생 디바이스는 네트워크로부터 데이터의 스트림을 수신하고, 그것을, 헤드 마운트형 디스플레이 및 헤드폰을 갖는 유저에 의해 경험될 수 있는 원래의 위치의 스테레오 뷰잉 재현으로 렌더링한다.
하기에서 설명되는 바와 같이 뷰잉을 위한 스테레오 이미지를 생성하기 위한 신규의 방식에서는, 유저는 자신의 머리를 다수의 방향으로 돌릴 수도 있고, 재생 디바이스는, 그 특정 방위에 대응하는 장면의 고주파수(예를 들면, 초당 60 프레임)의 스테레오 비디오 및 오디오 뷰를, 원래의 레코딩의 위치로부터 보였을 것처럼 생성할 수 있다.
도 3a, 도 3b 및 도 3c는, 동적 소스 선택 및 동적 스티칭 위치(dynamic stitching location)를 사용하는 것에 의해 이미지로부터 제1 및 제2 눈에 대한 스테레오 이미지를 형성하는 것을 예시한다. 특정 머리 방위에 대한 스테레오 뷰를 생성하기 위해, 적어도 2개의 상이한 카메라로부터의 이미지 데이터가 사용된다. 통상적으로, 단일의 카메라는 전체 시야를 커버할 수 없다. 따라서, 본 솔루션에 따르면, 상이한 카메라로부터의 이미지의 섹션을 함께 합치는(stitching) 것에 의해 스테레오 뷰잉을 위한 양 이미지를 생성하기 위한 다수의 카메라가 사용될 수도 있다. 스티칭에 의한 이미지 생성은, 3D 뷰가 생성될 수 있도록 이미지가 적절한 디스패리티를 갖도록 발생한다. 이것은 하기에서 설명된다.
최상의 이미지 소스를 사용하기 위해, 카메라 위치 및 눈 위치의 모델이 사용된다. 카메라는 카메라 공간에서 위치를 가질 수도 있고, 눈의 위치는, 눈이 카메라 사이에서 나타나도록 이 공간으로 투사된다. 현실적인 시차(눈 사이의 거리)가 활용된다. 예를 들면, 모든 카메라가 구체 상에서 규칙적인 간격으로 위치되는 8개의 카메라의 보통의 셋업에서, 눈은 구체 상으로 또한 투사될 수도 있다. 솔루션은 먼저 각각의 눈에 가장 가까운 카메라를 선택한다. 헤드 마운트형 디스플레이는, 눈의 전체 뷰를 커버하는 (하나의 카메라로부터의) 단일의 이미지가 존재하지 않도록 눈마다 큰 시야를 가질 수 있다. 이 경우, 서로 합쳐지고 있는 두 이미지에서 거의 동일한 컨텐츠를 포함하는 라인을 따라 이미지를 함께 "합치는" 기지의 기술을 사용하여, 다수의 이미지의 일부로부터 뷰가 생성되어야 한다. 도 3a는 스테레오 뷰잉을 위한 두 개의 디스플레이를 도시한다. 좌안 디스플레이의 이미지는, 카메라(IS2, IS3 및 IS6)로부터의 이미지 데이터로부터 함께 합쳐진다. 우안 디스플레이의 이미지는, 카메라(IS1, IS3 및 IS8)로부터의 이미지 데이터로부터 함께 합쳐진다. 이 예에서는 좌안 이미지 및 우안 이미지 둘 다에 대해 동일한 이미지 소스(IS3)가 사용되지만, 이것은, 양 눈에서 뷰의 동일한 영역이 카메라(IS3)에 의해 커버되지 않도록 행해진다는 것을 유의한다. 이것은, 전체 뷰에 걸쳐 적절한 디스패리티를 보장한다 - 즉, 뷰의 각각의 위치에서, 좌안 이미지와 우안 이미지 사이에 디스패리티가 존재하는 것을 보장한다.
눈 위치에 가장 가까운 카메라로부터 취해지는 뷰의 중앙 영역 주변의 에어리어를 극대화하기 위해, 스티칭 지점은 각각의 머리 방위에 대해 동적으로 변경된다. 동시에, 상이한 눈에 대한 두 개의 이미지에서 뷰의 동일한 영역에 대해 상이한 카메라가 사용되는 것을 보장하도록 주의한다. 도 3b에서, 뷰에서의 동일한 에어리어에 대응하는 영역(PXA1 및 PXA2)은 상이한 카메라(IS1 및 IS2)로부터 각각 취해진다. 두 개의 카메라는 이격되고, 따라서 영역(PXA1 및 PXA2)은 디스패리티의 효과를 보이고, 따라서 사람 시각 시스템에서 3D 환영을 생성하게 된다. 심(seam)(더 잘 보일 수 있음)(STITCH1 및 STITCH2)이 뷰의 중앙에 위치되는 것이 또한 방지되는데, 가장 가까운 카메라가 중앙 부근의 에어리어를 커버할 것이기 때문이다. 이 방법은, 머리 방위에 따라 뷰의 소정의 영역에 대한 이미지를 생성하기 위해 사용될 카메라의 쌍을 동적으로 선택하는 것으로 이어진다. 선택은, 검출된 머리 방위를 사용하여, 각각의 픽셀 및 각각의 프레임에 대해 행해질 수도 있다.
스티칭은, 모든 스티칭된 영역이 적절한 스테레오 디스패리티를 갖는 것을 보장하는 알고리즘으로 행해진다. 도 3c에서, 좌측 이미지 및 우측 이미지는, 장면의 오브젝트가 상이한 카메라 소스로부터의 에어리어에 걸쳐 연속하도록 함께 합쳐진다. 예를 들면, 장면에서의 가장 가까운 정육면체는 하나의 카메라로부터 좌안 이미지로, 두 개의 상이한 카메라로부터 우안의 뷰로 취해졌고, 그리고 함께 합쳐졌다. 좌안 및 우안에 대한 정육면체의 모든 부분에 대해 사용되는 상이한 카메라가 존재하는데, 상이한 카메라는 디스패리티를 생성한다(정육면체의 우측은 우안 이미지에서 더 잘 보인다).
좌안 및 우안 둘 다에서 동일한 카메라 이미지가 부분적으로 사용될 수도 있지만, 동일한 영역에 대해서는 아니다. 예를 들면, 이들 뷰 에어리어가 중첩하지 않고 상이한 카메라(IS1 및 IS2)가 이들 에어리어를 다른 눈에서 렌더링하기 위해 사용되는 한, 좌안 뷰의 우측은 카메라(IS3)로부터 스티칭될 수 있고 우안의 좌측은 동일한 카메라(IS3)로부터 스티칭될 수 있다. 다시 말하면, 동일한 카메라 소스(도 3a, IS3)는, 좌안 이미지 및 우안 이미지 둘 다에 대한 스테레오 뷰잉에서 사용될 수도 있다. 대조적으로, 전통적인 스테레오 뷰잉에서, 좌측 카메라는 좌측 이미지에 대해 사용되고 우측 카메라는 우측 이미지에 대해 사용된다. 따라서, 본 방법은 소스 데이터가 더 완전히 활용되는 것을 허용한다. 이것은 비디오 데이터의 캡쳐에서 활용될 수 있고, 이것에 의해 상이한 시간 인스턴스에서 상이한 카메라에 의해 (초당 30 프레임과 같은 소정의 샘플링 레이트로) 캡쳐되는 이미지는, 뷰잉을 위한 좌측 및 우측 스테레오 이미지를 생성하기 위해 사용된다. 이것은, 소정의 시간 인스턴스에서 캡쳐되는 동일한 카메라 이미지가 좌안에 대한 이미지의 일부 및 우안에 대한 이미지의 일부를 생성하기 위해 사용되는 방식으로 행해질 수도 있는데, 좌안 이미지 및 우안 이미지는 뷰잉을 위한 스테레오 비디오 스트림의 하나의 스테레오 프레임을 형성하기 위해 함께 사용된다. 상이한 시간 인스턴스에서, 비디오의 좌안의 일부 및 우안 프레임의 일부를 생성하기 위해 상이한 카메라가 사용될 수도 있다. 이것은 캡쳐된 비디오 데이터의 훨씬 더 효율적인 사용을 가능하게 한다.
도 4a 및 도 4b는, 상이한 머리 방위에 대한 가장 가까운 카메라를 선택하기 위한 모델을 예시한다. 예(도 4a 참조)로서, 모든 소스(카메라)는, 그들의 위치가 정6면체를 형성하고 중심점으로부터의 그들의 거리가 동일하도록, 중심점 부근에 정렬된다. 이것은 규칙적인 카메라간 간격을 갖는 8 카메라 디바이스에 대응한다. 소스는 3d 공간에서 소정의 x, y 및 z 좌표를 갖는다. 소스는 중심점으로부터 직접적으로 떨어져 위치된다(소스의 방위는 도 2d의 맥락에서 설명된다). 헤드 마운트형 디바이스는, 뷰어의 머리의 롤, 피치 및 요를 보고하고, 이들은, 머리 좌표 시스템을 기준으로 이들을 렌더링하기 위해 소스의 좌표를 변환하도록 사용될 수도 있다. 대안적으로, 눈의 좌표는 소스의 좌표 시스템으로 변환될 수도 있다. 여전히 또한, 소스의 좌표 시스템은 정규화된 좌표 시스템으로 변환될 수도 있고, 머리 좌표 시스템도 또한 이 동일한 정규화된 좌표 시스템으로 변환될 수도 있다. 따라서, 소스 및 눈 둘 다는 서로에 대해 동일한 모델에 위치된다.
다시 말하면, 유저의 상기 눈에 대응하는 제1 및 제2 가상 눈의 위치는 머리 방위를 사용하여 좌표 시스템에서 결정되고, 그 다음, 이미지 소스는 좌표 시스템에서의 이미지 소스 위치에 대한 가상 눈의 위치에 기초하여 선택된다.
각도 γ(피치 각도로 또한 알려짐)만큼의 x축을 기준으로 하는 좌표의 회전 변환(Rx)의 예는 다음의 회전 매트릭스에 의해 정의된다:
Figure pct00001
유사한 방식으로, 상이한 축을 기준으로 하는 회전(Ry)(요의 경우) 및 회전(Rz)(롤의 경우)이 형성될 수 있다. 일반적인 회전으로서, R=Rx Ry Rz에 의한 세 개의 회전의 매트릭스 승산이 형성될 수 있다. 그 다음, 이 회전 매트릭스는, 목적지 좌표 시스템에서의 벡터를 획득하기 위해,
Figure pct00002
에 따라 제1 좌표 시스템에서의 임의의 벡터를 승산하도록 사용될 수 있다.
소스 좌표 및 눈 좌표를 변환하는 예가 하기에서 주어진다. 모든 벡터는 3차원 공간에서의 벡터이며 (x, y, z)로서 설명된다. 원점은 (0, 0, 0)에 있다. 모든 이미지 소스는, 원점을 기준으로 요, 피치 및 롤에 의해 정의되는 방위를 갖는다.
각각의 소스에 대해, 위치 벡터가 계산된다:
- 소스에 대한 위치 벡터를 생성하고 그것을 (0, 0, 1)로 초기화한다
- 항등 변환 매트릭스를 만든다
- 요의 양만큼 y 축을 기준으로 좌표를 회전시키는 다른 것과 매트릭스를 승산한다
- 피치의 양만큼 x 축을 기준으로 좌표를 회전시키는 다른 것과 매트릭스를 승산한다
- 롤의 양만큼 z 축을 기준으로 좌표를 회전시키는 다른 것과 매트릭스를 승산한다
- 매트릭스를 사용한 매트릭스 승산으로 위치 벡터를 변환한다, 매트릭스는 승산에서 왼쪽에서부터 적용된다.
눈에 대해서, 위치 벡터를 계산한다:
- 눈에 대한 위치 벡터를 생성하고 그것을 (0, 0, 1)로 초기화한다
- 뷰잉 방향(머리 방위)에 따라 소스를 렌더링하기 위해 사용되는 뷰 매트릭스를 취하고 그것을 반전한다. (뷰 매트릭스가 왜 반전되는지를 예시하기 위해, 예를 들면 뷰잉 방향이 y축을 기준으로 10도 회전되는 경우, 소스는 y 축을 기준으로 -10도 회전될 필요가 있다. 유사한 방식으로, 한 사람이 오브젝트를 보고 그의 머리를 우측으로 회전하면, 뷰에서의 오브젝트는 왼쪽으로 이동한다. 따라서, 상상되는(imagined) 눈 위치에 적용하는 회전은, 소스/뷰에 적용하는 회전의 반전으로서 취해질 수도 있다.)
- (하기에서 설명되는 바와 같이) 시뮬레이팅된 눈 디스패리티에 따라 반전된 뷰 매트릭스를 y 축(머리 좌표 시스템에서 위쪽을 가리키는 축)을 기준으로 회전시킨다.
- 매트릭스를 프리 벡터(pre-vector)에 적용시켜, 결과적으로 나타나는 매트릭스에 따라 위치 벡터를 변환한다.
- 눈 위치와 소스 사이의 거리를 계산하고 가장 짧은 거리를 고른다(하기 참조).
눈(좌안 또는 우안)의 상상되는 위치가, 카메라가 위치되는 것보다 중점으로부터 등거리에 위치되고, 캡쳐 디바이스의 방위와 비교하여, 뷰어의 헤드 마운트형 디바이스의 상대적인 방위에 따라 모든 x, y 및 z 축을 기준으로 중심점을 중심으로 회전된다. 도 4a 및 도 4b에서 도시되는 바와 같이, 이것은, (도 1a의 O12에 대응하는) 얼굴의 중간에 상상의(imaginary) 중간 눈(MEYE)의 위치로 나타난다. 그 다음, 뷰어의 상상의 중간 눈의 위치는, 가상의 좌안(LEYE) 또는 우안(REYE)의 위치를 얻기 위해, (뷰어의 머리와 정렬되는, 턱에서부터 머리의 상부까지의) 뷰어의 y 축을 기준으로 회전된다. 사람 눈의 디스패리티를 시뮬레이팅하기 위해, 뷰가 좌안에 대한 것인지 또는 우안에 대한 것인지의 여부에 따라, 이 회전은 대응하는 방향으로 행해진다. 가상의 좌안 및 우안 사이의 각도는 80도와 120도 사이에 있을 수도 있으며, 예를 들면 대략 100도이다. 90도보다 더 큰 각도는 양 눈에 대한 동일한 영역에 대해 동일한 카메라의 선택을 방지할 수도 있고, 110도보다 더 작은 각도는 너무 큰 카메라간 거리를 갖는 카메라가 선택되는 것을 방지할 수도 있다.
소스(예를 들면, 카메라)는 소스와 가상 눈 사이의 거리에 따라 정돈되며, 뷰는 픽셀이, 각각: A) 그 픽셀을 커버하는; B) 조건을 충족하는 모든 소스에 대해 비교했을 때 가상 눈까지 최소 거리를 갖는; 소스로부터 선택되도록 렌더링된다. 다시 말하면, 유저의 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스는, 상기 제1 눈에 대응하는 가상 눈에 대한 근접도 기준을 충족하는 근접 이미지 소스가 되도록 결정되는데, 이 경우, 근접 이미지 소스는 픽셀에 대응하는 장면 부분을 캡쳐한다. 근접 이미지 소스가 픽셀에 대응하는 장면 부분을 캡쳐하지 않으면, 유저의 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스는, 상기 제1 눈에 대응하는 상기 가상 눈에 대한 근접 이미지 소스 이외의 다른 소스가 되도록 선택된다.
도 4c 및 도 4d는, 머리 방위가 변경되고 있을 때 스테레오 이미지의 생성을 위한 이미지 소스의 선택을 예시한다. 픽셀은 다음에 따라 선택된 소스로부터 렌더링된다:
1. 현재 픽셀을 커버하는 모든 소스를 열거한다
2. 리스트 상의 모든 소스로부터, 어떤 사람이 소스 중심점이 있는 곳에 자신의 머리가 위치되고 헤드 마운트형 디스플레이의(뷰어의 머리) 방위에 따라 회전되는 경우 특정 눈을 가지고 보게 될 것과 가장 잘 매치하는 소스를 선택한다
3. 소스가 좌안 및 우안에 대해 동일하지 않다는 것, 및 선택된 소스가 가능한 한 사람 눈에 가까운 디스패리티(예를 들면, 64 mm)를 갖는다는 것을 보장하기 위해, 상상되는 사람의 눈 디스패리티를 조정한다. 이 조정의 양은 이용가능한 소스 및 그들의 위치에 의존한다. 조정은 또한 미리 행해질 수도 있다. 제1 눈에 대한 가장 가까운 카메라가, 예를 들면, 제1 눈보다 피치에서 10도 더 낮다는 것이 발견되었다면, 가장 가까운 제2 눈은 피치에서 10도 더 낮게 또한 회전될 수도 있다. 이것은, 적어도 몇몇 경우에서, 피치에서 더 높은 카메라를 선택하는 다른 눈으로부터 유래할 카메라 사이의 시차 라인을 기울이는 것(롤을 생성하는 것)을 방지하기 위해 행해질 수도 있다.
가상 위치는 룩업 테이블을 이용하여 가장 가까운 카메라 리스트에 사전 매핑될 수도 있고, 매핑은, 내부에서 모든 위치가 동일한 리스트를 공유하는 단위(granularity) 예를 들면 1 mm를 가질 수도 있다. 디스플레이될 이미지에 대한 픽셀이 렌더링되고 있을 때, 가장 가까운 카메라로부터의 픽셀이 먼저 렌더링되고 렌더링된 것으로 스텐실 버퍼에서 마킹되도록, 스텐실 버퍼가 활용될 수도 있다. 그 다음, 다음으로 가장 가까운 카메라로부터 렌더링될 수 있는 렌더링되지 않은 픽셀을 결정하기 위해 스텐실 테스트가 수행되고, 다음으로 가장 가까운 것으로부터의 픽셀이 렌더링되어 마킹되고, 전체 이미지가 렌더링될 때까지, 계속 그런 식으로 된다. 즉, 눈에 대한 이미지의 영역은, 영역이 이미지 소스에 대응하도록 렌더링되는데, 영역은, 이미지 소스 좌표 시스템에서 상기 눈에 대응하는 가상 눈에 대한 이미지 소스의 근접도의 순서로 렌더링된다.
하나의 카메라로부터 다른 카메라로의 평활한 "심"(공간적 전이)을 생성하기 위해, 카메라의 에지 영역은 다음과 같이 알파 채널 렌더링을 사용하여 렌더링될 수도 있다. 각각의 픽셀의 경우, 픽셀의 (레드-그린-블루) 컬러 값은, 예를 들면 보간에 의해 또는 가장 가까운 소스 픽셀의 컬러 값을 사용하는 것에 의해, 소스 픽셀의 소스 컬러 값으로부터 계산된다. 대부분의 픽셀의 경우, 알파 값(불투명도)은 1이다. 소스의 에지 상에서의 픽셀의 경우, 알파 값은 1 미만으로 설정될 수도 있다. 이것은, 다음의 중첩하는 소스로부터의 컬러 값과 앞서 계산된 컬러 값이 혼합되어 더 평활한 스티치를 생성한다는 것을 의미한다. 에지 에어리어의 경우, 따라서, 렌더링은 픽셀을 커버하는 가장 먼 카메라로부터 시작할 수도 있다. 즉, 이미지의 영역은 영역의 에지 에어리어를 혼합하는 것에 의해 결합될 수도 있다.
상기에서, 두 개의 옵션적인 최적화, 즉 스텐실 버퍼 및 알파 채널 평활화의 사용이 설명되었다. 이 방식에서, 그래픽 프로세서의 기능성이 활용될 수도 있다.
도 4c, 도 4d 및 도 4e는, 머리 방위가 변경되고 있을 때 스테레오 이미지의 생성을 위한 이미지 소스의 선택을 예시한다. 도 4c에서, 유저의 머리 방위는 제1 머리 방위를 획득하도록 결정된다. 그 다음, 상기에서 설명되었던 바와 같이, 제1 및 제2 이미지 소스가 스테레오 이미지 소스를 형성하도록, 제1 머리 방위에 기초하여 제1 이미지 소스(IS7) 및 제2 이미지 소스(IS2)가 선택된다. 장면에서, 장면의 소정의 상세에 대응하는 가상 영역이 존재하는 것으로 이해될 수도 있다. 좌안 이미지 및 우안 이미지에서는, 장면 영역을 나타내는 픽셀의 대응하는 영역(PXA1 및 PXA2)이 존재한다. 장면의 제1 영역에 대응하는 픽셀의 제1 영역(PXA1)의 컬러 값은 제1 이미지 소스(IS7)를 사용하여 결정되고, 픽셀의 제1 영역의 컬러 값은 좌안 이미지 안으로 형성된다. 장면의 동일한 영역에 대응하는 픽셀의 제2 영역(PXA2)의 컬러 값은 제2 이미지 소스(IS2)를 사용하여 형성되고, 픽셀의 이 제2 영역의 컬러 값은 우안 이미지 안으로 형성된다.
유저가 자신의 머리를 돌리는 경우(피치, 요 및 롤 값에 의해 나타내어지는 회전이 존재하는 경우), 유저의 머리 방위는 제2 머리 방위를 획득하도록 다시 결정된다. 이것은, 예를 들면, 헤드 마운트형 디스플레이에 머리 움직임 검출기가 존재하도록 발생할 수도 있다. 제1 장면 영역에 대응하는 이미지 영역을 형성하기 위해, 도 4d에서 도시되는 바와 같이, 이미지 소스는 다시 선택된다. 머리를 돌렸기 때문에, 제2 이미지 소스(IS2) 및 이제 제3 이미지 소스(IS8)는 제2 머리 방위에 기초하여 선택되는데, 제2 및 제3 이미지 소스는 스테레오 이미지 소스를 형성한다. 이것은 상기 설명된 바와 같이 행해진다. 장면의 제1 영역에 대응하는 픽셀의 제3 영역(PXA3)의 컬러 값은 제3 이미지 소스(IS8)를 사용하여 형성되는데, 픽셀의 제3 영역(PXA3)의 컬러 값은 좌안에 디스플레이하기 위한 제3 이미지 안으로 형성된다. 장면의 동일한 제1 영역에 대응하는 픽셀의 제4 영역(PXA4)의 컬러 값은 제2 이미지 소스(IS2)를 사용하여 여전히 형성되는데, 픽셀의 제4 영역의 컬러 값은 우안에 디스플레이하기 위한 제4 이미지 안으로 형성된다.
이 방식에서, 검출된 또는 결정된 머리 방위는, 눈에 대한 이미지를 형성하기 위해 사용되는 이미지 소스의 선택에 영향을 끼친다. 장면 중 한 영역의 스테레오 이미지를 생성하기 위해 사용되는 이미지 소스(카메라)의 쌍은, 유저가 자신의 머리를 돌리거나 또는 카메라 뷰가 회전되면, 하나의 시간 인스턴스로부터 다른 것으로 변할 수도 있다. 이것은, 동일한 이미지 소스가 항상 (가상의) 눈에 가장 근접 이미지 소스는 아닐 수도 있기 때문이다.
다수의 카메라로부터의 입력에 기초하여 특정 뷰 방위에 대한 스테레오 뷰를 재생할 때, 카메라 사이에 시차를 갖는 것이 관건이다. 그러나, 이 시차는, 뷰잉 각도(머리 방위)에서의 변경으로 인해 이미지 영역에 대한 카메라 쌍이 변할 때 두 개의 연속하는 프레임 사이의 이미지 영역(및 디스패리티)에서 점프를 야기할 수도 있다는 것이 인식되었다. 이 점프는 뷰어를 방해할 수 있고 재현의 충실도를 감소시킬 수 있다. 도 4c에서, 좌측 이미지는 카메라(IS1, IS3 및 IS7)로부터 렌더링되고, 우측 이미지는 카메라(IS2, IS3 및 IS6)로부터 렌더링된다. 유저가 자신의 머리를 왼쪽으로 기울이는 경우, 이미지는 반시계 방향으로 자연스럽게 회전하도록 만들어진다. 그러나, 소스에 대한 눈의 위치도 또한 변하고 있다. 도 4d에서, 하나의 카메라(IS7)가 좌측 이미지에 대해 (IS8로) 변경되었다. IS7로부터의 이미지는 IS8과는 약간 상이하며, 따라서, 유저가 머리를 기울이는 경우, 카메라 변경은 이미지의 아래쪽 부분에서의 디스패리티에서 현저한 변경을 야기할 수도 있다.
이 솔루션에서 사용되는 기술은, 뷰잉 방향의 각속도에 따라 교차 혼합의 타이밍 및 지속시간을 조정하면서, 두 개의 카메라 쌍 사이에서 다수의 렌더링된 프레임 동안 교차 혼합하는 것이다. 목표는, 뷰잉 방향이 급속히 변하고 있을 때, 그 때 이미 자연적인 모션 블러가 존재하고 유저가 임의의 특정 지점에 집중되지 않기 때문에 교차 혼합된 점프를 행하는 것이다. 교차 혼합의 지속시간은, 슬로우 모션에서 교차 혼합이 더 긴 시간의 기간에 걸쳐 행해지고 더 빠른 모션에서 교차 혼합 지속시간이 더 짧아지도록, 각속도에 따라 또한 조정될 수도 있다. 이 방법은, 하나의 카메라 쌍으로부터 다른 것으로의 점프의 가시성을 감소시킨다. 교차 혼합은, 영향을 받은 이미지 영역 값의 가중된 가산에 의해 달성될 수 있다. 예를 들면, 도 4e에서 도시되는 바와 같이, 혼합될 에어리어는 IS7 및 IS8의 결합된 에어리어가 되도록 선택될 수도 있다. 에어리어는 또한 IS8만의 또는 IS7만의 에어리어가 되도록 선택될 수도 있다. 이 방법은, 특히 헤드 마운트형 디스플레이를 이용하여 볼 때 한 카메라 쌍으로부터 다른 것으로의 점프의 두드러짐을 감소시키는 것으로 평가되었다. 다시 말하면, 비디오 이미지 품질을 향상시키기 위해, 제1 이미지 소스를 사용하여 형성된 이미지로부터 다른 이미지 소스를 사용한 이미지로 혼합하는 것에 의해 시간적 전이가 생성될 수도 있다. 시간적 전이 혼합의 지속시간은, 머리 이동 속도, 예를 들면 각속도에 관한 정보를 사용하는 것에 의해 조정될 수도 있다.
소스의 변경에서, 변경의 히스테리시스가 적용될 수도 있다. 히스테리시스에 의해, 제2 소스가 제1 소스보다 가상 눈에 더 가깝다는 결정으로 인해 제1 소스로부터 제2 소스로의 소스에서의 변경이 일단 적용되었다면, 제1 소스로의 역변경은 제1 변경처럼 쉽게 이루어지지 않는다는 것이 의도된다. 즉, 머리 방위가 변경 직전의 방위로 복귀하면, 제1 소스로의 역 변경은 영향을 받지 않는다. 제1 소스로의 역 변경은, 제1 소스가 제2 소스보다 가상 눈에 명백하게 더 가깝도록 하는 머리 방위에서의 더 큰 변경을 필요로 한다. 히스테리시스의 이러한 사용은, 제1 및 제2 소스가 가상 눈에 거의 동일하게 가까운 방위에서 카메라의 앞뒤로의 급격한 전환에 의해 야기되는 플리커링(flickering)을 방지하기 위해 사용될 수도 있다.
전체 에어리어에 대한 이미지 소스가 변경되도록 교차 혼합이 또한 발생할 수도 있다는 것이 이해될 필요가 있는데, 전체 에어리어에 대한 이미지 소스 변경은, 전체 에어리어가 교차 혼합되는 것으로 나타나게 된다.
도 5a 및 도 5b는, 이미지 소스로서 사용되기 위한 카메라 디바이스의 예를 도시한다. 전체 360도의 스테레오 파노라마를 생성하기 위해 뷰의 모든 방향은 두 개의 위치로부터 촬영될 필요가 있는데, 하나는 좌안에 대한 것이고 하나는 우안에 대한 것이다. 비디오 파노라마의 경우, 눈을 서로 동기 상태로 유지하기 위해 이들 이미지는 동시에 촬영될 필요가 있다. 적어도 다른 카메라에 의해 방해 받지 않으면서, 하나의 카메라가 총 360도의 뷰를 물리적으로 커버할 수 없기 때문에, 총 360도의 파노라마를 형성하기 위해서는 다수의 카메라가 존재할 필요성이 있다. 그러나, 추가적인 카메라는 시스템의 비용 및 사이즈를 증가시키고 프로세싱될 더 많은 데이터 스트림을 추가한다. 이 문제는, 더 많은 수직 시야를 얻기 위해, 구체 또는 플라톤 입체 형상의 배열체(platonic solid shaped arrangement) 상에 카메라를 마운팅할 때 더욱 더 현저해지게 된다. 그러나, 다수의 카메라 쌍을 예를 들면 구체 또는 플라톤 입체 예컨대 8면체 또는 12면체 상에 정렬하는 것에 의해서도, 카메라 쌍은 아이 뷰(eye view) 사이에서 자유 각도 시차를 달성하지 않을 것이다. 눈 사이의 시차는 개개의 카메라의 위치에 쌍으로 고정된다, 즉, 카메라 쌍에 수직한 방향에서, 어떠한 시차도 달성될 수 없다. 이것은, z축을 기준으로 뷰잉 각도의 자유로운 회전을 또한 허용하는 헤드 마운트형 디스플레이를 이용하여 스테레오 컨텐츠를 볼 때 문제가 된다.
캡쳐 디바이스 주변의 모든 지점을 두 번 커버하는 다수의 카메라에 대한 요건은, 캡쳐 디바이스에서 아주 많은 수의 카메라를 필요로 할 것이다. 이 솔루션에서 사용되는 신규의 기술은, 180도(반구) 또는 그 이상의 시야를 갖는 렌즈를 사용하는 것 및 캡쳐 디바이스 주변에 신중하게 선택된 배열체를 갖는 카메라를 배열하는 것이다. 이러한 배열체는 도 5a에서 도시되는데, 도 5a에서는, 카메라가, 본질적으로 정육면체의 중심점으로부터 멀어지게 가리키는 방위(DIR_CAM1, DIR_CAM2, ..., DIR_CAMN)를 가지면서, 가상 정육면체의 코너에 위치된다.
카메라가 카메라 쌍의 좌안 뷰 및 다른 카메라 쌍의 우안 뷰 둘 다로서 기능할 수 있도록, 중첩하는 아주 폭 넓은 시야의 렌즈가 사용될 수도 있다. 이것은 필요로 되는 카메라의 양을 절반으로 감소시킨다. 놀라운 이점으로서, 이 방식으로 카메라의 수를 감소시키는 것은, 스테레오 뷰잉 품질을 증가시키는데, 그 이유는, 이 방식으로 카메라의 수를 감소시키는 것이, 좌안 카메라 및 우안 카메라를, 이들이 서로 충분한 중첩 뷰를 가지는 한, 모든 카메라 중에서 임의적으로 선택하는 것을 또한 허용하기 때문이다. 구체 및 플라톤 입체와 같은 상이한 카메라 배열체 및 상이한 수의 카메라와 함께 이 기술을 사용하는 것은, 눈 사이에서 수직 시차를 또한 달성하는 (앞서 설명된 바와 같이) 각각의 눈에 대한 가장 가깝게 매칭하는 카메라를 고르는 것을 가능하게 한다. 이것은, 헤드 마운트형 디스플레이를 사용하여 컨텐츠를 볼 때 특히 유익하다. 설명된 카메라 셋업은, 앞서 설명된 스티칭 기술과 함께, 더 높은 충실도를 갖는 스테레오 뷰잉 및 더 적은 비용의 카메라 디바이스를 생성하는 것을 허용할 수도 있다.
폭 넓은 시야는, 하나의 카메라로부터의 이미지가 현재 뷰 방향에 따라 상이한 눈에 대한 소스 데이터로서 선택되는 것을 허용하여, 카메라의 필요로 되는 수를 최소화하게 된다. 디바이스 위 아래에서 높은 이미지 품질이 필요로 되지 않거나, 또는 뷰 방위가 링 축에 수직인 것으로부터 기울어지지 않은 경우에, 하나의 축을 기준으로 5 개 이상의 카메라의 링에 간격이 있을 수 있다.
고품질 이미지 및 모든 방향에서의 자유로운 뷰 틸트가 요구되는 경우, 플라톤 입체 형상인, 정육면체(6개의 카메라를 가짐), 8면체(8개의 카메라를 가짐) 또는 12면체(12개의 카메라를 가짐) 중 어느 하나가 사용되어야 한다. 이들 중에서, 8면체, 또는 정육면체(도 5a)의 코너는 좋은 선택인데, 그것이, 상이한 뷰 방위에 대해 이용가능한 카메라 쌍 조합의 수를 최대화하는 것과 카메라의 수를 최소화하는 것 사이에서 좋은 절충안을 제공하기 때문이다. 8개의 카메라를 가지고 구축된 실제 카메라 디바이스가 도 5b에서 도시된다. 카메라 디바이스는 185도의 광각 렌즈를 사용하며, 따라서 카메라의 총 커버리지는 4개보다 많은 완전 구체이다. 이것은, 장면의 모든 지점이 적어도 4개의 카메라에 의해 커버된다는 것을 의미한다. 카메라는, 디바이스의 중심으로부터 멀어지게 가리키는 방위(DIR_CAM1, DIR_CAM2, ..., DIR_CAMN)를 갖는다.
심지어 더 적은 카메라에서도, 이러한 오버 커버리지(over-coverage)가 달성될 수도 있는데, 예를 들면, 6개의 카메라 및 동일한 185도 렌즈를 가지고, 3 배의 커버리지가 달성될 수 있다. 장면이 렌더링되고 있고 가장 가까운 카메라가 소정의 픽셀에 대해 선택되고 있을 때, 이 오버 커버리지는, 한 지점을 커버하는 적어도 3개의 카메라가 항상 존재하며 결과적으로 그 지점에 대해 3개의 상이한 카메라 쌍이 형성될 수 있다는 것을 의미한다. 따라서, 뷰 방위(머리 방위)에 따라, 양호한 시차를 갖는 카메라 쌍이 더 쉽게 발견될 수도 있다.
카메라 디바이스는, 적어도 세 개의 카메라 중 카메라의 임의의 쌍이 디스패리티를 갖는 스테레오 이미지를 생성하기 위한 디스패리티를 갖는 방식으로 규칙적인 또는 불규칙적인 설정에서 서로에 대해 위치되는 상기 적어도 세 개의 카메라를 포함할 수도 있다. 적어도 세 개의 카메라는, 모든 부분이 상기 적어도 세 개의 카메라에 의해 캡쳐되게 하는 중첩 영역이 정의되도록, 중첩하는 시야를 갖는다. 적어도 세 개의 카메라 중 카메라의 임의의 쌍은, 스테레오 이미지를 생성하기 위한 사람 눈의 시차에 대응하는 시차를 가질 수도 있다. 예를 들면, 카메라의 쌍 사이의 시차(거리)는 5.0 cm와 12.0 cm 사이, 예를 들면, 대략 6.5 cm일 수도 있다. 적어도 세 개의 카메라는 상이한 방향의 광학 축을 가질 수도 있다. 중첩 영역은 단순히 연결된 토폴로지를 가질 수도 있는데, 전체 뷰잉 표면에 걸쳐, 또는 중첩 영역의 적어도 주요 부분에 대해 디스패리티가 획득될 수 있도록, 중첩 영역이 구멍이 없는, 또는 본질적으로 구멍이 없는 연속 면을 형성한다는 것을 의미한다. 상기 적어도 세 개의 카메라의 각각의 시야는 반구(half sphere)에 대략적으로 대응할 수도 있다. 카메라 디바이스는 세 개의 카메라를 포함할 수도 있는데, 세 개의 카메라는 삼각형 설정으로 정렬되고, 이에 의해, 카메라의 임의의 쌍 사이에서의 광학 축의 방향은 90도 미만의 각도를 형성하게 된다. 적어도 세 개의 카메라는, 가상 정육면체의 코너에 본질적으로 위치되며, 본질적으로 가상 정육면체의 중심점으로부터 코너로 규칙적인 방식으로 광학 축의 방향을 각각 구비하는 8개의 광 시야 카메라를 포함할 수도 있는데, 상기 광시야 카메라의 각각의 시야는 적어도 180도이며, 따라서 전체 구체 뷰의 각각의 부분은 적어도 네 개의 카메라에 의해 커버된다(도 5b 참조).
도 5c는 오디오 소스로서 사용되기 위한 마이크 디바이스의 예를 도시한다. 디바이스의 중앙 근처에 복수의 마이크(MIC1, MIC2, ..., MICN)가 규칙적으로 또는 불규칙적으로 위치될 수도 있다. 예를 들면, 가상 구체의 표면 상에 위치되는 8 내지 20개의 마이크가 존재할 수도 있다. 장면 재현의 경험된 현장감을 증가시키기 위해, 설득력 있는 스테레오 오디오 신호가 생성될 수도 있다. 캡쳐 디바이스는, 다수의 위치에서 그리고 디바이스 주변의 모든 방향으로부터 사운드 필드를 캡쳐하는 다수의 마이크를 포함할 수도 있다. 비디오 렌더링과 유사하게, 이들 소스 스트림은, 뷰어의 머리의 위치에 의해 영향을 받는 장면의 장소에 귀가 위치되었을 때 들었을 수 있을 사운드와 유사한 합성 오디오 신호를 (예를 들면, 머리 관련 전달 함수(head-related transfer function)를 사용하여) 렌더링하기 위해 사용될 수 있다.
가상 귀의 위치와 매칭하는 사운드 스트림은, 다수의 기술을 사용하여 다수의 마이크의 녹음으로부터 생성될 수도 있다. 하나의 기술은, 각각의 가상 귀에 가장 가까운 단일의 원래의 사운드 소스를 선택하는 것이다. 그러나, 이것은 마이크의 원래의 수에 제한되는 공간적 움직임 해상도를 제공한다. 더 나은 기술은, 2개 이상의 마이크의 세트로부터의 녹음을 결합하기 위해 그리고 캡쳐 디바이스 주변의 공간의 다수의 집속된 로브(lobe)에 대응하는 합성 중간 오디오 스트림을 생성하기 위해 널리 공지된 오디오 빔 포밍 알고리즘을 사용하는 것이다. 그 다음, 렌더링 동안, 이들 중간 스트림 각각은, 현재의 유저 머리 방위와 매칭하는 가상 머리에서의 가상 귀에 관하여 그들의 현재 위치에 대응하는 머리 관련 전달 함수(head-related transfer function; HRTF)를 사용하여 필터링되고, 그 다음 함께 합쳐져서, 가상 귀와 동일한 위치에서 귀에 의해 들렸을 스트림과 더 밀접하게 매치하는 최종 시뮬레이팅된 스트림을 제공하게 된다. 머리 관련 전달 함수(HRTF)는, 공간의 한 지점으로부터의 사운드가 귀에 의해 어떻게 들리는지를 알려주는 전달 함수이다. 소정의 방향 및 거리로부터 유래하는 것으로 보이는 스테레오 사운드를 형성하기 위해 (좌측 귀 및 우측 귀에 대한) 두 개의 머리 관련 전달 함수가 사용될 수 있다. 상이한 방향 및 거리로부터의 다수의 사운드 소스는, 이들 소스로부터의 결합된 스테레오 사운드를 획득하기 위해, 단순히 합해질 수 있다.
하기에서 설명되는 비디오에 대해 사용되는 방위 보정은, 뷰어의 머리가 움직이고 있지 않으면 캡쳐 디바이스의 모션을 옵션적으로 상쇄하기 위해 오디오에 대해서도 또한 적용된다.
헤드 마운트형 디스플레이를 이용하여 보게 되는 3D 컨텐츠의 몰입형 환경은, 유저가 자신의 머리를 돌리는 것에 의해 얼마나 주변을 둘러볼 수 있는지 및 컨텐츠가 머리 방위에 따라 얼마나 정확하게 보이는지로부터 유래한다. 캡쳐 디바이스가 캡쳐하는 동안 이동되었다면(예를 들면, 스쿠버 다이버의 헬멧에 또는 나무의 가지에 마운팅 된 경우), 움직임은, 뷰어의 머리 방위에 무관하게 유저의 뷰잉 각도에 영향을 끼칠 것이다. 이것은, 몰입을 깨트리도록 그리고 유저가 소정의 지점에 또는 뷰잉 각도에 집중하는 것을 어렵게 만들도록 인식되었다.
도 6a 및 도 6b는, 스테레오 뷰잉을 위한 소스 및 목적지 좌표 시스템의 사용을 도시한다. 여기에서 사용되는 기술은, 중첩하는 비디오 데이터와 동기화되는 캡쳐 디바이스 방위를 기록하는 것, 및 유저에게 제시되는 뷰의 방위를 보정하기 위해 - 재생 동안 캡쳐 디바이스의 회전을 효율적으로 상쇄함 - 방위 정보를 사용하는 것인데, 그 결과 유저는 캡쳐 디바이스가 아니라 뷰잉 방향을 제어하게 된다. 대신, 뷰어가 캡쳐 디바이스의 원래의 모션을 경험하기를 원하면, 보정은 불능이 될 수도 있다. 뷰어가 원래의 모션의 덜 극단적인 버전을 경험하기를 원하면 - 원래의 모션이 후속되지만 더 느리거나 또는 정상 방위로부터 더 적은 편향을 가지도록, 보정은 필터를 이용하여 동적으로 적용될 수 있다.
도 6a 및 도 6b는 카메라 디바이스의 회전, 및 카메라 좌표 시스템(소스 좌표 시스템)의 회전을 예시한다. 자연적으로, 각각의 카메라의 뷰 및 방위는 또한 변경되고, 결과적으로, 뷰어가 이전과 동일한 방위에 머무르더라도, 그는 좌측으로의 회전을 볼 것이다. 동시에, 도 6c 및 도 6d에서 도시되는 바와 같이, 유저가 자신의 머리를 좌측으로 돌렸다면, 결과적으로 나타나는 뷰는 좌측으로 더 많이 회전할 것이고, 어쩌면 뷰 방향을 180도만큼 변경할 것이다. 그러나, 카메라 디바이스의 움직임이 상쇄되면, 유저의 머리 움직임(도 6c 및 도 6d 참조)은 뷰를 제어하는 움직임일 것이다. 스쿠버 다이버의 예에서, 뷰어는, 다이버가 보고 있었던 것에 무관하게 볼 오브젝트를 고를 수 있다. 즉, 이미지 소스의 방위는, 유저에게 디스플레이될 이미지를 결정하기 위해, 유저의 머리의 방위와 함께 사용된다.
도 7a 및 도 7b는 스테레오 뷰잉을 위한 이미지 소스 데이터의 송신을 예시한다. 본 출원에서 제시되는 스테레오 뷰잉의 시스템은 소스 비디오 데이터를 뷰어에게 송신하기 위한 멀티뷰 비디오 코딩을 활용할 수도 있다. 즉, 서버는 인코더를 구비할 수도 있거나, 또는 비디오 데이터는 서버에서 인코딩된 형태로 있을 수도 있으며, 그 결과 비디오 데이터에서의 중복성(redundancy)은 대역폭의 감소를 위해 활용된다. 그러나, 광각 렌즈에 의해 야기되는 대규모 왜곡으로 인해, 코딩 효율성은 감소될 수도 있다. 이러한 경우에서, 상이한 소스 신호(V1-V8)는 도 7a에서와 같이 하나의 비디오 신호로 결합될 수도 있고 하나의 코딩된 비디오 스트림으로서 송신될 수도 있다. 그 다음, 뷰잉 디바이스는, 좌안 및 우안용의 이미지를 렌더링하기 위한 자신이 필요로 하는 픽셀 값을 고를 수도 있다.
전체 장면에 대한 비디오 데이터는 송신되는 것을(및/또는 뷰어에서 디코딩되는 것을) 필요로 할 수도 있는데, 그 이유는, 재생 동안, 뷰어가 뷰어의 머리의 각운동(angular motion)에 즉각적으로 응답할 필요가 있고 정확한 각도로부터 컨텐츠를 렌더링할 필요가 있기 때문이다. 이것을 행할 수 있기 위해서는, 유저가 자신의 머리를 임의의 시간에 돌릴 수도 있기 때문에, 전체 360도 파노라마 비디오가 서버로부터 뷰잉 디바이스로 전송되는 것을 필요로 한다. 이것은, 대역폭을 소비하고 디코딩 파워를 필요로 하는 많은 양의 데이터가 전송되는 것을 필요로 한다.
본 출원에서 사용되는 기술은, 뷰 시그널링을 이용하여 현재 및 예측된 미래의 뷰잉 각도를 다시 서버로 보고하는 것 및 서버가 뷰잉 각도에 따라 인코딩 파라미터를 적응시키는 것을 허용하는 것이다. 서버는, 현재 보이지 않는 또는 머리 모션에 기초하여 잠시 보일 것으로 예측되는 영역(패시브 이미지 소스)에 대해 대역폭의 더 작은 부분(및 더 낮은 품질)을 사용하면서, 가시 영역(액티브 이미지 소스)이 이용가능한 대역폭 중 더 많은 것을 사용하고 더 나은 품질을 갖도록 데이터를 전송할 수 있다. 실제로, 이것은, 유저가 자신의 머리를 재빨리 크게 돌리는 경우, 컨텐츠가 처음에는 나쁜 품질을 가질 것이지만 서버가 새로운 뷰잉 각도를 수신하고 그에 따라 스트림을 적응시키자마자 더 좋게 될 것이다는 것을 의미할 것이다. 머리 움직임이 더 적은 동안, 이미지 품질은, 장면에 걸쳐 균등한 정적 대역폭 할당의 경우와 비교하여, 향상될 것이다는 것이 이점일 수도 있다. 이것은 도 7b에서 예시되는데, 여기서는, 액티브 소스 신호(V1, V2, V5 및 V7)가 나머지 소스 신호(패시브 이미지 신호)(V3, V4, V6 및 V8)보다 더 나은 품질로 코딩된다.
(다수의 뷰어를 갖는) 브로드캐스팅 사례에서, 서버는 다수의 스트림을 브로드캐스팅할 수도 있는데, 이 경우 각각의 스트림은, 모든 것이 동등하게 압축되는 하나의 스트림 대신, 구체 파노라마의 다른 에어리어가 크게 압축된다. 그 다음, 뷰잉 디바이스는 뷰잉 각도에 따라 어떤 스트림을 디코딩하고 볼 것인지를 선택할 수도 있다. 이 방식에서, 서버는 개개의 뷰어의 뷰잉 각도에 관해 알 필요가 없고 컨텐츠는 임의의 수의 수신기로 브로드캐스트될 수 있다.
대역폭을 절약하기 위해, 이미지 데이터는, 구체 뷰의 일부가 더 낮은 품질로 전송되도록 프로세싱될 수도 있다. 이것은, 예를 들면, 송신 시간에서의 계산 요건이 더 작아지는 사전 프로세싱 단계로서 서버에서 행해질 수도 있다.
뷰어와 서버 사이의 일 대 일 연결의 경우에(즉, 브로드캐스트가 아님), 더 낮은 품질로 송신되는 뷰의 일부는 그것이 현재의 뷰잉 각도에서 보이지 않도록 선택된다. 클라이언트는 자신의 뷰잉 각도를 서버로 계속 되보고할(report back) 수도 있다. 동시에, 클라이언트는, 자신이 수신하기를 원하는 스트림의 품질 및 대역폭에 관한 다른 힌트를 또한 되전송(send back)할 수 있다.
브로드캐스팅(일 대 다 연결)의 경우에, 서버는 다수의 스트림을 브로드캐스팅할 수도 있는데, 이 경우, 뷰의 상이한 부분은 더 낮은 품질로 전송되고, 그러면, 클라이언트는, 더 낮은 품질 에어리어가 자신의 현재의 뷰잉 각도를 갖는 뷰 밖에 있도록 디코딩하고 뷰잉하는 스트림을 선택한다.
구체 뷰의 소정의 에어리어의 품질을 더 낮게 하는 몇몇 방식은 예를 들면 다음을 포함한다:
- 공간적 해상도를 낮추고 및/또는 이미지 데이터를 스케일 다운한다(scaling down);
- 컬러 코딩 해상도 또는 비트 깊이를 낮춘다;
- 프레임 레이트를 낮춘다;
- 압축을 증가시킨다; 및/또는
- 픽셀 데이터에 대한 추가적인 소스를 드랍하고 픽셀에 대해 하나의 소스만을 유지하여, 유효하게, 그 영역을 입체적인 것 대신 비입체적(monoscopic)으로 만든다.
이들 모두는, 예를 들면, 소스 기반에 따라, 스트림을, 고품질 스트림 또는 저품질 스트림 중 어느 하나이며 스트림마다 하나 이상의 소스를 포함하는 두 개 이상의 별개의 스트림 분할하는 것에 의해, 개별적으로, 조합하여, 또는 심지어 모두 동시에 행해질 수 있다.
이들 방법은 또한, 모든 소스가 동일한 스트림에서 전송되더라도 또한 적용될 수 있다. 예를 들면, 8면체 배열체에서 8개의 소스를 포함하는 스트림은, 현재의 뷰잉 방향을 완전히(그리고 더 많이) 커버하는 4개의 소스는 그대로 두고, 나머지 4개의 소스로부터, 2개를 완전히 드랍하고, 나머지 두 개를 스케일 다운하는 것에 의해 대역폭을 상당히 감소시킬 수 있다. 또한, 서버는, 압축 알고리즘이 변경되지 않은 순차적인 프레임을 아주 타이트하게 압축할 수 있고 또한 어쩌면 4개의 손대지 않은 소스만을 커버하는 주목하는 압축의 영역을 설정할 수 있도록, 이들 두 개의 낮은 품질 소스를 단지 매 다른 프레임마다 업데이트할 수 있다. 이렇게 하는 것에 의해, 서버는 모든 가시적인 소스를 고품질로 유지하지만, 비가시적 에어리어를 비입체적으로, 저해상도로, 더 낮은 프레임 레이트로 그리고 더 많이 압축되게 만드는 것에 의해, 필요로 되는 대역폭을 상당히 감소시킨다. 이것은, 그/그녀가 뷰잉 방향을 재빨리 변경하면 유저에게 보일 것이지만, 그 때, 클라이언트는 새로운 뷰잉 각도를 적용할 것이고 새로운 뷰잉 각도를 갖는 스트림(들)을 고품질로 선택할 것이거나, 또는 일 대 일 스트리밍의 경우에, 서버는 새로운 뷰잉 각도에 대해 고품질 데이터를 그리고 숨겨진 소스에 대해 저품질을 제공하도록 스트림을 적응시킬 것이다.
상호작용식 재생(interactive playback)을 위한 그래픽 프로세싱 유닛을 사용하여 장면의 내부 모드로부터 합성 3D 컨텐츠가 렌더링될 수 있다. 이러한 방식은, 예를 들면, 컴퓨터 게임에서는 일반적이다. 그러나, 이러한 컨텐츠의 복잡성 및 리얼리즘(realism)은 이용가능한 로컬 프로세싱 파워의 양에 의해 항상 제한되는데, 이용가능한 로컬 프로세싱 파워의 양은, 비실시간 렌더링에 대해 이용가능할 것보다 훨씬 적다.
그러나, 컴퓨터 애니매이션화된 3D 컨텐츠(computer-animated 3D content)를 갖는 3D 영화를 사전 렌더링하는 것은, 종래에서는, 스테레오 이미지의 쌍으로 인코딩된 고정된 뷰포인트와 함께 전달된다. 최상으로는, 뷰어는 자신이 좋아하는 것의 쌍을 수동으로 선택할 수 있지만, 시네마 환경에서는, 단지 하나의 쌍만이 이용가능하다. 이들 방식은 로컬하게 렌더링된 컨텐츠의 상호작용 잠재성을 갖지 않는다.
도 8은 스테레오 뷰잉을 위한 이미지를 생성하기 위한 가상 현실 모델에서의 합성 비디오 소스의 사용을 예시한다. 본 출원에서 사용되는 기술은, 사전 렌더링할 실세계 컨텐츠를 캡쳐하기 위한 앞서 이미 설명된 동일한 방법을 사용하고, 컴퓨터에 의해 렌더링된 가상 컨텐츠를 분배하고 재생하는 것이다. 이 경우, 도 8에서 도시되는 바와 같이, 복수의 카메라를 포함하는 가상 카메라 디바이스(VCAMS)는 영화의 가상 세계에 위치되며, 발생하는 액션은, 가상 카메라 디바이스의 가상 카메라에 대응하는 비디오 스트림 안으로 컴퓨터에 의해 캡쳐된다. 다시 말하면, 플레이어로 전달되는 컨텐츠는, 종래의 3D 영화에 대한 것과 동일한 방식으로 합성적으로 생성될 것이지만, 그러나, 가상 뷰어 주변의 완전한 구체를 적어도 두 번 커버하는 다수의 카메라 뷰(2개보다 많음), 및 현실적인 오디오 신호가 각각의 뷰어 방위에 대해 생성되는 것을 허용하는 다수의 오디오 스트림을 포함할 것이다. 실용적인 측면에서, 가상 세계의 내부 3차원의 (움직이는) 모델은 이미지 소스 이미지를 계산하기 위해 사용된다. 상이한 오브젝트(OBJ1, OBJ2 및 OBJ3)를 렌더링하는 것은, 카메라에 의해 캡쳐되는 이미지로 나타나고, 계산은 각각의 카메라에 대해 수행된다. 예를 들면, 8면체의 코너에서의 360도 가상 카메라는 앞서 설명된 물리적인 8개의 카메라 디바이스와 유사한 중첩 양을 제공할 것이다. 전체 장면을 캡쳐하지만 쌍으로 취해질 때 디스패리티 특성을 갖지 않는 4개의 카메라는 합성 세계의 자유 각도 스테레오 뷰잉을 허용할 것이다. 8개의 반구 카메라가 또한 사용될 수도 있거나, 또는 임의의 다른 실용적인 수가 사용될 수도 있다. 가상 카메라는 실제 카메라와 동일한 방식으로 서로 방해하지 않는데, 가상 카메라가 가상 세계에서는 보이지 않게 만들어질 수 있기 때문이다. 따라서, 가상 카메라의 수는, 뷰어 디바이스가 이미지의 렌더링을 실행할 수 있도록 하는 그러한 것에 매칭할 수 있다.
뷰잉 디바이스에서, 광각 합성 소스 신호가 디코딩될 수도 있고, 합성 세계의 스테레오 이미지는, 좌안 소스 신호 및 우안 소스 신호를 선택하는 것에 의해 그리고 어쩌면, 스티칭에 대한 필요성이 있으면, 앞서 설명된 이러한 스티칭 방법에 의해 이미지를 생성하는 것에 의해 생성될 수도 있다. 결과는, 이 컨텐츠의 각각의 뷰어가, 영화의 가상 세계 내부에서, 심지어 영화가 멈춘 동안에도 모든 방향을 볼 수 있다는 것이다.
도 9a는 스테레오 뷰잉을 위한 이미지를 형성하기 위한 방법의 흐름도를 도시한다. 앞서 설명된 바와 같이, 제1 머리 방위를 획득하기 위해, 단계 910에서 유저의 머리 방위가 먼저 결정된다. 이 머리 방위에 기초하여, 제1 이미지 소스 및 제2 이미지 소스가 915에서 선택된다. 이들 이미지 소스는, 이들이 스테레오 이미지 소스를 형성하도록 하는 그런 것이다, 즉, 이들 두 소스의 이미지로부터 생성되는 스테레오 이미지는, 사람 시각 시스템에서 3차원 픽쳐의 이해를 생성할 것이다. 제1 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 제2 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지가 920에서 생성된다. 이미지 소스는 전체 제1 및 제2 타겟 이미지에 대해 충분할 수도 있거나, 또는, 앞서 설명되었던 바와 같이, 다른 이미지 소스가 또한 사용될 수도 있다. 유저의 머리 방위는, 제2 머리 방위를 획득하도록 930에서 다시 결정된다. 935에서, 제2 머리 방위에 기초하여, 동일한 제2 이미지 소스 및 새로운 제3 이미지 소스가 이제 선택된다. 이들 이미지 소스는, 이들이 스테레오 이미지 소스를 형성하도록 하는 그런 것이다, 즉, 이들 두 소스의 이미지로부터 생성되는 스테레오 이미지는, 사람 시각 시스템에서 3차원 픽쳐의 이해를 생성할 것이다. 그 다음, 940에서, 제2 이미지 소스를 사용하여 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 제3 이미지 소스를 사용하여 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지가 생성된다.
도 9b는 스테레오 뷰잉을 위한 이미지를 송신하기 위한 방법의 흐름도를 도시한다.
본 발명의 다양한 실시형태는, 메모리에 상주하며 관련 장치가 본 발명을 실행하게 하는 컴퓨터 프로그램 코드의 도움을 통해 구현될 수 있다. 예를 들면, 디바이스는, 데이터를 핸들링하고, 수신하고 그리고 송신하기 위한 회로부 및 전자장치, 메모리의 컴퓨터 프로그램 코드, 및 컴퓨터 프로그램 코드를 실행하고 있을 때, 디바이스로 하여금 실시형태의 피쳐를 수행하게 하는 프로세서를 포함할 수도 있다. 여전히 또한, 서버와 같은 디바이스는, 데이터를 핸들링하고, 수신하고 그리고 송신하기 위한 회로부 및 전자장치, 메모리의 컴퓨터 프로그램 코드, 및 컴퓨터 프로그램 코드를 실행하고 있을 때, 네트워크 디바이스로 하여금 실시형태의 피쳐를 수행하게 하는 프로세서를 포함할 수도 있다.
본 발명은 상기 제시된 실시형태로 전적으로 제한되는 것이 아니라, 본 발명은 첨부의 청구범위의 범위 내에서 수정될 수 있다는 것이 명백하다.

Claims (74)

  1. 제1 머리 방위(orientation)를 획득하기 위해 유저의 머리 방위를 결정하는 단계와,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하는 단계 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 단계와,
    제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 단계와,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스 를 선택하는 단계 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 단계를 포함하는
    방법.
  2. 제1항에 있어서,
    상기 제1 이미지 소스를 사용하여 장면의 제1 영역(region)에 대응하는 픽셀의 제1 영역의 컬러 값을 형성하는 단계 - 픽셀의 상기 제1 영역의 상기 컬러 값은 제1 눈에 디스플레이하기 위한 상기 제1 타겟 이미지를 형성하기 위해 사용됨 - 와,
    상기 제2 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제2 영역의 컬러 값을 형성하는 단계 - 픽셀의 상기 제2 영역의 상기 컬러 값은 제2 눈에 디스플레이하기 위한 상기 제2 타겟 이미지를 형성하기 위해 사용됨 - 와,
    상기 제3 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제3 영역의 컬러 값을 형성하는 단계 - 픽셀의 상기 제3 영역의 상기 컬러 값은 상기 제1 눈에 디스플레이하기 위한 상기 제3 타겟 이미지를 형성하기 위해 사용됨 -와,
    상기 제2 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제4 영역의 컬러 값을 형성하는 단계 - 픽셀의 상기 제4 영역의 상기 컬러 값은 상기 제2 눈에 디스플레이하기 위한 상기 제4 타겟 이미지를 형성하기 위해 사용됨 -를 포함하는
    방법.

  3. 제1항 또는 제2항에 있어서,
    상기 제1 머리 방위 및 상기 제2 머리 방위를 사용하여 좌표 시스템에서 상기 유저의 상기 눈에 대응하는 제1 가상 눈 및 제2 가상 눈의 위치를 결정하는 단계와,
    상기 좌표 시스템에서의 이미지 소스 위치에 대한 상기 가상 눈의 상기 위치에 기초하여 상기 이미지 소스를 선택하는 단계를 포함하는
    방법.
  4. 제3항에 있어서,
    상기 유저의 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스를, 상기 제1 눈에 대응하는 가상 눈에 대한 근접도 기준을 충족하는 근접 이미지 소스가 되도록 결정하는 단계 - 상기 근접 이미지 소스는 상기 픽셀에 대응하는 장면 부분을 캡쳐함 - 와,
    상기 유저의 상기 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스를, 상기 제1 눈에 대응하는 상기 가상 눈에 대한 상기 근접 이미지 소스 이외의 다른 소스가 되도록 결정하는 단계 - 상기 근접 이미지 소스는 상기 픽셀에 대응하는 상기 장면 부분을 캡쳐하지 않음 - 를 포함하는
    방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    눈에 대한 이미지의 영역을, 상기 영역이 이미지 소스에 대응하도록 렌더링하는 단계를 포함하고,
    상기 영역은, 이미지 소스 좌표 시스템에서 상기 눈에 대응하는 가상 눈에 대한 상기 이미지 소스의 근접도의 순서로 렌더링되는
    방법.
  6. 제5항에 있어서,
    상기 이미지의 상기 영역은 이미지 스티칭(stitching) 기술을 사용하는 것에 의해 그들의 에지에서 함께 결합되는
    방법.
  7. 제6항에 있어서,
    상기 이미지의 상기 영역은 상기 영역의 상기 에지 에어리어(area)를 혼합하는(blending) 것에 의해 결합되는
    방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 제1 이미지 소스를 사용하여 형성된 이미지 및 상기 제3 이미지 소스를 사용한 이미지로부터 시간적 전이(a temporal transition)를 혼합하는 단계를 포함하는
    방법.
  9. 제8항에 있어서,
    머리 움직임 속도에 관한 정보를 사용하는 것에 의해 상기 시간적 전이 혼합의 지속시간을 조정하는 단계를 포함하는
    방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    머리 관련 전달 함수(head-related transfer function)를 사용하여 두 개 이상의 오디오 소스로부터의 오디오 정보를 수정하기 위해, 상기 머리 방위의 정보를 사용하여 왼쪽 귀에 대한 오디오 정보 및 오른쪽 귀에 대한 오디오 정보를 결정하는 단계를 포함하는
    방법.
  11. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 이미지 소스에 대한 소스 방위 정보를 결정하는 단계와,
    상기 이미지 소스를 선택하기 위해 상기 머리 방위의 정보와 함께 상기 소스 방위 정보를 사용하는 단계를 포함하는
    방법.
  12. 제10항에 있어서,
    상기 오디오 소스에 대한 소스 방위 정보를 결정하는 단계와,
    상기 오디오 소스로부터의 오디오 정보를 수정하기 위해 상기 머리 방위의 정보와 함께 상기 소스 방위 정보를 사용하는 단계를 포함하는
    방법.
  13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 이미지 소스는 실세계 카메라인
    방법.

  14. 제1항 내지 제12항 중 어느 한 항에 있어서,
    상기 이미지 소스는, 렌더링된 합성 이미지(synthetic image)를 생성하기 위한 가상 카메라를 사용하여 컴퓨터 디바이스의 출력으로서 형성되는
    방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 머리 방위는 상기 유저의 머리의 물리적 방위에 관련되는
    방법.
  16. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 머리 방위는, 컴퓨터 프로그램에 의해 또는 컴퓨터 입력 디바이스에 의해 제어되는 상기 유저의 뷰 방향(direction)의 가상 방위에 관련되는
    방법.
  17. 제1항 내지 제16항 중 어느 한 항에 있어서,
    상기 스테레오 이미지는 스테레오 비디오 시퀀스를 형성하기 위해 사용되는
    방법.
  18. 장면의 스테레오 비디오 시퀀스를 형성하기 위해 유저의 머리 방위를 결정하는 단계와,
    상기 머리 방위에 기초하여 제1 이미지 소스, 제2 이미지 소스 및 제3 이미지 소스를 선택하는 단계와,
    상기 제1 이미지 소스 및 상기 제2 이미지 소스를 사용하여 상기 유저의 좌안에 대한 이미지 시퀀스를 렌더링하고 상기 제1 이미지 소스 및 상기 제3 이미지 소스를 사용하여 상기 유저의 우안에 대한 이미지 시퀀스를 렌더링하는 것에 의해 상기 스테레오 비디오 시퀀스를 렌더링하는 단계를 포함하고,
    상기 제1 이미지 소스는 상기 비디오 시퀀스의 각각의 스테레오 프레임에서의 상기 유저의 좌안 및 우안에 대한 상기 장면의 상이한 에어리어를 렌더링하기 위해 사용되는
    방법.
  19. 스테레오 뷰잉을 위한 복수의 소스 비디오 신호를 인코딩하는 단계 - 상기 소스 비디오 신호는 복수의 카메라 소스로부터의 비디오 데이터를 포함하고, 상기 소스 비디오 신호는 액티브 장면 에어리어 신호(active scene area signal) 및 패시브 장면 에어리어 신호(passive scene area signal)를 포함함 - 와,
    상기 복수의 소스 비디오 신호를 뷰잉을 위해 스테레오 뷰잉 디바이스로 송신하는 단계와,
    상기 송신된 소스 비디오 신호에서, 상기 액티브 장면 에어리어 신호가 상기 패시브 장면 에어리어 신호보다 더 높은 충실도로 인코딩되도록 상기 인코딩하는 단계 및 상기 송신하는 단계 중 적어도 하나를 수행하는 단계를 포함하고,
    상기 액티브 장면 에어리어 신호 및 상기 패시브 장면 에어리어 신호는, 상기 액티브 장면 에어리어 신호가 유저가 보고 있는 장면 에어리어에 대응하고 상기 패시브 장면 에어리어 신호가 다른 장면 에어리어에 대응하도록, 상기 유저의 머리 방위에 대응하는
    방법.
  20. 제19항에 있어서,
    상기 소스 비디오 신호는, 액티브 장면 에어리어 신호 중 적어도 두 개의 상이한 쌍이 장면 중 한 영역의 입체적 비디오를 생성하기 위해 사용될 수 있도록 적어도 세 개의 액티브 장면 에어리어 신호가 장면의 상기 영역을 커버하도록 상기 적어도 세 개의 액티브 장면 에어리어 신호를 포함하는
    방법.
  21. 스테레오 뷰잉 이미지 데이터를 생성하기 위한 카메라 디바이스로서,
    디스패리티를 갖는 스테레오 이미지를 생성하기 위해, 적어도 세 개의 카메라 중 카메라의 임의의 쌍이 서로에 대해 디스패리티를 갖는 방식으로 규칙적인 또는 불규칙적인 설정으로 위치되는 상기 적어도 세 개의 카메라를 포함하고,
    상기 적어도 세 개의 카메라는, 모든 부분이 상기 적어도 세 개의 카메라에 의해 캡쳐되는 중첩 영역이 정의되도록, 중첩하는 시야(field of view)를 갖는
    카메라 디바이스.
  22. 제21항에 있어서,
    상기 적어도 세 개의 카메라 중 카메라의 상기 임의의 쌍은, 스테레오 이미지를 생성하기 위해 사람 눈의 시차에 대응하는 시차를 갖는
    카메라 디바이스.
  23. 제22항에 있어서,
    카메라의 상기 임의의 쌍 사이의 상기 시차는 5.0 cm와 12.0 cm 사이에 있는
    카메라 디바이스.
  24. 제21항 내지 제23항 중 어느 한 항에 있어서,
    상기 적어도 세 개의 카메라는 상이한 방향의 광학 축을 갖는
    카메라 디바이스.
  25. 제21항 내지 제24항 중 어느 한 항에 있어서,
    상기 중첩 영역은 단순히 연결된 토폴로지를 갖는
    카메라 디바이스.
  26. 제21항 내지 제25항 중 어느 한 항에 있어서,
    상기 적어도 세 개의 카메라의 각각의 상기 시야는 반구(half sphere)에 대략적으로 대응하는
    카메라 디바이스.
  27. 제21항 내지 제26항 중 어느 한 항에 있어서,
    상기 카메라 디바이스는 세 개의 카메라를 포함하고, 상기 세 개의 카메라는 삼각형 설정으로 정렬되고, 삼각형 설정에 의해, 카메라의 임의의 쌍 사이에서의 광학 축의 방향은 90도 미만의 각도를 형성하는
    카메라 디바이스.
  28. 제21항 내지 제26항 중 어느 한 항에 있어서,
    상기 적어도 세 개의 카메라는,
    가상 정육면체의 코너에 본질적으로 위치되며, 본질적으로 상기 가상 정육면체의 중심점으로부터 상기 코너로 규칙적인 방식으로 광학 축의 방향을 각각 구비하는 8개의 광 시야 카메라를 포함하고,
    상기 광시야 카메라의 각각의 상기 시야는 적어도 180도이며, 그 결과 전체 구체 뷰의 각각의 부분은 적어도 네 개의 카메라에 의해 커버되는
    카메라 디바이스.
  29. 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금 적어도,
    제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하게 하게 하고,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하게 하고 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - ,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하게 하게 하고,
    제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하게 하고,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스를 선택하게 하고 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - ,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하게 하도록 구성되는
    장치.
  30. 제29항에 있어서,
    상기 장치로 하여금,
    상기 제1 이미지 소스를 사용하여 장면의 제1 영역에 대응하는 픽셀의 제1 영역의 컬러 값을 형성하게 하고 - 픽셀의 상기 제1 영역의 상기 컬러 값은 제1 눈에 디스플레이하기 위한 상기 제1 타겟 이미지를 형성하기 위해 사용됨 - ,
    상기 제2 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제2 영역의 컬러 값을 형성하게 하고 - 픽셀의 상기 제2 영역의 상기 컬러 값은 제2 눈에 디스플레이하기 위한 상기 제2 타겟 이미지를 형성하기 위해 사용됨 - ,
    상기 제3 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제3 영역의 컬러 값을 형성하게 하고 - 픽셀의 상기 제3 영역의 상기 컬러 값은 상기 제1 눈에 디스플레이하기 위한 상기 제3 타겟 이미지를 형성하기 위해 사용됨 - ,
    상기 제2 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제4 영역의 컬러 값을 형성하게 하는, 컴퓨터 프로그램 코드를 포함하되 픽셀의 상기 제4 영역의 상기 컬러 값은 상기 제2 눈에 디스플레이하기 위한 상기 제4 타겟 이미지를 형성하기 위해 사용되는
    장치.
  31. 제29항 또는 제30항에 있어서,
    상기 장치로 하여금,
    상기 머리 방위를 사용하여 좌표 시스템에서 상기 유저의 상기 눈에 대응하는 제1 가상 눈 및 제2 가상 눈의 위치를 결정하게 하고,
    상기 좌표 시스템에서의 이미지 소스 위치에 대한 상기 가상 눈의 위치에 기초하여 상기 이미지 소스를 선택하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  32. 제31항에 있어서,
    상기 장치로 하여금,
    상기 유저의 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스를, 상기 제1 눈에 대응하는 가상 눈에 대한 근접도 기준을 충족하는 근접 이미지 소스가 되도록 결정하게 하고 - 상기 근접 이미지 소스는 상기 픽셀에 대응하는 장면 부분을 캡쳐함 - ,
    상기 유저의 상기 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스를, 상기 제1 눈에 대응하는 상기 가상 눈에 대한 상기 근접 이미지 소스 이외의 다른 소스가 되도록 결정하게 하는, 컴퓨터 프로그램 코드를 포함하되 상기 근접 이미지 소스는 상기 픽셀에 대응하는 상기 장면 부분을 캡쳐하지 않는
    장치.
  33. 제29항 내지 제32항 중 어느 한 항에 있어서,
    상기 장치로 하여금,
    눈에 대한 이미지의 영역을, 상기 영역이 이미지 소스에 대응하도록 렌더링하게 하는 컴퓨터 프로그램 코드를 포함하고,
    상기 영역은, 이미지 소스 좌표 시스템에서 상기 눈에 대응하는 가상 눈에 대한 상기 이미지 소스의 근접도의 순서로 렌더링되는
    장치.
  34. 제33항에 있어서,
    상기 장치로 하여금,
    상기 이미지의 상기 영역을, 이미지 스티칭 기술을 사용하는 것에 의해 그들의 에지에서 함께 결합하게 하는 컴퓨터 프로그램 코드를 포함하는
    장치.
  35. 제34항에 있어서,
    상기 장치로 하여금,
    상기 영역의 상기 에지 에어리어를 혼합하는 것에 의해 상기 이미지의 상기 영역을 결합하게 하는 컴퓨터 프로그램 코드를 포함하는
    장치.
  36. 제29항 내지 제35항 중 어느 한 항에 있어서,
    상기 장치로 하여금,
    상기 제1 이미지 소스를 사용하여 형성된 이미지와 상기 제3 이미지 소스를 사용한 이미지로부터의 시간적 전이를 혼합하게 하는 컴퓨터 프로그램 코드를 포함하는
    장치.
  37. 제36항에 있어서,
    상기 장치로 하여금,
    머리 움직임 속도에 관한 정보를 사용하는 것에 의해 상기 시간적 전이 혼합의 지속시간을 조정하게 하는 컴퓨터 프로그램 코드를 포함하는
    장치.
  38. 제29항 내지 제37항 중 어느 한 항에 있어서,
    상기 장치로 하여금,
    머리 관련 전달 함수를 사용하여 두 개 이상의 오디오 소스로부터의 오디오 정보를 수정하기 위해, 상기 머리 방위의 정보를 사용하여 왼쪽 귀에 대한 오디오 정보 및 오른쪽 귀에 대한 오디오 정보를 결정하게 하는 컴퓨터 프로그램 코드를 포함하는
    장치.
  39. 제29항 내지 제38항 중 어느 한 항에 있어서,
    상기 장치로 하여금,
    상기 이미지 소스에 대한 소스 방위 정보를 결정하게 하고,
    상기 이미지 소스를 선택하기 위해 상기 머리 방위의 정보와 함께 상기 소스 방위 정보를 사용하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  40. 제38항에 있어서,
    상기 장치로 하여금,
    상기 오디오 소스에 대한 소스 방위 정보를 결정하게 하고,
    상기 오디오 소스로부터의 오디오 정보를 수정하기 위해 상기 머리 방위의 정보와 함께 상기 소스 방위 정보를 사용하게 하는
    컴퓨터 프로그램 코드를 포함하는
    장치.
  41. 제29항 내지 제40항 중 어느 한 항에 있어서,
    상기 이미지 소스는 실세계 카메라인
    장치.
  42. 제29항 내지 제40항 중 어느 한 항에 있어서,
    상기 이미지 소스는, 렌더링된 합성 이미지를 생성하기 위한 가상 카메라를 사용하여 컴퓨터 디바이스의 출력으로서 형성되는
    장치.
  43. 제29항 내지 제42항 중 어느 한 항에 있어서,
    상기 머리 방위는 상기 유저의 머리의 물리적 방위에 관련되는
    장치.
  44. 제29항 내지 제42항 중 어느 한 항에 있어서,
    상기 머리 방위는, 컴퓨터 프로그램에 의해 또는 컴퓨터 입력 디바이스에 의해 제어되는 상기 유저의 뷰 방향의 가상 방위에 관련되는
    장치.
  45. 제29항 내지 제44항 중 어느 한 항에 있어서,
    상기 스테레오 이미지는 스테레오 비디오 시퀀스를 형성하기 위해 사용되는
    장치.
  46. 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금 적어도,
    장면의 스테레오 비디오 시퀀스를 형성하기 위해 유저의 머리 방위를 결정하게 하고,
    상기 머리 방위에 기초하여 제1 이미지 소스, 제2 이미지 소스 및 제3 이미지 소스를 선택하게 하고,
    상기 제1 이미지 소스 및 상기 제2 이미지 소스를 사용하여 상기 유저의 좌안에 대한 이미지 시퀀스를 렌더링하고 상기 제1 이미지 소스 및 상기 제3 이미지 소스를 사용하여 상기 유저의 우안에 대한 이미지 시퀀스를 렌더링하는 것에 의해 상기 스테레오 비디오 시퀀스를 렌더링하게 하도록 구성되고,
    상기 제1 이미지 소스는 상기 비디오 시퀀스의 각각의 스테레오 프레임에서의 상기 유저의 상기 좌안 및 우안에 대한 상기 장면의 상이한 에어리어를 렌더링하기 위해 사용되는
    장치.
  47. 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 장치로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 상기 장치로 하여금 적어도,
    스테레오 뷰잉을 위한 복수의 소스 비디오 신호를 인코딩하게 하고 - 상기 소스 비디오 신호는 복수의 카메라 소스로부터의 비디오 데이터를 포함하고, 상기 소스 비디오 신호는 액티브 장면 에어리어 신호 및 패시브 장면 에어리어 신호를 포함함 - ,
    상기 복수의 소스 비디오 신호를 뷰잉을 위해 스테레오 뷰잉 디바이스로 송신하게 하고,
    상기 송신된 소스 비디오 신호에서, 상기 액티브 장면 에어리어 신호가 상기 패시브 장면 에어리어 신호보다 더 높은 충실도로 인코딩되도록 상기 인코딩하는 것 및 상기 송신하는 것 중 적어도 하나를 수행하게 하도록 구성되고,
    상기 액티브 장면 에어리어 신호 및 상기 패시브 장면 에어리어 신호는, 상기 액티브 장면 에어리어 신호가 유저가 보고 있는 장면 에어리어에 대응하고 상기 패시브 장면 에어리어 신호가 다른 장면 에어리어에 대응하도록, 상기 유저의 머리 방위에 대응하는
    장치.
  48. 제47항에 있어서,
    상기 소스 비디오 신호는, 액티브 장면 에어리어 신호 중 적어도 두 개의 상이한 쌍이 장면 중 한 영역의 입체적 비디오를 생성하기 위해 사용될 수 있도록 적어도 세 개의 액티브 장면 에어리어 신호가 장면의 상기 영역을 커버하도록 상기 적어도 세 개의 액티브 장면 에어리어 신호를 포함하는
    장치.
  49. 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함하는 메모리를 포함하는 시스템으로서,
    상기 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서와 함께, 상기 시스템으로 하여금 적어도,
    제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하게 하고,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하게 하고 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - ,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하게 하고,
    제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하게 하고,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스를 선택하게 하고 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - ,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하게 하도록 구성되는
    시스템.
  50. 컴퓨터 프로그램 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체 상에서 구현되는 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서 상에서의 실행시, 장치 또는 시스템으로 하여금,
    제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하게 하고,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하게 하고 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - ,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하게 하고,
    제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하게 하고,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스를 선택하게 하고 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - ,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하게 하도록 구성되는
    컴퓨터 프로그램 제품.
  51. 장치로서,
    제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하기 위한 수단과,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하기 위한 수단 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 과,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하기 위한 수단과,
    제2 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하기 위한 수단과,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스를 선택하기 위한 수단 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 과,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하기 위한 수단을 포함하는
    장치.
  52. 제51항에 있어서,
    상기 제1 이미지 소스를 사용하여 장면의 제1 영역에 대응하는 픽셀의 제1 영역의 컬러 값을 형성하기 위한 수단 - 픽셀의 상기 제1 영역의 상기 컬러 값은 제1 눈에 디스플레이하기 위한 상기 제1 타겟 이미지를 형성하기 위해 사용됨 - 과,
    상기 제2 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제2 영역의 컬러 값을 형성하기 위한 수단 - 픽셀의 상기 제1 영역의 상기 컬러 값은 제1 눈에 디스플레이하기 위한 상기 제1 타겟 이미지를 형성하기 위해 사용됨 - 과,
    상기 제3 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제3 영역의 컬러 값을 형성하기 위한 수단 - 픽셀의 상기 제3 영역의 상기 컬러 값은 상기 제1 눈에 디스플레이하기 위한 상기 제3 타겟 이미지를 형성하기 위해 사용됨 - 과,
    상기 제2 이미지 소스를 사용하여 장면의 상기 제1 영역에 대응하는 픽셀의 제4 영역의 컬러 값을 형성하기 위한 수단 - 픽셀의 상기 제4 영역의 상기 컬러 값은 상기 제2 눈에 디스플레이하기 위한 상기 제4 타겟 이미지를 형성하기 위해 사용됨 - 을 포함하는
    장치.
  53. 제51항 또는 제52항에 있어서,
    상기 제1 머리 방위 및 상기 제2 머리 방위를 사용하여 좌표 시스템에서 상기 유저의 상기 눈에 대응하는 제1 가상 눈 및 제2 가상 눈의 위치를 결정하기 위한 수단과,
    상기 좌표 시스템에서의 이미지 소스 위치에 대한 상기 가상 눈의 상기 위치에 기초하여 상기 이미지 소스를 선택하기 위한 수단을 포함하는
    장치.
  54. 제53항에 있어서,
    상기 유저의 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스를, 상기 제1 눈에 대응하는 가상 눈에 대한 근접도 기준을 충족하는 근접 이미지 소스가 되도록 결정하기 위한 수단 - 상기 근접 이미지 소스는 상기 픽셀에 대응하는 장면 부분을 캡쳐함 - 과,
    상기 유저의 상기 제1 눈에 대한 이미지의 픽셀에 대한 이미지 소스를, 상기 제1 눈에 대응하는 상기 가상 눈에 대한 상기 근접 이미지 소스 이외의 다른 소스가 되도록 결정하기 위한 수단 - 상기 근접 이미지 소스는 상기 픽셀에 대응하는 상기 장면 부분을 캡쳐하지 않음 - 을 포함하는
    장치.
  55. 제51항 내지 제54항 중 어느 한 항에 있어서,
    눈에 대한 이미지의 영역을, 상기 영역이 이미지 소스에 대응하도록 렌더링하기 위한 수단을 포함하고,
    상기 영역은, 이미지 소스 좌표 시스템에서 상기 눈에 대응하는 가상 눈에 대한 상기 이미지 소스의 근접도의 순서로 렌더링되는
    장치.
  56. 제55항에 있어서,
    상기 이미지의 상기 영역을, 이미지 스티칭 기술을 사용하는 것에 의해 그들의 에지에서 함께 결합하기 위한 수단을 포함하는
    장치.
  57. 제56항에 있어서,
    상기 영역의 상기 에지 에어리어를 혼합하는 것에 의해 상기 이미지의 상기 영역을 결합하기 위한 수단을 포함하는
    장치.
  58. 제51항 내지 제57항 중 어느 한 항에 있어서,
    상기 제1 이미지 소스를 사용하여 형성된 이미지 및 상기 제3 이미지 소스를 사용한 이미지로부터 시간적 전이를 혼합하기 위한 수단을 포함하는
    장치.
  59. 제58항에 있어서,
    머리 움직임 속도에 관한 정보를 사용하는 것에 의해 상기 시간적 전이 혼합의 지속시간을 조정하기 위한 수단을 포함하는
    장치.
  60. 제51항 내지 제59항 중 어느 한 항에 있어서,
    머리 관련 전달 함수를 사용하여 두 개 이상의 오디오 소스로부터의 오디오 정보를 수정하기 위해, 상기 머리 방위의 정보를 사용하여 왼쪽 귀에 대한 오디오 정보 및 오른쪽 귀에 대한 오디오 정보를 결정하기 위한 수단을 포함하는
    장치.

  61. 제51항 내지 제59항 중 어느 한 항에 있어서,
    상기 이미지 소스에 대한 소스 방위 정보를 결정하기 위한 수단과,
    상기 이미지 소스를 선택하기 위해 상기 머리 방위의 정보와 함께 상기 소스 방위 정보를 사용하기 위한 수단을 포함하는
    장치.
  62. 제60항에 있어서,
    상기 오디오 소스에 대한 소스 방위 정보를 결정하는 것과,
    상기 오디오 소스로부터의 오디오 정보를 수정하기 위해 상기 머리 방위의 정보와 함께 상기 소스 방위 정보를 사용하는 것을 포함하는
    장치.
  63. 제51항 내지 제62항 중 어느 한 항에 있어서,
    상기 이미지 소스는 실세계 카메라인
    장치.

  64. 제51항 내지 제62항 중 어느 한 항에 있어서,
    상기 이미지 소스는, 렌더링된 합성 이미지를 생성하기 위한 가상 카메라를 사용하여 컴퓨터 디바이스의 출력으로서 형성되는
    장치.
  65. 제51항 내지 제64항 중 어느 한 항에 있어서,
    상기 머리 방위는 상기 유저의 머리의 물리적 방위에 관련되는
    장치.
  66. 제51항 내지 제64항 중 어느 한 항에 있어서,
    상기 머리 방위는, 컴퓨터 프로그램에 의해 또는 컴퓨터 입력 디바이스에 의해 제어되는 상기 유저의 뷰 방향의 가상 방위에 관련되는
    장치.
  67. 제51항 내지 제66항 중 어느 한 항에 있어서,
    상기 스테레오 이미지는 스테레오 비디오 시퀀스를 형성하기 위해 사용되는
    장치.
  68. 장치로서,
    장면의 스테레오 비디오 시퀀스를 형성하기 위해 유저의 머리 방위를 결정하기 위한 수단과,
    상기 머리 방위에 기초하여 제1 이미지 소스, 제2 이미지 소스 및 제3 이미지 소스를 선택하기 위한 수단과,
    상기 제1 이미지 소스 및 상기 제2 이미지 소스를 사용하여 상기 유저의 좌안에 대한 이미지 시퀀스를 렌더링하고 상기 제1 이미지 소스 및 상기 제3 이미지 소스를 사용하여 상기 유저의 우안에 대한 이미지 시퀀스를 렌더링하는 것에 의해 상기 스테레오 비디오 시퀀스를 렌더링하기 위한 수단을 포함하고,
    상기 제1 이미지 소스는 상기 비디오 시퀀스의 각각의 스테레오 프레임에서의 상기 유저의 좌안 및 우안에 대한 상기 장면의 상이한 에어리어를 렌더링하기 위해 사용되는
    장치.
  69. 장치로서,
    스테레오 뷰잉을 위한 복수의 소스 비디오 신호를 인코딩하기 위한 수단 - 상기 소스 비디오 신호는 복수의 카메라 소스로부터의 비디오 데이터를 포함하고, 상기 소스 비디오 신호는 액티브 장면 에어리어 신호 및 패시브 장면 에어리어 신호를 포함함 - 과,
    상기 복수의 소스 비디오 신호를 뷰잉을 위해 스테레오 뷰잉 디바이스로 송신하기 위한 수단과,
    상기 송신된 소스 비디오 신호에서, 상기 액티브 장면 에어리어 신호가 상기 패시브 장면 에어리어 신호보다 더 높은 충실도로 인코딩되도록 상기 인코딩하는 것 및 상기 송신하는 것 중 적어도 하나를 수행하기 위한 수단을 포함하고,
    상기 액티브 장면 에어리어 신호 및 상기 패시브 장면 에어리어 신호는, 상기 액티브 장면 에어리어 신호가 유저가 보고 있는 장면 에어리어에 대응하고 상기 패시브 장면 에어리어 신호가 다른 장면 에어리어에 대응하도록, 상기 유저의 머리 방위에 대응하는
    장치.
  70. 제69항에 있어서,
    상기 소스 비디오 신호는, 액티브 장면 에어리어 신호 중 적어도 두 개의 상이한 쌍이 장면 중 한 영역의 입체적 비디오를 생성하기 위해 사용될 수 있도록 적어도 세 개의 액티브 장면 에어리어 신호가 장면의 상기 영역을 커버하도록 상기 적어도 세 개의 액티브 장면 에어리어 신호를 포함하는
    장치.
  71. 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하는 단계와,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하는 단계 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 단계와,
    제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 단계와,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스를 선택하는 단계 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 단계와,
    상기 제1 이미지 소스를 사용하여 형성된 이미지 및 상기 제3 이미지 소스를 사용한 이미지로부터 시간적 전이를 혼합하는 단계를 포함하는
    방법.
  72. 제71항에 있어서,
    머리 움직임 속도에 관한 정보를 사용하는 것에 의해 상기 시간적 전이 혼합의 지속시간을 조정하는 단계를 포함하는
    방법.
  73. 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하는 단계와,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하는 단계 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 단계와,
    제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 단계와,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스를 선택하는 단계 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 단계와,
    상기 이미지 소스에 대한 소스 방위 정보를 결정하는 단계와,
    상기 이미지 소스를 선택하기 위해 상기 머리 방위의 정보와 함께 상기 소스 방위 정보를 사용하는 단계를 포함하는
    방법.
  74. 제1 머리 방위를 획득하기 위해 유저의 머리 방위를 결정하는 단계와,
    상기 제1 머리 방위에 기초하여 제1 이미지 소스 및 제2 이미지 소스를 선택하는 단계 - 상기 제1 이미지 소스 및 상기 제2 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제1 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제1 타겟 이미지를 렌더링하고 상기 제2 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제2 타겟 이미지를 렌더링하는 것에 의해 제1 스테레오 이미지를 렌더링하는 단계와,
    제2 머리 방위를 획득하기 위해 상기 유저의 머리 방위를 결정하는 단계와,
    상기 제2 머리 방위에 기초하여 상기 제2 이미지 소스 및 제3 이미지 소스를 선택하는 단계 - 상기 제2 이미지 소스 및 상기 제3 이미지 소스는 스테레오 이미지 소스를 형성함 - 와,
    상기 제2 이미지 소스를 사용하여 상기 유저의 한 쪽 눈에 대한 제3 타겟 이미지를 렌더링하고 상기 제3 이미지 소스를 사용하여 상기 유저의 다른 쪽 눈에 대한 제4 타겟 이미지를 렌더링하는 것에 의해 제2 스테레오 이미지를 렌더링하는 단계와,
    상기 제1 이미지 소스, 상기 제2 이미지 소스 및 상기 제3 이미지 소스에 대한 렌더링된 합성 이미지를 생성하기 위한 가상 카메라를 사용하여 상기 제1 이미지 소스, 상기 제2 이미지 소스 및 상기 제3 이미지 소스를 컴퓨터 디바이스의 출력으로서 형성하는 단계를 포함하는
    방법.
KR1020167030907A 2014-04-07 2015-03-19 스테레오 뷰잉 KR101885979B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1406201.2 2014-04-07
GB1406201.2A GB2525170A (en) 2014-04-07 2014-04-07 Stereo viewing
PCT/FI2015/050184 WO2015155406A1 (en) 2014-04-07 2015-03-19 Stereo viewing

Publications (2)

Publication Number Publication Date
KR20160143746A true KR20160143746A (ko) 2016-12-14
KR101885979B1 KR101885979B1 (ko) 2018-08-06

Family

ID=50776915

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167030907A KR101885979B1 (ko) 2014-04-07 2015-03-19 스테레오 뷰잉

Country Status (13)

Country Link
US (3) US10455221B2 (ko)
EP (3) EP3130143B1 (ko)
JP (1) JP2017518663A (ko)
KR (1) KR101885979B1 (ko)
CN (1) CN106165415B (ko)
AU (1) AU2015245446B2 (ko)
CA (1) CA2943856C (ko)
GB (1) GB2525170A (ko)
MX (1) MX369376B (ko)
PH (1) PH12016501960A1 (ko)
RU (1) RU2665872C2 (ko)
WO (1) WO2015155406A1 (ko)
ZA (1) ZA201607530B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034948A (ko) * 2013-07-09 2016-03-30 리미티드 리아빌리티 컴패니 ¨3디 티브이 테크닉스¨ 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
WO2021235693A1 (ko) * 2020-05-20 2021-11-25 삼성전자 주식회사 이미지 생성 장치 및 방법

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
TW201637432A (zh) * 2015-04-02 2016-10-16 Ultracker Technology Co Ltd 即時影像縫合裝置及即時影像縫合方法
CN106612426B (zh) * 2015-10-26 2018-03-16 华为技术有限公司 一种多视点视频传输方法及装置
TWI555378B (zh) * 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
CN106657961B (zh) * 2015-10-30 2020-01-10 微软技术许可有限责任公司 立体视频的混合数字-模拟编码
CN108353157B (zh) 2015-11-11 2021-06-08 索尼公司 编码设备和编码方法以及解码设备和解码方法
CN105915877A (zh) * 2015-12-27 2016-08-31 乐视致新电子科技（天津）有限公司 一种三维视频的自由观影方法及设备
US20170195560A1 (en) * 2015-12-31 2017-07-06 Nokia Technologies Oy Method and apparatus for generating a panoramic view with regions of different dimensionality
KR102360179B1 (ko) * 2016-02-02 2022-02-08 삼성전자주식회사 가상 현실을 제공하기 위한 이미지를 촬영하는 3차원 카메라
KR102381370B1 (ko) * 2016-02-19 2022-03-31 삼성전자주식회사 가상 현실을 제공하기 위한 이미지 처리 방법 및 가상 현실 디바이스
GB2547689A (en) * 2016-02-26 2017-08-30 Nokia Technologies Oy A multi-camera device and a calibration method
GB2548860A (en) * 2016-03-31 2017-10-04 Nokia Technologies Oy Multi-camera image coding
US10601889B1 (en) * 2016-04-06 2020-03-24 Ambarella International Lp Broadcasting panoramic videos from one server to multiple endpoints
US10666941B1 (en) * 2016-04-06 2020-05-26 Ambarella International Lp Low bitrate encoding of panoramic video to support live streaming over a wireless peer-to-peer connection
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
US10757790B2 (en) * 2016-06-10 2020-08-25 Intel Corporation Sensor hub apparatus and method for sensing ambient light and audio conditions
GB2556017A (en) * 2016-06-21 2018-05-23 Nokia Technologies Oy Image compression method and technical equipment for the same
GB2551526A (en) 2016-06-21 2017-12-27 Nokia Technologies Oy Image encoding method and technical equipment for the same
GB2556319A (en) * 2016-07-14 2018-05-30 Nokia Technologies Oy Method for temporal inter-view prediction and technical equipment for the same
KR102317683B1 (ko) * 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
WO2018049221A1 (en) * 2016-09-09 2018-03-15 Vid Scale, Inc. Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
JP6732617B2 (ja) * 2016-09-21 2020-07-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像生成方法
WO2018067680A1 (en) * 2016-10-05 2018-04-12 Hidden Path Entertainment, Inc. System and method of capturing and rendering a stereoscopic panorama using a depth buffer
GB2555139A (en) * 2016-10-21 2018-04-25 Nokia Technologies Oy Detecting the presence of wind noise
KR102603745B1 (ko) * 2016-10-21 2023-11-17 매직 립, 인코포레이티드 다수의 동공내 시차 뷰들을 제공함으로써 다수의 깊이평면들 상에 이미지 콘텐츠를 제공하기 위한 시스템 및 방법
GB2556910A (en) * 2016-11-25 2018-06-13 Nokia Technologies Oy Virtual reality display
US10416757B2 (en) * 2016-12-08 2019-09-17 Raymond Maurice Smit Telepresence system
US11636572B2 (en) 2016-12-29 2023-04-25 Nokia Technologies Oy Method and apparatus for determining and varying the panning speed of an image based on saliency
US11836285B2 (en) * 2017-03-10 2023-12-05 Kenneth Perlin System for a spectator to view a virtual reality of a performer and method
EP3603056A4 (en) * 2017-03-22 2020-12-23 Nokia Technologies Oy METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR ADAPTIVE STREAMING
US10547704B2 (en) * 2017-04-06 2020-01-28 Sony Interactive Entertainment Inc. Predictive bitrate selection for 360 video streaming
EP3616400A4 (en) * 2017-04-28 2020-05-13 Samsung Electronics Co., Ltd. METHOD FOR PROVIDING CONTENT AND DEVICE THEREFOR
KR102402046B1 (ko) * 2017-04-28 2022-05-26 삼성전자주식회사 콘텐츠를 제공하기 위한 방법 및 이를 위한 장치
WO2018199701A1 (en) * 2017-04-28 2018-11-01 Samsung Electronics Co., Ltd. Method for providing content and apparatus therefor
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
CN107491172B (zh) * 2017-08-16 2020-10-09 歌尔科技有限公司 体感数据获取方法、装置及电子设备
US10818087B2 (en) 2017-10-02 2020-10-27 At&T Intellectual Property I, L.P. Selective streaming of immersive video based on field-of-view prediction
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
US11087527B2 (en) * 2017-12-01 2021-08-10 Koninklijke Kpn N.V. Selecting an omnidirectional image for display
WO2019125793A1 (en) * 2017-12-20 2019-06-27 Leia Inc. Cross-render multiview camera, system, and method
US10623725B2 (en) * 2018-01-03 2020-04-14 Votanic Ltd. 3D glasses incorporating real-time tracking
EP3509308A1 (en) * 2018-01-05 2019-07-10 Koninklijke Philips N.V. Apparatus and method for generating an image data bitstream
US20210037231A1 (en) * 2018-02-09 2021-02-04 Sony Corporation Image processing apparatus, image processing method, and image processing program
US10659815B2 (en) 2018-03-08 2020-05-19 At&T Intellectual Property I, L.P. Method of dynamic adaptive streaming for 360-degree videos
CN116723338A (zh) 2018-03-22 2023-09-08 Vid拓展公司 用于全向视频的等待时间报告方法和系统
KR20190118040A (ko) 2018-04-09 2019-10-17 삼성전자주식회사 웨어러블 디스플레이 장치 및 그의 입체 영상 표시 방법
US11917127B2 (en) 2018-05-25 2024-02-27 Interdigital Madison Patent Holdings, Sas Monitoring of video streaming events
EP3576407A1 (en) * 2018-05-31 2019-12-04 Nokia Technologies Oy Stereoscopic content
US10628957B2 (en) * 2018-06-18 2020-04-21 Google Llc Vision-enhanced pose estimation
US10412361B1 (en) * 2018-07-16 2019-09-10 Nvidia Corporation Generated stereoscopic video using zenith and nadir view perspectives
US10902556B2 (en) 2018-07-16 2021-01-26 Nvidia Corporation Compensating for disparity variation when viewing captured multi video image streams
CN109040601B (zh) * 2018-09-05 2020-06-26 清华-伯克利深圳学院筹备办公室 一种多尺度非结构化的十亿像素vr全景摄影系统
CN109407828A (zh) * 2018-09-11 2019-03-01 上海科技大学 一种凝视点估计方法及系统、存储介质及终端
EP3629585A1 (en) * 2018-09-25 2020-04-01 Koninklijke Philips N.V. Image synthesis
US20210297649A1 (en) * 2018-09-28 2021-09-23 Sony Interactive Entertainment Inc. Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
US10818077B2 (en) * 2018-12-14 2020-10-27 Canon Kabushiki Kaisha Method, system and apparatus for controlling a virtual camera
DE102019101192A1 (de) * 2019-01-17 2020-07-23 Innogy Se Kamerasystem und Heimautomatisierungssystem mit einem Kamerasystem
EP3690822A1 (en) * 2019-01-30 2020-08-05 Koninklijke Philips N.V. Image representation of a scene
US11418710B2 (en) 2019-02-07 2022-08-16 Maxell, Ltd. Composite reception/emission apparatus
JP2022521974A (ja) 2019-02-28 2022-04-13 マジック リープ， インコーポレイテッド 光エミッタアレイによって形成される複数の瞳孔内視差ビューを使用して可変遠近調節キューを提供するためのディスプレイシステムおよび方法
US11627303B2 (en) * 2019-07-09 2023-04-11 Interaptix Inc. System and method for corrected video-see-through for head mounted displays
US11336832B1 (en) * 2019-08-30 2022-05-17 Gopro, Inc. Systems and methods for horizon leveling videos
US10893218B1 (en) * 2019-09-20 2021-01-12 Gopro, Inc. Systems and methods for generating panoramic visual content
US11301035B1 (en) 2019-09-27 2022-04-12 Apple Inc. Method and device for video presentation
CN111061123B (zh) * 2019-12-25 2022-02-15 重庆特斯联智慧科技股份有限公司 一种旅游景观展示的旋转全景成像系统及使用方法
CN111294517B (zh) 2020-03-03 2021-12-17 荣耀终端有限公司 一种图像处理的方法及移动终端
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
US11750930B1 (en) 2022-03-17 2023-09-05 Honeywell International Inc. Panoramic vision system with parallax mitigation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514951A (ja) * 2000-11-29 2004-05-20 アールヴイシー　エルエルシー 球面立体視撮影システム及びその方法

Family Cites Families (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3225651A (en) 1964-11-12 1965-12-28 Wallace A Clay Methods of stereoscopic reproduction of images
JPH0646313A (ja) 1992-07-21 1994-02-18 Fujita Corp テレビカメラシステム
US6327381B1 (en) * 1994-12-29 2001-12-04 Worldscape, Llc Image transformation and synthesis methods
US5684531A (en) * 1995-04-10 1997-11-04 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Ranging apparatus and method implementing stereo vision system
US5703604A (en) * 1995-05-22 1997-12-30 Dodeca Llc Immersive dodecaherdral video viewing system
US5657073A (en) * 1995-06-01 1997-08-12 Panoramic Viewing Systems, Inc. Seamless multi-camera panoramic imaging with distortion correction and selectable field of view
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
US6055012A (en) 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US6529631B1 (en) 1996-03-29 2003-03-04 Sarnoff Corporation Apparatus and method for optimizing encoding and performing automated steerable image compression in an image coding system using a perceptual metric
JPH11164326A (ja) 1997-11-26 1999-06-18 Oki Electric Ind Co Ltd パノラマステレオ画像生成表示方法及びそのプログラムを記録した記録媒体
US6434265B1 (en) * 1998-09-25 2002-08-13 Apple Computers, Inc. Aligning rectilinear images in 3D through projective registration and calibration
US20020046218A1 (en) 1999-06-23 2002-04-18 Scott Gilbert System for digitally capturing and recording panoramic movies
ATE377771T1 (de) 1999-12-31 2007-11-15 Yissum Res Dev Co Panoramische stereokamera-anordungen zur aufnahme panoramischer bilder für einpanoramisches stereobild-paar
JP3569661B2 (ja) 2000-06-05 2004-09-22 株式会社スクウェア・エニックス ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体、ゲーム処理方法およびゲーム処理装置
JP2002171460A (ja) * 2000-11-30 2002-06-14 Sony Corp 再生装置
US20020118890A1 (en) 2001-02-24 2002-08-29 Michael Rondinelli Method and apparatus for processing photographic images
JP4158344B2 (ja) 2001-02-28 2008-10-01 ソニー株式会社 画像入力装置
JP2002354505A (ja) * 2001-05-29 2002-12-06 Vstone Kk 立体視システム
US6947059B2 (en) * 2001-08-10 2005-09-20 Micoy Corporation Stereoscopic panoramic image capture device
US6583808B2 (en) * 2001-10-04 2003-06-24 National Research Council Of Canada Method and system for stereo videoconferencing
US20030067476A1 (en) 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
JP2004072694A (ja) 2002-08-09 2004-03-04 Sony Corp 情報提供システムおよび方法、情報提供装置および方法、記録媒体、並びにプログラム
CA2511385A1 (en) * 2002-12-19 2004-07-22 Pharmacia Corporation Non-hygroscopic formulation comprising a hydroscopic drug
US7154157B2 (en) 2002-12-30 2006-12-26 Intel Corporation Stacked semiconductor radiation sensors having color component and infrared sensing capability
CN1771740A (zh) * 2003-01-24 2006-05-10 米科伊公司 立体全景图像捕捉装置
US8299979B2 (en) * 2003-05-14 2012-10-30 Broadcom Corporation Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
US7463280B2 (en) * 2003-06-03 2008-12-09 Steuart Iii Leonard P Digital 3D/360 degree camera system
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US7506267B2 (en) * 2003-12-23 2009-03-17 Intel Corporation Compose rate reduction for displays
US20070103558A1 (en) 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
US7542210B2 (en) * 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
EP2104359A4 (en) 2006-12-13 2012-07-11 Sharp Kk DYNAMIC BILDCODING DEVICE AND DYNAMIC IMAGE DECODING DEVICE
RU2375840C2 (ru) * 2007-04-19 2009-12-10 Владимир Семенович Леонов Способ формирования трехмерного цветного виртуального видеоизображения и устройство для создания эффекта виртуальной реальности у пользователя (варианты)
US20080298674A1 (en) * 2007-05-29 2008-12-04 Image Masters Inc. Stereoscopic Panoramic imaging system
US20090096927A1 (en) 2007-10-15 2009-04-16 Camp Jr William O System and method for video coding using variable compression and object motion tracking
US7850306B2 (en) * 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
CN101414054B (zh) 2008-11-21 2010-12-15 浙江大学 利用全景环带成像透镜实现立体成像装置及其方法
US20100220215A1 (en) 2009-01-12 2010-09-02 Jorge Rubinstein Video acquisition and processing systems
WO2010092524A2 (en) 2009-02-13 2010-08-19 Koninklijke Philips Electronics N.V. Head tracking
US20130176403A1 (en) * 2011-08-16 2013-07-11 Kenneth Varga Heads up display (HUD) sensor system
US8274544B2 (en) 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
US8164524B2 (en) * 2009-07-27 2012-04-24 Auden Techno Corp. Built-in straight mobile antenna type dual band antenna assembly with improved HAC performance
US8502860B2 (en) 2009-09-29 2013-08-06 Toyota Motor Engineering & Manufacturing North America (Tema) Electronic control system, electronic control unit and associated methodology of adapting 3D panoramic views of vehicle surroundings by predicting driver intent
US8717360B2 (en) * 2010-01-29 2014-05-06 Zspace, Inc. Presenting a view within a three dimensional scene
EP2549762B1 (en) 2010-03-19 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Stereovision-image position matching apparatus, stereovision-image position matching method, and program therefor
US8213708B2 (en) 2010-03-22 2012-07-03 Eastman Kodak Company Adjusting perspective for objects in stereoscopic images
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US20130125155A1 (en) 2010-07-26 2013-05-16 Thomson Licensing Dynamic adaptation of displayed video quality based on viewers' context
WO2012021129A1 (en) * 2010-08-10 2012-02-16 Sony Computer Entertainment Inc. 3d rendering for a rotated viewer
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US9118928B2 (en) * 2011-03-04 2015-08-25 Ati Technologies Ulc Method and system for providing single view video signal based on a multiview video coding (MVC) signal stream
WO2012128754A1 (en) * 2011-03-22 2012-09-27 Analogic Corporation Compound object separation
EP2695385B8 (en) 2011-04-08 2016-03-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Capturing panoramic or semi-panoramic 3d scenes
TWI442166B (zh) 2011-06-09 2014-06-21 Metal Ind Res & Dev Ct 一種單照相機全景立體成像系統
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US20130201296A1 (en) * 2011-07-26 2013-08-08 Mitchell Weiss Multi-camera head
JP5996169B2 (ja) 2011-07-27 2016-09-21 オリンパス株式会社 画像処理システム、情報処理装置及びプログラム
CN103858431A (zh) 2011-08-09 2014-06-11 三星电子株式会社 多视点数据编码方法和装置以及解码方法和装置
JP5367034B2 (ja) 2011-08-24 2013-12-11 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
CN103018903A (zh) * 2011-09-23 2013-04-03 奇想创造事业股份有限公司 具有显示方位锁定装置的头戴式显示器及其显示方法
TW201322179A (zh) 2011-11-28 2013-06-01 Hon Hai Prec Ind Co Ltd 街景建立系統及街景建立方法
US20130222590A1 (en) * 2012-02-27 2013-08-29 Honeywell International Inc. Methods and apparatus for dynamically simulating a remote audiovisual environment
JP5920708B2 (ja) 2012-02-29 2016-05-18 国立大学法人名古屋大学 多視点映像ストリーム視聴システムおよび方法
JP5938977B2 (ja) 2012-03-23 2016-06-22 ソニー株式会社 ヘッドマウントディスプレイ及び手術システム
US20130258044A1 (en) 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
JP6122260B2 (ja) * 2012-07-09 2017-04-26 キヤノン株式会社 画像処理装置及びその方法とプログラム
ITRM20120329A1 (it) * 2012-07-12 2012-10-11 Virtualmind Di Davide Angelelli Videocamera per riprese immersive/sferiche a 360° con 6-11 ottiche a 5-10 megapixel con geolocalizzazione gps
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US9185437B2 (en) * 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data
US9317764B2 (en) 2012-12-13 2016-04-19 Qualcomm Incorporated Text image quality based feedback for improving OCR
US9413930B2 (en) 2013-03-14 2016-08-09 Joergen Geerds Camera system
US20160205341A1 (en) 2013-08-20 2016-07-14 Smarter Tv Ltd. System and method for real-time processing of ultra-high resolution digital video
GB2525170A (en) 2014-04-07 2015-10-21 Nokia Technologies Oy Stereo viewing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514951A (ja) * 2000-11-29 2004-05-20 アールヴイシー　エルエルシー 球面立体視撮影システム及びその方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160034948A (ko) * 2013-07-09 2016-03-30 리미티드 리아빌리티 컴패니 ¨3디 티브이 테크닉스¨ 뷰 공간에 관한 스테레오 정보를 송수신하는 방법
WO2021235693A1 (ko) * 2020-05-20 2021-11-25 삼성전자 주식회사 이미지 생성 장치 및 방법

Also Published As

Publication number Publication date
JP2017518663A (ja) 2017-07-06
CN106165415B (zh) 2020-12-04
US10645369B2 (en) 2020-05-05
US11575876B2 (en) 2023-02-07
AU2015245446A1 (en) 2016-09-22
WO2015155406A1 (en) 2015-10-15
AU2015245446B2 (en) 2019-04-04
US20170118458A1 (en) 2017-04-27
US20170163970A1 (en) 2017-06-08
RU2665872C2 (ru) 2018-09-04
GB2525170A (en) 2015-10-21
MX2016012988A (es) 2016-12-07
KR101885979B1 (ko) 2018-08-06
RU2016141397A (ru) 2018-05-08
EP3130143A4 (en) 2017-12-27
EP3130143B1 (en) 2020-08-12
CA2943856C (en) 2020-08-18
EP3206397B1 (en) 2020-01-08
EP3206397A1 (en) 2017-08-16
RU2016141397A3 (ko) 2018-05-08
US20170155884A1 (en) 2017-06-01
EP3206398A1 (en) 2017-08-16
ZA201607530B (en) 2019-04-24
PH12016501960A1 (en) 2017-01-09
EP3206398B1 (en) 2019-07-24
CA2943856A1 (en) 2015-10-15
US10455221B2 (en) 2019-10-22
MX369376B (es) 2019-11-07
GB201406201D0 (en) 2014-05-21
EP3130143A1 (en) 2017-02-15
CN106165415A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
KR101885979B1 (ko) 스테레오 뷰잉
US20210409672A1 (en) Methods and apparatus for receiving and/or playing back content
US10334220B2 (en) Aggregating images and audio data to generate virtual reality content
US20170227841A1 (en) Camera devices with a large field of view for stereo imaging
JP2017527230A (ja) コンテンツを配信および／または再生するための方法及び装置
US20210185299A1 (en) A multi-camera device and a calibration method
EP3437319A1 (en) Multi-camera image coding
US11431901B2 (en) Aggregating images to generate content
WO2018109265A1 (en) A method and technical equipment for encoding media content
WO2018109266A1 (en) A method and technical equipment for rendering media content
KR20210119476A (ko) 이미지 특성 픽셀 구조의 생성 및 처리
WO2019043288A1 (en) METHOD, DEVICE AND SYSTEM FOR ENHANCED VISION FIELD

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant