KR20170127505A - 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치 - Google Patents

환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치 Download PDF

Info

Publication number
KR20170127505A
KR20170127505A KR1020177027972A KR20177027972A KR20170127505A KR 20170127505 A KR20170127505 A KR 20170127505A KR 1020177027972 A KR1020177027972 A KR 1020177027972A KR 20177027972 A KR20177027972 A KR 20177027972A KR 20170127505 A KR20170127505 A KR 20170127505A
Authority
KR
South Korea
Prior art keywords
mesh model
information
updated
camera
map
Prior art date
Application number
KR1020177027972A
Other languages
English (en)
Inventor
데이비드 콜리
알렌 맥케이 모스
Original Assignee
넥스트브이알 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 넥스트브이알 인코포레이티드 filed Critical 넥스트브이알 인코포레이티드
Publication of KR20170127505A publication Critical patent/KR20170127505A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • H04N13/0011—
    • H04N13/0029—
    • H04N13/0055—
    • H04N13/0203—
    • H04N13/044—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G09G2360/125—Frame memory handling using unified memory architecture [UMA]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

환경 측정들을 하고 이를 사용하기 위한 방법들 및 장치가 설명된다. 다양한 디바이스들을 사용하여 캡처된 환경 정보는 고객 재생 디바이스들로 전달되는 환경 모델을 생성하기 위해 프로세싱되고 조합된다. 환경 모델로 이미지들을 적용, 예로서 랩핑하기 위해 사용되는 UV 맵이 또한 재생 디바이스들로 제공된다. 재생 디바이스는 그 후 3D 시청 경험을 제공하는 부분으로서 뷰어에게 디스플레이되는 이미지들을 렌더링하기 위해 환경 모델 및 UV 맵을 사용한다. 몇몇 실시예들에서, 업데이트된 환경 모델은 예로서, 이벤트 동안 수행된, 보다 최근의 환경 측정들에 기초하여 생성된다. 선택적으로 업데이트된 UV 맵(들)과 함께, 기존의 모델을 업데이트하기 위한 업데이트된 환경 모델 및/또는 차이 정보가 그 뒤에 수신된 이미지 콘텐트의 렌더링 및 재생 시 사용을 위해 재생 디바이스들로 전달된다. 업데이트된 환경 정보를 전달함으로써, 개선된 3D 시물레이션들이 달성된다.

Description

환경 측정들을 하고 및/또는 ３Ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
관련된 출원들
본 출원은 2015년 3월 1일에 출원된 미국 가 출원 일련 번호 제62/126,701호, 2015년 3월 1일에 출원된 미국 가 출원 일련 번호 제62/126,709호, 및 2015년 3월 2일에 출원된 미국 가 출원 일련 번호 제62/127,215호의 이득을 주장하고, 그 각각은 여기에서 전체적으로 참조로서 명확하게 포함된다.
분야
본 발명은 3D 시청 경험을 제공하는 부분으로서 사용될 수 있는 입체 이미지들의 생성 및/또는 디스플레이를 포함한 다양한 애플리케이션들을 지원하기 위해, 환경 정보, 예로서 측정치들 및 이미지들을 캡처하고 사용하기 위한 방법들 및 장치에 관한 것이다.
3D 환경의 정확한 표현은 종종 환경의 신뢰 가능한 모델들을 요구한다. 이러한 모델들은, 이용 가능할 때, 장면의 이미지들에서 캡처된 오브젝트가 정확한 크기인 것으로 뷰에 나타나도록 이미지 재생 동안 사용될 수 있다. 환경 맵들은 또한 이미지의 상이한 조각들과 함께 스티칭하는데 및 상이한 카메라들에 의해 캡처된 이미지들의 정렬을 가능하게 하기 위해 사용될 수 있다.
환경 맵들이, 이용 가능할 때, 환경의 단순한 구형 모델이 가정될 때보다 훨씬 더 현실적인 입체 이미지들을 가능하게 할 수 있지만, 나중의 입체 재생을 위해 촬영될 수 있는 이벤트 동안 정확한 환경 정보를 획득하는 것과 연관된 다수의 어려움들이 있다. 예를 들면, LIDAR가 이벤트를 캡처하기 위해 입체 카메라의 배치 이전에 카메라 위치에 대하여 거리들의 환경 측정들을 하기 위해 사용될 수 있지만, LIDAR 측정들을 위해 사용된 레이저(들)는 집중을 방해하는 것일 수 있거나 또는 사람들이 콘서트, 게임 또는 다른 활동을 보려고 하는 동안 실제 이벤트 동안 사용하기에 부적절할 수 있다. 또한, 이벤트를 캡처하기 위해 사용된 카메라 리그의 배치는 LIDAR 디바이스가 이벤트 동안 동일한 위치에 위치되는 것을 불가능하게 할 수 있다.
따라서 LIDAR가 이벤트 이전에 경기장 또는 다른 이벤트 위치의 정확한 측정들을 하기 위해 사용될 수 있는 동안, 영역의 LIDAR 측정들을 하는 것과 연관된 시간뿐만 아니라 LASER 광의 사용 때문에, LIDAR는 진행 중인 이벤트 동안 카메라 위치로부터 위치되고 동작되는 하나 이상의 카메라들에 의해 캡처될 이벤트 동안의 카메라 위치의 위치로부터 환경의 측정들을 하는데 적절하지 않다는 것이 이해되어야 한다.
LIDAR가 매우 정확한 거리 측정들을 하기 위해 사용될 수 있지만, 상기 논의된 이유들로, 그것은 보통 경기장 또는 다른 이벤트 영역이 진행 중인 이벤트를 갖지 않을 때 사용된다. 그 결과, LIDAR 거리 측정은 보통 존재하는 사람들 없이 빈 경기장 또는 이벤트 영역을 측정한다. 또한, LIDAR 측정들이 보통 특정한 이벤트에 대한 임의의 수정 또는 디스플레이 셋 업들 전에 이루어지므로, LIDAR 또는 다른 측정 시스템에 의해 제공된 정적 환경 맵은, 많은 경우들에서, 측정 시 환경에 관련하여 매우 정확하지만, 종종 스포츠 게임, 콘서트 또는 패션쇼와 같은 이벤트 동안 환경의 상태 및 형태를 정확하게 반영하지 않는다.
상기 논의를 고려하여, 환경 측정들을 하고, 특히 이벤트 동안 환경의 형태를 측정하고 3D 환경을 시뮬레이션하는데 상기 환경 정보를 사용하는 새롭고 개선된 방법들에 대한 요구가 있다는 것이 이해되어야 한다. 모든 실시예들에 대해 필요하지는 않지만, 그것은 입체 또는 다른 이미지들이 이벤트의 3D 환경을 시뮬레이션하는 부분으로서 나중 재생을 위해 캡처되는 카메라 위치에 관련하여 환경이 이벤트 동안 정확하게 측정될 수 있다면 바람직할 것이다.
환경 측정들을 하고 이를 사용하기 위한 방법들 및 장치가 설명된다. 다양한 디바이스들을 사용하여 캡처된 환경 정보가 프로세싱되고 조합된다. 몇몇 실시예들에서 상이한 디바이스들은 상이한 시간들, 레이트들, 및/또는 분해능들에서 환경 정보를 캡처하기 위해 사용된다. 환경을 매핑시키기 위해 사용된 환경 정보 중 적어도 일부는 이벤트 동안 캡처된다. 이러한 정보는, 반드시 모두는 아닌 몇몇 실시예들에서, 이벤트 이전에 캡처된 환경 정보와 조합된다. 그러나, 실시예에 의존하여, 단일 환경 측정 기술이 사용될 수 있지만 많은 실시예들에서 다수의 환경 측정 기술들이, 환경 정보의 단일 소스가 깊이 맵을 생성하기 위해 사용된다면 가능할 수 있는 것보다 더 신뢰 가능하고 시기적절한 환경 맵을 생성하기 위해 조합되는, 환경 정보, 예로서 카메라 위치에 대한 깊이 정보와 함께 사용된다.
다양한 실시예들에서, 환경 정보는 하나 이상의 소스들로부터 획득된다. 몇몇 실시예들에서, 이벤트 이전에 LIDAR 측정들로부터 생성된 것과 같은, 정적 환경 맵 또는 모델이 사용된다. LIDAR는 레이더의 원리상에서 작동하지만, 거리 측정을 위해 레이저로부터의 광을 사용하는 검출 시스템이다. 카메라가 실제 이벤트 동안 이미지들을 캡처하기 위해 위치되는 카메라 위치를 위해 사용될 위치로부터, 또는 또 다른 위치에 기초하지만 카메라 위치의 위치에 대한 정보를 갖고 만들어진 환경의 모델로부터 이루어진 LIDAR 측정들로부터, 카메라 위치에 대한 환경의 정적 맵이 생성된다. 정적 맵은, 환경이 비어 있거나 또는 그 외 정적 맵을 만들기 위해 사용된 측정들이 이루어진 시간으로부터 변하지 않았다고 가정하면, 많은 경우들에서 환경에 대한 정확한 거리 정보를 제공한다. 정적 맵은 보통 빈 환경에 대응하므로, 정적 깊이 맵에서 표시된 거리들은 종종 사람들, 간판들, 지주들 등과 같은 오브젝트들이 종종 이벤트를 위해 환경에 부가되고 정적 맵에 도시된 구조가 이벤트를 위해 제거되는 것은 드무므로 최대 거리들이다. 따라서, 정적 맵은 때때로 최대 거리 정보를 제공하기 위해 및 환경의 전체 스케일/크기에 대한 정보를 제공하기 위해 사용될 수 있다.
정적 모델 정보 외에, 몇몇 실시예들에서, 환경 측정들은 이벤트 동안 캡처된 정보를 사용하여 이루어진다. 이벤트 동안 환경 정보의 캡처는, 몇몇 실시예들에서, 깊이 정보가 알려진 기술들을 사용하여 획득될 수 있는 이미지들을 캡처하는 하나 이상의 라이트 필드 카메라들의 사용을 수반한다. 몇몇 실시예들에서, 라이트 필드 카메라에 의해 캡처된 이미지들로부터 생성된 이미지들 및 깊이 맵들 양쪽 모두를 제공하는 라이트 필드 카메라들이 사용된다. 상기 카메라들은 때때로 또한 하나 이상의 쌍들의 입체 카메라들을 포함하는 카메라 리그 상에 장착되거나 또는 그것으로 통합될 수 있다. 라이트 필드 카메라들로부터 깊이 정보를 생성하기 위한 방법들이 몇몇 실시예들에서 사용된다. 예를 들면, 라이트 필드 마이크로 어레이의 상이한 렌즈들에 대응하는 센서 부분들에 의해 캡처된 환경에서의 영역 또는 포인트에 대응하는 이미지 데이터가 상기 포인트 또는 영역으로의 거리에 대한 정보를 제공하기 위해 프로세싱될 수 있다.
상기 라이트 필드 카메라는 거리 정보를 제공하기 위해 사용될 수 있는 이벤트 동안 이미지들을 수동적으로 수집할 수 있다는 이점을 갖는다. 라이트 필드 카메라의 사용의 단점은 그것이 보통 개개의 캡처된 이미지들의 분해능을 효과적으로 낮추는 센서를 통한 렌즈 어레이의 사용으로 인해 보통의 카메라의 것보다 낮은 분해능을 갖는다는 점이다.
상기 라이트 필드 카메라 또는 카메라들의 이미지들 외에, 예로서, 입체 카메라 쌍들을 포함한 다른 카메라들에 의해 캡처된 이미지들은 깊이 정보를 제공하기 위해 프로세싱되고 사용될 수 있다. 이것은 입체 쌍의 카메라들이 알려진 거리만큼 이격되므로 가능하고 캡처된 이미지들과 함께 이 정보는, 몇몇 실시예들에서, 카메라로부터 입체 카메라 쌍에서의 카메라들에 의해 캡처된 환경에서의 포인트까지의 거리를 결정하기 위해 사용될 수 있다. 상기 깊이 정보는, 깊이가 추정될 수 있는 환경 포인트들 또는 위치들의 수에 대하여, 카메라가 카메라의 센서를 통해 마이크로 렌즈 어레이를 사용하지 않으므로 입체 쌍들의 개개의 카메라들에 의해 캡처된 이미지의 픽셀들의 수만큼 높거나 또는 거의 그만큼 높을 수 있을 것이다.
입체 카메라들의 출력은, 몇몇 실시예들에서, 깊이 정보를 생성하기 위해 프로세싱될 수 있지만, 그것은 많은 경우들에서 상기 라이트 필드 카메라들의 출력으로부터 획득된 깊이 정보보다 덜 신뢰 가능할 것이다.
몇몇 실시예들에서, 상기 환경의 정적 모델은 최대 거리 정보를 제공하고, 상기 라이트 필드 카메라들로부터의 깊이 정보는 보통 상기 정적 모델에 의해 표시된 깊이들과 같거나 또는 그보다 작지만 보다 시기적절하고 환경 상태들이 변함에 따라 이벤트 동안 달라질 수 있는 깊이들을 표시하는 보다 최근의 깊이 정보를 제공한다. 유사하게 상기 입체 카메라 쌍 또는 쌍들에 의해 캡처된 이미지들로부터의 깊이 정보는 시기적절하고 이벤트 동안 캡처된 이미지들로부터 이용 가능한 경향이 있다.
다양한 실시예들에서, 상이한 소스들, 예로서 이벤트 이전에 LIDAR 측정들에 기초할 수 있는 정적 모델로부터의 상기 깊이 정보, 하나 이상의 라이트 필드 카메라들로부터의 깊이 정보 및 상기 입체 이미지들로부터 생성된 깊이 정보는 조합되고, 예로서, 조화된다. 조화 프로세스는 상이한 깊이 정보 소스들의 이점들 및 이러한 정보의 이용 가능성을 고려하여 다양한 기술들 또는 정보 가중 동작들을 수반할 수 있다. 예를 들면, 하나의 대표적인 분해능 프로세스에서, 이벤트 이전에 환경의 측정들로부터 획득된 LIDAR 기반 깊이 정보는 카메라 위치로부터의, 최대 깊이들, 예로서 거리들을 결정하기 위해 사용되고 환경을 모델링하기 위해 부가적인 깊이 정보의 부재 시 사용된다. 깊이 정보가 라이트 필드 카메라 또는 라이트 필드 카메라들의 어레이로부터 이용 가능할 때, 상기 깊이 정보는 그것이 진행 중인 이벤트 동안 상기 환경에서의 변화들을 반영할 수 있도록 환경 깊이 맵을 개선하기 위해 사용된다. 몇몇 실시예들에서, 라이트 필드 카메라에 의해 캡처된 이미지들로부터 획득된 깊이 맵 정보를 조화시키는 것은 이벤트 동안 환경에서 오브젝트들의 존재를 반영한 보다 짧은 깊이들을 포함하기 위해 LIDAR 기반 깊이 맵을 개선하는 것을 포함한다. 몇몇 경우들에서, 단독으로, 또는 정적 또는 LIDAR 깊이 맵으로부터의 정보와 조합하여, 라이트 필드 깊이 측정들에 기초하는 환경 깊이 맵을 조화시키는 것은, 깊이 정보가 상기 라이트 필드 카메라의 출력으로부터 알려져 있는 포인트들 사이에서 깊이들의 변화를 추가로 명확하게 하기 위해 깊이 정보를 사용하는 것을 포함한다. 이러한 방식으로, 라이트 필드 및/또는 입체 이미지들로부터 이용 가능한 정보의 보다 많은 수의 포인트들이 상기 라이트 필드 카메라 또는 카메라 어레이의 출력에 기초하여 깊이 맵을 개선하기 위해 사용될 수 있다.
깊이 정보 및/또는 맵에 기초하여, 때때로 환경 메시 모델로서 불리우는, 환경의 3D 모델이 몇몇 실시예들에서 생성된다. 상기 3D 환경 모델은 이미지들이 적용될 수 있는 환경의 그리드 맵의 형태에 있을 수 있다. 몇몇 실시예들에서, 상기 환경 모델은 예로서, 깊이 정보를 획득하기 위해 사용되는 상기 라이트 필드 카메라들에 의해 캡처된 이미지들을 갖고, 라이트 필드 카메라를 사용하여 수행된 관심 환경의 환경 측정들, 예로서 깊이 측정들에 기초하여 생성된다. 몇몇 실시예들에서, 환경 모델은, 제 1 시간에, 예로서 이벤트 이전에 및/또는 그것의 시작 시, 라이트 필드 카메라를 사용하여 이루어진 환경의 적어도 일 부분의 측정들에 기초하여 생성된다. 상기 환경 모델은 하나 이상의 고객 디바이스들, 예로서 이미지 콘텐트의 렌더링 및 재생 시 사용을 위한 렌더링 및 재생 디바이스들로 전달된다. 몇몇 실시예들에서, 3D 환경 모델로 이미지들을 적용, 예로서 랩핑(wrap)하기 위해 사용되는 UV 맵이 또한 고객 디바이스들로 제공된다.
이러한 맵으로의 이미지들의 적용은 때때로 애플리케이션이, 마치 그것이 3D 환경 모델로 랩핑된 것처럼, 이미지, 예로서 2D 이미지를 적용한 효과를 가지므로 랩핑(wrapping)으로 불리운다. 고객 재생 디바이스들은 그 후 3D 시청 경험을 뷰어에게 제공하는 부분으로서 뷰어에게 디스플레이되는 이미지 콘텐트를 렌더링하기 위해 환경 모델 및 UV 맵을 사용한다.
환경은 동적이고 변화들이 상기 논의된 바와 같이 이벤트가 진행 중인 동안 발생할 수 있으므로, 몇몇 실시예들에서, 업데이트된 환경 정보는 이벤트 동안 환경 변화들을 정확하게 모델링하기 위해 생성되고 고객 디바이스들로 제공된다. 몇몇 실시예들에서, 상기 업데이트된 환경 정보는 제 2 시간에, 예로서 제 1 시간 기간 후 및 이벤트 동안, 라이트 필드 카메라를 사용하여 이루어진 상기 환경의 부분의 측정들에 기초하여 생성된다. 몇몇 실시예들에서, 상기 업데이트된 모델 정보는 완전한 업데이트된 메시 모델을 전달한다. 몇몇 실시예들에서, 상기 업데이트된 메시 모델 정보는 상기 제 1 및 제 2 시간 기간들 사이에서 변한 3D 환경의 부분들에 대한 새로운 정보를 제공하는 상기 업데이트된 환경 모델 정보를 갖고 업데이트된 모델을 생성하기 위해 원래 환경 모델에 대해 이루어질 변화들을 표시한 정보를 포함한다.
상기 업데이트된 환경 모델 및/또는 기존의 모델을 업데이트하기 위한 차이 정보는, 선택적으로, 업데이트된 UV 맵(들)과 함께, 그 뒤에 수신된 이미지 콘텐트의 렌더링 및 재생 시 사용을 위해 재생 디바이스들로 전달된다. 업데이트된 환경 정보를 전달함으로써, 개선된 3D 시뮬레이션들이 달성된다.
여기에서 설명된 깊이 맵 생성 기술들을 사용함으로써, 환경에서의 아이템들이 이벤트 동안 이동하거나 또는 변경될 수 있는, 진행 중인 콘서트, 스포츠 경기, 플레이 등과 같은 동적 환경의 비교적 정확한 깊이 맵들이 생성될 수 있다. 예로서, 환경의 3D 모델 또는 환경 모델에 대한 업데이트들의 형태로, 상기 업데이트된 깊이 정보를 전달함으로써, 개선된 3D 시뮬레이션들이 달성될 수 있고 그 결과 강화된 3D 재생 및/또는 시청 경험을 위해 사용될 수 있다. 3D 환경 시뮬레이션에서의 개선들은, 이미지들이 시뮬레이션될 환경에서 캡처한 환경 모델이 환경 모델이 정적인 경우들에서보다 실제 환경을 보다 정확하게 반영할 것이므로 정적 깊이 맵들을 사용하여 시스템들을 통해 달성될 수 있다.
이미지들이 입체 및/또는 다른 카메라에 의해 캡처되는 환경에 대한 변화들이 발생함에 따라, 이러한 변화들은 캡처된 이미지들을 디스플레이하기 위해 재생 디바이스에 의해 사용된 환경의 모델에 쉽게 및 시기적절하게 반영될 수 있다는 것이 이해되어야 한다.
도 1은 카메라 리그를 교정하기 위해 사용될 수 있는 교정 타겟과 함께 일 실시예에 따라 구현된 카메라 리그를 예시한다.
도 2는 카메라 리그에 장착된, 3개의 쌍들의 카메라들, 예로서 입체 이미지 데이터를 캡처한 3쌍들의 카메라들을 가진 카메라 리그를 예시한다.
도 3은 몇몇 대표적인 실시예들에 따라 구현된 대표적인 보호 커버를 가진 대표적인 카메라 리그를 예시한다.
도 4는 부분적으로 분해된 형태로 명료함을 위해 도시되는 카메라 리그의 다양한 요소들을 갖고 대표적인 실시예에 따라 구현된 또 다른 대표적인 카메라 리그를 예시한다.
도 5는 스테레오 오디오를 캡처하기 위해 사용된 마이크로폰들을 포함한 귀 모양 디바이스들을 포함한 오디오 캡처 디바이스와 함께 그것 상에 장착된 카메라들을 가진 도 4의 카메라 리그를 도시한다.
도 6 내지 도 8은 몇몇 대표적인 실시예들에 따라 구현된 대표적인 카메라 리그의 다양한 뷰들을 예시한다.
도 9는 몇몇 대표적인 실시예들에 따라 구현된 또 다른 대표적인 카메라 리그를 예시한다.
도 10은 몇몇 실시예들에 따라, 도 1 내지 도 9에 도시된 카메라 리그들과 같은 본 발명의 대표적인 카메라 리그들에서 사용될 수 있는 카메라들의 어레이의 대표적인 배열의 정면도를 예시한다.
도 11은 본 발명의 카메라 리그들 중 임의의 것에서 사용될 수 있는 카메라들의 어레이의 또 다른 대표적인 배열의 정면도를 예시한다.
도 12는 본 발명의 몇몇 실시예들에 따라 구현된 대표적인 시스템을 예시한다.
도 13a는 몇몇 실시예들에 따른 이미징 시스템을 동작시키는 대표적인 방법의 흐름도를 예시하는 도 13의 제 1 부분이다.
도 13b는 이미징 시스템을 동작시키는 대표적인 방법의 흐름도를 예시하는 도 13의 제 2 부분이다.
도 14a는 도 13a 및 도 13b에 도시된 방법과 함께 사용하기에 적절한 대표적인 실시예에 따른 3D 메시 모델들 및 UV 맵들을 생성하고 업데이트하는 대표적인 방법의 흐름도를 예시하는 도 14의 제 1 부분이다.
도 14b는 대표적인 실시예에 따른 3D 메시 모델들 및 UV 맵들을 생성하고 업데이트하는 흐름도를 예시하는 도 14의 제 2 부분이다.
도 15는 도 1 내지 도 9에 도시된 카메라 리그에서 사용될 수 있는 대표적인 라이트 필드 카메라를 예시한다.
도 16은 대표적인 실시예에 따라 구현된 대표적인 프로세싱 시스템을 예시한다.
도 17은 대표적인 실시예에 따른 대표적인 렌더링 및 재생 디바이스를 동작시키는 대표적인 방법의 흐름도를 예시한다.
도 18은 대표적인 실시예에 따라 구현된 대표적인 렌더링 및 재생 디바이스를 예시한다.
도 19는 3D 모델을 세그먼트들로 나누기 위해 사용된 라인들의 교차점으로서 예시된 복수의 노드들을 갖고 다양한 실시예들에서 사용될 수 있는 대표적인 3D 환경 메시 모델을 예시한다.
도 20은 도 19의 메시 모델에, 텍스처를 제공하는, 2D 프레임의 부분들을 매핑시키기 위해 사용될 수 있는 대표적인 UV 맵을 예시한다.
다양한 특징들은 파노라마식 입체 영상의 분야에 관한 것이고, 보다 특히, 다양한 애플리케이션들을 위한 무게, 및 전력 요건들을 만족시키면서 소형 크기의 장치에서 최소 수의 카메라들을 사용하여 및 적정한 비용으로 고화질, 고 동적 범위, 고 프레임 레이트 입체, 360도 파노라마식 비디오를 캡처하기에 적절한 장치에 관한 것이다.
입체, 360도 파노라마식 비디오 콘텐트는 가상 현실 디스플레이들에서의 사용을 위해 수요가 증가하고 있다. 최종 이미지 명료성을 위해 중요한 4K 이상의 분해능, 로우-라이트 콘텐트를 기록하는데 중요한 고 동적 범위, 및 고속 이동 콘텐트(스포츠와 같은)에서 세부사항을 기록하는데 중요한 고 프레임 레이트들을 가진 입체, 360도 파노라마식 비디오 콘텐트를 생성하기 위해, 전문 등급의 어레이, 대형-센서, 영화 제작 카메라들 또는 적절한 품질의 다른 카메라들이 종종 요구된다.
카메라 어레이가 입체 가상 현실 디스플레이에서 보기 위한 360도, 입체 콘텐트를 캡처하는데 유용하도록, 카메라 어레이는, 그의 머리가 카메라와 같은 장소에 배치된다면 결과들이 뷰어가 본 것에 근사하도록 콘텐트를 획득해야 한다. 구체적으로, 입체 카메라들의 쌍들은 그들의 축-간 간격이 63mm의 수용된 인간-모델 평균으로부터 수용 가능한 델타 내에 있도록 구성되어야 한다. 부가적으로, 파노라마식 어레이의 중심 포인트로부터 카메라 렌즈의 입사동까지의 거리(노드 오프셋이라고도 알려진)는 그것이 101mm의 수용된 인간-모델 평균으로부터 수용 가능한 델타 내에 있도록 구성되어야 한다.
카메라 어레이가 그것이 소형이고 눈에 띄지 않아야 하는 이벤트들 및 구경하는 스포츠를 캡처하기 위해 사용되도록, 그것은 매우 다양한 위치들에 배치되고 수송이 요구될 때 적정한 크기의 컨테이너에서 수송되도록 허용하는 비교적 작은 물리적 풋프린트를 갖고 구성되어야 한다.
카메라 어레이는 또한 어레이의 최소 이미징 거리가 작도록, 예로서 가능한 작도록 설계되어야 하고, 이것은 장면 요소들이 인접한 카메라들의 시야 밖에 있기 때문에 캡처되지 않는 "데드 존(dead zone)"을 최소화한다.
카메라 어레이가 최고 광학 왜곡이 발생하기 쉬운(뷰의 렌즈 각도들이 교차하고 렌즈들의 최대 왜곡이 발생하는) 교정 타겟들을 배치함으로써 광학 정렬을 위해 교정될 수 있다면 유리할 것이다. 가장 효과적인 교정 타겟 위치 결정을 가능하게 하기 위해, 타겟 위치들은, 몇몇 실시예들에서, 리그 설계로부터 공식에 따라 결정되어야 한다.
도 1은 몇몇 실시예들에서 사용된 대표적인 카메라 구성(100)을 도시한다. 도 4 및 도 5에 도시된 지지 구조는 몇몇 실시예들에서 사용된 도시된 카메라 쌍 배열의 보다 양호한 이해를 허용하기 위해 도 1에 도시되지 않는다.
몇몇 실시예들에서 3개의 카메라 쌍들이 도 1 예에서와 같이 사용되지만, 모두가 아닌 몇몇 실시예들에서 카메라 어레이, 예로서 리그의 카메라 위치들은 동시적 360도 입체 비디오를 지원하기 위해 사용될 수 있는 6대의 총 카메라들 중 단지 2대만을 갖고 실장된다. 카메라 리그 또는 어셈블리가 리그에 장착될 수 있는 6대 모두보다 작은 카메라들을 갖고 구성될 때, 리그는, 예로서 전경 이미지들이 캡처되지 않을 때 리그를 회전시킴으로써, 하위-값, 배경 180도 장면 요소들의 정적 이미지들을 수동으로 캡처하면서 실시간으로 상위-값, 전경 180도 장면 요소들을 여전히 캡처할 수 있다. 예를 들면, 몇몇 실시예들에서, 2-카메라 어레이가 카메라들에 대하여 0도 위치에서 경기장을 가진 축구 게임을 캡처하기 위해 사용될 때, 어레이는 120도 및 240도 위치들로 노드 위치 주위에서 수동으로 회전된다. 이것은 스포츠 게임 또는 매치의 필드, 예로서 전경 상에서의 동작이 실시간 및 사이드라인들 및 외야석들, 예로서 배경 영역들에서 캡처되고, 전방 부분을 위한 실시간 스테레오 비디오 및 좌측 및 우측 후방 부분들을 위한 정적 이미지들을 포함한 혼성 파노라마를 생성하기 위해 사용될 입체 정적 이미지들로서 캡처되도록 허용한다. 이러한 방식으로, 리그는 그것의 노드 축, 예로서 360 장면 영역의 상이한 뷰가 캡처될 때 상이한 시간 포인트들 사이에서의 수직 중심 포인트 주위에서 회전되는 카메라 리그를 갖고 상이한 시간 포인트들에서 캡처되는 360 뷰의 몇몇 부분들을 갖고 360도 뷰를 캡처하기 위해 사용될 수 있다. 대안적으로, 단일 카메라들은 제 2 및 제 3 카메라 쌍 장착 위치들 및 이들 영역들을 위해 캡처된 모노(입체가 아닌) 이미지 콘텐트에 장착될 수 있다.
카메라 비용이 문제가 아닌 다른 경우들에서, 둘 이상의 카메라들이 도 1 예에서처럼 6대까지의 카메라들을 유지한 리그를 갖고 리그에서의 각각의 위치에 장착될 수 있다. 이러한 방식으로, 비용 효율적 카메라 배치는 캡처될 성능 및 많은 수, 예로서 6대의 카메라들을 수송하기 위한 사용자의 요구 또는 능력, 또는 6대보다 적은 카메라들, 예로서 2대의 카메라들을 수송하기 위한 사용자의 능력에 의존하여 달성될 수 있다. 몇몇 실시예들에서, 환경 깊이 맵은 카메라 리그(100)에서의 카메라들에 의해 캡처된 이미지들로부터 생성된다.
도 1은 교정 타겟(115)과 함께, 또한 때때로 리그 또는 카메라 어레이로서 불리우는 여섯 대(6) 카메라 어셈블리(100)를 묘사한다. 도 1에 예시된 카메라 리그(100)는 표시된 위치들에 카메라들, 총 6대의 카메라들을 위한 입체 카메라들((101, 103), (105, 107), (109, 111))의 3 쌍들(102, 104, 106)을 유지하는 지지 구조(도 4 및 도 5에 도시된)를 포함한다. 지지 구조는 카메라들을 지지하고 카메라들이 장착되는 판들이 고정될 수 있는 본원에서 또한 장착 판(도 4에 도시된 요소(720) 참조)으로서 불리우는 베이스(720)를 포함한다. 지지 구조는 플라스틱, 금속 또는 흑연 또는 섬유 유리와 같은 복합 재료로 만들어질 수 있고, 카메라들 사이에서의 관계 및 간격을 도시하기 위해 또한 사용되는 삼각형을 형성하는 라인들에 의해 표현된다. 점선들이 교차하는 중심 포인트는 카메라 쌍들(102, 104, 106)이 반드시 모두는 아닌 몇몇 실시예들에서 회전될 수 있는 중심 노드 포인트를 나타낸다. 중심 노드 포인트는 몇몇 실시예들에서, 그 주위에서 삼각형 라인들에 의해 표현된 카메라 지지 프레임이 회전될 수 있는, 예로서, 삼각대 베이스의, 스틸 로드 또는 스레드 중심 마운트에 대응한다. 지지 프레임은 카메라들이 장착되는 플라스틱 하우징 또는 도 4 및 도 5에 도시된 바와 같이 삼각대 구조일 수 있다.
도 1에서, 카메라들의 각각의 쌍(102, 104, 106)은 상이한 카메라 쌍 위치에 대응한다. 제 1 카메라 쌍(102)은 정면 위치 앞으로 0도에 대응하고 보통 주요 동작이 발생할 때 전경을 커버하도록 의도된다. 이 위치는 보통 주요 관심 영역, 예로서 스포츠 게임이 플레이되는 필드, 스테이지, 또는 주요 동작/수행이 발생할 가능성이 있는 몇몇 다른 영역에 대응한다. 제 2 카메라 쌍(104)은 120도 카메라 위치(정면으로부터 대략 120도 위치)에 대응하고 우측 후방 뷰잉 영역을 캡처하기 위해 사용된다. 제 3 카메라 쌍(106)은 240도 뷰잉 위치(정면으로부터 대략 240도) 및 좌측 후방 뷰잉 영역에 대응한다. 3개의 카메라 위치들은 120도 떨어져 있다는 것을 주의하자.
각각의 카메라 뷰잉 위치는 도 1 실시예에서 하나의 카메라 쌍을 포함하고, 각각의 카메라 쌍은 이미지들을 캡처하기 위해 사용되는 좌측 카메라 및 우측 카메라를 포함한다. 좌측 카메라는 때때로 좌측 눈 이미지들로서 불리우는 것을 캡처하고 우측 카메라는 때때로 우측 눈 이미지들로서 불리우는 것을 캡처한다. 이미지들은 하나 이상의 횟수들로 캡처된 스틸 이미지 또는 뷰 시퀀스의 부분일 수 있다. 보통 적어도 카메라 쌍(102)에 대응하는 전방 카메라 위치는 고 품질 비디오 카메라들과 함께 실장될 것이다. 다른 카메라 위치들은 스틸 또는 모노 이미지들을 캡처하기 위해 사용된 고 품질 비디오 카메라들, 저 품질 비디오 카메라들 또는 단일 카메라와 함께 실장될 수 있다. 몇몇 실시예들에서 제 2 및 제 3 카메라 실시예들은 실장되지 않은 채로 있고 카메라들이 장착되는 지지 판은 회전되어 제 1 카메라 쌍(102)이 모든 3개의 카메라 위치들에 대응하지만 상이한 시간들에서 이미지들을 캡처하도록 허용한다. 몇몇 이러한 실시예들에서, 좌측 및 우측 후방 이미지들이 캡처되고 저장되고 그 후 전방향 카메라 위치의 비디오가 이벤트 동안 캡처된다. 캡처된 이미지들은, 예로서 이벤트가 여전히 진행 중인 동안, 실시간으로 인코딩되고 하나 이상의 재생 디바이스들로 스트리밍될 수 있다.
도 1에 도시된 제 1 카메라 쌍(102)은 좌측 카메라(101) 및 우측 카메라(103)를 포함한다. 좌측 카메라는 제 1 카메라에 고정된 제 1 렌즈 어셈블리(120)를 가지고 우측 카메라(103)는 우측 카메라(103)에 고정된 제 2 렌즈 어셈블리를 갖는다. 렌즈 어셈블리들(120, 120')은 광각 시야가 캡처되도록 허용하는 렌즈들을 포함한다. 몇몇 실시예들에서 각각의 렌즈 어셈블리(120, 120')는 어안 렌즈를 포함한다. 따라서 카메라들(102, 103)의 각각은 180도 시야 또는 대략 180도를 캡처할 수 있다. 몇몇 실시예들에서, 180도 미만이 캡처되지만 몇몇 실시예들에서 인접한 카메라 쌍들로부터 캡처된 이미지들에서 여전히 적어도 몇몇 중첩이 있다. 도 1 실시예에서, 카메라 쌍은 적어도 120도 이상의 환경을 캡처하는 각각의 쌍을 갖지만 많은 경우들에서 180도 또는 대략 180도의 환경을 캡처하는 각각의 카메라 쌍을 갖고 제 1(0도), 제 2(120도), 및 제 3(240도) 카메라 장착 위치들의 각각에 위치된다.
제 2 및 제 3 카메라 쌍들(104, 106)은 제 1 카메라 쌍(102)과 동일하거나 또는 유사하지만 전방 0도 위치에 대하여 120 및 240도 카메라 장착 위치들에 위치된다. 제 2 카메라 쌍(104)은 좌측 카메라(105) 및 좌측 렌즈 어셈블리(122) 및 우측 카메라(107) 및 우측 카메라 렌즈 어셈블리(122')를 포함한다. 제 3 카메라 쌍(106)은 좌측 카메라(109) 및 좌측 렌즈 어셈블리(124) 및 우측 카메라(111) 및 우측 카메라 렌즈 어셈블리(124')를 포함한다.
도 1에서, D는 카메라들(101, 103)의 제 1(102) 입체 쌍의 축-간 거리를 나타낸다. 도 1 예에서, D는 평균 인간의 좌측 및 우측 눈들의 동공들 간의 거리와 동일하거나 또는 유사한 117mm이다. 도 1에서 파선(150)은 파노라마식 어레이의 중심 포인트로부터 우측 카메라 렌즈(120')의 입사동까지의 거리(노드 오프셋으로도 알려진)를 묘사한다. 도 1 예에 대응하는 일 실시예에서, 참조 번호 150에 의해 표시된 거리는 315mm이지만 다른 거리들이 가능하다.
일 특정한 실시예에서, 카메라 리그(100)의 풋프린트는 비교적 작다. 이러한 작은 크기는 카메라 리그가 청중에, 예로서 팬 또는 참석자가 일반적으로 위치되거나 또는 배치될 수 있는 좌석 위치에 위치되도록 허용한다. 따라서 몇몇 실시예들에서, 카메라 리그는 청중 영역에 위치되어 뷰어로 하여금 이러한 효과가 요구되는 청중의 구성원인 의미를 갖도록 허용한다. 몇몇 실시예들에서 풋프린트는, 몇몇 실시예들에서 중심 지지 로드를 포함한 지지 구조가 장착되거나 또는 지지 타워가 위치되는 베이스의 크기에 대응한다. 이해되어야 하는 바와 같이 몇몇 실시예들에서 카메라 리그들은 3쌍들의 카메라들 사이에서의 중심 포인트에 대응하는 베이스의 중심 포인트 주위를 회전할 수 있다. 다른 실시예들에서 카메라들은 고정되고 카메라 어레이의 중심 주위를 회전하지 않는다.
카메라 리그(100)는 비교적 가까울 뿐만 아니라 별개의 오브젝트를 캡처하는 것이 가능하다. 일 특정한 실시예에서, 카메라 어레이의 최소 이미징 거리는 649mm이지만 다른 거리들이 가능하고 이 거리는 결코 중요하지 않다.
카메라 어셈블리의 중심으로부터 제 1 및 제 3 카메라 부분들의 뷰들의 교차점(151)까지의 거리는 제 1 및 제 2 카메라 쌍들에 의해 캡처된 이미지들을 교정하기 위해 사용될 수 있는 대표적인 교정 거리를 나타낸다. 일 특정한 대표적인 실시예에서, 렌즈 시각들이 교차하고 렌즈들의 최대 왜곡이 발생하는, 최적의 교정 거리는 743mm이다. 타겟(115)은 최대 왜곡의 영역에서 또는 그것을 살짝 넘어 위치된 카메라 쌍들로부터의 알려진 거리에 위치될 수 있다는 것을 주의하자. 교정 타겟은 알려진 고정된 교정 패턴을 포함한다. 교정 타겟은 카메라 쌍들의 카메라들에 의해 캡처된 이미지들의 크기를 교정하기 위해 사용될 수 있다. 이러한 교정은 교정 타겟의 크기 및 위치가 교정 타겟(115)의 이미지를 캡처하는 카메라들에 대해 알려져 있으므로 가능하다.
도 2는 보다 상세히 도 1에 도시된 카메라 어레이(100)의 다이어그램(200)이다. 카메라 리그(100)가 다시 6대의 카메라들을 갖고 도시되지만, 몇몇 실시예에서 카메라 리그(100)는 단지 두 대의 카메라들, 예로서 카메라들(101 및 103)을 포함한 카메라 쌍(102)만을 갖고 실장된다. 도시된 바와 같이, 카메라 쌍 장착 위치들의 각각 사이에 120도 간격이 있다. 예를 들면, 각각의 카메라 쌍 사이에서의 중심이 카메라 장착 위치의 방향에 대응하는지를 고려하자. 이러한 경우에 제 1 카메라 장착 위치는 0도에 대응하고, 제 2 카메라 장착 위치는 120도에 대응하고 제 3 카메라 장착 위치는 240도에 대응한다. 따라서 각각의 카메라 장착 위치는 120도만큼 분리된다. 이것은 각각의 카메라 쌍(102, 104, 106)의 중심을 통해 연장된 중심 라인이 연장되고 라인들 사이에서의 각도가 측정되었다면 이해될 수 있다.
도 2 예에서, 카메라들의 쌍(102, 104, 106)은, 몇몇 실시예들에서, 카메라 리그의 중심 포인트 주위를 회전할 수 있어서, 카메라 리그 베이스의 위치를 변경할 필요 없이 상이한 뷰들이 상이한 시간들에서 캡처되도록 허용한다. 즉, 카메라들은 리그의 중심 지지대 주위에서 회전되고 상이한 시간들에서 상이한 장면들을 캡처하도록 허용될 수 있어서, 그것이 단지 두 대의 카메라들만을 갖고 실장되는 동안 도 2에 도시된 리그를 사용하여 360도 장면 캡처를 허용한다. 이러한 구성은 입체 카메라들의 비용을 고려해볼 때 비용 관점에서 특히 바람직하며 동일한 시점으로부터 그러나 스포츠 이벤트 또는 다른 이벤트 동안 주요 동작을 포함한 전방 장면이 발생할 수 있는 시간과 상이한 시간에서 캡처된 배경을 도시하는 것이 바람직할 수 있는 많은 애플리케이션들에 적절하다. 예를 들면 이벤트 동안 오브젝트들이, 주요 이벤트 동안 도시하지 않는 것이 바람직할 카메라 뒤에 위치될 수 있다는 것을 고려해보자. 이러한 시나리오에서, 후방 이미지들은, 때때로, 주요 이벤트 이전에 챕처되고 이미지 데이터의 360도 세트를 제공하기 위해 주요 이벤트의 실시간 캡처된 이미지들과 함께 이용 가능해질 수 있다.
다양한 특징들은 또한 카메라 지지 구조 및 카메라 구성이 다양한 실시예들에서, 75mm 내지 350mm의 범위에서의 노드 오프셋 거리를 유지할 수 있다는 사실과 관련된다. 일 특정한 실시예에서, 315mm의 노드 오프셋 거리가 유지된다. 지지 구조는 또한, 몇몇 실시예들에서, 400㎟ 내지 700㎟의 범위에서의 전체 영역(풋프린트로도 알려진)을 유지한다. 일 특정한 실시예에서, 640㎟의 전체 영역(풋프린트로도 알려진)이 유지된다. 지지 구조는 또한 400mm 내지 700mm의 범위에서의 최소 이미징 거리를 유지한다. 일 특정한 실시예에서, 649mm의 최소 이미징 거리가 유지된다. 일 특정한 실시예에서 어레이의 최적의 교정 거리는 렌즈 시각들이 교차하고 렌즈들의 최대 왜곡이 발생하는 곳이다. 일 특정한 대표적인 실시예에서, 이 거리는 743mm이다.
상기 논의된 바와 같이, 다양한 실시예들에서, 카메라 어레이, 예로서 리그는 보통 하위-값의, 배경 180도 장면 요소들의 정적 이미지들을 수동으로 캡처하면서 실시간으로 상위-값의, 전경 180도 장면 요소들을 캡처할 목적으로 동시적 360도 입체 비디오를 위해 요구될 6-전체 카메라들 중 단지 2대만을 갖고 실장된다.
도 3은 도 1 및 도 2의 리그와 동일하거나 또는 유사하지만 지지 삼각대 없이 및 카메라 쌍들 위에 위치된 플라스틱 커버(350)를 갖는 대표적인 카메라 리그(300)를 도시한다. 플라스틱 커버(350)는 예로서, 삼각대 상에 위치될 때, 카메라 리그(300)를 들어올리거나 또는 회전시키기 위해 사용될 수 있는 핸들들(310, 312, 314)을 포함한다. 카메라 리그(300)는 3개의 쌍들의 카메라들, 즉 렌즈 어셈블리들(320, 320')을 가진 카메라들(301, 303)을 포함한 제 1 카메라 쌍(302), 렌즈 어셈블리들(322, 322')을 가진 카메라들을 포함한 제 2 카메라 쌍(304), 및 렌즈 어셈블리들(324, 324')을 갖는 카메라들을 포함한 제 3 카메라 쌍(306)을 갖고 도시된다. 플라스틱 커버(350)는 장착 플랫폼(316)에 고정되고, 이것은 도 4에 도시된 바와 같이 하나 이상의 슬롯들 및 나사 홀들을 가진 평판으로서 구현될 수 있다. 플라스틱 커버(350)는 커버(350)의 용이한 제거 또는 부착 및 카메라 쌍들의 카메라들로의 용이한 액세스를 허용하기 위해 사람 손으로 제거되거나 또는 조여질 수 있는, 너트들 또는 나사들(330, 331)을 갖고 베이스에 고정된다. 6대의 카메라들이 도 3에 도시된 리그(300)에 포함되지만, 단일 카메라 쌍이 포함될 수 있고 및/또는 카메라 쌍들이 장착되지 않은 다른 카메라 장착 위치들에 위치된 하나 이상의 개개의 카메라들을 가진 단일 카메라 쌍이 사용될 수 있다.
도 4는 구성요소들이 어떻게 조립되는지에 대한 보다 양호한 뷰를 허용하기 위해 부분적으로 분해된 형태로 도시된 카메라 리그 어셈블리(400)의 상세한 다이어그램이다. 카메라 리그(400)는 일 대표적인 실시예에 따라 구현되고 도 1 및 도 2에 도시된 카메라 구성을 가질 수 있다. 도 4에 도시된 예에서, 카메라 리그(400)의 다양한 요소들이 명료함 및 상세함을 위해 분해된 형태로 도시된다. 도 4로부터 이해될 수 있는 바와 같이, 카메라 리그(400)는 3쌍들의 카메라들(702, 704 및 706), 예로서, 입체 카메라들을 포함하고, 이것은 카메라 리그(400)의 지지 구조(720) 상에 장착될 수 있다. 제 1 쌍의 카메라들(702)은 카메라들(750 및 750')을 포함한다. 제 2 쌍의 카메라들(704)은 카메라들(752, 752')을 포함하고 제 3 쌍의 카메라들(706)은 카메라들(754, 754')을 포함한다. 카메라들(750, 750')의 렌즈들(701, 701')은 도 7에서 보여질 수 있다. 요소들(701 및 701')이 렌즈들로서 설명되지만, 몇몇 실시예들에서 그것들은 마찰 결합 또는 트위스트 록 연결을 통해 카메라들(750, 750')에 고정되는 렌즈 배럴에 위치된 다수의 렌즈들을 포함한 각각의 렌즈 어셈블리를 갖고 카메라들(750, 750')에 고정되는 렌즈 어셈블리들이다.
몇몇 실시예들에서 카메라들(702, 704 및 706)의 3개의 쌍들(6대의 카메라들)은 각각의 카메라 쌍 장착 판들(710, 712 및 714)을 통해 지지 구조(720) 상에 장착된다. 지지 구조는 슬롯형 장착 판(720)의 형태에 있을 수 있다. 슬롯(738)은 판(720)에서 슬롯들 중 일부를 대표한다. 슬롯들은 무게를 감소시키지만 카메라 쌍들 또는 몇몇 경우들에서 단일 카메라를 지지하기 위해 사용된 카메라 장착 판들(710, 712, 714)의 위치의 조정을 허용한다.
지지 구조(720)는 입체 카메라 쌍들(702, 704, 706)을 장착하기 위한 3개의 상이한 장착 위치들을 포함하고, 각각의 장착 위치는 인접한 장착 위치의 방향으로부터 120도 오프셋된 상이한 방향에 대응한다. 도 7의 예시된 실시예에서, 제 1 쌍의 입체 카메라들(702)은 3개의 장착 위치들 중 제 1의 것, 예로서 정면 위치에 장착되고 전방 뷰잉 영역에 대응한다. 제 2 쌍(704)의 입체 카메라들(704)은 3개의 장착 위치들 중 제 2의 것, 예로서 전방 위치에 대하여 120도 시계방향으로 회전한 배경 우측 위치에 장착되고, 상이한 우측 후방 뷰잉 영역에 대응한다. 제 3 쌍(706)의 입체 카메라들은 3개의 장착 위치들 중 제 3의 것, 예로서 전방 위치에 대하여 240도 시계방향으로 회전한 배경 좌측 위치에 장착되고, 좌측 후방 뷰잉 영역에 대응한다. 각각의 카메라 위치에서 카메라들은 적어도 120 뷰잉 영역을 캡처하지만 많은 경우에서, 적어도 180도 뷰잉 영역을 캡처할 수 있어서, 몇몇 실시예들에서 차단되는 중첩 부분들 중 일부와 360도 뷰로의 이미지들의 조합을 가능하게 할 수 있는 캡처된 이미지들에서의 중첩을 야기한다.
제 1 카메라 쌍 장착 판(710)은 그것을 통해 나사들(704, 740', 740", 740")이 지지 구조(720)로 판(710)을 고정시키기 위해, 각각 슬롯들(738 및 738')을 통해 삽입될 수 있는 스레드 나사 홀들(741, 741', 741" 및 741"')을 포함한다. 슬롯들은 지지 판(710)의 위치의 조정을 허용한다.
제 1 카메라 쌍의 카메라들(750, 750")은 판들(703, 703')의 최하부를 통과하고 카메라들(750, 750')의 최하부 상에서의 스레드 홀들로 연장되는 나사들을 사용하여 개개의 대응하는 카메라 장착 판들(703, 703')에 고정된다. 일단 개개의 장착 판들(703, 703')에 고정되면, 카메라들(750, 750') 및 장착 판들(703, 703')은 나사들을 사용하여 카메라 쌍 장착 판(710)에 고정될 수 있다. 나사들(725, 725', 725"(완전히 가시적이지 않은) 및 725"')은 카메라 쌍 장착 판(710)으로 카메라 판(703) 및 카메라(750)를 고정시키기 위해 대응하는 슬롯들(724)을 통해 카메라 쌍 장착 판(710)의 스레드 홀들(745, 745', 745" 및 745"')에 이른다. 유사하게, 나사들(727, 727'(완전히 가시적이지 않은), 727" 및 727"')은 카메라 쌍 장착 판(710)으로 카메라 판(703') 및 카메라(750')를 고정시키기 위해 대응하는 슬롯들(726, 726', 726" 및 726"')을 통해 카메라 쌍 장착 판(710)의 스레드 홀들(746, 746', 746" 및 746"')에 이른다.
지지 구조(720)는 오브젝트가 지지 구조를 지나 이동하는 오브젝트가 그것이 가까이 이동함에 따라 지지 구조상에 포착될 위험을 감소시키기 위해 장착된 스탠드오프 롤러들(732, 732')을 갖는다. 이것은 지지 구조(720)에 대한 손상의 위험을 감소시킨다. 더욱이, 롤러 뒤쪽 안쪽에 중공 영역을 가짐으로써, 롤러에 대한 충격은 지지 구조의 주요 부분으로 전송될 가능성이 적다. 즉, 롤러들(732, 732') 뒤쪽에서의 보이드는 스탠드오프 롤러(732')가 카메라 장착 판들을 고정시키기 위해 사용된 슬롯들을 포함한 지지 구조의 주요 부분에 대한 손상 없이 장착되는 지지 구조의 바 부분의 몇몇 변형을 허용한다.
다양한 실시예들에서, 카메라 리그(400)는 지지 구조(720)가, 예로서 베이스의 중심을 통해 지지 판(720)으로 연장되는 샤프트 또는 스레드 로드에 의해, 회전 가능하게 장착되는 베이스(722)를 포함한다. 따라서, 다양한 실시예들에서 지지 구조(720) 상에서의 카메라 어셈블리는 베이스(722)의 중심을 통과하는 축 주위에서 360도 회전될 수 있다. 몇몇 실시예들에서 베이스(722)는 삼각대 또는 또 다른 장착 디바이스의 부분일 수 있다. 삼각대는 시야각으로 인해 도 4에서 가시적이지 않은 부가적인 레그뿐만 아니라 튜브들의 쌍들((742, 742'), (742" 및 742"))에 의해 형성된 레그들을 포함한다. 레그들은 힌지에 의해 베이스(722)에 고정되고 수송을 위해 접힐 수 있다. 지지 구조는 플라스틱, 금속 또는 흑연 또는 섬유 유리와 같은 복합 재료 또는 그것의 몇몇 조합으로 만들어질 수 있다. 카메라 쌍들은 몇몇 실시예들에서, 때때로 중심 노드 포인트로 불리우는, 중심 포인트 주위에서 회전될 수 있다.
도 4에 도시된 어셈블리(400)는 개개의 카메라들의 위치가 카메라 쌍 장착 판에 개개의 카메라 장착 판들을 고정시키는 나사들을 풀고 그 후 나사들을 다시 조이기 전에 카메라 위치를 조정함으로써 최상부로부터 조정되도록 허용한다. 카메라 쌍의 위치는 지지 구조(720)의 최하부 측면으로부터 액세스 가능한 나사들을 푼 후 카메라 쌍 장착 판을 이동시키고, 판을 이동시키고 그 후 나사들을 다시 조임으로써 조정될 수 있다. 따라서, 카메라 쌍들의 일반적인 위치 및 방향이 지지 판(720)에서의 슬롯들에 의해 정의될 때, 위치 및 방향은 카메라들이 카메라 리그가 사용될 필드에서 지지 구조(720)에 고정되는 동안 원하는 카메라 정렬을 달성하기 위해 카메라 교정 프로세스의 부분으로서 미세하게 조정될 수 있다.
도 5에서, 도 4에서 사용된 것들과 동일한 참조 숫자들은 동일한 요소들을 나타낸다. 도 5는 그것들이 원하는 위치들로 조정된 후 카메라 쌍들의 강성 및 안정성을 증가시키기 위해 카메라 쌍들의 최상부들에 부가된 부가적인 안정화 판들(502, 502', 504, 504', 506) 및 안정화 판 연결 바들(503, 505, 507, 509, 511, 513)을 가진 조립 형태에서의 대표적인 카메라 리그(400)를 도시한 도면(500)을 예시한다.
도면(500)에서, 카메라 쌍들(702, 704, 706)은 예시된 도면에서 가시적인 카메라 쌍 장착 판(710) 중 적어도 하나를 갖고 지지 구조(720) 상에 장착되어 도시될 수 있다. 도 4에 관하여 상기에서 이미 논의된 카메라 리그(400)의 요소들 외에, 도면(500)에서, 카메라 리그 상에 장착된 두 개의 시뮬레이션된 귀들(730, 732)이 또한 보여질 수 있다. 이들 시뮬레이션된 귀들(730, 732)은 인간 귀들을 모방하고 몇몇 실시예들에서, 인간 귀의 형태로 몰딩된 실리콘 또는 플라스틱으로 만들어진다. 시뮬레이션된 귀들(730, 732)은 평균 인간의 인간 귀들 사이에서의 간격과 동일하거나, 또는 대략 동일한 거리만큼 서로로부터 분리되는 두 개의 귀들을 가진 마이크로폰들을 포함한다. 시뮬레이션된 귀들(730, 732)에 장착된 마이크로폰들은 정면 카메라 쌍(702) 상에 장착되지만 대안적으로 지지 구조, 예로서, 플랫폼(720) 상에 장착될 수 있다. 시뮬레이션된 귀들(730, 732)은 인간 귀들이 인간 머리 상에서 눈들의 전방 표면에 수직하여 위치되는 것과 유사한 방식으로 카메라 쌍(702)의 전방 표면에 수직하여 위치된다. 시뮬레이션된 귀들(730, 732)의 측면에서의 홀들은 인간 귀가 인간 귀에 포함된 고막으로 오디오 사운드들을 향하게 하지만 시뮬레이션된 귀들 중 각각의 것에 장착된 마이크로폰으로 오디오를 향하게 하기 위해 조합하여 동작하는 시뮬레이션된 귀들 및 홀을 갖고 시뮬레이션된 귀들로의 오디오/사운드 입구 포인트로서 동작한다. 좌측 및 우측 시뮬레이션된 귀들(730, 732)에서의 마이크로폰들은 카메라 리그(500)의 위치에서의 인간이 카메라 리그의 위치에 위치된다면 인간의 좌측 및 우측 귀들을 통해 지각할 것과 유사한 스테레오 사운드 캡처를 제공한다. 시뮬레이션된 귀들에 장착된 마이크로폰들의 오디오 입력은 인간 귀의 센서 부분이 인간의 얼굴에 다소 수직하는 것과 동일한 방식으로 정면 카메라들(750, 750')의 외부 렌즈의 면에 수직한다. 시뮬레이션된 귀들은 인간 귀가 인간 고막으로 음파들을 향하게 하는 것처럼 마이크로폰으로 사운드를 향하게 한다.
시뮬레이션된 귀들(730, 732)은 사운드를 캡처하기 위해 마이크로폰들을 포함하는 지지 바(510) 상에 장착된다. 오디오 캡처 시스템(730, 732, 810)은 핸들(515)을 통해 이동될 수 있는 이동 가능한 암(514)에 의해 지지된다.
도 4 및 도 5는 3개의 입체 카메라 쌍들을 가진 대표적인 카메라 리그의 일 구성을 예시하지만, 다른 변화들이 가능하다는 것이 이해되어야 한다. 예를 들면, 일 구현에서, 카메라 리그(400)는 상이한 120도 뷰들이 상이한 시간들에서 캡처되는 것을 허용하는 카메라 리그의 중심 포인트 주위에서 회전할 수 있는 단일 쌍의 입체 카메라들을 포함한다. 따라서, 단일 카메라 쌍은 지지 구조상에 장착되고 리그의 중심 지지대 주위에서 회전될 수 있고 상이한 시간들에서 상이한 장면들을 캡처하도록 허용되어 360도 장면 캡처를 허용한다.
다른 실시예들에서, 카메라 리그(400)는 한 쌍의 입체 카메라들을 위해 일반적으로 사용된 제 2 및 제 3 위치들의 각각에 장착된 단일 입체 카메라 쌍(702) 및 하나의 카메라를 포함한다. 이러한 실시예에서, 단일 카메라는 제 2 카메라 쌍(704)을 대신하여 리그에 장착되고 또 다른 단일 카메라는 카메라 쌍(706)을 대신하여 카메라 리그에 장착된다. 따라서, 이러한 실시예에서, 제 2 카메라 쌍(704)은 단일 카메라를 대표하는 것으로 생각되어질 수 있고 카메라 쌍(706)은 부가적인 단일 카메라를 예시하는 것으로 생각되어질 수 있다.
도 6 내지 도 9는 몇몇 대표적인 실시예들에 따라 구현된 다른 대표적인 카메라 리그들의 다양한 뷰들을 예시한다.
도 6은 몇몇 대표적인 실시예들에 따라 구현된 대표적인 카메라 리그(801)의 하나의 뷰를 도시한 도면(800)을 예시한다. 카메라들의 어레이는 그 일부가 입체 카메라들인 카메라 리그(801)에 포함된다. 도면(800)에서 카메라 리그(801)의 예시된 뷰에서, 단지 카메라 리그(801)의 일 부분만이 가시적인 반면 카메라들의 유사한 배열은 도면(800)에서 완전히 보여질 수 없는 카메라 리그(801)의 다른 측면들(또한 상이한 면들로 불리우는) 상에 존재한다. 모두가 아닌 몇몇 실시예들에서, 카메라 리그(801)는 최상부 플라스틱 몸체 또는 커버(805) 및 최하부 베이스 커버(842)에 의해 고정된 13대의 카메라들을 포함한다. 몇몇 실시예들에서, 이들 13대의 카메라들 중 8대는 짝을 이룬 카메라들(804, 806, 812 및 814)과 같은 입체 카메라들이지만 많은 다른 카메라들은 도면(800)에서 가시적인 카메라들(802 및 810) 및 도면(800)에서 완전히가 아닌 부분적으로 가시적인 카메라들(815 및 820)과 같은 라이트 필드 카메라들이다. 카메라들의 다양한 다른 조합들이 가능하다. 몇몇 실시예들에서, 카메라(825)는 또한 관심 환경의 최상부 반구체의 이미지들을 캡처하기 위해, 카메라 리그(801)의 최상부 부분, 예로서 카메라 리그(801)의 최상부 면(840) 상에 장착된다. 플라스틱 몸체/커버(805)는 카메라 리그(801)를 들어올리거나 또는 회전시키기 위해 사용될 수 있는 핸들들(811, 813, 817)을 포함한다.
몇몇 실시예들에서, 카메라 리그(801)는 하나의 라이트 필드 카메라(예로서, 카메라(802)) 및 카메라 리그(801)의 각각의 보다 긴 측면 상에 입체 카메라 쌍을 형성하는 두 대의 다른 카메라들(예로서, 카메라들(804, 806))을 포함한다. 몇몇 이러한 실시예들에서, 하나의 라이트 필드 카메라 및 하나의 입체 카메라 쌍, 예로서 우측으로의 다른 보다 긴 측면(830) 상에서 또 다른 라이트 필드 카메라(810) 및 입체 카메라 쌍(812, 814)이 도면(800)에 보여질 수 있는 동안 좌측으로의 하나의 보다 긴 측면(836) 상에서의 라이트 필드 카메라(802) 및 입체 카메라 쌍(804, 806)을 가진 각각의 보다 긴 측면을 갖는 4개의 이러한 보다 긴 측면들(또한 4개의 측면들(830, 832, 834 및 836)로서 불리우는)이 있다. 다른 두 개의 측면들이 도면(800)에서 완전하게 도시되지 않지만, 그것들은 도 8에서 보다 상세히 도시된다. 몇몇 실시예들에서, 카메라들 중 적어도 일부, 예로서 입체 카메라들 및 라이트 필드 카메라들은, 카메라 리그(801)에서, 어안 렌즈들을 사용한다. 다양한 실시예들에서, 카메라 리그(801)에서의 카메라들의 각각은 오브젝트에 의해 야기될 수 있는 물리적 충격 및/또는 손상에 대해 카메라 및/또는 렌즈를 보호하기 위해 대응하는 렌즈/카메라 가드에 의해 보호받는다. 예를 들면 카메라들(802, 804 및 806)은 각각 가드들(845, 847 및 849)에 의해 보호받는다. 유사하게, 카메라들(810, 812 및 814)은 각각 가드들(850, 852 및 854)에 의해 보호받는다.
4개의 측면들(830, 832, 834 및 836)의 각각 상에서의 입체 카메라 쌍 및 라이트 필드 카메라 외에, 몇몇 실시예들에서, 카메라 리그(801)는 카메라 리그(801)의 최상부 면(840) 상에서, 위쪽 수직 방향으로, 예로서 폐쇄 환경의 경우에 하늘 또는 또 다른 최상부 천장 표면으로 향하는 카메라(825)를 추가로 포함한다. 몇몇 이러한 실시예들에서, 카메라 리그(801)의 최상부 면 상에서의 카메라(825)는 라이트 필드 카메라이다. 도면(800)에 도시되지 않지만, 몇몇 다른 실시예들에서, 카메라 리그(801)의 최상부 면(840)은 또한, 카메라(825) 외에, 좌측 및 우측 눈 이미지들을 캡처하기 위해 또 다른 입체 카메라 쌍을 포함한다. 정상적인 상황들에서, 카메라(825)에 의해 캡처된, 360도 환경, 예로서 경기장, 극장, 콘서트 홀 등의 최상부 반구체(또한 하늘 부분으로 불리우는)는 몇몇 경우들에서 동작을 포함하고 및/또는 정적인 채로 있지 않을 수 있지만, 다른 환경 부분들이 리그(801) 상에서의 다른 카메라들에 의해 캡처되는 것과 동일한 레이트에서 하늘 부분을 캡처하는 것은 중요하거나 또는 바람직할 수 있다.
일 대표적인 카메라 어레이 배열이 카메라 리그(801)에 대하여 상기 도시되고 논의되지만, 몇몇 다른 구현들에서, 단지 카메라 리그(801)의 4개의 면들(830, 832, 834, 836) 상에서 입체 카메라들의 쌍(예로서, 카메라들(804, 806 및 812, 814))의 최상부 상에 배열된 단일 라이트 필드 카메라(예로서, 카메라들(802 및 810)과 같은) 대신에, 카메라 리그(801)는 입체 카메라 쌍과 함께 배열된 라이트 필드 카메라들의 어레이를 포함한다. 예를 들면, 몇몇 실시예들에서, 카메라 리그(801)의 보다 긴 측면들의 각각 상에서 입체 카메라 쌍의 최상부 상에 배열된 3개의 라이트 필드 카메라들이 있다. 또 다른 실시예에서, 예로서, 입체 카메라 쌍의 최상부 상에 배열된 3개의 라이트 필드 카메라들의 두 개의 로우들을 갖고, 카메라 리그(801)의 보다 긴 측면들의 각각 상에서 입체 카메라 쌍의 최상부 상에 배열된 6대의 라이트 필드 카메라들이 있다. 이러한 변화들 중 일부는 도 12 및 도 13에 관하여 논의된다. 게다가, 또 다른 변화에서, 도면(800)에서 도시된 유형의 카메라 리그는 또한 도 8에 도시된 바와 같이 수평 방향으로 향해진 카메라들을 갖는 4개의 면들(830, 832, 834, 836) 대신에, 수평 방향으로 향하는 카메라들을 갖는 카메라 리그의 3개의 면들이 있도록 구현될 수 있다.
몇몇 실시예들에서, 카메라 리그(801)는 그것이 수직 축 주위에서 회전될 수 있도록 지지 구조상에 장착될 수 있다. 다양한 실시예들에서, 카메라 리그(801)는 예로서, 경기장, 강당, 또는 캡처될 이벤트가 발생하는 또 다른 위치와 같은, 관심 환경에 배치될 수 있다. 몇몇 실시예들에서, 카메라 리그(801)의 라이트 필드 카메라들은 관심 환경, 예로서 관심 있는 360도 장면 영역의 이미지들을 캡처하고, 3D 환경을 시뮬레이션하고 입체 이미징 콘텐트를 디스플레이하는데 사용될 수 있는 깊이 맵들을 생성하기 위해 사용될 수 있다.
도 7은 보다 명료함 및 상세함을 위해 분해된 형태로 도시되는 카메라 리그(801)의 몇몇 요소들을 가진 대표적인 카메라 리그(801)를 도시한 도면(900)을 예시한다. 도면(800)에서 도시된 예시에서 가시적이지 않은 카메라 리그(801)의 다양한 부가적인 요소들이 도 7에 도시된다. 도 7에서, 동일한 참조 숫자들은 도 6에서 도시되고 식별된 카메라 리그(801)의 요소들을 식별하기 위해 사용되었다. 도면(900)에서, 카메라 리그(801)의 최상부 면(840) 및 최하부 면(842)뿐만 아니라 적어도 두 개의 측 면들(830 및 836)이 가시적이다.
도면(900)에서, 카메라 리그(801)의 4개의 측면들(830, 832, 834, 836) 중 두 개 상에서의 카메라들의 다양한 구성요소들이 도시된다. 렌즈 어셈블리들(902, 904 및 906)은 카메라 리그(801)의 측면(836)의 카메라들(802, 804 및 806)에 각각 대응한다. 렌즈 어셈블리들(910, 912 및 914)은 측면(830)의 각각 카메라들(810, 812 및 814)에 대응하는 반면 렌즈 어셈블리(925)는 카메라 리그(801)의 최상부 면 상에서의 카메라(825)에 대응한다. 또한 카메라 리그(801)의 최상부 및 최하부 커버 판들(805 및 842)을 지지하는 3개의 측면 지지 판(808, 808', 및 808")이 도시된다. 측면 지지 판들(808, 808', 및 808")은 도면에 도시된 나사들의 대응하는 쌍들을 통해 최상부 커버(805) 및 최하부 베이스 커버(842)에 고정된다. 예를 들면, 측면 지지 판(808)은 나사 쌍들(951 및 956)을 통해 최상부 및 최하부 커버 판들(805, 842)에 고정되고, 측면 지지 판(808')은 나사 쌍들(952 및 954)을 통해 최상부 및 최하부 커버 판들(805, 842)에 고정되고, 측면 지지 판(808")은 나사 쌍들(950 및 958)을 통해 최상부 및 최하부 커버 판들(805, 842)에 고정된다. 카메라 리그(801)는 몇몇 실시예들에서 복수의 나사들(960)을 통해 최하부 커버 판(842)에 고정된 베이스 지지대(960)를 포함한다. 몇몇 실시예들에서, 베이스 지지대(960)를 통해 카메라 리그는 그것이 수직 축, 예로서 베이스(960)의 중심을 거치는 축 주위에서 회전될 수 있도록 지지 구조상에 장착될 수 있다. 외부 지지 구조는 삼각대 또는 또 다른 플랫폼일 수 있다.
도 8은 보다 상세히 도시되는 카메라 리그(801)의 보다 많은 요소들을 갖고 대표적인 카메라 리그(801)의 상면도를 도시한 도면(1000)을 예시한다. 카메라 리그(801)의 상면도에서, 도면들(800 및 900)에서 완전히 가시적이지 않았던 다른 두 개의 측면들(832 및 834)이 보다 명확하게 도시된다. 렌즈 어셈블리들(915, 916 및 918)은 카메라 리그(801)의 측면(832) 상에서의 카메라(815) 및 입체 카메라 쌍에 대응한다. 렌즈 어셈블리들(920, 922 및 924)은 카메라 리그(801)의 측면(834) 상에서의 카메라(920) 및 입체 카메라 쌍에 대응한다.
도면(1000)에서 보여질 수 있는 바와 같이, 카메라 리그(801)의 4개의 측 면들(830, 832, 834, 836)(면들로 향하는 작은 화살표들) 및 최상부 면(840)의 각각 상에서의 카메라들의 어셈블리는 상이한 방향들로 향한다. 카메라 리그(801)의 측 면들(830, 832, 834, 836) 상에서의 카메라들은 수평으로 향해지는 반면(예로서, 대응하는 면에 수직인) 최상부 면(840) 상에서의 카메라(들)는 위쪽 수직 방향으로 향해진다. 예를 들면 도 8에 도시된 바와 같이, 카메라 리그(801)의 면(836) 상에서의 카메라들(렌즈 어셈블리들(902, 904, 906)에 대응하는 카메라들)은 화살표(1002)에 의해 도시된 제 1 방향으로 향한다. 화살표(1004)는 카메라 리그(801)의 면(830) 상에서의 카메라들(렌즈 어셈블리들(910, 912, 914)에 대응하는 카메라들)이 향하는 제 2 방향을 도시하고, 화살표(1006)는 카메라 리그(801)의 면(832) 상에서의 카메라들(렌즈 어셈블리들(915, 916, 918)에 대응하는 카메라들)이 향하는 제 3 방향을 도시하고, 화살표(1008)는 카메라 리그(801)의 면(834) 상에서의 카메라들(렌즈 어셈블리들(920, 922, 924)에 대응하는 카메라들)이 향하는 제 4 방향을 도시하고 화살표(1010)는 카메라 리그(801)의 최상부 면(840) 상에서의 카메라(렌즈 어셈블리(925))에 대응하는 카메라(825))가 향하는 제 5(수직) 방향을 도시한다. 다양한 실시예들에서, 제 1, 제 2, 제 3 및 제 4 방향들은 일반적으로 수평 방향들인 반면 제 5 방향은 수직 방향이다. 몇몇 실시예들에서, 상이한 측 면들(830, 832, 834 및 836) 상에서의 카메라들은 균일하게 이격된다. 몇몇 실시예들에서, 제 1, 제 2, 제 3 및 제 4 방향들 사이에서의 각도는 동일하다. 몇몇 실시예들에서, 제 1, 제 2, 제 3 및 제 4 방향들은 상이하고 90도 떨어져 있다. 몇몇 다른 실시예들에서, 카메라 리그는 4개의 측 면들 대신에, 카메라 리그가 도면들(800 내지 1000)에서 도시된 바와 동일한 또는 유사한 카메라 어셈블리들을 갖는 3 측 면들을 갖도록 구현된다. 이러한 실시예들에서, 카메라 리그(801)의 측 면들 상에서의 카메라들은 3개의 상이한 방향들, 예로서 제 1, 제 2 및 제 3 방향으로 향하고, 상기 제 1, 제 2 및 제 3 방향은 120도 떨어져 있다.
도 9는 몇몇 대표적인 실시예들에 따라 구현된 또 다른 대표적인 카메라 리그(1101)의 뷰를 도시한 도면(1100)을 예시한다. 대표적인 카메라 리그(1101)는 대부분 및 많은 양상들에서 카메라 리그(801)와 유사하고 상기 카메라 리그(801)에 대하여 논의된 바와 같이 카메라들의 동일한 또는 유사한 구성을 포함한다. 카메라 리그(1101)는 카메라 리그(801)와 유사한 4개의 측 면들(1130, 1132, 1134, 1136) 및 최상부 면(1140)을 포함한다. 카메라 리그(1101)의 4개의 측 면들(1130, 1132, 1134, 1136)의 각각은 라이트 필드 카메라 및 한 쌍의 입체 카메라 쌍을 포함한 카메라들의 어레이를 포함하는 반면 카메라 리그의 최상부 면(1140)은 카메라 리그(801)에 대하여 도시되고 논의된 것과 유사한 적어도 하나의 카메라 디바이스(1125)를 포함한다. 그러나, 카메라 리그(1101)는, 5개의 면들(1130, 1132, 1134, 1136 및 1140)의 각각 상에서의 카메라 어레이들 외에, 아래쪽으로 수직으로, 예로서 지면을 향하는 적어도 하나의 카메라(1126)를 포함한 제 6 최하부 면(1142)을 추가로 포함한다. 몇몇 이러한 실시예들에서, 아래쪽으로 수직으로 향하는 최하부 표면 카메라(1126) 및 위쪽으로 수직으로 향하는 최상부 면 카메라(1125)는 라이트 필드 카메라들이다. 몇몇 실시예들에서 카메라들(1125 및 1126)의 각각은 카메라 리그(1101)의 최상부 및 최하부 면들(1140, 1142) 상에서의 대응하는 입체 카메라 쌍의 부분이다.
카메라 리그들(801 및 1101)의 입체 카메라들이, 예로서, 이벤트 동안, 입체 이미징 콘텐트를 캡처하기 위해 사용되지만, 라이트 필드 카메라들의 사용은 관심 장면 영역을 스캔하는 것을 허용하고 라이트 필드 카메라들에 의해(예로서, 관심 장면의 이들 부분들에 대응하는 캡처된 이미지들로부터) 캡처된 장면 영역의 다양한 부분들의 깊이 맵들을 생성한다. 몇몇 실시예들에서, 장면 영역의 다양한 부분들의 깊이 맵들은 장면 영역의 합성 깊이 맵을 생성하기 위해 조합될 수 있다. 이러한 깊이 맵들 및/또는 합성 깊이 맵은, 몇몇 실시예들에서, 입체 이미징 콘텐트를 디스플레이하고 뷰어들에 의해 경험될 수 있는 3D 환경을 시뮬레이션하는데 사용하기 위해 재생 디바이스로 제공될 수 있다.
도 10은 몇몇 실시예들에 따른 카메라 리그(300), 카메라 리그(400) 및/또는 카메라 리그들(801 및 1101)과 같은 본 발명에 따라 구현된 대표적인 카메라 리그에서 사용될 수 있는 카메라들의 어레이의 대표적인 배열(1200)의 정면도를 예시한다. 카메라 리그(801)의 면들의 각각 상에서 한 쌍의 입체 카메라들의 최상부 상에 배열된 단일의 라이트 필드 카메라를 갖는 도면(800)에 도시된 배열에 비교하여, 대표적인 배열(1200)은 입체 카메라 쌍(1208, 1210)과 함께 배열된 라이트 필드 카메라들(1202, 1204 및 1206)의 어레이를 사용한다. 대표적인 배열(1200)은, 몇몇 실시예들에서, 본 발명에 따라 구현된 카메라 리그(카메라 리그(801)와 같은)에서 사용될 수 있다. 이러한 실시예들에서, 카메라 리그의 각각의 면은 단일 쌍의 입체 카메라들(예로서, 1208, 1210)과 함께 배열된 3개의 라이트 필드 카메라들(예로서, 1202, 1204 및 1206)을 갖는 대표적인 배열(1200)을 사용한다. 배열에서의 많은 변화들이 가능하고 본 발명의 범위 내에 있다는 것이 이해되어야 한다.
도 11은 몇몇 실시예들에 따른, 카메라 리그(801) 또는 이전에 논의된 다른 카메라 리그들 중 임의의 것과 같은 대표적인 카메라 리그에서 사용될 수 있는 카메라들의 어레이의 또 다른 대표적인 배열(1300)의 정면도를 예시한다. 한 쌍의 입체 카메라들의 최상부 상에 배열된 단일의 라이트 필드 카메라를 갖고 도면(800)에 도시된 배열에 비교하여, 대표적인 배열(1300)은 입체 카메라 쌍(1320, 1322)을 갖고 배열된 6개의 라이트 필드 카메라들(1302, 1304, 1306, 1308, 1310 및 1312)의 어레이를 사용한다. 라이트 필드 카메라들은 도시된 바와 같이 3개의 라이트 필드 카메라들의 그룹을 포함한 각각의 로우를 갖고 하나가 다른 것의 최상부 상에 배열된 3개의 라이트 필드 카메라들의 두 개의 로우들로 적층된다. 대표적인 배열(1300)은, 몇몇 실시예들에서, 배열(1300)을 사용하여 카메라 리그의 각각의 면을 갖고 본 발명에 따라 구현된 카메라 리그(카메라 리그(801)와 같은)에서 사용될 수 있다.
상기 논의된 카메라 리그들의 입체 카메라들이 예로서, 이벤트 동안, 입체 이미징 콘텐트를 캡처하기 위해 사용되지만, 라이트 필드 카메라들의 사용은 관심 장면 영역을 스캐닝하는 것을 허용하고 라이트 필드 카메라들에 의해(관심 장면의 이들 부분들에 대응하는 캡처된 이미지들로부터) 캡처된 장면 영역의 다양한 부분들의 깊이 맵들을 생성한다. 몇몇 실시예들에서, 장면 영역의 다양한 부분들의 깊이 맵들은 장면 영역의 합성 깊이 맵을 생성하기 위해 조합될 수 있다. 이러한 깊이 맵들 및/또는 합성 깊이 맵은, 몇몇 실시예들에서, 입체 이미징 콘텐트를 디스플레이하고 뷰어들에 의해 경험될 수 있는 3D 환경을 시뮬레이션하는데 사용하기 위해 재생 디바이스로 제공될 수 있다.
입체 카메라들과 조합한 라이트 필드 카메라의 사용은, 예로서 숏(shot)하는 이벤트 동안, 환경 측정들 및 실시간으로 환경 깊이 맵들의 생성을 허용하고, 그에 따라 이벤트, 예로서 축구 경기의 시작 이전에 시간적으로 미리 오프라인으로 수행될 환경 측정들의 배치에 대한 요구를 제거한다.
각각의 이미지로부터 생성된 깊이 맵이 매핑될 환경의 일 부분에 대응하지만, 몇몇 실시예들에서 개개의 이미지들로부터 생성된 깊이 맵들은, 라이트 필드 카메라들을 사용하여 스캔된 완전한 환경의 합성 맵을 형성하기 위해 프로세싱되고, 예로서 함께 스티칭된다. 따라서, 라이트 필드 카메라들을 사용함으로써, 비교적 완전한 환경 맵이, 몇몇 실시예들에서, 생성될 수 있다.
라이트 필드 카메라들의 경우에, 마이크로-렌즈들의 어레이는 그것이 획득 후 이미지들에 다시 초점을 맞출 수 있는 충분한 정보를 캡처한다. 이미지 캡처 후, 주요 렌즈들의 서브-애퍼처들 내에서 하나의 시점을 시프트하여, 다수의 뷰들을 효과적으로 획득하는 것이 또한 가능하다. 라이트 필드 카메라의 경우에, 디포커스 및 관련성 양쪽 모두로부터의 깊이 단서들은 단일 캡처에서 동시에 이용 가능하다. 이것은 입체 카메라들에 의해 캡처되지 않은 장면 부분들/폐색 정보를 채우려고 시도할 때 유용할 수 있다.
라이트 필드 카메라 출력들로부터 생성된 깊이 맵들은 현재일 것이고 특정한 이벤트, 예로서 입체 카메라에 의해 캡처될 콘서트 또는 게임을 위해 경기장 또는 관심 있는 다른 환경에서의 변화들을 정확하게 측정할 가능성이 있다. 또한, 동일한 위치 또는 입체 카메라가 장착되는 위치 근처로부터 환경을 측정함으로써, 환경 맵은, 적어도 몇몇 실시예들에서, 이벤트를 캡처하기 위해 사용되는 입체 카메라들의 관점으로부터 지각될 가능성이 있으므로 환경을 정확하게 반영한다.
몇몇 실시예들에서, 라이트 필드 카메라들에 의해 캡처된 이미지들은, 예로서, 입체 카메라 쌍의 위치 및/또는 시야가 라이트 필드 카메라의 것과 약간 상이할 수 있기 때문에 및/또는 입체 카메라들로부터의 뷰의 장애물 때문에, 입체 카메라 쌍에 의해 캡처되지 않은 환경의 부분들에 대해 채우기 위해 프로세싱되고 사용될 수 있다. 예를 들면, 라이트 필드 카메라가 입체 쌍의 위치에 대하여 뒤쪽으로 향할 때, 그것은 전방 입체 카메라 쌍에 가시적이지 않은 후방 뷰를 캡처할 수 있다. 몇몇 실시예들에서, 라이트 필드 카메라의 출력은 입체 카메라 쌍들에 의해 캡처된 이미지 데이터와 함께 또는 별개로 재생 디바이스로 제공된다. 재생 디바이스는 입체 카메라 쌍들에 의해 충분히 캡처되지 않은 장면 영역의 디스플레이가 디스플레이될 때 라이트 필드 카메라에 의해 캡처된 이미지들의 모두 또는 부분들을 사용할 수 있다. 또한 라이트 필드 카메라에 의해 캡처된 이미지의 일 부분은 입체 카메라 쌍의 위치로부터의 뷰로부터 가려졌지만 사용자가, 그 또는 그녀가 입체 카메라 쌍의 위치에 대응하는 디폴트 뷰잉 위치에 대해 좌측 또는 우측으로 그 또는 그녀의 머리를 시프트할 때 볼 수 있을 것으로 예상하는 입체 이미지의 일 부분을 채우기 위해 사용될 수 있다. 예를 들면, 사용자가 그/그녀의 뷰를 막는 컬럼 주위를 응시하려는 시도로 좌측 또는 우측으로 기울어진다면, 몇몇 실시예들에서 라이트 필드 카메라에 의해 캡처된 하나 이상의 이미지들로부터의 콘텐트는 입체 카메라 쌍에 가시적이지 않지만 좌측 또는 우측으로 기울어짐으로써 재생 동안 사용자가 달성하는 시프트된 머리 부분으로부터 사용자에게 가시적인 것으로 예상되는 이미지 콘텐트를 제공하기 위해 사용될 것이다.
도 1 내지 도 9에 예시된 다양한 대표적인 카메라 리그들은 다양한 상이한 카메라들, 예로서 일반 카메라들, 입체 카메라 쌍들, 라이트 필드 카메라들 등을 구비할 수 있다. 대표적인 카메라 리그들은 다양한 실시예들에서, 본 발명의 특징들에 따른 다양한 애플리케이션들을 지원하기 위해, 예로서, 구비된 카메라들을 사용하여, 환경 정보, 예로서 측정치들 및 이미지들을 캡처하기 위해 사용된다.
도 12는 본 발명의 몇몇 실시예들에 따라 구현된 대표적인 시스템(1400)을 예시한다. 시스템(1400)은 고객 댁내에 위치된, 하나 이상의 고객 디바이스들, 예로서 재생 디바이스들/콘텐트 플레이어들로의, 이미지 캡처, 프로세싱 및 전달, 예로서 이미징 콘텐트, 환경 모델 및/또는 텍스처 맵 전달을 포함한 환경 정보 측정 및 캡처를 지원한다. 시스템(1400)은 대표적인 이미징 장치(1404), 입체 이미징 시스템(1406), 프로세싱 시스템(1408), 통신 네트워크(1450), 및 복수의 고객 댁내들(1410, ..., 1412)을 포함한다. 이미징 장치(1404)는 하나 이상의 라이트 필드 카메라들을 포함하지만 입체 이미징 시스템(1406)은 하나 이상의 입체 카메라들을 포함한다. 몇몇 실시예들에서, 이미징 장치(1404) 및 입체 이미징 시스템(1406)은 도 1 내지 도 9에 관하여 이전에 논의된 카메라 리그들 중 임의의 것일 수 있는 대표적인 카메라 리그(1402)에 포함된다. 카메라 리그(1402)는 라이트 필드 카메라 장치 및 입체 이미징 시스템(1406) 외에 부가적인 이미징 및/또는 환경 측정 디바이스들을 포함할 수 있다. 이미징 장치(1402)는 본 발명의 특징들에 따라 이미징 콘텐트를 캡처하고 프로세싱한다. 통신 네트워크(1450)는 예로서, 하이브리드 파이버-동축(HFC) 네트워크, 위성 네트워크, 및/또는 인터넷일 수 있다.
프로세싱 시스템(1408)은 본 발명에 따라, 입체 이미징 시스템(1406)에 포함된 하나 이상의 입체 카메라들 및 하나 이상의 라이트 필드 카메라들(1404)로부터 수신된 이미징 데이터를 프로세싱하도록 구성된다. 프로세싱 시스템(1408)에 의해 수행된 프로세싱은 본 발명의 몇몇 특징들에 따라 관심 환경의 깊이 맵을 생성하는 것, 3D 메시 모델들 및 UV 맵들을 생성하는 것 및 그것들을 하나 이상의 재생 디바이스들로 전달하는 것을 포함한다. 프로세싱 시스템(1408)에 의해 수행된 프로세싱은 입체 이미징 시스템(1406)으로부터 수신된 입체 이미지 데이터를 프로세싱하고 인코딩하는 것 및 입체 카메라들로부터 생성된 입체 콘텐트의 렌더링/재생 시 사용을 위해 그것을 하나 이상의 재생 디바이스들로 전달하는 것을 추가로 포함한다.
몇몇 실시예들에서, 프로세싱 시스템(1408)은 서버를 포함할 수 있고 상기 서버는 콘텐트, 예로서 관심 환경에 대응하는 깊이 맵 및/또는 3D 메시 모델 및/또는 이미징 콘텐트에 대한 요청들에 응답한다. 재생 디바이스들은, 몇몇 실시예들에서, 3D 환경을 시뮬레이션하고 3D 이미지 콘텐트를 렌더링하기 위해 이러한 정보를 사용할 수 있다. 모두가 아닌 몇몇 실시예들에서, 이미지 데이터, 예로서 관심 환경에 대응하는 깊이 맵 및/또는 이미징 장치(104)의 라이트 필드 카메라 디바이스에 의해 캡처된 이미지들로부터 생성된 이미징 콘텐트는, 통신 네트워크(1450)를 통해 이미징 장치(1404)로부터 고객 재생 디바이스들로 직접 전달된다.
프로세싱 시스템(1408)은 예로서, 통신 네트워크(1450)를 통해, 하나 이상의 고객 디바이스들로 이미징 데이터 및/또는 정보를 스트리밍, 예로서 송신하도록 구성된다. 네트워크(1450)를 통해, 프로세싱 시스템(1408)은 통신 네트워크(1450)를 가로지르는 링크(1409)에 의해 도면에 나타내어진 바와 같이 고객 댁내들(1410, 1412)에 위치된 디바이스들과 정보를 전송하고 및/또는 교환할 수 있다. 이미징 데이터 및/또는 정보는 하나 이상의 재생 디바이스들로의 전달 이전에 인코딩될 수 있다.
각각의 고객 댁내(1410, 1212)는 복수의 디바이스들/플레이어들을 포함할 수 있고, 이것은, 예로서, 시스템(100)에 배치된 입체 카메라들(1406) 및/또는 다른 카메라들에 의해 캡처된, 이미징 콘텐트를 디코딩하고 재생/디스플레이하기 위해 사용된다. 이미징 콘텐트는 일반적으로 프로세싱 시스템(1408)에 의해 프로세싱되고 디바이스들로 전달된다. 고객 댁내 1(1410)은 디스플레이 디바이스(1420)에 결합된 디코딩 장치/재생 디바이스(1422)를 포함하지만 고객 댁내 N(1412)은 디스플레이 디바이스(1424)에 결합된 디코딩 장치/재생 디바이스(1426)를 포함한다. 몇몇 실시예들에서, 디스플레이 디바이스들(1420, 1424)은 헤드 장착 입체 디스플레이 디바이스들이다. 몇몇 실시예들에서, 재생 디바이스들(1422, 1426)은 관심 환경의 깊이 맵 및/또는 입체 카메라들에 의해 캡처된 입체 콘텐트로부터 생성된 입체 이미징 콘텐트를 디스플레이할 때 프로세싱 시스템(1408)으로부터 수신된 3D 메시 모델 및 UV 맵을 수신하고 사용한다.
다양한 실시예들에서, 재생 디바이스들(1422, 1426)은 대응하는 디스플레이 디바이스들(1420, 1424) 상에서 이미징 콘텐트를 보여준다. 재생 디바이스들(1422, 1426)은 입체 카메라에 의해 캡처된 입체 이미징 콘텐트를 디코딩하고, 디코딩된 콘텐트를 사용하여 이미징 콘텐트를 생성하고 이미징 콘텐트, 예로서 3D 이미지 콘텐트를, 디스플레이 디바이스들(1420, 1424) 상에서 렌더링하는 것이 가능한 디바이스들일 수 있다. 다양한 실시예들에서, 재생 디바이스들(1422, 1426)은 프로세싱 시스템(1408)으로부터 이미지 데이터 및 깊이 맵들 및/또는 3D 메시 모델들을 수신하고 3D 이미지 콘텐트를 디스플레이하기 위해 그것들을 사용한다.
도 13a 및 도 13b의 조합을 포함하는, 도 13은 몇몇 실시예들에 따라 이미징 시스템을 동작시키는 대표적인 방법의 흐름도(1500)를 예시한다. 흐름도(1500)의 방법은 몇몇 실시예들에서, 이미지 캡처링 디바이스들 및 프로세싱 시스템을 포함한 이미징 시스템을 사용하여 구현된다. 시스템에서, 이미지 캡처링 디바이스들, 예로서 라이트 필드 카메라들 및/또는 입체 카메라들은 도면들에서 도시되고 상기에서 상세히 논의된 다양한 카메라 리그들에 포함되고 및/또는 그것 상에 장착될 수 있다.
방법은, 예로서 이미징 시스템이 파워 온되고 초기화되는, 단계(1502)에서 시작한다. 방법은 시작 단계(1502)로부터 이미징 시스템의 상이한 요소들, 예로서 하나 이상의 카메라들 및 프로세싱 시스템에 의해 병렬로 수행될 수 있는 단계들(1504, 1506, 1508)로 진행한다.
단계(1506)에서, 프로세싱 시스템은 예로서, 시스템상에서 그것을 다운로드하고 및/또는 그것을 프로세싱 시스템, 환경 깊이 맵을 포함한 저장 매체로 업로딩함으로써, 관심 환경에 대응하는 정적 환경 깊이 맵을 획득한다. 관심 환경은, 예로서, 관심 이벤트가 발생하는 경기장, 강당, 필드 등일 수 있다. 다양한 실시예들에서, 이벤트는 입체 카메라들 및 라이트 필드 카메라들을 포함한 하나 이상의 카메라 디바이스들에 의해 캡처되고, 예로서 기록된다. 정적 환경 깊이 맵은 이전에, 예로서 이벤트 이전에 이루어졌고 따라서 정적으로 불리우는 관심 환경의 환경 측정들을 포함한다. 다양한 유명한 관심 환경들, 예로서 이벤트가 발생하는 알려진 경기장들, 강당들 등에 대한 정적 환경 깊이 맵들은 쉽게 이용 가능하지만 그러나 이러한 환경 깊이 맵들은 이벤트 동안 발생할 수 있는 환경에 대한 동작 변화들 및/또는 환경 측정들이 이루어진 시간 이래 발생할 수 있는 다른 변화들을 고려하지 않는다. 관심 환경의 정적 깊이 맵은 다양한 측정 기술들을 사용하여, 예로서 LIDAR 및/또는 다른 방법들을 사용하여 생성될 수 있다. 동작은 단계(1504)로부터 단계(1510)로 진행한다. 다양한 실시예들에서 프로세싱 시스템들은 이용 가능할 때 정적 깊이 맵을 획득하지만, 정적 깊이 맵이 이용 가능하지 않은 경우에, 동작은 다음 단계(1510)로 진행한다.
단계(1510)에서, 정적 깊이 맵이 예로서, 프로세싱 시스템에 대해 이용 가능한지 확인된다. 정적 깊이 맵이 이용 가능하면, 동작은 단계(1510)로부터 단계(1512)로 진행하고, 그렇지 않다면 동작은 단계(1518)로 진행한다. 단계(1512)에서, 프로세싱 시스템은 현재 깊이 맵(예로서, 사용될 베이스 환경 깊이 맵)을 정적 깊이 맵이도록 설정한다. 몇몇 실시예들에서, 시스템이 초기화되고 다른 소스들로부터의 깊이 맵들이 이용 가능하지 않을 때, 프로세싱 시스템은 처음에 현재 깊이 맵을 정적 깊이 맵이도록 설정한다. 동작은 단계(1512)로부터 단계(1518)로 진행한다.
단계(1506)에 대응하는 경로를 따르는 단계들을 참조하자. 단계(1506)에서, 관심 환경의 부분들의 입체 이미지 쌍들, 예로서 좌측 및 우측 눈 이미지들은 하나 이상의 입체 카메라 쌍(들)을 사용하여 캡처된다. 몇몇 실시예들에서, 이미지들을 캡처한 입체 카메라 쌍(들)은 상기 논의된 다양한 실시예들에 따라 구현된 카메라 리그들 상에 장착된다. 동작은 단계(1506)로부터 단계(1514)로 진행한다. 단계(1514)에서, 캡처된 입체 이미지 쌍들은 프로세싱 시스템에서 수신된다. 동작은 단계(1514)로부터 단계(1516)로 진행한다. 단계(1516)에서, 환경 깊이 맵(예로서, 관심 환경의 합성 깊이 맵)은 하나 이상의 입체 이미지 쌍들로부터 생성된다. 동작은 단계(1516)로부터 단계(1518)로 진행한다.
단계(1518)로 가자. 단계(1518)에서, 프로세싱 시스템은 하나 이상의 입체 이미지 쌍들로부터 생성된 환경 깊이 맵이 이용 가능한지를 결정한다(예를 들면, 몇몇 경우들에서 입체 카메라 쌍(들)이 입체 이미지들을 캡처하는 것을 시작하지 않았고 및/또는 환경 깊이 맵이 아직 생성되지 않았을 때, 입체 이미지들에 기초한 환경 깊이 맵은 프로세싱 시스템에 대해 이용 가능하지 않을 수 있다). 단계(1518)에서, 하나 이상의 입체 이미지 쌍들로부터 생성된 환경 깊이 맵이 이용 가능하지 않다고 결정되면, 동작은 단계(1518)로부터 단계(1520)로 진행하고 그렇지 않다면 동작은 단계(1530)로 진행한다.
단계(1520)에서, 현재 깊이 맵이 이미 설정되었는지가 결정된다. 현재 깊이 맵이 설정되지 않았다고 결정되면, 동작은 프로세싱 시스템이 현재 깊이 맵을 하나 이상의 입체 이미지 쌍들로부터 생성된 환경 깊이 맵이도록 설정하는 단계(1522)로 진행한다. 동작은 단계(1522)로부터 단계(1530)로 진행한다. 단계(1520)에서 현재 깊이 맵이 이미 설정되었다고 결정되면(예로서, 예를 들면, 정적 깊이 맵이 현재 깊이 맵으로서 설정되었다), 동작은 프로세싱 시스템이 현재 깊이 맵과 하나 이상의 입체 이미지 쌍들로부터 생성된 환경 깊이 맵을 조화시키는 단계(1524)로 진행한다. 조화 동작이 완료된 후, 조화된 환경 깊이 맵은 현재 깊이 맵으로서 설정된다. 다양한 실시예들에서, 조화된 깊이 맵은 조화를 위해 사용된 두 개의 개개의 깊이 맵들 중 하나에 비교하여 보다 강화된 깊이 정보를 갖는다. 동작은 단계(1524)로부터 단계(1530)로 진행한다.
단계(1508)에 대응하는 경로를 따라 단계들을 참조하자. 단계(1508)에서, 관심 환경의 부분들의 이미지들은 하나 이상의 라이트 필드 카메라들을 사용하여 캡처된다. 몇몇 실시예들에서, 이미지들을 캡처하는 하나 이상의 라이트 필드 카메라들은 상기 논의된 다양한 실시예들에 따라 구현된 카메라 리그들 상에 장착된다. 동작은 단계(1508)로부터 단계(1526)로 진행한다. 단계(1526)에서, 라이트 필드 카메라들에 의해 캡처된 이미지들은 선택적으로 관심 환경의 부분들의 깊이 맵들과 함께 프로세싱 시스템에서 수신된다. 따라서, 몇몇 실시예들에서, 하나 이상의 라이트 필드 카메라들은 캡처된 이미지들로부터 환경의 부분들의 깊이 맵들을 생성하고 그것들을 프로세싱 시스템으로 제공한다. 몇몇 다른 실시예들에서, 라이트 필드 카메라들에 의해 캡처된 이미지들이 제공되고 프로세싱 시스템은 관심 환경의 부분들의 깊이 맵들을 생성한다. 동작은 단계(1526)로부터 단계(1528)로 진행한다. 단계(1528)에서, 환경 깊이 맵(예로서, 관심 환경의 합성 깊이 맵)은 라이트 필드 카메라들에 의해 캡처된 하나 이상의 수신된 이미지들로부터 및/또는 관심 환경의 부분들의 깊이 맵들로부터 생성된다. 동작은 단계(1528)로부터 단계(1530)로 진행한다.
단계(1530)로 가자. 단계(1530)에서, 프로세싱 시스템은 라이트 필드 카메라들에 의해 캡처된 이미지로부터 또는 관심 환경의 하나 이상의 부분들의 깊이 맵들로부터 생성된 환경 깊이 맵이 프로세싱 시스템에 대해 이용 가능한지를 결정한다. 단계(1530)에서 환경 깊이 맵이 이용 가능하다고 결정되면, 동작은 단계(1530)로부터 단계(1532)로 진행하고, 그렇지 않다면 동작은 연결 노드 B(1540)를 통해 단계(1542)로 진행한다.
단계(1532)에서, 현재 깊이 맵이 이미 설정되었는지가 결정된다. 현재 깊이 맵이 설정되지 않았다고 결정되면, 동작은 단계(1532)로부터 프로세싱 시스템이 현재 깊이 맵을 라이트 필드 카메라들에 의해 캡처된 하나 이상의 수신된 이미지들로부터 및/또는 관심 환경의 부분들의 깊이 맵들로부터 생성된 환경 깊이 맵이도록 설정하는 단계(1534)로 진행한다. 동작은 연결 노드 A(1538)를 통해 단계(1534)로부터 단계(1546)로 진행한다. 단계(1532)에서, 현재 깊이 맵이 이미 설정되었다고 결정되면(예로서, 예를 들면, 입체 이미지들로부터 생성된 정적 깊이 및/또는 환경 깊이 맵 및/또는 조화된 깊이 맵이 현재 깊이 맵으로 설정되었다), 동작은 프로세싱 시스템이 현재 깊이 맵과 라이트 필드 카메라들에 의해 캡처된 하나 이상의 수신된 이미지들로부터 단계(1528)에서 생성된 환경 깊이 맵을 조화시키는 단계(1536)로 진행한다. 조화 동작이 완료된 후, 조화된 환경 깊이 맵은 현재 깊이 맵으로서 설정된다. 동작은 연결 노드 A(1538)를 통해 단계(1536)로부터 단계(1546)로 진행한다.
단계(1530)에서, 환경 깊이 맵이 이용 가능하지 않다고 결정되면, 동작은 연결 노드 B(1540)를 통해 단계(1530)로부터 단계(1542)로 진행한다. 단계(1542)에서, 현재 깊이 맵이 이미 설정되었는지가 결정된다. 현재 깊이 맵이 설정되지 않았다고 결정되면, 동작은 단계(1542)로부터 프로세싱 시스템이 어떤 다른 환경 깊이 맵도 프로세싱 시스템에 대해 이용 가능하지 않으므로 구형에 대응하는 디폴트 깊이 맵으로 현재 깊이 맵을 설정하는 단계(1544)로 진행한다. 동작은 단계(1544)로부터 단계(1546)로 진행한다.
단계(1542)에서, 현재 깊이 맵이 이미 설정되었는지가 결정된다면(예로서, 생성된/조화된 환경 깊이 맵들 또는 정적 깊이 맵 또는 디폴트 구형 환경 깊이 중 하나로 설정한다), 동작은 단계(1542)로부터 단계(1546)로 진행한다.
단계(1546)로 돌아가자. 단계(1546)에서, 프로세싱 시스템은 현재 깊이 맵을 출력한다. 현재 환경 깊이 맵은, 다양한 실시예들에서, 예로서, 3D 이미징 콘텐트를 디스플레이하는데 사용하기 위해, 하나 이상의 고객 렌더링 및 재생 디바이스들로 제공될 수 있다. 환경 깊이 맵은, 사물들이 관심 환경에 영향을 줄 수 있는 이벤트 동안 동적으로 변하고 그에 따라 그것을 현재에 유지하기 위해 환경 깊이 맵을 업데이트하는 것은 시스템이 뷰어들에게 실생활 3D 경험을 제공하기 위해 사용될 수 있는 정보 및 이미징 콘텐트를 제공한다면 유용하므로, 이벤트, 예로서 게임 및/또는 다른 수행 동안 다수 회 생성될 수 있다. 흐름도(1500)에 대하여 논의된 방법은 다수의 소스들, 예로서 정적 깊이 맵들, 즉 하나 이상의 입체 카메라 쌍들에 의해 캡처된 이미지들을 사용하여 생성된 깊이 맵들 및/또는 하나 이상의 라이트 필드 카메라들에 의해 캡처된 이미지들을 사용하여 생성된 깊이 맵들로부터의 깊이 정보에 기초하여 강화되고 개선된 환경 깊이 맵을 생성하는 것을 허용한다는 것이 이해되어야 한다.
도 14a 및 도 14b는 조합하여, 도 13a 및 도 13b에 도시된 방법과 함께 사용하기에 적절한 대표적인 실시예에 따라 3D 메시 모델들 및 UV 맵들을 생성하고 업데이트하는 방법을 예시한다.
도 15c 및 도 15d는 조합하여, 도 15a 및 도 15b에 도시된 방법과 함께 사용하기에 적절한 대표적인 실시예에 따라 3D 메시 모델들 및 UV 맵들을 생성하고 업데이트하는 방법의 흐름도(1550)를 예시한다. 몇몇 실시예들의 일 양상에 따르면, 3D 메시 모델 및 UV 맵의 생성, 송신 및 업데이트는 하나 이상의 깊이 측정 소스들, 예로서 라이트 필드 카메라 출력들 및/또는 입체 카메라 쌍 출력으로부터 획득된 환경 깊이 정보에 대한 중요한 변화들의 검출에 의해 트리거될 수 있다. 몇몇 실시예들에서, 흐름도(1550)의 방법의 다양한 단계들은 시스템(1400)의 프로세싱 시스템(1408)에 의해 수행된다. 방법은 단계(1552)에서 시작하고 단계(1554)로 진행한다. 단계(1554)에서, 현재 환경 깊이 맵, 예로서 제 1 환경 깊이 맵이 수신된다(예로서, 하나 이상의 깊이 측정 소스들로부터의 입력을 사용하여 프로세싱 시스템에 의해 생성된 환경 깊이 맵들로부터 선택된).
동작은 단계(1554)로부터 단계(1556)로 진행한다. 단계(1556)에서, 제 1 3D 메시 모델은 현재 환경 깊이 맵으로부터 생성된다. 동작은 단계(1556)로부터 단계(1558)로 진행한다. 단계(1558)에서, 제 1 3D 메시 모델로 프레임들(예로서, 이미지들의 프레임들)을 랩핑하기 위해 사용될 제 1 UV 맵이 생성된다. 동작은 단계(1558)로부터 제 1 3D 메시 모델 및 제 1 UV 맵이 재생 디바이스로 전달, 예로서 송신되는 단계(1560)로 진행한다.
동작은 단계(1560)로부터 단계(1562)로 진행한다. 단계(1562)에서, 프로세싱 시스템은, 현재 3D 메시 모델을 제 1 3D 메시 모델로 및 현재 UV 맵을 제 1 UV 맵으로 설정함으로써, 현재 3D 메시 모델 및 UV 맵을 각각 제 1 3D 메시 모델 및 제 1 UV 맵으로 초기화한다. 동작은 단계(1562)로부터 단계(1564)로 진행한다. 단계(1564)에서, 프로세싱 시스템은 현재 환경 깊이 맵, 예로서 새로운 환경 깊이 맵을 수신한다.
동작은 단계(1564)로부터 현재 환경 깊이 맵이 현재 3D 메시 모델을 생성하기 위해 사용된 환경 깊이 맵으로부터의 중요한 환경 변화를 반영하는지가 결정되는 단계(1566)로 진행한다. 몇몇 실시예들에서, 깊이 정보를 프로세싱하는 시스템은 깊이 정보에서의 중요한 변화, 예로서 미리 결정된 양을 초과한 깊이 정보에서의 변화를 검출하기 위해 깊이 정보를 모니터링한다. 몇몇 실시예들에서, 이러한 중요한 변화의 검출은 현재 메시 모델 및/또는 UV 맵의 업데이트를 트리거한다. 따라서 단계(1566)에서, 중요한 환경 변화가 현재 환경 깊이 맵 및 현재 3D 메시 모델을 생성하기 위해 사용된 환경 깊이 맵 사이에서 검출되었다고 결정되면, 동작은 단계(1568)로 진행하고 그렇지 않다면 동작은 다시 단계(1564)로 진행한다.
중요한 환경 변화가 검출되었다는 결정에 이어서, 단계(1568)에서, 프로세싱 시스템은 새로운 현재 환경 깊이 맵으로부터 업데이트된 3D 메시 모델을 생성한다. 동작은 단계(1568)로부터 단계(1570)로 진행한다. 단계(1570)에서, 프레임들을 업데이트된 3D 메시 모델로 랩핑하기 위해 사용될 업데이트된 UV 맵이 생성된다.
동작은 연결 노드 M(1572)을 통해 단계(1570)로부터 단계(1574)로 진행한다. 단계(1574)에서, 3D 메시 모델 차이 정보가 생성된다. 다양한 실시예들에서, 3D 메시 모델 차이 정보는 새로운 업데이트된 3D 메시 모델 및 현재 사용된 3D 메시 모델, 예로서 제 1 3D 메시 모델 사이에서의 차이를 반영한 정보를 포함한다. 몇몇 경우들에서, 차이 정보를 재생 디바이스로 전달하는 것은 전체 업데이트된 3D 메시 모델을 전달하는 것보다 더 효율적이다. 이러한 경우들에서, 수신된 차이 정보를 사용함으로써, 재생 디바이스는, 다양한 실시예들에서, 업데이트된 메시 모델을 생성하기 위해 그것의 현재 3D 메시 모델을 업데이트할 수 있다. 3D 메시 모델 차이 정보가 몇몇 실시예들에서 생성되지만, 예로서 전체 업데이트된 메시 모델보다는 차이 정보를 전송하는 것이 더 편리하고 및/또는 효율적이라고 결정되는 경우에, 단계(1574)는 선택적이고 반드시 모든 실시예들에서 수행되는 것은 아니다. 동작은 단계(1574)로부터 단계(1576)로 진행한다. 또한 선택적인, 단계(1576)에서, UV 맵 차이 정보가 생성되고, 여기에서 UV 맵 차이 정보는 새롭게 업데이트된 UV 맵 및 현재 사용된 UV 맵, 예로서 제 1 UV 맵 사이에서의 차이를 반영한다.
동작은 단계(1576)로부터 단계(1578)로 진행한다. 단계(1578)에서, 프로세싱 시스템은 업데이트된 3D 메시 모델 정보, 예로서 생성된 업데이트된 3D 메시 모델 또는 메시 모델 차이 정보를, 재생 디바이스로 전달한다. 동작은 단계(1578)로부터 단계(1580)로 진행한다. 단계(1580)에서, 프로세싱 시스템은 업데이트된 UV 맵 정보, 예로서 생성된 업데이트된 UV 맵 또는 UV 맵 차이 정보를, 재생 디바이스로 전달한다.
동작은 단계(1580)로부터 단계(1582)로 진행한다. 단계(1582)에서, 프로세싱 시스템은 현재 3D 메시 모델을 업데이트된 3D 메시 모델이도록 설정한다. 동작은 단계(1582)로부터 단계(1584)로 진행한다. 단계(1584)에서, 프로세싱 시스템은 현재 UV 맵을 업데이트된 UV 맵이도록 설정한다. 업데이트된 메시 모델 및 UV 맵은 새로운 메시 모델 및/또는 UV 맵을 상이한 시간에 취해진 깊이 측정에 기초한 보다 오래된 메시 모델들 및/또는 맵들보다 더 정확하게 하는 현재 깊이 측정들에 기초한다는 것이 이해되어야 한다. 동작은 연결 노드 N(1585)를 통해 단계(1584)로부터 다시 단계(1564)로 진행하고 프로세스는 상기 논의된 바와 같은 방식으로 계속된다.
도 15는 상기 논의되고 앞선 도면들에서 도시된 카메라 리그들 중 임의의 것에서 사용될 수 있는 본 발명의 일 대표적인 실시예에 따라 구현된 대표적인 라이트 필드 카메라(1600)를 예시한다. 대표적인 카메라 디바이스(1600)는 참조 번호(1600)를 야기하는 라인에 의해 터치된 직사각형 박스에 의해 표현된 하우징에 장착되는 디스플레이 디바이스(1602), 입력 디바이스(1604), I/O 인터페이스(1606), 프로세서(1608), 메모리(1610), 및 버스(1609)를 포함한다. 카메라 디바이스(1600)는 광학 체인(1612) 및 네트워크 인터페이스(1614)를 추가로 포함한다. 다양한 구성요소들이 신호들 및 정보가 카메라(1600)의 구성요소들 사이에서 전달되도록 허용하는 버스(1609)를 통해 함께 결합된다.
디스플레이 디바이스(1602)는, 몇몇 실시예들에서, 이미지들, 비디오, 카메라 디바이스의 구성에 관한 정보, 및/또는 카메라 디바이스 상에서 수행되는 데이터 프로세싱의 상태를 디스플레이하기 위해 사용된 터치 스크린이다. 디스플레이 디바이스(1602)가 터치 스크린인 경우에, 디스플레이 디바이스(1602)는 부가적인 입력 디바이스로서 및/또는 별개의 입력 디바이스에 대한 대안, 예로서 버튼들(1604)로서 작용한다. 입력 디바이스(1604)는 몇몇 실시예들에서, 예로서 정보, 데이터 및/또는 지시들을 입력하기 위해 사용될 수 있는 키패드, 터치 스크린, 또는 유사한 디바이스일 수 있다.
I/O 인터페이스(1606)를 통해, 카메라 디바이스(1600)는 외부 디바이스들에 결합하고 이러한 외부 디바이스들과 정보 및 시그널링을 교환할 수 있다. 몇몇 실시예들에서, I/O 인터페이스(1606)를 통해, 카메라(1600)는, 몇몇 실시예들에서, 프로세싱 시스템(1600)과 인터페이스할 수 있다. 몇몇 이러한 실시예들에서, 프로세싱 시스템(1600)은 카메라(1600)를 구성하고 및/또는 제어하기 위해 사용될 수 있다.
네트워크 인터페이스(1614)는 카메라 디바이스(1600)가 통신 네트워크를 통해 정보를 수신하고 및/또는 그것을 외부 디바이스로 전달할 수 있도록 허용한다. 몇몇 실시예들에서, 네트워크 인터페이스(1614)를 통해, 카메라(1600)는 통신 네트워크, 예로서 인터넷 및/또는 다른 네트워크를 통해 캡처된 이미지들 및/또는 생성된 깊이 맵들을 다른 디바이스들 및/또는 시스템들로 전달한다.
광학 체인(1610)은 마이크로 렌즈 어레이(1624) 및 이미지 센서(1626)를 포함한다. 카메라(1600)는 이미지 캡처 동작이 카메라(1600)에 의해 수행될 때 하나 이상의 방향으로부터 온 관심 장면의 광 정보를 캡처하기 위해 마이크로 렌즈 어레이(1624)를 사용한다.
메모리(1612)는 다양한 모듈들 및 루틴들을 포함하고, 이것은 프로세서(1608)에 의해 실행될 때, 본 발명에 따라 카메라(1600)의 동작을 제어한다. 메모리(1612)는 제어 루틴들(1620) 및 데이터/정보(1622)를 포함한다. 프로세서(1608), 예로서 CPU는 본 발명에 따라 동작하도록 카메라(1600)를 제어하고 흐름도(1500)의 방법의 하나 이상의 단계들을 구현하기 위해 제어 루틴들을 실행하고 데이터/정보(1622)를 사용한다. 몇몇 실시예들에서, 프로세서(1608)는 본 발명에 따른 카메라(1600)의 동작 동안 캡처되는 관심 환경의 이들 부분들에 대응하는 캡처된 이미지들로부터 관심 환경의 다양한 부분들의 깊이 맵을 생성하는 온-칩 깊이 맵 생성 회로(1607)를 포함한다. 몇몇 다른 실시예들에서, 카메라(1600)는 캡처된 이미지들(1628)을 라이트 필드 카메라(1600)에 의해 캡처된 이미지들을 사용하여 깊이 맵들을 생성하는 프로세싱 시스템(1600)으로 제공한다. 카메라(1600)에 의해 생성된 관심 환경의 다양한 부분들의 깊이 맵들은 관심 환경의 하나 이상의 부분들에 대응하는 이미지들이 캡처된 이미지(들)(1628)로서 저장되는 동안 깊이 맵들(1630)로서 메모리(1612)에 저장된다. 캡처된 이미지들 및 깊이 맵들은 미래 사용, 예로서 부가적인 프로세싱, 및/또는 또 다른 디바이스로의 송신을 위해 메모리(1612)에 저장된다. 다양한 실시예들에서, 카메라(1600)에 의해 생성된 깊이 맵들(1630) 및 카메라(1600)에 의해 캡처된 관심 환경의 부분들의 하나 이상의 캡처된 이미지들(1628)은, 본 발명의 특징들에 따른 추가 프로세싱 및 동작들을 위해, 예로서 인터페이스(1606 및/또는 1604)를 통해, 프로세싱 시스템(1408)으로 제공된다. 몇몇 실시예들에서, 깊이 맵들 및/또는 캡처된 이미지들은 하나 이상의 고객 디바이스들로 제공되고, 예로서 카메라(1500)에 의해 전달된다.
도 17은 본 발명의 특징들에 따른 대표적인 프로세싱 시스템(1700)을 예시한다. 프로세싱 시스템(1700)은 흐름도(1500)의 방법의 하나 이상의 단계들을 구현하기 위해 사용될 수 있다. 프로세싱 시스템(1700)은 입체 이미징 콘텐트를 인코딩하고 스트리밍하기 위해 사용될 수 있는 다중-레이트 인코딩 능력을 포함한다. 대표적인 프로세싱 시스템(1700)은 시스템(1400)의 프로세싱 시스템(1408)으로서 사용될 수 있다.
프로세싱 시스템(1700)은, 몇몇 실시예들에서, 본 발명의 특징들에 따라 합성 환경 깊이 맵 생성 동작, 다중-레이트 인코딩 동작, 저장, 및 송신 및/또는 콘텐트 출력을 수행하기 위해 사용될 수 있다. 프로세싱 시스템(1700)은 또한 프로세싱된 및/또는 인코딩된 이미지 데이터를 디코딩하고 예로서, 조작자에게 디스플레이하기 위한 능력을 포함할 수 있다.
시스템(1700)은 디스플레이(1702), 입력 디바이스(1704), 입력/출력(I/O) 인터페이스(1706), 프로세서(1708), 네트워크 인터페이스(1710) 및 메모리(1712)를 포함한다. 시스템(1700)의 다양한 구성요소들은 데이터가 시스템(1700)의 구성요소들 사이에서 전달되도록 허용하는 버스(1709)를 통해 함께 결합된다.
메모리(1712)는 프로세서(1708)에 의해 실행될 때, 본 발명에 따라 합성 환경 깊이 맵 생성, 환경 깊이 맵 조정, 인코딩, 저장, 및 스트리밍/송신 및/또는 출력 동작들을 구현하도록 시스템(1700)을 제어하는 다양한 루틴들 및 모듈들을 포함한다.
디스플레이 디바이스(1702)는 몇몇 실시예들에서, 이미지들, 비디오, 프로세싱 시스템(1700)의 구성에 관한 정보를 디스플레이하고 및/또는 프로세싱 상에서 수행되는 프로세싱의 상태를 표시하기 위해 사용된 터치 스크린일 수 있다. 디스플레이 디바이스(602)가 터치 스크린인 경우에, 디스플레이 디바이스(602)는 부가적인 입력 디바이스로서 및/또는 별개의 입력 디바이스에 대한 대안, 예로서 버튼들(1706)로서 작용한다. 입력 디바이스(1704)는, 몇몇 실시예들에서, 예로서 정보, 데이터 및/또는 지시들을 입력하기 위해 사용될 수 있는 키패드, 터치 스크린, 또는 유사한 디바이스일 수 있다.
I/O 인터페이스(1706)를 통해, 프로세싱 시스템(1700)은 외부 디바이스들에 결합되고 이러한 외부 디바이스들과, 예로서 카메라 리그(801) 및/또는 도면들에서 도시된 다른 카메라 리그들 및/또는 라이트 필드 카메라(1600)와 정보 및 시그널링을 교환할 수 있다. I/O 인터페이스(1606)는 송신기 및 수신기를 포함한다. 몇몇 실시예들에서, I/O 인터페이스(1706)를 통해, 프로세싱 시스템(1700)은 카메라 리그(801)와 같은 카메라 리그의 부분일 수 있는, 다양한 카메라들, 예로서 입체 카메라 쌍들 및/또는 라이트 필드 카메라들(예로서, 카메라(1600))에 의해 캡처된 이미지들을 수신한다.
네트워크 인터페이스(1710)는 프로세싱 시스템(1700)이 예로서, 통신 네트워크(105)와 같은, 통신 네트워크를 통해 정보를 수신하고 및/또는 그것을 외부 디바이스로 전달할 수 있도록 허용한다. 네트워크 인터페이스(1710)는 다중포트 브로드캐스트 송신기(1740) 및 수신기(1742)를 포함한다. 다중포트 브로드캐스트 송신기(1740)는 프로세싱 시스템(1700)이 각각 상이한 비트 레이트들을 지원하는 다수의 인코딩된 입체 데이터 스트립들을 다양한 고객 디바이스들로 방송하도록 허용한다. 몇몇 실시예들에서, 프로세싱 시스템(1700)은 장면의 상이한 부분들, 예로서 180도 전방 부분, 좌측 후방 부분, 우측 후방 부분 등을, 다중포트 브로드캐스트 송신기(1740)를 통해 고객 디바이스들로 송신한다. 더욱이, 몇몇 실시예들에서, 다중포트 브로드캐스트 송신기(1740)를 통해, 프로세싱 시스템(1700)은 또한 현재 환경 깊이 맵을 하나 이상의 고객 디바이스들로 방송한다. 다중포트 브로드캐스트 송신기(1740)는 몇몇 실시예들에서 네트워크 인터페이스(1710)에서 사용되지만, 여전히 몇몇 다른 실시예들에서, 프로세싱 시스템은 환경 깊이 맵, 3D 메시 모델, UV 맵, 및/또는 입체 이미징 콘텐트를 개개의 고객 디바이스들로 송신, 예로서 유니캐스트한다.
메모리(1712)는 프로세서(1708)에 의해 실행될 때, 본 발명에 따른 시스템(1700)의 동작을 제어하는 다양한 모듈들 및 루틴들을 포함한다. 프로세서(1708), 예로서 CPU는 본 발명에 따라 동작하고 도 13 및 도 14의 흐름도의 방법의 하나 이상의 단계들을 구현하도록 시스템(1700)을 제어하기 위해 제어 루틴들을 실행하고 메모리(1712)에 저장된 데이터/정보를 사용한다. 메모리(1712)는 제어 루틴들(1714), 이미지 인코더(들)(1716), 깊이 맵 가용성 결정 모듈(1717), 합성 깊이 맵 생성 모듈(1718), 현재 깊이 맵 결정 모듈(1719), 스트리밍 제어기(1720), 이미지 생성 모듈(1721), 깊이 맵 조화 모듈(1722), 3D 메시 모델 생성 및 업데이트 모듈(1740), UV 맵 생성 및 업데이트 모듈(1742), 하나 이상의 라이트 필드 카메라들에 의해 캡처된 관심 환경의 수신된 이미지들(1723), 관심 환경의 선택적 수신된 깊이 맵들(1725), 수신된 입체 이미지 데이터(1724), 인코딩된 입체 이미지 데이터(1728), 획득된 정적 깊이 맵(1730), 입체 이미지 쌍들로부터 생성된 환경 깊이 맵(1732), 하나 이상의 라이트 필드 카메라들에 의해 캡처된 이미지들로부터 생성된 환경 깊이 맵(1734), 조화된 환경 깊이 맵(들)(1736), 구형에 대응하는 디폴트 깊이 맵(1738), 생성된 3D 메시 모델(들)(1744), 생성된 UV 맵(들)(1746), 현재 3D 메시 모델(1748), 현재 UV 맵(1750)을 포함한다.
몇몇 실시예들에서, 모듈들은, 소프트웨어 모듈들로서 구현된다. 다른 실시예들에서, 모듈들은 예로서, 모듈이 대응하는 기능을 수행하기 위한 회로로서 구현되는 각각의 모듈을 갖는 개개의 회로들로서, 하드웨어에서 메모리(1612)의 밖에 구현된다. 계속해서 다른 실시예들에서, 모듈들은 소프트웨어 및 하드웨어의 조합을 사용하여 구현된다. 하나 이상의 모듈들이 소프트웨어 모듈들 또는 루틴들로서 구현되는 실시예들에서, 모듈들 및/또는 루틴들은 본 발명에 따라 동작하고 흐름도들(1500 및/또는 1550)에 관하여 논의된 하나 이상의 동작들을 구현하도록 시스템(1700)을 제어하기 위해 프로세서(1708)에 의해 실행된다.
제어 루틴들(1714)은 프로세싱 시스템(1700)의 동작을 제어하기 위해 디바이스 제어 루틴들 및 통신 루틴들을 포함한다. 인코더(들)(1716)는 몇몇 실시예들에서, 수신된 이미지 콘텐트, 장면의 입체 이미지들 및/또는 본 발명의 특징들에 따른 하나 이상의 장면 부분들을 인코딩하도록 구성된 복수의 인코더들을 포함할 수 있다. 몇몇 실시예들에서, 인코더(들)는 다수의 인코더들을 포함하고 각각의 인코더는 주어진 비트 레이트 스트림을 지원하기 위해 입체 장면 및/또는 분할된 장면 부분들을 인코딩하도록 구성된다. 따라서 몇몇 실시예들에서 각각의 장면 부분은 각각의 장면에 대한 다수의 상이한 비트 레이트를 지원하기 위해 다수의 인코더들을 사용하여 인코딩될 수 있다. 인코더(들)(1716)의 출력은 고객 디바이스들, 예로서 재생 디바이스들로의 스트리밍을 위해 메모리에 저장된 인코딩된 입체 이미지 데이터(1728)이다. 인코딩된 콘텐트는 네트워크 인터페이스(1710)를 통해 하나 또는 다수의 상이한 디바이스들로 스트리밍될 수 있다.
합성 깊이 맵 생성 모듈(1717)은 다양한 카메라들, 예로서 입체 카메라 쌍들 및 하나 이상의 라이트 필드 카메라들에 의해 캡처된 이미지들로부터 관심 환경의 합성 환경 깊이 맵들을 생성하도록 구성된다. 따라서, 합성 깊이 맵 생성 모듈(1717)은 입체 이미지 쌍들로부터 환경 깊이 맵(1732)을, 하나 이상의 라이트 필드 카메라들에 의해 캡처된 이미지들로부터 환경 깊이 맵(1734)을 생성한다.
깊이 맵 가용성 결정 모듈(1718)은 주어진 시간들에서, 주어진 깊이 맵이 주어진 시간에 이용 가능한지, 예로서 정적 깊이 맵이 이용 가능한지 및/또는 라이트 필드 카메라들에 의해 캡처된 이미지들로부터 생성된 환경 깊이 맵이 이용 가능한지 및/또는 입체 카메라 쌍들에 의해 캡처된 이미지들로부터 생성된 환경 깊이 맵이 이용 가능한지를 결정하도록 구성된다.
현재 깊이 맵 결정 모듈(1719)은 현재 깊이 맵이 설정되었는지를 결정하도록 구성된다. 다양한 실시예들에서, 현재 깊이 맵 결정 모듈(1719)은 또한 본 발명의 특징들에 따라 현재 깊이 맵으로서 환경 깊이 맵 또는 조화된 깊이 맵 중 하나를 설정하도록 구성된다. 예를 들면, 조화된 환경 깊이 맵이 이용 가능할 때, 예로서 둘 이상의 소스들로부터 생성된 환경 깊이 맵들을 조화시킴으로써 생성되었을 때, 현재 깊이 맵 결정 모듈(1719)은 현재 깊이 맵으로서 조화된 환경 깊이 맵을 설정한다.
스트리밍 제어기(1720)는 인코딩된 이미지 콘텐트를(예로서, 인코딩된 입체 이미지 데이터(1728) 중 적어도 일 부분)를, 예로서 통신 네트워크(105)를 통해, 하나 이상의 고객 재생 디바이스들로 전달하기 위한 인코딩된 콘텐트의 스트리밍을 제어하도록 구성된다. 다양한 실시예들에서, 스트리밍 제어기(1720)는 또한 현재 깊이 맵으로서 설정된 환경 깊이 맵을, 예로서 네트워크 인터페이스(1710)를 통해, 하나 이상의 고객 재생 디바이스들로 전달, 예로서 송신하도록 구성된다.
이미지 생성 모듈(1721)은 라이트 필드 카메라에 의해 캡처된 적어도 하나의 이미지, 예로서 수신된 이미지들(1723)로부터 제 1 이미지를 생성하도록 구성되며, 상기 생성된 제 1 이미지는 입체 카메라들에 의해 캡처된 입체 이미지들(예로서, 입체 이미지 콘텐트(1724)) 중 적어도 일부에 포함되지 않는 관심 환경의 일 부분을 포함한다. 몇몇 실시예들에서, 스트리밍 제어기(1720)는 또한 생성된 제 1 이미지의 적어도 일 부분을, 예로서 네트워크 인터페이스(1710)를 통해, 하나 이상의 고객 재생 디바이스들로 송신하도록 구성된다.
깊이 맵 조화 모듈(1722)은 예로서, 흐름도(1500)의 단계들(1526 및 1536)에 대응하는 기능들을 구현함으로써, 본 발명에 따른 깊이 맵 조화 동작들을 수행하도록 구성된다. 3D 메시 모델 생성 및 업데이트 모듈(1740)은 현재 환경 깊이 맵(예로서, 현재 환경 깊이 맵으로서 설정된 조화된 깊이 맵 또는 환경 깊이 맵)으로부터 3D 메시 모델을 생성하도록 구성된다. 모듈(1740)은 또한 현재 3D 메시 모델을 생성하기 위해 사용된 환경 깊이 맵에 비교하여 중요한 환경 변화들이 현재 환경 깊이 맵에서 검출되었을 때 3D 메시 모델을 업데이트하도록 구성된다. 몇몇 실시예들에서, 생성된 3D 메시 모델(들)(1744)은 모듈(1740)에 의해 생성된 하나 이상의 3D 메시 모델들을 포함할 수 있으며 3D 메시 모델(들)에서의 가장 최근에 업데이트된 3D 메시 모델은 현재 3D 메시 모델(1748)로서 설정된다. UV 맵 생성 및 업데이트 모듈(1742)은 프레임들을 생성된 3D 메시 모델로 랩핑할 때 사용될 UV 맵을 생성하도록 구성된다. 모듈(1742)은 또한 UV 맵을 업데이트하도록 구성된다. 생성된 UV 맵(들)(1746)은 모듈(1742)에 의해 생성된 하나 이상의 UV 맵들을 포함할 수 있으며 생성된 UV 맵(들)(1746)에서 가장 최근에 업데이트된 UV 맵은 현재 UV 맵(1750)으로서 설정된다. 몇몇 실시예들에서, 모듈들은 도 14a 및 도 14b에 논의된 다양한 단계들에 대응하는 기능들을 수행하도록 구성된다.
수신된 입체 이미지 데이터(1724)는 예로서, 리그(801)에 포함된 것들과 같은, 하나 이상의 입체 카메라들로부터 수신된 것에 의해 캡처된 입체 이미지 쌍들을 포함한다. 인코딩된 입체 이미지 데이터(1728)는 다수의 상이한 비트 레이트 스트림들을 지원하기 위해 인코더(들)(1716)에 의해 인코딩된 입체 이미지 데이터의 복수의 세트들을 포함한다.
정적 깊이 맵(1730)은 관심 환경의 획득된, 예로서 다운로드된, 깊이 맵이다. 입체 카메라 쌍들(1732)에 의해 캡처된 이미지들로부터 생성된 환경 깊이 맵 및 하나 이상의 라이트 필드 카메라들(1734)에 의해 캡처된 이미지들로부터 생성된 환경 깊이 맵은 합성 환경 깊이 맵 생성 모듈(1717)의 출력들이다. 조화된 환경 깊이 맵(들)(1736)은 본 발명에 따른 조정 모듈(1722)에 의해 생성된 하나 이상의 환경 깊이 맵들을 포함한다. 구형(1738)에 대응하는 디폴트 깊이 맵은 또한 환경 깊이 맵이 다른 소스들로부터 이용 가능하지 않을 때, 예로서 정적 깊이 맵(1730), 환경 깊이 맵(1732) 및 환경 깊이 맵(1734) 중 어떤 것도 사용을 위해 이용 가능하지 않을 때 이벤트에서 사용하기 위해 메모리(1712)에 저장된다. 따라서, 몇몇 실시예들에서, 조화된 환경 깊이 맵(들)(1736)은 현재 환경 깊이 맵으로서 설정되며 3D 메시 모델들을 생성하는데 사용된다.
몇몇 실시예들에서, 3D 메시 모델 및 UV 맵의 생성, 송신 및 업데이팅은 하나 이상의 깊이 측정 소스들, 예로서 라이트 필드 카메라 출력들 및/또는 입체 카메라 쌍 출력으로부터 획득된 환경 깊이 정보에 대한 중요한 변화들의 검출에 의해 트리거될 수 있다. 예를 들면, 조합하여 3D 모델 업데이팅 프로세스를 도시하는 도 14a 및 도 14b를 참조하자. 몇몇 실시예들에서, 깊이 정보를 프로세싱하는 시스템은 깊이 정보에서의 중요한 변화, 예로서, 미리 결정된 양 이상의, 예로서 환경의 일 부분, 예로서 미리 결정된 임계 크기, 예로서 5%, 10%, 20% 또는 몇몇 다른 양 이상의 일 부분에 대응하는 영역을 위한 환경의 둘레로의 원래 측정된 거리의 20% 이상의 깊이에서의 변화를 검출하기 위해 깊이 정보를 모니터링한다. 이러한 변화를 검출하는 것에 응답하여, 새로운 모델 및/또는 UV 맵이 생성되며 재생 디바이스들로 송신된다. 새로운 맵은 상이한 시간에 취해진 깊이 측정에 기초하여 오래된 메시 모델 및/또는 맵보다 새로운 메시 모델 및/또는 맵을 더 정확하게 하는 현재 깊이 측정들에 기초한다. 몇몇 실시예들에서, 깊이 측정들은 지속적으로 이벤트 동안 이루어지며 및/또는 이벤트 동안 캡처된 이미지들(라이트 필드 및/또는 입체 이미지 쌍들)로부터 이루어진 환경 측정에 기초하므로, 3D 모델들은 환경에서의 변화들, 예로서 텍스처들로서 사용된 이미지들이 환경의 오브젝트 또는 에지, 예로서 벽, 지붕, 커튼 등에 대해 캡처되는 카메라 위치로부터의 거리에서의 중요한 변화를 나타내는 변화들, 또는 예로서 지붕 접기, 벽 이동 등으로 인한, 전체 볼륨에서의 변화들에 응답하여 생성될 수 있다.
완전한 새로운 3D 모델 또는 모델 차이 정보는, 몇몇 실시예들에서, 업데이트된 모델 정보로서 재생 디바이스로 송신된다. 업데이트된 3D 모델 정보의 생성 및 송신 외에, 업데이트된 UV 맵 정보가 몇몇 실시예들에서, 생성되며 업데이트된 3D 모델 정보를 사용하여 이미지들을 렌더링할 때 사용될 재생 디바이스로 송신된다. 메시 모델 및/또는 UV 맵 업데이트들은 보통 장면 변화들과 동시에 일어나도록 및/또는 송신된 이미지 스트림에서 화상 그룹(GOP) 경계들과 동조하도록 타이밍이 맞춰진다. 이러한 방식으로, 새로운 모델 및/또는 맵의 애플리케이션은 보통 각각의 GOP 경계가 보통 프레임-내 코딩된 이미지 데이터의 전송과 동시에 일어나므로 현재 프레임의 디코딩이 보다 오래된 모델 또는 맵을 사용하여 렌더링될 프레임 또는 이미지에 의존하지 않는 포인트에서 재생 디바이스에서 적용되기 시작할 것이다. 환경 변화들이 커튼의 닫기, 벽의 이동 등과 같은 장면 변화들과 빈번하게 동시에 일어날 것이므로, 장면 변화 포인트는 새로운 모델을 구현하기 위해 편리한 포인트이며 많은 경우들에서 업데이트된 모델 정보 및/또는 업데이트된 UV 맵의 생성 및 송신을 트리거한 이벤트와 동시에 일어날 것이다.
도 17은 대표적인 실시예에서 재생 디바이스를 동작시키는 방법(1800)의 단계들을 예시한다. 몇몇 실시예들에서, 재생 및 렌더링 시스템(1900)은 흐름도(1900)의 방법의 단계들을 구현하기 위해 사용된다. 도 17 대표적인 실시예에서, 재생 디바이스는 정보, 예로서 3D 모델 정보 및 UV 맵을 수신하며 그 후 나중에, 예로서 라이브 스트리밍의 경우에 이벤트가 진행 중인 동안, 모델링되는 3D 환경에 대한 변화들을 반영한 업데이트된 모델 및/또는 UV 맵 정보를 수신한다. 예를 들면, 스테이지 변화 및/또는 인터미션 이벤트는 새로운 모델 정보 및/또는 UV 맵에서 반영될 수 있는 그것과 연관된 환경 변화들을 가질 수 있다. 업데이트된 모델 정보는, 예로서, 업데이트된 메시 모델을 생성하기 위해 업데이트된 메시 모델 정보에서의 좌표들로 제 1 메시 모델을 정의한 좌표들의 세트에서의 몇몇 좌표들을 대체함으로써, 업데이트된 메시 모델을 생성하기 위해, 몇몇 실시예들에서, 원래 모델 정보, 예로서 메시를 정의한 X, Y, Z 공간에서의 노드 좌표들의 원래 세트와 조합하여 원래 모델로부터의 변화들을 표시한 수신된 정보를 사용하는 재생 디바이스를 갖고, 차이 정보로서 재생 디바이스로 전달되며, 그것에 의해 수신된다. 모델 차이 정보가 수신되며 몇몇 실시예들에서 업데이트된 메시 모델을 생성하기 위해 사용되지만, 다른 실시예들에서 또는 이전에 공급된 모델의 대다수에 대한 변화들이 있는 경우들에서, 합성의 새로운 메시 모델은 때때로 재생 디바이스에 의해 업데이트된 메시 모델 정보의 부분으로서 수신될 수 있다. 메시 모델 업데이트 정보는 깊이 측정, 예로서 라이트 필드 카메라에 기초한 환경 거리 측정들 및/또는 이벤트 동안 캡처된 입체 이미지 데이터에 기초할 수 있다.
업데이트된 메시 모델을 수신하는 것 외에, 많은 경우들에서 재생 디바이스는 이미지들, 예로서 프레임들을 3D 공간으로, 예로서 3D 환경 공간을 정의한 3D 메시 모델로 매핑시키기 위해 사용될 대응하는 UV 맵을 수신한다. 프레임들은, 때때로, 3D 맵을 업데이트하는데 유용한 깊이 정보를 캡처하기 위해 사용된 하나 이상의 라이트 필드 카메라들, 예로서 Lytro 카메라들을 또한 포함하는 카메라 리그 상에 장착된 하나 이상의 입체 카메라 쌍들에 의해 캡처된 이미지 데이터로부터 생성될 수 있다. 새로운 또는 업데이트된 UV 맵 정보는 종종 업데이트된 메시 모델 정보가 수신될 때 수신되지만, 3D 메시 모델에서의 노드들의 수가 업데이트 전과 후 동일한 채로 있다면, UV 맵은 3D 메시 모델과 동시에 업데이트되지 않을 수 있다. UV 맵 정보는 완전한 새로운 맵으로서 또는 차이 정보로서 송신되며 수신될 수 있다. 따라서, 몇몇 실시예들에서, UV 맵 차이 정보는 업데이트된 UV 맵을 생성하기 위해 수신되고 프로세싱된다. 업데이트된 차이 맵은 때때로, 업데이트된 UV 맵 정보에서 표시된 차이들을 이전 UV 맵에 적용함으로써 생성될 수 있다.
흐름도(1800)의 방법은 시작 단계(1802)에서 게임 콘솔 및 디스플레이 또는 헤드 장착 디스플레이 어셈블리와 같은 재생 디바이스가 3D 관련 이미지 데이터, 예로서 캡처된 이미지들로부터 생성된 텍스처 정보, 모델 정보 및/또는 이미지들을 렌더링하는데 사용될 UV 맵들을 나타내는 프레임들을 수신하고, 저장하며 프로세싱하는 것을 시작하기 위해 파워 온되며 설정되는 것으로 시작한다. 동작은 시작 단계(1802)로부터 제 1 시간에 라이트 필드 카메라를 사용하여 이루어진 환경의 적어도 일 부분의 측정들에 기초하여 생성된 3D 환경, 예로서 경기장, 극장 등의 제 1 메시 모델을 전달하는 정보가 수신된며 예로서 메모리에 저장되는 단계(1804)로 진행한다. 모델은 때때로, 사용자 뷰잉 위치에 대응하는 기원으로부터의 노드들로의 거리들을 표시한 3D 좌표들(X, Y, Z)의 세트의 형태일 수 있다. 노드 좌표들은 메시 모델을 정의한다. 따라서 몇몇 실시예들에서, 제 1 메시 모델 정보는 제 1 세트의 좌표 트리플들을 포함하며, 각각의 트리플은 제 1 메시 모델에서의 노드의 X, Y, Z 공간에서의 좌표를 나타낸다.
메시 모델은 표시된 또는 미리 결정된 방식으로 노드들 포인트들의 상호 연결에 의해 형성된 세그먼트들을 포함한다. 예를 들면, 메시의 모두 또는 일 부분에서의 각각의 노드는 3개의 면을 가진 세그먼트들이 사용되는 메시 모델의 부분들에 대한 가장 가까운 3개의 인접한 노드들에 결합될 수 있다. 4개의 면을 가진 세그먼트들이 사용되는 메시 모델의 부분들에서, 각각의 노드는 그것의 4개의 가장 가까운 이웃들과 상호 연결하기 위해 알려질 수 있다. 노드 위치 정보 외에, 모델은, 몇몇 실시예들에서, 모델에서의 노드들이 어떻게 상호 연결되는지에 대한 정보를 포함할 수 있다. 몇몇 실시예들에서, 3D 환경의 제 1 메시 모델을 전달하는 정보는 완전한 메시 모델을 정의한 정보를 포함한다.
동작은 단계(1804)로부터 2D 이미지, 예로서 수신된 프레임이 어떻게 제 1 3D 모델로 랩핑되는지를 표시한 제 1 맵, 예로서 제 1 UV 맵이 수신되는 단계(1086)로 진행한다. 제 1 UV 맵은 보통 1 대 1 표시되어 있거나 또는 그 외 제 1 UV 맵 세그먼트들 내지 제 1 3D 모델 세그먼트들 사이에서의 알려진 대응성이 있는 3D 모델 맵의 각각의 세그먼트에 대한 하나의 세그먼트를 포함한다. 제 1 UV 맵은, 때때로 제 1 3D 모델의 세그먼트들에 대한 UV 공간으로서 불리우는 것에 대응하는 2D 프레임들의 콘텐트를 적용, 예로서 랩핑하기 위한 이미지 렌더링 프로세스의 부분으로서 사용될 수 있다. 3D 모델의 세그먼트들에 의해 표현된 3D 환경으로의 캡처된 이미지 데이터에 대응하는 프레임들의 형태에서의 수신된 텍스처들의 이러한 매핑은 입체 이미지 쌍들에 대응하는 수신된 좌측 및 우측 눈 프레임들이 각각, 사용자의 좌측 및 우측 눈들에 의해 보여질 이미지들로 렌더링되도록 허용한다.
제 1 3D 모델 및 제 1 렌더링 맵, 예로서 제 1 UV 맵의 수신은 함께 또는 임의의 순서로 발생할 수 있으며 예를 이해하기 위해 단순함을 제공할 목적으로 도 17에서 순차적 동작으로서 도시된다. 동작은 단계(1806)로부터 이미지 콘텐트, 예로서 하나 이상의 프레임들이 수신되는 단계(1808)로 프로세싱한다. 이미지 콘텐트는 몇몇 실시예들에서, 좌측 및 우측 눈 이미지들의 쌍들이 때때로 입체 프레임 쌍의 단일 프레임으로서 표현되는 각각의 눈에 대한 콘텐트와 함께 수신되는 입체 이미지 데이터의 형태에 있을 수 있다. 단계(1808)에서 수신된 이미지 콘텐트는 보통, 이벤트의 일 부분에 대응하는, 프레임 쌍들의 시퀀스, 예로서 비디오 시퀀스일 것이다.
동작은 단계(1808)로부터 적어도 하나의 이미지가 제 1 메시 모델을 사용하여 렌더링되는 단계(1810)로 진행한다. 단계(1810)에서 수행된 이미지 렌더링의 부분으로서, 제 1 UV 맵은 사용자에 의해 디스플레이되며 뷰잉될 수 있는 이미지를 생성하기 위해 수신된 이미지 콘텐트에 포함된 이미지를 제 1 메시 모델로 어떻게 랩핑할지를 결정하기 위해 사용된다. 입체 쌍의 좌측 및 우측 눈 이미지들의 각각은, 몇몇 실시예들에서, 개별적으로 렌더링될 것이며 상이한 이미지들이 좌측 및 우측 눈들에 의해 뷰잉되어 이미지들이 3D 효과를 갖는 것으로 사용자에 의해 지각되도록 허용하도록 디스플레이의 상이한 부분들 상에서 디스플레이될 수 있다. 렌더링된 이미지들은 보통 렌더링 후, 예로서 몇몇 실시예들에서, 예로서 헤드 장착 디스플레이 디바이스로서, 사람의 머리에 착용될 수 있는 헬멧에 장착된 휴대 전화 디스플레이인 디스플레이 디바이스를 통해, 사용자에게 디스플레이된다.
다수의 이미지들이, 재생을 위해 캡처되고 스트리밍되는 이벤트 동안 몇몇 포인트에서, 단계(1810)의 부분으로서 시간에 걸쳐 렌더링되며 디스플레이될 수 있지만, 커튼이 낮아지는 것, 스테이지의 벽이 이동되는 것, 경기장에서의 돔이 개방되거나 또는 폐쇄되는 것과 같은 환경에서의 변화가 발생할 수 있다. 이러한 이벤트들은 수행되는 환경 측정들에 의해 검출될 수 있으며, 다양한 실시예들에서, 그럴 것이다. 환경에서의 변화를 검출하는 것에 응답하여, 새로운 3D 메시 모델 및 UV 맵은 캡처된 이미지들 및/또는 환경 측정들을 프로세싱하는 시스템에 의해 생성될 수 있다.
단계(1814)에서, 업데이트된 메시 모델 정보가 수신된다. 업데이트된 메시 모델은, 몇몇 경우들에서, 환경의 일 부분의 측정에 기초하여 생성된 업데이트된 메시 모델 정보, 예로서 새로운 노드 포인트들을 포함한다. 측정들은 제 1 메시 모델에 대한 이전 측정들이 대응하는 환경의 동일한 부분에 대응할 수 있으며 및/또는 새로운 측정들은 환경의 부분의 측정들을 포함할 수 있다. 이러한 측정들은 예로서, 이전 도면들에서 예시된 것들과 같은, 라이트 필드 카메라를 사용하여 획득된 카메라 리그 위치에 대한 환경 깊이 측정들에 기초할 수 있으며, 때때로 기초한다. 몇몇 실시예들에서, 업데이트된 메시 모델 정보는 제 2 시간, 예로서 제 1 시간 기간 후 시간 기간에서 상기 라이트 필드 카메라를 사용하여 상기 환경의 적어도 부분의 측정들에 기초하여 생성된 적어도 일부의 업데이트된 메시 모델 정보를 포함한다.
단계(1814)에서 수신된 업데이트된 메시 모델 정보는 완전한 업데이트된 메시 모델의 형태에 또는 업데이트된 메시 모델을 형성하기 위해 제 1 메시 모델에 대해 이루어질 변화들을 표시한 차이 정보의 형태에 있을 수 있다. 따라서 몇몇 실시예들에서 업데이트된 메시 모델 정보는 상기 제 1 메시 모델 및 업데이트된 메시 모델 사이에서의 차이를 표시한 차이 정보이다. 모델 차이 정보가 수신될 때 수행되는 선택적 단계(1815)에서, 재생 디바이스는 제 1 메시 모델 및 수신된 차이 정보로부터 업데이트된 메시 모델을 생성한다. 예를 들면, 단계(1815)에서, 업데이트된 메시 모델에 포함되지 않은 노드들은 제 1 메시 모델을 표현한 정보의 세트로부터 삭제되며 그에 의해 업데이트된 메시 모델을 생성하기 위해 수신된 메시 모듈 업데이트 정보에 의해 표시된 새로운 노드들로 교체될 수 있다. 따라서 몇몇 실시예들에서 업데이트된 메시 모델 정보는 업데이트된 메시 모델을 생성하기 위해 제 1 메시 모델에 대해 이루어질 변화들을 표시한 정보를 포함한다. 몇몇 실시예들에서 업데이트된 메시 모델 정보는 제 1 및 제 2 시간 기간들 사이에서 변한 3D 환경의 부분들에 대한 새로운 메시 정보를 제공한다. 몇몇 실시예들에서 업데이트된 메시 모델 정보는: i) 제 1 메시 모델 정보에서의 적어도 몇몇 노드들에 대한 새로운 세트들의 메시 좌표들로서, 상기 새로운 좌표들은 제 1 메시 모델에서의 대응하는 노드들의 좌표들을 교체하도록 의도되는, 상기 새로운 세트들의 메시 좌표들; 또는 ii) 이전 세트의 좌표 트리플들 대신에 메시 모델의 적어도 일 부분을 위해 사용될 새로운 세트의 좌표 트리플들로서, 상기 새로운 세트의 좌표 트리플들은 교체될 이전 세트의 좌표 트리플들과 동일한 또는 상이한 수의 좌표 트리플들을 포함하는, 상기 새로운 세트의 좌표 트리플들 중 적어도 하나를 포함한다.
업데이트된 메시 모델 정보 외에, 재생 디바이스는 업데이트된 맵 정보를 수신할 수 있다. 이것은 단계(1816)에서 도시된다. 업데이트된 맵 정보는 업데이트된 메시 모델에 이미지들을 매핑시키기 위해 사용될 완전한 새로운 UV 맵의 형태로 또는 업데이트된 맵을 생성하기 위해 제 1 맵과 조합하여 사용될 수 있는 차이 정보의 형태에 있을 수 있다. 업데이트된 UV 맵은 각각의 3D 모델 업데이트를 공급받을 필요가 없지만, UV 맵 업데이트들은 보통 모델 업데이트들과 동시에 발생할 것이며 노드들의 수에서의 변화가 발생하여 3D 메시 모델에서 상이한 수의 세그먼트들을 야기할 때 발생할 것이다. 업데이트된 맵 정보는 3D 모델에서 세그먼트들 및 노드들의 수가 변경되지 않은 채로 있다면 제공될 필요가 없지만 많은 경우들에서 환경 형태에서의 변화가, 캡처된 이미지들이 어떻게 사용되는 3D 메시 모델에 매핑되는지에서 변할 가치가 있을 수 있다는 것을 고려하면 모델 세그먼트들의 수에서의 변화가 없을지라도 제공될 것이다.
완전한 UV 맵보다는 차이 정보가 수신된다면, 동작은 단계(1816)로부터 단계(1818)로 진행한다. 맵 차이 정보가 단계(1816)에서 수신되는 경우에 사용되는 단계(1818)에서, 업데이트된 맵은 수신된 업데이트된 맵 정보에 포함된 맵 차이 정보를 제 1 맵에 적용함으로써 생성된다. 완전한 업데이트된 UV 맵이 단계(1816)에서 수신되는 경우에, 전체 업데이트된 맵이 수신되므로 차이 정보로부터 업데이트된 맵을 생성할 필요는 없다.
업데이트된 3D 메시 모델 및/또는 업데이트된 UV 맵의 수신 및/또는 생성과 동시에 또는 그 후, 부가적인 이미지 콘텐트가 단계(1820)에서 수신된다. 부가적인 이미지 콘텐트는, 때때로 예를 들면, 제 1 3D 모델에 대응되는 제 1 이벤트 세그먼트를 따르는 이벤트의 제 2 부분에 대응할 수 있다. 동작은 단계(1820)로부터 단계(1822)로 진행한다. 단계(1822)에서 부가적인 이미지 콘텐트가 렌더링된다. 단계(1822)에서 수행된 이미지 렌더링의 부분으로서, 업데이트된 3D 모델은 단계(1824)에서 표시된 바와 같이 수신된 부가적인 이미지 콘텐트 중 적어도 일부를 렌더링하기 위해 사용된다. 업데이트 UV 맵은 또한 그것이 이용 가능할 때 단계(1826)에 의해 표시된 바와 같이 사용될 것이다. 어떤 업데이트된 UV 맵도 수신되거나 또는 생성되지 않았을 때, 단계(1822)에서 이미지 렌더링은 렌더링 프로세스의 부분으로서 오래된, 예로서 제 1 UV 맵을 사용할 것이다. 단계(1822)에서 렌더링된 이미지들은 디스플레이를 위해 출력된다.
3D 모델 및/또는 UV 맵의 업데이팅은 환경 변화들에 응답하여 프리젠테이션 동안 반복적으로 발생할 수 있다. 반복된 모델 및 UV 맵 업데이트들에 대한 이러한 진행 중인 가능성은 부가적인 업데이트된 메시 모델 정보가 수신될 수 있는 단계(1814)로 프로세싱을 리턴시키는 화살표(1827)에 의해 표현된다. 단계(1814)로의 각각의 리턴으로, 현재 메시 모델 및 UV 모델은 업데이트가 차이 정보를 포함하는 경우에 새로운 업데이트된 메시 모델 및/또는 UV 맵을 생성할 목적들을 위해 제 1 메시로서 처리된다.
도 17에 관하여 설명된 프로세싱은 재생 디바이스 프로세서의 제어 하에서 수행된다. 따라서, 몇몇 실시예들에서, 재생 디바이스는 도 17에 도시된 단계들을 구현하도록 재생 디바이스를 제어하기 위해 구성된 프로세서를 포함한다. 송신 및 수신 단계들은 재생 디바이스들의 인터페이스들(송신기들 및 수신기들을 포함하는)을 통해 수행된다.
몇몇 실시예들에서, 재생 디바이스는, 재생 디바이스의 프로세서에 의해 실행될 때, 도 17에 도시된 단계들을 구현하도록 재생 디바이스를 제어하는 지시들을 포함한다. 별개의 프로세서 실행 가능한 코드가 때때로 도 17에 도시된 단계들의 각각을 위해 포함될 수 있다. 다른 실시예들에서 회로는 도 17에 도시된 개개의 단계들의 각각을 위해 재생 디바이스에 포함된다.
도 18은 예로서, 프로세싱 시스템(1408/1700)과 같은, 도 12의 시스템(1400)의 하나 이상의 서브-시스템들에 의해 스트리밍된 콘텐트를 수신하고, 디코딩하며 디스플레이하기 위해 사용될 수 있는 대표적인 재생 디바이스, 예로서 시스템(1900)을 예시한다. 대표적인 렌더링 및 재생 시스템(1900)은 도 12에 도시된 렌더링 및 재생 디바이스들 중 임의의 것으로서 사용될 수 있다. 다양한 실시예들에서, 재생 시스템(1900)은 도 17의 흐름도(1800)에 예시된 다양한 단계들을 수행하기 위해 사용된다.
렌더링 및 재생 시스템(1900)은 몇몇 실시예들에서 3D 헤드 장착 디스플레이(1905)를 포함하고 및/또는 그것에 결합된다. 시스템(1900)은 수신된 인코딩된 이미지 데이터를 디코딩하며 고객으로의 디스플레이를 위한 3D 이미지 콘텐트를 생성하기 위한 능력을 포함한다. 재생 시스템(1900)은 몇몇 실시예들에서 가정 또는 사무실과 같은 고객 댁내 위치에 위치되지만 또한 이미지 캡처 사이트에 위치될 수 있다. 재생 시스템(1900)은 본 발명에 따라 신호 수신, 디코딩, 3D 메시 모델 업데이팅, 렌더링, 디스플레이 및/또는 다른 동작들을 수행할 수 있다.
재생 시스템(1900)은 디스플레이(1902), 디스플레이 디바이스 인터페이스(1903), 사용자 입력 인터페이스 디바이스(1904), 입력/출력(I/O) 인터페이스(1906), 프로세서(1908), 네트워크 인터페이스(1910) 및 메모리(1912)를 포함한다. 재생 시스템(1900)의 다양한 구성요소들은 데이터가 시스템(1900)의 구성요소들 사이에서 전달되도록 허용하는 버스(1909)를 통해 함께 결합된다.
몇몇 실시예들에서 디스플레이(1902)는 파선 박스를 사용하여 예시된 바와 같이 선택적 요소로서 포함되지만, 몇몇 실시예들에서, 외부 디스플레이 디바이스(1905), 예로서 헤드 장착 입체 디스플레이 디바이스가 디스플레이 디바이스 인터페이스(1903)를 통해 재생 시스템(1900)에 결합될 수 있다. 헤드 장착 디스플레이(1202)는 헤드 장착 디스플레이(1202)를 포함할 수 있는 OCULUS RIFT™ VR(가상 현실) 헤드셋을 사용하여 구현될 수 있다. 다른 헤드 장착 디스플레이들이 또한 사용될 수 있다. 이미지 콘텐트는, 예로서 입체 콘텐트의 경우에 상이한 이미지들을 제공받은 사용자의 좌측 및 우측 눈들을 갖고, 시스템(1900)의 디스플레이 디바이스 상에 제공된다. 단일 스크린상에, 예로서 상이한 눈들에 대한 단일 스크린의 상이한 부분들 상에 좌측 및 우측 눈들에 대한 상이한 이미지들을 디스플레이함으로써, 단일 디스플레이는 뷰어의 좌측 및 우측 눈들에 의해 별개로 지각될 좌측 및 우측 눈 이미지들을 디스플레이하기 위해 사용될 수 있다. 다양한 실시예들이 시스템(1900)에서 사용될 헤드 장착 디스플레이를 고려하지만, 방법들 및 시스템들은 또한 3D 이미지를 지원할 수 있는 비-헤드 장착 디스플레이들과 함께 사용될 수 있다.
재생 시스템(1900)의 조작자는 하나 이상의 파라미터들을 제어하고 및/또는 사용자 입력 디바이스(1904)를 통해 입력을 제공할 수 있다. 입력 디바이스(1904)는, 몇몇 실시예들에서, 예로서 정보, 데이터 및/또는 지시들을 입력하기 위해 사용될 수 있는 키패드, 터치 스크린, 또는 유사한 디바이스일 수 있다.
I/O 인터페이스(1906)를 통해, 재생 시스템(1900)은 외부 디바이스들에 결합되며 이러한 외부 디바이스들과 정보 및 시그널링을 교환할 수 있다. 몇몇 실시예들에서, I/O 인터페이스(1906)를 통해, 재생 시스템(1900)은 다양한 카메라들, 예로서 입체 카메라 쌍들 및/또는 라이트 필드 카메라들에 의해 캡처된 이미지들을 수신하고, 3D 메시 모델들 및 UV 맵들을 수신한다.
메모리(1912)는 다양한 모듈들, 예로서 루틴들을 포함하며, 이것은 프로세서(1908)에 의해 실행될 때, 본 발명에 따른 동작들을 수행하도록 재생 시스템(1900)을 제어한다. 메모리(1912)는 제어 루틴들(1914), 사용자 입력 프로세싱 모듈(1916), 머리 위치 및/또는 시야 각 결정 모듈(1918), 디코더 모듈(1920), 또한 3D 이미지 생성 모듈로서 불리우는 입체 이미지 렌더링 모듈(1922), 3D 메시 모델 업데이트 모듈(1924), UV 맵 업데이트 모듈(1926), 수신된 3D 메시 모델(1928), 수신된 UV 맵(1930), 및 수신된 인코딩된 이미지 콘텐트(1932), 디코딩된 이미지 콘텐트(1934), 업데이트된 3D 메시 모델 정보(1936), 업데이트된 UV 맵 정보(1938), 업데이트된 3D 메시 모델(1940), 업데이트된 UV 맵(1940) 및 생성된 입체 콘텐트(1934)를 포함한 데이터/정보를 포함한다.
프로세서(1908), 예로서 CPU는 루틴들(1914)을 실행하며 본 발명에 따라 동작하도록 시스템(1900)을 제어하기 위해 다양한 모듈들을 사용한다. 프로세서(1908)는 시스템(1100)의 전체적인 일반적 동작을 제어할 책임이 있다. 다양한 실시예들에서 프로세서(1108)는 렌더링 및 재생 시스템(1900)에 의해 수행되는 것으로 논의된 기능들을 수행하도록 구성된다.
네트워크 인터페이스(1910)는 재생 시스템(1900)이 예로서 통신 네트워크(1450)와 같은, 통신 네트워크를 통해 정보를 수신하고 및/또는 이를 외부 디바이스로 전달하도록 허용하는 송신기(1911) 및 수신기(1913)를 포함한다. 몇몇 실시예들에서 재생 시스템(1900)은, 예로서 인터페이스(1910)를 경유하여, 통신 네트워크(1450)를 통해 프로세싱 시스템(1700)으로부터 이미지 콘텐트(1932), 3D 메시 모델(1928), UV 맵(1930), 업데이트된 메시 모델 정보(1936), 업데이트된 UV 맵 정보(1938)을 수신한다. 따라서 몇몇 실시예들에서, 재생 시스템(1900)은, 인터페이스(1910)를 통해, 제 1 시간에서 라이트 필드 카메라를 사용하여 이루어진 환경의 적어도 일 부분의 측정들에 기초하여 생성된 3D 환경의, 제 1 메시 모델, 예로서 3D 메시 모델(1928)을 전달하는 정보를 수신한다. 재생 시스템(1900)은, 몇몇 실시예들에서, 인터페이스(1910)를 통해, 이미지 콘텐트, 예로서 좌측 및 우측 눈 이미지 쌍들의 프레임들을 추가로 수신한다.
제어 루틴들(1914)은 시스템(1900)의 동작을 제어하기 위해 디바이스 제어 루틴들 및 통신 루틴들을 포함한다. 요청 생성 모듈(1916)은 예로서, 재생을 위한 아이템의 사용자 선택 시, 콘텐트에 대한 요청을 생성하도록 구성된다. 수신 정보 프로세싱 모듈(1917)은 예로서, 렌더링 및 재생을 위해, 시스템(1900)에 의해 사용될 수 있는 전달된 정보를 복구하기 위해, 예로서 인터페이스(1906 및/또는 1910)의 수신기를 통해, 시스템(1900)에 의해 수신된, 정보, 예로서 이미지 콘텐트, 오디오 데이터, 환경 모델들, UV 맵들 등을 프로세싱하도록 구성된다. 머리 위치 및/또는 시야 각 결정 모듈(1918)은 현재 시야 각 및/또는 사용자의, 현재 머리 위치, 예로서, 배향, 예로서 헤드 장착 디스플레이의 배향을 결정하며 몇몇 실시예에서 결정된 위치 및/또는 시야 각 정보를 프로세싱 시스템(1700)으로 보고하도록 구성된다.
디코더 모듈(1920)은 디코딩된 이미지 데이터(1934)를 생성하기 위해 프로세싱 시스템(1700) 또는 카메라 리그(1402)로부터 수신된 인코딩된 이미지 콘텐트(1932)를 디코딩하도록 구성된다. 디코딩된 이미지 데이터(1934)는 디코딩된 입체 장면 및/또는 디코딩된 장면 부분들을 포함할 수 있다.
3D 이미지 렌더러(1922)는 디스플레이(1902) 및/또는 디스플레이 디바이스(1905) 상에서 사용자로의 디스플레이를 위해 본 발명의 특징들에 따라 3D 이미지 콘텐트를 생성하기 위해 디코딩된 이미지 데이터를 사용한다. 몇몇 실시예들에서 3D 이미지 렌더러(1922)는, 제 1 3D 메시 모델을 사용하여, 수신된 이미지 콘텐트의 적어도 일부를 렌더링하도록 구성된다. 몇몇 실시예들에서, 3D 이미지 렌더러(1922)는 또한 수신된 이미지 콘텐트에 포함된 이미지를 어떻게 제 1 3D 메시 모델로 랩핑할지를 결정하도록 제 1 UV 맵을 사용하기 위해 구성된다.
3D 메시 모델 업데이트 모듈(1924)은 업데이트된 메시 모델(1940)을 생성하기 위해 수신된 업데이트된 메시 모델 정보(1936)를 사용하여 수신된 제 1 3D 메시 모델(1928)(예로서, 처음에 수신된 메시 모델)을 업데이트하도록 구성된다. 몇몇 실시예들에서, 수신된 업데이트된 메시 모델 정보(1936)는 재생 디바이스(1900)에 의해 수신된 3D 메시 모델의 이전 버전에 대하여 변화들을 반영한 메시 모델 차이 정보를 포함한다. 몇몇 다른 실시예들에서 수신된 업데이트된 메시 모델 정보(1936)는 그 후 업데이트된 메시 모델(1940)로서 출력되는 전체 완전한 3D 메시 모델을 생성하기 위한 완전한 정보를 포함한다.
UV 맵 업데이트 모듈(1926)은 업데이트된 UV 맵(1942)을 생성하기 위해 수신된 업데이트된 UV 맵 정보(1938)를 사용하여 수신된 제 1 UV 맵(1930)(예로서, 처음에 수신된 UV 맵)을 업데이트하도록 구성된다. 몇몇 실시예들에서, 수신된 업데이트된 UV 맵 정보(1938)는 재생 디바이스(1900)에 의해 수신된 UV 맵의 이전 버전에 대하여 변화들을 반영한 차이 정보를 포함한다. 몇몇 다른 실시예들에서, 수신된 업데이트된 UV 맵 정보(1938)는 그 후 업데이트된 UV 맵(1942)으로서 출력되는 전체 완전한 UV 맵을 생성하기 위한 정보를 포함한다.
다양한 실시예들에서, 3D 메시 모델 및/또는 UV 맵이 본 발명에 따라 업데이트될 때, 3D 이미지 렌덜이 모듈(1922)은 또한, 업데이트된 메시 모델을 사용하여, 이미지 콘텐트, 예로서 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하도록 구성된다. 몇몇 이러한 실시예들에서, 3D 이미지 렌더링 모듈(1922)은 또한 렌더링될 이미지 콘텐트에 포함된 이미지를 어떻게 업데이트된 3D 메시 모델로 랩핑할지를 결정하도록 업데이트된 UV 맵을 사용하기 위해 구성된다. 생성된 입체 이미지 콘텐트(1944)는 3D 이미지 렌더링 모듈(1922)의 출력이다.
몇몇 실시예들에서, 모듈들 중 일부는 예로서, 회로들로서, 프로세서의 외부에서 및 그것에 결합되어 구현되는 다른 모듈들을 갖고 프로세서(1908) 내에서, 예로서 회로들로서, 구현된다. 대안적으로, 회로들로서 구현되기보다는, 모듈들 중 모두 또는 일부는 소프트웨어로 구현되며 모듈들이 프로세서, 예로서 프로세서(1908)에 의해 실행될 때 모듈들에 대응하는 기능들을 구현하기 위해 재생 디바이스(1900)의 동작을 제어하는 모듈들을 가진 재생 디바이스(1900)의 메모리에 저장될 수 있다. 계속해서 다른 실시예들에서, 다양한 모듈들은 예로서, 그 후 소프트웨어 제어하에서 모듈의 기능의 일 부분을 수행하도록 동작하는 프로세서(1908)로 입력을 제공하는 프로세서(1908)의 외부에 있는 회로를 갖고, 하드웨어 및 소프트웨어의 조합으로서 구현된다.
메모리(1912)에 포함되는 것으로 도 18 예에 도시되지만, 메모리(1912)에 포함되어 도시된 모듈들은, 몇몇 실시예들에서, 예로서 개개의 회로들로서, 프로세서(1908) 내에서 완전히 하드웨어로 구현될 수 있다. 다른 실시예들에서, 요소들 중 일부는, 프로세서(1108)의 외부에 있으며 그것에 결합된, 예로서 회로들로서 구현되는 다른 요소들을 갖고 프로세서(1108) 내에서, 예로서 회로들로서 구현된다. 이해되어야 하는 바와 같이, 프로세서상에서의 모듈들의 및/또는 프로세서의 외부에 있는 몇몇 모듈들과의 통합의 레벨은 설계 선택 중 하나일 수 있다.
디바이스(1900) 내에서, 단일 프로세서(1908), 예로서 컴퓨터로서 도 18 실시예에서 도시되지만, 프로세서(1908)는 하나 이상의 프로세서들, 예로서 컴퓨터들로서 구현될 수 있다는 것이 이해되어야 한다. 소프트웨어로 구현될 때, 모듈들은, 프로세서(1908)에 의해 실행될 때, 모듈에 대응하는 기능을 구현하도록 프로세서, 예로서 컴퓨터를 구성하는 코드를 포함한다. 몇몇 실시예들에서, 프로세서(1908)는 도 18 예에서 메모리(1912)에 도시된 모듈들의 각각을 구현하도록 구성된다. 모듈들이 메모리(1912)에 저장되는 실시예들에서, 메모리(1912)는 컴퓨터 프로그램 제품이며, 상기 컴퓨터 프로그램 제품은 적어도 하나의 컴퓨터, 예로서 프로세서(1908)로 하여금 모듈들이 대응하는 기능들을 구현하게 하기 위해, 코드, 예로서 각각의 모듈을 위한 개개의 코드를 포함한, 컴퓨터 판독 가능한 매체, 예로서 비-일시적 컴퓨터 판독 가능한 매체를 포함한다.
이해되어야 하는 바와 같이, 도 18에 예시된 모듈들은 예로서, 흐름도(1800)에 예시되고 및/또는 설명된 것들과 같은, 본 발명의 방법들의 대응하는 단계들의 기능들을 수행하도록 프로세서(1908)와 같은 시스템(1900) 또는 요소들을 그 안에서 각각 제어하고 및/또는 구성한다.
일 대표적인 실시예에서, 프로세서(1908)는: 예로서 인터페이스(1910)를 통해, 제 1 시간에 라이트 필드 카메라를 사용하여 이루어진 상기 환경의 적어도 일 부분의 측정들에 기초하여 생성된 3D 환경의 제 1 메시 모델을 전달하는 정보를 수신하고; 예로서, 인터페이스(1910)를 통해, 이미지 콘텐트를 수신하며; 상기 제 1 메시 모델을 사용하여, 수신된 이미지 콘텐트 중 적어도 일부를 렌더링하도록 재생 디바이스(1900)를 제어하기 위해 구성된다.
몇몇 실시예들에서, 프로세서는 또한 예로서, 인터페이스(1910)를 통해, 업데이트된 메시 모델 정보를 수신하도록 재생 디바이스를 제어하기 위해 구성되며, 상기 업데이트된 메시 모델 정보는 제 2 시간에 상기 라이트 필드 카메라를 사용하여 상기 환경의 적어도 부분의 측정들에 기초하여 생성된 적어도 일부의 업데이트된 메시 모델 정보를 포함한다. 몇몇 실시예들에서, 업데이트된 메시 모델 정보는 완전한 업데이트된 메시 모델을 전달한다.
몇몇 실시예들에서, 프로세서는 또한: 부가적인 이미지 콘텐트를 수신하며; 상기 업데이트된 메시 모델 정보를 사용하여, 상기 수신된 부가적인 이미지 콘텐트 중 적어도 일부를 렌더링하도록 재생 디바이스를 제어하기 위해 구성된다.
몇몇 실시예들에서, 프로세서는 또한: 상기 제 1 메시 모델에 2D 이미지 공간을 매핑한 제 1 맵을 수신하며(예로서, 인터페이스(1910 또는 1906)를 통해); 상기 제 1 메시 모델을 사용하여, 수신된 이미지 콘텐트의 적어도 일부를 렌더링하도록 구성되는 부분으로서 상기 수신된 이미지 콘텐트에 포함된 이미지를 어떻게 상기 제 1 메시 모델로 랩핑하는지를 결정하기 위해 상기 제 1 맵을 사용하도록 재생 디바이스를 제어하기 위해 구성된다.
몇몇 실시예들에서, 프로세서는 또한: 상기 업데이트된 메시 모델 정보에 대응하는 업데이트된 맵 정보를 수신하며(예로서, 인터페이스(1910 또는 1906)를 통해); 상기 업데이트된 메시 모델 정보를 사용하여, 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하도록 구성되는 부분으로서 상기 수신된 부가적인 이미지 콘텐트에 포함된 부가적인 이미지를 어떻게 상기 업데이트된 메시 모델로 랩핑할지를 결정하기 위해 상기 업데이트된 맵 정보를 사용하도록 재생 디바이스를 제어하기 위해 구성된다.
몇몇 실시예들에서, 업데이트된 맵 정보는 맵 차이 정보를 포함한다. 몇몇 이러한 실시예들에서, 프로세서는 또한: 업데이트된 맵을 생성하기 위해 상기 맵 차이 정보를 상기 제 1 맵에 적용함으로써 업데이트된 맵을 생성하며; 상기 업데이트된 메시 모델 정보를 사용하여, 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하는 부분으로서 상기 수신된 부가적인 이미지 콘텐트에 포함된 부가적인 이미지를 어떻게 상기 업데이트된 메시 모델로 랩핑할지를 결정하기 위해 상기 업데이트된 맵을 사용하도록 재생 디바이스를 제어하기 위해 구성된다.
단계들은 대표적인 순서로 도시되지만, 많은 경우들에서 단계들의 순서는 동작에 악영향을 주지 않고 변경될 수 있다는 것이 이해되어야 한다. 따라서, 단계들의 대표적인 순서가 적절한 동작을 위해 요구되지 않는다면, 단계들의 순서는 대표적이며 제한적이지 않은 것으로 고려될 것이다.
다양한 실시예들이 논의되었지만, 반드시 모든 실시예들이 동일한 특징들을 포함하는 것은 아니며 설명된 특징들 중 일부가 필요하지 않지만 몇몇 실시예들에서 바람직할 수 있다는 것이 이해되어야 한다.
다양한 범위들 및 대표적인 값들이 설명되지만, 범위들 및 값들은 대표적이다. 몇몇 실시예들에서, 값들의 범위들은 상기 논의된 범위들보다 20% 더 크다. 다른 실시예들에서, 범위들은 상기 논의된 대표적인 범위들보다 20% 더 작다. 유사하게, 특정한 값들은, 때때로, 상기 특정된 값들보다 20%까지 더 클 수 있는 반면, 다른 실시예들에서 값들은 상기 특정된 값들보다 20%까지 더 작다. 계속해서 다른 실시예들에서, 다른 값들이 사용된다.
도 19는 3D 모델을 세그먼트들로 나누기 위해 사용된 라인들의 교차점으로서 예시된 복수의 노드들을 갖고 다양한 실시예들에서 사용될 수 있는 대표적인 3D 메시 모델(2000)을 예시한다. 도 19의 모델은 3D 공간에서 도시되며 세그먼트들의 형태가 알려져 있거나 또는 노드들을 상호 연결하기 위한 규칙들이 3D 모델에서 알려져 있거나 또는 정의된다고 가정할 때 3D 공간에서의 메시에서 노드들의 위치를 정의하는 [X, Y, Z] 좌표들의 세트로서 표현될 수 있다. 몇몇 실시예들에서, 세그먼트들은 직선들에 의해 미리 결정된 수의 인접한 노드들로 연결한 각각의 노드를 갖고 동일한 수의 측면들을 갖도록 미리 결정된다. 도 19 예에서, 모델(2000)의 최상부 부분은 삼각형 세그먼트들의 세트인 반면 측면 부분들은 복수의 4개의 면이 있는 세그먼트들에 의해 형성된다. 이러한 구성, 예로서 3개의 면을 가진 세그먼트들로 형성된 최상부 부분 및 4개의 면을 가진 세그먼트들에 의해 형성된 측면 부분은 3D 모델의 정보 형성 부분에 포함되거나 또는 미리 결정될 수 있다. 이러한 정보는 메시 모델 정보와 함께 또는 그것의 부분으로서 고객 렌더링 및 재생 디바이스들로 제공된다.
도 20은 때때로 2D UV 공간으로서 불리우는 것에서의 프레임을 도 19에 도시된 3D 모델(2000)에 매핑시킬 때 사용될 수 있는 대표적인 UV 맵(2002)을 도시한다. UV 맵(2002)은 1 대 1 매핑 관계를 갖고 3D 모델(2000)에서처럼 동일한 수의 노드들 및 세그먼트들을 포함한다는 것을 주의하자. 때때로 텍스처로 불리우는 것을 제공하지만, 보통 실제 환경에서 카메라 리그의 좋은 위치(vantage point)로부터 캡처된 이미지들의 콘텐트를 포함하는 프레임들은, 시뮬레이션된 환경의 3D 모델(2000) 내에서의 위치[0, 0, 0]에 대응하는 위치에서, 이미지 렌더링 동작의 부분으로서 맵(2002)에 따라 3D 모델(2000)로 적용, 예로서 랩핑될 수 있다.
도 19 및 도 20에서, 강조를 위해 점으로서 도시되는 대표적인 노드(P)는, 다른 메시 노드들의 각각처럼, UV 맵(2002) 및 3D 모델(2000) 양쪽 모두에 나타난다. 노드(P[X, Y, Z])는 노드(P[U, V])에 대응하며, 여기에서 X, Y, Z는 X, Y, Z 공간에서 노드 P의 위치를 특정하며 U, V는 2차원 공간에서 대응하는 노드 P의 위치를 특정한다는 것을 주의하자. 각각의 U, V 쌍은 2D 이미지 텍스처, 예로서 프레임의 단일 픽셀의 X, Y를 나타낸다. 주위 픽셀들은 가까운 U, V 쌍들 간을 보간함으로써 렌더링 프로세스 동안 2D 프레임으로부터 3D 메시로 매핑된다.
다양한 실시예들의 기술들은 소프트웨어, 하드웨어 및/또는 소프트웨어 및 하드웨어의 조합을 사용하여 구현될 수 있다. 다양한 실시예들은, 장치, 예로서 이미지 데이터 캡처 및 프로세싱 시스템들에 관한 것이다. 다양한 실시예들은 또한 방법들, 예로서 이미지 캡처 및/또는 이미지 데이터를 프로세싱하는 방법에 관한 것이다. 다양한 실시예들은 또한 비-일시적 기계, 예로서 컴퓨터, 판독 가능한 매체, 예로서 ROM, RAM, CD들, 하드 디스크들 등에 관한 것이며, 이것은 방법의 하나 이상의 단계들을 구현하도록 기계를 제어하기 위한 기계 판독 가능한 지시들을 포함한다.
본 발명의 다양한 특징들은 모듈들을 사용하여 구현된다. 이러한 모듈들은, 몇몇 실시예들에서, 소프트웨어 모듈들로서 구현될 수 있다. 다른 실시예들에서, 모듈들은 하드웨어로 구현된다. 계속해서 다른 실시예들에서, 모듈들은 소프트웨어 및 하드웨어의 조합을 사용하여 구현된다. 몇몇 실시예들에서, 모듈들은 개개의 회로들로서 구현되며 각각의 모듈은 모듈이 대응하는 기능을 수행하기 위한 회로로서 구현된다. 상이한 모듈들이 상이하게, 예로서 일부 하드웨어로, 일부 소프트웨어로, 및 일부 하드웨어 및 소프트웨어의 조합을 사용하여 구현되는 몇몇 실시예들을 포함한 매우 다양한 실시예들이 고려된다. 루틴들 및/또는 서브루틴들, 또는 이러한 루틴들에 의해 수행된 단계들 중 일부는, 범용 프로세서상에서 실행된 소프트웨어와 대조적으로 전용 하드웨어로 구현될 수 있다는 것이 또한 주의되어야 한다. 이러한 실시예들은 본 발명의 범위 내에 있다. 많은 상기 설명된 방법들 또는 방법 단계들은 상기 설명된 방법들 모두 또는 그것의 부분들을 구현하도록, 기계, 예로서 부가적인 하드웨어를 갖거나 또는 그것이 없는 범용 컴퓨터를 제어하기 위해, 메모리 디바이스, 예로서 RAM, 플로피 디스크 등과 같은 기계 판독 가능한 매체에 포함된, 소프트웨어와 같은, 기계 실행 가능한 지시들을 사용하여 구현될 수 있다. 따라서, 다른 것들 중에서, 본 발명은 기계, 예로서 프로세서 및 연관된 하드웨어로 하여금, 상기 설명된 방법(들)의 단계들 중 하나 이상을 수행하게 하기 위한 기계 실행 가능한 지시들을 포함한 기계-판독 가능한 매체에 관한 것이다.
몇몇 실시예들은, 입체 비디오를 인코딩하며 압축하도록 컴퓨터 또는 다른 디바이스를 제어하기 위한 소프트웨어 지시들, 예로서 컴퓨터 실행 가능한 지시들의 세트를 구체화한 비-일시적 컴퓨터 판독 가능한 매체에 관한 것이다. 다른 실시예들은 플레이어 단부 상에서 비디오를 디코딩하며 압축 해제하도록 컴퓨터 또는 다른 디바이스를 제어하기 위해, 소프트웨어 지시들, 예로서 컴퓨터 실행 가능한 지시들의 세트를 구체화한 컴퓨터 판독 가능한 매체에 관한 것이다. 인코딩 및 압축이 가능한 별개의 동작들로서 언급되지만, 인코딩은 압축을 수행하기 위해 사용될 수 있으며 그에 따라 인코딩은, 몇몇 실시예들에서 압축을 포함할 수 있다는 것이 이해되어야 한다. 유사하게, 디코딩은 압축 해제를 수반할 수 있다.
다양한 실시예들에서, 프로세싱 시스템의 프로세서는 대표적인 설명된 프로세싱 시스템에 의해 수행된 방법 단계들을 수행하도록 프로세싱 시스템을 제어하기 위해 구성된다. 다양한 실시예들에서, 재생 디바이스의 프로세서는 본 출원에서 설명된 방법들 중 하나 이상의, 재생 디바이스에 의해 수행된, 단계들을 구현하도록 재생 디바이스를 제어하기 위해 구성된다.
상기 설명된 다양한 실시예들의 방법들 및 장치에 대한 다수의 부가적인 변화들이 상기 설명을 고려하여 이 기술분야의 숙련자들에게 명백할 것이다. 이러한 변화들은 범위 내에 있는 것으로 고려될 것이다.
100: 카메라 리그 115: 교정 타겟
300: 카메라 리그 310, 312, 314: 핸들
316: 장착 플랫폼 330, 331: 너트 또는 나사
350: 플라스틱 커버 400: 카메라 리그
510: 지지 바 514: 이동 가능한 암
515: 핸들 602: 디스플레이 디바이스
720: 지지 구조 722: 베이스
730, 732, 810: 오디오 캡처 시스템 801: 카메라 리그
805: 최상부 커버 811, 813, 817: 핸들
842: 최하부 베이스 커버 845, 847, 849: 가드
902, 904, 906, 925: 렌즈 어셈블리 960: 베이스 지지대
1101: 카메라 리그 1400: 시스템
1404: 이미징 장치 1406: 입체 이미징 시스템
1408: 프로세싱 시스템 1410, 1412: 고객 댁내
1420, 1424: 디스플레이 디바이스
1422, 1426: 디코딩 장치/재생 디바이스
1450: 통신 네트워크 1600: 라이트 필드 카메라
1602: 디스플레이 디바이스 1604: 입력 디바이스
1606: I/O 인터페이스 1607: 온-칩 깊이 맵 생성 회로
1608: 프로세서 1609: 버스
1610: 메모리 1612: 광학 체인
1614: 네트워크 인터페이스 1620: 제어 루틴
1622: 데이터 정보 1624: 마이크로 렌즈 어레이
1626: 이미지 센서 1700: 시스템
1702: 디스플레이 1704: 입력 디바이스
1706: I/O 인터페이스 1708: 프로세서
1709: 버스 1710: 네트워크 인터페이스
1712: 메모리 1714: 제어 루틴
1716: 이미지 인코더 1717: 깊이 맵 가용성 결정 모듈
1718: 합성 깊이 맵 생성 모듈 1719: 현재 깊이 맵 결정 모듈
1720: 스트리밍 제어기 1721: 이미지 생성 모듈
1722: 깊이 맵 조화 모듈 1730: 정적 깊이 맵
1740: 다중포트 브로드캐스트 송신기 1742: 수신기
1900: 재생 및 렌더링 시스템 1902: 디스플레이
1903: 디스플레이 디바이스 인터페이스
1904: 사용자 입력 인터페이스 디바이스
1906: I/O 인터페이스 1908: 프로세서
1909: 버스 1910: 네트워크 인터페이스
1911: 송신기 1912: 메모리
1913: 수신기 1914: 제어 루틴
1916: 사용자 입력 프로세싱 모듈
1918: 머리 위치 및/또는 시야 각 결정 모듈
1920: 디코더 모듈 1922: 입체 이미지 렌더링 모듈
1924: 3D 메시 모델 업데이트 모듈 1926: UV 맵 업데이트 모듈

Claims (20)

  1. 재생 디바이스를 동작시키는 방법에 있어서:
    제 1 시간에 라이트 필드 카메라를 사용하여 이루어진 3D 환경의 일 부분의 측정들에 기초하여 생성된 상기 환경의 제 1 메시 모델을 전달하는 정보를 수신하는 단계;
    이미지 콘텐트를 수신하는 단계; 및
    상기 제 1 메시 모델을 사용하여 상기 수신된 이미지 콘텐트의 적어도 일부를 렌더링하는 단계를 포함하는, 재생 디바이스를 동작시키는 방법.
  2. 제 1 항에 있어서,
    업데이트된 메시 모델 정보를 수신하는 단계로서, 상기 업데이트된 메시 모델 정보는 제 2 시간에 상기 라이트 필드 카메라를 사용하여 상기 환경의 상기 부분의 측정들에 기초하여 생성된 적어도 일부의 업데이트된 메시 모델 정보를 포함하는, 상기 업데이트된 메시 모델 정보 수신 단계를 더 포함하는, 재생 디바이스를 동작시키는 방법.
  3. 제 2 항에 있어서,
    부가적인 이미지 콘텐트를 수신하는 단계; 및
    상기 업데이트된 메시 모델 정보를 사용하여, 상기 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하는 단계를 더 포함하는, 재생 디바이스를 동작시키는 방법.
  4. 제 3 항에 있어서,
    3D 환경의 제 1 메시 모델을 전달하는 상기 정보는 완전한 메시 모델을 정의하는 정보를 포함하는, 재생 디바이스를 동작시키는 방법.
  5. 제 4 항에 있어서,
    상기 업데이트된 메시 모델 정보는 완전한 업데이트된 메시 모델을 전달하는, 재생 디바이스를 동작시키는 방법.
  6. 제 5 항에 있어서,
    상기 업데이트된 메시 모델 정보는 상기 제 1 및 제 2 시간 기간들 사이에서 변한 상기 3D 환경의 부분들에 대한 새로운 메시 정보를 제공하는, 재생 디바이스를 동작시키는 방법.
  7. 제 6 항에 있어서,
    상기 업데이트된 메시 모델 정보는 상기 제 1 메시 모델 및 업데이트된 메시 모델 사이에서의 차이를 나타내는 차이 정보인, 재생 디바이스를 동작시키는 방법.
  8. 제 7 항에 있어서,
    상기 제 1 메시 모델 정보는 제 1 세트의 좌표 트리플들을 포함하며, 각각의 좌표 트리플은 상기 제 1 메시 모델에서 노드의 X, Y, Z 공간에서의 좌표를 나타내는, 재생 디바이스를 동작시키는 방법.
  9. 제 8 항에 있어서,
    상기 업데이트된 메시 모델 정보는: i) 상기 제 1 메시 모델 정보에서 적어도 몇몇 노드들에 대한 새로운 세트들의 메시 좌표들로서, 상기 새로운 좌표들은 상기 제 1 메시 모델에서 대응하는 노드들의 좌표들을 교체하도록 의도되는, 상기 새로운 세트들의 메시 좌표들; 또는 ii) 이전 세트의 좌표 트리플들 대신에 상기 제 1 메시 모델의 적어도 일 부분을 위해 사용될 새로운 세트의 좌표 트리플들로서, 상기 새로운 세트의 좌표 트리플들은 교체될 상기 이전 세트의 좌표 트리플들과 동일한 또는 상이한 수의 좌표 트리플들을 포함하는, 상기 새로운 세트의 좌표 트리플들 중 적어도 하나를 포함하는, 재생 디바이스를 동작시키는 방법.
  10. 제 9 항에 있어서,
    상기 제 1 메시 모델에 2D 이미지 공간을 매핑시키는 제 1 맵을 수신하는 단계를 더 포함하며,
    상기 제 1 메시 모델을 사용하여, 상기 수신된 이미지 콘텐트의 적어도 일부를 렌더링하는 단계는 상기 수신된 이미지 콘텐트에 포함된 이미지를 어떻게 상기 제 1 메시 모델로 랩핑할지를 결정하기 위해 상기 제 1 맵을 사용하는 단계를 포함하는, 재생 디바이스를 동작시키는 방법.
  11. 제 10 항에 있어서,
    상기 업데이트된 메시 모델 정보에 대응하는 업데이트된 맵 정보를 수신하는 단계를 더 포함하며;
    상기 업데이트된 메시 모델 정보를 사용하여, 상기 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하는 단계는 상기 수신된 부가적인 이미지 콘텐트에 포함된 부가적인 이미지를 어떻게 상기 업데이트된 메시 모델로 랩핑할지를 결정하기 위해 상기 업데이트된 맵 정보를 사용하는 단계를 포함하는, 재생 디바이스를 동작시키는 방법.
  12. 제 11 항에 있어서,
    상기 업데이트된 맵 정보는 맵 차이 정보를 포함하며, 상기 방법은:
    업데이트된 맵을 생성하기 위해 상기 제 1 맵에 상기 맵 차이 정보를 적용함으로써 업데이트된 맵을 생성하는 단계를 더 포함하며;
    상기 업데이트된 메시 모델 정보를 사용하여, 상기 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하는 단계는 상기 수신된 부가적인 이미지 콘텐트에 포함된 부가적인 이미지를 어떻게 상기 업데이트된 메시 모델로 랩핑할지를 결정하기 위해 상기 업데이트된 맵을 사용하는 단계를 포함하는, 재생 디바이스를 동작시키는 방법.
  13. 컴퓨터 실행 가능한 지시들을 포함한 컴퓨터 판독 가능한 매체에 있어서,
    상기 컴퓨터 실행 가능한 지시들은, 컴퓨터에 의해 실행될 때:
    제 1 시간에 라이트 필드 카메라를 사용하여 이루어진 3D 환경의 일 부분의 측정들에 기초하여 생성된 상기 환경의 제 1 메시 모델을 전달하는 정보를 수신하고;
    이미지 콘텐트를 수신하고;
    상기 제 1 메시 모델을 사용하여, 상기 수신된 이미지 콘텐트의 적어도 일부를 렌더링하도록, 상기 컴퓨터를 제어하는, 컴퓨터 판독 가능한 매체.
  14. 재생 장치에 있어서,
    프로세서로서:
    제 1 시간에 라이트 필드 카메라를 사용하여 이루어진 3D 환경의 일 부분의 측정들에 기초하여 생성된 상기 환경의 제 1 메시 모델을 전달하는 정보를 수신하고;
    이미지 콘텐트를 수신하고;
    상기 제 1 메시 모델을 사용하여, 상기 수신된 이미지 콘텐트의 적어도 일부를 렌더링하도록, 상기 재생 장치를 제어하도록 구성된, 상기 프로세서를 포함하는, 재생 장치.
  15. 제 14 항에 있어서,
    상기 프로세서는 또한:
    업데이트된 메시 모델 정보를 수신하도록 상기 재생 장치를 제어하도록 구성되고, 상기 업데이트된 메시 모델 정보는 제 2 시간에 상기 라이트 필드 카메라를 사용하여 상기 환경의 부분의 측정들에 기초하여 생성된 적어도 일부의 업데이트된 메시 모델 정보를 포함하는, 재생 장치.
  16. 제 15 항에 있어서,
    상기 프로세서는 또한:
    부가적인 이미지 콘텐트를 수신하고;
    상기 업데이트된 메시 모델 정보를 사용하여, 상기 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하도록, 상기 재생 장치를 제어하기 위해 구성되는, 재생 장치.
  17. 제 14 항에 있어서,
    상기 프로세서는 또한:
    상기 제 1 메시 모델에 2D 이미지 공간을 매핑시키는 제 1 맵을 수신하고;
    상기 제 1 메시 모델을 사용하여, 상기 수신된 이미지 콘텐트의 적어도 일부를 렌더링하도록 구성되는 부분으로서 상기 수신된 이미지 콘텐트에 포함된 이미지를 어떻게 상기 제 1 메시 모델로 랩핑할지를 결정하기 위해 상기 제 1 맵을 사용하도록, 상기 재생 장치를 제어하기 위해 구성되는, 재생 장치.
  18. 제 17 항에 있어서,
    상기 프로세서는 또한:
    상기 업데이트된 메시 모델 정보에 대응하는 업데이트된 맵 정보를 수신하고;
    상기 업데이트된 메시 모델 정보를 사용하여, 상기 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하도록 구성되는 부분으로서 상기 수신된 부가적인 이미지 콘텐트에 포함된 부가적인 이미지를 어떻게 상기 업데이트된 메시 모델로 랩핑할지를 결정하기 위해 상기 업데이트된 맵 정보를 사용하도록, 상기 재생 장치를 제어하기 위해 구성되는, 재생 장치.
  19. 제 18 항에 있어서,
    상기 업데이트된 맵 정보는 맵 차이 정보를 포함하고;
    상기 프로세서는 또한:
    업데이트된 맵을 생성하기 위해 상기 제 1 맵에 상기 맵 차이 정보를 적용함으로써 업데이트된 맵을 생성하고;
    상기 업데이트된 메시 모델 정보를 사용하여, 상기 수신된 부가적인 이미지 콘텐트의 적어도 일부를 렌더링하는 부분으로서 상기 수신된 부가적인 이미지 콘텐트에 포함된 부가적인 이미지를 어떻게 상기 업데이트된 메시 모델로 랩핑할지를 결정하기 위해 상기 업데이트된 맵을 사용하도록, 상기 재생 장치를 제어하기 위해 구성되는, 재생 장치.
  20. 제 16 항에 있어서,
    3D 환경의 제 1 메시 모델을 전달하는 상기 정보는 완전한 메시 모델을 정의한 정보를 포함하는, 재생 장치.
KR1020177027972A 2015-03-01 2016-03-01 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치 KR20170127505A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201562126701P 2015-03-01 2015-03-01
US201562126709P 2015-03-01 2015-03-01
US62/126,701 2015-03-01
US62/126,709 2015-03-01
US201562127215P 2015-03-02 2015-03-02
US62/127,215 2015-03-02
PCT/US2016/020159 WO2016140934A2 (en) 2015-03-01 2016-03-01 Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering

Publications (1)

Publication Number Publication Date
KR20170127505A true KR20170127505A (ko) 2017-11-21

Family

ID=56798339

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177027972A KR20170127505A (ko) 2015-03-01 2016-03-01 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치

Country Status (7)

Country Link
US (9) US10397538B2 (ko)
EP (2) EP3265999A4 (ko)
JP (2) JP2018507650A (ko)
KR (1) KR20170127505A (ko)
CN (2) CN107430446A (ko)
CA (1) CA2977113A1 (ko)
WO (2) WO2016140934A2 (ko)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11277598B2 (en) * 2009-07-14 2022-03-15 Cable Television Laboratories, Inc. Systems and methods for network-based media processing
JP5955405B2 (ja) * 2012-11-07 2016-07-20 株式会社日立製作所 管理対象システムを管理するシステム及びプログラム
TWI527434B (zh) * 2014-03-21 2016-03-21 國立臺灣大學 利用光場相機產生立體影像的方法及光場相機
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
WO2016134048A1 (en) 2015-02-17 2016-08-25 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2016140934A2 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US10368104B1 (en) * 2015-04-01 2019-07-30 Rockwell Collins, Inc. Systems and methods for transmission of synchronized physical and visible images for three dimensional display
US9930315B2 (en) 2015-04-29 2018-03-27 Lucid VR, Inc. Stereoscopic 3D camera for virtual reality experience
US10066933B2 (en) * 2015-05-04 2018-09-04 Facebook, Inc. Camera depth mapping using structured light patterns
US10785393B2 (en) 2015-05-22 2020-09-22 Facebook, Inc. Methods and devices for selective flash illumination
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10706621B2 (en) * 2015-11-30 2020-07-07 Photopotech LLC Systems and methods for processing image information
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10057562B2 (en) 2016-04-06 2018-08-21 Facebook, Inc. Generating intermediate views using optical flow
US9934615B2 (en) 2016-04-06 2018-04-03 Facebook, Inc. Transition between binocular and monocular views
CN107316273B (zh) * 2016-04-27 2021-05-18 深圳看到科技有限公司 全景图像采集装置及采集方法
US10298819B2 (en) 2016-07-20 2019-05-21 Nextvr Inc. Camera apparatus and methods which allow for filters to be used
US20180032638A1 (en) * 2016-07-27 2018-02-01 Toyota Motor Engineering & Manufacturing North America, Inc. Surface Analysis Systems and Methods of Generating a Comparator Surface Reference Model of a Multi-Part Assembly Using the Same
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
WO2018063957A1 (en) * 2016-09-30 2018-04-05 Silver VR Technologies, Inc. Methods and systems for virtual reality streaming and replay of computer video games
US10325391B2 (en) * 2016-11-21 2019-06-18 Qualcomm Incorporated Oriented image stitching for spherical image content
WO2018097831A1 (en) * 2016-11-24 2018-05-31 Smith Joshua R Light field capture and rendering for head-mounted displays
CN206523701U (zh) * 2016-12-30 2017-09-26 深圳市大疆创新科技有限公司 可穿戴设备
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images
US10509947B1 (en) 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
US10593042B1 (en) * 2017-04-11 2020-03-17 Zoox, Inc. Perspective conversion for multi-dimensional data analysis
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
US10255949B2 (en) 2017-05-31 2019-04-09 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
US11176098B2 (en) * 2017-06-01 2021-11-16 Edx Technologies, Inc. Methods and systems for providing customized virtual and augmented realities
US10304251B2 (en) * 2017-06-15 2019-05-28 Microsoft Technology Licensing, Llc Virtually representing spaces and objects while maintaining physical properties
GB2563895B (en) * 2017-06-29 2019-09-18 Sony Interactive Entertainment Inc Video generation method and apparatus
CN107506236A (zh) * 2017-09-01 2017-12-22 上海智视网络科技有限公司 显示设备及其显示方法
US10460509B2 (en) * 2017-11-07 2019-10-29 Dolby Laboratories Licensing Corporation Parameterizing 3D scenes for volumetric viewing
US11451881B2 (en) * 2017-12-15 2022-09-20 Interdigital Madison Patent Holdings, Sas Method for using viewing paths in navigation of 360 degree videos
US10712830B2 (en) * 2018-02-14 2020-07-14 Aaron Derouin Three-dimensional visual target acquisition systems
US10652567B2 (en) * 2018-03-28 2020-05-12 Apple Inc. Applications for decoder-side modeling of objects identified in decoded video data
US10735709B2 (en) 2018-04-04 2020-08-04 Nextvr Inc. Methods and apparatus for capturing, processing and/or communicating images
US10586343B1 (en) * 2018-06-01 2020-03-10 Facebook Technologies, Llc 3-d head mounted display based environmental modeling system
CN108616743B (zh) * 2018-06-04 2019-12-31 盎锐（上海）信息科技有限公司 用于生成3d模型的成像装置及方法
EP3588249A1 (en) 2018-06-26 2020-01-01 Koninklijke Philips N.V. Apparatus and method for generating images of a scene
US10861249B2 (en) * 2018-07-27 2020-12-08 The Q Digital Technologies, Inc. Methods and system for manipulating digital assets on a three-dimensional viewing platform
US11557060B2 (en) * 2018-11-05 2023-01-17 Wayfair Llc Systems and methods for scanning three-dimensional objects
CN109379579B (zh) * 2018-11-20 2020-03-17 四川长虹电器股份有限公司 一种实时采集光场真三维数据的处理方法
CN110059151B (zh) * 2019-04-26 2022-10-25 北京百度网讯科技有限公司 地图渲染方法、地图渲染装置、地图服务器和存储介质
CN110266955B (zh) * 2019-06-28 2021-01-26 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
JP7207549B2 (ja) * 2019-07-31 2023-01-18 日本電信電話株式会社 複合現実空間共有システム、サーバ、複合現実端末、複合現実空間共有方法および共有情報管理プログラム
CN111028350B (zh) * 2019-11-21 2022-05-20 大连理工大学 一种利用双目立体相机构建栅格地图的方法
WO2021108913A1 (en) * 2019-12-04 2021-06-10 Studio Thinkwell Montréal Inc. Video system, method for calibrating the video system and method for capturing an image using the video system
CN110996087B (zh) * 2019-12-10 2021-04-02 腾讯科技（深圳）有限公司 视频显示方法、装置
US11710247B2 (en) 2020-01-30 2023-07-25 Unity Technologies Sf System for image compositing including training with synthetic data
US11676252B2 (en) 2020-01-31 2023-06-13 Unity Technologies Sf Image processing for reducing artifacts caused by removal of scene elements from images
US20210274092A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views in captured imagery using pixel replacement from secondary imagery
US20210274091A1 (en) 2020-02-28 2021-09-02 Weta Digital Limited Reconstruction of obscured views of captured imagery using arbitrary captured inputs
US11694313B2 (en) 2020-02-28 2023-07-04 Unity Technologies Sf Computer-generated image processing including volumetric scene reconstruction
US11369874B2 (en) * 2020-04-29 2022-06-28 Lenovo (Singapore) Pte. Ltd. Rendering video game on display device using GPU in display device and video game data from second device
US11393179B2 (en) * 2020-10-09 2022-07-19 Open Space Labs, Inc. Rendering depth-based three-dimensional model with integrated image frames
US11776210B2 (en) * 2021-01-22 2023-10-03 Sony Group Corporation 3D face modeling based on neural networks
KR20230079618A (ko) * 2021-11-29 2023-06-07 삼성전자주식회사 인체를 3차원 모델링하는 방법 및 장치
KR102421512B1 (ko) * 2022-03-14 2022-07-15 정현인 휴대용 입체촬영 카메라 및 시스템
EP4383687A1 (en) * 2022-12-08 2024-06-12 Amadeus S.A.S. Multi-platform content normalization engine

Family Cites Families (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5187571A (en) 1991-02-01 1993-02-16 Bell Communications Research, Inc. Television system for displaying multiple views of a remote location
US6111582A (en) 1996-12-20 2000-08-29 Jenkins; Barry L. System and method of image generation and encoding using primitive reprojection
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
US6262737B1 (en) * 1998-01-30 2001-07-17 University Of Southern California 3D mesh compression and coding
US6445398B1 (en) 1998-02-04 2002-09-03 Corporate Media Partners Method and system for providing user interface for electronic program guide
US6476806B1 (en) * 1999-04-16 2002-11-05 Hewlett-Packard Company Method and apparatus for performing occlusion testing while exploiting frame to frame temporal coherence
US6574360B1 (en) * 1999-07-23 2003-06-03 International Business Machines Corp. Accelerated occlusion culling using directional discretized occluders and system therefore
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6970591B1 (en) * 1999-11-25 2005-11-29 Canon Kabushiki Kaisha Image processing apparatus
US6990228B1 (en) 1999-12-17 2006-01-24 Canon Kabushiki Kaisha Image processing apparatus
US6664961B2 (en) * 2000-12-20 2003-12-16 Rutgers, The State University Of Nj Resample and composite engine for real-time volume rendering
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US20020196250A1 (en) * 2001-06-20 2002-12-26 Gateway, Inc. Parts assembly for virtual representation and content creation
US6982715B2 (en) * 2002-07-26 2006-01-03 Intel Corporation Mesh compression process
CN100416613C (zh) * 2002-09-29 2008-09-03 西安交通大学 计算机网络环境智能化场景绘制装置系统及绘制处理方法
US7348989B2 (en) 2003-03-07 2008-03-25 Arch Vision, Inc. Preparing digital images for display utilizing view-dependent texturing
EP1587035A1 (en) 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
GB2415344B (en) * 2004-06-14 2010-10-06 Canon Europa Nv Texture data compression and rendering in 3D computer graphics
GB2445008B (en) * 2006-12-20 2008-12-31 Sony Comp Entertainment Europe Image compression and/or decompression
KR100914846B1 (ko) 2007-12-15 2009-09-02 한국전자통신연구원 2차원 환경에서 3차원 모델의 텍스쳐 맵 제작 방법 및시스템
JP2010028456A (ja) 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
EP2308241B1 (en) 2008-07-24 2017-04-12 Koninklijke Philips N.V. Versatile 3-d picture format
KR101502362B1 (ko) 2008-10-10 2015-03-13 삼성전자주식회사 영상처리 장치 및 방법
US8451320B1 (en) 2009-01-23 2013-05-28 Next3D, Inc. Methods and apparatus for stereoscopic video compression, encoding, transmission, decoding and/or decompression
AU2010215135B2 (en) 2009-02-17 2016-05-12 Koninklijke Philips Electronics N.V. Combining 3D image and graphical data
US8896592B2 (en) * 2009-08-21 2014-11-25 Align Technology, Inc. Digital dental modeling
WO2011028547A2 (en) 2009-08-24 2011-03-10 Next3D Inc. Stereoscopic video encoding and decoding methods and apparatus
CN101661623B (zh) * 2009-10-21 2012-04-25 上海交通大学 基于线性规划的变形体三维跟踪方法
KR101313797B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
CN101794462A (zh) * 2010-03-12 2010-08-04 中山大学 一种基于纹理的三维网格模型变形方法及系统
US8896671B2 (en) 2010-04-09 2014-11-25 3D-4U, Inc. Apparatus and method for capturing images
CN107093203A (zh) 2010-06-30 2017-08-25 巴里·林恩·詹金斯 图形信息的基于导航的预取发送或接收的控制方法和系统
GB2483434A (en) * 2010-08-31 2012-03-14 Sony Corp Detecting stereoscopic disparity by comparison with subset of pixel change points
US8332900B2 (en) * 2010-12-01 2012-12-11 At&T Intellectual Property I, L.P. Method and system for performance metric analysis of video assets
US10109065B2 (en) 2011-01-25 2018-10-23 Qualcomm Incorporated Using occlusions to detect and track three-dimensional objects
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US9485494B1 (en) 2011-04-10 2016-11-01 Nextvr Inc. 3D video encoding and decoding methods and apparatus
US9407902B1 (en) 2011-04-10 2016-08-02 Nextvr Inc. 3D video encoding and decoding methods and apparatus
TR201819457T4 (tr) * 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
WO2013029675A1 (en) * 2011-08-31 2013-03-07 Metaio Gmbh Method for estimating a camera motion and for determining a three-dimensional model of a real environment
US20130129304A1 (en) * 2011-11-22 2013-05-23 Roy Feinson Variable 3-d surround video playback with virtual panning and smooth transition
US9204127B1 (en) 2012-01-17 2015-12-01 Nextvr Inc. Stereoscopic image processing methods and apparatus
CN102625126B (zh) * 2012-03-22 2014-10-15 北京工业大学 一种基于预测的三维网格编码方法
ITTO20120413A1 (it) 2012-05-08 2013-11-09 Sisvel Technology Srl Metodo per la generazione e ricostruzione di un flusso video tridimensionale, basato sull'utilizzo della mappa delle occlusioni, e corrispondente dispositivo di generazione e ricostruzione.
US20130314401A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for generating a 3-d model of a user for a virtual try-on product
KR20150013392A (ko) * 2012-05-24 2015-02-05 파나소닉 주식회사 수신장치, 송신장치, 수신방법 및 송신방법
US9621869B2 (en) 2012-05-24 2017-04-11 Sony Corporation System and method for rendering affected pixels
US9846960B2 (en) * 2012-05-31 2017-12-19 Microsoft Technology Licensing, Llc Automated camera array calibration
EP2670130B1 (en) * 2012-06-01 2019-03-27 Alcatel Lucent Method and apparatus for mixing a first video signal and a second video signal
US9059495B2 (en) 2012-06-05 2015-06-16 Jorge A. Ruiz-Cruz Compact multiport waveguide switches
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
GB2499694B8 (en) * 2012-11-09 2017-06-07 Sony Computer Entertainment Europe Ltd System and method of image reconstruction
US20140172689A1 (en) 2012-12-14 2014-06-19 Rawllin International Inc. Fungible monetization of media
US20140172678A1 (en) 2012-12-14 2014-06-19 Craig Alan Stephens Institution simulation
US10116911B2 (en) * 2012-12-18 2018-10-30 Qualcomm Incorporated Realistic point of view video method and apparatus
RU2546080C2 (ru) * 2012-12-25 2015-04-10 Пётр Павлович Кузнецов Способ визуализации функционального состояния индивида и система для реализации способа
US9536345B2 (en) * 2012-12-26 2017-01-03 Intel Corporation Apparatus for enhancement of 3-D images using depth mapping and light source synthesis
EP2946551A4 (en) * 2013-01-15 2016-09-07 Imax Corp METHOD AND SYSTEM FOR MULTIPLEXING IMAGE FRAMES
US9336602B1 (en) * 2013-02-19 2016-05-10 Amazon Technologies, Inc. Estimating features of occluded objects
US9538160B1 (en) 2013-04-11 2017-01-03 Nextvr Inc. Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
US9536453B2 (en) 2013-05-03 2017-01-03 Brigham Young University Computer-implemented communication assistant for the hearing-impaired
US9424650B2 (en) * 2013-06-12 2016-08-23 Disney Enterprises, Inc. Sensor fusion for depth estimation
US9239436B2 (en) 2013-11-26 2016-01-19 Corning Cable Systems Llc Fiber optic plug having an articulated force structure to inhibit angular ferrule biasing during insertion into an optical receptacle, and related assemblies and methods
US20150172550A1 (en) 2013-12-16 2015-06-18 Motorola Mobility Llc Display tiling for enhanced view modes
US20150199572A1 (en) * 2014-01-16 2015-07-16 Qualcomm Incorporated Object tracking using occluding contours
CN104008569B (zh) * 2014-02-24 2016-03-02 惠州学院 一种基于深度视频的3d场景生成方法
US9699437B2 (en) 2014-03-03 2017-07-04 Nextvr Inc. Methods and apparatus for streaming content
US9779331B2 (en) * 2014-04-24 2017-10-03 Conduent Business Services, Llc Method and system for partial occlusion handling in vehicle tracking using deformable parts model
US20150310660A1 (en) * 2014-04-25 2015-10-29 Sony Computer Entertainment America Llc Computer graphics with enhanced depth effect
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US9496000B2 (en) * 2014-05-16 2016-11-15 Comcast Cable Communications, Llc Audio modification for adjustable playback rate
US10027948B2 (en) 2014-05-20 2018-07-17 Nextvr Inc. Methods and apparatus including or for use with one or more cameras
US9918136B2 (en) 2014-05-29 2018-03-13 Nextvr Inc. Methods and apparatus for delivering content and/or playing back content
CN105531682A (zh) 2014-08-15 2016-04-27 联发科技股份有限公司 管理多通道存储设备以具有改进的通道切换响应时间的方法及相关的存储控制系统
EP4113991A1 (en) 2014-09-03 2023-01-04 Nevermind Capital LLC Methods and apparatus for capturing, streaming and/or playing back content
KR20170040342A (ko) * 2014-09-09 2017-04-12 노키아 테크놀로지스 오와이 스테레오 이미지 녹화 및 재생
US11218682B2 (en) 2015-01-21 2022-01-04 Nevermind Capital Llc Methods and apparatus for processing and or encoding images with negative parallax
US10531071B2 (en) 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
EP3308215A2 (en) 2015-01-28 2018-04-18 NEXTVR Inc. Zoom related methods and apparatus
US9832449B2 (en) 2015-01-30 2017-11-28 Nextvr Inc. Methods and apparatus for controlling a viewing position
JP2018506797A (ja) 2015-02-12 2018-03-08 ネクストブイアール・インコーポレイテッド 環境測定を行うための、及び／又は、このような測定を使用するための方法及び装置
WO2016134048A1 (en) 2015-02-17 2016-08-25 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
WO2016138043A1 (en) 2015-02-24 2016-09-01 NextVR, Inc. Calibration for immersive content systems
US9894350B2 (en) 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
WO2016140934A2 (en) 2015-03-01 2016-09-09 Nextvr Inc. Methods and apparatus for making environmental measurements and/or using such measurements in 3d image rendering
US9821920B2 (en) 2015-08-18 2017-11-21 Nextvr Inc. Methods and apparatus for compensating for vehicular motion
US9836845B2 (en) 2015-08-25 2017-12-05 Nextvr Inc. Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment
US10715788B2 (en) 2016-07-15 2020-07-14 Nextvr Inc. Camera alignment and/or calibration methods and apparatus
US10298819B2 (en) 2016-07-20 2019-05-21 Nextvr Inc. Camera apparatus and methods which allow for filters to be used
US10200672B2 (en) 2016-08-17 2019-02-05 Nextvr Inc. Methods and apparatus for capturing images of an environment
US20180249189A1 (en) 2017-02-08 2018-08-30 Nextvr Inc. Methods and apparatus for use in a system or device where switching between cameras may occur
US20180225537A1 (en) 2017-02-08 2018-08-09 Nextvr Inc. Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
US20180280656A1 (en) 2017-03-28 2018-10-04 Nextvr Inc. Virtual reality methods and apparatus which use or include brain activity sensors
US10742964B2 (en) 2017-04-04 2020-08-11 Nextvr Inc. Methods and apparatus for displaying images

Also Published As

Publication number Publication date
EP3266199B1 (en) 2019-09-18
WO2016140934A3 (en) 2016-10-27
US10742948B2 (en) 2020-08-11
EP3266199A1 (en) 2018-01-10
US20160255327A1 (en) 2016-09-01
WO2016140986A1 (en) 2016-09-09
US10701331B2 (en) 2020-06-30
US20160255326A1 (en) 2016-09-01
US20190082158A1 (en) 2019-03-14
EP3265999A4 (en) 2018-08-22
US10574962B2 (en) 2020-02-25
EP3266199A4 (en) 2018-07-18
US20220191452A1 (en) 2022-06-16
US20160253809A1 (en) 2016-09-01
EP3265999A2 (en) 2018-01-10
US10038889B2 (en) 2018-07-31
US10397538B2 (en) 2019-08-27
US10033995B2 (en) 2018-07-24
CN107431801A (zh) 2017-12-01
JP2018507650A (ja) 2018-03-15
JP2018514968A (ja) 2018-06-07
CN107430446A (zh) 2017-12-01
US20160253839A1 (en) 2016-09-01
US20160253810A1 (en) 2016-09-01
CA2977113A1 (en) 2016-09-09
US11870967B2 (en) 2024-01-09
WO2016140934A2 (en) 2016-09-09
US20200404236A1 (en) 2020-12-24
US20190082159A1 (en) 2019-03-14
US11272150B2 (en) 2022-03-08

Similar Documents

Publication Publication Date Title
KR20170127505A (ko) 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
US10692234B2 (en) Methods and apparatus for making environmental measurements and/or using such measurements
US20210409672A1 (en) Methods and apparatus for receiving and/or playing back content
US11245891B2 (en) Methods and apparatus for environmental measurements and/or stereoscopic image capture
US10027948B2 (en) Methods and apparatus including or for use with one or more cameras