KR20180123584A - 3차원 360도 가상현실 카메라 노출 제어 - Google Patents

3차원 360도 가상현실 카메라 노출 제어 Download PDF

Info

Publication number
KR20180123584A
KR20180123584A KR1020187032087A KR20187032087A KR20180123584A KR 20180123584 A KR20180123584 A KR 20180123584A KR 1020187032087 A KR1020187032087 A KR 1020187032087A KR 20187032087 A KR20187032087 A KR 20187032087A KR 20180123584 A KR20180123584 A KR 20180123584A
Authority
KR
South Korea
Prior art keywords
shutter speed
test
determining
camera
maximum
Prior art date
Application number
KR1020187032087A
Other languages
English (en)
Other versions
KR102057488B1 (ko
Inventor
브라이언 키이스 캐브럴
알베르트 파라 포조
포레스트 사무엘 브릭스
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20180123584A publication Critical patent/KR20180123584A/ko
Application granted granted Critical
Publication of KR102057488B1 publication Critical patent/KR102057488B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091—Digital circuits
    • G03B7/093—Digital circuits for control of exposure time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

카메라 시스템은 복수의 카메라를 통해 로컬 영역의 360도의 이미지 정보를 캡처하도록 구성되며, 로컬 영역의 적어도 한 부분은 스테레오형이다. 카메라 시스템은 복수의 카메라에 대한 개별적인 노출 설정을 결정한다. 최소 셔터 속도 및 최대 셔터 속도는 결정된 노출 설정으로부터 결정된다. 테스트 노출 설정들의 세트는 결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 결정된다. 테스트 이미지들의 세트는 테스트 노출 설정들의 세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 캡처된다. 각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함한다. 전체 노출 설정은 캡처된 테스트 이미지들의 세트에 기초하여 선택된다. 선택된 전체 노출 설정은 복수의 카메라에 적용된다.

Description

3차원 360도 가상현실 카메라 노출 제어
본 명세서는 일반적으로 카메라 이미징에 관한 것이며, 더 상세하게 3차원(3D) 360도 카메라 시스템의 노출 제어에 관한 것이다.
가상 현실 시스템은 하나 이상의 카메라로 환경의 이미지 및/또는 비디오를 캡처한다. 카메라에 의해 캡처된 이미지 및/또는 비디오는 사용자가 상호작용할 수 있는 가상 현실을 생성하도록 재구성된다. 하나 이상의 카메라의 구성은 캡처된 이미지의 품질 및 원활한 가상 현실 경험을 위해 이미지를 재구성하는 능력에 영향을 준다. 따라서, 카메라의 구성 및 낮은 품질의 캡처된 이미지는 사용자의 가상 현실 경험에 악영향을 미칠 수 있다.
종래의 360도 카메라는 복수의 프레임을 단일 360도 프레임으로 함께 스티칭함으로써 동작한다. 각 프레임은 하나 이상의 프레임에 대해 서로 다른 노출 설정(예컨대, 조리개, 셔터 속도, 필름 속도, 이득 등)을 초래할 수 있는 서로 다른 조명 상태의 영향을 받을 수 있다. 노출 설정의 차이로 인해 노출 설정이 다른 프레임을 사용하여 열등한 360도 이미지가 생성될 수 있다. 예를 들어, 360도 이미지의 밝기가 서로 다른 프레임과 관련된 부분들 사이에서 다를 수 있고, 셔터 속도의 차이로 인해 이미지의 일부 부분들에서 움직이는 물체가 흐려질 수 있으며, 조리개의 차이로 인해 360도 이미지에서 심도(depth of field)가 달라질 수 있고, 이득의 차이로 인해 360도 이미지의 일부 부분들에 과도한 잡음이 발생할 수 있다.
카메라 시스템은 복수의 카메라를 통해 로컬 영역의 360도에 걸쳐 이미지 정보(예를 들어, 이미지, 비디오 등)를 캡처하도록 구성되며, 이들의 적어도 일부는 스테레오형이다. 카메라 어셈블리는 이미지 정보를 처리 서버에 보내고, 처리 서버는 이미지 정보로부터 로컬 영역의 3D-360도 컨텐츠를 생성한다. 3D-360도 컨텐츠는 카메라 어셈블리의 360도 시야각과 관련된 미디어 컨텐츠이며, 예컨대 이미지, 비디오, 오디오 정보 또는 임의의 이들의 조합과 같은 3D로 렌더링될 수 있다.
자연스러운 고화질의 3D-360도 컨텐츠의 생성을 용이하게 하기 위해 카메라 시스템은 전체 노출 설정 및 전체 셔터 설정을 사용한다. 예를 들어, 일부 실시예에서, 카메라 시스템은 전체 셔터를 사용하여 복수의 카메라를 트리거링하여 각 카메라가 동시에 이미지 정보를 캡처한다. 또한, 카메라 시스템은 복수의 카메라 각각에 전체 노출 설정을 적용한다.　전체 노출 설정은 카메라 시스템의 모든 카메라에 적용되는 단일 노출 설정이다. 전체 셔터 설정으로 자연스러운 3D-360도 컨텐츠의 생성을 용이하게 한다.
카메라 시스템은 복수의 카메라에 의해 캡처된 테스트 이미지를 사용하여 전체 노출 설정을 결정한다. 카메라 시스템은 로컬 영역의 한 부분의 각각의 시야각을 각각 갖는 복수의 카메라에 대한 각각의 노출 설정을 결정하고, 결합된 시야각은 로컬 영역의 360도에 걸쳐 있다. 각각의 카메라는 서로 다른 시야각을 가지기 때문에, 복수의 카메라의 다른 카메라들과 다른 노출 설정을 가질 수 있다. 최소 셔터 속도와 최대 셔터 속도는 결정된 노출 설정에 따라 결정된다. 테스트 노출 설정들의 세트는 결정된 최소 셔터 속도와 최대 셔터 속도를 사용하여 결정된다. 카메라 시스템은 결정된 최소 셔터 속도와 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정한다. 카메라 시스템은 세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처한다. 각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처된 복수의 카메라 각각으로부터의 이미지를 포함한다. 전체 노출 설정은 캡처된 테스트 이미지의 그룹을 기반으로 선택된다. 선택된 전체 노출 설정은 복수의 카메라에 적용된다.
본 발명에 따른 실시예들은 특히 방법, 저장 매체, 시스템 및 컴퓨터 프로그램 제품에 대한 첨부된 청구항에 개시되고, 한 청구항 카테고리, 예컨대 방법에 언급된 임의의 특징은 다른 청구항 카테고리, 예컨대 시스템에도 청구될 수 있다. 첨부된 청구항의 인용 또는 참조는 형식상의 이유를 위해 선택되었을 뿐이다. 그러나, 임의의 이전의 청구항들에 대한 의도적인 재-참조(특히, 다수의 종속항들)로부터 생성된 임의의 발명의 내용은 청구항들과 이들의 특징들의 임의의 조합이 개시되고 첨부된 청구항들에서 선택된 종속항들에 관계없이 청구될 수 있도록 또한 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구항에 나타난 바와 같은 특징의 조합뿐만 아니라 청구항의 특징의 다른 임의의 조합을 포함하는데, 청구항에 언급된 각 특징은 청구항의 임의의 다른 특징 또는 다른 특징의 조합과 조합될 수 있다. 나아가, 임의의 실시예와 본 명세서에 서술되거나 도시된 특징은 별개의 청구항 및/또는 임의의 실시예나 본 명세서에 서술되거나 도시된 특징과의 또는 첨부된 청구항의 임의의 특징과의 조합에 청구될 수 있다.
본 발명에 다른 일실시예로, 본 방법은: 로컬 영역의 한 부분의 개별 시야각을 각각 가지는 복수의 카메라에 대한 각각의 노출 설정을 결정하는 단계; 결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정하는 단계; 결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계; 세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처하는 단계; 캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계; 및 선택된 전체 노출 설정을 복수의 카메라에 적용하는 단계를 포함할 수 있으며, 결합된 시야각의 범위는 로컬 영역의 360도가 되고, 각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되고 선택적으로 동일한 시간에 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함한다.
결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는: 최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및 최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함할 수 있다.
하나 이상의 테스트 셔터 속도는 최소 셔터 속도와 최대 셔터 속도 사이에서 균등하게 분포될 수 있다.
결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는: 임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및 최대 셔터 속도가 임계 시간 값 이하라고 결정함에 응답하여, 최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계와, 최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 더 포함할 수 있다.
결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는: 임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및 최대 셔터 속도가 임계 시간 값보다 더 크다고 결정함에 응답하여, 복수의 테스트 이득 값을 결정하는 단계와, 복수의 테스트 이득 값에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함할 수 있고, 셔터 속도 및 조리개는 테스트 노출 설정 각각에 대해 동일하다.
임계 시간 값은 복수의 카메라에 의해 캡처된 비디오의 프레임 속도의 역수에 대응하는 시간 주기일 수 있다.
테스트 노출 설정 각각에 대한 셔터 속도는 임계 시간 값일 수 있다.
캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계는: 캡처된 테스트 이미지들의 세트를 사용하여 세기 분포를 결정하는 단계; 선택 기준을 하나 이상의 세기 분포에 적용하는 단계; 및 선택 기준을 만족하는 테스트 노출 설정에 관한 세기 분포에 부분적으로 기초하여 테스트 노출 설정을 전체 노출 설정으로 선택하는 단계를 포함할 수 있다.
선택 기준은: 값들의 범위 내 히스토그램의 편평도, 임계 수 미만의 세기 분포 내 포화된 픽셀의 비율, 쉐도우 클리핑(shadow clipping)을 갖는 세기 분포 내 픽셀의 비율, 임계 값 미만의 이미지 잡음 값, 임계 값 미만의 이득 값 및 포화 없는 최대 이득 값으로 구성된 그룹에서 선택될 수 있다.
본 발명에 따른 일실시예로, 본 방법은: 로컬 영역의 한 부분의 개별 시야각을 각각 가지는 복수의 카메라에 대한 각각의 노출 설정을 결정하는 단계; 결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정하는 단계; 결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계; 세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처하는 단계; 캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계; 및 선택된 전체 노출 설정을 복수의 카메라에 적용하는 단계를 포함할 수 있고, 결합된 시야각의 범위는 로컬 영역의 360도가 되고, 각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함한다.
각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되고 동일한 시간에 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함할 수 있다.
복수의 카메라로부터 임계 거리 밖에서 로컬 영역의 한 부분 내 임의의 물체는 적어도 2개의 카메라의 시야각 내에 있을 수 있다.
결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는: 최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및 최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함할 수 있다.
하나 이상의 테스트 셔터 속도는 최소 셔터 속도와 최대 셔터 속도 사이에서 균등하게 분포될 수 있다.
결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는: 임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및 최대 셔터 속도가 임계 시간 값 이하라고 결정함에 응답하여, 최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계와, 최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함할 수 있다.
결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는: 임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및 최대 셔터 속도가 임계 시간 값보다 더 크다고 결정함에 응답하여, 복수의 테스트 이득 값을 결정하는 단계와, 복수의 테스트 이득 값에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함할 수 있고, 셔터 속도 및 조리개는 테스트 노출 설정 각각에 대해 동일하다.
임계 시간 값은 복수의 카메라에 의해 캡처된 비디오의 프레임 속도의 역수에 대응하는 시간 주기일 수 있다.
테스트 노출 설정 각각에 대한 셔터 속도는 임계 시간 값일 수 있다.
캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계는: 캡처된 테스트 이미지들의 세트를 사용하여 세기 분포를 결정하는 단계; 선택 기준을 하나 이상의 세기 분포에 적용하는 단계; 및 선택 기준을 만족하는 테스트 노출 설정에 관한 세기 분포에 부분적으로 기초하여 테스트 노출 설정을 전체 노출 설정으로 선택하는 단계를 포함할 수 있다.
선택 기준은: 값들의 범위 내 히스토그램의 편평도, 임계 수 미만의 세기 분포 내 포화된 픽셀의 비율, 쉐도우 클리핑을 갖는 세기 분포 내 픽셀의 비율, 임계 값 미만의 이미지 잡음 값, 임계 값 미만의 이득 값 및 포화 없는 최대 이득 값으로 구성된 그룹에서 선택될 수 있다.
본 발명에 따른 일실시예로, 본 방법은 로컬 영역의 한 부분의 개별 시야각을 각각 가지는 복수의 카메라에 대한 각각의 노출 설정을 결정하는 단계; 결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정하는 단계; 결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계; 세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처하는 단계; 캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계; 및 선택된 전체 노출 설정을 복수의 카메라에 적용하는 단계를 포함할 수 있으며, 결합된 시야각의 범위는 로컬 영역의 360도가 되고, 선택적으로 복수의 카메라로부터 임계 거리 밖에서 로컬 영역의 한 부분 내 임의의 물체는 적어도 2개의 카메라의 시야각 내에 있으며, 각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되고 동일한 시간에 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함한다.
결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는: 최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및 최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함할 수 있다.
본 발명에 따른 일실시예로, 하나 이상의 컴퓨터-판독가능 비-일시적 저장매체는 본 발명 또는 임의의 상술한 실시예들에 따른 방법을 수행하도록 실행시 동작하는 소프트웨어를 수록할 수 있다.
본 발명에 따른 일실시예로, 본 시스템은 하나 이상의 프로세서; 및 프로세서와 연결되고 프로세서에 의해 실행되는 명령어를 포함하는 적어도 하나의 메모리를 포함할 수 있고, 상기 프로세서는 본 발명 또는 임의의 상술한 실시예들에 따른 방법을 수행하는 명령어를 실행할 때 동작한다.
본 발명에 따른 일실시예로, 바람직하기로 컴퓨터-판독가능 비-일시적 저장매체를 포함하는 컴퓨터 프로그램 제품은 데이터 처리 시스템에 의해 실행될 때 본 발명 또는 임의의 상술한 실시예들에 따른 방법을 수행하도록 동작할 수 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일실시예에 따라 가상 현실 시스템에 대한 3D 360도 컨텐츠를 생성하기 위한 시스템의 일실시예를 도시한 상위레벨 블록도이다.
도 2a는 일실시예에 따라 이미지 정보를 캡처하기 위한 카메라 어셈블리의 사시도를 도시한다.
도 2b는 일실시예에 따라 도 2에 도시된 카메라 어셈블리의 평면도를 도시한다.
도 2c는 일실시예에 따라 도 2에 도시된 카메라 어셈블리의 측면도를 도시한다.
도 2d는 일실시예에 따라 이미지 정보를 캡처하기 위한 카메라 어셈블리의 측면도를 도시한다.
도 3은 일실시예에 따른 카메라 시스템 내 모듈의 상세도를 도시하는 상위레벨 블록도이다.
도 4는 일실시예에 따라 카메라 어셈블리에 대한 전체 노출 설정을 결정하기 위한 프로세스의 흐름도이다.
도 5는 일실시예에 따른 서로 다른 테스트 노출 설정들에 대한 세기 분포의 그룹을 도시한다.
도 6은 일실시예에 따른 서로 다른 테스트 노출 설정들에 대한 세기 분포의 또 다른 그룹을 도시한다.
도 7은 일실시예에 따라 이미지 정보로부터 생성된 3D 360도 컨텐츠를 도시한다.
도 8은 일실시예에 따른 카메라 시스템용 사용자 인터페이스를 도시한다.
도면들은 단지 예로서 본 발명의 다양한 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.
도 1은 일실시예에 따라 가상 현실 시스템에 대한 3D-360도 컨텐츠를 생성하기 위한 시스템(100)의 일실시예를 도시하는 상위-레벨 블록도이다. 시스템(100)은 사용자 장치(110)를 데이터 스토어(120), 카메라 시스템(130) 및 처리 서버(140)와 연결하는 네트워크(105)를 포함한다. 도 1의 실시예에서, 단지 한 명의 사용자 장치(110)만 도시되어 있지만, 이런 엔티티의 다수의 인스턴스가 있을 수 있다. 예를 들어, 네트워크(105)를 통해 데이터 스토어(120), 카메라 시스템(130) 및 처리 서버(140)에 연결된 다수의 사용자 장치(110)가 있을 수 있다.
네트워크(105)는 사용자 장치(110), 데이터 스토어(120), 카메라 시스템(130) 및 처리 서버(140) 사이의 통신 인프라구조를 제공한다. 네트워크(105)는 전형적으로 인터넷이지만, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network), 모바일 유선 또는 무선 네트워크, 사설망 또는 가상 사설망을 포함하는 임의의 네트워크일 수 있지만 이에 국한되지 않는다.
사용자 장치(110)는 사용자가 카메라 시스템(130)에 대한 사용자 인터페이스를 볼 수 있게 하는 - 예컨대, 웹-가능 브라우저(150) 또는 임의의 다른 클라이언트 애플리케이션과 같은 - 컴퓨터 프로그램 모듈을 실행하는 컴퓨팅 장치이다. 사용자 장치(110)는 예를 들어 개인용 컴퓨터, 태블릿 컴퓨터, 스마트폰, 랩톱 컴퓨터 또는 다른 유형의 네트워크-가능 장치일 수 있다.
데이터 스토어(120)는 카메라 시스템(130) 및 처리 서버(140)로부터의 이미지 정보를 저장한다. 일부 실시예에서, 데이터 스토어(120)는 클라우드-기반일 수 있고 네트워크(105)를 통해 카메라 시스템(130) 및 처리 서버(140)에 의해 액세스된다. 데이터 스토어(120)는 카메라 시스템(130)으로부터 직접적으로 이미지 정보를 수신 및 저장할 수 있거나, 데이터 스토어(120)는 이미지 정보가 처리된 후에 처리 서버(140)로부터의 이미지 정보를 수신 및 저장할 수 있다. 일실시예에서, 데이터 스토어(120)는 처리 서버(140)의 일부이다. 또 다른 실시예에서, 데이터 스토어(120)는 제3자 저장소 공급자에 의해 유지되는 아카이브(archive)이다.
카메라 시스템(130)은 카메라 시스템(130)을 둘러싸는 로컬 영역의 캡처된 이미지 및/또는 오디오 정보를 사용하여 이미지 정보를 생성한다. 카메라 시스템(130)은 로컬 영역의 360도 뷰를 캡처하도록 위치한 카메라들의 어셈블리를 포함한다. 도 1의 실시예에서, 어셈블리는 경질 표면 또는 구조물에 장착된 복수의 카메라를 포함한다. 복수의 카메라 중 적어도 일부는 인접한 카메라가 로컬 영역의 스테레오 이미지를 생성할 수 있도록 배열된다. 카메라 시스템(130)의 실시예는 도 2a, 도 2b, 도 2c 및 도 3과 관련하여 이하에서 상세히 논의된다.
로컬 영역은 카메라 시스템(130)을 둘러싸는 환경이다. 예를 들어, 로컬 영역은 카메라 시스템(130)이 내부에 있는 공간일 수 있거나, 카메라 시스템(130)은 외부일 수 있고 로컬 영역은 카메라 시스템(130)이 볼 수 있는 외부 영역이다. 이미지 정보는 카메라 시스템(130)에 의해 출력된 정보이다. 이미지 정보는 예를 들어 하나 이상의 이미지, 오디오 정보(예를 들어, 하나 이상의 마이크로폰에 의해 캡처된 사운드), 비디오 정보, 메타데이터 또는 이들의 조합을 포함할 수 있다. 메타데이터는 이미지 정보와 관련된 추가 정보이다. 메타 데이터는 예컨대 프레임 속도, 노출 설정(예컨대, 조리개, 셔터 속도, 이득 등), 저작권 정보, 날짜/시간 정보, 카메라 식별자, 이름, 라벨링, 이미지 정보와 관련된 임의의 다른 정보 또는 이들의 임의의 조합을 포함할 수 있다. 카메라 시스템(130)은 이미지 정보를 버퍼링하고 저장하는 메모리 저장부를 포함한다. 일부 실시예에서, 카메라 시스템(130)은 (예를 들어, 몇몇 유선 및/또는 무선 접속을 통해) 외부 데이터 스토어에 국부적으로 연결될 수 있다. 일부 실시예에서, 카메라 시스템(130)은 이미지 정보를 네트워크(105)를 통해 처리 서버(140)로 전송하도록 구성된다. 다른 실시예에서, 카메라 시스템(130)은 이미지 정보를 처리하여 고해상도로 3D-360도 컨텐츠를 형성하도록 구성된다. 예를 들어, 3D-360도 컨텐츠 비디오 컨텐츠는 카메라 시스템(130)에 의해 지원되는 예컨대 4K, 6K, 8K 해상도 또는 일부 다른 해상도일 수 있다.
카메라 시스템(130)은 로컬 영역의 이미지 정보를 캡처하라는 지시를 사용자로부터 수신한다. 예를 들어, 카메라 시스템(130)은 사용자가 네트워크(105)를 통해 예를 들어 사용자 장치(110) 상의 웹-가능 브라우저(150)를 사용하여 카메라 시스템(130)을 제어할 수 있게 하는 웹 서버를 포함할 수 있다. 카메라 시스템(130)은 카메라 어셈블리(130) 내 하나 이상의 카메라로부터의 정보를 사용하여 전체 노출 설정(예를 들어, 이득, 셔터 속도, 조리개)을 결정하고, 전체 노출 설정을 카메라 시스템(130) 내 모든 카메라에 적용한다. 따라서, 각 카메라는 특정 카메라의 측광 방식과 상관없이 전체 노출 설정을 사용한다. 카메라 시스템(130)은 (예컨대, 전체 셔터를 사용하여) 동시에 (전체 노출 설정을 사용하여) 카메라 시스템(130)의 모든 카메라를 노광하도록 하는 전체 셔터를 사용하여 이미지 정보의 캡처를 동기화한다. 따라서, 프레임이 촬영된 노출과 시간 모두는 모든 이미지 정보에 걸쳐 일관된다. 카메라 시스템(130)에 대한 전체 노출 설정을 결정하는 프로세스는 도 4 내지 도 6과 관련하여 이하에서 더 상세히 설명된다.
처리 서버(140)는 이미지 정보를 사용하여 3D-360도 컨텐츠를 생성한다. 3D-360도 컨텐츠는 카메라 시스템(130)의 360도 시야각과 관련된 미디어 컨텐츠이고, 그 중 적어도 일부는 심도 정보를 포함하고 3차원(3D)으로 렌더링될 수 있다. 3D-360도 컨텐츠는 예를 들어 이미지, 비디오, 오디오 정보 또는 이들의 임의의 조합을 포함할 수 있다. 처리 서버(140)는 3D-360도 컨텐츠를 고해상도로 생성할 수 있다. 예를 들어, 3D-360도 컨텐츠 비디오 컨텐츠는 예를 들어 4K, 6K, 8K 해상도 또는 카메라 시스템(130)에 의해 지원되는 임의의 다른 해상도일 수 있다. 예를 들어, 3D-360도 컨텐츠는 로컬 영역의 비디오일 수 있으며, 비디오는 카메라 시스템(130)에 의해 촬영된 이미지의 병합된 표현이고, 주변 카메라에 의해 촬영된 이미지에 대응하는 비디오의 3D 부분을 렌더링한다.　
처리 서버(140)는 카메라 시스템(130), 데이터 스토어(120) 또는 이들의 임의의 조합으로부터 이미지 정보를 수신한다. 처리 서버(140)는 컴퓨터-구현 명령어 세트에 의해 수행되는 알고리즘으로 3D-360도 컨텐츠를 생성하도록 구성된다. 이 알고리즘은 (예컨대, 동시에 캡처한 메타데이터와 같이) 동일한 시간 값과 연관된 이미지 정보 내 이미지 세트를 식별하고, 이미지들을 3D-360도 컨텐츠의 단일 프레임으로 병합한다. 또한, 처리 서버(140)는 상이한 시간과 연관된 3D-360도 컨텐츠의 다수의 프레임을 함께 결합함으로써 비디오 파일을 생성할 수 있다. 3D-360도 컨텐츠는 처리 서버(140)에 의해 출력되고, 나중에 액세스하기 위해 데이터 스토어(120)에 저장될 수 있다.
시스템(100)은 이점적으로 사용자가 로컬 영역의 이미지 정보를 캡처하고 예를 들어 가상 현실(VR) 환경 또는 일부의 다른 환경(예를 들어, 증강 현실 및/또는 혼합형 현실)에서 사용될 수 있는 로컬 영역의 3D-360도 컨텐츠를 구성할 수 있게 한다. 시스템(100)은 경질 구조, 동기식 동작 및 웹-기반 인터페이스를 갖는다. 카메라 시스템(130)의 경질성은 각 카메라가 정렬되고 캘리브레이션되면 복수의 카메라가 서로에 대해 이동하는 것을 방지하여, 이미지 정보를 처리하고 이미지를 융합시켜 3D-360도 컨텐츠를 구성하는 것을 더 쉽게 한다. 복수의 카메라의 동시성으로 인해 각 카메라에 전체 설정을 적용할 수 있으며 캡처된 이미지 정보의 품질을 향상시킬 수 있어서, 결국 구성되는 3D-360도 컨텐츠의 품질이 향상된다. 웹-기반 인터페이스는 사용자가 시스템(100)을 설정하고, 캡처된 이미지 정보를 미리 보고, 전체 설정을 적용하며, 이미지 정보를 처리하고, 3D-360도 컨텐츠를 액세스, 사용 또는 저장할 수 있는 용이성을 제공한다.
도 2a는 일실시예에 따라 이미지 정보를 캡처하기 위한 카메라 어셈블리(200)의 사시도를 도시한다. 일부 실시예에서, 카메라 어셈블리(200)는 시스템(100)의 카메라 어셈블리(130)의 일실시예이다. 선택적으로, 카메라 어셈블리(200)는 임의의 다른 시스템의 일부일 수 있다. 카메라 어셈블리(200)의 일부 실시예는 본 명세서에서 설명된 구성요소와 다른 구성요소를 갖는다. 일부의 경우, 유사하게, 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 컴포넌트들 사이에 분산될 수 있다.
이하에서 더 상세히 설명되는 바와 같이, 카메라 어셈블리(200)는 로컬 영역의 캡처된 이미지 및/또는 오디오 정보를 사용하여 이미지 정보를 생성한다. 카메라 어셈블리(200)는 상부 플레이트(202), 하부 플레이트(204), 상부 축 장착부(206), 하부 축 장착부(208)(도 2c에 도시됨), 복수의 주변 카메라(210) 및 상부 축 카메라(212)와 하부 축 카메라(214)를 포함하는 복수의 축 카메라(도 2c에 도시됨)를 포함한다. 상부 플레이트(202), 하부 플레이트(204), 상부 축 장착부(206), 하부 축 장착부(208)(도 2c에 도시됨), 상부 축 카메라(212) 및 하부 축 카메라(214)(도 2c에 도시됨)는 정렬 축(216)을 따라 정렬된다. 복수의 주변 카메라(210)는 정렬 축(216)에 의해 양분되는 중심점(218) 주위에 링을 형성하도록 배열된다. 상부 플레이트(202)는 주변 카메라(210)의 링의 상부면에 연결하고, 하부 플레이트(204)는 주변 카메라(210)의 링의 하부면에 연결한다. 이러한 구성은 주변 카메라(210)의 진동 및 과열을 방지하는 강성 구조를 생성하고 주변 카메라(210)가 3D-360도 컨텐츠의 3D 컨텐츠의 부분을 생성하는데 사용되는 품질 이미지 및/또는 비디오를 캡처하게 한다.
상부 플레이트(202)는 복수의 주변 카메라(210) 및 하나 이상의 축 카메라(예컨대, 상부 축 카메라(212))를 고정하도록 구성된다. 상부 플레이트(202)는 상부면(220), 하부면(222) 및 복수의 고정 메커니즘(224)을 포함한다. 상부 플레이트(202)는 강성 재료로 구성되고 실질적으로 디스크 형태이다. 강성 재료는 예를 들어 금속(예컨대, 알루미늄, 강철 등), 강성 플라스틱, 일부의 다른 강성 재료 또는 임의의 이들의 조합일 수 있다. 상부면(220)은 상부 축 장착부(206)를 상부 플레이트(202)에 연결하여, 상부 축 장착부(206)가 정렬 축(216)을 따라 중심에 놓 이도록 한다. 상부 플레이트(202)의 외주를 따라 복수의 고정 메커니즘(224)이 있다. 각각의 고정 메커니즘(224)은 주변 카메라(210)를 상부 플레이트(202)의 하부면(222)에 고정하도록 구성된다. 예를 들어, 고정 메커니즘(224)은 상부 플레이트(202)를 복수의 주변 카메라(210)에 결합시키는 기계적 체결구(예컨대, 나사, 볼트)일 수 있다.
하부 플레이트(204)는 복수의 주변 카메라(210) 및 하나 이상의 축 카메라(예컨대, 하부 축 카메라(214))를 고정하도록 구성되며, 상부 플레이트(202)와 실질적으로 유사하다. 하부 축 카메라(214)는 도 2a에 도시되지 않지만, 도 2c에서 축 카메라(214)로서 도시된다. 하부 플레이트(204)는 상부면(226), 하부면(228) 및 다수의 고정 메커니즘(224)을 포함한다. 하부 플레이트(204)는 강성 재료로 구성되고 실질적으로 디스크 형태이다. 강성 재료는 예를 들어 금속(예컨대, 알루미늄, 강철 등), 강성 플라스틱, 일부의 다른 강성 재료 또는 이들의 임의의 조합일 수 있다. 하부면(228)은 하부 축 장착부(208)(도 2a에 도시되지 않음)를 하부 플레이트(204)에 연결하여, 하부 축 장착부(208)가 정렬 축(216)을 따라 중심에 놓이도록 구성된다. 하부 플레이트(204)의 주변부에는 추가적인 복수의 고정 메커니즘(224)이 있으며, 이때 각각의 고정 메커니즘(224)은 주변 카메라(210)를 하부 플레이트(204)의 상부면(226)에 고정시킨다. 하부면(228)은 카메라 시스템(130)에 대한 스탠딩 또는 마운팅 지지 및 안정성을 제공하는 지지 구조부에 결합하도록 더 구성된다. 지지 구조부는 다양한 장착부(예컨대, 모노포드, 삼각대, 쿼드앤드포드, 월 마운트 등)일 수 있다.
축 장착부는 상부 플레이트(202) 또는 하부 플레이트(204)의 표면에 수직인 축 카메라(예컨대, 상부 축 카메라(212) 또는 하부 축 카메라(214))를 고정하도록 구성된다. 축 장착부는 실질적으로 원통형이며 내부가 빈 것이다. 이러한 구성은 축 카메라가 상부 플레이트(202) 또는 하부 플레이트(204)의 표면으로부터 수직으로 오프셋되게 하여, 축 카메라(212, 214) 및 주변 카메라(210)의 시야각의 중첩을 덜 허용한다. 축 카메라에 연결하는 와이어는 축 장착부의 빈 부분 내에 숨겨져 있을 수 있다. 도 2a의 실시예에서, 상부 축 장착부(206)는 상부 플레이트(202)의 상부면(220)에 연결되고, 하부 축 장착부(208)는 하부 플레이트(210)의 하부면(214)에 연결된다. 각각의 축 장착부는 정렬 축(216)을 따라 정렬되고 축 카메라에 안정성을 제공한다.
주변 카메라(210)는 로컬 영역의 360도 시야각의 이미지 및/또는 비디오를 캡처하도록 구성된다. 주변 카메라(210)는 정렬 축(216)에 의해 양분되는 중심점(218) 주위로 링을 형성하도록 위치된다. 복수의 주변 카메라(210)는 각각의 주변 카메라(210)의 광축이 평면 내에 있고 각각의 주변 카메라(210)의 시야각이 중심점(218)으로부터 외부로 향하도록 중심점(218) 주위에 위치된다. 각각의 주변 카메라(210)는 인접한 주변 카메라(210)의 옆에 특정 거리 및 특정 각도로 위치된다. 이 구성을 통해 3D-360 컨텐츠로 처리되면 캡처된 이미지 및/또는 비디오는 입체 영상(또한 스테레오라고도 함) 부분을 포함할 수 있다. 일부 실시예에서, 거리는 사람의 눈 사이의 동공 간 거리를 시뮬레이팅한다. 시뮬레이션된 동공 간 거리는 인접한 주변 카메라(210)의 수평 시야각 간의 중첩의 양에 의존한다. 중첩의 양은 링 구성에서 배럴 왜곡 및 주변 카메라(210)의 각도 간격 또는 수를 보정한 후 각각의 주변 카메라(210)의 수평 시야각의 함수이다. 예를 들어, 6.4cm 이상의 동공 간 거리(사람의 동공 간 거리에 대한 대략 중간값)를 시뮬레이팅하는 실시예는 균일하게 이격된 14개의 주변 카메라로 이루어지며, 각각은 배럴 왜곡을 보정한 후 77도 이상의 수평 시야각을 갖는다. 이러한 구성을 통해 캡처된 이미지 및/또는 비디오는 사람의 시야에 대한 인식을 시뮬레이팅할 수 있다. 주변 카메라(210)의 수는 가변적일 수 있고, 상부 플레이트(202) 및 하부 플레이트(204)의 크기 및/또는 주변 카메라(210) 각각의 시야각에 의존할 수 있다. 도 2a의 실시예에서는 링을 형성하고 환경의 360도 뷰를 캡처하는 14개의 주변 카메라(210)가 있다. 다른 실시예에서, 더 많거나 적은 주변 카메라(210)가 있을 수 있다.
주변 카메라(210)는 센서(미도시), 렌즈(230) 및 카메라 제어기(미도시)를 포함한다. 이 센서는 감광성 픽셀의 어레이를 사용하여 광을 캡처하는 전기 장치이며, 여기서 각 픽셀은 광을 전자 신호로 변환한다. 센서는 가령 해상도, 픽셀 크기와 감도, 광 감도, 셔터 유형 및 신호 처리 유형과 같은 다양한 특징을 가질 수 있다. 렌즈(230)는 센서에 광의 집속을 용이하게 하는 하나 이상의 카메라의 광학 요소이다. 렌즈는 초점 및 조리개와 같이 고정되거나 가변적일 수 있는 특징을 가지며, 초점 길이가 다양할 수 있고 광학 코팅으로 커버될 수 있다. 일부 실시예는 제1 렌즈가 카메라로부터 제거될 수 있고 제2 렌즈가 카메라에 결합될 수 있도록 상호교환 가능한 렌즈를 가질 수 있다. 일부 실시예에서, 주변 카메라(210)는 오디오 정보를 캡처하기 위해 마이크로폰을 가질 수 있다. 마이크로폰은 카메라 내부에 있거나 카메라 외부에 있을 수 있다.
카메라 제어기는 센서에 입사되는 광을 기반으로 카메라의 노출 설정(예컨대, 조리개, 이득 및 셔터)을 결정할 수 있다. 일부 실시예에서, 카메라 제어기는 주요 카메라로서 동작한다. 즉, 카메라 제어기는 복수의 다른 카메라들을 제어한다. 다른 실시예에서, 카메라 제어기는 보조 카메라로서 동작한다. 즉, 카메라 제어기는 제2 카메라에 의해 제어된다. 주변 카메라가 보조 카메라로서 동작하는 실시예에서 셔터 및 노출 설정은 주 카메라에 의해 전체적으로 설정된다. 도 2a의 실시예에서, 주변 카메라(210)는 가령 소형 폼 팩터, 고해상도(예컨대, 2048x2048), 높은 프레임 속도(예컨대, 초당 90프레임), 1인치 센서 및 렌즈용 C-마운트와 같은 다양한 성질을 포함한다.
각각의 축 카메라의 시야각(FOV)은 120도 내지 185도의 범위일 수 있다. 다른 실시예에서, 축 카메라의 FOV는 또한 120도보다 작거나 185도보다 클 수 있다. 최소한 주변 카메라(210)에 의해 남겨진 홀을 덮을 만큼 충분히 커야한다. 예를 들어, 주변 카메라(210)가 수직 FOV x도를 갖는 경우, 커버리지에서 홀을 이미징하기 위해, 축 카메라는 2*(90-x)도의 FOV를 가져야 한다. 일부 실시예에서, 축 카메라로부터의 이미지 정보에 대응하는 부분으로부터 주변 카메라(210)로부터의 이미지 정보에 대응하는 부분으로 3D-360도 컨텐츠의 매끄러운 전환을 가능하게 하기 위해 충분한 중첩을 보장하는데 더 큰 FOV가 사용될 수 있다.
도 2a의 실시예에서, 렌즈(230)는 적외선, f/2.4 조리개, 카메라용 CS-마운트 및 92°의 수평 및 수직 시야각을 차단하는 광학 코팅을 갖는다. 렌즈(230)의 유효 시야각은 배럴 왜곡에 대한 보정 후에 77도이다. 다른 실시예에서, 주변 카메라(210) 각각은 서로 다른 시야각을 가질 수 있다.　예를 들어, 주변 카메라(210) 각각은 180도 시야각(즉, 어안 렌즈)을 가질 수 있다. 뷰의 매우 넓은 필드(즉, 어안)는 3D-360도 컨텐츠의 입체 부분을 생성하는데 사용되는 주변 카메라의 수를 줄이는 잠재력을 가지고 있지만, 이미지 정보가 더 많은 양의 왜곡을 포함할 경향이 있기 때문에 이미지 정보의 처리가 더 어려워진다.
어댑터(232)는 카메라 어셈블리(200)의 규격 부품을 사용할 수 있게 한다. 어댑터(232)는 제1 단부에서 주변 카메라(210)의 C-마운트에 고정하고 제2 단부에서 렌즈(230)의 CS-마운트에 고정함으로써 주변 카메라(210)를 렌즈(230)에 결합하도록 구성된다.
각각의 주변 카메라(210)는 상부 플레이트(202)와 하부 플레이트(204) 사이에서 주변 카메라(210)를 고정하기 위한 복수의 고정 메커니즘을 더 포함한다. 고정 메카니즘은 고정 메카니즘(224)에 상보적이며, 주변 카메라(210)가 상부 플레이트(202)의 하부면(222)에 연결하고 하부 플레이트(204)의 상부면(220)에 연결하게 한다. 도 2a의 실시예에서, 각각의 주변 카메라(210)는 렌즈(230)가 중심점(218)으로부터 반경 방향 외측을 향하도록 위치된다. 주변 카메라(210)는 배터리로 전력공급되거나 케이블 및 케이블 인터페이스(예를 들어, 범용 직렬 버스(USB) 인터페이스)를 통해 전력을 공급받거나 이들의 임의의 조합일 수 있다. 또한, 일부 실시예는 카메라 어셈블리(200)의 강성 및 안정성을 증가시키기 위해 상부 플레이트(202) 및 하부 플레이트(204) 사이에 장착되는 지지 구조부를 가질 수 있다. 지지 구조부는 포스트, 지지 블록 또는 이들의 임의의 조합일 수 있다.
복수의 축 카메라는 로컬 영역의 상부 뷰 및 하부 뷰의 이미지 및/또는 비디오를 캡처하도록 구성된다. 축 카메라는 각각의 축 장착부(206, 208)에 고정되고 두 상부 축 카메라(212)와 하부 축 카메라(214) 모두가 정렬 축(216)을 따라 정렬되어서 각각의 축 카메라(212, 214)의 광축이 정렬 축(216)과 동일선상에 있도록 위치하는 (도 2c에 도시된) 상부 축 카메라(212) 및 하부 축 카메라(214)를 포함한다. 상부 축 카메라(212)의 시야각 및 하부 축 카메라(214)의 시야각은 카메라 어셈블리(200)의 중심점(218)으로부터 멀리 향하게 된다.
상부 축 카메라(212)는 로컬 영역의 일부분의 평면도를 제공하는 동안, 하부 축 카메라(214)는 (도 2c에 도시된 바와 같이) 로컬 영역의 상이한 부분의 저면도를 제공한다. 상술한 바와 같이, 상부 및 하부 축 카메라들(212, 214)은 주변 카메라(210)에 대해 수직으로 오프셋되어 시야각 사이의 중첩을 제한한다. 축 카메라의 수와 방향은 다를 수 있다. 도 2a의 실시예에서는 로컬 영역의 상부 뷰 및 하부 뷰를 캡처하는 2개의 축 카메라가 있다. 대안의 실시예에서, (예컨대, 도 2d와 관련하여 논의된 바와 같이) 카메라 어셈블리(200)는 2개의 하부 축 카메라를 포함하는데, 이들은 3D-360도 컨텐츠를 가리는 것으로 카메라 어셈블리(200)를 지지하는 장착부를 제거하는데 제1 하부 축 카메라의 시야각과 제2 하부 축 카메라의 시야각이 충분한 중첩을 가지도록 배열된다. 다른 실시예에서, 상부 플레이트(202) 및 하부 플레이트(204)는 축 카메라의 배열이 반구를 커버하고 구면의 시야각을 제공하도록 복수의 축 카메라를 각각 고정할 수 있다.
축 카메라는 센서(미도시), 렌즈(234) 및 카메라 제어기(미도시)를 포함한다. 센서는 감광성 픽셀의 어레이를 사용하여 광을 캡처하는 전기 장치이며, 여기서 각 픽셀은 광을 전자 신호로 변환한다. 센서는 가령 해상도, 픽셀 크기와 감도, 광 감도, 셔터 유형 및 신호 처리 유형과 같은 다양한 특징을 가질 수 있다. 렌즈(230)는 센서에 광의 집속을 용이하게 하는 하나 이상의 카메라의 광학 요소를 포함한다. 렌즈는 초점 및 조리개와 같이 고정되거나 가변적일 수 있는 특징을 가지며, 초점 길이가 다양할 수 있고 광학 코팅으로 커버될 수 있다. 일부 실시예는 제1 렌즈가 카메라로부터 제거될 수 있고 제2 렌즈가 카메라에 결합될 수 있도록 상호교환 가능한 렌즈를 가질 수 있다. 일부 실시예에서, 축 카메라는 오디오 정보를 캡처하기 위해 마이크로폰을 가질 수 있다. 마이크로폰은 카메라 내부에 있거나 카메라 외부에 있을 수 있다.
카메라 제어기는 카메라의 노출 설정(예컨대, 조리개, 이득 및 셔터)을 결정하고 프레임 속도를 제어할 수 있다. 일부 실시예에서, 카메라 제어기는 주 카메라로서 동작한다. 즉, 카메라 제어기는 복수의 다른 카메라들을 제어한다. 다른 실시 예에서, 카메라 제어기는 보조 카메라로서 동작한다. 즉, 카메라 제어기는 제2 카메라에 의해 제어된다. 축 카메라가 보조 카메라로서 동작하는 실시예에서 셔터 및 노출 설정은 주 카메라에 의해 전체적으로 설정된다. 도 2a의 실시예에서, 축 카메라는 가령 소형 폼 팩터, 고해상도(예컨대, 2048x2048), 높은 프레임 속도(예컨대, 초당 90프레임), 1인치 센서 및 렌즈용 C-마운트와 같은 여러 속성을 포함할 수 있다. 각각의 축 카메라의 시야각은 120도 내지 185도 사이이다. 대안적인 실시예에서, 축 카메라의 FOV는 또한 120보다 작거나 185보다 클 수 있다. 최소한 주변 카메라(210)에 의해 남겨진 홀을 덮을 만큼 충분히 커야 한다. 예를 들어, 주변 카메라(210)가 수직 FOV x도를 갖는 경우, 커버리지에서 홀을 이미징하기 위해, 축 카메라는 2*(90-x)도의 FOV를 가져야 한다. 일부 실시예에서, 축 카메라로부터의 이미지 정보에 대응하는 부분으로부터 주변 카메라(210)로부터의 이미지 정보에 대응하는 부분으로 3D-360도 컨텐츠의 매끄러운 전환을 가능하게 하기 위해 충분한 중첩을 보장하는데 더 큰 FOV가 사용될 수 있다.
도 2a의 실시예에서, 렌즈(234)는 적외선, f/1.8-16 조리개, 카메라용 C-마운트 및 185도의 수평 및 수직 시야각을 차단하는 광학 코팅을 갖는다. 축 카메라는 배터리로 전원이 공급되거나 케이블 및 케이블 인터페이스(예컨대, USB 인터페이스)를 통해 전원을 공급받거나 이들의 임의의 조합일 수 있다.
카메라 어셈블리(200)는 로컬 영역의 360도를 열람하도록 위치하는 다수의 주변 카메라(210) 및 축 카메라를 이용하여 이미지 정보를 캡처한다. 카메라 어셈블리(200)의 설정은 사용자에 의해 원격으로 미리 열람되고 수정될 수 있다. 이미지 정보는 3D-360도 컨텐츠를 생성하기 위해 데이터 스토어(120) 또는 처리 서버(140)로 전송될 수 있다.
도 2b는 일실시예에 따라 도 2에 도시된 카메라 어셈블리(200)의 평면도를 도시한다. 도 2b는 주변 카메라(210)의 구성을 나타내고, 3개의 주변 카메라(210a, 210b 및 210c) 각각에 의해 도시된 바와 같이 시야각(236), 시야각(238) 및 시야각(240)를 하이라이팅한다. 로컬 영역의 물체(242) 및 물체(244)는 주변 카메라(210a, 210b 및 210c)에 의해 열람된다. 도 2b의 도면은 참조용으로 사용되며 축척에 맞게 도시되지 않을 수 있다.
도 2a와 관련하여 설명된 바와 같이, 주변 카메라(210)는 렌즈(230)가 정렬 축(216)에 의해 양분되는 중심점(218)으로부터 외부로 향하도록 중심점(218) 주위에 링을 생성하도록 배치된다. 각각의 주변 카메라(210)는 임의의 인접한 주변 카메라(210)로부터 이격 거리만큼 분리되어 있다. 이격 거리는 인접한 주변 카메라들(210)의 센서들 간의 거리이다. 일부 실시예에서, 이격 거리는 사람 눈의 동공 간 거리와 대략 동일하다. 이러한 구성을 통해 캡처된 이미지 및/또는 비디오는 사람이 로컬 영역의 이미징된 부분을 어떻게 인지할 것인지를 시뮬레이팅할 수 있다.
주변 카메라(210)는 링 형태로 위치한다; 따라서, 각 카메라는 인접한 카메라에 대해 약간의 각도(θ1)에 있다. 예를 들어, 몇몇 실시예에서, 각도(θ1)는 주변 카메라(210)의 시야각 사이의 상당한 중첩을 가능하게 하는 25.71도이다. 각각의 주변 카메라(210)의 각도(θ1) 및 시야각은 주변 카메라(210)에 의해 영상화된 로컬 영역의 물체가 적어도 2개의 주변 카메라(210)에 의해 보일 수 있도록 구성된다. 도 2b에 도시된 바와 같이, 주변 카메라(210a, 210b, 210c)에 대한 각각의 시야각(236, 238, 240)은 임계 거리에서 중첩되기 시작한다; 중첩하는 시야각은 음영 영역으로 표시된다. 도 2b의 실시예에서, 각각의 주변 카메라(210)는 77도인 시야각(θ2)을 갖는다. 시야각(236, 238, 240) 사이의 영역은 물체가 임의의 주변 카메라(210)에 의해 관찰되지 않는 사각지대 영역(246)이다.
임계 거리는 적어도 2개의 주변 카메라(210)에 의해 로컬 영역의 물체가 관찰될 수 있는 거리이다. 임계 거리는 θ1의 크기에 의해 로컬 영역에 따라 다르다. 예를 들어, 물체(242)는 중심점(218)으로부터 제1 거리에 있으며, 3개의 주변 카메라(210a, 210b 및 210c)에 의해 관찰될 수 있다; 그러나, 물체(244)는 제1 거리보다 작은 제2 거리에 위치하고 주변 카메라(210a)와 주변 카메라(210b) 모두의 시야각 내에 있다. 주변 카메라(210) 및 축 카메라는 임계 거리를 벗어난 환경 내 모든 물체가 적어도 2개의 주변 카메라(210)에 의해 보일 수 있도록 위치한다. 이러한 구성을 통해 카메라 어셈블리(200)는 로컬 영역의 물체를 다수의 각도에서 볼 수 있고, 상당한 중첩을 갖는 이미지 정보를 캡처함으로써, 시스템(100)이 고품질의 3D-360도 컨텐츠 및/또는 비디오를 재구성할 수 있게 한다.
도 2c는 일실시예에 따라 도 2에 도시된 카메라 어셈블리(200)의 측면도를 도시한다. 도 2a의 실시예와 관련하여 설명된 바와 같이, 렌즈(234)는 넓은 각도 θ3의 시야각을 갖는 어안 렌즈이다. 도 2c의 실시예에서, 각도(θ3)는 185도이며, 이는 다른 실시예에서 변할 수 있다. 렌즈(234)는 환경의 상부 및 하부 영역의 넓은 커버리지를 가지며 주변 카메라(210)의 시야각과의 충분한 중첩을 제공하여 고품질의 3D-360도 컨텐츠가 생성될 수 있도록 구성된다. 일부 실시예에서, 표면(248)은 카메라 어셈블리(200)가 테이블 상에 놓이거나 카메라 마운트 또는 스탠드에 결합하기 위한 지지 구조부일 수 있다.
도 2d는 일실시예에 따라 이미지 정보를 캡처하기 위한 카메라 어셈블리(250)의 측면도를 도시한다. 일부 실시예에서, 카메라 어셈블리(250)는 시스템(100)의 카메라 어셈블리(130)의 일실시예이다. 대안으로, 카메라 어셈블리(250)는 몇몇 다른 시스템의 일부일 수 있다. 카메라 어셈블리(250)의 일부 실시예는 본 명세서에 기재된 것과 상이한 컴포넌트를 갖는다. 일부의 경우, 유사하게, 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 컴포넌트들 사이에 분산될 수 있다.
카메라 어셈블리(250)는 카메라 어셈블리(250)가 장착부(255) 및 2개의 하부 축 카메라(260, 265)를 포함한다는 것을 제외하고 카메라 어셈블리(200)와 실질적으로 동일하다. 장착부(255)는 카메라 어셈블리(250)를 지지한다. 장착부(255)는 지지부(270) 및 플랫폼(275)을 포함한다. 지지부(270)는 안정된 방식(즉, 최소의 진동)으로 카메라 어셈블리(250)의 하중을 플랫폼(275)에 전달한다. 이 실시예에서, 지지부(270)는 플랫폼(275)을 카메라 어셈블리(250)와 연결하는 단일 로드이다. 다른 실시예로, 지지부(270)는 복수의 로드 또는 플랫폼(275)에서 카메라 어셈블리(250)로의 다른 지지 수단을 포함할 수 있다. 지지부(275)는 예컨대 목재, 금속, 플라스틱 등으로 구성될 수 있다.
플랫폼(275)은 지지부(270) 및 카메라 시스템(250)에 대한 안정한 토대이다. 이 실시예에서, 플랫폼(275)은 단순히 서로 이격된 3개의 다리이다.　지지부(275)는 예컨대 목재, 금속, 플라스틱 등으로 구성될 수 있다.　대안적인 실시예들에서, 다른 장착부들이 사용될 수 있음에 유의한다.
하부 축 카메라(255, 260)는 실질적으로 하부 축 카메라(214)와 동일하다. 하부 축 카메라(255, 260)는 3D-360도 컨텐츠를 가리는 것으로 장착부(265)(예컨대, 지지부(270)의 부분들)의 일부 또는 전부를 제거하는데 제1 하부 축 카메라(255)의 시야각과 제2 하부 축 카메라(260)의 시야각이 충분한 중첩을 가지도록 배열된다.
도 3은 일실시예에 따른 카메라 시스템(130) 내 모듈들의 상세도를 도시하는 상위레벨 블록도이다. 카메라 시스템(130)의 일부 실시예는 본 명세서에 기재된 것과 다른 모듈들을 갖는다. 마찬가지로, 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 컴포넌트들 사이에 분산될 수 있다. 카메라 시스템(130)은 카메라 어셈블리(310), 데이터 스토어(320), 웹 서버(330), 사용자 인터페이스(340) 및 카메라 제어기(350)를 포함하는 모듈로 구성된다.
카메라 어셈블리(310)는 로컬 영역의 360도를 볼 수 있도록 위치한 복수의 카메라를 사용하여 이미지 정보를 캡처한다. 일부 실시예에서, 카메라 어셈블리(310)는 카메라 어셈블리(200)의 일실시예이다. 대안으로, 카메라 어셈블리(310)는 360도를 커버하고 적어도 그 일부가 스테레오형으로 캡처되는 복수의 이미지를 캡처하도록 구성된 일부의 다른 카메라 어셈블리일 수 있다. 예를 들어, 카메라 어셈블리(310)는 하부 축 카메라(214)를 포함하지 않는 것을 제외하고 카메라 어셈블리(200)와 유사할 수 있다. 이미지 정보는 예를 들어 하나 이상의 이미지, 오디오 정보, 비디오 정보, 메타데이터 또는 이들의 임의의 조합을 포함할 수 있다. 이미지 정보는 이미지(예를 들어, .jpeg, .tif, .png 등), 오디오(예컨대 , .aac, .mp3, .wav 등) 및/또는 비디오(예컨대, .mpg, .mov, .wmv 등)에 대한 다양한 파일 포맷으로 캡처될 수 있다. 카메라 어셈블리(310)는 카메라 제어기(350)로부터의 명령에 응답하여 이미지 정보를 캡처한다. 일부 실시예에서, 카메라 어셈블리(310)는 각각의 주변 카메라(210) 및 축 카메라로부터 캡처된 이미지 정보가 일정하도록 보장하고 균일하고 자연스러운 3D-360도 컨텐츠의 구성을 가능하게 한다. 카메라 어셈블리(310)는 예를 들어 사용자 인터페이스(340), 데이터 스토어(320), 처리 서버(130), 데이터 스토어(120) 또는 이들의 임의의 조합으로 이미지 정보의 일부 또는 전부를 캡처하고 전송한다.
카메라 시스템(130)의 데이터 스토어(320)는 이미지 정보를 저장하는 로컬 메모리 저장소이다. 데이터 스토어(320)는 카메라 어셈블리(310)로부터 이미지 정보를 수신하고 저장한다. 일부 실시예에서, 데이터 스토어(320)는 예를 들어 외부 데이터 스토어(예컨대, 데이터 스토어(120)), 처리 서버(예컨대, 처리 서버(130)) 또는 이들의 임의의 조합으로 이미지 정보를 업로드할 수 있다. 일부 실시예에서, 데이터 스토어(320)는 버퍼로서 동작한다. 예를 들어, 카메라 시스템(130)은 외부 데이터 스토어 및/또는 처리 서버에 대한 업로드 속도를 초과하는 속도로 이미지 정보를 생성할 수 있다. 따라서, 데이터 스토어(320)는 업로드 속도가 외부 데이터 스토어 및/또는 처리 서버를 초과하지 않도록 이미지 정보를 일시적으로 버퍼링할 수 있다. 몇몇 실시예에서, 데이터 스토어(320)는 다수의 메모리를 포함할 수 있고, 이미지 정보는 다수의 메모리에 걸쳐 분산형으로 기록될 수 있다. 예를 들어, 일부 실시예에서, 데이터 스토어(320)는 분산형 패리티를 갖는 블록-레벨 스트라이핑을 포함하는 RAID 5 구성일 수 있다. 이를 통해 많은 양의 데이터가 연속적으로 기록될 수 있다. 예를 들어, 30Hz에서 카메라 어셈블리(310)는 지속적인 전송율로 약 17Gb/s를 생성할 수 있다. 데이터 스토어(320)는 대용량 이미지 정보를 지속적인 속도로 수신 및 저장할 수 있다.
일부 실시예에서, 데이터 스토어(320)는 적어도 부분적으로 원형 버퍼로서 기능하도록 구성된다. 원형 버퍼는 카메라 어셈블리(310)로부터 캡처된 이미지 정보(예를 들어, RAW 데이터)를 일시적으로 저장하는데 사용되는 다수의 버퍼 요소(즉, 메모리 위치)를 포함하는 데이터 스토어(320) 내 메모리 영역이다. 원형 버퍼로 인해 대형 데이터세트를 효율적으로 전송하기 위해 버퍼 요소는 채워지고 비워질 수 있다. 일반적으로, 원형 버퍼는 헤드 포인터 및 테일 포인터를 가진다. 헤드 포인터는 생성자가 이미지 정보를 버퍼 요소에 기록하는데 사용된다. 테일 포인터는 소비자가 이미지 정보를 버퍼 요소에서 읽는데 사용된다.
일부 실시예에서, 카메라 어셈블리(310)에 의해 캡처된 이미지 정보는 다수의 프레임(예를 들어, 대략 수천)을 포함한다. 원형 버퍼의 크기는 카메라 어셈블리(310)에 의해 소정의 시간에 캡처된 프레임의 총수보다 훨씬 더 크다. 예를 들어, 원형 버퍼는 1000개 이상의 개별 버퍼 요소를 가질 수 있다. 헤드 포인터가 원형 버퍼의 제1 버퍼 요소를 지시하면, 생산자는 카메라 어셈블리(310) 내 카메라들 중 하나와 관련된 이미지 정보를 원형 버퍼의 제1 버퍼 요소에 기록한다. 이후, 헤드 포인터는 원형 버퍼의 제2 버퍼 요소로 이동하고, 생성자는 카메라 어셈블리(310) 내 다른 카메라와 관련된 이미지 정보를 원형 버퍼의 제2 버퍼 요소 등에 기록한다. 예를 들어, 카메라 어셈블리(310)가 총 16개의 카메라를 포함하면, 카메라 어셈블리(310)의 각각의 트리거는 16개의 이미지를 생성하고, 16개의 이미지는 대응하는 16개의 버퍼 요소 각각에 기록된다. 소비자는 제1 버퍼 요소에서 제1 프레임을 판독하고 제1 프레임을 데이터 스토어(320)에 내장된 메모리 저장소 또는 외부 데이터 스토어(예컨대, 데이터 스토어(120))로 전송한다. 일부 실시예에서, 이미지 정보는 2진 파일 포맷으로 순차적으로 저장된다. 이미지 정보는 이후 2진 파일로부터 추출하고 색상(또는 흑백) 3D-360도 컨텐츠로 처리 서버(140)를 통해 변환될 수 있다.
일부 실시예에서, 원형 버퍼는 다수의 생성자 및 다수의 소비자를 갖는다. 각의 생성자 및 각각의 소비자는 별도의 스레드를 가지고 독립적으로 작동할 수 있다. 일 예로, 각 카메라에 대해 하나의 생성자가 사용된다. 각 카메라의 생성자는 독립적으로 작동한다. 다른 예로, 서로 다른 생성자가 카메라 어셈블리(310) 내 상이한 그룹의 카메라에 사용된다. 예를 들어, 한 생성자가 카메라 어셈블리(310)의 절반 부분에 사용되고 다른 상이한 생성자가 카메라 어셈블리(310)의 다른 절반 부분에 사용된다.
일부 실시예에서, 다수의 소비자는 서로 다른 데이터 저장 장치(예를 들어, 하드 드라이브)와 관련된다. 서로 다른 데이터 저장 장치는 서로 독립적으로 동작할 수 있다. 일부 실시예에서, 각각의 데이터 저장 장치는 개별 소비자이다. 이러한 구성은 데이터가 원형 버퍼로부터 복수의 다른 데이터 저장 장치로 연속적으로 흐르게 한다. 예를 들어, 일부 실시예에서, 2개의 상이한 데이터 저장 장치(예를 들어, 제1 및 제2 데이터 저장 장치)가 사용된다. 그리고 제1 데이터 저장 장치가 원형 버퍼로부터 이미지 정보를 기록하는 동안, 제2 데이터 저장 장치는 데이터를 탐색 중이다. 이후, 제2 데이터 저장 장치는 이미지 정보를 기록하고, 제1 데이터 저장 장치는 데이터를 탐색하는 등이다.　 대응하는 소비자는 2개의 저장 장치로부터 전후로 스위칭하는데, 이는 카메라 어셈블리(310)의 연속 동작을 위해 충분히 빠른 속도로 다중 데이터 저장 장치에 이미지 정보를 기록하는 것을 용이하게 한다(즉, 이미지 정보는 덮어쓰기 전에 원형 버퍼로부터 추출될 수 있다).
일부 실시예에서, 소비자는 다른 처리를 위해 프레임들을 또 다른 위치로 보낸다. 일 예로, 소비자는 추후 처리를 위해 웹 서버(330)로 프레임을 전송한다.　또 다른 예로서, 소비자는 프레임을 미리 보기 위해 사용자 인터페이스(340)로 프레임을 보낸다.
웹 서버(330)는 카메라 시스템(130)의 네트워크(105) 인터페이스로서의 역할을 한다. 웹 서버(330)는 카메라 어셈블리(310)로부터 네트워크(105)를 통해 사용자 장치(110), 처리 서버(140), 일부의 다른 엔티티 또는 이들의 임의의 조합으로 데이터를 전송한다. 일부의 경우, 카메라 어셈블리(310)는 유선 인터페이스(예를 들어, USB)를 사용하여 웹 서버(330)로 데이터를 전송할 수 있다. 데이터는 압축되거나 압축 해제될 수 있다.
사용자 인터페이스(340)를 통해 사용자는 카메라 시스템(130)과 인터페이스 할 수 있다. 일부 실시예에서, 사용자 인터페이스(340)는 그래픽 사용자 인터페이스(GUI)이다. 예시적인 사용자 인터페이스는 도 8과 관련하여 이하에서 상세하게 설명된다. 사용자 인터페이스(340)를 통해 사용자는 카메라 어셈블리(310)에 의해 캡처된 데이터를 미리 보고 카메라 어셈블리(310)의 설정을 제어할 수 있다. 일부 실시예에서, 사용자 인터페이스(340)는 네트워크 연결을 통해 이동전화, 태블릿, PC 등 또는 네트워크 연결을 갖는 임의의 다른 장치에서 액세스될 수 있다. 다른 실시예에서, 사용자 인터페이스(340)는 카메라 어셈블리(310)에 직접 연결되는 디스플레이 및 하나 이상의 입력/출력 장치(예를 들어, 마우스 키보드)를 포함할 수 있다.
카메라 제어부(350)는 카메라 어셈블리(310)의 동작을 제어하도록 구성된다. 도 3의 실시예에서, 카메라 어셈블리(310)는 하나의 카메라를 주 카메라로 사용하고, 추가 카메라를 보조 카메라로 사용하도록 구성된다. 주 카메라는 카메라 제어기가 복수의 다른 카메라의 마스터로서 동작하는 카메라이다. 보조 카메라는 카메라 제어기가 마스터 카메라의 슬레이브 역할을 하는 카메라이다. 주 카메라는 임의의 주변 카메라(210) 또는 축 카메라일 수 있다; 도 3에 도시된 바와 같이, 주 카메라는 상부 플레이트(202)에 결합된 상부 축 카메라(212)이다.
카메라 제어기(350)는 카메라 어셈블리(310) 내 카메라에 대한 노출 설정을 제어한다. 카메라의 노출은 카메라에 의해 캡처될 때 이미지가 얼마나 밝거나 어둡게 나타날 것인가를 결정한다. 노출 설정은 예를 들어 조리개 크기, 셔터 속도(또는 노출 시간이라고도 함), 이득 또는 이들의 임의의 조합을 포함할 수 있다. 조리개 크기는 센서에 도달하는 광의 양을 제어한다. 셔터 속도는 센서가 광에 노출되는 시간의 길이이다. 이득은 광에 대한 센서의 민감도이다. 일부 실시예에서, 카메라 제어기(350)는 카메라 어셈블리(310)에 지시하여 카메라 어셈블리(310) 내 각각의 카메라에 대한 노출 설정을 결정한다. 카메라 제어기(350)는 결정된 노출 설정을 사용하여 전체 노출 설정을 결정하고, 카메라 어셈블리(310) 내 모든 카메라에 전체 노출 설정을 제공한다. 전체 노출 설정은 카메라 어셈블리(310)의 모든 카메라에 적용되는 단일의 노출 설정이다.
일부 실시예에서, 카메라 제어기(350)는 카메라 어셈블리(310)로부터 수신된 각각의 카메라의 각각의 노출 설정을 결정하고 모든 노출 설정의 극한값(예를 들어, 최소값 및 최대값)을 결정한다. 극한값에 기초하여, 카메라 제어기(350)는 테스트 노출 설정들의 세트를 결정하고, 카메라 어셈블리(310)에 지시하여 테스트 노출 설정들의 세트를 사용하여 테스트 이미지들을 캡처한다.
카메라 어셈블리(310)로부터 각각의 테스트 노출 설정을 사용하여 캡처된 테스트 이미지를 수신한 후, 카메라 제어기(350)는 테스트 노출 설정을 사용하여 캡처되는 수신된 테스트 이미지의 세기 분포에 기초하여 전체 노출 설정을 결정한다. 세기 분포는 각 픽셀에서 감지된 픽셀 수(또는 카운트, 빈도라고도 함)와 광도(예컨대, 적색, 녹색, 청색 등) 간의 관계이다. 일부 실시예들에서, 세기 정보는 테스트 이미지들의 그레이 레벨(gray level) 값들에 의해 표현될 수 있다. 관계는 확률 분포(예컨대, 히스토그램), 통계 파라미터(예컨대, 평균, 중간값, 대칭, 비대칭 또는 분포 관계를 나타내는 임의의 적절한 파라미터)로 나타낼 수 있다. 예를 들어, 카메라 제어기(350)는 단일 테스트 노출 설정으로 얻어진 테스트 이미지를 사용하여 전체 범위의 세기(예를 들어, 8비트 그레이 스케일 이미지에 대한 0-255 그레이 레벨 값)에 대해 카운트를 누적함으로써 단일 히스토그램을 생성한다. 그리고, 카메라 제어기(350)는 다른 테스트 노출 설정으로 얻어진 테스트 이미지를 사용하여 다른 히스토그램을 생성한다.　
카메라 제어기(350)는 테스트 이미지 및 선택 기준을 사용하여 전체 노출 설정을 선택한다. 선택 기준은 테스트 노출 설정이 전체 노출 설정으로 선택되어야 하는지 여부를 결정하는 조건들의 세트이다. 선택 기준은 예를 들어 값들의 범위 내 히스토그램의 편평도, 임계 수 미만의 세기 분포 내 포화된 픽셀의 비율(예컨대, 카메라 시스템(310)의 모든 픽셀 값의 총계의 0.05% 미만), 쉐도우 클리핑(shadow clipping)을 갖는 세기 분포 내 픽셀의 비율(즉, 완전한 흑색), 임계 값 미만의 이미지 잡음 값, 임계 값 미만의 이득 값(예컨대, 4db) 및 포화 없는 최대 이득 값, 또는 이들의 임의의 조합을 포함할 수 있다. 카메라 어셈블리(310)에 대한 전체 노출 설정을 결정하는 프로세스는 도 4 내지 도 6과 관련하여 이하에서 더 상세히 설명된다.
전체 노출 설정이 없으면, 카메라 어셈블리(310)의 각 카메라는 서로 다른 노출 설정에서 이미지 정보를 캡처하여, 일부 이미지가 다른 이미지보다 밝거나 어둡게 보이게 하고, 일부 이미지에서 일부 움직이는 이미지가 흐리게 보이지만 다른 이미지에서는 그렇지 않게 할 수 있다. 이는 이미지가 3D-360도 컨텐츠를 구성하기 위해 함께 스티칭된 경우 개별 이미지 간에 불일치가 발생시킬 수 있다. 균일한 노출은 3D-360도 컨텐츠로 자연스러운 이미지 및/또는 비디오를 생성하는데 도움이 된다. 다른 실시예에서, 카메라 제어기(350)는 주 카메라로 하여금 그 노출 설정을 결정하도록 지시한 다음, 결정된 노출 설정을 전체 노출 설정으로 설정하고 카메라 어셈블리(310) 내 모든 카메라에 전체 노출 설정을 제공한다. 전체 노출 설정은 다수의 주변 카메라(210) 및 축 카메라(예를 들어, 상부 축 카메라(212), 하부 축 카메라(214))에 균일한 노출을 제공한다.
카메라 제어기(350)는 카메라 어셈블리(310)의 전체 셔터를 제어한다. 전체 셔터는 각각의 셔터가 동시에(즉, 서로 1밀리초 미만으로) 열리도록 카메라 어셈블리(310) 내 각 카메라의 셔터를 동기화시켜, 카메라 어셈블리(310)가 동기식 이미지 정보를 캡처할 수 있게 한다. 전체 셔터를 통해 카메라 어셈블리(310) 내 각 카메라의 각 픽셀이 동시에 노출을 시작하고 동시에 노출을 종료할 수 있다. 이를 통해 빠르게 움직이는 물체가 프레임을 가로질러 대각선으로 번지는 것을 방지할 수 있는데, 이는 롤링 셔터(즉, 카메라 센서의 서로 다른 라인이 카메라 센서를 통해 판독된 '웨이브'가 스윕할 때 다른 시간에 노출되는 셔터 모드)를 사용하는 카메라 시스템에서 발생할 수 있는 것이다. 카메라 제어기(350)는 마스터 트리거 신호를 카메라 어셈블리(310) 내 보조 카메라에 제공하도록 주 카메라(예를 들어, 상부 축 카메라(212))에 지시할 수 있다. 마스터 트리거 신호는 주 카메라의 셔터와 동시에 각 보조 카메라의 셔터를 열도록 명령한다. 주변 카메라(210) 및 카메라 어셈블리(310) 내 축 카메라는 데이터가 동기식으로 캡처되도록 보장하기 위해 발전기 잠금 케이블(예컨대, USB 3.0 발전기 잠금 케이블)과 연결될 수 있다. 동기식 이미지 정보를 캡처함으로써, 개별 이미지가 매칭되고, 처리 서버(140)에 의해 정확하게 스티칭되어 3D-360도 컨텐츠를 구성할 수 있다.
도 4는 일실시예에 따라 카메라 어셈블리에서 전체 노출 설정을 결정하는 프로세스(400)의 흐름도이다. 카메라 어셈블리는 예를 들어 카메라 어셈블리(310)일 수 있다. 다른 실시예에서, 카메라 어셈블리는 더 큰 시야각을 갖는 이미지를 만들기 위해 함께 스티칭되는 이미지를 캡처하는 몇몇 다른 카메라 어셈블리 시스템일 수 있다. 프로세스(400)는 일부 실시예에서 카메라 시스템(130)에 의해 수행될 수 있다. 대안으로, 다른 컴포넌트들은 프로세스(400)의 단계들의 일부 또는 전부를 수행할 수 있다. 추가로, 프로세스(400)는 도 4와 관련하여 설명된 것과 다른 단계 또는 추가 단계를 포함할 수 있고, 임의의 실시예에서 도 4와 함께 설명된 순서와 다른 순서로 단계를 수행할 수 있다.
카메라 시스템(130)은 복수의 카메라(예를 들어, 카메라 어셈블리(310)에 포함된 카메라의 일부 또는 전부)에 대한 각각의 노출 설정을 결정한다(410). 카메라 시스템(130)은 카메라 어셈블리(310) 내 카메라(주변 및/또는 축 카메라)의 일부 또는 전부에 지시하여 (예를 들어, 카메라 제어기(350)를 통해) 각각의 노출 설정을 결정한다. 각 카메라의 시야각이 다르므로, 카메라의 노출 설정은 서로 다를 수 있다. 예를 들어, 상단 축 카메라의 시야각은 태양(즉, 밝은 광원)을 포함할 수 있고, 많은 광을 포함할 수 있는 반면, 하단 축 카메라(존재하는 경우)의 시야각은 지면이 될 수 있으며 훨씬 적은 광을 포함할 수 있다.　
앞서 언급했듯이, 각 카메라의 노출 설정은 예컨대 조리개 크기, 셔터 속도 및 이득을 포함할 수 있는 설정 파라미터를 포함한다. 일부 실시예에서, 하나 이상의 설정 파라미터는 고정된다. 예를 들어, 카메라 어셈블리(130)는 조리개 크기 및 이득을 고정시킬 수 있고, 적절한 노출을 초래하는 각각의 셔터 속도를 복귀시키도록 카메라의 일부 또는 전부에 지시할 수 있다.
카메라 시스템(130)은 결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정한다(420). 일부 실시예에서, 카메라 시스템(130)은 결정된 셔터 속도를 순위화한다. 예를 들어, 카메라 시스템(130)은 결정된 셔터 속도를 최단 시간(최소)에서 최장 시간(최대)까지 순위화할 수 있다. 카메라 시스템(130)은 순위화의 하단의 셔터 속도를 최소 셔터 속도로 선택하고, 순위화의 상단의 셔터 속도를 최대 셔터 속도로 선택한다. 다른 실시예에서, 카메라 시스템(130)은 결정된 셔터 속도를 최장 시간에서 최단 시간으로 순위화하고, 순위화의 하단의 셔터 속도를 최대 셔터 속도로 선택하고, 순위화의 상단의 셔터 속도를 최소 셔터 속도로 선택한다.
카메라 시스템(130)은 결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정한다(430). 일부 실시예에서, 최소 및 최대 셔터 속도에 기초하여, 카메라 시스템(130)은 복수의 테스트 셔터 속도를 결정한다. 테스트 셔터 속도는 최소 셔터 속도, 최대 셔터 속도 및 최소와 최대 셔터 속도 사이에 분포된 하나 이상의 셔터 속도를 포함한다. 하나 이상의 셔터 속도는 최소와 최대 셔터 속도 사이에서 균등하게 또는 불균일하게 분포될 수 있다. 일부 실시예에서, 카메라 어셈블리(130)는 테스트 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 생성한다. 예를 들어, 테스트 노출 설정들의 세트는 각각의 테스트 셔터 속도에 대한 테스트 노출 설정을 포함할 수 있다. 일부 실시예에서, 각 테스트 노출 설정에 대한 다른 설정 파라미터들(즉, 이득 및 조리개 크기)은 고정되어 있다. 테스트 셔터 속도의 균등한 분포의 예는 도 5와 관련하여 이하에서 상세히 논의된다.
일부 실시예에서, 카메라 시스템(130)은 비디오를 캡처하도록 구성될 수 있다. 비디오의 캡처를 위해, 카메라 시스템(130)은 최대 셔터 속도가 임계 시간 값 이상인지를 결정한다.　임계 시간 값은 캡처될 비디오의 프레임 속도의 역수에 대응하는 시간 값 이하인 시간 값이다. 예를 들어, 비디오의 프레임 속도가 초당 30프레임인 경우, 임계 시간 값은 약 30ms(또는 그 미만)일 수 있다. 최대 셔터 속도가 임계 시간 값 이하라면, 카메라 시스템(130)은 상술한 바와 같이 테스트 셔터 속도를 결정한다.
그러나, 최대 셔터 속도가 임계 시간 값보다 크다면, 카메라 시스템(130)은 셔터 속도를 임계 시간 값으로 고정하고, 복수의 테스트 이득 값을 결정하며, 복수의 테스트 이득 값은 최소 이득 값 내지 최대 이득 값의 범위에 있다. 카메라 어셈블리(130)는 테스트 이득 값들을 사용하여 테스트 노출 설정들의 세트를 생성한다. 일부 실시예에서, 테스트 노출 설정 각각에 대한 다른 설정 파라미터(즉, 셔터 속도 및 조리개 크기)는 고정되어 있다. 이득 값들의 균일한 분포의 예는 도 6과 관련하여 이하에서 상세히 논의된다.
카메라 시스템(130)은 테스트 노출 설정을 사용하여 복수의 테스트 이미지를 캡처한다(440). 복수의 캡처된 이미지는 각각의 테스트 노출 설정에서 캡처된 이미지들의 복수의 세트를 포함한다. 각각의 세트의 테스트 이미지는 동일한 테스트 노출 설정을 이용하여 캡처되고 동시에 캡쳐되는 (즉, 전체 셔터를 사용하여 촬영되는) 카메라 어셈블리(310)의 카메라들 각각로부터의 이미지를 포함한다.
카메라 시스템(130)은 복수의 테스트 이미지에 기초하여 전체 노출 설정을 선택한다(450). 카메라 시스템(130)은 캡처된 테스트 이미지의 각 그룹과 관련된 세기 분포를 결정한다. 카메라 시스템(130)은 세기 분포 중 어느 것이 (어느 경우라도) 선택 기준을 만족하는지를 식별하기 위해 하나 이상의 세기 분포에 선택 기준(예를 들어, 임계 값 미만의 포화된 픽셀의 비율)을 적용한다.
셔터 속도가 각각의 테스트 노출 설정(예를 들어, 1ms, 4ms, 6ms 및 10ms)에서 상이한 몇몇 실시예에서, 카메라 시스템(130)은 선택 기준을 최대 노출 값과 관련된 세기 분포(즉, 최대 셔터 속도)에 적용한다. 선택 기준이 충족되면, 카메라 시스템(130)은 전체 노출 설정으로서 세기 분포와 관련된 테스트 노출 설정을 선택한다. 선택 기준이 충족되지 않으면, 카메라 시스템(130)은 다음으로 가장 높은 노출 값(즉, 다음으로 가장 긴 셔터 속도)을 갖는 세기 분포에 선택 기준을 적용하고, 선택 기준이 충족되는지 여부를 다시 결정하는 등이다. 이 프로세서는 특정 세기 분포에 대한 선택 기준이 충족될 때까지 반복된다.
이득이 각각의 테스트 노출 설정(예를 들어, 0dB, 1dB, 2dB, 3dB 등)에서 상이한 몇몇 실시예에서, 카메라 시스템(130)은 선택 기준을 최소 노출 값(즉, 최저 이득 값)과 관련된 세기 분포에 적용한다. 선택 기준이 충족되면, 카메라 시스템(130)은 전체 노출 설정으로서 세기 분포와 관련된 테스트 노출 설정을 선택한다. 선택 기준이 충족되지 않으면, 카메라 시스템(130)은 다음으로 가장 낮은 노출 값(즉, 2번째 내지 최저 이득 값)을 갖는 세기 분포에 선택 기준을 적용하고, 선택 기준이 충족되는지 여부 등을 선택 기준이 충족될 때까지 결정한다. 이미지 품질은 일반적으로 이득에 따라 저하되므로, 일부 지점에서 이득을 늘리면 이미지가 품질 임계 값보다 낮아질 수 있다. 따라서, 일부 실시예에서, 선택 기준이 임의의 세기 분포에 의해 충족되지 않으면, 카메라 시스템(130)은 사용자에게 에러 메시지(예컨대, 이미지의 잡음이 너무 많음, 불충분한 광 등)를 리턴할 수 있다.
카메라 시스템(130)은 선택된 전체 노출 설정을 각 카메라(즉, 카메라 어셈블리(310) 내 각 카메라)에 적용한다(460). 일실시예에서, 카메라 시스템(130)은 선택된 전체 노출 설정을 카메라 어셈블리(310)의 모든 카메라에 직접 적용한다. 다른 실시예에서, 카메라 시스템(130)은 선택된 전체 노출 설정을 카메라 어셈블리(310)의 주 카메라를 통해 각 카메라에 적용한다.
도 5는 일실시예에 따른 서로 다른 테스트 노출 설정들에 대한 세기 분포들의 그룹(500)을 도시한다. 도 5에 도시된 바와 같이, 테스트 노출 설정들의 세트는 최소 셔터 속도(SHmin), 제1 중간 셔터 속도(SH1), 제2 중간 셔터 속도(SH2) 및 최대 셔터 속도(SHmax)를 포함하는 4개의 상이한 셔터 속도(SH)(520)를 포함한다. 셔터 속도는 다음의 관계(SHmin < SH1 < SH2 < SHmax)를 통해 서로 관련되어 있다. 각각의 테스트 노출 설정은 하나의 셔터 속도를 가진다.
카메라 시스템(130)은 (예를 들어, 카메라 제어기(350)를 통해) 테스트 노출 설정들 각각에서 테스트 이미지들의 세트를 캡처하도록 카메라 어셈블리(310)에 지시한다. 이 예에서, 테스트 노출 설정은 동일한 이득 값과 조리개 값을 가지지만, 서로 다른 셔터 속도를 각각 다르다. 카메라 시스템(130)은 (예를 들어, 카메라 제어기(350)를 통해) 테스트 이미지들의 각 세트에 대한 세기 분포를 생성한다. 그 분포는 히스토그램(530)으로서 도 5에 도시된다. 히스토그램(530)은 좌-편향에서 우-편향으로 변화하는 동안, 셔터 속도는 SHmin에서 SHmax로 변화한다. 히스토그램에서 세기 분포의 우-편향이 더 많다는 것은 테스트 이미지들의 그룹에서 밝은 픽셀이 더 많다는 것을 나타내고, 히스토그램에서 세기 분포의 좌-편향이 더 많다는 것은 테스트 이미지들의 그룹에서 어두운 픽셀이 더 많다는 것을 나타낸다.
도 4를 참조하여 상술한 바와 같이, 카메라 시스템(130)은 먼저 가장 큰 노출 값을 갖는 세기 분포에 선택 기준을 적용한 후, 선택 기준이 충족될 때까지, 그 다음으로 가장 큰 노출 값을 갖는 세기 분포에 선택 기준을 적용하는 등이다. 도 5에서, 히스토그램(530D)은 가장 높은 노출 값을 가지지만, 예를 들어 포화된 픽셀의 수가 너무 많기 때문에 선택 기준에는 실패할 것이다. 이후, 카메라 시스템(130)은 히스토그램(530C)과 연관된 세기 분포에 선택 기준을 적용할 것이다. 히스토그램(530C)의 편평한 분포는 균일한 밝기를 나타내며, 선택 기준을 만족시킬 것이다. 따라서, 카메라 시스템(130)은 전체 노출 설정으로서 SH2를 포함하는 테스트 노출 설정을 선택한다.
도 6은 일실시예에 따른 상이한 테스트 노출 설정들에 대한 세기 분포들의 또 다른 그룹(600)을 도시한다. 도 6에 도시된 바와 같이, 테스트 노출 설정은 최소 이득 값(Gainmin), 제1 중간 이득 값(Gain1), 제2 중간 이득 값(Gain2) 및 최대 이득 값(Gainmax)를 포함하는 4개의 상이한 이득 값(620)을 사용한다. 이득 값은 다음의 관계(Gainmin < Gain1 < Gain2 < Gainmax)를 통해 서로 관련되어 있다. 도 5와 마찬가지로, 세기 분포가 히스토그램에서 우측으로 편향하면 밝은 픽셀의 수가 증가하고, 세기 분포가 히스토그램에서 좌측으로 편향하면 어두운 픽셀의 수가 증가한다. 이미지의 잡음은 이득이 증가할수록 증가한다는 점에 유의하자.　
도 4를 참조하여 상술한 바와 같이, 카메라 시스템(130)은 먼저 가장 낮은 노출 값을 갖는 세기 분포에 선택 기준을 적용한 후, 선택 기준이 충족될 때까지, 그 다음으로 가장 낮은 노출 값을 갖는 세기 분포에 선택 기준을 적용하는 등이다. 도 6에서, 히스토그램(630C)은 깎이지 않은 (예를 들어, 어둡거나 밝은 픽셀로 포화되는) 분포 및 중간 잡음을 갖는 분포를 도시한다. 따라서, Gain2를 포함하는 테스트 노출 설정은 전체 노출 설정으로 선택된다.
도 7은 일실시예에 따라 이미지 정보로부터 생성된 3D-360도 컨텐츠를 도시한다. 도 7의 실시예에서, 3D-360도 컨텐츠는 개별 이미지 프레임(702-730)을 사용하여 생성되었던 구성된 이미지(700)이다. 개별 이미지 프레임(702-730)은 처리 서버(140)에 의해 처리되고, 프레임(702-730)으로부터 생성된 이미지의 부분에 대해 3차원인 360도 이미지를 형성하도록 구성된다.
프레임(702-728)은 복수의 주변 카메라(210)에 의해 캡처되었고, 개별 프레임은 하나의 주변 카메라(210)에 의해 캡처된다. 각각의 프레임(702-728)은 로컬 영역의 2차원(2D) 부분을 포함한다. 다수의 2D 관점에서 단일 이미지로 로컬 영역을 캡처하는 이미지를 결합하면 이미지 내 물체가 3D로 나타날 수 있다. 가령 프레임(702-728)과 같이 로컬 영역의 360도 뷰를 갖는 카메라 어셈블리에 의해 캡처된 개별 프레임이 결합되면, 로컬 영역의 3D-360도 뷰를 나타내는 구성된 이미지(700)가 된다. 각각의 프레임(702-730)은 도 7에 도시된 바와 같이 각각의 인접한 프레임과 중첩되는 영역을 포함한다. 프레임(702-728)의 중첩되는 영역은 도 2b와 관련하여 기술된 바와 같이 주변 카메라(210)의 시야각의 중첩으로부터 초래된다. 중첩 영역을 통해 처리 서버(140)는 프레임(702-728)을 가상 현실 시스템에 대한 360도 이미지로 매끄럽고 정확하게 구성할 수 있다.
마찬가지로, 프레임(729 및 730)은 복수의 축 카메라에 의해 캡처되며, 개별 프레임은 하나의 축 카메라에 의해 캡처된다. 도 7의 실시예에서, 프레임(729)은 상부 축 카메라(212)에 의해 캡처되고, 프레임(730)은 하부 축 카메라(214)에 의해 캡처된다. 각각의 프레임(729 및 730)은 주변 카메라(210)에 의해 캡처된 프레임(702-728)과 중첩되는 영역을 포함하여, 로컬 영역의 상부 뷰 및 하부 뷰를 제공한다. 프레임(729 및 730)의 중첩 영역은 축 카메라의 시야각과 주변 카메라(210)의 중첩으로부터 초래된다. 중첩 영역을 통해 처리 서버(140)는 프레임(729 및 730)을 프레임(702-728)과 함께 가상 현실 시스템에 대한 360도 이미지로 매끄럽고 정확하게 결합할 수 있다.
게다가, 도 7의 실시예에서, 각각의 프레임(702-730)은 처리 서버(140)가 개별 프레임들(702-730)로부터 구성된 이미지(700)를 생성하게 하는 메타데이터를 포함한다. 도 1과 관련하여 설명된 바와 같이, 메타데이터는 예를 들어 프레임 속도, 노출 설정(예를 들어, 셔터 속도, 이득 등), 저작권 정보, 날짜/시간 정보, 카메라 식별자, 이름, 라벨링, 이미지 정보와 관련된 임의의 다른 정보, 또는 임의의 이들의 조합을 포함할 수 있다. 예를 들어, 일실시예에서, 구성된 이미지(700)를 생성하기 위해, 처리 서버(140)는 각 프레임에 대한 날짜/시간 정보를 사용하여 적절한 프레임들이 결합되는지를 검증할 수 있다. 또 다른 실시예에서, 처리 서버(140)는 프레임들이 정확한 시퀀스로 결합되는 것을 보장하기 위해 카메라 식별자 정보를 사용할 수 있다. 각각의 프레임(702-728)에 포함된 메타데이터는 개별 프레임이 가상 현실 시스템에 대한 360도 이미지를 생성하기 위해 정확하게 결합되는 것을 보장한다.
도 8은 일실시예에 따른 카메라 시스템(130)에 대한 사용자 인터페이스(800)를 도시한다. 사용자 인터페이스(800)는 예를 들어 사용자 인터페이스(340)일 수 있다. 사용자 인터페이스(800)를 통해 사용자는 카메라 시스템(130)을 제어할 수 있다. 사용자 인터페이스(800)는 노출 제어(810), 파일 유형 제어(820), 활성화 제어(830) 및 미리보기 영역(840)을 포함한다.
노출 제어(810)를 통해 사용자는 카메라 어셈블리(310)의 전체 노출 설정을 제어하고 조정할 수 있다. 노출 제어(810)는 밝기, 조리개, 셔터 및 이득 설정을 포함할 수 있다. 전체 노출 설정은 도 4에서 설명된 프로세스에 의해 카메라 어셈블리(310) 내 모든 카메라로부터 결정된다. 일부 실시예에서, 전체 노출 설정은 카메라 어셈블리(310)의 주 카메라로부터 결정될 수 있다. 결정된 설정은 사용자가 노출 제어(810)를 사용하여 조정할 수 있는 초기 설정의 역할을 할 수 있다. 노출 제어(810)가 원하는 설정으로 조정되면, 원하는 설정은 카메라 어셈블리(310) 내 각각의 카메라에 제공될 수 있다.
파일 유형 제어(820)를 통해 사용자는 이미지 정보가 캡처되는 포맷을 제어할 수 있다. 파일 형식 제어(820)는 이미지(예컨대, .jpeg, .tif, .png 등), 오디오(예컨대, .aac, .mp3, .wav, 등) 및/또는 비디오(예컨대, .mpg, .mov, .wmv 등)에 대한 다양한 파일 유형을 포함할 수 있다. 일부 실시예를 통해 사용자는 각각의 개별 유형의 이미지 정보에 대한 파일 유형을 제어할 수 있다.
활성화 제어(830)를 통해 사용자는 카메라 어셈블리(310)의 동작을 제어할 수 있다. 활성화 제어(830)는 카메라 어셈블리(310)의 전력을 켜고 끄는 옵션, 이미지 정보를 캡처하도록 카메라 어셈블리(310)를 활성화시키는 옵션, 카메라 어셈블리(310)의 설정을 리셋하는 옵션, 처리 서버(140)를 활성화시켜 캡처된 이미지 정보의 처리를 시작하거나 정지하는 옵션, 카메라 시스템(130)에 대한 다른 기능들을 포함할 수 있지만 이에 국한되지 않을 수 있다.
미리보기 영역(840)을 통해 사용자는 카메라 어셈블리(310)의 카메라에 의해 캡처된 이미지 정보로부터 구성된 이미지를 미리 볼 수 있다. 미리보기 영역(840)은 사용자가 카메라 어셈블리(310)의 원하는 노출 설정 및/또는 로컬 영역 내 카메라 어셈블리(310)의 원하는 위치를 결정하는 것을 돕는다. 미리보기 영역(840)은 카메라 어셈블리(310)가 가상 현실 시스템에 대해 원하는 3D-360도 컨텐츠를 구성하기 위해 이미지 정보를 캡처하는 것을 보장한다.
일부 실시예에서, 사용자 인터페이스(340)를 통해 또한 사용자는 처리 서버(140)를 제어하고, 데이터 스토어(120)에 액세스하며, 데이터 스토어(320)에 액세스할 수 있다. 도 8의 실시예에서, 사용자 인터페이스(340)는 설정(예컨대, 밝기, 조리개와 셔터 속도에 의해 정의된 노출 값, 셔터 및 이득), 이미지 미리보기 및 이미지 미리보기와 연관된 메타데이터를 포함한다. 설정은 사용자에 의해 변경될 수 있으며, 설정은 카메라 어셈블리(310)에 명령하고 카메라 설정을 주변 카메라(210) 및 축 카메라에 전역적으로 구현하는 카메라 제어기(350)로 전송된다. 사용자 인터페이스(340)는 네트워크(105)에 대한 네트워크 연결을 갖는 임의의 장치에서 액세스될 수 있다.
추가적인 구성 정보
본 명세서의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로서, 배타적이거나 개시된 정확한 형태들로 본 명세서를 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.
본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 명세서의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.
본 명세서에 설명된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 명세서의 실시예는 본 명세서의 동작을 수행하기 위한 장치에도 관련된다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체나 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 유형의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
본 명세서의 실시예는 본 명세서에 서술된 컴퓨팅 프로세스에 의해 생산된 제품에도 관련된다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능 저장매체에 저장되거나 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에 사용된 언어는 가독성과 지시의 목적을 위해 원론적으로 선택된 것으로 발명의 요지를 제한하거나 한정하기 위하여 선택된 것이 아니다. 따라서, 본 명세서의 범위는 이 상세한 설명에 의해 제한되지 않고, 오히려 본 명세서에 기반한 본 출원에서 주장한 임의의 청구항들에 의한 것임이 의도된다. 그러므로, 본 실시예들의 설명은 본 명세서의 범위의 예시가 됨이 의도되나 이에 국한되지 않으며, 이는 하기의 청구항들에 제시된다.

Claims (35)

  1. 로컬 영역의 한 부분의 개별 시야각을 각각 가지는 복수의 카메라에 대한 각각의 노출 설정을 결정하는 단계;
    결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정하는 단계;
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계;
    세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처하는 단계;
    캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계; 및
    선택된 전체 노출 설정을 복수의 카메라에 적용하는 단계를 포함하며,
    결합된 시야각의 범위는 로컬 영역의 360도가 되고,
    각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되고 동일한 시간에 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함하는 방법.
  2. 제 1 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함하는 방법.
  3. 제 2 항에 있어서,
    하나 이상의 테스트 셔터 속도는 최소 셔터 속도와 최대 셔터 속도 사이에서 균등하게 분포되는 방법.
  4. 제 1 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및
    최대 셔터 속도가 임계 시간 값 이하라고 결정함에 응답하여,
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계와,
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 더 포함하는 방법.
  5. 제 1 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및
    최대 셔터 속도가 임계 시간 값보다 더 크다고 결정함에 응답하여,
    복수의 테스트 이득 값을 결정하는 단계와,
    복수의 테스트 이득 값에 대한 각각의 테스트 노출 설정을 생성하는 단계를 더 포함하며,
    셔터 속도 및 조리개는 테스트 노출 설정 각각에 대해 동일한 방법.
  6. 제 5 항에 있어서,
    임계 시간 값은 복수의 카메라에 의해 캡처된 비디오의 프레임 속도의 역수에 대응하는 시간 주기인 방법.
  7. 제 5 항에 있어서,
    테스트 노출 설정 각각에 대한 셔터 속도는 임계 시간 값인 방법.
  8. 제 1 항에 있어서,
    캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계는:
    캡처된 테스트 이미지들의 세트를 사용하여 세기 분포를 결정하는 단계;
    선택 기준을 하나 이상의 세기 분포에 적용하는 단계; 및
    선택 기준을 만족하는 테스트 노출 설정에 관한 세기 분포에 부분적으로 기초하여 테스트 노출 설정을 전체 노출 설정으로 선택하는 단계를 포함하는 방법.
  9. 제 8 항에 있어서,
    선택 기준은: 값들의 범위 내 히스토그램의 편평도, 임계 수 미만의 세기 분포 내 포화된 픽셀의 비율, 쉐도우 클리핑(shadow clipping)을 갖는 세기 분포 내 픽셀의 비율, 임계 값 미만의 이미지 잡음 값, 임계 값 미만의 이득 값 및 포화 없는 최대 이득 값으로 구성된 그룹에서 선택되는 방법.
  10. 로컬 영역의 한 부분의 개별 시야각을 각각 가지는 복수의 카메라에 대한 각각의 노출 설정을 결정하는 단계;
    결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정하는 단계;
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계;
    세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처하는 단계;
    캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계; 및
    선택된 전체 노출 설정을 복수의 카메라에 적용하는 단계를 포함하며,
    결합된 시야각의 범위는 로컬 영역의 360도가 되고,
    각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함하는 방법.
  11. 제 10 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함하는 방법.
  12. 제 11 항에 있어서,
    하나 이상의 테스트 셔터 속도는 최소 셔터 속도와 최대 셔터 속도 사이에서 균등하게 분포되는 방법.
  13. 제 10 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및
    최대 셔터 속도가 임계 시간 값 이하라고 결정함에 응답하여,
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계와,
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 더 포함하는 방법.
  14. 제 10 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및
    최대 셔터 속도가 임계 시간 값보다 더 크다고 결정함에 응답하여,
    복수의 테스트 이득 값을 결정하는 단계와,
    복수의 테스트 이득 값에 대한 각각의 테스트 노출 설정을 생성하는 단계를 더 포함하며,
    셔터 속도 및 조리개는 테스트 노출 설정 각각에 대해 동일한 방법.
  15. 제 14 항에 있어서,
    임계 시간 값은 복수의 카메라에 의해 캡처된 비디오의 프레임 속도의 역수에 대응하는 시간 주기인 방법.
  16. 제 14 항에 있어서,
    테스트 노출 설정 각각에 대한 셔터 속도는 임계 시간 값인 방법.
  17. 제 10 항에 있어서,
    캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계는:
    캡처된 테스트 이미지들의 세트를 사용하여 세기 분포를 결정하는 단계;
    선택 기준을 하나 이상의 세기 분포에 적용하는 단계; 및
    선택 기준을 만족하는 테스트 노출 설정에 관한 세기 분포에 부분적으로 기초하여 테스트 노출 설정을 전체 노출 설정으로 선택하는 단계를 포함하는 방법.
  18. 제 17 항에 있어서,
    선택 기준은: 값들의 범위 내 히스토그램의 편평도, 임계 수 미만의 세기 분포 내 포화된 픽셀의 비율, 쉐도우 클리핑(shadow clipping)을 갖는 세기 분포 내 픽셀의 비율, 임계 값 미만의 이미지 잡음 값, 임계 값 미만의 이득 값 및 포화 없는 최대 이득 값으로 구성된 그룹에서 선택되는 방법.
  19. 로컬 영역의 한 부분의 개별 시야각을 각각 가지는 복수의 카메라에 대한 각각의 노출 설정을 결정하는 단계;
    결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정하는 단계;
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계;
    세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처하는 단계;
    캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계; 및
    선택된 전체 노출 설정을 복수의 카메라에 적용하는 단계를 포함하며,
    결합된 시야각의 범위는 로컬 영역의 360도가 되고, 복수의 카메라로부터 임계 거리 밖에서 로컬 영역의 한 부분 내 임의의 물체는 적어도 2개의 카메라의 시야각 내에 있으며,
    각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되고 동일한 시간에 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함하는 방법.
  20. 제 19 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함하는 방법.
  21. 로컬 영역의 한 부분의 개별 시야각을 각각 가지는 복수의 카메라에 대한 각각의 노출 설정을 결정하는 단계;
    결정된 노출 설정으로부터의 최소 셔터 속도 및 최대 셔터 속도를 결정하는 단계;
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계;
    세트 내 각각의 테스트 노출 설정에서 복수의 카메라를 사용하여 테스트 이미지들의 세트를 캡처하는 단계;
    캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계; 및
    선택된 전체 노출 설정을 복수의 카메라에 적용하는 단계를 포함하며,
    결합된 시야각의 범위는 로컬 영역의 360도가 되고,
    각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함하는 방법.
  22. 제 21 항에 있어서,
    각각의 세트의 테스트 이미지는 각각의 동일한 테스트 노출 설정을 사용하여 캡처되고 동일한 시간에 캡처되는 복수의 카메라 각각으로부터의 이미지를 포함하는 방법.
  23. 제 21 항 또는 제 22 항에 있어서,
    복수의 카메라로부터 임계 거리 밖에서 로컬 영역의 한 부분 내 임의의 물체는 적어도 2개의 카메라의 시야각 내에 있는 방법.
  24. 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함하는 방법.
  25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    하나 이상의 테스트 셔터 속도는 최소 셔터 속도와 최대 셔터 속도 사이에서 균등하게 분포되는 방법.
  26. 제 21 항 내지 제 25 항 중 어느 한 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및
    최대 셔터 속도가 임계 시간 값 이하라고 결정함에 응답하여,
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계와,
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 더 포함하는 방법.
  27. 제 21 항 내지 제 26 항 중 어느 한 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    임계 시간 값과 최대 셔터 속도를 비교하는 단계; 및
    최대 셔터 속도가 임계 시간 값보다 더 크다고 결정함에 응답하여,
    복수의 테스트 이득 값을 결정하는 단계와,
    복수의 테스트 이득 값에 대한 각각의 테스트 노출 설정을 생성하는 단계를 더 포함하며,
    셔터 속도 및 조리개는 테스트 노출 설정 각각에 대해 동일한 방법.
  28. 제 21 항 내지 제 27 항 중 어느 한 항에 있어서,
    임계 시간 값은 복수의 카메라에 의해 캡처된 비디오의 프레임 속도의 역수에 대응하는 시간 주기인 방법.
  29. 제 21 항 내지 제 28 항 중 어느 한 항에 있어서,
    테스트 노출 설정 각각에 대한 셔터 속도는 임계 시간 값인 방법.
  30. 제 21 항 내지 제 29 항 중 어느 한 항에 있어서,
    캡처된 테스트 이미지들의 세트에 기초하여 전체 노출 설정을 선택하는 단계는:
    캡처된 테스트 이미지들의 세트를 사용하여 세기 분포를 결정하는 단계;
    선택 기준을 하나 이상의 세기 분포에 적용하는 단계; 및
    선택 기준을 만족하는 테스트 노출 설정에 관한 세기 분포에 부분적으로 기초하여 테스트 노출 설정을 전체 노출 설정으로 선택하는 단계를 포함하는 방법.
  31. 제 21 항 내지 제 30 항 중 어느 한 항에 있어서,
    선택 기준은: 값들의 범위 내 히스토그램의 편평도, 임계 수 미만의 세기 분포 내 포화된 픽셀의 비율, 쉐도우 클리핑(shadow clipping)을 갖는 세기 분포 내 픽셀의 비율, 임계 값 미만의 이미지 잡음 값, 임계 값 미만의 이득 값 및 포화 없는 최대 이득 값으로 구성된 그룹에서 선택되는 방법.
  32. 제 21 항 내지 제 31 항 중 어느 한 항에 있어서,
    결정된 최소 셔터 속도 및 최대 셔터 속도를 사용하여 테스트 노출 설정들의 세트를 결정하는 단계는:
    최소 셔터 속도와 최대 셔터 속도 사이에 분포하는 하나 이상의 테스트 셔터 속도를 결정하는 단계; 및
    최소 셔터 속도, 하나 이상의 테스트 셔터 속도 및 최대 셔터 속도에 대한 각각의 테스트 노출 설정을 생성하는 단계를 포함하는 방법.
  33. 제 21 항 내지 제 32 항 중 어느 한 항에 따른 방법을 수행하도록 실행시 동작하는 소프트웨어를 수록한 하나 이상의 컴퓨터-판독가능 비-일시적 저장매체.
  34. 하나 이상의 프로세서; 및 프로세서와 연결되고 프로세서에 의해 실행되는 명령어를 포함하는 적어도 하나의 메모리를 포함하는 시스템으로서, 상기 프로세서는 제 21 항 내지 제 32 항 중 어느 한 항에 따른 방법을 수행하는 명령어를 실행할 때 동작하는 시스템.
  35. 데이터 처리 시스템에 의해 실행될 때 제 21 항 내지 제 32 항 중 어느 한 항에 따른 방법을 수행하도록 동작하는, 바람직하기로 컴퓨터-판독가능 비-일시적 저장매체를 포함하는 컴퓨터 프로그램 제품.
KR1020187032087A 2016-04-06 2017-02-03 3차원 360도 가상현실 카메라 노출 제어 KR102057488B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662318843P 2016-04-06 2016-04-06
US62/318,843 2016-04-06
US15/096,128 US10200624B2 (en) 2016-04-06 2016-04-11 Three-dimensional, 360-degree virtual reality exposure control
US15/096,128 2016-04-11
PCT/US2017/016524 WO2017176355A1 (en) 2016-04-06 2017-02-03 Three-dimensional, 360-degree virtual reality camera exposure control

Publications (2)

Publication Number Publication Date
KR20180123584A true KR20180123584A (ko) 2018-11-16
KR102057488B1 KR102057488B1 (ko) 2019-12-20

Family

ID=59998498

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187032087A KR102057488B1 (ko) 2016-04-06 2017-02-03 3차원 360도 가상현실 카메라 노출 제어

Country Status (10)

Country Link
US (1) US10200624B2 (ko)
JP (1) JP6496093B1 (ko)
KR (1) KR102057488B1 (ko)
CN (1) CN109313815B (ko)
AU (1) AU2017247070B2 (ko)
BR (1) BR112018070413A2 (ko)
CA (1) CA3019936C (ko)
IL (1) IL261945B (ko)
MX (1) MX2018012147A (ko)
WO (1) WO2017176355A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989585B1 (ko) * 2019-02-27 2019-06-17 (주)텔미전자 드론 침입을 탐지하기 위한 멀티 tod 서라운드 카메라 장치
WO2020175807A1 (ko) * 2019-02-27 2020-09-03 (주)텔미전자 드론 침입을 탐지하기 위한 멀티 tod 서라운드 카메라 장치 및 이를 이용한 드론 침입 감지 포획 방법
KR20210047073A (ko) * 2019-10-21 2021-04-29 재단법인 다차원 스마트 아이티 융합시스템 연구단 폴더블 360도 카메라 시스템 및 그 동작 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10230904B2 (en) * 2016-04-06 2019-03-12 Facebook, Inc. Three-dimensional, 360-degree virtual reality camera system
US10306180B2 (en) * 2016-10-21 2019-05-28 Liquidsky Software, Inc. Predictive virtual reality content streaming techniques
US10607654B2 (en) * 2017-02-09 2020-03-31 Verizon Patent And Licensing Inc. Using sharding to generate virtual reality content
US11212432B2 (en) 2018-01-04 2021-12-28 Sony Group Corporation Data transmission systems and data transmission methods
US11463747B2 (en) 2018-04-05 2022-10-04 Tvu Networks Corporation Systems and methods for real time control of a remote video production with multiple streams
US10966001B2 (en) 2018-04-05 2021-03-30 Tvu Networks Corporation Remote cloud-based video production system in an environment where there is network delay
US11212431B2 (en) * 2018-04-06 2021-12-28 Tvu Networks Corporation Methods and apparatus for remotely controlling a camera in an environment with communication latency
EP3691249A1 (en) 2019-01-29 2020-08-05 Koninklijke Philips N.V. Image signal representing a scene
WO2020190270A1 (en) * 2019-03-15 2020-09-24 STX Financing, LLC Systems and methods for compressing and decompressing a sequence of images
CN111316636B (zh) * 2019-03-27 2021-11-16 深圳市大疆创新科技有限公司 旋转式拍摄方法、控制装置、可移动平台及存储介质
CN110049257B (zh) * 2019-05-31 2021-09-21 影石创新科技股份有限公司 一种确定半同步曝光参数的方法及电子装置
KR20210022973A (ko) * 2019-08-21 2021-03-04 한화테크윈 주식회사 멀티 카메라 장치 및 이를 포함하는 촬영 시스템

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100591144B1 (ko) * 2001-02-09 2006-06-19 이구진 주석기입에 따른 전방위성 3차원 이미지 데이터 획득장치 및 그 방법
JP2003244511A (ja) * 2002-02-13 2003-08-29 Fuji Photo Film Co Ltd 全方位撮影カメラ
US20050030392A1 (en) 2003-08-07 2005-02-10 Kujin Lee Method for eliminating blooming streak of acquired image
US20070097212A1 (en) * 2005-09-22 2007-05-03 Farneman John O 360 Degree surveillance system and method
JP2010074535A (ja) 2008-09-18 2010-04-02 Fujifilm Corp 撮影装置及び撮影方法
JP2010283743A (ja) 2009-06-08 2010-12-16 Fujifilm Corp 全方位撮像装置及びそのパノラマ画像合成方法並びにパノラマ画像合成プログラム
US20110164108A1 (en) 2009-12-30 2011-07-07 Fivefocal Llc System With Selective Narrow FOV and 360 Degree FOV, And Associated Methods
US20120105574A1 (en) 2010-10-28 2012-05-03 Henry Harlyn Baker Panoramic stereoscopic camera
WO2013186805A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
JP5828038B2 (ja) * 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
EP2860957B1 (en) * 2012-06-11 2020-11-18 Sony Interactive Entertainment Inc. Image capturing device, image capturing method and computer-readable recording medium
JP6119235B2 (ja) * 2012-12-20 2017-04-26 株式会社リコー 撮像制御装置、撮像システム、撮像制御方法およびプログラム
US20140362176A1 (en) 2013-01-05 2014-12-11 Patrick A. St. Clair Spherical panoramic imaging system
US9313415B2 (en) 2013-02-19 2016-04-12 Sensormatic Electronics, LLC Method and system for adjusting exposure settings of video cameras
EP2938064B1 (en) * 2014-04-24 2016-10-12 Axis AB Method and apparatus for determining exposure setting
US9911454B2 (en) * 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US9185391B1 (en) 2014-06-17 2015-11-10 Actality, Inc. Adjustable parallax distance, wide field of view, stereoscopic imaging system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101989585B1 (ko) * 2019-02-27 2019-06-17 (주)텔미전자 드론 침입을 탐지하기 위한 멀티 tod 서라운드 카메라 장치
WO2020175807A1 (ko) * 2019-02-27 2020-09-03 (주)텔미전자 드론 침입을 탐지하기 위한 멀티 tod 서라운드 카메라 장치 및 이를 이용한 드론 침입 감지 포획 방법
KR20210047073A (ko) * 2019-10-21 2021-04-29 재단법인 다차원 스마트 아이티 융합시스템 연구단 폴더블 360도 카메라 시스템 및 그 동작 방법

Also Published As

Publication number Publication date
CN109313815A (zh) 2019-02-05
IL261945A (en) 2018-10-31
MX2018012147A (es) 2019-02-07
JP6496093B1 (ja) 2019-04-03
WO2017176355A1 (en) 2017-10-12
US10200624B2 (en) 2019-02-05
KR102057488B1 (ko) 2019-12-20
AU2017247070A1 (en) 2018-11-15
JP2019516295A (ja) 2019-06-13
AU2017247070B2 (en) 2019-01-03
CN109313815B (zh) 2020-05-12
BR112018070413A2 (pt) 2019-02-05
CA3019936A1 (en) 2017-10-12
US20170295309A1 (en) 2017-10-12
IL261945B (en) 2019-12-31
CA3019936C (en) 2019-06-11

Similar Documents

Publication Publication Date Title
KR102057488B1 (ko) 3차원 360도 가상현실 카메라 노출 제어
JP7183332B2 (ja) ３次元３６０度バーチャルリアリティカメラシステム
EP3579544B1 (en) Electronic device for providing quality-customized image and method of controlling the same
US10645293B1 (en) Three-dimensional, 360-degree virtual reality camera live preview
CN106797460B (zh) 三维视频的重建
US20160328824A1 (en) Method and system for generating multi-projection images
CN109309796A (zh) 使用多个相机获取图像的电子装置和用其处理图像的方法
CN109672827A (zh) 用于组合多个图像的电子装置及其方法
US11256214B2 (en) System and method for lightfield capture
JP2013025649A (ja) 画像処理装置及び画像処理方法、プログラム
EP3229073B1 (en) Three-dimensional, 360-degree virtual reality camera system
EP3229070B1 (en) Three-dimensional, 360-degree virtual reality camera exposure control
US11792511B2 (en) Camera system utilizing auxiliary image sensors
JP2019068306A (ja) 撮像装置および撮像方法
WO2023047645A1 (ja) 情報処理装置、映像処理方法、プログラム
CN107370963A (zh) 图像处理方法、图像处理装置和电子设备
WO2021035095A2 (en) Camera system utilizing auxiliary image sensors
WO2015088228A1 (en) Method and system for generating multi-projection images
WO2021030518A1 (en) System for producing a continuous image from separate image sources
CN109218699A (zh) 基于3d摄像机的影像处理装置及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right