KR20170035804A - 라이트 필드를 나타내는 데이터를 생성하기 위한 방법 및 장치 - Google Patents
라이트 필드를 나타내는 데이터를 생성하기 위한 방법 및 장치 Download PDFInfo
- Publication number
- KR20170035804A KR20170035804A KR1020160118178A KR20160118178A KR20170035804A KR 20170035804 A KR20170035804 A KR 20170035804A KR 1020160118178 A KR1020160118178 A KR 1020160118178A KR 20160118178 A KR20160118178 A KR 20160118178A KR 20170035804 A KR20170035804 A KR 20170035804A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- light
- ray
- field
- light field
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 26
- 230000003287 optical effect Effects 0.000 claims abstract description 48
- 238000010586 diagram Methods 0.000 claims description 47
- 210000001747 pupil Anatomy 0.000 claims description 23
- 229910052704 radon Inorganic materials 0.000 claims description 11
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 claims description 11
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 13
- 238000003491 array Methods 0.000 abstract description 3
- 230000005540 biological transmission Effects 0.000 abstract description 2
- 230000014509 gene expression Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 6
- 210000000887 face Anatomy 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000011980 disaster recovery test Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000010207 Bayesian analysis Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- H04N13/0228—
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H04N13/0059—
-
- H04N13/0203—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
시장에서 이용가능한 몇몇 타입들의 플렌옵틱 디바이스들 및 카메라 어레이들이 존재하며, 모든 이러한 라이트 필드 취득 디바이스들은 이들의 독점적 파일 포맷을 가진다. 그러나, 다-차원 정보의 취득 및 전송을 지원하는 표준이 없다. 상기 광 취득 시스템의 센서의 픽셀들과 상기 광 취득 시스템의 오브젝트 공간 사이의 대응성에 관련된 정보를 획득하는 것이 흥미롭다. 실제로, 광 취득 시스템의 오브젝트 공간의 어느 부분이 상기 광 취득 시스템의 센서에 속하는 픽셀을 감지하는지를 아는 것은, 신호 프로세싱 동작들의 개선을 가능하게 한다. 따라서, 이러한 정보를 저장하기 위한 간소한 포맷과 함께 카메라의 광학 시스템의 오브젝트 공간 내에서 광선들의 세트에 의해 점유되는 볼륨을 나타내는 픽셀 빔의 개념이 도입된다.
Description
본 발명은 라이트 필드(light field)를 나타내는 데이터의 생성에 관한 것이다.
4D 라이트 필드의 샘플링, 즉, 광선들의 레코딩으로서 볼 수 있는 4-차원 또는 4D 라이트-필드 데이터의 취득은, ECCV 2008의 컨퍼런스 회의록에서 공표된 Anat Levin 등에 의한 논문 " Understanding camera trade-offs through a Bayesian analysis of light field projections "에서 설명되며, 열띤 연구 주제이다.
카메라로부터 획득되는 고전적인 2-차원 또는 2D 이미지들에 비해, 4D 라이트-필드 데이터는 사용자가 이미지들의 렌더링 및 사용자와의 상호작용성을 향상시키는 더 많은 후처리 특징들에 대한 액세스를 가질 수 있게 한다. 예를 들어, 4D 라이트-필드 데이터에 의하면, 초점 면의 위치가 사후(a posteriori) 특정되거나 선택될 수 있음을 의미하는 초점화의 자유롭게 선택된 거리들에 의한 이미지들의 리포커싱뿐만 아니라, 이미지의 장면에서의 시점을 약간 변경시키는 것을 수행하는 것이 가능하다. 4D 라이트-필드 데이터를 획득하기 위해, 몇몇 기법들이 사용될 수 있다. 예를 들어, 플렌옵틱 카메라(plenoptic camera)는 4D 라이트-필드 데이터를 취득할 수 있다. 플렌옵틱 카메라의 아키텍처의 상세항목들이 도 1a에 제공된다. 도 1a는 플렌옵틱 카메라(100)를 개략적으로 나타내는 도면이다. 플렌옵틱 카메라(100)는 메인 렌즈(101), 2-차원 어레이로 배열되는 복수의 마이크로-렌즈들(103)을 포함하는 마이크로렌즈 어레이(102) 및 이미지 센서(104)를 포함한다.
4D 라이트-필드 데이터를 취득하는 또다른 방식은 도 1b에 도시된 바와 같이 카메라 어레이를 사용하는 것이다. 도 1b는 멀티-어레이 카메라(110)를 나타낸다. 멀티-어레이 카메라(110)는 렌즈 어레이(112) 및 이미지 센서(114)를 포함한다.
도 1a에 도시된 바와 같은 플렌옵틱 카메라(100)의 예에서, 메인 렌즈(101)는 메인 렌즈(101)의 오브젝트 필드에서 오브젝트(도면에 미도시됨)로부터의 광을 수신하고, 그 광을 메인 렌즈(101)의 이미지 필드를 통해 통과시킨다.
마지막으로, 4D 라이트 필드를 취득하는 또다른 방식은 상이한 초점 면들에서 동일한 장면의 2D 이미지들의 시퀀스를 캡처하도록 구성되는 종래의 카메라를 사용하는 것이다. 예를 들어, 문헌 [" Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays " by J.-H. Park et al., published in OPTICS EXPRESS, Vol. 22, No. 21, in October 2014]에 기술된 기법은 종래의 카메라에 의한 4D 라이트 필드 데이터의 취득을 달성하기 위해 사용될 수 있다.
4D 라이트-필드 데이터를 표현하는 몇몇 방식들이 있다. 실제로, 2006년 7월에 공표된, Ren Ng에 의한 " Digital Light Field Photography "라는 명칭의 박사 학위 논문의 챕터 3.3에는, 4D 라이트-필드 데이터를 표현하기 위한 3가지 상이한 방식이 기술된다. 첫째, 4D 라이트-필드 데이터는, 마이크로-렌즈 이미지들의 컬렉션에 의해 플렌옵틱 카메라에 의해 레코딩될 때 표현될 수 있다. 이 표현에서의 4D 라이트-필드 데이터는 미가공 이미지들 또는 미가공 4D 라이트-필드 데이터라 명명된다. 둘째, 4D 라이트-필드 데이터는, 플렌옵틱 카메라에 의해 또는 카메라 어레이에 의해 레코딩될 때, 서브 구경 이미지들(sub-aperture images)의 세트에 의해 표현될 수 있다. 서브 구경 이미지는 시점으로부터 장면의 캡처된 이미지에 대응하며, 시점은 2개의 서브 구경 이미지 사이에 약간 상이하다. 이러한 서브 구경 이미지들은 이미징된 장면의 시차 및 깊이에 관한 정보를 제공한다. 셋째, 4D 라이트-필드 데이터는 등극(epipolar) 이미지들의 세트에 의해 표현될 수 있는데, 예를 들어, ISVC 2011의 컨퍼런스 회의록에 공표된, S. Wanner 등에 의한 " Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera "라는 명칭의 논문을 참조한다.
라이트-필드 데이터는 대량의 저장 공간을 차지할 수 있고, 이는 저장을 까다롭게 하고 프로세싱을 덜 효율적으로 만들 수 있다. 또한, 라이트-필드 취득 디바이스들은 극도로 이질적이다. 라이트-필드 카메라들은, 상이한 타입들을 가지며, 예를 들어, 플렌옵틱 또는 카메라 어레이들이다. 각각의 타입 내에서, 상이한 광학 배열들, 또는 상이한 초점 거리의 마이크로렌즈들과 같이, 많은 차이점이 존재한다. 각각의 카메라는 자신만의 독점적 파일 포맷을 가진다. 현재, 라이트-필드 카메라가 의존하는 상이한 파라미터들의 완벽한 개요에 대한 다-차원 정보의 취득 및 전송을 지원하는 표준이 없다. 따라서, 상이한 카메라들에 대해 취득된 라이트-필드 데이터는 다양한 포맷들을 가진다. 본 발명은 전술내용을 염두에 두고 고안되었다.
발명의 제1 양태에 따르면, 광 취득 시스템의 센서의 적어도 하나의 픽셀이 상기 광 취득 시스템의 동공을 통해 감지할 수 있는 광선들의 세트에 의해 점유되는 상기 광 취득 시스템의 오브젝트 공간 내의 볼륨을 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법이 제공되고, 상기 볼륨은 픽셀 빔이라 명명되며, 상기 방법은:
- 광 취득 디바이스에 의해 캡처되는 라이트 필드 데이터로부터, 픽셀 빔을 나타내는 라이트 필드 레이의 복수의 주어진 기준 면들과의 교차들을 정의하는 교차 데이터를 획득하는 단계(S803) ― 상기 기준 면들은 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 ― ;
- 4D 레이 다이어그램에서 교차 데이터의 그래픽 표현을 정의하는 레이 다이어그램 파라미터들을 획득하는 단계(S805, S806); 및
- 상기 레이 다이어그램 파라미터들을 픽셀 빔을 정의하는 파라미터들과 연관시켜서 픽셀 빔을 나타내는 데이터를 제공하는 단계를 포함한다.
발명의 실시예에 따르면, 픽셀 빔을 나타내는 라이트 필드 레이는 픽셀의 중심 및 동공의 중심을 통과하는 직선이며, 픽셀 빔을 정의하는 파라미터들은 오브젝트 공간 내의 픽셀의 공액의 위치 및 크기이다.
발명의 실시예에 따르면, 라이트 필드 레이에 대응하는 절편(interception) 데이터는 데이터라인들로서 레이 다이어그램에서 그래픽으로 표현되고, 레이 다이어그램 파라미터들은:
- 데이터라인의 기울기; 및
- 레이 다이어그램의 축과 데이터라인의 교차
중 적어도 하나를 나타내는 데이터를 포함한다.
발명의 실시예에 따르면, 데이터라인들은 라돈 변환(Radon transform)을 적용함으로써 2D 레이 다이어그램에서 검출된다.
발명의 실시예에 따르면, 그래픽 표현은 디지털 데이터라인을 제공하도록 셀들의 행렬로서 제공되고, 각각의 디지털 데이터라인 포맷은, 적어도 하나의 제1 셀이 상기 라인과 축과의 절편을 나타내고, 적어도 하나의 제2 셀이 라인의 기울기를 결정할 수 있는, 복수의 셀들에 의해 정의된다.
발명의 실시예에 따르면, 각각의 디지털 데이터라인은 브레젠험의 알고리즘(Bresenham's algorithm)의 적용에 의해 생성된다.
발명의 실시예에 따르면, 픽셀 빔을 나타내는 데이터는 대응하는 라이트 필드 레이의 컬러를 나타내는 컬러 데이터를 더 포함한다.
발명의 실시예에 따르면, 픽셀 빔을 나타내는 데이터는 메타 데이터로서 제공되고, 메타데이터의 헤더는 2D 레이 다이어그램에서 교차 데이터의 그래픽 표현을 정의하는 레이 다이어그램 파라미터들을 포함하고, 메타데이터의 바디는 레이의 컬러를 나타내는 데이터를 포함하고, 파라미터들은 오브젝트 공간 내의 픽셀의 공액의 위치 및 크기를 정의한다.
발명의 또다른 대상은 광 취득 시스템의 센서의 적어도 하나의 픽셀이 상기 광 취득 시스템의 동공을 통해 감지할 수 있는 광선들의 세트에 의해 점유되는 상기 광 취득 시스템의 오브젝트 공간 내의 볼륨에 대한 메타데이터를 제공하기 위한 디바이스이며, 상기 볼륨은 픽셀 빔이라 명명되고, 디바이스는 라이트 필드 카메라에 의해 캡처되는 라이트 필드 데이터를 취득하기 위한 라이트 필드 데이터 취득 모듈, 및 라이트 필드 데이터 생성 모듈을 포함하고, 상기 라이트 필드 데이터 생성 모듈은:
- 취득된 라이트 필드 데이터로부터, 픽셀 빔을 나타내는 라이트 필드 레이와 복수의 주어진 기준 면들과의 교차들을 정의하는 교차 데이터를 획득하고 ― 상기 기준 면들은 서로 평행하며, 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 ― ; 그리고
- 2D 레이 다이어그램 내의 교차 데이터의 그래픽 표현을 정의하는 레이 다이어그램 파라미터들을 획득하여 취득된 라이트 필드 데이터를 나타내는 데이터를 제공하고;
- 레이 다이어그램 파라미터들을 픽셀 빔을 정의하는 파라미터들과 연관시켜서 픽셀 빔을 나타내는 데이터를 제공하도록 구성된다.
발명의 또다른 대상은:
- 규칙적 격자 구조로 배열되는 마이크로 렌즈들의 어레이;
- 마이크로 렌즈들의 어레이로부터 광센서 상에 투사되는 광을 캡처하도록 구성되는 광센서 ― 광센서는 픽셀들의 세트들을 포함하고 픽셀들의 각각의 세트는 마이크로 렌즈들의 어레이의 각자의 마이크로 렌즈와 광학적으로 연관됨 ― ; 및
- 청구항 9에 따른 메타데이터를 제공하기 위한 디바이스
를 포함하는 라이트 필드 이미징 디바이스에 관한 것이다.
발명의 또다른 대상은 청구항 1 내지 8 중 어느 한 항의 방법에 따라 획득되는 라이트 필드 데이터 사용으로부터 이미지를 렌더링하기 위한 디바이스에 관한 것이다.
발명의 또다른 양태에 따르면, 광 취득 시스템의 센서의 적어도 하나의 픽셀이 상기 광 취득 시스템의 동공을 통해 감지할 수 있는 광선들의 세트에 의해 점유되는 광 취득 시스템의 오브젝트 공간 내의 볼륨을 나타내는 데이터에 대한 데이터 패키지가 제공되며, 상기 볼륨은 픽셀 빔이라 명명되며, 데이터 패키지는, 픽셀 빔을 나타내는 광선의 교차 데이터의 2D 레이 다이어그램에서의 그래픽 표현을 정의하는 레이 다이어그램 파라미터들 ― 교차 데이터는 픽셀 빔을 나타내는 라이트 필드 레이의 복수의 주어진 기준 면들과의 교차들을 정의하고, 상기 기준 면들은 서로 평행하며, 오브젝트 공간 내의 상이한 깊이들에 대응함 ― ; 픽셀 빔을 나타내는 라이트 필드 레이의 컬러들을 정의하는 컬러 데이터 및 오브젝트 공간 내의 픽셀의 공액의 위치 및 크기를 정의하는 파라미터들을 포함한다.
발명의 엘리먼트들에 의해 구현되는 일부 프로세스들은 컴퓨터 구현형일 수 있다. 따라서, 이러한 엘리먼트들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 거주 소프트웨어, 마이크로-코드 등을 포함함) 또는 모두가 "회로", "모듈" 또는 "시스템"으로서 본원에서 일반적으로 지칭될 수 있는 소프트웨어와 하드웨어 양태들을 조합하는 실시예의 형태를 취할 수 있다. 또한, 이러한 엘리먼트들은 매체에 내장되는 컴퓨터 사용가능한 프로그램 코드를 가지는 임의의 유형적 표현 매체에서 구현되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.
본 발명의 엘리먼트들이 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적절한 캐리어 매체 상에 프로그래밍가능한 장치에 제공하기 위한 컴퓨터 판독가능한 코드로서 구현될 수 있다. 유형적 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다. 일시적 캐리어 매체는 전기 신호, 전자 신호, 광 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 들어, 마이크로파 또는 RF 신호와 같은 신호를 포함할 수 있다.
발명의 실시예들이, 단지 예시로서, 그리고 후속하는 도면들에 관련하여, 이제 기술될 것이다.
도 1a는 플렌옵틱 카메라를 개략적으로 표현하는 다이어그램이다.
도 1b는 멀티-어레이 카메라를 나타낸다.
도 2a는 발명의 실시예에 따른 라이트-필드 카메라의 기능도이다.
도 2b는 발명의 실시예에 따른 라이트-필드 데이터 포맷터(light-field data formator) 및 라이트-필드 데이터 프로세서의 기능도이다.
도 3은 광센서 어레이 상에 형성되는 2D 라이트-필드 이미지의 예이다.
도 4는 카메라의 광학 시스템 또는 광 취득 시스템의 오브젝트 공간 내의 광선들의 세트에 의해 점유되는 볼륨을 나타낸다.
도 5는 하나의 시트의 쌍곡면을 나타낸다.
도 6a 및 6b는 발명의 하나 이상의 실시예들에 따른 라이트-필드 데이터의 파라미터화를 위한 기준 면들의 사용을 그래픽으로 예시한다.
도 7은 발명의 실시예들에 따른 기준 면들에 대한 라이트-필드 레이들의 표현을 그래픽으로 예시한다.
도 8a는 발명의 하나 이상의 실시예들에 따른 방법의 단계들을 예시하는 플로우차트이다.
도 8b는 발명의 하나 이상의 실시예들에 따른 광 데이터 포맷을 제공하기 위한 디바이스의 모듈들을 예시하는 기능 블록도이다.
도 9는 발명의 실시예들에 따른 라이트-필드 레이들의 표현을 위한 파라미터들을 개략적으로 예시한다.
도 10은 발명의 실시예들에 따른 교차 데이터를 그래픽으로 예시하는 2D 레이 다이어그램이다.
도 11은 발명의 실시예들에 따라 생성되는 디지털 라인을 그래픽으로 예시한다.
도 12는 발명의 실시예들에 따라 생성되는 디지털 라인을 그래픽으로 예시한다.
도 13-13c는 발명의 실시예들에 따라 디지털 라인에 적용되는 라돈 변환을 그래픽으로 예시한다.
도 14는 발명의 실시예들에 따라 복수의 카메라들에 대한 교차 데이터를 그래픽으로 예시하는 2D 레이 다이어그램이다.
도 1a는 플렌옵틱 카메라를 개략적으로 표현하는 다이어그램이다.
도 1b는 멀티-어레이 카메라를 나타낸다.
도 2a는 발명의 실시예에 따른 라이트-필드 카메라의 기능도이다.
도 2b는 발명의 실시예에 따른 라이트-필드 데이터 포맷터(light-field data formator) 및 라이트-필드 데이터 프로세서의 기능도이다.
도 3은 광센서 어레이 상에 형성되는 2D 라이트-필드 이미지의 예이다.
도 4는 카메라의 광학 시스템 또는 광 취득 시스템의 오브젝트 공간 내의 광선들의 세트에 의해 점유되는 볼륨을 나타낸다.
도 5는 하나의 시트의 쌍곡면을 나타낸다.
도 6a 및 6b는 발명의 하나 이상의 실시예들에 따른 라이트-필드 데이터의 파라미터화를 위한 기준 면들의 사용을 그래픽으로 예시한다.
도 7은 발명의 실시예들에 따른 기준 면들에 대한 라이트-필드 레이들의 표현을 그래픽으로 예시한다.
도 8a는 발명의 하나 이상의 실시예들에 따른 방법의 단계들을 예시하는 플로우차트이다.
도 8b는 발명의 하나 이상의 실시예들에 따른 광 데이터 포맷을 제공하기 위한 디바이스의 모듈들을 예시하는 기능 블록도이다.
도 9는 발명의 실시예들에 따른 라이트-필드 레이들의 표현을 위한 파라미터들을 개략적으로 예시한다.
도 10은 발명의 실시예들에 따른 교차 데이터를 그래픽으로 예시하는 2D 레이 다이어그램이다.
도 11은 발명의 실시예들에 따라 생성되는 디지털 라인을 그래픽으로 예시한다.
도 12는 발명의 실시예들에 따라 생성되는 디지털 라인을 그래픽으로 예시한다.
도 13-13c는 발명의 실시예들에 따라 디지털 라인에 적용되는 라돈 변환을 그래픽으로 예시한다.
도 14는 발명의 실시예들에 따라 복수의 카메라들에 대한 교차 데이터를 그래픽으로 예시하는 2D 레이 다이어그램이다.
통상의 기술자에 의해 이해될 바와 같이, 본 원리들의 양태들은 시스템, 방법 또는 컴퓨터 판독가능한 매체로서 구현될 수 있다. 따라서, 본 원리들의 양태들은 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 거주 소프트웨어, 마이크로-코드 등을 포함함) 또는 모두가 "회로", "모듈" 또는 "시스템"으로서 본원에서 일반적으로 지칭될 수 있는 소프트웨어와 하드웨어 양태들을 조합하는 실시예의 형태를 취할 수 있다. 또한, 본 원리들의 양태들은 컴퓨터 판독가능한 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능한 저장 매체(들)의 임의의 조합이 이용될 수 있다.
발명의 실시예들은 포맷 변환, 리포커싱, 시점 변경 및 3D 이미지 생성과 같은 추가적인 프로세싱 응용예들을 위한 라이트-필드 데이터의 포맷팅을 제공한다.
도 2a는 발명의 실시예에 따른 라이트-필드 카메라 디바이스의 블록도이다. 라이트-필드 카메라는 도 1a의 라이트-필드 카메라에 따른 조리개(aperture)/셔터(202), 메인(대물) 렌즈(201), 마이크로 렌즈 어레이(210) 및 광센서 어레이(220)를 포함한다. 일부 실시예들에서, 라이트-필드 카메라는 대상 또는 장면의 라이트-필드 이미지를 캡처하도록 활성화되는 셔터 릴리즈를 포함한다. 기능 특징들이 또한 도 1b의 라이트-필드 카메라에 적용될 수 있다는 점이 이해될 것이다.
광센서 어레이(220)는 라이트-필드 데이터 포맷팅 모듈(250)에 의한 라이트-필드 데이터 포맷의 생성을 위한, 그리고/또는 라이트-필드 데이터 프로세서(255)에 의한 프로세싱을 위한, LF 데이터 취득 모듈(240)에 의해 취득되는 라이트-필드 이미지 데이터를 제공한다. 라이트-필드 데이터는, 발명의 실시예들에 따라, 취득 이후 그리고 프로세싱 이후, 메모리(290)에 미가공 데이터 포맷으로, 서브 구경 이미지들(sub aperture images) 또는 초점 스택들로서, 또는 라이트-필드 데이터 포맷으로 저장될 수 있다.
예시된 예에서, 라이트-필드 데이터 포맷팅 모듈(150) 및 라이트-필드 데이터 프로세서(255)는 라이트-필드 카메라(200)에 배치되거나 또는 라이트-필드 카메라(200) 내에 집적된다. 발명의 다른 실시예들에서, 라이트-필드 데이터 포맷팅 모듈(250) 및/또는 라이트-필드 데이터 프로세서(255)는 라이트-필드 캡처 카메라에 대해 외부에 있는 별도의 컴포넌트 내에 제공될 수 있다. 별도의 컴포넌트는 라이트-필드 이미지 캡처 디바이스에 대해 국부적이거나 또는 원격일 수 있다. 임의의 적절한 유선 또는 무선 프로토콜이 라이트-필드 이미지 데이터를 포맷팅 모듈(250) 또는 라이트-필드 데이터 프로세서(255)에 전송하기 위해 사용될 수 있다는 것이 이해될 것인데; 예를 들어, 라이트-필드 데이터 프로세서는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스 통신 프로토콜, 및/또는 임의의 다른 적절한 수단을 통해 캡처된 라이트-필드 이미지 데이터 및/또는 다른 데이터를 전달할 수 있다.
발명의 실시예들에 따르면, 라이트-필드 데이터 포맷팅 모듈(250)은 취득된 라이트-필드를 나타내는 데이터를 생성하도록 구성된다. 라이트-필드 데이터 포맷팅 모듈(250)은 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다.
라이트-필드 데이터 프로세서(255)는 LF 데이터 취득 모듈(240)로부터 직접 수신되는 미가공 라이트-필드 이미지 데이터에 대해 동작하여, 예를 들어, 발명의 실시예들에 따른 초점 스택들 또는 뷰들의 행렬을 생성하도록 구성된다. 예를 들어, 캡처된 장면의 스틸 이미지들, 2D 비디오 스트림들 등과 같은 출력 데이터가 생성될 수 있다. 라이트-필드 데이터 프로세서는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수 있다.
적어도 일 실시예에서, 라이트-필드 카메라(200)는 사용자가 제어기(270)에 의한 카메라(100)의 동작을 제어하기 위한 사용자 입력을 제공할 수 있게 하기 위한 사용자 인터페이스(260)를 또한 포함할 수 있다. 카메라의 제어는 셔터 속도와 같은 카메라의 광학 파라미터들의 제어, 또는 조정가능한 라이트-필드 카메라의 경우 마이크로렌즈 어레이와 광센서 사이의 상대 거리, 또는 대물 렌즈와 마이크로렌즈 어레이 사이의 상대 거리의 제어 중 하나 이상을 포함할 수 있다. 일부 실시예들에서, 라이트-필드 카메라의 광학 엘리먼트들 사이의 상대 거리들은 수동으로 조정될 수 있다. 카메라의 제어는 다른 라이트-필드 데이터 취득 파라미터들, 라이트-필드 데이터 포맷팅 파라미터들 또는 카메라의 라이트-필드 프로세싱 파라미터들의 제어를 또한 포함할 수 있다. 사용자 인터페이스(260)는 터치 스크린, 버튼, 키보드, 포인팅 디바이스 및/또는 유사물과 같은 임의의 적절한 사용자 입력 디바이스(들)를 포함할 수 있다. 이러한 방식으로, 사용자 인터페이스에 의해 수신되는 입력은 데이터 포맷팅을 제어하기 위한 LF 데이터 포맷팅 모듈(250), 취득된 라이트-필드 데이터의 프로세싱을 제어하기 위한 LF 데이터 프로세서(255) 및 라이트-필드 카메라(200)를 제어하기 위한 제어기(270)를 제어하고 그리고/또는 구성하기 위해 사용될 수 있다.
라이트-필드 카메라는 하나 이상의 교체가능한 또는 재충전가능한 배터리들과 같은 전원(280)을 포함한다. 라이트-필드 카메라는 발명의 실시예들의 방법들을 구현하기 위한 소프트웨어와 같은 캡처된 라이트-필드 데이터 및/또는 렌더링된 최종 이미지들 또는 다른 데이터를 저장하기 위한 메모리(290)를 포함한다. 메모리는 외부 및/또는 내부 메모리를 포함할 수 있다. 적어도 일 실시예에서, 메모리는 카메라(200)로부터 별도의 디바이스 및/또는 위치에서 제공될 수 있다. 일 실시예에서, 메모리는 메모리 스틱과 같은 제거가능한/스와핑가능한 저장 디바이스를 포함한다.
라이트-필드 카메라는 캡처하기 전에 카메라 전방의 장면들을 보기 위한 그리고/또는 이전에 캡처된 그리고/또는 렌더링된 이미지들을 보기 위한 디스플레이 유닛(265)(예를 들어, LCD 스크린)을 또한 포함할 수 있다. 스크린(265)은 하나 이상의 메뉴들 또는 다른 정보를 사용자에게 디스플레이하기 위해 또한 사용될 수 있다. 라이트-필드 카메라는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스 통신 프로토콜 및/또는 임의의 다른 적절한 수단을 통한 데이터 통신을 위한, 파이어와이어(FireWire) 또는 유니버설 직렬 버스(Universal Serial Bus)(USB) 인터페이스들, 또는 유선 또는 무선 통신 인터페이스들과 같은, 하나 이상의 I/O 인터페이스들(295)을 더 포함할 수 있다. I/O 인터페이스(295)는, 애플리케이션들을 렌더링하기 위해, 컴퓨터 시스템들 또는 디스플레이 유닛들과 같은 외부 디바이스들에 그리고 외부 디바이스들로부터, 발명의 실시예들에 따라 LF 데이터 포맷팅 모듈에 의해 생성되는 라이트-필드 대표 데이터 및 미가공 라이트-필드 데이터 또는 LF 데이터 프로세서(255)에 의해 프로세싱되는 데이터와 같은 라이트-필드 데이터와 같은, 데이터를 전달하기 위해 사용될 수 있다.
도 2b는 라이트-필드 데이터 포맷팅 모듈(250) 및 라이트-필드 데이터 프로세서(253)의 잠재적 구현예의 특정 실시예를 예시하는 블록도이다.
회로(2000)는 메모리(2090), 메모리 제어기(2045) 및 하나 이상의 프로세싱 유닛들(CPU(들))을 포함하는 프로세싱 회로(2040)를 포함한다. 하나 이상의 프로세싱 유닛들(2040)은 메모리(2090)에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령들의 세트를 실행하여 라이트-필드 데이터 포맷팅 및 라이트-필드 데이터 프로세싱을 포함하는 다양한 기능들을 수행하도록 구성된다. 메모리에 저장되는 소프트웨어 컴포넌트들은 발명의 실시예들에 따라 취득된 광 데이터를 나타내는 데이터를 생성하기 위한 데이터 포맷팅 모듈(또는 명령들의 세트)(2050) 및 발명의 실시예들에 따른 라이트-필드 데이터를 프로세싱하기 위한 라이트-필드 데이터 프로세싱 모듈(또는 명령들의 세트)(2055)을 포함한다. 다른 모듈들은 일반적인 시스템 작업들(예를 들어, 전력 관리, 메모리 관리)을 제어하기 위한 그리고 디바이스(2000)의 다양한 하드웨어 컴포넌트와 소프트웨어 컴포넌트 사이의 통신을 용이하게 하기 위한 운영 체제 모듈(2051), 및 I/O 인터페이스 포트들을 통해 다른 디바이스들과의 통신을 제어하고 관리하기 위한 인터페이스 모듈(2052)과 같은, 라이트-필드 카메라 디바이스의 애플리케이션들을 위해 메모리에 포함될 수 있다.
도 3은 도 1a의 광센서 어레이(104) 또는 도 1b의 광센서 어레이(114) 상에 형성되는 2D 이미지의 예를 예시한다. 종종 미가공 4D 라이트-필드 이미지라고 지칭되는 2D 이미지는 마이크로 이미지들의 어레이(MI)로 구성되며, 각각의 마이크로 이미지는 마이크로렌즈 어레이(102, 112)의 각자의 마이크로 렌즈(i, j)에 의해 생성된다. 마이크로 이미지들은 축들 i 및 j에 의해 정의되는 직사각형 격자 구조로 어레이로 배열된다. 마이크로 렌즈 이미지는 각자의 마이크로 렌즈 좌표 (i, j)에 의해 참조될 수 있다. 광센서(104, 114)의 픽셀(PI)은 그것의 공간 좌표 (x, y)에 의해 참조될 수 있다. 주어진 픽셀과 연관된 4D 라이트-필드 데이터는 (x, y, i, j)로서 참조될 수 있다.
4D 라이트-필드 이미지를 나타내는(또는 정의하는) 몇몇 방식들이 존재한다. 예를 들어, 4D 라이트-필드 이미지는 도 3에 관련하여 이전에 기술된 바와 같이 마이크로-렌즈 이미지들의 컬렉션에 의해 표현될 수 있다. 4D 라이트-필드 이미지는, 서브 구경 이미지들에 의해 플렌옵틱 카메라에 의해 레코딩될 때, 또한 표현될 수 있다. 각각의 서브 구경 이미지는 각각의 마이크로렌즈 이미지로부터 선택되는 동일한 위치의 픽셀들로 구성된다. 또한, 4D 라이트-필드 이미지는 등극 이미지들의 세트에 의해 표현될 수 있으며, 이는 픽셀 빔의 경우가 아니다.
본 발명의 실시예들은 픽셀 빔의 개념(notion)에 기초하는 라이트-필드 데이터의 표현을 제공한다. 이러한 방식으로, 포맷들 및 라이트-필드 디바이스들의 다양성이 고려될 수 있다. 실제로, 레이 기반 포맷들의 한가지 결점은, 파라미터화 면들이 픽셀 포맷들 및 크기들을 반영하도록 샘플링되어야 한다는 것이다. 따라서, 샘플링은 물리적 중요 정보를 복원하기 위해 다른 데이터들에 따라 정의될 필요가 있다.
도 4에 도시된 바와 같은, 픽셀 빔(40)은 카메라의 광학 시스템(41)의 오브젝트 공간 내의 광선들의 세트에 의해 점유되는 볼륨을 나타낸다. 광선들의 세트는 상기 광학 시스템(41)의 동공(44)을 통해 카메라의 센서(43)의 픽셀(42)에 의해 감지된다. 레이들에 비해, 픽셀 빔들(40)은, 이들이 물리적 광선들의 섹션들에 걸친 에너지의 보존에 대응하는 "etendue"에 따라 전달하기 때문에, 마음대로 샘플링될 수 있다.
광학 시스템의 동공은 상기 광학 시스템을 통해 보여지는 바와 같은 구경 조리개(aperture stop), 즉 카메라의 렌즈들의 이미지로서 정의되며, 광학 시스템은 상기 구경 조리개에 선행한다. 구경 조리개는 카메라의 광학 시스템을 통과하는 빛의 양을 제한하는 개구이다. 예를 들어, 카메라 렌즈의 전방 근처에 위치되는 조정가능한 가로막이 렌즈에 대한 구경 조리개이다. 가로막을 통해 들어오는 광의 양은 카메라의 사용자가 들어오기를 원하는 광의 양에 따라 조정될 수 있는 가로막 개구의 직경에 의해 제어된다. 예를 들어, 구경을 더 작게 만드는 것은 가로막을 통해 들어오는 광의 양을 감소시키지만, 초점의 깊이를 증가시킨다. 조리개의 유효 크기는 렌즈의 굴절 작용으로 인해 그것의 물리적 크기보다 더 크거나 더 작을 수 있다. 공식적으로, 동공은 카메라의 광학 시스템의 일부분을 통과하는 구경 조리개의 이미지이다.
픽셀 빔(40)은 입사 동공(44)을 통해 광학 시스템(41)을 통과하여 전파할 때 주어진 픽셀(42)에 도달하는 광선들의 펜슬로서 정의된다. 광이 자유 공간 내의 직선 상에서 이동함에 따라, 이러한 픽셀 빔(40)의 형상은 2개의 섹션들에 의해 정의될 수 있는데, 하나는 픽셀(42)의 공액(45)이고, 다른 하나는 입사 동공(44)이다. 픽셀(42)은 그것의 넌-널(non-null) 표면 및 그것의 감도 맵에 의해 정의된다.
따라서, 픽셀 빔은, 도 5에 도시되는 바와 같이, 2개의 엘리먼트, 즉, 카메라의 오브젝트 공간 내의 픽셀(42)의 동공(54) 및 공액(55)에 의해 지원되는, 하나의 시트(50)의 쌍곡면에 의해 표현될 수 있다.
하나의 시트의 쌍곡면은 광선들의 펜슬의 개념을 지원할 수 있는 규정된 표면이며, 물리적 광 빔들의 "etendue"의 개념과 호환가능하다.
발명의 실시예에서, 픽셀 빔(40, 50)은 동공(44, 54)의 앞에서 픽셀 공액(45, 55)의 위치 및 크기를 정의하는 4개의 독립 파라미터들인 
에 의해 정의된다.
픽셀 빔을 나타내는 하나의 시트의 쌍곡면은 다음 수학식에 의해 정의될 수 있다:
여기서, 
및 
이다.
픽셀 빔(40, 50)의 파라미터들이 정의되는 좌표계(x, y, z)의 원점 O은 도 4에 도시된 바와 같은 동공(44)의 중심에 대응하며, 여기서, z축은 동공(44, 54)의 표면에 대해 법선 방향을 정의한다.
파라미터들 
은 동공(44) 중심의 입사에 대한 주 광선 방향들을 정의한다. 이들은 센서(43) 상의 그리고 광학 시스템(41)의 광학 엘리먼트들 상의 픽셀(42) 위치에 의존한다. 더 정확하게는, 파라미터들 
은 동공(44)의 중심으로부터 픽셀(42)의 공액(45)의 방향을 정의하는 전단각(shear angle)들을 나타낸다.
파라미터 zP는 z 축을 따라, 픽셀 빔(40, 50)의 허리(55), 또는 픽셀(42)의 공액(45)의 거리를 나타낸다.
파라미터 a는 픽셀 빔(40, 50)의 허리(55)의 반경을 나타내며, c는 다음 수학식에 의해 주어진다:
여기서, r는 동공(44, 54)의 반경이다.
파라미터들 zP, a 및 c의 값들의 계산은 주어진 카메라의 캘리브레이션 상태 동안 상기 카메라의 각각의 픽셀 빔에 대해 달성된다. 이러한 캘리브레이션 상태는, 예를 들어, 카메라의 광학 시스템을 통한 광선들의 전파를 모델링할 수 있는 프로그램을 실행하는 것으로 구성된다. 이러한 프로그램은 Zemax ⓒ, ASAP ⓒ 또는 Code V ⓒ와 같은 광학 설계 프로그램이다. 광학 설계 프로그램은 광학 시스템들을 설계하고 분석하기 위해 사용된다. 광학 설계 프로그램들은 광학 시스템을 통한 광선들의 전파를 모델링하고; 그리고 단순 렌즈, 비구면 렌즈, 굴절률 분포형 렌즈(gradient index lense), 거울, 및 회절성 광학 엘리먼트들 등과 같은 광학 엘리먼트들의 효과를 모델링할 수 있다.
따라서, 픽셀 빔(40, 50)은 그것의 주 광선 및 파라미터들 zP, a 및 c에 의해 정의될 수 있다.
그러나, 레이들을 저장하기 위한 고전적 파일 포맷이 3D 공간 내의 위치 및 방향을 저장하는 것으로 구성되기 때문에, 픽셀 빔(40, 50)의 이러한 표현은 대량의 저장 공간을 줄인다.
더 적은 저장 공간을 필요로 하는 레이들을 저장하기 위한 파일 포맷을 제안하기 위해, 라이트-필드 복사의 4개 차원들을 파라미터화하기 위한 방법은 도 6a에 예시된 육면체에 관한 것일 수 있다. 육면체의 모든 6개 면들은 라이트-필드를 파라미터화하기 위해 사용될 수 있다. 방향을 파라미터화하기 위해, 육면체 면들에 대해 평행한 면들의 제2 세트가 추가될 수 있다. 이러한 방식으로, 라이트-필드는 축 방향들을 따르는 법선들을 이용하여 면들의 6개 쌍들에 대해 다음과 같이 정의될 수 있다:
도 6b는 서로 평행하게 위치되며 각자 알려진 깊이들 z 1 및 z 2 에서 위치를 찾을 수 있는 파라미터화를 위해 사용되는 2개의 기준 면 P1 및 P2을 통과하는 라이트-필드 레이를 예시한다. 라이트-필드 레이는 교점 (x 1 , y 1 )에서 z 1 의 깊이에서 제1 기준 면 P 1 에 교차하고, 교점 (x 2 , y 2 )에서 z 2 의 깊이에서 제2 기준 면 P 2 에 교차한다. 이러한 방식으로, 라이트-필드 레이는 4개의 좌표 (x 1 , y 1, x 2 , y 2 )에 의해 식별될 수 있다. 따라서, 라이트-필드는 본원에서 또한 파라미터화 면들이라 지칭되는 파라미터화를 위한 한 쌍의 기준 면들 P1, P2에 의해 파라미터화될 수 있고, 각각의 라이트-필드 레이는 4D 레이 공간에서 점 (x1,y1,x2,x2)∈R4로서 표현된다.
예를 들어, 기준 좌표계의 원점은 좌표축 시스템의 기본 벡터들
에 의해 생성되는 면 P 1 의 중심에 배치될 수 있다. 
축은 생성된 면 P 1 에 대해 직교하며 제2 면 P 2 은 간략함을 위해, 
축을 따라 면 P 1 으로부터 거리 z=Δ에 배치될 수 있다. 6개의 상이한 전파 방향들을 고려하기 위해, 전체 라이트-필드는 이러한 면들의 6개 쌍들에 의해 특성화될 수 있다. 종종 라이트 슬래브(light slab)로서 지칭되는 한 쌍의 면들은 전파 방향을 따라 라이트-필드 카메라의 센서 또는 센서 어레이와 상호작용하는 라이트-필드를 특성화한다.
파라미터화를 위한 기준 면의 위치는:
로서 주어지며, 여기서 
은 법선이고, d는 법선의 방향을 따라 3D 좌표계의 원점으로부터의 오프셋이다.
파라미터화를 위한 기준 면의 데카르트 수학식(Cartesian equation)은 다음과 같이 주어질 수 있다:
라이트-필드 레이가 알려진 위치:
라이트-필드 레이와 기준 면 사이의 교차 
의 좌표는 다음과 같이 주어진다:
다음 조건이 만족되지 않는 경우 라이트-필드 레이들과 기준 파라미터화 사이의 교차가 존재하지 않는다:
라이트-필드를 파라미터화하기 위해 사용되는 기준 면들의 쌍의 시스템의 축들 중 하나와의 직교성으로 인해, 레이 교차의 컴포넌트들 중 하나는 각각의 면에 대해 항상 일정하다. 따라서, 라이트-필드 레이와 제1 기준 면과의 교차 
및 상기 라이트-필드의 제2 기준 면과의 교차 
이 존재하지 않는 경우, 4개의 좌표는 달라지고, 수학식 A는 라이트-필드 레이의 4개의 파라미터를 계산하기 위해 사용될 수 있다. 이러한 4개의 파라미터는 라이트-필드의 4D 레이 다이어그램을 구축하기 위해 사용될 수 있다.
2개의 파라미터화 기준 면에 대한 라이트-필드 파라미터화를 가정하면, 라이트-필드를 나타내는 데이터는 다음과 같이 획득될 수 있다. 기준 시스템이 도 7에 도시된 바와 같이 설정되는 경우, 제1 파라미터화 면 P1은 z = z1에서 z축에 대해 직교하고, 제2 파라미터화 면 P2은 z = z2에서 z 축에 대해 직교하며, 그것의 라이트-필드 파라미터들이 L(x1; y1; x2; y2)인 레이는, 라이트-필드 카메라의 광센서가 위치되는 위치 z = z3에 렌더링된다. 수학식 (A)로부터:
위의 표현식을 전개하면 다음 식이 주어진다:
두 수학식 세트들 양자는 새로운 위치에서 렌더링된 라이트-필드 레이와 동일한 포인트 
를 전달해야 한다. u x ; u y ; u z 를 
과 
의 함수들로서 이들의 대응하는 표현식과 대체함으로써, 이전 블록으로부터의 수학식의 제2 세트가 사용되고 x3와 y3가 함께 더해지는 경우:
아래 표현식으로 이어진다:
첨자 3을 가지는 좌표들은 라이트-필드가 렌더링되는 알려진 포인트(x 3 , y 3 , z 3 ) 에 관련된다. 모든 깊이 좌표들 z i이 알려져 있다. 파라미터화 면들은 전파 방향 또는 렌더링 방향에 있다. 라이트-필드 데이터 파라미터 L은 (x 1 , y 1 , x 2 , y 2 )이다.
포인트 (x 3 , y 3 , z 3 ) 에서 이미지를 형성하는 라이트-필드 레이들은 
내에 하이퍼 면을 정의하는 표현식 (B)에 의해 링크된다.
이는, 이미지들이 2-면 파라미터화된 라이트-필드로부터 렌더링될 경우, 하이퍼면들 근처의 레이들만이 렌더링될 필요가 있으며, 이들을 추적할 필요가 없음을 의미한다. 도 8a는 발명의 하나 이상의 실시예들에 따른 라이트-필드를 나타내는 데이터를 생성하기 위한 방법의 단계들을 예시하는 플로우차트이다. 도 8b는 발명의 하나 이상의 실시예들에 따른 라이트-필드를 나타내는 데이터를 생성하기 위한 시스템의 메인 모듈들을 개략적으로 예시하는 블록도이다.
방법의 예비 단계(S801)에서, 카메라의 센서의 픽셀들에 연관되는 상이한 픽셀 빔들을 정의하는 파라미터들이 카메라를 캘리브레이팅함으로써 또는 원격 서버에 또는 카메라의 메모리(290) 또는 카메라에 접속된 플래시 디스크와 같은 로컬 저장 유닛 상에 저장된 데이터 파일들로부터 이러한 파라미터들을 검색함으로써 취득된다.
이러한 파라미터들은 상이한 픽셀 빔들의 주 광선들의 좌표 및 카메라의 캘리브레이션 동안 각각의 픽셀 빔에 대해 획득되는 동공의 전방에서 픽셀 공액의 위치와 크기를 정의하는 파라미터들 zP 및 a이다. 픽셀 빔의 주 광선은 픽셀의 중심 및 픽셀 빔을 지지하는 동공의 중심을 통과하는 직선이다. 또다른 예비 단계(S802)에서, 미가공 라이트-필드 데이터는 라이트-필드 카메라(801)에 의해 취득된다. 미가공 라이트-필드 데이터는 예를 들어, 도 3에 관해 기술된 바와 같은 마이크로 이미지들의 형태일 수 있다. 라이트-필드 카메라는 도 1a 또는 1b 및 2a 및 2b에 도시된 바와 같은 라이트-필드 카메라 디바이스일 수 있다.
단계(S803)에서, 취득된 라이트-필드 데이터는, 각자의 깊이 z 1 , z 2 에서 파라미터화를 위한 기준 면들의 쌍 P1, P2을 가지는, 픽셀 빔들(40, 50)의 주 광선들에 대응하는, 캡처된 라이트-필드 레이들의 교차를 정의하는 교차 데이터 (x 1 , y 1, x 2 , y 2 )를 제공하도록 레이 파라미터 모듈(802)에 의해 프로세싱된다.
카메라의 캘리브레이션으로부터, 후속하는 파라미터들이 결정될 수 있다: 투사의 중심 (x 3 , y 3, z 3 ) 카메라의 광학 축의 배향 및 카메라의 핀홀로부터 광센서의 면까지의 거리 f. 라이트-필드 카메라 파라미터들이 도 9에 예시되어 있다. 광센서 면은 깊이 z p 에 위치된다. 광센서의 픽셀 출력은 라이트-필드 레이들의 기하학적 표현으로 전환된다. 2개의 기준 면 P 1 및 P 2을 포함하는 라이트-슬래브는 광센서에 대한 카메라의 투사의 중심의 다른 측면에, z 3 를 지나, 각자 깊이 z 1 및 z 2 에 위치된다. 광선들에 대해 삼각 원리를 적용함으로써, 마이크로렌즈의 어레이로부터 투사되는 광을 레코딩하는 픽셀 좌표 (x p , y p, z p ) 는 다음의 표현식:
을 적용함으로써 레이 파라미터들, 즉, 기준 면 교점들 (x 1 , y 1 , x 2 , y 2 )에 매핑될 수 있다.
위의 계산은 상이한 트리플렛 쌍들 (x p , y p , z p ) (x 3 , y 3, z 3 )을 이용하여 다수의 카메라들로 확장될 수 있다.
플렌옵틱 카메라의 경우, 구경을 가지는 카메라 모델이 사용되며, 라이트-필드 레이는 원점 (x p , y p , z p ) 및 방향 (x' 3 , y' 3 , 1)을 가지는 것으로서 위상 공간에서 기술된다. 깊이 z 3 에서의 면 (x 3 , y 3 )으로의 그것의 전파는 행렬 변환으로서 기술될 수 있다. 렌즈는 레이를 회절시키도록 ABCD 행렬로서 작용할 것이고, 또다른 ABCD 전파 행렬은 라이트-슬래브 기준 면들 P 1 및 P 2상에 레이를 가져올 것이다.
이 단계로부터 라이트-필드 레이들의 기준 면들 P1, P2과의 교차를 기하학적으로 정의하는 교차 데이터 (x 1 , y 1 , x 2 , y 2 )가 획득된다.
단계(S804)에서, 교차 데이터 (x 1 , y 1 , x 2 , y 2 )를 그래픽으로 나타내는 2D 레이 다이어그램이 레이 다이어그램 생성기 모듈(803)에 의해 획득된다.
도 10은 구경 |A| < 0.5이고 위치 x 3 = 2 및 깊이 z 3 =2에서 카메라에 의해 캡처되는 라이트-필드 레이들의 교차 데이터 (x 1, x 2)를 그래픽으로 나타내는 2D 레이 다이어그램이다. 파라미터화하기 위해 사용되는 레이 다이어그램의 데이터 라인들은 256x256 픽셀들의 이미지를 제공하는 256개 셀들에 의해 샘플링된다.
도 10에 예시된 레이 다이어그램이 행렬로서 해석되는 경우, 그것이 희박하게 점유됨을 알 수 있다. 레이들이 4D 위상 공간 행렬 대신 파일 내에 개별적으로 저장된 경우, 이는 각각의 레이에 대해, 각각의 위치 x i 또는 x 3 에 대한 적어도 2바이트(int16) 더하기 컬러에 대한 3바이트, 즉, 2D 슬라이스 라이트-필드에 대한 레이당 7바이트, 및 그의 풀 4D 표현을 위한 레이당 11바이트의 절감을 요구할 것이다. 심지어 이후, 레이들은 표현을 조작할 필요가 있는 애플리케이션들에 대해 부적합한 파일 내에 랜덤으로 저장될 것이다. 본 발명의 발명자들은 레이 다이어그램으로부터 대표 데이터만을 추출하고, 구성된 방식으로 파일 내에 그 데이터를 저장하는 방법을 결정하였다.
2D 슬라이스된 라이트-필드 레이들이 2D 레이 다이어그램의 데이터 라인들을 따라 매핑되기 때문에, 라인 값들 자체보다는 데이터 라인을 정의하는 파라미터들을 저장하는 것이 더 효율적이다. 예를 들어, 기울기 정의 파라미터 s 및 축 절편 d와 같은 데이터 라인을 정의하는 파라미터들은 그 데이터 라인에 속하는 라이트-필드 레이들의 세트와 함께 저장될 수 있다.
이는, 예를 들어, 기울기 파라미터 s에 대한 2바이트, 기울기 파라미터 d에 대한 2바이트 및 이후 레이 당 단지 3바이트를 요구할 수 있다. 더욱이, 레이들은 파일 내의 라인들을 따라 순서화될 수 있다. 행렬 셀들을 통하도록 라인들을 설정하기 위해, 최소 에러들을 가지고 레이 라인들에 근접하는 소위 디지털 라인들이 생성된다.
단계(S805)에서 데이터 라인들의 위치를 알아내고 기울기 파라미터 s 및 절편 파마미터 d를 획득하기 위해, 단계(S804)에서 생성된 레이 다이어그램에 대해 라인 검출 모듈(804)에 의해 라돈 변환이 수행된다.
획득된 기울기 파라미터 s 및 절편 파마미터 d로부터, 대표 디지털 라인이 단계(S806)에서 디지털 라인 생성 모듈(805)에 의해 생성된다. 이 단계에서, 디지털 라인들은 분석 라인을 그것의 가장 근접한 그리드 포인트에 접근시킴으로써, 예를 들어, 브레젠험의 알고리즘을 적용함으로써 생성된다. 실제로, 브레젠험의 알고리즘은 최소 동작을 가지고 디지털 라인을 제공하는 방식을 제공한다. 브레젠험 적용의 예가 다음의 레퍼런스로부터 적응된 것이다: http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html.
디지털 포맷은 그리드의 2개 포인트 (0, d) 및 (N-1, s)에 의해 데이터 라인을 정의하며, d는 x1=0일 때 x2의 값에 대응하는 절편이고, s는 x1=N-1일 때 x2의 값에 대응하는 기울기 파라미터이다. 생성된 디지털 포맷으로부터, 각각의 개별 라인의 기울기 a는 s의 함수로서 다음과 같이 표현될 수 있다:
여기서:
s ∈ {0, 1, …, N-1} 및 d ∈ {0, 1, …, N-1} 이다.
도 11은 브레젠험의 알고리즘의 적용에 의해 생성되는 디지털 라인의 예를 예시한다.
도 12는 동일한 기울기 a(또는 s - d)를 가지지만 상이한 절편들 d을 가지는 디지털 라인들의 그룹을 예시하며, 데이터 라인들의 그룹은 인접한다. 데이터 라인들의 그룹은 라인들의 번들로서 본원에서 지칭되며, 이상적으로 정확한 것이 아닌, 카메라로부터 초래되는 빔에 대응한다. 각각의 라인은 상이한 픽셀들을 어드레스 지정한다. 다시 말해, 하나의 픽셀은 동일한 기울기를 가지지만 상이한 절편들을 가지는 번들의 고유 라인에만 속한다. 축 절편들 d의 상부 경계 및 하부 경계는 각자 dmax 및 dmin로서 주어진다.
샘플링된 라인들의 쌍(2D로)에 의해 파라미터화되며 하나의 카메라에 속하는 레이 데이터는 그 데이터를 표현하기 위해 사용되는 위상 공간 내의 디지털 라인들의 계열(빔)에 속한다. 빔의 헤더는 축 전편들의 상부 경계 및 하부 경계 dmax - dmin에 의해 정의되는 빔의 두께 및 기울기 a를 단순히 포함할 수 있다. 레이 값들은 그것의 헤더가 d 및 s일 수 있는 디지털 라인들을 따라 RGB 컬러들로서 저장될 것이다. 샘플링된 공간에서 레이 다이어그램의 빈 셀(void cell)들은 저장될 필요가 없다. 레이들의 좌표들 x1; x2은 파라미터들 d, s로부터, 그리고 디지털 라인들을 따르는 셀의 위치로부터 추론될 수 있다.
라이트 필드로부터 또는 카메라의 기하학형상으로부터 추정될 파라미터들은 기울기 a, 디지털 라인 절편들의 하한과 상한 
, 및 디지털 라인 파라미터들 
이다. 이산 라돈 변환은 레이 다이어그램에서 라이트-필드의 지원 위치를 측정하기 위한 툴로서 이미 논의되었다.
도 13b는 도 13a의 데이터라인들의 디지털 라인 파라미터 공간 (d, s)에서의 이산 라돈 변환을 도시한다. 도 13c는 도 12b에 포함된 관심 있는 영역의 확대이다. 디지털 라인들의 빔은 최댓값 파라미터들에 대한 탐색에 의해 위치가 정해진다. 이미지 콘텐츠로 인해 DRT의 대칭의 기하학적 중심과 최댓값의 실제 위치 사이에 일부 오프셋이 존재하며, 따라서, 추후에, 알고리즘은 최댓값 대신 대칭의 중심을 핀포인트하기 위해 사용된다. 이후, 도 13c에 도시된 바와 같은 빔 변환의 허리는 값들(dmin,dmax)을 찾아서 제공하기에 용이하다. 포인트(dmin=74, s=201)는 도 12a로부터의 디지털 라인들의 빔의 하부 포락선이고, 포인트(dmax=81, s=208)는 디지털 라인들의 빔의 상부 포락선이다.
수학식 B로부터의 2개의 직교 2D 슬라이스된 공간들의 수학식이 다음과 같이 주어진다.
만약 xi 좌표에 대한 2D 슬라이스가 취해지는 경우, 
에서의 크기 A의 구경을 통과하는 레이 데이터가 매핑할 라인들의 빔의 수학식은 다음과 같이 주어진다:
유사하게, 2D 슬라이스가 
좌표에 대해 취해지는 경우:
이전에 기술된 바와 같이, m 및 
, 
, 
, 
의 값들은 이전에 논의된 포맷에 의해 정의되는 바와 같은 라이트-필드의 특성들을 국한시키기 위해(localize) 이산 도메인에서 평가될 수 있으며, 4D 이산 라돈 변환을 수행할 필요가 없다. 2개의 직교 2D DRT가 획득되는 경우, 측정들은 하이퍼-면의 기울기 m 및 모든 데이터가 4D 레이-다이어그램에서 집중되는 디지털 하이퍼-면들의 빔 폭에 대해 수행될 수 있다.
이러한 더 간단한 위치찾기(location) 절차는 원형 입사 동공 A을 가정하고 따라서, 
, 
, 
, 
는 모든 하이퍼-면 절편들을 포함할 것이며, 포맷에서 기록된 일부 값들은 어떠한 값들도 포함하지 않는다.
2D 경우에 대해 제안되었던 것과 유사한 4D 경우에 대한 포맷을 획득하는 것이 흥미롭다. 그렇게 하기 위해, 
면 상에서 발견되는 2D 라인들을 
자리에서 발견되는 라인들, 즉, 대응하는 하이퍼 면과 
와 
의 2개 직교 슬라이스들의 교차의 결과들인 라인들과 연관시키는 것이 흥미로울 것이다. 표현식 D 및 E로부터, 대응하는 라인들이 동일한 기울기 m를 가진다는 것이 알려진다. 이는 특정 깊이에서 카메라에 대해, 
내의 각각의 라인을 
내의 라인과 연관시키는 제1 파라미터이다. 동일한 깊이에 다수의 카메라들이 존재하는 경우(즉, 도 13a의 경우), m의 동일한 추정 기울기를 가지는, 
내의 3개 라인들 및 
내의 3개 라인들이 존재한다. 이러한 2개 면들 내의 라인들 사이의 라인 오프셋들에서의 대응성이 이후 결정된다. 이를 수행하기 위해, 표현들 D 및 E 내의 라인들의 형성이 사용된다. 특히,
및
수학식들의 세트는 k, x3 및 y3에 대해 풀릴 수 있다. 
이 카메라의 좌표, 또는 다시 말해, 광의 대응하는 번들이 반경 A의 원 내로 포커싱되는 복셀(voxel)에 대응한다는 것에 유의한다. z3에 위치된 면 상의 구경이 원형이고, 따라서 
이라는 점이 추정되었으며, 이전 수학식들의 세트를 풀어냄으로써:
디지털 라인들은 브레젠험 디지털 라인들을 사용하여 
상에서 이전과 같이 스캔될 수 있다; 각각의 개별 
값에 대해, 라이트-필드에서 캡처된 대응하는 
값들이 저장된다. 이러한 값들을 구하기 위해, 표현식 C가 사용된다. 표현식 F 및 G로부터 다음의 것들 모두가 알려지거나, 추정된다: x3; y3; z3; z1; z2.
또는
라는 점이 주지된다.
도 12를 참조하면, 각각의 정사각형은 
포인트이고, 이들 포인트 각각에 대해, 도시된 데이터라인들에 직교하지만, 4D 공간 내에 있는, 수학식:
에 의해 정의되는 디지털 번들을 따라 도면의 면 밖에서 진행하는 브레젠험 디지털 라인들의 세트가 존재한다.
카메라당 데이터 라인들의 번들에 대한 예시적인 데이터 포맷이 표 1에 예시된다.
첫째, 4개의 축 x 1 , x 2, y 1, y 2 의 경계들 및 이들의 대응하는 샘플링을 포함하는 4D 공간의 일반적 메타데이터가 제공된다. 카메라들(번들들)의 개수가 또한 제공된다. 각각의 카메라 j 에 대해, 후속하는 파라미터들이 저장된다:
구경의 크기: A j , 이는 픽셀 빔의 동공의 직경에 대응함,
카메라의 초점: cam j ; focusPoint=(u 3, u 3, w 3)
(x1 x,2)=d j 에서의 최저 d 절편
경사도 = m j
(x 1, x 2)에서의 디지털 라인들의 개수 = 
(y 1, y 2)에서의 디지털 라인들의 개수 = 
각각의 카메라 상에서, 각각의 (x q 1 ; x q 2 )에 대해, 브레젠험 디지털 라인들을 사용하여 표현식 (K)에 대해 (y 1 , y 2 ) 상에서 스캐닝이 시작되며, 각각의 라이트-필드 레이들의 RGB 값들이 저장된다. 특히, 
내지 
및 대응하는 d off 가 표현식 (K)에 따라 계산된다.
라이트-필드 레이들이 픽셀 빔들의 주 광선들에 대응하기 때문에, 주어진 픽셀 빔의 파라미터들 zP, a의 값들은 표 1에 도시된 바와 같은 대응하는 라이트-필드 레이의 RGB 값들과 함께 저장된다.
동일한 계산이 저장된 메타데이터를 사용하여 디코딩 단계에서 수행된다. 특히, k는 수학식 (G)을 사용하여 구해진다. 따라서, 포맷은 간소하게 유지된다. 시스템에서 각각의 레이에 대한 4개의 인덱스를 저장할 필요가 없다. 위의 하이퍼-면의 샘플링이 4D 레이-공간의 샘플링이며 따라서 단일의 x1; y1; x2; y2 위치가 유실되지 않는다는 것에 유의한다. 이는 매우 간소한 형태로 모든 데이터를 저장하기 위한 4D 레이-공간의 체계적 스캐닝의 단지 일 예이다. 다른 프로세스들이 물론 적용될 수 있다. 파라미터 형태가 하이퍼-면을 탐색하기 위해 채택된 것으로 보이는데, 왜냐하면 그것이 인터리빙된 공간 탐색을 허용하기 때문이다.
하이퍼-면들의 몇몇 번들들을 포함하는 데이터에 대해 작용할 다수의 카메라들의 경우(다수의 카메라들로 인한 라돈 변환에서의 몇몇 최댓값들), 더 복잡한 알고리즘이 사용될 수 있다. 전-처리 단계로서, 파라미터들 (m, k) 이 
의 라돈 변환에서 모든 피크들에 대해 발견되며, 하나의 세트에 배치된다. 동일한 내용이 (y 1 , y 2 ) 내의 피크들에 대해 수행되며, 파라미터들은 또다른 세트에 배치된다. 이제, 그리디(greedy) 알고리즘의 각각의 반복에서, 최대 피크 강도가 (x 1 , x 2 )의 2D 라돈 변환에서 발견되며, (y 1 , y 2 )에서의 대응하는 피크가 이전에 발견된 파라미터들 (m, k)을 매치시킴으로써 발견된다. 마지막 섹션에서 언급된 바와 같이 데이터를 저장한 이후, 이러한 피크들은 라돈 변환으로부터 삭제되며(clean), 라이트-필드 내에 어떠한 의미있는 것도 남아있지 않을 때까지, 다음 반복이 시작된다.
본 발명이 특정 실시예들에 관해 위에서 기술되었지만, 본 발명은 특정 실시예들에 제한되지 않으며, 본 발명의 범위 내에 있는 수정들이 본 기술분야의 통상의 기술자에게 명백할 것이다.
많은 추가적인 수정들 및 변형들이, 단지 예로서 주어지며 오직 첨부되는 청구항들에 의해서만 결정되는 본 발명의 범위를 제한하도록 의도되지 않는, 이전의 예시적인 실시예들을 참조할 시에, 그 자체를 본 기술 분야의 통상의 기술자에게 제안할 것이다. 특히, 상이한 실시예들로부터의 상이한 특징들은, 적절한 경우 교환될 수 있다.
Claims (13)
- 광 취득 시스템의 센서의 적어도 하나의 픽셀이 상기 광 취득 시스템의 동공(pupil)을 통해 감지할 수 있는 광선들의 세트(a set of rays of light)에 의해 점유되는 상기 광 취득 시스템의 오브젝트 공간(object space) 내의 볼륨을 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법으로서, 상기 볼륨은 픽셀 빔(pixel beam)이라 명명되며,
- 상기 광 취득 디바이스에 의해 캡처되는 라이트 필드 데이터(light field data)로부터, 상기 픽셀 빔을 나타내는 라이트 필드 레이(light field ray)의 복수의 주어진 기준 면들과의 교차들(intersections)을 정의하는 교차 데이터를 획득하는 단계(S803) ― 상기 기준 면들은 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 ― ;
- 4D 레이 다이어그램에서 상기 교차 데이터의 그래픽 표현(graphical representation)을 정의하는 레이 다이어그램 파라미터들(ray diagram parameters)을 획득하는 단계(S805, S806); 및
- 상기 레이 다이어그램 파라미터들을 상기 픽셀 빔을 정의하는 파라미터들과 연관시켜서 상기 픽셀 빔을 나타내는 데이터를 제공하는 단계
를 포함하는 방법. - 제1항에 있어서, 상기 픽셀 빔을 나타내는 라이트 필드 레이는 상기 픽셀의 중심 및 상기 동공의 중심을 통과하는 직선이고, 상기 픽셀 빔을 정의하는 파라미터들은 상기 오브젝트 공간 내의 픽셀의 공액(conjugate)의 위치 및 크기인 방법.
- 제2항에 있어서, 상기 라이트 필드 레이에 대응하는 절편(interception) 데이터는 상기 레이 다이어그램에서 데이터라인들로서 그래픽으로 표현되고, 상기 레이 다이어그램 파라미터들은:
- 데이터라인의 기울기; 및
- 상기 레이 다이어그램의 축과 데이터라인의 절편
중 적어도 하나를 나타내는 데이터를 포함하는 방법. - 제3항에 있어서, 상기 데이터라인들은 2D 레이 다이어그램에서 라돈 변환(Radon transform)을 적용함으로써 검출되는 방법.
- 제3항 또는 제4항에 있어서, 상기 그래픽 표현은 디지털 데이터라인을 제공하도록 셀들의 행렬로서 제공되고, 각각의 디지털 데이터라인 포맷은 복수의 셀들에 의해 정의되고, 적어도 하나의 제1 셀이 상기 라인과 축과의 절편을 나타내고, 적어도 하나의 제2 셀이 상기 라인의 기울기를 결정할 수 있는 방법.
- 제5항에 있어서, 각각의 디지털 데이터라인은 브레젠험의 알고리즘(Bresenham's algorithm)의 적용에 의해 생성되는 방법.
- 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 픽셀 빔을 나타내는 데이터는 상기 대응하는 라이트 필드 레이의 컬러를 나타내는 컬러 데이터를 더 포함하는 방법.
- 제7항에 있어서, 상기 픽셀 빔을 나타내는 데이터는 메타 데이터로서 제공되고, 상기 메타데이터의 헤더는 2D 레이 다이어그램에서 교차 데이터의 그래픽 표현을 정의하는 레이 다이어그램 파라미터들을 포함하고, 상기 메타데이터의 바디(body)는 레이의 컬러를 나타내는 데이터를 포함하고, 상기 파라미터들은 상기 오브젝트 공간 내의 픽셀의 공액의 위치 및 크기를 정의하는 방법.
- 광 취득 시스템의 센서의 적어도 하나의 픽셀이 상기 광 취득 시스템의 동공을 통해 감지할 수 있는 광선들의 세트에 의해 점유되는 상기 광 취득 시스템의 오브젝트 공간 내의 볼륨에 대한 메타데이터를 제공하기 위한 디바이스로서, 상기 볼륨은 픽셀 빔이라 명명되고, 상기 디바이스는 라이트 필드 카메라에 의해 캡처되는 라이트 필드 데이터를 취득하기 위한 라이트 필드 데이터 취득 모듈, 및 라이트 필드 데이터 생성 모듈을 포함하고, 상기 라이트 필드 데이터 생성 모듈은:
- 상기 취득된 라이트 필드 데이터로부터, 상기 픽셀 빔을 나타내는 라이트 필드 레이와 복수의 주어진 기준 면들과의 교차들을 정의하는 교차 데이터를 획득하고 ― 상기 기준 면들은 서로 평행하며, 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 ― ; 그리고
- 2D 레이 다이어그램에서 상기 교차 데이터의 그래픽 표현을 정의하는 레이 다이어그램 파라미터들을 획득하여 상기 취득된 라이트 필드 데이터를 나타내는 데이터를 제공하고;
- 상기 레이 다이어그램 파라미터들을 상기 픽셀 빔을 정의하는 파라미터들과 연관시켜서 상기 픽셀 빔을 나타내는 데이터를 제공
하도록 구성되는 디바이스. - 라이트 필드 이미징 디바이스(light field imaging device)로서,
- 규칙적 격자 구조로 배열되는 마이크로 렌즈들의 어레이;
- 상기 마이크로 렌즈들의 어레이로부터 광센서 상에 투사되는 광을 캡처하도록 구성되는 광센서 ― 상기 광센서는 픽셀들의 세트들을 포함하고, 픽셀들의 각각의 세트는 상기 마이크로 렌즈들의 어레이의 각자의 마이크로 렌즈와 광학적으로 연관됨 ― ; 및
- 제9항에 따른 메타데이터를 제공하기 위한 디바이스
를 포함하는 디바이스. - 제1항 내지 제8항 중 어느 한 항의 방법에 따라 획득되는 라이트 필드 데이터 사용으로부터 이미지를 렌더링하기 위한 디바이스.
- 광 취득 시스템의 센서의 적어도 하나의 픽셀이 상기 광 취득 시스템의 동공을 통해 감지할 수 있는 광선들의 세트에 의해 점유되는 광 취득 시스템의 오브젝트 공간 내의 볼륨을 나타내는 데이터에 대한 데이터 패키지로서,
상기 볼륨은 픽셀 빔이라 명명되며, 상기 픽셀 빔을 나타내는 상기 광선의 교차 데이터의 2D 레이 다이어그램에서의 그래픽 표현을 정의하는 레이 다이어그램 파라미터들 ― 상기 교차 데이터는 상기 픽셀 빔을 나타내는 라이트 필드 레이의 복수의 주어진 기준 면들과의 교차들을 정의하고, 상기 기준 면들은 서로 평행하며, 상기 오브젝트 공간 내의 상이한 깊이들에 대응함 ― ; 상기 픽셀 빔을 나타내는 라이트 필드 레이의 컬러들을 정의하는 컬러 데이터 및 상기 오브젝트 공간 내의 픽셀의 공액의 위치 및 크기를 정의하는 파라미터들을 포함하는 데이터 패키지. - 프로그래밍가능한 장치에 대한 컴퓨터 프로그램 제품으로서,
상기 프로그래밍가능한 장치 내에 로딩되어 상기 프로그래밍가능한 장치에 의해 실행될 때, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 구현하기 위한 명령들의 시퀀스를 포함하는 컴퓨터 프로그램 제품.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP15306446.4A EP3144879A1 (en) | 2015-09-17 | 2015-09-17 | A method and an apparatus for generating data representative of a light field |
| EP15306446.4 | 2015-09-17 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170035804A true KR20170035804A (ko) | 2017-03-31 |
| KR102583723B1 KR102583723B1 (ko) | 2023-10-05 |
Family
ID=54252224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160118178A KR102583723B1 (ko) | 2015-09-17 | 2016-09-13 | 라이트 필드를 나타내는 데이터를 생성하기 위한 방법 및 장치 |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US10021340B2 (ko) |
| EP (2) | EP3144879A1 (ko) |
| JP (2) | JP2017063414A (ko) |
| KR (1) | KR102583723B1 (ko) |
| CN (1) | CN107018293B (ko) |
| CA (1) | CA2940535A1 (ko) |
| MX (1) | MX357947B (ko) |
| RU (1) | RU2734018C2 (ko) |
| TW (1) | TW201730707A (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10317597B2 (en) * | 2014-08-26 | 2019-06-11 | The Board Of Trustees Of The Leland Stanford Junior University | Light-field microscopy with phase masking |
| EP3144888A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
| EP3145168A1 (en) * | 2015-09-17 | 2017-03-22 | Thomson Licensing | An apparatus and a method for generating data representing a pixel beam |
| CN108353188B (zh) * | 2015-09-17 | 2022-09-06 | 交互数字Vc控股公司 | 用于编码光场内容的方法 |
| CN109716176B (zh) * | 2016-06-07 | 2021-09-17 | 艾瑞3D 有限公司 | 用于深度采集和三维成像的光场成像装置和方法 |
| CN106373152B (zh) * | 2016-09-18 | 2019-02-01 | 清华大学深圳研究生院 | 一种基于手持式光场相机的距离估计方法 |
| WO2020030841A1 (es) * | 2018-08-08 | 2020-02-13 | Universitat De Valencia | Dispositivo ocular plenóptico |
| EP3935432A1 (en) * | 2019-03-08 | 2022-01-12 | PCMS Holdings, Inc. | Optical method and system for displays based on beams with extended depth of focus |
| RU2760845C1 (ru) * | 2021-02-12 | 2021-11-30 | Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации | Способ обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве и устройство для его реализации |
| CN117015966A (zh) * | 2021-03-15 | 2023-11-07 | 华为技术有限公司 | 一种光场预测模型的生成方法及相关装置 |
| CN116070687B (zh) * | 2023-03-06 | 2023-07-04 | 浙江优众新材料科技有限公司 | 一种基于全局光线空间仿射变换的神经网络光场表示方法 |
| CN116778068B (zh) * | 2023-08-22 | 2023-11-10 | 中国电子科技集团公司第十五研究所 | 基于视点椭球相似特征数的光线采样精确优化方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010256291A (ja) * | 2009-04-28 | 2010-11-11 | Toyota Motor Corp | 距離画像撮影装置 |
| KR20100128797A (ko) * | 2009-05-29 | 2010-12-08 | 삼성전자주식회사 | 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법 |
| KR20150127507A (ko) * | 2014-05-07 | 2015-11-17 | 엘지전자 주식회사 | 디스플레이 장치 및 디스플레이 장치의 제어 방법 |
| KR20160046706A (ko) * | 2014-10-21 | 2016-04-29 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6097394A (en) * | 1997-04-28 | 2000-08-01 | Board Of Trustees, Leland Stanford, Jr. University | Method and system for light field rendering |
| US6342917B1 (en) * | 1998-01-16 | 2002-01-29 | Xerox Corporation | Image recording apparatus and method using light fields to track position and orientation |
| ES2372515B2 (es) * | 2008-01-15 | 2012-10-16 | Universidad De La Laguna | Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales. |
| US20120249550A1 (en) * | 2009-04-18 | 2012-10-04 | Lytro, Inc. | Selective Transmission of Image Data Based on Device Attributes |
| US8749694B2 (en) * | 2010-08-27 | 2014-06-10 | Adobe Systems Incorporated | Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing |
| WO2013049699A1 (en) * | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
| JP6095266B2 (ja) * | 2012-01-13 | 2017-03-15 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| EP2820838B1 (en) * | 2012-05-09 | 2020-01-08 | Lytro, Inc. | Optimization of optical systems for improved light field capture and manipulation |
| US8754829B2 (en) * | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
| JP6159097B2 (ja) * | 2013-02-07 | 2017-07-05 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
| US9412172B2 (en) * | 2013-05-06 | 2016-08-09 | Disney Enterprises, Inc. | Sparse light field representation |
| JP6223169B2 (ja) * | 2013-12-19 | 2017-11-01 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
| CN104330174B (zh) * | 2014-10-23 | 2017-05-31 | 北京理工大学 | 一种用于测量涡旋光束的周期渐变光栅及测量方法 |
| CN104598744B (zh) * | 2015-01-27 | 2017-11-21 | 北京工业大学 | 一种基于光场的深度估计方法 |
-
2015
- 2015-09-17 EP EP15306446.4A patent/EP3144879A1/en not_active Withdrawn
-
2016
- 2016-08-24 EP EP16185552.3A patent/EP3144880B1/en active Active
- 2016-08-29 CA CA2940535A patent/CA2940535A1/en not_active Abandoned
- 2016-09-09 RU RU2016136352A patent/RU2734018C2/ru active
- 2016-09-13 KR KR1020160118178A patent/KR102583723B1/ko active IP Right Grant
- 2016-09-14 MX MX2016011964A patent/MX357947B/es active IP Right Grant
- 2016-09-14 CN CN201610825429.3A patent/CN107018293B/zh active Active
- 2016-09-14 TW TW105129900A patent/TW201730707A/zh unknown
- 2016-09-15 JP JP2016180175A patent/JP2017063414A/ja not_active Ceased
- 2016-09-16 US US15/268,480 patent/US10021340B2/en active Active
-
2022
- 2022-06-14 JP JP2022095978A patent/JP2022141637A/ja active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010256291A (ja) * | 2009-04-28 | 2010-11-11 | Toyota Motor Corp | 距離画像撮影装置 |
| KR20100128797A (ko) * | 2009-05-29 | 2010-12-08 | 삼성전자주식회사 | 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법 |
| KR20150127507A (ko) * | 2014-05-07 | 2015-11-17 | 엘지전자 주식회사 | 디스플레이 장치 및 디스플레이 장치의 제어 방법 |
| KR20160046706A (ko) * | 2014-10-21 | 2016-04-29 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3144880A1 (en) | 2017-03-22 |
| US10021340B2 (en) | 2018-07-10 |
| TW201730707A (zh) | 2017-09-01 |
| CA2940535A1 (en) | 2017-03-17 |
| MX357947B (es) | 2018-07-31 |
| RU2734018C2 (ru) | 2020-10-12 |
| EP3144880B1 (en) | 2019-08-21 |
| RU2016136352A3 (ko) | 2020-04-17 |
| CN107018293A (zh) | 2017-08-04 |
| CN107018293B (zh) | 2020-11-03 |
| US20170085832A1 (en) | 2017-03-23 |
| RU2016136352A (ru) | 2018-03-15 |
| KR102583723B1 (ko) | 2023-10-05 |
| JP2022141637A (ja) | 2022-09-29 |
| MX2016011964A (es) | 2017-04-25 |
| EP3144879A1 (en) | 2017-03-22 |
| JP2017063414A (ja) | 2017-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102583723B1 (ko) | 라이트 필드를 나타내는 데이터를 생성하기 위한 방법 및 장치 | |
| KR20180053668A (ko) | 화소 빔을 나타내는 데이터를 생성하기 위한 방법 및 장치 | |
| CN108604372B (zh) | 用于生成表示像素束的数据的方法和装置 | |
| KR102585129B1 (ko) | 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 | |
| US20190101765A1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
| KR102402432B1 (ko) | 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |