KR102635003B1 - 라이트 필드 데이터 표현 - Google Patents

Abstract

4 개의 라이트 필드 좌표들 (x,y,i,j) 및 그의 연관된 컬러 대신에 단지 라이트 필드 광선과 연관된 컬러만이 저장되는 것을 가능하게 하는 취득된 라이트 필드 광선을 정의하는 파라미터들을 감소시키기 위한 방법.

Description

라이트 필드 데이터 표현

본 발명은 라이트 필드 (light field) 를 표현하는 데이터의 생성에 관한 것이다. 본 발명의 양태는 라이트 필드 메타데이터의 프로비전 및 프로세싱에 관한 것이다.

종래의 카메라들은 가시광에 민감한 2 차원 센서 디바이스 상의 3 차원 장면으로부터 광을 캡처한다. 이러한 이미징 디바이스들에서 사용되는 광 민감성 기술은, 예를 들어, 전하 결합 디바이스들 (charge coupled devices; CCD) 또는 상보적 금속 산화물 기술 (CMOS) 과 같은, 광자들을 전자들로 컨버팅할 수 있는, 반도체 기술에 종종 기초한다. 디지털 이미지 포토센서는, 예를 들어, 통상적으로 감광성 (photosensitive) 셀들의 어레이를 포함하고, 각각의 셀은 인입 광을 캡처하도록 구성된다. 공간 정보를 제공하는 2D 이미지는 이미지 센서 디바이스의 각각의 감광성 셀에 의해 캡처된 광의 총 양의 측정으로부터 획득된다. 2D 이미지는 포토센서(들)의 공간 포인트들에서의 광의 강도 및 광의 컬러에 대한 정보를 제공할 수 있지만, 인입 광의 방향에 대해서는 어떤 정보도 제공되지는 않는다.

라이트 필드 카메라들 (또한 래디언스 (radiance) 캡처링 카메라들로도 알려짐) 은 2D 공간 정보에 더하여 인입 광선들에 대한 방향 정보 (directional information) 를 제공할 수 있다. 방향 정보는 이미지 센서와 연관된 마이크로렌즈 어레이 (MLA) 로 종종 지칭되는, 마이크로 렌즈들의 어레이의 사용에 의해 획득될 수도 있다. 라이트 필드 어레이 카메라에는, 예를 들어, 마이크로렌즈 어레이 및 포토센서가 제공된다. 라이트 필드 카메라들은 플렌옵틱 카메라들, 카메라 어레이들 및 분산형 카메라들을 포함한다. 플렌옵틱 카메라에는 MLA 에 광을 포커싱하는 메인 렌즈, 및 MLA 와 연관된 포토센서가 제공된다. 라이트 필드 카메라들의 다른 구성들에서, 그 자신의 렌즈 및 센서가 각각 제공되는 복수의 카메라들은 라이트 필드 데이터를 획득하는데 사용될 수도 있다.

라이트 필드는 장면에서의 상이한 포인트들에서 상이한 방향들로부터의 광을 특성화하는 4D 함수로서 종종 정의된다. 광선들의 방향 분산에 대한 정보는 통상적으로 라이트 필드 데이터 또는 4D 데이터로 지칭된다. 정보는 4 개의 파라미터들 - 2 차원 포지션 정보 및 2 차원 각도 정보 (angular information) 를 제공하기 때문에, 방향 분산은 4 차원 (4D) 함수에 대응한다. 라이트 필드는 장면의 2D 이미지의 2 차원 컬렉션으로서 해석될 수도 있다.

획득된 라이트 필드 데이터는 많은 애플리케이션들을 위해, 예를 들어, 장면의 리포커싱된 이미지들을 생성하기 위해, 상이한 뷰포인트들로부터 이미지들을 생성하기 위해, 캡처된 장면 상의 깊이 정보를 제공하기 위해 또는 3D 이미지들을 생성하기 위해 프로세싱될 수 있다.

라이트 필드 데이터는 저장을 번거롭게 하고 프로세싱을 덜 효율적이게 할 수 있는 다량의 저장 공간을 차지할 수 있다. 추가로 라이트 필드 취득 디바이스들은 극도로 이질적이다. 라이트 필드 카메라들은 예의 플렌옵틱 또는 카메라 어레이들에 대한 상이한 타입들이다. 각각의 타입 내에는, 상이한 초점 길이들의 마이크로 렌즈들, 또는 상이한 광학 어레인지먼트들과 같은 많은 차이들이 존재한다. 각각의 카메라는 그 자신의 독점적 파일 포맷을 갖는다. 현재 여기에는 라이트 필드가 의존하는 상이한 파라미터들의 철저한 개관에 대한 다-차원 정보의 취득 및 송신을 지원하는 표준이 없다. 이로써 상이한 카메라들에 대한 취득된 라이트 필드 데이터는 다양한 포맷들을 갖는다.

본 발명은 전술한 것을 유념하여 고안되었다.

본 발명의 실시형태들은 4 개의 라이트 필드 좌표들 (x,y,i,j) 및 그의 연관된 컬러 대신에 단지 라이트 필드 광선과 연관된 컬러만이 저장되는 것을 가능하게 하는 취득된 라이트 필드 광선을 정의하는 파라미터들을 감소시키기 위한 방법들을 제공하기 위해 기재된다.

본 발명의 제 1 양태에 따르면, 장면으로부터 캡처된 픽셀들의 형태의 라이트 필드 데이터로부터, 캡처된 라이트 필드 데이터에 대응하는 라이트 필드 광선들의 장면으로부터의 경로를 정의하는 기하학적 데이터를 생성하고;

기하학적 데이터로부터, 복수의 주어진 기준 평면과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 획득하는 것으로서, 상기 기준 평면들은 장면에서 상이한 깊이들에 대응하고, 인터섹션 데이터의 각각의 세트는 컬러 값을 갖는 라이트 필드 광선에 대응하는, 상기 인터섹션 데이터를 획득하고;

인터섹션 데이터의 표현을 위해 샘플링 셀들의 파라미터 공간을 정의하고;

예를 들어, 이산 라돈 변환 (discrete radon transformation) 에 의해 또는 캘리브레이션 (calibration) 데이터로부터, 인터섹션 데이터를 표현하는 파라미터 공간에서의 하나 이상의 디지털 데이터 하이퍼 평면들을 결정하고;

파라미터 공간에서의 데이터 하이퍼 평면들을 정의하는 데이터 파라미터들 및 각각의 생성된 라이트 필드 광선과 연관된 컬러 값을 포함하는 라이트 필드를 나타내는 데이터 포맷을 제공하는

방법이 제공되어 있다.

4D 공간에서의 데이터 하이퍼 평면은 타입의 식 에 의해 함께 링크된 포인트들의 세트이다; 예를 들어, 그 식은 다음,

과 같이 하이퍼 평면 관련 라이트 필드 파라미터 데이터를 정의할 수도 있다.

여기서 z₁ 및 z₂ 는 기준 평면들의 깊이들을 정의하고, x₁, y₁ 은 기준 평면 1 과의 라이트 필드 광선의 인터섹션을 정의하고, x₂ 및 y₂ 는 기준 평면 1 과의 라이트 필드 광선의 인터섹션을 정의하고, 그리고 x₃, y₃ 및 z₃ 은 렌더링 평면과의 라이트 필드 광선의 인터섹션을 정의한다.

실시형태에서, 데이터 하이퍼 평면들을 정의하는 데이터 파라미터들은,

제 1 기준 평면의 인터섹션 데이터의 최소 값;

제 1 기준 평면의 인터섹션 데이터의 최대 값;

제 2 기준 평면의 인터섹션 데이터의 최소 값;

제 2 기준 평면의 인터섹션 데이터의 최대 값;

중 적어도 하나를 나타내는 데이터를 포함한다.

실시형태에서, 데이터 하이퍼 평면들을 정의하는 데이터 파라미터들은,

파라미터 공간을 정의하는 샘플링 셀들의 수;

제 1 기준 평면의 포지션; 및

제 2 기준 평면의 포지션

중 적어도 하나를 나타내는 데이터를 포함한다.

실시형태에서, 2 개의 직교 이산 라돈 변환들은 하나 이상의 디지털 라인들을 획득하기 위해 파라미터 공간에서 적용된다.

실시형태에서, 각각의 데이터 하이퍼 평면 포맷은 파라미터 공간의 복수의 셀들, 즉, 축과의 라인의 인터셉션을 나타내는 적어도 하나의 제 1 셀 및 라인의 기울기가 결정될 수도 있는 적어도 하나의 제 2 셀에 의해 정의된다.

실시형태에서, 각각의 디지털 하이퍼 평면은 브레젠험의 알고리즘 (Bresenham's algorithm) 의 적용에 의해 생성된다.

실시형태에서, 광선들의 빔은 동일한 기울기 및 상이한 축 인터셉션 포인들을 갖는 복수의 라인들로서 표현된다.

실시형태에서, 취득된 라이트 필드 데이터를 나타내는 데이터는 빔의 라인들의 축 인터셉션 데이터의 상부 경계 및 하부 경계에 기초한 빔의 두께를 나타내는 데이터를 포함한다.

실시형태에서, 취득된 라이트 필드 데이터를 나타내는 데이터는 메타 데이터로서 제공되고, 메타 데이터의 헤더는 2D 광선 다이어그램에서 인터섹션 데이터의 그래픽적 표현을 정의하는 광선 다이어그램 파라미터들을 포함하고 메타데이터의 바디는 그 광선의 컬러를 나타내는 데이터를 포함한다.

본 발명의 다른 양태는 캡처된 라이트 필드 데이터에 대한 메타데이터를 제공하기 위한 디바이스를 제공하고,

그 디바이스는,

라이트 필드 카메라에 의해 캡처된 라이트 필드 데이터를 취득하기 위한 라이트 필드 데이터 취득 모듈 및

라이트 필드 데이터 생성 모듈을 포함하고,

그 라이트 필드 데이터 생성 모듈은,

장면으로부터 캡처된 픽셀들의 형태의 라이트 필드 데이터로부터, 캡처된 라이트 필드 데이터에 대응하는 라이트 필드 광선들의 장면으로부터의 경로를 정의하는 기하학적 데이터를 생성하고;

기하학적 데이터로부터, 복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 획득하는 것으로서, 상기 기준 평면들은 서로 평행이고 장면에서 상이한 깊이들에 대응하고, 인터섹션 데이터의 각각의 세트는 컬러 값을 갖는 라이트 필드 광선에 대응하는, 상기 인터섹션 데이터를 획득하고;

인터섹션 데이터의 표현을 위해 샘플링 셀들의 파라미터 공간을 정의하고;

이산 라돈 변환에 의해, 인터섹션 데이터를 표현하는 파라미터 공간에서의 하나 이상의 디지털 데이터 하이퍼 평면들을 결정하고;

파라미터 공간에서의 데이터 하이퍼 평면들을 정의하는 데이터 파라미터들 및 각각의 생성된 라이트 필드 광선과 연관된 컬러 값을 포함하는 라이트 필드를 나타내는 데이터 포맷을 제공하도록 구성된다.

본 발명의 추가 양태는 라이트 필드 이미징 디바이스를 제공하며, 그 라이트 필드 이미징 디바이스는, 규칙적인 격자 구조로 배열된 마이크로 렌즈들의 어레이; 마이크로 렌즈들의 어레이로부터 포토센서 상에 프로젝팅된 광을 캡처하도록 구성된 포토센서로서, 포토센서는 픽셀들의 세트들을 포함하고, 픽셀들의 각각의 세트는 마이크로 렌즈들의 어레이의 개별의 마이크로 렌즈와 광학적으로 연관되는, 상기 포토센서; 및 본 발명의 제 2 양태의 임의의 실시형태에 따른 메타데이터를 제공하기 위한 디바이스를 포함한다.

본 발명의 다른 양태는 본 발명의 제 1 양태의 임의의 실시형태에 따른 방법을 사용하여 획득된 라이트 필드 데이터로부터 이미지를 렌더링하기 위한 디바이스를 제공한다.

본 발명의 다른 양태는 라이트 필드의 광선들을 나타내는 데이터에 대한 데이터 패키지를 제공하고, 이는

광선들의 인터섹션 데이터의 광선 다이어그램에서 그래픽적 표현을 정의하는 광선 다이어그램 파라미터들로서, 인터섹션 데이터는 복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하고, 상기 기준 평면들은 장면에서 상이한 깊이들에 대응하는, 상기 광선 다이어그램 파라미터들; 및

라이트 필드 광선의 컬러들을 정의하는 컬러 데이터를 포함한다.

데이터 패키지는 예를 들어 신호에 의해 반송되거나 또는 비일시적 매체 상에 제공될 수도 있다.

본 발명의 다른 양태는 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법을 제공하고, 그 방법은,

복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 획득하는 단계로서, 상기 기준 평면들은 장면에서 상이한 깊이들에 대응하고, 인터섹션 데이터의 각각의 세트는 컬러 값을 갖는 라이트 필드 광선에 대응하는, 상기 인터섹션 데이터를 획득하는 단계;

샘플링 셀들의 파라미터 공간에서 인터섹션 데이터를 표현하는 하나 이상의 디지털 데이터 하이퍼 평면들을 결정하는 단계;

라이트 필드 광선을 나타내는 데이터를 샘플링하기 위해 매개변수 방정식 (parametric equation) 들에 의하여 데이터 하이퍼 평면들 상의 또는 주위의 데이터를 스캐닝하는 단계;

파라미터 공간에서의 적어도 하나의 데이터 하이퍼 평면을 정의하는 적어도 하나의 데이터 파라미터들 및 각각의 생성된 라이트 필드 광선과 연관된 컬러 값을 포함하는 라이트 필드를 나타내는 데이터 포맷을 제공하는 단계를 포함한다.

실시형태에서, 하나 이상의 디지털 데이터 하이퍼 평면들은 이산 라돈 변환에 의해 결정된다.

실시형태에서, 2 개의 직교 이산 라돈 변환들은 하나 이상의 디지털 하이퍼 평면들을 획득하기 위해 파라미터 공간에서 적용된다.

실시형태에서, 하나 이상의 데이터 하이퍼 평면들은 카메라 취득 파라미터들을 정의하는 데이터로부터 결정된다.

실시형태에서, 데이터를 스캐닝하는 단계는 다음의 알고리즘을 적용하는 단계를 포함한다:

본 발명의 추가 양태는 라이트 필드의 광선들을 나타내는 데이터에 대한 데이터 패키지에 관한 것으로, 이는 파라미터 공간에서의 하이퍼 평면을 정의하는 적어도 하나의 데이터 파라미터로서, 하이퍼 평면은 복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 표현하고, 상기 기준 평면들은 장면에서 상이한 깊이들에 대응하고, 인터섹션 데이터의 각각의 세트는 컬러 값을 갖는 라이트 필드 광선에 대응하는, 상기 적어도 하나의 데이터 파라미터; 및 각각의 라이트 필드 광선과 연관된 컬러 값을 포함한다.

본 발명의 다른 양태는 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법을 제공하고, 이는, 장면으로부터 캡처된 라이트 필드 광선들을 나타내는 라이트 필드 데이터를 취득하는 단계; 취득된 라이트 필드 데이터로부터, 복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 획득하는 단계로서, 상기 기준 평면들은 장면에서 상이한 깊이들에 대응하는, 상기 인터섹션 데이터를 획득하는 단계; 및 취득된 라이트 필드 데이터를 나타내는 데이터를 제공하기 위해 광선 다이어그램에서 인터섹션 데이터의 그래픽적 표현을 정의하는 광선 다이어그램 파라미터들을 획득하는 단계를 포함한다.

실시형태에서, 라이트 필드 광선들에 대응하는 인터셉션 데이터는 광선 다이어그램에서 데이터라인들로서 그래픽적으로 표현되고 광선 다이어그램 파라미터들은, 데이터라인의 기울기; 및 광선 다이어그램의 축과의 데이터라인의 인터셉션 중 적어도 하나를 나타내는 데이터를 포함한다.

실시형태에서, 데이터라인들은 라돈 변환을 적용함으로써 광선 다이어그램에서 검출된다.

실시형태에서, 그래픽적 표현은 디지털 데이터라인을 제공하기 위해 셀들의 매트릭스로서 제공되고, 각각의 디지털 데이터라인 포맷은 복수의 셀들, 즉, 축과의 라인의 인터셉션을 나타내는 적어도 하나의 제 1 셀 및 라인의 기울기가 결정될 수도 있는 적어도 하나의 제 2 셀에 의해 정의된다.

실시형태에서, 각각의 디지털 데이터라인은 브레젠험의 알고리즘의 적용에 의해 생성된다.

실시형태에서, 취득된 라이트 필드 데이터를 나타내는 데이터는 셀들의 매트릭스를 정의하는 데이터를 포함한다.

실시형태에서, 취득된 라이트 필드 데이터를 나타내는 데이터는 대응하는 라이트 필드 광선들의 컬러를 표현하는 컬러 데이터를 더 포함한다.

실시형태에서, 취득된 라이트 필드 데이터를 나타내는 데이터는 라이트 필드 광선들을 캡처하는데 사용되는 카메라들의 수를 정의하는 데이터를 포함한다.

실시형태에서, 광선들의 빔은 동일한 기울기 및 상이한 축 인터셉션 포인트들을 갖는 복수의 라인들로서 표현된다.

실시형태에서, 취득된 라이트 필드 데이터를 나타내는 데이터는 빔의 라인들의 축 인터셉션 데이터의 상부 경계 및 하부 경계에 기초한 빔의 두께를 나타내는 데이터를 포함한다.

실시형태에서, 취득된 라이트 필드 데이터를 나타내는 데이터는 메타 데이터로서 제공되고, 메타 데이터의 헤더는 광선 다이어그램에서 인터섹션 데이터의 그래픽적 표현을 정의하는 광선 다이어그램 파라미터들을 포함하고 메타데이터의 바디는 그 광선의 컬러를 나타내는 데이터를 포함한다.

추가 양태는 캡처된 라이트 필드 데이터에 대한 메타데이터를 제공하기 위한 디바이스를 제공하고, 그 디바이스는, 라이트 필드 카메라에 의해 캡처된 라이트 필드 데이터를 취득하기 위한 라이트 필드 데이터 취득 모듈 및 라이트 필드 데이터 생성 모듈을 포함하고, 그 라이트 필드 데이터 생성 모듈은,

취득된 라이트 필드 데이터로부터, 복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 획득하는 것으로서, 상기 기준 평면들은 장면에서 상이한 깊이들에 대응하는, 상기 인터섹션 데이터를 획득하고; 그리고 취득된 라이트 필드 데이터를 나타내는 데이터를 제공하기 위해 광선 다이어그램에서 인터섹션 데이터의 그래픽적 표현을 정의하는 광선 다이어그램 파라미터들을 획득하도록 구성된다.

추가 양태는 라이트 필드 이미징 디바이스를 포함하고, 그 디바이스는, 규칙적인 격자 구조로 배열된 마이크로 렌즈들의 어레이; 마이크로 렌즈들의 어레이로부터 포토센서 상에 프로젝팅된 광을 캡처하도록 구성된 포토센서로서, 그 포토센서는 픽셀들의 세트들을 포함하고, 픽셀들의 각각의 세트는 마이크로 렌즈들의 어레이의 개별의 마이크로 렌즈와 광학적으로 연관되는, 상기 포토센서; 및 상기 설명한 바와 같은 메타데이터를 제공하기 위한 디바이스를 포함한다.

본 발명의 실시형태들에 따른 방법의 적어도 일부는 컴퓨터 구현될 수도 있다. 이에 따라, 이러한 엘리먼트들은 모두가 일반적으로 본 명세서에서 "회로", "모듈" 또는 "시스템" 으로 지칭될 수도 있는, 완전히 하드웨어 실시형태, 완전히 소프트웨어 실시형태 (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함) 또는 소프트웨어와 하드웨어 양태들을 결합하는 실시형태의 형태를 취할 수도 있다. 더욱이, 이러한 엘리먼트들은 매체에 수록된 컴퓨터 사용가능 프로그램 코드를 갖는 표현의 임의의 유형의 매체에 수록된 컴퓨터 프로그램 제품의 형태를 취할 수도 있다.

본 발명의 엘리먼트들은 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적합한 캐리어 매체 상의 프로그래밍가능 장치에의 프로비전을 위한 컴퓨터 판독가능 코드로서 구현될 수 있다. 유형의 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수도 있다. 일시적 캐리어 매체는 전기 신호, 전자 신호, 광 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 들어, 마이크로파 또는 RF 신호와 같은 신호를 포함할 수도 있다.

본 발명의 실시형태들은 이제, 단지 일 예로, 그리고 다음의 도면들을 참조하여 설명될 것이다.
도 1a 는 본 발명의 제 1 실시형태에 따른 라이트 필드 카메라의 개략도이다;
도 1b 는 본 발명의 제 2 실시형태에 따른 라이트 필드 카메라의 개략도이다;
도 2a 는 본 발명의 실시형태에 따른 라이트 필드 카메라의 기능도이다;
도 2b 는 본 발명의 실시형태에 따른 라이트 필드 데이터 포맷터 및 라이트 필드 데이터 프로세서의 기능도이다;
도 3 은 포토센서 어레이 상에 형성된 2D 라이트 필드 이미지의 예이다;
도 4 의 (A) 및 (B) 는 본 발명의 하나 이상의 실시형태들에 따른 라이트 필드 데이터의 파라미터화를 위한 기준 평면들의 사용을 그래픽적으로 예시한다;
도 5 는 본 발명의 실시형태들에 따른 기준 평면들에 대한 라이트 필드 광선들의 표현을 개략적으로 예시한다;
도 6a 내지 도 6d 는 본 발명의 하나 이상의 실시형태들에 따른, 2D 광선 다이어그램들에서의 광선들의 표현을 포함하는 광선들의 파라미터화를 그래픽적으로 예시한다;
도 7 은 본 발명의 실시형태들에 따른 라이트 필드 광선들의 표현을 위한 파라미터들을 개략적으로 예시한다;
도 8 은 본 발명의 실시형태들에 따른 인터섹션 데이터를 그래픽적으로 예시하는 2D 광선도이다;
도 9 는 본 발명의 실시형태들에 따라 생성된 디지털 라인을 그래픽적으로 예시한다;
도 10 은 본 발명의 실시형태들에 따라 생성된 디지털 라인을 그래픽적으로 예시한다;
도 11a 내지 도 11c 는 본 발명의 실시형태들에 따른 디지털 라인에 적용된 라돈 변환들을 그래픽적으로 예시한다;
도 12a 는 본 발명의 하나 이상의 실시형태들에 따른 방법의 단계들을 예시하는 플로우 차트이다;
도 12b 는 본 발명의 하나 이상의 실시형태들에 따른 라이트 데이터 포맷을 제공하기 위한 디바이스의 모듈들을 예시하는 기능적 블록도이다;
도 13a 는 본 발명의 실시형태들에 따른 픽셀 백 트레이싱의 예들을 개략적으로 예시한다;
도 13b 는 광선 백 트레이싱을 위해 사용되는 취득 디바이스들의 예들을 개략적으로 예시한다;
도 14 는 본 발명의 실시형태들에 따른 파라미터 공간의 예이다; 그리고
도 15 내지 도 17 은 본 발명의 실시형태들에 따른 샘플링된 광선 파라미터들의 예들이다;
도 18a 는 본 발명의 하나 이상의 실시형태들에 따른 방법의 단계들을 예시하는 플로우 차트이다;
도 18b 는 본 발명의 하나 이상의 실시형태들에 따른 라이트 데이터 포맷을 제공하기 위한 디바이스의 모듈들을 예시하는 기능적 블록도이다;
도 18c 는 본 발명의 하나 이상의 실시형태들에 따른 디스플레이 디바이스의 모듈들을 예시하는 기능적 블록도이다;
도 19 는 본 발명의 실시형태들에 따른 복수의 카메라들에 대한 인터섹션 데이터를 그래픽적으로 예시하는 2D 광선도이다.

라이트 필드 카메라들은 통상적으로 픽셀들의 어레이로 구성된 센서 상에 4D 라이트 필드를 기록하는데 사용된다. 4D 라이트 필드 데이터는 인입 광에 대한 2 차원 공간 정보 및 2 차원 각도 정보를 제공한다. 이러한 라이트 필드 카메라들은 가령, 도 1a 에 예시된 바와 같이, 메인 렌즈 (101), 렌즈들의 어레이 (110) 및 포토 센서 (120) 를 포함하는 플렌옵틱 카메라 (100); 또는 도 1b 에 예시된 바와 같이, 메인 렌즈 없이 렌즈들의 어레이 (210) 및 포토센서 (220) 를 포함하는 멀티 카메라 어레이일 수도 있다. 멀티 어레이 카메라는 메인 렌즈가 무한 초점을 갖는 플렌옵틱 카메라의 특별한 경우로서 고려될 수도 있다.

본 발명의 실시형태들은 포맷 컨버전, 리포커싱, 뷰포인트 변경 및 3D 이미지 생성과 같은 추가 프로세싱 애플리케이션들을 위한 라이트 필드 데이터의 포맷팅을 제공한다.

도 1a 는 본 발명의 하나 이상의 실시형태들이 적용될 수도 있는 라이트 필드 카메라의 개략도이다.

도 1a 의 라이트 필드 카메라 (100) 는 마이크로 렌즈 어레이 (110) 및 마이크로 렌즈 어레이 (110) 와 연관된 이미지 센서 (120) 를 포함하는 플렌옵틱 타입 라이트 필드 카메라이다. 선택 가능한 양의 광이 라이트 필드 카메라에 진입하는 것을 가능하게 하는 애퍼처 (aperture; 102) 와 같은 추가의 광학계 (optics) 가 제공될 수도 있다. 렌즈 어레인지먼트는 마이크로 렌즈 어레이 (110) 를 향해 광을 포커싱하기 위한 메인 (대물) 렌즈 (101) 를 더 포함한다.

마이크로 렌즈 어레이 (110) 는 규칙적인 격자 구조로 배열된 마이크로렌즈들 (111, 112, 113 ... 11n) 의 어레이로 구성된다. 예를 들어, 구조는 행들 및 열들의 직사각형 격자일 수도 있다. 마이크로 렌즈 어레이는 또한 렌즈릿 어레이로 지칭될 수도 있다. 예시의 목적으로, 마이크로렌즈 어레이 (110) 는 비교적 적은 수의 마이크로렌즈들을 갖는 것으로 도시되어 있지만, 마이크로렌즈들의 수는 수천 또는 심지어 수백만개의 마이크로렌즈들에 이를 수도 있음이 이해될 것이다.

선택적으로, 하나의 마이크로 렌즈로부터의 광이 이미지 센서 (120) 에서 마이크로렌즈 어레이 (110) 의 다른 마이크로렌즈들의 광과 중첩되지 않게 하기 위하여 마이크로 렌즈 어레이 (110) 와 이미지 센서 (120) 사이의 마이크로 렌즈 어레이 (110) 의 각각의 마이크로 렌즈 주위에 스페이서들이 배치될 수도 있다.

이미지 센서는 격자 구조로 배열된 m 개의 포토 센서들 (121, 122, 123, 124..... 12m) 로 구성된 포토센서 어레이 (120) 를 포함한다. 예를 들어, 구조는 행들 및 열들의 직사각형 격자일 수도 있다. 각각의 포토센서 (121, 122, 123, 124..... 12m) 는 포토센서 어레이 (120) 에 의해 캡처된 장면의 원시 이미지 (raw image) 의 픽셀 또는 픽셀들의 그룹에 대응하며, 각각의 픽셀은 장면의 일부 (또한 포인트로도 지칭됨) 를 커버한다. 예시를 목적으로, 포토센서 어레이 (120) 는 비교적 적은 수의 포토센서들 (121 내지 121m) 을 갖는 것으로 예시되어 있다. 그러나, 포토센서들의 수는 도 1a 에 예시된 것에 제한되지 않고, 예를 들어, 수천 또는 수백만개의 포토센서들과 같은 임의의 수의 포토센서들로 확장될 수도 있다는 것을 이해할 것이다. 예시적인 예로서, 12.4 메가픽셀들의 이미지는 4088x3040 픽셀들/포토센서들의 어레이에 의해 제공될 수도 있다. 이미지 센서는 예를 들어 전하 결합 소자 (CCD) 일 수도 있다.

마이크로 렌즈 어레이 (110) 의 마이크로렌즈들 (111, 112, 11n) 은 각각의 마이크로렌즈들이 포토 센서 어레이 (120) 의 포토센서들과 광학적으로 연관되도록 배열된다. 포토센서 어레이 (120) 는 일반적으로 마이크로렌즈 어레이보다 미세한 피치를 갖는다. 따라서, 각각의 마이크로렌즈는 포토센서 어레이 (120) 의 복수의 포토센서들과 연관된다. 마이크로렌즈와 포토센서들의 그룹 사이의 광학적 연관성은 주어진 마이크로렌즈를 통과하는 광선들이 주어진 마이크로렌즈와 광학적으로 연관된 포토센서들의 그룹 중 적어도 하나에 도달한다는 것을 의미한다.

메인 렌즈 (101) 와 포토센서 (120) 사이에 마이크로렌즈 어레이 (110) 가 개재됨으로써 포토센서 어레이 (120) 상에 다수의 이미지들이 형성된다. 마이크로렌즈 어레이 (110) 의 각각의 마이크로렌즈는 포토센서 어레이 (120) 의 연관된 포토센서들 상에, 개별의 이미지를 프로젝팅한다. 따라서, 이미지 센서 (120) 에 의해 캡처된 원시 이미지는, 예를 들어 도 3 에 예시된 바와 같이 통상적으로 마이크로 이미지들로 지칭되는 작은 이미지들의 어레이로 구성된다. 각각의 마이크로 이미지는 개별의 다른 관점에서의 부분 시야에 대응하고 마이크로렌즈 어레이의 마이크로 렌즈에 대응한다. 포토센서 (120) 의 각각의 픽셀은 4D 라이트 필드 좌표에 대응하는 것으로 볼 수도 있는데, 여기서 2 차원은 센서 상의 그의 공간 포지션을 명시하고, 2 차원은 픽셀이 속하는 마이크로이미지 내의 픽셀의 2D 포지션에 따라 그 픽셀에 입사하는 광의 각도 정보 또는 방향 정보를 명시한다.

컬러 필터 어레이 (CFA) 는 일부 경우들에서 마이크로렌즈 어레이 (110) 또는 포토센서 어레이 (120) 상에 배열될 수도 있다. CFA 는 통상적으로 포토센서 또는 마이크로렌즈 어레이 상에 RGB (적색, 녹색 및 청색) 컬러 필터들을 배열하는데, RGB 어레인지먼트는 예를 들어 베이어 (Bayer) 필터 모자이크의 형태를 취한다. 하나의 컬러 필터 (적색, 녹색 또는 청색 필터) 는 베이어 필터의 예에서 50 % 녹색, 25 % 적색 및 25 % 청색을 포함하는 미리 결정된 패턴에 따라 MLA 와 연관될 수도 있으며, 이러한 패턴은 또한 RGBG, GRGB 또는 RGGB 패턴으로도 지칭된다. 마이크로렌즈 어레이 (110) 또는 포토센서 어레이 (120) 상의 컬러 필터들의 어레인지먼트는 RGGB 패턴에 제한되지 않는다는 것을 이해할 것이다. 다른 실시형태들에서, 미리결정된 패턴은 (4 개의 컬러 필터들의 블록에 대해) 녹색 필터들 중 하나가 '에메랄드' 로 수정된 RGBE 패턴; (4 개의 컬러 필터들의 블록에 대해) '시안' 필터 1 개, '노란색' 필터들 2 개, 그리고 '마젠타' 필터 1 개가 있는 CYYM 패턴; '시안' 필터 1 개, '노란색' 필터 1 개, '녹색' 필터 1 개, 그리고 '마젠타' 필터 1 개가 있는 CYGM 패턴; '적색' 필터 1 개, '녹색' 필터 1 개, '청색' 필터 1 개 그리고 '백색' 필터 1 개가 있는 RGBW 패턴일 수도 있으며, 여러 어레인지먼트가 가능하다 (예를 들어, 상부 좌측 필터에 '백색', 상부 우측 필터에 '적색', 하부 좌측 필터에 '청색' 그리고 하부 우측 필터에 '녹색' 을 갖는 4 개의 컬러 필터들의 블록 상에 배열되거나; 또는 첫번째 라인에 '백색', '청색', '백색', '녹색', 첫번째 라인 아래의 두번째 라인에 '청색', '백색', '녹색', '백색', 두번째 라인 아래의 세번째 라인에 '백색', '녹색', '백색', '적색', 그리고 세번째 라인 아래의 네번째 라인에 '녹색', '백색', '적색', '백색' 을 갖는 4x4 컬러 필터들의 블록 상에 배열된다).

마이크로렌즈 어레이와 포토센서 어레이 사이의 갭은, 공기로, 인덱스 n 을 갖는 광학 재료 (예를 들어, 유리 층) 로, 또는 적어도 하나의 층 공기층 및 적어도 하나의 광학 재료 층을 포함하는 다수의 층들로 구성될 수도 있다. 갭을 형성하기 위해 유리 층을 사용하는 것은, 포토센서 어레이 (120) 에 걸쳐 균일하게 포토센서 어레이 (120) 로부터 일정한 거리에 마이크로렌즈 어레이 (110) 를 유지하고 필요시 이 거리를 감소시키는 이점들을 갖는다. d 가 종축을 따른 포토센서 어레이 (120) 와 마이크로렌즈 어레이 (110) 의 출력 사이의 거리이면, 마이크로 렌즈 (110) 와 포토센서 어레이 (120) 사이의 인덱스 n (n > 1, 예를 들어 n = 1.5) 을 갖는 광학 재료로 구성된 층을 갖는 것은, 거리 d 를 수정하지 않고 거리를 d/n 로 설정할 수 있다. 갭을 형성하는 층의 광학 재료의 인덱스를 적응/수정함으로써, 거리 d 를 수정하지 않고 마이크로렌즈 어레이 (110) 와 포토센서 어레이 (120) 사이의 거리를 나타내는 파라미터를 적응/수정하는 것이 가능하다.

도 1b 는 본 발명의 제 2 실시형태에 따른 라이트 필드 카메라의 개략도이다.

본 발명의 제 2 실시형태에 따른 라이트 필드 카메라 (200) 는 마이크로 렌즈 어레이 (210) 및 마이크로 렌즈 어레이 (210) 와 연관된 이미지 센서 (220) 를 포함하는 멀티 카메라 어레이 타입 라이트 필드 카메라이다. 이 실시형태에서, 마이크로 렌즈 어레이 (210) 를 향해 광을 포커싱하기 위한 메인 렌즈 (201) 는 존재하지 않는다. 포토센서 어레이 (220) 및 마이크로 렌즈 어레이 (210) 와 같은 엘리먼트들은 도 1a 의 플렌옵틱 타입 카메라의 대응하는 엘리먼트들과 유사한 방식으로 동작한다. 주된 차이는 메인 렌즈가 도 1b 의 실시형태에 존재하지 않는다는 것이다. 각각의 마이크로 이미지는 개별의 다른 관점에서의 전체 시야에 대응한다.

도 2a는 본 발명의 실시형태에 따른 라이트 필드 카메라 디바이스의 블록도이다. 라이트 필드 카메라는 도 1a 의 라이트 필드 카메라에 따른 애퍼처/셔터 (102), 메인 (대물) 렌즈 (101), 마이크로 렌즈 어레이 (110) 및 포토센서 어레이 (120) 를 포함한다. 일부 실시형태에서, 라이트 필드 카메라는 피사체 또는 장면의 라이트 필드 이미지를 캡처하도록 활성화되는 셔터 릴리즈를 포함한다. 기능적 특징들이 또한 도 1b 의 라이트 필드 카메라에 적용될 수도 있음을 이해할 것이다.

포토센서 어레이 (120) 는 라이트 필드 데이터 포맷팅 모듈 (150) 에 의한 라이트 필드 데이터 포맷의 생성 및/또는 라이트 필드 데이터 프로세서 (155) 에 의한 프로세싱을 위해 LF 데이터 취득 모듈 (140) 에 의해 취득되는 라이트 필드 이미지 데이터를 제공한다. 라이트 필드 데이터는 취득 후 그리고 프로세싱 후에, 메모리 (190) 에 원시 데이터 포맷으로, 서브 애퍼처 (sub aperture) 이미지들 또는 초점 스택들로서, 또는 본 발명의 실시형태들에 따른 라이트 필드 데이터 포맷으로 저장될 수도 있다.

예시된 예에서, 라이트 필드 데이터 포맷팅 모듈 (150) 및 라이트 필드 데이터 프로세서 (155) 는 라이트 필드 카메라 (100) 내에 배치되거나 또는 통합된다. 본 발명의 다른 실시형태들에서, 라이트 필드 데이터 포맷팅 모듈 (150) 및/또는 라이트 필드 데이터 프로세서 (155) 는 라이트 필드 캡처 카메라 외부의 별도의 컴포넌트에 제공될 수도 있다. 별도의 컴포넌트는 라이트 필드 이미지 캡처 디바이스에 대해 로컬 또는 원격일 수도 있다. 라이트 필드 이미지 데이터를 포맷팅 모듈 (150) 또는 라이트 필드 데이터 프로세서 (155) 로 송신하기 위해 임의의 적합한 유선 또는 무선 프로토콜이 사용될 수도 있음을 이해할 것이다; 예를 들어, 라이트 필드 데이터 프로세서는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스 통신 프로토콜, 및/또는 임의의 다른 적합한 수단을 통해 캡처된 라이트 필드 이미지 데이터 및/또는 다른 데이터를 전송할 수도 있다.

라이트 필드 데이터 포맷팅 모듈 (150) 은 본 발명의 실시형태들에 따라, 취득된 라이트 필드를 나타내는 데이터를 생성하도록 구성된다. 라이트 필드 데이터 포맷팅 모듈 (150) 은 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수도 있다.

라이트 필드 데이터 프로세서 (155) 는 예를 들어 본 발명의 실시형태들에 따라 초점 스택들 또는 뷰들의 매트릭스를 생성하기 위해 LF 데이터 취득 모듈 (140) 로부터 직접 수신된 원시 라이트 필드 이미지 데이터에 대해 동작하도록 구성된다. 캡처된 장면의, 예를 들어, 정지 이미지들, 2D 비디오 스트림들 등과 같은 출력 데이터가 생성될 수도 있다. 라이트 필드 데이터 프로세서는 소프트웨어, 하드웨어 또는 이들의 조합으로 구현될 수도 있다.

적어도 하나의 실시형태에서, 라이트 필드 카메라 (100) 는 또한 사용자가 제어기 (170) 에 의해 카메라 (100) 의 동작을 제어하기 위해 사용자 입력을 제공하게 하는 사용자 인터페이스 (160) 를 포함할 수도 있다. 카메라의 제어는 셔터 속도와 같은 카메라의 광학 파라미터의 제어, 또는 조정 가능한 라이트 필드 카메라의 경우, 마이크로렌즈 어레이와 포토센서 사이의 상대 거리의 제어, 또는 대물 렌즈와 마이크로렌즈 어레이 사이의 상대 거리의 제어 중 하나 이상을 포함할 수도 있다. 일부 실시형태들에서, 라이트 필드 카메라의 광학 엘리먼트들 간의 상대 거리들은 수동으로 조정될 수도 있다. 카메라의 제어는 또한 카메라의 다른 라이트 필드 데이터 취득 파라미터들, 라이트 필드 데이터 포맷팅 파라미터들 또는 라이트 필드 프로세싱 파라미터들의 제어를 포함할 수도 있다. 사용자 인터페이스 (160) 는 터치스크린, 버튼들, 키보드, 포인팅 디바이스 및/또는 이와 유사한 것과 같은 임의의 적합한 사용자 입력 디바이스(들)를 포함할 수도 있다. 이렇게 하여, 사용자 인터페이스에 의해 수신된 입력은 데이터 포맷팅을 제어하기 위한 LF 데이터 포맷팅 모듈 (150), 취득된 라이트 필드 데이터의 프로세싱을 제어하기 위한 LF 데이터 프로세서 (155) 및 라이트 필드 카메라 (100) 를 제어하기 위한 제어기 (170) 를 제어 및/또는 구성하는데 사용될 수도 있다.

라이트 필드 카메라는 하나 이상의 교체 가능 또는 재충전 가능한 배터리들과 같은 전원 (180) 을 포함한다. 라이트 필드 카메라는 캡처된 라이트 필드 데이터 및/또는 렌더링된 최종 이미지들 또는 본 발명의 실시형태들의 방법들을 구현하기 위한 소프트웨어와 같은 다른 데이터를 저장하기 위한 메모리 (190) 를 포함한다. 메모리는 외부 및/또는 내부 메모리를 포함할 수 있다. 적어도 하나의 실시형태에서, 메모리는 카메라 (100) 로부터 분리된 디바이스 및/또는 로케이션에 제공될 수 있다. 하나의 실시형태에서, 메모리는 메모리 스틱과 같은 제거 가능/스왑 가능한 저장 디바이스를 포함한다.

라이트 필드 카메라는 또한 캡처 전에 카메라 전방의 장면들을 보기 위한 및/또는 이전에 캡처 및/또는 렌더링된 이미지들을 보기 위한 디스플레이 유닛 (165) (예를 들어, LCD 스크린) 을 포함할 수도 있다. 스크린 (165) 은 또한 하나 이상의 메뉴들 또는 다른 정보를 사용자에게 디스플레이하는데 사용될 수도 있다. 라이트 필드 카메라는 하나 이상의 I/O 인터페이스들 (195), 이를테면 FireWire 또는 USB (universal serial bus) 인터페이스들, 또는 인터넷, 셀룰러 데이터 네트워크, WiFi 네트워크, 블루투스 통신 프로토콜 및/또는 임의의 다른 적합한 수단을 통한 데이터 통신용 유선 또는 무선 통신 인터페이스들을 더 포함할 수도 있다. I/O 인터페이스 (195) 는 본 발명의 실시형태들에 따른 LF 데이터 포맷팅 모듈에 의해 생성된 라이트 필드를 나타내는 데이터, 및 라이트 필드 데이터, 이를테면 원시 라이트 필드 데이터 또는 LF 데이터 프로세서 (155) 에 의해 프로세싱된 데이터와 같은 데이터를, 렌더링 애플리케이션들을 위해, 컴퓨터 시스템들 또는 디스플레이 유닛들과 같은 외부 디바이스들로 그리고 이들로부터, 전송하기 위해 사용될 수도 있다.

도 2b 는 라이트 필드 데이터 포맷팅 모듈 (150) 및 라이트 필드 데이터 프로세서 (153) 의 잠재적 구현의 특정 실시형태를 예시하는 블록도이다.

회로 (300) 는 메모리 (390), 메모리 제어기 (345) 및 하나 이상의 프로세싱 유닛들 (CPU(들)) 을 포함하는 프로세싱 회로부 (340) 를 포함한다. 하나 이상의 프로세싱 유닛들 (340) 은 메모리 (390) 에 저장된 다양한 소프트웨어 프로그램들 및/또는 명령들의 세트들을 실행하여, 라이트 필드 데이터 포맷팅 및 라이트 필드 데이터 프로세싱을 포함하는 다양한 기능들을 수행하도록 구성된다. 메모리에 저장된 소프트웨어 컴포넌트들은 본 발명의 실시형태들에 따라 취득된 라이트 데이터를 나타내는 데이터를 생성하기 위한 데이터 포맷팅 모듈 (또는 명령들의 세트) (350) 및 본 발명의 실시형태들에 따라 라이트 필드 데이터를 프로세싱하기 위한 라이트 필드 데이터 프로세싱 모듈 (또는 명령들의 세트) (355) 를 포함한다. 일반적인 시스템 태스크들 (예를 들어, 전력 관리, 메모리 관리) 을 제어하고 디바이스 (300) 의 다양한 하드웨어와 소프트웨어 컴포넌트들 사이의 통신을 용이하게 하기 위한 오퍼레이팅 시스템 모듈 (351), 및 I/O 인터페이스 포트들을 통해 다른 디바이스들과의 통신을 제어 및 관리하기 위한 인터페이스 모듈 (352) 과 같은 라이트 필드 카메라 디바이스의 애플리케이션들을 위한 다른 모듈들이 메모리에 포함될 수도 있다.

도 3 은 도 1a 의 포토센서 어레이 (120) 또는 도 1b 의 포토센서 어레이 (220) 상에 형성된 2D 이미지의 예를 예시한다. 원시 4D 라이트 필드 이미지로 종종 지칭되는 2D 이미지는 마이크로 이미지들 (MI) 의 어레이로 구성되며, 각각의 마이크로 이미지는 마이크로렌즈 어레이 (110, 210) 의 개별의 마이크로 렌즈 (i,j) 에 의해 생성된다. 마이크로 이미지들은 축들 i 및 j 에 의해 정의된 직사각형 격자 구조로 어레이에 배열된다. 마이크로 렌즈 이미지는 개별의 마이크로 렌즈 좌표들 (i,j) 에 의해 참조될 수도 있다. 포토센서 (120, 220) 의 픽셀 (PI) 은 그의 공간 좌표들 (x,y) 에 의해 참조될 수도 있다. 주어진 픽셀과 연관된 4D 라이트 필드 데이터는 (x,y,i,j) 로서 참조될 수도 있고 여기서 x 및 y 는 각각의 마이크로 렌즈에 대해 참조되며; 예를 들어, 좌표들 (i,j) 및 20x20 픽셀들을 갖는 마이크로 렌즈에 대해 0<x<19 및 0<y<19 이다.

4D 라이트 필드 이미지를 표현 (또는 정의) 하는 몇 가지 방법들이 있다. 예를 들어, 4D 라이트 필드 이미지는 도 3 을 참조하여 앞서 기술된 바와 같은 마이크로 렌즈 이미지들의 컬렉션에 의해 표현될 수 있다. 서브 애퍼처 이미지들의 세트에 의해 플렌옵틱 카메라에 의해 기록될 때, 4D 라이트 필드 이미지가 또한 표현될 수도 있다. 각각의 서브 애퍼처 이미지는 각각의 마이크로렌즈 이미지로부터 선택된 동일한 포지션의 픽셀들로 구성된다. 또한, 4D 라이트 필드 이미지는 에피폴라 이미지 (epipolar image) 들의 세트로 표현될 수도 있다.

본 발명의 실시형태들은 복수의 주어진 기하학적 평면들을 통해 라이트 필드 장면으로부터 광선들의 인터섹셕에 기초한 라이트 필드 데이터의 표현을 제공한다. 이렇게 하여, 포맷들 및 라이트 필드 디바이스들에서의 다양성이 고려될 수도 있다.

간략화를 목적으로, 4 차원의 라이트 필드 래디언스를 파라미터화하는 방법이 도 4 의 (A) 에 예시된 큐브를 참조할 수도 있다. 큐브의 여섯면들 모두가 라이트 필드를 파라미터화하는데 사용될 수도 있다. 방향을 파라미터화하기 위해, 큐브 면들에 평행한 평면들의 제 2 세트가 추가될 수도 있다. 이렇게 하여, 라이트 필드는 다음과 같이 축 방향을 따른 법선들과 함께 6 쌍의 평면들에 대해 정의될 수도 있다:

도 4 의 (B) 는 서로 평행하게 포지셔닝되고 알려진 깊이들 z₁ 및 z₂ 에 각각 로케이트되는 파라미터화에 사용되는 2 개의 기준 평면들 P₁ 및 P₂ 를 통과하는 라이트 필드 광선을 예시한다. 라이트 필드 광선은 인터섹션 포인트 (x₁,y₁) 에서의 깊이 z₁ 에서 제 1 기준 평면 P₁ 과 인터섹트하고 인터섹션 포인트 (x₂,y₂) 에서의 깊이 z₂ 에서 제 2 기준 평면 P₂ 와 인터섹트한다. 이렇게 하여, 라이트 필드 광선은 4 개의 좌표들 (x₁,y₁,x₂,y₂) 에 의해 식별될 수도 있다. 라이트 필드는 따라서, 여기서 파라미터화 평면들로도 지칭되는 파라미터화를 위한 기준 평면들 P₁, P₂ 의 쌍에 의해 파라미터화될 수 있으며, 각각의 라이트 필드 광선은 4D 광선 공간에서 포인트 로서 표현된다.

예를 들어 기준 좌표 시스템의 원점은 좌표축 시스템의 기저 벡터들 에 의해 생성된 평면 P₁ 의 중심에 배치될 수도 있다. 축은 생성된 평면 P₁ 에 수직이고 제 2 평면 P₂ 은 단순화를 위해 평면 P₁ 으로부터 축을 따라 거리 에 배치될 수 있다. 6 가지 다른 전파 방향들:

을 고려하기 위해, 전체 라이트 필드는 6 쌍의 그러한 평면들에 의해 특성화될 수도 있다. 라이트 슬래브 (light slab) 라고 종종 불리는 한 쌍의 평면들은 전파 방향을 따라 라이트 필드 카메라의 센서 또는 센서 어레이와 상호작용하는 라이트 필드를 특성화한다.

파라미터화를 위한 기준 평면의 포지션은 다음과 같이 주어질 수 있다:

, 식 중 는 법선이고 d 는 법선 방향을 따라 3D 좌표 시스템의 원점으로부터의 오프셋이다.

파라미터화를 위한 기준 평면의 데카르트 (Cartesian) 식은 다음과 같이 주어질 수 있다:

라이트 필드가 4 개의 변수들의 함수이기 때문에, 일반적으로 예시하기 어려울 수 있다. 예시를 용이하게 하기 위해, 2D 슬라이스가 사용될 수도 있고, 라이트 필드 광선들의 특정한 세트들이 2D 그래픽적 표현들로 매핑될 수도 있다. 도 6 은 x₁ 및 x₂ 축들로 제한된 그러한 2D 슬라이스들의 2 개의 상이한 표현들의 예들을 보여준다. 도 6 의 좌측은 라이트 필드 광선들의 상이한 어레인지먼트들에 대한 개별의 2D 슬라이스들을 예시한다. 우측에서, 광선들의 각각의 세트에 대한 라이트 필드 데이터는 2D 광선 좌표 시스템 또는 2D 광선 다이어그램 (또한 위상-공간 시스템으로도 지칭됨) 에서 그래픽적으로 예시된다. 각각의 포인트는 광선에 대응하며 그의 x 인터섹션 포인트 x₁ 과 제 1 기준 평면 P₁ 및 그의 x 인터섹션 포인트 x₂ 와 제 2 기준 평면 P₂ 에 의해 정의된다.

도 6a 는 콜리메이팅된 광선 세트를 도시하고, 도 6b 는 발산 광선 팬을 도시하고, 도 6c 는 수렴 광선 세트를 도시하고, 도 6d 는 포커싱된 광선 팬을 도시한다.

도 6a 의 2D 광선 다이어그램에서, 다양한 입사각을 갖는 콜리메이팅된 라이트 필드 광선 세트가 표현된다. 광선 세트가 k 축과 평행할 때, 각각의 라이트 필드 광선은 45° 라인을 따라 그려진다. 광선 세트가 더 기울어질 때, 2D 다이어그램에서 라인이 위로 시프트되고, 라이트 필드 광선 세트가 아래쪽으로 향할 때, 라인도 아래로 시프트된다 (음의 x₂). 결과적으로 평행 광선들은 45° 의 라인으로 매핑될 것이며, 평행 광선 세트가 z 축과 각도를 이루면, X₂ 라인 인터셉트 (intercept) 가 그에 따라 시프트된다. 도 6b 의 2D 광선 다이어그램에서 다양한 다른 발산 정도 (degree of divergence) 들이 그려져 있다. 발산의 포인트가 무한대로부터 축 X₁ 을 향해 이동됨에 따라, 2D 광선 라인 표현은 선형으로 유지되지만 발산량에 따라 라인의 경사도 (steepness) 가 증가된다. 그 한계에서, 광선 세트가 발산하는 포인트가 x₁ 축 상에 있으면, 광선들은 2D 광선 다이어그램 상의 수직 축 x₂ 를 따라 그려진다. 도 6c 의 2D 광선 다이어그램은 수렴 광선 세트를 그래픽적으로 표현한다. 수렴의 포인트가 X₂ 축을 향해 당겨짐에 따라, 광선들은 기울기가 감소하는 라인으로 매핑된다. 도 6d 의 광선 다이어그램은 수렴 포인트가 X₂, 포커싱된 광선 세트 상에 있을 때 한계이며, 다이어그램 상의 모든 광선들은 수평 축 상에 로케이트된다.

본 발명의 실시형태들에서, 4D 광선 다이어그램은, 원시 캡처된 포맷으로부터 생성된 라이트 필드 데이터의 소정의 부분들을 갖는 하나 이상의 라이트 필드 카메라들에 의해 캡처된 라이트 필드의 기본 표현으로서 사용될 수도 있다.

라이트 필드 광선이 알려진 포지션:

및 정규화된 전파 벡터:

를 갖는 경우, 3D에서의 광선의 일반적인 매개변수 방정식은 다음:

과 같이 주어질 수도 있다.

라이트 필드 광선과 기준 평면 사이의 인터섹션 의 좌표들은 다음:

과 같이 주어진다.

다음의 조건:

이 충족되지 않으면 라이트 필드 광선들과 기준 파라미터화 사이에 인터섹션이 없다.

라이트 필드를 파라미터화하는데 사용되는 기준 평면들의 쌍의 시스템의 축들 중 하나와의 직교 (perpendicularity) 로 인해, 광선 인터섹션의 컴포넌트들 중 하나는 각각의 평면에 대해 항상 일정하다. 따라서, 제 1 기준 평면과의 라이트 필드 광선의 인터섹션 , 및 제 2 기준 평면과의 상기 라이트 필드의 인터섹션 가 있는 경우, 4 개의 좌표들이 변하며 식 (A) 를 사용하여 라이트 필드 광선의 4 개의 파라미터를 계산할 수 있다. 이 4 개의 파라미터들을 사용하여 라이트 필드의 4D 광선 다이어그램을 구축할 수 있다.

2 개의 파라미터화 기준 평면들을 참조하여 라이트 필드의 파라미터화를 가정하면, 라이트 필드를 표현하는 데이터는 다음과 같이 획득될 수도 있다. 기준 시스템이 도 5 에 도시된 바와 같이 설정되면, 제 1 파라미터화 평면 P₁ 은 z = z₁ 에서 z 축에 수직이고, 제 2 파라미터화 평면 P₂ 은 z = z₂ 에서 z 축에 수직으로 배열되고, 라이트 필드 파라미터들이 L(x₁;y₁;x₂;y₂) 인 광선은 라이트 필드 카메라의 포토센서 어레이가 포지셔닝되는 로케이션 z = z₃ 에서 렌더링될 것이다. 식 (A) 로부터 :

이고, 여기서

이다.

위의 식을 전개하면 다음과 같다:

양자 모두의 식 세트들은 새로운 로케이션에서 렌더링된 라이트 필드 광선과 동일한 포인트 을 산출해야 한다. 및 의 함수로서 u_x;u_y;u_z 를 그들의 대응하는 식으로 대체함으로써, 이전 블록으로부터의 제 2 식 세트가 사용되고 x₃ 과 y₃ 이 함께 더해지면:

이다.

다음 식을 낳는다:

첨자가 ₃ 인 좌표들은 라이트 필드가 렌더링되는 알려진 포인트 (x₃,y₃,z₃) 와 관련된다. 모든 깊이 좌표들 z_i 가 알려져 있다. 파라미터화 평면들은 전파 또는 렌더링의 방향에 있다. 라이트 필드 데이터 파라미터들 L 은 (x₁,y₁,x₂,y₂) 이다.

포인트 (x₃,y₃,z₃) 에서 이미지를 형성하는 라이트 필드 광선들은 에서 하이퍼 평면을 정의하는 식 (B) 에 의해 링크된다.

이것은 이미지들이 2 평면 파라미터화된 라이트 필드로부터 렌더링될 경우, 하이퍼평면들 근처의 광선들만이 렌더링될 필요가 있으므로, 이들을 트레이싱할 필요가 없음을 의미한다.

카메라의 캘리브레이션으로부터, 하기 파라미터들이 결정될 수 있다: 프로젝션의 중심 (x₃,y₃,z₃), 카메라의 광학 축의 배향 및 카메라의 핀홀로부터 포토센서의 평면까지의 거리 f. 라이트 필드 카메라 파라미터들은 도 7 에 예시되어 있다. 포토센서 평면은 깊이 z_p 에 로케이트된다. 포토센서의 픽셀 출력은 라이트 필드 광선들의 기하학적 표현으로 컨버팅된다. 2 개의 기준 평면들 P₁ 및 P₂ 을 포함하는 라이트 슬래브는 포토센서로의 카메라의 프로젝션의 중심의 타측에서 z₃ 을 넘어서 각각 깊이들 z₁ 및 z₂ 에 로케이트된다. 광선들에 삼각형 원리를 적용함으로써, 마이크로렌즈들의 어레이로부터 프로젝팅된 광을 기록하는 픽셀 좌표들 (x_p,y_p,z_p) 은 광선 파라미터들, 즉 기준 평면 인터섹션 포인트들 (x₁,y₁,x₂,y₂) 로, 다음 식을 적용하여 매핑될 수 있다:

위의 계산은 서로 다른 쌍들의 트리플렛 (x_p,y_p,z_p) (x₃,y₃,z₃) 을 가진 다수의 카메라들로 확장될 수도 있다:

플렌옵틱 카메라의 경우, 애퍼처가 있는 카메라 모델을 사용하고 라이트 필드 광선이 원점 (x_p,y_p,z_p) 및 방향 (x'₃,y'₃,1) 을 갖는 것으로서 위상 공간에서 기술된다. 깊이 z₃ 에서의 평면 (x₃,y₃) 상으로의 그의 전파는 매트릭스 변환으로서 기술될 수 있다. 렌즈는 광선을 굴절시키기 위한 ABCD 매트릭스의 역할을 하고 또 다른 ABCD 전파 매트릭스는 광선을 라이트 슬래브 기준 평면들 P₁ 및 P₂ 으로 가져올 것이다.

도 8 은 애퍼처 인 로케이션 x₃ = 2 및 깊이 z₃ = 2 에서 카메라에 의해 캡처된 라이트 필드 광선들의 인터섹션 데이터 (x₁, x₂) 를 그래픽적으로 표현하는 2D 광선 다이어그램이다. 파라미터화에 사용된 광선 다이어그램의 데이터 라인들은 256x256 픽셀들의 이미지를 제공하는 256 개의 셀들에 의해 샘플링된다.

도 8 에 예시된 광선 다이어그램이 256 x 256 엘리먼트들의 매트릭스로서 해석되는 경우, 이는 희박하게 팝퓰레이팅된 것으로 볼 수 있다. 광선을 4D 위상 공간 매트릭스 대신 파일에 개별적으로 저장한다면, 각각의 포지션 x_i 또는 x₃ 에 대해 최소 2 바이트 (int16) 플러스 컬러에 대해 3 바이트, 즉, 2D 슬라이스 라이트 필드에 대해 광선 당 7 바이트, 및 그의 전체 4D 표현에 대해 광선 당 11 바이트를, 각각의 광선에 대해, 세이빙 (saving) 할 것을 필요로 한다. 그래도, 광선들은 파일에 무작위로 저장되는데, 이는 그 표현을 조작해야 하는 애플리케이션들에 적합하지 않을 수도 있다. 본 발명의 발명자들은 대표 데이터만을 광선 다이어그램 매트릭스로부터 추출하는 방법과 구조화된 방식으로 파일에 데이터를 저장하는 방법을 결정하였다.

라이트 필드 광선들은 2D 광선 다이어그램의 데이터 라인들을 따라 매핑되기 때문에, 라인 값들 자체보다는 데이터 라인을 정의하는 파라미터들을 저장하는 것이 더 효율적이다. 예를 들어, 슬로프 정의 파라미터 s 및 축 인터셉트 d 와 같은 데이터 라인을 정의하는 파라미터들은 그 데이터 라인에 속하는 라이트 필드 광선 세트와 함께 저장될 수도 있다.

이것은 예를 들어, 슬로프 파라미터 s 에 대해 2 바이트, 슬로프 파라미터 d 에 대해 2 바이트, 그리고 다음으로 단지 광선 당 3 바이트처럼 적게 필요로 할 수도 있다. 또한, 광선들은 파일에서 라인들을 따라 순서화될 수도 있다. 매트릭스 셀들을 통해 라인들을 설정하기 위해 최소 에러를 갖는 광선 라인들을 근사하는 소위 디지털 라인들이 생성된다.

데이터 라인들을 로케이트하고 슬로프 파라미터 s 및 인터셉트 파라미터 d 를 획득하기 위해, 단계 S704 에서 라돈 변환이 단계 S703 에서 생성된 광선 다이어그램에 대해 라인 검출 모듈 (704) 에 의해 수행된다 (도 18a 참조).

획득된 슬로프 파라미터 s 및 인터셉트 파라미터 d 로부터 대표 디지털 라인이 단계 S705 에서 디지털 라인 생성 모듈 (705) 에 의해 생성된다 (도 18a 참조). 이 단계에서 디지털 라인들은, 예를 들어, 브레젠험의 알고리즘을 적용함으로써 분석 라인을 그의 가장 가까운 그리드 포인트로 근사함으로써 생성된다. 실제로 브레젠험의 알고리즘은 최소 연산으로 디지털 라인을 제공하는 방법을 제공한다. 다른 방법들이 고속 이산 라돈 변환 계산을 적용할 수도 있다. 브레젠험 애플리케이션의 예는 다음 참조로부터 적응된 것이다: http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html.

디지털 포맷은 그리드 (0,d) 와 (N-1,s) 의 두개의 포인트들에 의해 데이터 라인을 정의하고 d 는 x₁ = 0 일 때 x₂ 의 값에 대응하는 인터셉션이며 s 는 x₁ = N-1 일 때 x₂ 의 값에 대응하는 기울기 파라미터이다. 생성된 디지털 포맷으로부터 각 개개의 라인의 기울기 a 는 다음과 같이 d 와 s 의 함수로 표현될 수도 있다:

식 중에서:

이고 이다.

도 9 는 브레젠험의 알고리즘의 적용에 의해 생성된 디지털 라인의 예를 예시한다.

도 10 은 기울기 a (또는 s-d) 가 동일하지만 인터셉트들 d 가 상이한 디지털 라인들의 그룹을 예시하며, 데이터 라인들의 그룹은 인접하다. 데이터 라인들의 그룹은 본 명세서에서 라인들의 번들 (bundle of lines) 로 지칭되고, 카메라가 이상적으로 핀포인트가 아닌 것으로부터 비롯되는 빔에 대응한다. 각각의 라인은 상이한 픽셀들을 다룬다. 즉, 하나의 픽셀은, 기울기가 같지만 인터셉트들이 상이한 번들의 고유한 라인에만 속한다. 축 인터셉션들 d 의 상부 경계 및 하부 경계는 각각 d_max 및 _dmin 으로 주어진다.

(2D 에서의) 샘플링된 라인들의 쌍에 의해 파라미터화되고 하나의 카메라에 속하는 광선 데이터는, 데이터를 표현하는데 사용되는 위상 공간에서 디지털 라인들의 군 (빔) 에 속한다. 빔의 헤더는 축 인터셉션들의 상부 및 하부 경계들에 의해 정의되는 빔의 두께 d_max-d_min 및 기울기 a 를 단순히 포함할 수 있다. 광선 값들은 헤더가 d 및 s 일 수 있는 디지털 라인들을 따라 RGB 컬러들로서 저장될 것이다. 샘플링된 공간에서 광선 다이어그램의 보이드 셀 (void cell) 들은 저장될 필요가 없다. 광선의 좌표들 x₁; x₂ 는 파라미터들 d, s 로부터 그리고 디지털 라인을 따른 셀의 포지션으로부터 추론될 수 있다.

표 1 은 2D 광선 다이어그램 스토리지의 경우 본 발명의 일 실시형태에 따른 데이터 표현 포맷의 예이다. 4D 경우에 대해 그 표는 y1 및 y2 차원들에서 확장될 것임이 이해될 것이다.

데이터는 다음의 파라미터들을 포함한다:

- 인터셉션 데이터 (x₁, x₂) 의 2D 다이어그램의 매트릭스 (N X M) 의 셀들의 수, 여기서, N 은 x₁ 셀들의 수에 대응하고 M 은 x₂ 셀들의 수에 대응함.

- 예를 들어, 도 9 에 도시된 바와 같이, (0,d) 로부터 (N-1,s) 로 (매트릭스 (N X M) 의) 그리드에서 확장하는 하나 이상의 라이트 필드 광선들에 대응하는 디지털 데이터 라인을 정의하는 파라미터들 (d 및 s).

- 취득 카메라들의 수 (n)

- 각각의 데이터 라인의 RGB 데이터

라이트필드로부터 또는 카메라의 지오메트리로부터 추정될 파라미터들은 기울기 (a), 디지털 라인 인터셉트들의 상한 및 하한 (d_min,d_max), 및 디지털 라인 파라미터들 (d_i,s_i) 이다. 이산 라돈 변환은 광선 다이어그램에서의 라이트 필드의 서포트 로케이션을 측정하기 위한 도구로서 이미 논의되었다.

도 11b 는 도 11a 의 데이터라인들의 디지털 라인 파라미터 공간 (d,s) 에서의 이산 라돈 변환을 도시한다. 도 11c 는 도 11b 에 포함된 관심있는 영역의 줌이다. 데이터 라인들의 빔은 최대값 파라미터들에 대한 탐색에 의해 로케이트된다. 이미지 콘텐츠로 인한 최대의 실제 포지션과 DRT 의 대칭의 기하학적 중심 간의 일부 오프셋이 존재할 수 있어서, 나중에, 최대 대신 대칭의 중심을 정확히 기술하기 위한 알고리즘이 사용된다. 그 후, 도 11c 상에 도시된 바와 같은 빔 변환의 요부는 값들 (d_min,d_max) 을 제공하기 위해 찾기 용이하다. 포인트 (d_min = 74,s = 201) 는 도 11a 로부터의 디지털 라인들의 빔의 하부 엔벨로프이고, 포인트 (d_max = 81,s = 208) 는 디지털 라인들의 빔의 상부 엔벨로프이다.

식 (B) 로부터의 2 개의 직교 2D 슬라이싱된 공간들의 식들은 다음과 같이 주어진다.

x_i 좌표들에 대한 2D 슬라이스가 취해지면, (x₃,y₃,z₃) 에서의 사이즈 A 의 애퍼처를 통한 광선 데이터가 매핑할 라인들의 빔의 식은 다음과 같이 주어진다:

유사하게, 2D 슬라이스가 y_i 좌표들에 대해 취해지면:

이다.

전술된 바와 같이, m 및 의 값들은 이산 도메인에서 평가될 수도 있다. 전술된 포맷에 의해 정의된 바와 같은 라이트 필드의 특성들을 국부화하기 위해, 4D 이산 라돈 변환을 수행할 필요는 없다. 2 개의 직교 2D DRT 가 획득되면, 하이퍼 평면의 기울기 (m) 및 모든 데이터가 4D 광선 다이어그램에서 집중하는 디지털 하이퍼 평면들의 빔 폭에 대해 측정들이 수행될 수 있다.

로케이션의 이러한 더 단순한 절차는, 가 모든 하이퍼 평면들 인터셉트들을 포괄하고 그 포맷으로 기재된 일부 값들이 어떠한 값들도 포함하지 않도록, 원형 입사동 (A) 을 가정한다.

본 발명의 실시형태들에 있어서, 기준 평면들 (P₁, P₂) 과의 라이트 필드 광선들의 인터섹션을 기하학적으로 정의하는 인터섹션 데이터 (x₁,y₁,x₂,y₂) 는, 설명될 바와 같은 백 트레이싱 및 파라미터화의 단계들에 의해 획득된다.

도 12a 는 본 발명의 하나 이상의 실시형태들에 따른 라이트 필드를 나타내는 데이터를 생성하기 위한 방법의 단계들을 도시한 플로우 차트이다. 도 12b 는 본 발명의 하나 이상의 실시형태들에 따른 라이트 필드를 나타내는 데이터를 생성하기 위한 시스템의 메인 모듈들을 개략적으로 도시한 블록도이다.

방법의 예비 단계 S801 에 있어서, 원시 라이트 필드 데이터가 라이트 필드 카메라에 의해 취득된다 (801). 원시 라이트 필드 데이터는, 예를 들어, 도 3 을 참조하여 설명된 바와 같은 마이크로 이미지들의 형태일 수도 있다. 라이트 필드 카메라는, 예컨대, 도 1a 또는 도 1b 및 도 2a 및 도 2b 에 도시된 라이트 필드 카메라 디바이스일 수도 있다. 일반적으로, 데이터는, 라이트를 검출하는 라이트 센서의 픽셀들에 대응하는 픽셀 형태로 제공된다.

단계 S802 에 있어서, 취득된 라이트 필드 데이터는 백 트레이싱 모듈 (702) 에 의해 프로세싱되고, 픽셀 데이터로부터, 캡처된 라이트 필드에 대응하는 라이트 필드 광선들을 생성한다.

픽셀 백 트레이싱은 픽셀 및 카메라 데이터로부터 광선 생성의 동작을 지칭한다. 이러한 프로세스는 통상적으로 카메라 특정이다. 각각의 카메라 타입은 광선들을 픽셀들에 매칭하는 그 자신의 특정 기술을 갖는다. 플렌옵틱 카메라는 매우 특정적인 방식으로 이미지들의 2D 어레이들을 등록한다. 다른 타입들의 카메라는 4π 스테라디안 입체각을 취득할 수 있고, 디바이스는 광선들을 재생하기 위해 상이하게 핸들링된다. 픽셀 백 트레이싱이 각각의 취득 시스템에 특정이기 때문에, 백 트레이서들의 상이한 모듈들이 개발되어야 한다. 종래의 라이트 필드 카메라는 핀홀로서 설명 및 모델링될 수 있고, 백 트레이싱은 간단하다. 플렌옵틱 2.0 카메라는, 특히, 마이크로 렌즈 어레이가 3 개의 상이한 렌즈릿 초점 (lenslet focal) 들을 가지면, 백 트레이싱하기 더 어렵다. 후자의 경우에 대해, 백 트레이싱이 초점 스택을 통해 간접적으로 획득될 수도 있다.

도 13a 는 백 트레이싱의 예를 개략적으로 도시한다. 도 13b 는 알고리즘들이 명시되는 광선 백 트레이싱을 위해 사용된 취득 디바이스들의 예들을 도시한다. 도 13a 에 도시된 바와 같은 광선 백 트레이싱의 프로세스는 핀홀 카메라에 의해 모델링된다.

원래의 픽셀 어레이가 풀 RGB 어레이로 디모자이크되어야 하는지 또는 원시 데이터 어레이로서 유지되어야 하는지 여부는 풀 RGB 값 또는 오직 고유한 컬러 값 중 어느 하나를 백 트레이싱된 광선에 할당함으로써 핸들링될 수 있다.

핀홀 카메라 모델로의 백 트레이싱을 위해, 모든 광선이 인터섹트하는 공통 포인트로서 작동하는 픽홀의 포지션을 로케이트하기 위해 카메라 캘리브레이션이 수행된다. 그 캘리브레이션은 또한, 프로젝션의 중심에 픽셀 평면의 거리 및 픽셀 사이즈들을 제공하여, 각각의 픽셀은 글로벌 좌표 시스템에서 핀홀을 통과하는 광선으로서 용이하게 컨버팅될 수 있고 그 방향은 픽셀로부터 핀홀로의 방향이다.

각각의 픽셀에서 통합되고 렌즈 출력동에 의해 서스텐딩된 각각의 광선 번들은, 단순한 핀홀 모델에 의해 예상되는 바와 같이, 렌즈로부터 픽셀로의 전파의 평균 빔 방향으로 감소될 수 있다. 픽셀들을 백 트레이싱하기 위해 카메라를 내인성으로 그리고 외인성으로 사용하는 방법의 일 예는 <http://www.ics.uci.edu/~majumder/vispercep/cameracalib.pdf> 에서 찾아질 수 있다.

픽셀 백 트레이싱 절차를 예시하기 위하여, 단순화를 위해, 카메라의 프로젝션의 중심이 (0,0,0) 에 있고 이미지 평면이 (0;0;f) 에 중심을 둔 것으로 가정된다. 카메라는 회전되지 않고, 그 주축은 Z 방향으로 포인팅하고 있다. 또한, 픽셀들이 정사각형이어서 m_u = m_v = m 픽셀.미터^-1 인 것으로 가정된다. 마지막으로, 이미지 평면은, 좌하측 픽셀이 (u = 0; v = 0) 에 있는 그러한 방식으로, (t_u,t_v) 에 의해 병진이동된다. 픽셀들은 그 행-열 인덱스 쌍 (i,j) 에 의해 어드레싱된다. I 가 픽셀들 (i,j,1) 에서의 이미지 포지션 벡터이면, 픽셀과 중앙 프로젝션을 통해 그 픽셀에 매핑하는 포인트 (P(X, Y, Z)) 사이의 관계는:

이다.

캘리브레이션 단계로부터 m, f t_u, t_v 를 알면, 픽셀을 백 트레이싱하는 것은:

로 유도한다.

P 는 픽셀 (i,j) 로부터의 광선이 통과할 3D 공간에서의 포인트이다. 하나의 포지션 (P) 으로 그리고 광선이 (0,0,0) 을 통과하기 때문에, 방향은 벡터 (P(X,Y,Z)) 에 의해 주어진다.

단계 S803 에 있어서, 파라미터화의 프로세스가 수행된다. 파라미터화는 태그들로 각각의 광선을 고유하게 식별하는 프로세스이다. 광선이 포지션을 통과하고 방향을 가짐에 따라, 가장 간단한 파라미터화는 공간 및 방향 좌표들을 혼합하는 6 개 실수들 (x, y, z, u, v, w) 의 세트일 것이다. 단순화를 위해, 이미 논의된 바와 같은 2 평면 파라미터화가 채택된다. 매우 빈번히 문의되는 질문은 취득 시스템에 관하여 이들 평면들을 어디에 배치하는지이다. 종종, 문헌에 있어서, 특히, 플렌옵틱 카메라들에 대해, 일부 계산 편의를 위해, 하나는 센서에 배치되고 다른 하나는 렌즈릿 어레이 또는 메인 렌즈 상에 배치된다. 마이크로 렌즈들이 두께를 갖기 때문에 그 포지션들은 회피되어야 하고, 따라서, 평면들 중 하나를 정확히 어디에 배치해야 할까? 메인 렌즈들은, 알려지지 않은 매우 복잡한 렌즈 규정을 갖는다. 따라서, 최상은 취득 시스템의 외부에 평면들을 배치하는 것이다. 제 1 장소는 z = z1 에 로케이트되고 제 2 장소는 z = z2 로 로케이트되며 z2 > z1 로 가정한다. 식 (F) 로부터, 픽셀 (I,j) 로부터 백 트레이싱되었던 광선에 대한 파라미터들은:

로서 찾아질 수 있다.

식의 첫번째 2 개의 라인들은 동질 좌표들에 대한 규칙에 따라 Z1 에 의해 나누어진다. 제 2 평면과의 인터섹션으로부터 기인하는 파라미터들의 제 2 세트는 또한 다음과 같이 기록될 수 있다:

커플 (z₁,z₂) 이 알려지기 때문에, 이전의 도출로부터, 광선이 4-업렛 (4-uplet) () 에 의해 고유하게 기술됨이 보여질 수 있다.

부가적으로, 광선은 RGB 값으로 할당된다. 따라서, 광선을 그러한 파라미터화에 의해 표현하기 위하여, 4 부동소수점 (floats) 및 3 바이트가 요구되어 총 19 바이트를 야기할 것이다 (하지만, 광선 공간은 아직 샘플링되지 않았음). 이미지 기반 포맷에 있어서, 기본 데이터는 오직 2 정수 및 3바이트에 의해 표현된다. 따라서, 이러한 파라미터화는 다수의 데이터를 콘텐츠에 부가하고 일반적으로 라이트 필드는 4차원 데이터 세트이며 그대로 관리가능하지 않는 저장량이 필요함이 보여질 수도 있다.

단계 S804 에 있어서, 샘플링 및 감소가 수행된다. 라이트 필드 데이터 포맷을 구축하기 위하여, 라이트 필드 데이터의 수치 표현이 요구된다. 지금까지 광선들이 실수들에 의해 기술되기 때문에, 광선 공간 좌표 시스템은 실수들보다는 정수 인덱스들의 고유한 4-업렛을 각각의 광선에 대해 할당하기 위하여 샘플링된다. 그 목적을 위해, 4D 광선 공간 (x₁,y₁,x₂,y₂) 이 스텝들로 샘플링된다. 결과적으로, 각각의 광선은 4 개의 인덱스들 () 에 의해 고유하게 정의되어, 이며, 여기서, 인덱스들은 실제 광선의 파라미터들을 가장 잘 근사화한다. 이는 실제적으로, 인덱스들이

이도록 함을 의미한다.

감소는, 라이트 필드 카메라에 의해 취득된 픽셀들로부터 백 트레이싱되었던 광선들에 의해 생성된 라이트 필드의 컴팩트한 서포트 공간을 정의하는 프로세스이다. 도 14 는, 라이트 필드의 서포트 셀들이 음영화되는 3D 공간으로 제한된 감소 프로세스를 개략적으로 도시한다. 이 도면은 샘플링된 공간에서의 서포트를 도시하지만, 서포트는 또한 분석 도출들에 의해 연속 도메인에서 알려질 수 있다. 이산 도메인에 있어서, 서포트는 4D 파라미터 공간에서의 라이트 필드의 이산 라돈 변환에 의해 찾아질 수 있다. 더 정확하게, 2 개의 직교 DRT들에 의해 찾아진다.

도 15 에 있어서, 파라미터 공간에서의 라이트 필드 도메인의 서포트가 음영 셀들에 의해 도시된다. 이는 연속 서포트이다. 서포트는 셀들을 구축하는 그리드 라인들에 의해 샘플링된다. [0, N - 1; 0, M - 1] 로부터 레인징하는 N x M 셀들이 존재한다. 디지털 라인은 열-행 인덱스 (i = 0; j = d) 에서 시작하고, (i = N - 1; j = s) 에서 종료한다.

다음의 예시적인 예는 2D 슬라이스로 제한된다. 이전의 섹션으로부터 알려진 바와 같이, 블록들의 라인의 분석 식은 알려진 좌표들 () 에 로케이트된 프로젝션의 중심을 갖는 시스템에 대해 찾아질 수 있다.

또한 알려지는 에 로케이트된 2 개의 파라미터화 라인들이 존재하면, 라이트 필드 광선들은 식:

의 아핀 라인 상에 로케이트될 것이며, 여기서,

은 모든 광선 파라미터들 (x₁,x₂) 을 바운딩하는 파라미터화 라인들 상의 한계들이다. 아핀 라인은 디지털 라인을 따라 음영 셀들을 통과한다. 셀 사이즈는:

이다.

이제 4D 공간은 일반화될 수도 있다. 취득된 라이트 필드의 하이퍼 평면 서포트는 다음과 같이 주어진다:

여기서, Z₁ 및 Z₂ 뿐 아니라 3 에 의해 인덱싱된 변수들도 알려진다. 메타데이터를 단순화하기 위하여, 식은 정규형으로 기록된다:

다음의 상한 및 하한이 주어진다:

그리고 다음의 셀 사이즈들이 주어진다:

4D 파라미터 공간 (또는 도 15 에 도시된 예에 있어서 2D 공간) 이 충진되기 때문에, 셀 인덱스들이 데이터를 스캐닝하기 위해 그리고 오직 RGB 값만을 포맷 (또는 패킹) 에 저장하기 위해 사용될 수도 있다. 파일 포맷의 메타데이터는 언패킹으로서 지칭되는 패킹의 액션을 반전시키는 광선에 대한 샘플링된 4-업렛 파라미터로의 파일 포맷으로 기록된 각각의 값을 다시 컨버팅하기 위한 모든 필요한 값들을 포함할 것이고, 그 프로세스는 라이트 필드를 슬라이싱하고 이를 2D 공간으로 감소시킴으로써 작은 시각적 예로 도시될 수도 있으며, 이전의 서브-섹션으로부터의 수학적 표기법이 뒤따른다면, 제 1 컬럼 인덱스는 i = 0 이다. 셀 j = 2 에서의 이 열에 존재하는 데이터가 있다. 디지털 라인의 픽셀들의 인덱스들을 찾기 위하여, 다음의 데이터가 요구된다:

여기서, E 는 임의의 실수를 더 작은 자연수 (정수) 로 라운드-다운하는 정수 함수를 나타낸다. 따라서, 데이터를 스캐닝하는 것은 i 를 0 으로부터 N - 1 로 증분하는 단순한 문제이다. 각각의 i 에 대해, 데이터는 셀 (i, j) 에 있으며, j 는 이전의 식들의 세트에 의해 계산된다. 각각의 i 에 대해, 광선에 의해 반송된 RGB 값이 저장되고, 이 RGB 값은 그 셀 (i,j) 에서 찾아진다. 나중에 데이터를 포맷으로부터 언패킹하기 위하여, 포맷의 각각의 셀은 랭크 i 에 의해 인덱싱되고, 광선 파라미터들 (i,j) 을 재생하기 위해 x_1m, x_2m, x_1M, x_2M, N, M, a, b, z₁, z₂ 의 값들이 파일 포맷에 메타데이터로서 저장됨이 알려진다. 도 16 은 메타데이터 뿐 아니라 저장된 것이 필요한 파일 포맷 구조 및 스캔'n'팩의 프로세스를 도시한다. 2 개의 양태들이 첫째, 데이터 부분은 RGB 광선 데이터가 순서화되는 N개 셀들을 포함하고, 둘째, 광선 파라미터들 (x₁, x₂) 이 저장되지 않음이 노트될 수도 있다. 광선들을 파라미터화하기 위해 사용된 라인들의 포지션 (z₁ 및 z₂) 이 주어지고, 프로젝션의 중심의 포지션과 관련된 다른 데이터 (x₃ 및 z₃) 가 a 및 b 를 식 (H) 로부터의 그 식으로 식별하는 것 및 그 후 미지수들에 대해 푸는 것에 의해 도출될 수 있다.

카메라가 핀홀로서 모델링될 수 없는 경우, 포맷은, 상기 서브-섹션들에서 제시된 것의 일반화로서 고려될 수 있는 약간 상이한 어레인지먼트에 적응된다.

실제로, 광선들은 고유한 하나가 아닌 디지털 라인들의 빔을 따라 매핑할 것임이 이미 나타내어졌다. 도 17 에 도시된 바와 같이, 메타데이터는 스캐닝되어야 하는 디지털 라인들의 수인 하나의 보충 값 (n) 을 포함할 것이고, 포맷의 데이터 섹션은 부가적인 라인들에 대한 RGB 데이터의 부가적인 벡터들을 패킹한다.

다시, 이전에 수행된 바와 같이, 2D 예가 프로세스를 예시하기 위해 사용되었기 때문에, 실제 공간, 즉, 4D 파라미터 공간으로 일반화될 수도 있다. 4D 광선 공간에 있어서, 광선의 파라미터들은 4 개의 자연수들 ((i, j, k, l) ∈ R⁴) 에 의해 인덱싱된 4D 셀로 매핑할 것이다. 이들 인덱스들은 [0, N - 1; 0, M - 1; 0, K - 1; 0, L - 1] 로 레인징할 것이다. 데이터를 포함하는 셀들을 스캐닝하기 위하여, 하이퍼 평면의 파라미터 식의 디지털 등가물은 다음이 사용될 수도 있다:

그리고 그 후:

이다.

이로부터, 마지막 미싱 인덱스 (I) 가 추론될 수도 있는데, 왜냐하면:

이기 때문이다.

4D 에서의 스캔 및 팩 알고리즘이, 예를 들어:

에 의해 주어질 수도 있음을 나타낸다.

표 2 는 메타데이터 포맷에서 사용된 파라미터들의 타입을 요약하며, 데이터 섹션은 RGB 데이터의 2 개의 벡터들을 여기에 포함한다. RGB 데이터의 2개의 벡터들은 더 일반적인 경우를 예시하기 위해 사용되며, 여기서, 라이트 필드로부터의 광선들은, 디지털 하이퍼 평면들의 쌍이 그 포맷으로 저장됨을 나타내는 일 예로서 n = 2 를 가정함으로써 1 초과의 하이퍼 평면으로 매핑한다.

그 포맷은 광선들을 생성하기 위해 사용된다. 첫째, 2D 경우가 예시적 목적으로 사용된다. 먼저, 메타데이터가 판독된다. 그 후, 데이터 섹션이 다른 RGB 셀 이후 하나의 RGB 셀로 스캐닝된다.

독출이 셀 번호 i 에서 있다고 가정하면, 그 곳에 저장된 그 RGB 값들을 갖는 광선의 파라미터들인 (x_1i,x_2j) 를 생성하기 위하여, 3 개의 식들 (F) 이 적용된다. 헤더로부터 추가적인 데이터를 판독하면, 그 포맷의 데이터 섹션에서의 포지션 i 에 저장된 광선은 그 파라미터들 (x_1i,z₁,x_2j,z₂) 을 가짐이 포함될 수도 있으며, 그 파라미터들 (x_1i,z₁,x_2j,z₂) 은 파일로부터 모두 계산되고 그 광선을 고유하게 정의한다.

도 12c 는 전술된 바와 같은 본 발명의 임의의 실시형태의 방법에 따라 획득된 데이터를 프로세싱하기 위한 프로세서 (811); 및 프로세싱된 데이터에 따라 이미지를 렌더링하기 위한 디스플레이 (812) 를 포함하는, 라이트 필드 데이터로부터 적어도 하나의 이미지를 렌더링하기 위한 디바이스를 도시한다.

도 18a 는 본 발명의 하나 이상의 실시형태들에 따른 라이트 필드를 나타내는 데이터를 생성하기 위한 방법의 단계들을 도시한 플로우 차트이다. 도 18b 는 본 발명의 하나 이상의 실시형태들에 따른 라이트 필드를 나타내는 데이터를 생성하기 위한 시스템의 메인 모듈들을 개략적으로 도시한 블록도이다.

방법의 예비 단계 S701 에 있어서, 원시 라이트 필드 데이터가 라이트 필드 카메라에 의해 취득된다 (701). 원시 라이트 필드 데이터는, 예를 들어, 도 3 을 참조하여 설명된 바와 같은 마이크로 이미지들의 형태일 수도 있다. 라이트 필드 카메라는, 예컨대, 도 1a 또는 도 1b 및 도 2a 및 도 2b 에 도시된 라이트 필드 카메라 디바이스일 수도 있다.

단계 S702 에 있어서, 취득된 라이트 필드 데이터는, 개별의 깊이들 (z₁,z₂) 에서의 파라미터화 (P₁,P₂) 를 위해 기준 평면들의 쌍과의 캡처된 라이트 필드 광선들의 인터섹션을 정의하는 인터섹션 데이터 (x₁,y₁,x₂,y₂) 를 제공하기 위한 광선 파라미터 모듈 (702) 에 의해 프로세싱된다.

이 단계로부터, 기준 평면들 (P₁,P₂) 과의 라이트 필드 광선들의 인터섹션을 기하학적으로 정의하는 인터섹션 데이터 (x₁,y₁,x₂,y₂) 가 획득된다.

단계 S703 에 있어서, 인터섹션 데이터 (x₁,y₁,x₂,y₂) 를 그래픽적으로 표현한 2D 광선 다이어그램이 광선 다이어그램 생성기 모듈 (703) 에 의해 획득된다.

2D 경우에 대해 제안되었던 것과 유사한 4D 경우에 대한 포맷을 획득하는 것이 흥미로울 것이다. 그렇게 수행하기 위하여, Π(x₁,x₂) 평면 상에서 찾아진 2D 라인들을 Π(y₁,y₂) 장소 상에서 찾아진 라인들, 즉, Π(x₁,x₂) 및 Π(y₁,y₂) 의 2 개의 직교 슬라이스들과의 대응하는 하이퍼 평면의 인터섹션의 결과들인 라인들과 연관시키는 것이 흥미로울 것이다. 식 (D) 및 식 (E) 로부터, 대응하는 라인들이 동일한 기울기 (m) 을 갖는 것이 알려진다. 이는, 특정 깊이에서의 카메라에 대하여, Π(x₁,x₂) 에서의 각각의 라인을 Π(y₁,y₂) 에서의 라인에 연관시키는 제 1 파라미터이다. 동일한 깊이에서의 다수의 카메라들이 존재하면, m 의 동일한 추정 기울기에 대해 Π(x₁,x₂) 에서 3 개의 라인들이 존재하고 Π(y₁,y₂) 에서 3 개의 라인들이 존재한다. 그 후, 이들 2 개의 평면들에서의 라인들 간의 라인 오프셋들에서의 대응들이 결정된다. 이를 수행하기 위하여, 식 (D) 및 식 (E) 에서의 라인들의 공식이 활용된다. 특히,

를 표기하면, 오프셋들은 다음과 같다:

및

식들의 세트들이 k, x₃ 및 y₃ 에 대해 풀려질 수도 있다. (x₃,y₃,z₃) 은 카메라의 좌표들 또는 즉, 라이트의 대응하는 번들이 반경 (A) 의 원으로 포커싱되는 복셀에 대응함을 유의한다. z₃ 에서 포지셔닝된 평면 상의 애퍼처가 원형이고, 따라서, 이고, 이전 식들의 세트를 풂으로써,

임을 가정하였다.

디지털 라인들은 브레젠험 디지털 라인들을 사용하여 Π(x₁,x₂) 상에서 이전과 같이 스캐닝될 수도 있으며; 각 개개의 (x₁,x₂) 값에 대해, 라이트 필드에서 캡처된 대응하는 (y₁,y₂) 값들이 저장된다. 그러한 값들을 찾기 위하여, 식 (C) 가 활용된다. 다음의 모든 것은 식 (F) 및 식 (G) 로부터 알려지거나 추정된다 (x₃; y₃; z₃; z₁; z₂).

Π(x₁,x₂) 에서의 각각의 라인 상으로 이동하면, 각각의 (x₁ ^q, x₂ ^q) 에 대해, (y₁, y₂) 에서 다음의 관계가 획득된다:

또는,

Π(x₁,x₂) 에서의 각각의 포인트에 대해, Π(y₁,y₂) 에서의 라인들의 컬렉션이 저장된다. d_off 는 (x₁ ^q, x₂ ^q) 에 대해 스캐닝되고 저장된 라인들의 오프셋에 대응한다. 다음을 유의한다.

도 11 을 참조하면, 각각의 정사각형은 (x₁ ^q, x₂ ^q) 포인트이고, 이들 포인트들 중 각각의 포인트에 대해, 도시된 데이터 라인들에 수직이지만 4D 공간에 있는, 다음 식:

에 의해 정의된 디지털 번들을 따라 도면의 평면으로부터 나오는 브레젠험 디지털 라인들의 세트가 존재한다. 여기서, y₃ ^* 는 y₃ - A 내지 y₃ + A 사이에서 변한다.

카메라 당 데이터 라인들의 번들에 대한 예시적인 데이터 포맷이 표 2 에 도시된다.

먼저, 4 개의 축들 (x₁,x₂,y₁,y₂) 의 경계들 및 그 대응하는 샘플링을 포함하여 4D 공간의 일반적인 메타데이터가 제공된다. 카메라들 (번들들) 의 수가 또한 제공된다. 각각의 카메라 (j) 에 대해, 다음의 파라미터들이 저장된다:

애퍼처의 사이즈: A_j;

카메라의 포커스 포인트: cam_j; focusPoint =(x₃,y₃,z₃)

(x1_x,2) 에서의 최저의 d 인터셉트 = d_j

경사도 = m_j

(x₁,x₂) 에서의 디지털 라인들의 수 = l_j ^x

(y₁,y₂) 에서의 디지털 라인들의 수 = l_j ^y

각각의 카메라 상에서, 각각의 (x^q ₁; x^q ₂) 에 대해, 스캐닝은 브레젠험 디지털 라인들을 사용하여 식 (K) 에 관하여 (y₁,y₂) 상에서 시작되고, RGB 값들이 저장된다. y₃ ^* 는 y₃ - A 내지 y₃ + A 사이에서 변하고, 대응하는 d_off 는 식 (K) 에 따라 계산된다.

동일한 계산들이 저장된 메타데이터를 사용하여 디코딩 단계에서 수행된다. 특히, k 는 식 (H) 를 사용하여 찾아진다. 따라서, 포맷은 컴팩트하게 남겨진다. 시스템에서의 각각의 광선에 대해 4 개의 인덱스들을 저장하는 것이 필요하지 않다. 상기 하이퍼 평면의 샘플링은 4D 광선 공간의 샘플링이고 따라서 단일의 x₁; y₁; x₂; y₂ 로케이션이 미싱되지 않음을 유의한다. 이는, 모든 데이터를 매우 컴팩트한 형태로 저장하기 위한 4D 광선 공간의 시스템 스캐닝의 오직 하나의 예이다. 다른 프로세스들이 물론 적용될 수도 있다. 파라미터 형태는, 인터리빙된 공간 탐구를 허용하기 때문에, 하이퍼 평면을 탐구하는데 적응되도록 보인다.

다수의 카메라들이 하이퍼 평면들의 수개의 번들들을 포함하는 데이터 (다수의 카메라들로 인한 라돈 변환에서의 수개의 극대치들) 상에서 작동하는 경우, 더 복잡한 알고리즘이 사용될 수도 있다. 프리-프로세싱 단계로서, 파라미터들 (m,k) 은 Π(x₁,x₂) 의 라돈 변환에서의 모든 피크들에 대해 찾아지고, 하나의 세트에 대입된다. 동일한 것이 (y₁,y₂) 에서의 피크들에 대해 수행되고, 파라미터들은 다른 세트에 대입된다. 이제, 그리디 알고리즘의 각각의 반복에 있어서, 최대 피크 강도가 (x₁, x₂) 의 2D 라돈 변환에서 찾아지고, (y₁,y₂) 에서의 대응하는 피크는 이전에 찾아진 파라미터들 (m,k) 에 매칭시킴으로써 찾아진다. 마지막 섹션에서 언급된 바와 같이 데이터를 저장한 이후, 이들 피크들은 라돈 변환들로부터 제거되고, 라이트 필드에서 의미있는 어떤 것도 남아있지 않을 때까지, 다음 반복이 시작된다.

도 13c 는 전술된 바와 같은 본 발명의 임의의 실시형태의 방법에 따라 획득된 데이터를 프로세싱하기 위한 프로세서 (711); 및 프로세싱된 데이터에 따라 이미지를 렌더링하기 위한 디스플레이를 포함하는, 라이트 필드 데이터로부터 적어도 하나의 이미지를 렌더링하기 위한 디바이스를 도시한다.

오로지 첨부된 청구항들에 의해서만 결정되는 본 발명의 범위를 한정하도록 의도되지 않고 오직 예로서 주어질 뿐인 전술한 예시적인 실시형태들을 참조하여 실시할 시에, 다수의 추가의 수정들 및 변동들이 당업자들에게 제안될 것이다. 특히, 상이한 실시형태들로부터의 상이한 특징들은, 적절할 경우, 대체될 수도 있다.

Claims (32)

1. 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법으로서,
   복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 획득하는 단계로서, 상기 기준 평면들은 상기 장면에서 상이한 깊이들에 대응하고, 인터섹션 데이터의 각각의 세트는 컬러 값을 갖는 라이트 필드 광선에 대응하는, 상기 인터섹션 데이터를 획득하는 단계;
   샘플링 셀들의 파라미터 공간에서 상기 인터섹션 데이터를 표현하는 하나 이상의 데이터 하이퍼 평면들을 결정하는 단계;
   상기 라이트 필드 광선을 나타내는 데이터를 샘플링하기 위해 매개변수 방정식들에 의하여 상기 데이터 하이퍼 평면들 상의 또는 주위의 데이터를 스캐닝하는 단계; 및
   상기 파라미터 공간에서의 적어도 하나의 데이터 하이퍼 평면을 정의하는 적어도 하나의 데이터 파라미터 및 각각의 라이트 필드 광선과 연관된 상기 컬러 값을 포함하는 상기 라이트 필드를 나타내는 데이터 포맷을 제공하는 단계
   를 포함하는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
2. 제 1 항에 있어서,
   상기 하나 이상의 데이터 하이퍼 평면들은 이산 라돈 변환에 의해 결정되는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
3. 제 2 항에 있어서,
   2 개의 직교 이산 라돈 변환들이 하나 이상의 데이터 하이퍼 평면들을 획득하기 위해 상기 파라미터 공간에서 적용되는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
4. 제 1 항에 있어서,
   상기 하나 이상의 데이터 하이퍼 평면들은 카메라 취득 파라미터들을 정의하는 데이터로부터 결정되는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
5. 제 1 항에 있어서,
   상기 데이터를 스캐닝하는 단계는 다음의 알고리즘,
   
   을 적용하는 단계를 포함하는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
6. 제 1 항에 있어서,
   상기 적어도 하나의 데이터 하이퍼 평면을 정의하는 상기 데이터 파라미터들은,
   제 1 기준 평면의 인터섹션 데이터의 최소 값;
   상기 제 1 기준 평면의 인터섹션 데이터의 최대 값;
   제 2 기준 평면의 인터섹션 데이터의 최소 값;
   상기 제 2 기준 평면의 인터섹션 데이터의 최대 값;
   상기 파라미터 공간을 정의하는 샘플링 셀들의 수;
   상기 제 1 기준 평면의 포지션; 또는
   상기 제 2 기준 평면의 포지션
   중 적어도 하나를 나타내는 데이터를 포함하는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
7. 제 1 항에 있어서,
   각각의 데이터 하이퍼 평면은 상기 파라미터 공간의 복수의 셀들, 즉 축과의 라인의 인터셉션을 나타내는 적어도 하나의 제 1 셀 및 상기 라인의 기울기가 결정될 수 있는 적어도 하나의 제 2 셀에 의해 정의되는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
8. 제 1 항에 있어서,
   각각의 데이터 디지털 하이퍼 평면은 브레젠험의 알고리즘의 적용에 의해 생성되는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
9. 제 1 항에 있어서,
   광선들의 빔은 동일한 기울기 및 상이한 축 인터셉션 포인트들을 갖는 복수의 하이퍼 평면들로서 표현되는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
10. 제 9 항에 있어서,
    취득된 라이트 필드 데이터를 나타내는 데이터는 상기 빔의 라인들의 축 인터셉션 데이터의 상부 경계 및 하부 경계에 기초한 상기 빔의 두께를 나타내는 데이터를 포함하는, 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법.
11. 제 1 항 내지 제 10 항 중 어느 한 항에 기재된 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법에 따라 제공된 라이트 필드 데이터로부터 라이트 필드 광선들을 생성하기 위한 방법으로서,
    상기 적어도 하나의 데이터 하이퍼 평면을 정의하는 적어도 하나의 데이터 파라미터를 정의하는 메타 데이터를 판독하는 단계 및 셀 단위로 컬러 데이터를 판독하는 단계를 포함하는, 라이트 필드 데이터로부터 라이트 필드 광선들을 생성하기 위한 방법.
12. 캡처된 라이트 필드 데이터에 대한 메타데이터를 제공하기 위한 디바이스로서,
    라이트 필드 카메라에 의해 캡처된 라이트 필드 데이터를 취득하기 위한 라이트 필드 데이터 취득 모듈 및
    라이트 필드 데이터 생성 모듈
    을 포함하고,
    상기 라이트 필드 데이터 생성 모듈은,
    복수의 주어진 기준 평면들과의 장면으로부터의 라이트 필드 광선들의 인터섹션들을 정의하는 인터섹션 데이터를 획득하는 것으로서, 상기 기준 평면들은 상기 장면에서 상이한 깊이들에 대응하고, 인터섹션 데이터의 각각의 세트는 컬러 값을 갖는 라이트 필드 광선에 대응하는, 상기 인터섹션 데이터를 획득하고;
    샘플링 셀들의 파라미터 공간에서 상기 인터섹션 데이터를 표현하는 하나 이상의 데이터 하이퍼 평면들을 결정하고;
    상기 라이트 필드 광선을 나타내는 데이터를 샘플링하기 위해 매개변수 방정식들에 의하여 상기 데이터 하이퍼 평면들 상의 또는 주위의 데이터를 스캐닝하고; 그리고
    상기 파라미터 공간에서의 하이퍼 평면을 정의하는 적어도 하나의 데이터 파라미터 및 각각의 생성된 라이트 필드 광선과 연관된 상기 컬러 값을 포함하는 라이트 필드를 나타내는 데이터 포맷을 제공하도록
    구성된, 메타데이터를 제공하기 위한 디바이스.
13. 라이트 필드 이미징 디바이스로서,
    규칙적인 격자 구조로 배열된 마이크로 렌즈들의 어레이;
    상기 마이크로 렌즈들의 어레이로부터 포토센서 상에 프로젝팅된 광을 캡처하도록 구성된 상기 포토센서로서, 상기 포토센서는 픽셀들의 세트들을 포함하고, 픽셀들의 각각의 세트는 상기 마이크로 렌즈들의 어레이의 개별의 마이크로 렌즈와 광학적으로 연관되는, 상기 포토센서; 및
    제 12 항에 기재된 메타데이터를 제공하기 위한 디바이스
    를 포함하는, 라이트 필드 이미징 디바이스.
14. 삭제
15. 프로그래밍가능 장치에 대한, 기록 매체에 저장된 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램은 상기 프로그래밍가능 장치로 로드되고 상기 프로그래밍가능 장치에 의해 실행될 때 제 1 항 내지 제 10 항 중 어느 한 항에 기재된 라이트 필드를 나타내는 데이터를 생성하기 위한 컴퓨터 구현 방법을 구현하기 위한 명령들의 시퀀스를 포함하는, 기록 매체에 저장된 컴퓨터 프로그램.
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제