KR20190026014A - 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법 - Google Patents

Abstract

자신의 독점 파일 포맷을 가지는 몇몇 타입들의 플렌옵틱 디바이스들이 존재한다. 현재는, 광-필드가 의존하는 상이한 파라미터들의 완전한 개요에 대한 다차원 정보의 취득 및 전송을 지원하는 표준이 존재하지 않는다. 따라서, 상이한 카메라들에 대한 취득되는 광-필드 데이터는 다양한 포맷들을 가진다. 따라서, 카메라의 광학 시스템의 오브젝트 공간 내의 광선들의 세트에 의해 점유되는 볼륨을 나타내는 픽셀 빔의 개념이 도입된다. 본 발명에 따른 방법은 불가지론적인 제1 광학 시스템을 기술하는 픽셀 빔들의 컬렉션을 나타내는 데이터를 제공하는 것을 가능하게 하는데, 왜냐하면 이들 데이터가 제2 광학 시스템을 통해 픽셀 빔들의 컬렉션을 이미지화함으로써 획득되기 때문이다. 픽셀 빔들의 컬렉션을 나타내는 이러한 데이터는 그것의 사후-처리로부터 파라미터화된 출력 이미지들의 생성을 가능하게 한다.

Description

픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법

본 발명은 광 필드를 나타내는 데이터의 생성 및 렌더링된 데이터 내에 사실성을 제공하는 것에 관한 것이다.

4D 광 필드의 샘플링으로서 보여질 수 있는, 4-차원 또는 4D 광-필드 데이터의 취득, 즉, 광선들의 레코딩은, ECCV 2008의 컨퍼런스 회의록에 발행된, Anat Levin 등 공저, 논문 " Understanding camera trade-offs through a Bayesian analysis of light field projections "에 설명되며, 바쁜(hectic) 연구 대상이다.

카메라로부터 획득되는 전형적인 2-차원 또는 2D 이미지들에 비해, 4D 광-필드 데이터는 사용자가 이미지들의 렌더링 및 사용자와의 상호작용성을 향상시키는 더 많은 사후-처리 특징들에 대한 액세스를 가질 수 있도록 한다. 예를 들어, 4D 광-필드 데이터를 이용하면, 초점면의 위치가 귀납적으로 특정/선택될 수 있음을 의미하는 초점화의 자유롭게 선택된 거리들을 이용한 이미지들의 리포커싱, 뿐만 아니라 이미지의 장면 내의 시점을 약간 변경하는 것을 수행하는 것이 가능하다. 4D 광-필드 데이터를 취득하기 위해, 몇몇 기법들이 사용될 수 있다. 예를 들어, 플렌옵틱 카메라는 4D 광-필드 데이터를 취득할 수 있다. 플렌옵틱 카메라는 메인 렌즈, 2-차원 어레이로 배열된 복수의 마이크로-렌즈들을 포함하는 마이크로렌즈 어레이, 및 이미지 센서를 포함한다. 4D 광-필드 데이터를 취득하기 위한 또 다른 방법은 렌즈 어레이 및 이미지 센서를 포함하는 카메라 어레이를 사용하는 것이다.

플렌옵틱 카메라의 예에서, 메인 렌즈는 메인 렌즈의 오브젝트 필드 내의 오브젝트로부터 광을 수신하고 광을 메인 렌즈의 이미지 필드를 통해 통과시킨다.

마지막으로, 4D 광 필드를 취득하는 또 다른 방식은 상이한 초점면들에서 동일한 장면의 2D 이미지들의 시퀀스를 캡처하도록 구성되는 종래의 카메라를 사용하는 것이다. 예를 들어, 2014년 10월, OPTICS EXPRESS, Vol.22, No.21에 발행된 J.-H. Park 등 공저, 문헌 " Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays "에 기술된 기법은 종래의 카메라에 의한 4D 광 필드 데이터의 취득을 달성하기 위해 사용될 수 있다.

4D 광-필드 데이터를 표현하기 위한 몇몇 방식들이 존재한다. 실제로, 2006년 7월에 발행된, Ren Ng에 의한 " Digital Light Field Photography "라는 명칭의 박사 학위 논문의 챕터 3.3에서, 4D 광-필드 데이터를 표현하기 위한 3가지 상이한 방식들이 기술된다. 첫째, 4D 광-필드 데이터는, 마이크로-렌즈 이미지들의 컬렉션에 의해 플렌옵틱 카메라에 의해 기록될 때, 표현될 수 있다. 이 표현에서 4D 광-필드 데이터는 미가공 이미지들 또는 미가공 4D 광-필드 데이터라 명명된다. 둘째, 4D 광-필드 데이터는, 플렌옵틱 카메라에 의해 또는 카메라 어레이에 의해, 서브-조리개 이미지들의 세트에 의해 레코딩될 때, 표현될 수 있다. 서브-조리개 이미지는 시점으로부터의 장면의 캡처된 이미지에 대응하고, 시점은 2개의 서브-조리개 이미지들 사이에 약간 상이하다. 이들 서브-어퍼처 이미지들은 이미지화된 이미지의 시차와 깊이에 관한 정보를 제공한다. 셋째, 4D 광-필드 데이터는 등극선 기하 이미지들의 세트에 의해 표현될 수 있는데, 예를 들어, ISVC 2011의 컨퍼런스 회의록에 발행된, S.Wanner등 공저, " Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera "라는 명칭의 논문을 살펴보라.

광-필드 취득 디바이스들은 극도로 이종적(heterogeneous)이다. 광-필드 카메라들은 상이한 타입들, 예를 들어, 플렌옵틱 또는 카메라 어레이들이다. 각각의 타입 내에는, 상이한 광학 배열들, 또는 상이한 초점 거리들의 마이크로-렌즈들과 같은, 많은 차이점이 존재한다. 각각의 카메라는 그 자신의 독점 파일 포맷을 가진다. 따라서 상이한 카메라들에 대해 취득된 광-필드 데이터는 다양한 포맷들을 가진다.

2005년, ACM Transactions on Graphics (ToG), vol.24, n°3, pp.735-744.에서, Ren Ng에 의한 "Fourier Slice Photography"에서, 저자는, 푸리에 도메인에서, 전체 조리개에 의해 형성되는 사진이 4D 광-필드에서 2D 슬라이스라는 정리를 기술한다. 이 정리는 단일 광 필드로부터 상이한 깊이에 포커싱된 사진들을 계산하는 디지털 리포커싱의 성능을 분석하기 위해 사용된다. 또한, 이 정리는 디지털 리포커싱을 위한 푸리에-도메인 알고리즘을 산출하며, 여기서 광필드의 적절한 2D 슬라이스는 푸리에 변환하고, 푸리에 역변환을 수행한다. 그러나 이러한 해법은 푸리에 도메인에서 작용하는 것을 수반하기 때문에 높은 계산상의 부하를 요구한다.

본 발명은 이전 내용을 염두에 두고 고안되었다.

본 발명의 제1 양태에 따르면, 제1 광학 시스템의 동공(pupil)을 통과하는 광선들의 세트에 의해 점유되는 제1 광학 시스템의 오브젝트 공간 내의 적어도 하나의 볼륨을 나타내는 데이터, 및 상기 제1 광학 시스템의 오브젝트 공간 내에 상기 제1 광학 시스템에 연관된 센서의 적어도 하나의 픽셀의 공액(conjugate)을 생성하기 위한 컴퓨터에 의해 구현되는 방법이 제공되고, 상기 볼륨은 픽셀 빔이라 명명되는 상기 광선들의 세트에 의해 점유되고, 상기 방법은:

- 이미지화된 픽셀 빔이라 명명되는, 제2 광학 시스템을 통한 상기 적어도 하나의 픽셀 빔의 공액을 계산하는 단계,

- 제2 광학 시스템으로부터 거리(D)에 위치되는 투사면 상에 정의되는 적어도 하나의 그리드의 적어도 하나의 엘리먼트에 연관되는 이미지화된 픽셀 빔을 통해 전송되는 방사 휘도(radiance)를 나타내며 상기 적어도 하나의 이미지화된 픽셀 빔과 투사면 사이의 교차점에 속하는 파라미터의 값을 계산하는 단계

를 포함한다.

이러한 방법은 광학 시스템의 초점 볼륨 내에 이미지화된 픽셀 빔들의 컬렉션으로부터, 이미지의 공통 정의 내에, 즉 규칙적 그리드 상에서 샘플링되는 픽처 엘리먼트들의 그룹 내에, 이미지의 생성을 가능하게 한다.

실제로, 제2 광학 시스템의 초점 볼륨 내에 이미지화된 픽셀 빔들의 컬렉션은 불가지론적인, 즉 광학 시스템을 내장한 카메라와는 독립적인, 제1 광학 시스템을 기술하는 상기 픽셀 빔들의 컬렉션을 나타내는 데이터를 제공하는데, 왜냐하면 이들 데이터가 제2 광학 시스템을 통해 픽셀 빔들의 컬렉션을 이미지화함으로써 획득되기 때문이다.

그러나, 이러한 이미지화된 픽셀 빔들의 컬렉션은 제2 광학 시스템의 구조 및 파라미터들에 따른 초점 볼륨의 오버랩들, 예를 들어 그것의 배향, 위치 및 초점 거리로 체워진다(pave).

투사면 상의 그리드의 엘리먼트에 연관되는 이미지화된 픽셀 빔의 방사 휘도의 값 및 광학 시스템의 초점 볼륨에 대응하는 듀얼 및 컴팩트 공간에서 다양한 카메라들에 내장되는 몇몇 광학 시스템들의 오브젝트 공간의 표현을 제공하는 제2 광학 시스템을 통해 제1 광학 시스템을 기술하는 픽셀 빔들의 컬렉션의 이미지를 계산함으로써, 사후 처리 동작들에서 사용될 수 있는 픽처를 획득하기 위해 이미지화된 픽셀 빔들의 컬렉션을 분류하는 것이 가능하다.

본 발명에 따른 방법의 실시예에서, 투사면 상의 그리드는 픽셀 그리드이다.

그리드가 픽셀 그리드일 때, 픽셀 빔 컬렉션은 픽셀 그리드와 결국은 이미지에 기초하여 직접 분류된다.

본 발명에 따른 방법의 실시예에서, 과-샘플링된 그리드는 투사면 상에 정의되고, 상기 과-샘플링된 그리드의 엘리먼트들은 픽셀 그리드의 픽셀보다 더 작다.

이것은 과-샘플링된 그리드의 엘리먼트에 연관된 방사 휘도 픽셀 빔의 값을 누산하는 것을 가능하게 한다. 따라서, 방사 휘도의 값은 더 큰 정확성을 가지고 계산한다.

본 발명에 따른 방법의 실시예에서, 이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내는 파라미터의 값은 투사면을 교차하는 픽셀 빔들에 대해 계산된다.

이는 방법이 본 발명에 따른 방법의 이 실시예에 따를 때 계산상의 부하를 감소시킨다.

본 발명에 따른 방법의 실시예에서, 공액이 계산되도록 의도되는 픽셀 빔들의 선택은 어느 섹션이 복원 동공 내에 포함되는지가 제2 광학 시스템 내에서 정의되는 픽셀 빔들을 선택함으로써 이루어진다.

이러한 동공은 그것의 형상, 예를 들어, 그것의 반경에 의해 정의되는 원형 형상, 및 제2 광학 시스템의 광학 중심에 대한 그것의 위치에 의해 정의된다. 이 동공은 전체 섹션이 복원 동공 내에 있는 픽셀 빔들의 프로세싱을 허용함으로써 프로세싱될 픽셀 빔들의 수를 감소시킨다.

본 발명에 따른 방법의 실시예에서, 이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내는 파라미터의 값은 투사면을 교차하는 픽셀 빔들에 의해 계산되고, 어느 섹션이 복원 동공 내에 포함되는지는 제2 광학 시스템 내에서 정의된다.

이는 방법이 본 발명에 따른 방법의 이 실시예에 따를 때 계산상의 부하를 감소시킨다.

본 발명의 또 다른 양태는 제1 광학 시스템의 동공을 통과하는 광선들의 세트에 의해 점유되는 상기 제1 광학 시스템의 오브젝트 공간 내의 적어도 하나의 볼륨을 나타내는 데이터, 및 상기 제1 광학 시스템의 오브젝트 공간 내에 상기 제1 광학 시스템에 연관된 센서의 적어도 하나의 픽셀의 공액을 생성하기 위한 장치이고, 상기 광선들의 세트에 의해 점유되는 상기 볼륨은 픽셀 빔이라 명명되고, 상기 장치는:

- 이미지화된 픽셀 빔이라 명명되는, 제2 광학 시스템을 통한 상기 적어도 하나의 픽셀 빔의 공액을 계산하고,

- 제2 광학 시스템으로부터 거리(D)에 위치되는 투사면 상에 정의되는 적어도 하나의 그리드의 적어도 하나의 엘리먼트에 연관되는 이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내며 상기 적어도 하나의 이미지화된 픽셀 빔과 상기 투사면 사이의 교차점에 속하는 파라미터의 값을 계산하도록

구성되는 프로세서를 포함한다.

본 발명에 따른 장치의 실시예에서, 투사면 상의 그리드는 픽셀 그리드이다.

본 발명에 따른 장치의 실시예에서, 과-샘플링된 그리드는 투사면 상에 정의되고, 상기 과-샘플링된 그리드의 엘리먼트들은 픽셀 그리드의 픽셀보다 더 작다.

본 발명에 따른 장치의 실시예에서, 이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내는 파라미터의 값은 투사면을 교차하는 픽셀 빔들에 대해 계산된다.

본 발명에 따른 장치의 실시예에서, 공액이 계산되도록 의도되는 픽셀 빔들을 선택하는 것은, 어느 섹션이 복원 동공 내에 포함되는지가 제2 광학 시스템 내에서 정의되는 픽셀 빔들을 선택함으로써 이루어진다.

본 발명에 따른 장치의 실시예에서, 이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내는 파라미터의 값은 투사면을 교차하는 픽셀 빔들에 대해 계산되고, 어느 섹션이 복원 동공 내에 포함되는지는 제2 광학 시스템 내에서 정의된다.

본 발명의 엘리먼트들에 의해 구현되는 일부 프로세스들은 컴퓨터에 의해 구현될 수 있다. 따라서, 이러한 엘리먼트들은, 모두가 일반적으로 본원에서 "회로", "모듈" 또는 "시스템"이라 지칭될 수 있는, 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함), 또는 소프트웨어 및 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있다. 또한, 이러한 엘리먼트들은 매체 내에 포함되는 컴퓨터 사용가능한 프로그램 코드를 가지는 임의의 유형적 표현 매체 내에 내장되는 컴퓨터 프로그램 제품의 형태를 취할 수 있다.

본 발명의 이러한 엘리먼트들이 소프트웨어로 구현될 수 있기 때문에, 본 발명은 임의의 적절한 캐리어 매체를 통한 프로그래밍가능한 장치로의 제공을 위해 컴퓨터 판독가능한 코드로서 구현될 수 있다. 유형적 캐리어 매체는 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수 있다. 과도 캐리어 매체는 전기 신호, 전자 신호, 광학 신호, 음향 신호, 자기 신호 또는 전자기 신호, 예를 들어, 마이크로파 또는 RF 신호와 같은 신호를 포함할 수 있다.

본 발명의 실시예들은 오직 예로써, 그리고 후속하는 도면들을 참조하여 이하 기술될 것이다.
도 1은 카메라의 광학 시스템의 동공을 통과하는 광선들의 세트에 의해 점유되는 볼륨을 도시한다.
도 2는 본 발명의 실시예에 따른 픽셀 빔을 나타내는 하나의 시트의 쌍곡면을 도시한다.
도 3은 하나의 시트의 쌍곡면 및 그것의 점근 원뿔들을 도시한다.
도 4는 본 발명의 실시예에 따른 2개의 동축의, 부분적으로 오버랩하는 원뿔들에 의해 표현되는 픽셀 빔을 도시한다.
도 5는 본 발명의 실시예에 따른 픽셀 빔들을 나타내는 데이터를 생성하기 위한 장치의 예를 예시하는 개략적 블록도이다.
도 6은 개시내용의 실시예에 따른 광학 취득 시스템에 의해 캡처되는 이미지를 인코딩하기 위한 프로세스를 설명하기 위한 플로우차트이다.
도 7은 본 발명의 실시예에 따른 제2 광학 시스템을 통한 픽셀 빔 및 상기 픽셀 빔의 공액을 표현한다.
도 8은 본 발명의 실시예에 따른 방법에서 사용되는 투사면 및 복원 동공이다.
도 9는 복원면 상에 정의되는 픽셀 그리드 및 과-샘플링된 그리드를 표현한다.
도 10은 2개의 광-필드 취득 시스템의 오브젝트 공간들을 나타내는 픽셀 빔들의 2개의 컬렉션을 나타낸다.
도 11은 본 발명의 실시예에 따른 믹싱 방법의 플로우차트이다.

본 기술분야의 통상의 기술자에 의해 이해될 바와 같이, 본 원리들의 양태들은 시스템, 방법 또는 컴퓨터 판독가능한 매체로서 구현될 수 있다. 따라서, 본 원리들의 양태들은, 본원에서 "회로", "모듈" 또는 "시스템"이라 지칭될 수 있는, 전적으로 하드웨어 실시예, 전적으로 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함함) 또는 소프트웨어 및 하드웨어 양태들을 조합한 실시예의 형태를 취할 수 있다. 또한 본 원리들의 양태들은 컴퓨터 판독가능한 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능한 저장 매체(들)의 임의의 조합이 이용될 수 있다.

임의의 광학 취득 시스템의 경우, 그것이 플렌옵틱일 수 있든 아니든, 광학 취득 시스템에 의해 캡처되는 4D 광-필드 데이터를 나타내는 미가공 이미지들 또는 등극선 기하 이미지들 뿐만 아니라, 상기 광학 취득 시스템의 센서의 픽셀들과 상기 광학 취득 시스템의 오브젝트 공간 사이의 대응성에 관련된 정보를 취득하는 것은 흥미로운 것이다. 광학 취득 시스템의 오브젝트 공간의 어느 부분을 상기 광학 취득 시스템의 센서에 속하는 픽셀이 감지하는지를 아는 것은, 디멀티플렉싱, 디-모자이킹, 리포커싱 등과 같은 신호 프로세싱 동작들의 개선, 및 상이한 특성들을 가지는 상이한 광학 시스템들에 의해 캡처되는 이미지들의 믹싱을 가능하게 한다. 또한, 광학 취득 시스템의 센서의 픽셀들과 상기 광학 취득 시스템의 오브젝트 공간 사이의 대응성에 관련된 정보는 광학 취득 시스템에 독립적이다.

본 개시내용은 도 1에 도시된, 픽셀 빔(10)의 개념을 도입하는데, 이는 카메라(도 1에 미도시됨)의 광학 시스템(11)의 동공을 통과하는 광선들의 세트에 의해 점유되는 볼륨 및 동공의 표면에 직교인 방향으로 광학 시스템의 오브젝트 공간 내의 카메라의 센서의 픽셀의 공액을 표현한다.

광선들의 세트는 상기 광학 시스템(11)의 동공(14)을 통해 카메라의 센서(13)의 픽셀(12)에 의해 감지된다. 광학 시스템(11)은 포토 또는 비디오 카메라들에 대해 맞는 렌즈들의 조합일 수 있다. 광학 시스템의 동공은 상기 광학 시스템, 즉, 구경 조리개의 앞에 있는, 광학 취득 시스템의 렌즈들을 통해 보여지는 상기 구경 조리개의 이미지로서 정의된다. 구경 조리개는 광학 취득 시스템의 광학 시스템을 통과하는 광의 양을 제한하는 개구이다. 예를 들어, 카메라 렌즈 내에 위치되는 조정가능한 날 조리개(blade diaphragm)는 렌즈에 대한 구경 조리개이다. 조리개를 통해 수용되는 광의 양은 카메라의 사용자가 수용하기를 원하는 광의 양에 따라 적응될 수 있는 구경 조리개의 직경에 의해 제어된다. 예를 들어, 조리개를 더 작게 만드는 것은 조리개를 통해 수용되는 광의 양을 감소시키고, 동시에, 초점의 깊이를 증가시킨다. 스톱(stop)의 명백한 사이즈는 렌즈의 일부의 굴절 동작으로 인해 그것의 물리적 크기보다 더 크거나 더 작을 수 있다. 공식적으로, 동공은 물리적 스톱과 관측 공간 사이에 위치되는 광학 취득 시스템의 모든 렌즈들을 통한 구경 조리개의 이미지이다.

픽셀 빔(10)은 입사동(14)을 경유해서 광학 시스템(11)을 통해 전파할 때 주어진 픽셀(12)에 도달하는 광선속(pencil of rays of light)으로서 정의된다. 광이 자유 공간에서 직선으로 이동함에 따라, 이러한 픽셀 빔(10)의 형상은 2개 섹션에 의해 정의될 수 있는데, 하나는 픽셀(12)의 공액(15)이고, 다른 것은 입사동(14)이다. 픽셀(12)은 그것의 널이 아닌(non-null) 표면 및 그것의 감도 맵에 의해 정의된다.

본 발명의 제1 실시예에서, 픽셀 빔(30)은 2개의 엘리먼트 - 오브젝트 공간 내의 동공(24) 및 픽셀(12)의 공액(25) - 에 의해 지원되는, 도 2에 도시된 바와 같은, 하나의 시트의 쌍곡면에 의해 표현될 수 있다.

하나의 시트의 쌍곡면은 광선속의 개념을 지원할 수 있는 규정화된 표면이며, 물리적 광 빔들의 "에탕듀(

)"의 개념과 호환가능하며, 개념은 물리적 광 빔들의 섹션들에 걸친 에너지의 보존에 링크된다.

도 3에 표현된 바와 같이, 하나의 시트(30)의 쌍곡면은, 오브젝트 공간 내의 공액(15)에 대응하는, 웨이스트(waist)(35)라 명명되는, 그것의 최소 섹션의 기본 영역을 제외하고는, 그것의 점근 원뿔들(31, 32)과 거의 동일하다. 광-필드 카메라들과 같은, 플렌옵틱 시스템들에 대해, 이는 다수의 경로 광선에 의한 공간 샘플링이 수행되는 영역이다. 이 영역 내의 점에 대해 퇴보하는 고유한 원뿔들을 가지는 샘플링 공간은, 픽셀(12) 감도가 그것의 표면 상의 수십 제곱 미크론 정도에 상당하고, 원뿔 끝인 것으로서 무한히 작은 표면을 가지는 수학적 포인트에 의해 표현될 수 없음에 따라, 적합하지 않다.

본 발명의 실시예에서, 각각의 픽셀 빔(10, 20, 30)은 동공(14, 24)의 앞의 픽셀 공액(15, 35)의 위치 및 사이즈를 정의하는 4개의 독립 파라미터들:

, 그리고 동공(14, 24)의 위치, 배향 및 반경을 정의하는 6개의 동공 파라미터들

에 의해 정의된다. 이들 6개의 동공 파라미터들은, 하나의 시트의 쌍곡면에 의해 표현될 때, 동일한 동공(14, 24)을 공유하는 픽셀 빔들의 컬렉션에 대해 공통이다. 실제로, 픽셀 빔은 동공(14)을 통해 픽셀(12)에 의해 감지되는 광학 시스템(11)의 오브젝트 공간 내의 광선들의 세트에 의해 점유되는 볼륨을 표현하는데, 즉, 주어진 커플 픽셀(12)/동공(14, 24)은 고유한 픽셀 빔(10, 20, 30)에 대응하지만, 복수의 다른 픽셀 빔들은 동일한 동공(14, 24)에 의해 지원될 수 있다.

픽셀 빔(10, 20, 30)을 나타내는 하나의 시트의 쌍곡면의 파라미터들이 정의되는 좌표 시스템(

)의 원점(O)은 도 1에 도시된 바와 같이 동공(14)의 중심에 대응하는데, 여기서 z축은 동공(14, 24)의 표면에 직교인 방향을 정의한다.

파라미터들(

)은 동공(14) 중심의 입사에 대한 주요 광선 방향들을 정의한다. 이들은 센서(13) 상의 픽셀(12) 위치 및 광학 시스템(11)의 광학 엘리먼트들에 의존한다. 더 정확하게는, 파라미터들(

)은 동공(14)의 중심으로부터 픽셀(12)의 공액(15)의 방향을 정의하는 전단각들을 표현한다.

파라미터(

)는 z 축을 따르는, 픽셀 빔(10, 20, 30)의 웨이스트(35)의 거리, 또는 픽셀(12)의 공액(15)을 나타낸다.

파라미터(

)는 픽셀 빔(10, 20, 30)의 웨이스트(35)의 반경을 나타낸다.

광학 왜곡들 및 필드 곡률들이 모델링될 수 있는 광학 시스템들(11)의 경우, 파라미터들(

및

)은 파라미터 함수들을 통해 파라미터들(

및

)에 의존할 수 있다.

4개의 독립 파라미터는 픽셀(12) 및 그것의 공액(15)에 관련된다.

픽셀 빔(10, 20, 30)을 정의하는 6개의 상보적 동공 파라미터들은:

- 동공(14, 24) 반경을 나타내는

,

-

좌표 시스템에서 동공(14, 24) 중심의 좌표들을 나타내는

, 및

- 기준

좌표 시스템에서 동공(14, 24)의 배향을 나타내는

이다.

이들 6개의 동공 파라미터는 동공(14, 24)에 관련된다. 또 다른 파라미터(c)가 정의된다. 이러한 파라미터(c)는 픽셀(12) 및 그것의 공액(15)에 관련된 파라미터들(

및

), 및 동공(14, 24)에 관련된 파라미터(

)에 종속적이다. 파라미터(c)는 픽셀 빔(10, 20, 30)의 개구각(

)을 정의하며, 공식:

에 의해 정의된다.

따라서, 파라미터(c)의 표현은 후속하는 수학식에 의해 주어진다:

오브젝트 공간에서, 픽셀 빔(10, 20, 30)의 범위를 정하는 표면에 속하는 점들의 좌표(

)는 동공(14), 및 픽셀의 공액(15)에 관련된 파라미터들의 상기 정의된 세트의 함수이다. 따라서, 픽셀 빔(10, 20, 30)을 나타내는 하나의 시트의 쌍곡면의 생성을 가능하게 하는 수학식 (2)는:

이다.

픽셀 빔(10, 20, 30)을 나타내는 동일한 쌍곡면의 파라미터 수학식 (3)은:

이고, 여기서

는 쌍곡면을 생성하는 것으로부터 픽셀 빔(10, 20, 30)의 생성을 가능하게 하는

면 내의 각이고,

는

구간 내에서 변경하고,

은 동공(14, 24)의 표면에 직교인 방향을 정의하는 z 축을 따르는 좌표이다. 수학식 (2) 및 (3)은 픽셀(12)의 섹션 및 그것의 공액(15)이 원형이고, 동공(14, 24)의 섹션 역시 원형이라는 가정으로 기입된다.

상기 광학 취득 시스템의 센서의 픽셀들과 상기 광학 취득 시스템의 오브젝트 공간 사이의 대응성에 관련된 정보는 4개의 독립 파라미터 - 동공(14, 24) 앞에서, 픽셀 공액(15, 35)의 위치 및 사이즈를 정의하는

- 및 픽셀 빔이 그것의 파라미터 수학식에 의해 표현될 때, 동공(14, 24)의 위치, 배향 및 반경을 정의하는 6개의 동공 파라미터

를 포함하는, 파라미터들의 세트 중 어느 하나의 형태를 취할 수 있다.

따라서, 이 파라미터들의 세트는 4D 광-필드 데이터를 프로세싱하는 동안 사용되기 위해 광학 취득 시스템에 의해 캡처되는 4D 광-필드 데이터를 나타내는 미가공 이미지들 또는 등극선 기하 이미지들에 추가로 제공된다.

본 발명의 제2 실시예에서, 픽셀 빔(40)은 2개의 엘리먼트 - 오브젝트 공간, 즉, 픽셀 상에 이미지화된 오브젝트 공간의 표면 내의 동공(44) 및 픽셀(42)의 공액(45) - 에 의해 지원되는, 도 4 상에 도시된 바와 같은 2개의 동축의, 부분적으로 오버랩하는 원뿔들인 전방 원뿔(41_F) 및 후방 원뿔(41_R)에 의해 표현될 수 있다.

전방 원뿔(41_F)은 픽셀(42) 및 동공(44)에 의해 정의되는 볼록 각뿔대의 이미지이다. 볼록 각뿔대의 꼭짓점은 광학 취득 시스템의 센서 너머에 놓인다. 구성에 의해, 전방 원뿔(41_F)은 광학 취득 시스템의 오브젝트 공간에서 수렴하고, 전방 원뿔(41_F)의 꼭짓점은 픽셀(45)의 공액 또는 픽셀 빔(40)의 웨이스트와 동공(44) 사이에 놓인다. 전방 원뿔(41_F)은 픽셀(42)에서 동공(44)에 마주 대하는 입체각으로부터 나온다.

후방 원뿔(41_R)은 픽셀(42) 및 동공(44)에 의해 정의되는 원뿔의 이미지이고, 그것의 꼭짓점은 광학 취득 시스템의 센서와 동공(44) 사이에 놓인다. 구성에 의해, 후방 원뿔(41_R)의 꼭짓점은 동공(40)의 웨이스트(45)를 너머 위치된다. 후방 원뿔(41_R)은 광학 취득 시스템의 오브젝트 공간에서 반드시 수렴하지는 않으며, 일부 경우들에서 그것은 원통 또는 발산 원뿔(diverging cone) 내로 퇴보할 수 있다. 후자의 경우, 발산 원뿔의 꼭짓점은 광학 취득 시스템의 이미지 공간 내에, 즉, 동공(44) 앞에 놓인다.

전방 원뿔(41_F) 및 후방 원뿔(41_R)은 동일한 회전축을 공유하는데, 이는 동공(44)의 중심과 웨이스트(45)의 중심을 연결하는 선이다.

원뿔들은 광선속의 개념을 지원하는 규칙화된 표면들이며, 2개의 원뿔을 조합하는 것이 물리적 광 빔들의 "에탕듀"의 개념과 호환가능할 때, 개념은 물리적 광 빔들의 섹션들에 걸친 에너지의 보존에 링크된다. 면들과 원뿔들의 교차점들은, 쌍곡면들에 대한 것으로서 원뿔형 곡선들인데, 이는 복수의 계수에 의해 특성화될 수 있다. 그것의 꼭짓점을 고려하면, 원뿔은 3개의 각 파라미터에 의해 표현될 수 있다: 원뿔의 회전축으로부터 측정되는 극의 각(polar angle), 꼭지각(apex angle)까지 및 2개의 각에 의해 주어지는 회적 축의 방향.

xyz를 광학 취득 시스템의 좌표 시스템이라 하고, z는 광학 취득 시스템의 오브젝트 공간 내에서 z > 0인 광학 취득 시스템의 광학 축을 나타내고, 동공(44)의 중심은 상기 좌표 시스템의 원점이다.

광학 취득 시스템의 광학기기는 광학 취득 시스템의 오브젝트 공간을 범위

로부터 광학 취득 시스템의 이미지 공간

으로 이미지화하고, 여기서

는 광학 취득 시스템의 광학기기의 초점 거리이다. 동공(44)의 위치 및 픽셀 빔(40)의 웨이스트(45)는 광학 취득 시스템의 캘리브레이션으로부터 광학 취득 시스템의 좌표 시스템(xyz)에서 알려진다. 동공(44) 및 웨이스트(45)는 병렬인 것으로 가정되고, 둘 모두 z 축에 대해 직교한다.

픽셀 빔(40)의 주요 광선을 z'라 명명한다. 주요 광선은 동공(44)의 중심과 픽셀 빔(40)의 웨이스트(45)의 중심을 연결하는 선이다. 주요 광선은 또한 회전축 및 픽셀 빔(40)의 대칭축이다. 따라서, 좌표 시스템(xyz')에서, 픽셀 빔(40)은 회전체이다.

전방 원뿔(41_F) 및 후방 원뿔(41_R)의 축들 모두는 픽셀 빔(40)의 주요 광선(z') 상에 위치된다. 이 렌즈 근사화 하에서, 이들 2개 축의 좌표들은, 광학 취득 시스템의 센서가 후방 초점면에 위치되지 않는다는 가정 하에서, 다음과 같이 광학 취득 시스템의 좌표 시스템(xyz)에서 계산된다:

즉,

여기서,

및

는 각자 P > 0인 동공(44)의 직경, 그것의 2-좌표, 0 < W < +∞인 픽셀의 공액(45)의 직경 및 그것의 z-좌표 0 < z_w < +∞를 나타낸다.

후방 원뿔(41_R)의 꼭짓점의 z-좌표(z_rear)는, 후방 원뿔(41_R)이 수렴 원뿔일 때 양이고, 후방 원뿔(41_R)이 발산 원뿔일 때 음일 수 있다. 동공(44) 및 픽셀 빔의 픽셀 공액(45)이 동일한 사이즈인 경우 그것은 또한 무한대일 수 있다.

광학 취득 시스템의 센서가 후방 초점면 상에 위치되는 경우, W = +∞ 및 z_w = +∞ 이다. 이들의 비가 일정함에 따라:

여기서

및

는 각자,

인 픽셀(42)의 직경 및 광학 취득 시스템이 수렴 렌즈라고 가정하면

인 광학 취득 시스템의 광학기기의 초점 거리를 나타낸다.

꼭지각은 다음에 의해 주어진다:

통합이 픽셀 빔(40)을 나타내는 각각의 원뿔의 꼭짓점을 가정하면, 광선들은 2개의 각 파라미터들 - 픽셀 빔의 회전축으로부터 꼭지각까지의 극의 각, 및 [0,2π[ 내의 방위각 - 을 이용하여 정의될 수 있다.

픽셀 빔들에 관련된 정보는 주어진 광학 취득 시스템에 연관된 메타데이터이다. 이들은 예를 들어, 광학 취득 시스템에 제공되는 CD-ROM 또는 플래시 드라이브 상에 저장되는 데이터 파일로서 제공될 수 있다. 픽셀 빔들에 관련된 추가 정보를 포함하는 데이터 파일은 또한 광학 취득 시스템의 제조자에 속하는 서버로부터 다운로드될 수 있다. 본 발명의 실시예에서, 픽셀 빔들에 관련된 이들 추가 정보는 또한 광학 취득 시스템에 의해 캡처되는 이미지들의 헤더 내에 내장될 수 있다.

픽셀 빔들에 관련된 이들 정보의 지식은 독점 파일 포맷 및 프로세싱될 이미지들을 캡처하기 위해 사용되는 광학 취득 시스템의 특징들과는 독립적으로 임의의 광학 취득 시스템에 의해 캡처되는 이미지들의 프로세싱을 가능하게 한다.

픽셀 빔들에 관련된 정보의 지식은 독점 파일 포맷 및 프로세싱될 이미지들을 캡처하기 위해 사용되는 광학 취득 시스템의 특징들과는 독립적으로 임의의 광학 취득 시스템에 의해 캡처되는 이미지들의 프로세싱을 가능하게 한다.

도 5는 본 개시내용의 실시예에 따라 픽셀 빔들을 나타내는 데이터를 생성하기 위한 장치의 예를 예시하는 개략적인 블록도이다.

장치(500)는 버스(506)에 의해 접속되는, 프로세서(501), 저장 유닛(502), 입력 디바이스(503), 디스플레이 디바이스(504), 및 인터페이스 유닛(505)을 포함한다. 물론, 컴퓨터 장치(500)의 구성 엘리먼트들은 버스 접속이 아닌 접속에 의해 접속될 수도 있다.

프로세서(501)는 장치(500)의 동작들을 제어한다. 저장 유닛(502)은 이들 픽셀 빔이 프로세서(501)에 의해 실행될 제2 광학 시스템을 통해 이미지화될 때 제1 광학 시스템의 오브젝트 공간을 나타내는 픽셀 빔들을 나타내는 데이터, 및 센서(13) 상의 픽셀(12)의 위치에 관련된 파라미터들 또는 광학 취득 시스템의 제1 광학 시스템(11) 및 제2 광학 시스템에 관련된 파라미터들, 프로세서(501)에 의해 수행되는 계산들에 의해 사용되는 파라미터들, 프로세서(501)에 의해 수행되는 계산들의 중간 데이터 등을 포함하는, 다양한 데이터를 생성할 수 있는 적어도 하나의 프로그램을 저장한다. 프로세서(501)는 임의의 알려진 그리고 적적한 하드웨어, 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 조합에 의해 형성될 수 있다. 예를 들어, 프로세서(501)는 프로세싱 회로와 같은 전용 하드웨어에 의해, 또는 그것의 메모리에 저장된 프로그램을 실행하는 CPU(Central Processing Unit)(중앙 처리 장치)와 같은 프로그래밍가능한 프로세싱 유닛에 의해 형성될 수 있다.

저장 유닛(502)은 컴퓨터-판독가능한 방식으로 프로그램, 데이터 등을 저장할 수 있는 임의의 적절한 스토리지 또는 수단에 의해 형성될 수 있다. 저장 유닛(502)의 예들은 반도체 메모리 디바이스들과 같은 비-일시적 컴퓨터-판독가능한 저장 매체, 및 판독 및 기입 유닛 내에 로딩되는 자기, 광학, 또는 자기-광학 레코딩 매체를 포함한다. 프로그램은 프로세서(501)가 도 6에 대해 하기에 기술되는 바와 같은 본 개시내용의 실시예에 따른 픽셀 빔들의 컬렉션의 픽셀 빔들을 나타내는 데이터를 계산하기 위한 프로세스를 수행하도록 야기한다.

입력 디바이스(503)는 코맨드들을 입력하기 위해 사용자에 의해 사용되기 위한 키보드, 마우스와 같은 포인팅 디바이스 등에 의해 형성되어, 광학 시스템의 오브젝트 공간 내의 광선들의 세트에 의해 점유되는 볼륨의 파라미터 표현을 생성하기 위해 사용되는 파라미터들의 사용자의 선택들을 수행할 수 있다. 출력 디바이스(604)는 본 개시내용의 실시예에 따라 생성되는 이미지들을 디스플레이하기 위한 디스플레이 디바이스, 예를 들어, 그래픽 사용자 인터페이스(Graphical User Interface)(GUI)에 의해 형성될 수 있다. 입력 디바이스(503) 및 출력 디바이스(504)는 예를 들어, 터치스크린 패널에 의해 통합적으로 형성될 수 있다.

인터페이스 유닛(505)은 장치(500)와 외부 장치 사이에 인터페이스를 제공한다. 인터페이스 유닛(505)은 케이블 또는 무선 통신을 통해 외부 장치와 통신가능할 수 있다. 실시예에서, 외부 장치는 실제 카메라와 같은 광학 취득 시스템일 수 있다.

도 6은 본 발명의 실시예에 따라 픽셀 빔을 나타내는 데이터를 생성하는 프로세스를 설명하기 위한 플로우차트이다.

장치(500)의 프로세서(501)는 도 7에 표현된 바와 같이 제2 광학 시스템(71)을 통한 상기 픽셀 빔(70)의 공액(72)으로부터 제1 광학 시스템(도면에 미도시됨)의 오브젝트 공간을 나타내는 픽셀 빔들의 컬렉션의 적어도 하나의 픽셀 빔(70)을 나타내는 데이터를 계산하는 단계(600A)를 실행한다. 후속하는 예에서, 픽셀 빔들(70, 72)은 하나의 시트(20)의 쌍곡면에 의해 표현된다.

따라서, 프로세서(501)는 예를 들어, 얇은 렌즈인, 광학 시스템(71)을 통한 픽셀 빔(70)의 공액(72)을 계산하여, 광학 시스템(71)의 초점 볼륨 내의 픽셀 빔(70)을 나타내는 데이터를 제공한다.

광학 시스템(71)을 통한 픽셀 빔(70)의 공액(72)은 하기에 설명되는 바와 같이 계산될 수 있다.

도 1 내지 3에 대해 기술된 바와 같이, 광학 시스템의 동공에 연결된 픽셀 빔은 6개의 외인성 파라미터에 의해 정의된다:

○

: 제1 광학 시스템의 입사동 반경,

○

: 기준 좌표 시스템에서의 제1 광학 시스템의 입사동 중심의 좌표들, 및

○

: 기준 좌표 시스템에서 제1 광학 시스템의 입사동의 배향.

기준 좌표 시스템에서, 그리고 간략함을 위해

를 유지하여, 픽셀 빔을 나타내는 쌍곡면의 파라미터 수학식은:

에 의해, 또는 등가적으로:

에 의해 주어진다.

본 발명의 실시예에서, 제1 광학 취득 시스템의 센서의 픽셀에 의해 취득되는, RGB 값과 같은, 컬러를 나타내는 값은 대응하는 픽셀 빔(70)에 연관된다.

제2 광학 시스템(71)을 나타내는 평면 표면을 정의하는 파라미터들은 제2 광학 시스템(71)이 가상 광학 시스템일 때 정의되거나 또는 제2 광학 시스템이 실제 광학 시스템일 때 검색된다:

○ 제2 광학 시스템(71)의 광학 중심의 좌표들이

이다

○ 광학 시스템(71)의 표면에 직교인 단위 벡터의 좌표들:

○ 광학 시스템(71)의 초점

○ 설명을 간략화하기 위해, 제2 광학 시스템(71)의 광학 중심은 제1 광학 시스템의 동공 중심과 동일한 면 내에서 취해지고, 즉,

이고, 광학 시스템(71)은 동공에 대해 평행한 것으로 가정되는데, 즉,

이다.

광학 시스템(71) 중심(C)에 대한 점(M)의 좌표들은

로 표기된다. 광학 시스템(71)을 통하는 점(M)의 이미지(M')의 좌표들은

로 표기된다. 이들 좌표들 각각은 대수 값들이다.

점(M')의 좌표들은 "렌즈 메이커 공식(Lens Maker formula)"의 뉴튼 형태를 사용하여 계산될 수 있는데 이는 다음과 같다:

점(M)이 광학 시스템(71) 앞에 위치되고, 즉, z < 0 점(M')이 광학 시스템(71) 뒤에 위치되고, 즉 z' > 0 이기 때문에,

이며, 이는 다음을 제공한다.

광학 시스템(71)이 얇은 렌즈일 때, 그것의 광학 중심을 통과하는 광선이 벗어나지 않음에 따라, 확대는:

에 의해 주어지며, 이는 다음을 제공한다.

그리고 반대로:

M이 픽셀 빔(70)의 표면에 속하는 점일 때, 이미지화된 픽셀 빔의 표면 상에 위치되는 점(M')의 좌표들은:

이다.

근축 렌즈가 오브젝트 공간 내의 광선들(직선들)을 이미지 공간 내의 광선들로 변환함에 따라, 그리고 픽셀 빔들(70)이 규칙화된 표면에 의해 표현됨에 따라, 이미지화된 픽셀 빔들(72)은 또한 규칙화된 표면에 의해 표현되는데, 왜냐하면 오브젝트 공간 내의 하나의 시트의 쌍곡면의 이미지가 이미지 공간 내의 하나의 시트의 쌍곡면이기 때문이다.

픽셀 빔(70)을 나타내는 쌍곡면의 파라미터들로부터 그리고 광학 시스템(71)의 파라미터들로부터 이미지화된 픽셀 빔(72)을 나타내는 쌍곡면의 파라미터들을 결정하자.

후속하는 수학식을 고려한다:

이는, 축 상의 픽셀 빔에 대한, 그리고 x, z 면에 대한 분석을 감소시키기 위해,

및

인 픽셀 빔(70)을 나타낸다.

결정될 파라미터들은 이후

의 함수인

이고, 여기서

는 이미지화된 픽셀 빔(72)의 웨이스트의 z 좌표이고(

는 빔 개구

로 인해 이미징 프로세스를 통한

의 공액점이다),

는 이미지화된 픽셀 빔(72)의 웨이스트의 반경이다.

및

라는 가정을 가지고, 점(M)에 대해 적용되는 수학식 16은 다음과 같이 간략화된다:

M에 대한 수학식 14의 근축 렌즈 변환을 사용하여 다음을 구한다:

이는 광학 시스템(71)의 초점 볼륨 내의 이미지화된 픽셀 빔(72)을 나타내는 수학식이다.

수학식 (20)을 유도하는 것은 도함수의 영교차를 찾음으로써 픽셀 빔들을 나타내는 것으로서 쌍곡면의 최솟값들 및/또는 최댓값들의 계산을 가능하게 하는 것이다.

수학식 (20)은, 전개될 때 다음을 제공한다:

수학식 (21)의 도함수는 다음과 같이 주어진다:

영교차를 계산하는 것은 (23)의 도함수를 제공한다:

를 알면,

의 각 항목이

로 나누어질 수 있다. 따라서,

및

인 경우, 근사화가 도출될 수 있다:

가 이미지화된 픽셀 빔(72)의 대기의 반경이기 때문에, 그것은 또한 이미지화된 픽셀 빔(72)에 대한 양의 쌍곡면의 최솟값인데, 즉, 그것은

에 대해 수학식 20에 의해 정의되는 바와 같은

의 값에 대응한다:

이것은:

을 제공한다.

점

및 광학 시스템(71)을 통한 그것의 공액

을 고려하자. 점

및 광학 시스템(71)을 통과하는 광선에 대해, 광학 법칙은:

을 제공한다.

광선이 높이

에서 광학 시스템(71)에 부딪칠 때 입사 광선

인 경우:

및 유사하게

이다.

따라서,

이다.

렌즈 메이커 공식:

으로부터 알려지는 바와 같이, 다음을 획득한다:

그리고 유사하게:

결과적으로, 이미지화된 픽셀 빔(72)을 나타내는 수학식은:

이고, 파라미터들:

는:

에 의해 픽셀 빔(70)의 파라미터들

로부터 획득되고,

이다.

단계(600)에서, 장치(500)의 프로세서(501)는

라 표기된, 방사 휘도의 값을 이미지화된 픽셀 빔들의 컬렉션의 이미지화된 픽셀 빔들(72)의 각각에 연관시켜, 픽셀 내에서 이미지화된 픽셀 빔(72)을 제2 광학 시스템(71) 쪽으로 전파시킨다. 방사 휘도의 값은 예를 들어, RGB 값들을 사용하여 주어진다.

이미지화된 픽셀 빔들(72)의 컬렉션은 이전 단계(600A)에 설명된 바와 같이 광학 시스템(71)을 통해 픽셀 빔들(70)의 공액들(72)을 계산함으로써 또는 이미 이미지화된 픽셀 빔들의 컬렉션이 외부 소스로부터 장치(500)로 제공됨으로써 획득된다.

단계(601)에서, 도 8에 표현된 투사면(80)은 제2 광학 시스템(71)의 초점 볼륨 내에서 정의된다. 이러한 투사면은 예를 들어, 가상 센서와 등가이다.

이러한 투사면(80)은, 예를 들어 직사각 형상이고, 제2 광학 시스템(71)의 광학 축에 직교하며 이에 중심을 둔다. 그것은 제2 광학 시스템(71)으로부터 거리(D)에서 제2 광학 시스템(71)의 광학 축에 교차한다.

단계(603)에서, 장치(500)의 프로세서(501)는 투사면(80) 상에 적어도 하나의 그리드를 정의한다.

본 발명의 실시예에서, 투사면(80) 상에 정의되는 그리드는 픽셀 그리드이다.

본 발명의 또 다른 실시예에서, 2개의 그리드인, 도 9에 표현된 바와 같은, 픽셀 그리드(90) 및 복수의 서브픽셀 엘리먼트를 포함하는 과-샘플링된 그리드(91)는 투사면(80) 상에 정의된다.

픽셀 그리드들의 픽셀들은 투사면(80) 상의 2개 좌표들 및 2개 방향으로의 확장들

을 가지며, 여기서

, 및

이고,

는 디폴트로, 투사면(80) 상에서 위치

및 사이즈

의 직사각 영역을 계산하도록 정의되는 함수이다.

이용가능한 픽셀 빔 정보에 비교한 최적의 렌더링을 위해,

는 섀넌(Shannon) 기준에 대응하는, 투사면(80) 상의 픽셀 빔 섹션들 사이의 최소 오버랩의 절반에 의해 정의될 수 있다. 투사면(80) 상의 초점의 견지에서 더 높은 해상도를 요구하는 경우, 최소의 정보 샘플들은 픽셀 빔 섹션들 사이의 최소의 오버랩의 사이즈이다. 통계적 추정은

및

를 정의하기 위해 사용될 수 있다.

과-샘플링된 그리드(91)의 서브픽셀 엘리먼트들은 픽셀 그리드(90)의 픽셀들보다

배 더 작은데, 즉,

이다.

단계(602)에서, 도 8에 표현된 복원 동공(81)은 제2 광학 시스템(71) 상에 정의된다.

복원 동공(81)은, 예를 들어, 반경

을 가지는, 원형 형상이다. 광학 시스템(71)에 대한 복원 동공(81)의 위치는 그것의 중심

의 좌표들에 의해 주어진다.

단계(603)에서, 프로세서(501)는 이미지화된 픽셀 빔들의 컬렉션으로부터 이미지화된 픽셀 빔들(72)의 제1 그룹(

)을 선택한다. 선택된 이미지화된 픽셀 빔들(

)은 그 섹션이 복원 동공(81) 내에 완전히 위치되는 이미지화된 픽셀 빔들이다. 이 단계(603)는 임의적이며, 본 발명의 특정 실시예에서 실행되지 않을 수도 있다.

단계(604)에서, 프로세서(501)는 이미지화된 픽셀 빔들의 컬렉션으로부터 이미지화된 픽셀 빔들(72)의 제2 그룹(

)을 선택한다. 선택된 이미지화된 픽셀 빔들(

)은 투사면(80)을 가로막는 이미지화된 픽셀 빔들이다. 이 단계(604)는 본 발명의 임의적이며, 본 발명의 특정 실시예에서 실행되지 않을 수도 있다.

본 발명의 또 다른 실시예에서, 이미지화된 픽셀 빔들의 제2 그룹(

)은 이미지화된 픽셀 빔들의 제1 그룹(

)으로부터 선택된다. 따라서, 이미지화된 픽셀 빔들의 제2 그룹(

)은 모두 복원 동공(81) 내에 완전히 위치되는 이들의 섹션을 가지며 투사면(80)을 가로막는 이미지화된 픽셀 빔들(72)에 대응한다.

단계(605)에서, 장치(500) 내에 위치되는 2개의 누산 버퍼

가 비워진다(cleared).

단계(606)에서, 제2 그룹(

)에 속하는 각각의 이미지화된 픽셀 빔들에 대해, 투사면(80)을 가로막는 이미지화된 픽셀 빔의 섹션은 프로세서(501)에 의해 계산된다. 이러한 섹션은, 예를 들어, 원형, 타원형, 직사각형 등이다.

이후, 단계(607)에서, 고려된 이미지화된 픽셀 빔에 연관된 값

은 투사면(80) 상에 정의되는 그리드의 각각의 엘리먼트 상에 누산된다. 따라서, 예를 들어, 고려되는 이미지화된 픽셀 빔에 연관된 값(

)은 고려되는 이미지화된 픽셀 빔의 섹션에 의해 가로막히는 과-샘플링된 그리드(91)의 각각의 서브픽셀 엘리먼트 상에 누산된다.

누산은 과-샘플링된 그리드(91)의 고려된 서브픽셀 엘리먼트에 대한 값들

을 장치(500) 내에 내장된 서브픽셀 값 레지스터(

)에서 합산하는 것 및 장치(500)에 내장된 가중 레지스터(

)에서 히트를 합산하는 것으로 구성된다. 이미지가 플랫 이미지에 대응하는 경우 히트의 값은 1 또는 0일 수 있다. 균일한 '화이트' 소스 이미지 상에서 취득되는 방사 휘도가 예를 들어, 비네팅(vignetting)으로 인해 균일하지 않은 경우, 가중(

)은 균일한 '화이트' 소스 이미지의 취득에 대응하는 0과 1 사이의 값을 가진다:

단계들(606 및 607)은 제2 그룹(

)의 각각의 픽셀 빔들에 대해 실행된다.

단계(608)에서, 과-샘플링된 그리드(91)를 가로막는 고려된 이미지화된 픽셀 빔의 섹션에 대응하는

의 값은 프로세서(501)에 의해 계산된다. 이러한 값은:

에 의해 주어진다.

단계(609)에서, 픽셀 그리드(90)의 픽셀에 대응하는 값

이 프로세서(501)에 의해 계산된다. 이러한 값

은 박스 스케일링, 서브샘플들의 합산과 같은 방법을 사용하여 인자

를 스케일링함으로써 픽셀 그리드(90)의 동일한 픽셀에 속하는 서브픽셀 엘리먼트들에 연관된 값들

을 하향 스케일링함으로써 또는 또 다른 스케일링 알고리즘에 의해 획득된다.

이 방법은 투사면(80)과 광학 시스템 사이의 거리(D), 반경(

) 및 복원 동공(81)의 중심

의 좌표들의 함수로서 알려진 광학 시스템의 초점 볼륨 내에서의 단일 이미지의 계산을 가능하게 한다.

D 및 복원 동공(81)의 반경(

)의 상이한 값들을 가지는 몇몇 이미지들을 계산하는 것은 초점 스택을 제공한다.

복원 동공(81)의 중심

의 좌표들의 상이한 값들을 가지는 몇몇 초점 스택들을 계산하는 것은 행렬 초점 스택들을 제공한다.

본 발명의 상이한 실시예들에 따른 방법은 상이한 타입의 광-필드 취득 시스템에 의해 취득되는 광-필드 데이터의 믹싱을 가능하게 하고, 이들은 주어진 장면 설명을 위해 컴퓨터에 의해 완전히 또는 부분적으로 시뮬레이트되는 유형적 취득 시스템 또는 컴퓨터 그래픽 이미지(CGI) 데이터로부터 취득될 수 있다.

도 10은 2개의 광-필드 취득 시스템들(도면에 표현되지 않음)의 오브젝트 공간들을 나타내는 픽셀 빔들(100 및 110)의 2개 컬렉션을 나타낸다. 2개 컬렉션(100 및 110)의 픽셀 빔들의 공액들은 도 6에 관해 기술된 방법에 따라 공통 광학 시스템(120)을 통해 이미지화된다. 따라서, 이미지화된 픽셀 빔들(130 및 140)의 2개 컬렉션이 획득된다.

본 발명의 제1 실시예에서, 광-필드 데이터가 믹싱되도록 의도되는 광-필드 취득 시스템들의 부정확한 캘리브레이션 및 포지셔닝을 설명하기 위해, 광학 시스템(120)을 나타내는 파라미터들의 상이한 세트가 제공되어 픽셀 빔들(100 및 110)의 각각의 컬렉션의 픽셀 빔들의 공액을 계산한다.

말하자면, 픽셀 빔들(100)의 제1 컬렉션의 픽셀 빔들의 공액들은 광학 시스템(120)을 나타내는 파라미터들의 제1 세트를 사용하여 계산되고, 픽셀 빔들(110)의 제2 컬렉션의 픽셀 빔들의 공액들은 광학 시스템(120)을 나타내는 파라미터들의 제1 세트를 사용하여 계산된다.

광학 시스템(120)의 파라미터들은 픽셀 빔들의 주어진 컬렉션의 픽셀 빔들이 정의되는 오브젝트 공간 내에서 정의된다. 광학 시스템(120)은 다음에 의해 정의된다:

- 그것의 광학 중심의 위치

,

- 단위 벡터

- 그것의 초점 거리

.

각각의 픽셀 빔 컬렉션들(100, 110)에 대한 이들 파라미터들을 조정하는 것은 이들 각자의 컬렉션들의 픽셀 빔들의 공액들의 포지셔닝 및 스케일링을 허용한다. 그것은 또한 믹싱 동작 이전에 서로에 대해 이미지화된 픽셀 빔들(130 및 140)의 2개의 컬렉션의 조정, 및 도 6에 대해 기술된 방법에 따른 이미지들의 생성을 가능하게 한다.

본 발명의 제2 실시예에서, 광-필드 취득 시스템의 내재성 파라미터들 및 광-필드 취득 시스템의 외인성 파라미터들은 광학 시스템(120)을 통한 픽셀 빔들의 공액들의 계산 시 고려된다.

광-필드 취득 시스템의 내재성 파라미터들은 광-필드 취득 시스템의 좌표 시스템에 센서의 픽셀들의 좌표 시스템을 연결시킨다. 이들 내재성 파라미터들은, 예를 들어, 광학 시스템(120)의 동공의 앞에 픽셀 공액의 위치 및 사이즈를 정의하는

, 및 동공의 위치, 배향 및 반경을 정의하는 6개의 동공 파라미터

이다. 이들 6개의 동공 파라미터는 하나의 시트의 쌍곡면에 의해 표현될 때, 픽셀 빔들의 컬렉션에 대해 공통이다.

광-필드 취득 시스템의 외인성 파라미터들은 광-필드 취득 시스템의 좌표 시스템을 국제 좌표 시스템에 연결시키고, 광-필드 취득 시스템의 위치 및 배향을 정의한다.

각각의 광-필드 취득 시스템

에 대해, 국제 좌표 시스템에서의 점

을 광-필드 취득 시스템의 좌표 시스템 내의 그것의 이미지

로 변환시키는 기능. 이러한 기능은 예를 들어, 병진(translation) 및 회전의 조합이다. 이 경우:

, 여기서

는 회전 행렬이고,

는 광-필드 취득 시스템

에 연관된 병진 벡터이다. 본 발명의 일부 실시예에서, 광-필드 취득 시스템의 좌표 시스템 및 국제 좌표 시스템은 동일하다. 이 경우, 회전 행렬

은 항등 행렬

이고, 병진 벡터

는 널 벡터(null vector)이다.

도 11은 본 발명의 제2 실시예의 플로우차트를 나타낸다.

단계(1110)에서, 픽셀 빔의 제1 컬렉션(100)의 픽셀 빔들의 제1 조정은 픽셀 빔들(100)의 제1 컬렉션을 취득하기 위해 사용되는 광-필드 취득 시스템의 내재성 파라미터들의 세트를 사용하여 계산된다. 이 단계(1110)의 결과는 픽셀 빔들의 제1 조정된 컬렉션이다.

단계(1120)에서, 픽셀 빔들의 제1 조정된 컬렉션들의 제2 조정은 픽셀 빔들(100)의 제1 컬렉션을 취득하기 위해 사용되는 광-필드 취득 시스템의 외인성 파라미터들의 세트를 사용하여 계산된다. 이 단계(1120)의 결과는 픽셀 빔들의 제2 조정된 컬렉션이다.

단계(1130)에서, 제2 조정된 컬렉션의 픽셀 빔들의 공액들은 도 6에 관해 기술된 방법에 따라 계산된다. 이 단계(1130)의 결과는 이미지화된 픽셀 빔들의 제1 컬렉션이다.

단계(1140)에서, 픽셀 빔들의 제1 컬렉션(110)의 픽셀 빔들의 제1 조정은 픽셀 빔들(110)의 제1 컬렉션을 취득하기 위해 사용되는 광-필드 취득 시스템의 내재성 파라미터들의 세트를 사용하여 계산된다. 이 단계(1140)의 결과는 픽셀 빔들의 제4 조정된 컬렉션이다.

단계(1150)에서, 픽셀 빔들의 제4 조정된 컬렉션들의 제2 조정은 픽셀 빔들(110)의 제1 컬렉션을 취득하기 위해 사용되는 광-필드 취득 시스템의 외인성 파라미터들의 세트를 사용하여 계산된다. 이 단계(1150)의 결과는 픽셀 빔들의 제5 조정된 컬렉션이다.

단계(1160)에서, 제5 조정된 컬렉션의 픽셀 빔들의 공액들은 도 6에 대해 기술되는 방법에 따라 계산된다. 이 단계(1150)의 결과는 이미지화된 픽셀 빔들의 제2 컬렉션이다.

단계(1170)에서, 이미지화된 픽셀 빔들의 제1 컬렉션 및 이미지화된 픽셀 빔들의 제2 컬렉션은 단일 이미지로 믹싱된다.

단계들(1120 및 1150) 동안, 외인성 파라미터들을 사용하여 제2 조정을 수행하는 동안 일부 생산적 편집이 수행될 수 있다. 그것은 또한 믹싱 단계(1170) 동안의 경우일 수 있다.

이러한 방법은 광-필드 레벨에서 특별한 시각적 효과들을 수행하는 것을 가능하게 한다.

본 발명이 본원에서 특정 실시예들에 관해 위에 기술되었지만, 본 발명은 특정 실시예들에 제한되지 않으며, 수정들이 본 발명의 범위 내에 있는 기술분야의 통상의 기술자에게 명백할 것이다.

많은 추가적인 수정들 및 변형들은 그 자체를, 단지 예로써 주어지며 첨부된 청구항들에 의해서만 결정되는 발명의 범위를 제한하도록 의도되지 않는, 이전 예시적인 실시예들을 참조할 시에 본 기술분야의 통상의 기술자에게 제안할 것이다. 특히, 상이한 실시예들로부터의 상이한 특징들은, 적절한 경우 교환될 수 있다.

Claims (13)

1. 제1 광학 시스템의 동공을 통과하는 광선들의 세트에 의해 점유되는 상기 제1 광학 시스템의 오브젝트 공간 내의 적어도 하나의 볼륨을 나타내는 데이터, 및 상기 제1 광학 시스템의 오브젝트 공간 내에 상기 제1 광학 시스템에 연관된 센서의 적어도 하나의 픽셀의 이미지 공액(image conjugate)을 생성하기 위한 컴퓨터에 의해 구현되는 방법으로서,
   상기 광선들의 세트에 의해 점유되는 상기 볼륨은 픽셀 빔이라 명명되고, 상기 방법은:
   - 제2 광학 시스템으로부터 거리(D)에 위치되는 투사면 상에 정의되는 적어도 하나의 그리드의 적어도 하나의 엘리먼트에 연관되는 이미지화된 픽셀 빔(imaged pixel beam)을 통해 전송되는 방사 휘도(radiance)를 나타내며 상기 적어도 하나의 이미지화된 픽셀 빔과 상기 투사면 사이의 교차점에 속하는 파라미터의 값을 계산하는 단계
   를 포함하고, 상기 이미지화된 픽셀 빔은 상기 제2 광학 시스템을 통한 상기 적어도 하나의 픽셀 빔의 공액인 방법.
2. 제1항에 있어서,
   상기 투사면 상의 상기 그리드는 픽셀 그리드인 방법.
3. 제2항에 있어서,
   과-샘플링된 그리드(over-sampled grid)는 상기 투사면 상에 정의되고, 상기 과-샘플링된 그리드의 엘리먼트들은 상기 픽셀 그리드의 픽셀보다 더 작은 방법.
4. 제1항 내지 제3항 중 어느 한 항에 있어서,
   이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내는 파라미터의 상기 값은 상기 투사면을 교차하는 픽셀 빔들에 대해 계산되는 방법.
5. 제4항에 있어서,
   어느 섹션이 복원 동공(restitution pupil)에 포함되는지가 상기 제2 광학 시스템 내에서 정의되는 픽셀 빔들을 선택함으로써 공액이 계산되도록 의도되는 픽셀 빔들을 선택하는 단계를 더 포함하는 방법.
6. 제5항에 있어서,
   이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내는 파라미터의 상기 값은 상기 투사면을 교차하는 픽셀 빔들에 대해 계산되고, 어느 섹션이 복원 동공 내에 포함되는지는 상기 제2 광학 시스템 내에서 정의되는 방법.
7. 제1 광학 시스템의 동공을 통과하는 광선들의 세트에 의해 점유되는 상기 제1 광학 시스템의 오브젝트 공간 내의 적어도 하나의 볼륨을 나타내는 데이터, 및 상기 제1 광학 시스템의 오브젝트 공간 내에 상기 제1 광학 시스템에 연관된 센서의 적어도 하나의 픽셀의 이미지 공액을 생성하기 위한 장치로서,
   상기 광선들의 세트에 의해 점유되는 상기 볼륨은 픽셀 빔이라 명명되고, 상기 장치는:
   - 제2 광학 시스템으로부터 거리(D)에 위치되는 투사면 상에 정의되는 적어도 하나의 그리드의 적어도 하나의 엘리먼트에 연관되는 이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내며 상기 적어도 하나의 이미지화된 픽셀 빔과 상기 투사면 사이의 교차점에 속하는 파라미터의 값을 계산하도록
   구성되는 프로세서를 포함하고, 상기 이미지화된 픽셀 빔은 상기 제2 광학 시스템을 통한 상기 적어도 하나의 픽셀 빔의 공액인 장치.
8. 제7항에 있어서,
   상기 투사면 상의 상기 그리드는 픽셀 그리드인 장치.
9. 제8항에 있어서,
   과-샘플링된 그리드는 상기 투사면 상에 정의되고, 상기 과-샘플링된 그리드의 엘리먼트들은 상기 픽셀 그리드의 픽셀보다 더 작은 장치.
10. 제7항 내지 제9항 중 어느 한 항에 있어서,
    이미지화된 픽셀을 통해 전송되는 방사 휘도를 나타내는 파라미터의 상기 값은 상기 투사면을 교차하는 픽셀 빔들에 대해 계산되는 장치.
11. 제10항에 있어서,
    어느 섹션이 복원 동공에 포함되는지가 상기 제2 광학 시스템 내에서 정의되는 픽셀 빔들을 선택함으로써 공액이 계산되도록 의도되는 픽셀 빔들을 선택하는 것을 더 포함하는 장치.
12. 제11항에 있어서,
    이미지화된 픽셀 빔을 통해 전송되는 방사 휘도를 나타내는 파라미터의 상기 값은 상기 투사면을 교차하는 픽셀 빔들에 대해 계산되고, 어느 섹션이 복원 동공 내에 포함되는지는 상기 제2 광학 시스템 내에서 정의되는 장치.
13. 컴퓨터 프로그램에 있어서,
    상기 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제6항 중 어느 한 항에 따른 픽셀 빔을 나타내는 데이터를 생성하기 위한 방법의 구현을 위한 프로그램 코드 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램.

Images