KR20170099959A

KR20170099959A - 장면과 관련된 전자기장의 복소 진폭을 결정하는 방법

Info

Publication number: KR20170099959A
Application number: KR1020177020020A
Authority: KR
Inventors: 호세 마누엘 로드리게즈 라모스; 호나스 필립 루케; 후안 마누엘 트루질로 세빌라; 후안 호세 페르난데즈 발디비아
Original assignee: 유니버시다드 데 라 라구나
Priority date: 2014-12-22
Filing date: 2015-12-21
Publication date: 2017-09-01
Also published as: CN107209061B; IL253142B; TW201643391A; EP3239672B1; EP3239672A4; DK3239672T3; WO2016102731A1; US20180007342A1; JP6600360B2; EP3239672A1; IL253142A0; US10230940B2; KR102501402B1; ES2578356A1; ES2578356B1; TWI687661B; JP2018512070A; CN107209061A

Abstract

장면과 관련된 전자기장의 복소 진폭을 결정하는 방법은, a) 사진 카메라에 의하여 상기 장면의 복수의 이미지들을 캡쳐하는 단계, 상기 이미지들은 상이한 거리들에 배치된 초점의 평면들에 포커싱되고, 상기 카메라는 초점 길이 F의 렌즈 및 그것의 이미지 공간에서 상기 렌즈로부터 일정한 거리에서 배치된 센서를 포함하고, 상기 복수의 이미지들로부터 적어도 하나의 이미지 쌍을 테이크하는 단계 및 상기 쌍의 두 이미지들의 초점의 평면들에 관한 상기 중간 평면에 대응하는 오브젝트 공간에서의 상기 켤레 평면에 누적된 파면을 결정하는 단계를 포함한다.

Description

장면과 관련된 전자기장의 복소 진폭을 결정하는 방법{METHOD FOR DETERMINING THE COMPLEX AMPLITUDE OF THE ELECTROMAGNETIC FIELD ASSOCIATED WITH A SCENE}

본 발명은 장면과 관련된 전자기장의 복소 진폭을 결정하는 방법에 관한 것이다.

본 발명의 방법은 그것의 전체에서(in its entirety)(전자기장의 위상 및 절대값(modulus)) 장면의 광학적 재구성을 허용하며, 이는 다양한 애플리케이션들에서 그것의 후속 사용을 허용한다, 예를 들어 장면의 거리 지도, 3D 스테레오 모드(3D stereo mode) 또는 3D 인테그랄 모드(3D integral mode)에서의 장면의 표현, 완전히 포커싱되거나(focused), 광학적으로 수차가 있거나(optically aberrated at will), 광학 왜곡을 보정하는(굴절률(refractive index)의 변화로 인한) 장면의 표현.

본 발명은 전산 사진술(computational photography) 및 적응 광학(천문학, 안과학, 현미경, 등)을 포함하는, 상이한 기술 분야에 적용될 수 있다.

지금까지, 장면의 삼차원(스테레오 또는 인테그럴(integral)) 이미지를 생성하기 위하여, 다양한 뷰포인트들(viewpoints)로부터 장면의 캡쳐(capture)가 사용되었다.

오르쓰(오르쓰, 에이.(Orth, A.), & 그로지어(Crozier), 케이. 비.(K. B.)(2013), 라이트 필드 모멘트 이미징(Light field moment imaging), 광학 레터스(Optics letters), 38(15), 2666-2668)는 변환 도메인에서 작동하는, 라이트 필드 모멘트 이미징 방법(light field moment imaging method)을 사용하여, 두 디포커싱된 이미지들(defocused images)로부터 스테레오(비-인테그랄) 이미지를 생성한다.

박(박, 제이. 에이치.(Park, J. H.), 이, 에스. 케이.(Lee, S. K.), 조, 엔. 와이.(Jo, N. Y.), 김, 에이치. 제이.(Kim, H. J.), 김, 와이. 에스.(Kim, Y. S.), & 임, 에이치. 쥐.(Lim, H. G.) (2014), 초점 평면 스위핑을 사용한 광선 필드 캡쳐 및 3D 디스플레이를 사용한 그의 광학 재구성(Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays, Optics Express), 22(21), 25444-25454)은 라이트 필드에 적용된 필터링된 역투영 알고리즘을 제안하여 3D 스테레오 및 인테그랄 이미지가 장면의 디포커싱된 이미지들로부터 만들어지도록 한다. 이 경우에서, 디포커싱된 이미지들(강도들)은 변환 공간에서 라이트 필드의 상이한 각도들에서의 섹션들이다. 적은(few) 디포커싱된 이미지를 획득하는 것은 낮은 라이팅 시나리오들(low lighting scenarios)에서 가장 적합하다. 그러나, 적은 디포커싱된 이미지들을 갖는 변환 도메인(transform domain)에서의 작동은 특정 공간 주파수들(certain spatial frequencies)에서 정보가 부재하기 때문에 흐리게 보인다.

곡률 센서는 두 디포커싱된 이미지들로부터 퓨필(pupil)에서의 파면 위상을 검색한다. 또한 반 담 및 레인 (반 담, 엠. 에이.(Van Dam, M. A.), & 레인, 알. 쥐.(Lane, R. G.) (2002), 파면 기울기들의 사용에 의해 디포커싱된 이미지들로부터 파면 센싱(Wave-front sensing from defocused images by use of wave-front slopes), 어플라이드 광학(Applied optics), 41(26), 5497-5502)에 의해 제안되는 기하학적 센서는 두 디포커싱된 이미지들로부터 퓨필에서의 파면 위상을 검색한다. 그러나, 퓨필에서의 파면 위상의 측정은 광축에서 수차들을 보정하는 것만을 허용한다.

이전 문제점들은 청구항 1에 따른 방법 및 청구항 10에 따른 장치에 의해 해결된다. 종속항들은 본 발명의 바람직한 실시예들을 정의한다.

본 발명의 제1 측면은 장면과 관련된 전자기장의 복소 진폭을 결정하는 방법을 정의하며, 다음의 단계들을 포함한다:

a) 사진 카메라(photographic camera)에 의하여 상기 장면의 복수의 이미지들을 캡쳐하는 단계, 상기 이미지들은 상이한 거리들에 배치된 초점의 평면들(planes of focus)에 포커싱되고, 상기 카메라는 초점 길이 F 의 렌즈 및 그것의 이미지 공간에서(in its image space) 상기 렌즈로부터 일정한 거리에 배치된 센서를 포함한다,

b) 상기 복수의 이미지들로부터 적어도 하나의 이미지 쌍을 테이크하고(taking) 상기 쌍의 두 이미지들의 초점의 평면들에 관한 상기 중간 평면(intermediate plane)에 대응하는 오브젝트 공간(object space)에서의 상기 켤레 평면(conjugate plane)에 누적된 파면(wavefront)을 결정하는 단계, 파면 W(x,y)을 결정하는 단계는:

는 미리 결정된 다항식들의 세트이고 N은 확장에 사용된 상기 다항식들의 수이며,

계수 d _j 는 방정식들의 시스템을 푸는 단계에 의해 결정되고:

2z는 상기 쌍의 두 이미지들의 초점의 평면들 사이의 거리이고,

는 상기 쌍 중 상기 제1 이미지에 속하는 포인트들이고,

는 상기 쌍 중 상기 제2 이미지에 속하는 포인트들이며, 각각 1 ≤ j, k ≤ T이며, 다음이 확인된다:

및

s(j)는 0과 1 사이의 실수 값들의 시퀀스이고, 각각 1 ≤ j ≤ T에 대해 단조적으로 증가하고,

f _XY 는 광자의 발생 확률을 고려한 이차원 밀도 함수이고, 상기 쌍의 대응하는 이미지의 정규화된 강도 I (x,y)에 의해 각각의 경우에서 결정된다, 즉:

본 발명은 단일 뷰포인트로부터 테이크된 장면의 디포커싱된 이미지들로부터 삼차원 이미지뿐만 아니라, 장면의 단층 촬영 위상 분포를 생성하는 단계를 허용한다. 이는 획득된 최종 광학 해상도에서 연속적인 향상으로, 플렌옵틱 라이트 필드 캡쳐 카메라들(plenoptic light field capture cameras)에서 발생하는 것과 같이, 상이한 뷰포인트들 사용하지 않고 장면에 그것의 전체가 포함된 전자기장을 갖는 단계를 의미하고, 이는 플렌옵틱 카메라들의 경우에서 각 뷰포인트와 관련된 서브어퍼쳐들(subapertures)의 직경에 의해 제한된다.

본 발명의 컨텍스트에서, 복수의 이미지들이 둘과 같거나 더 큰 이미지들의 수인 것으로 이해될 것이다.

이미지를 캡쳐하는데 사용된 사진 카메라는 종래의 광학 시스템에 대응하고, 그것은, 고정되거나 다양한 초점 길이(불명료하게(indistinctly))에서 작동하는, 단일 렌즈, 또는 렌즈들의 시스템, 및 이미지 공간에서 광학 시스템으로부터 일정한 거리에서 배치되는 센서를 포함한다.

카메라에 의해 캡쳐된 이미지들은 상이한 평면들에서의 켤레 이미지들이다. 각각은 포커싱된 요소들(이미지의 초점의 평면에 배치된 이들 요소들) 및 디포커싱된 요소들(초점의 평면 전후에 위치하는 이것들)을 포함한다.

본 발명의 방법에 따르면, 복수의 캡쳐된 이미지들로부터 각각의 이미지 쌍은 컨버징 렌즈들(converging lenses)의 고전적인 규칙들에 따라 획득 위치(acquisition position)와 결합된(conjugated) 교류 층(turbulence layer)에 누적된 파면 위상을 결정하는 단계를 허용한다. 그러므로, 상이한 켤레 거리들(conjugate distances)에서 획득된 각각의 이미지 쌍의 기여(contribution)를 차감함으로써, 파면 위상 지도의, 위상 이미징에 관해서, 상기 거리에서의 교류의 값은 발견된다. 그러므로, 복수의 이미지들이 두 이미지들만을 포함할 때, 본 발명의 방법은 관련된 디포커싱된 이미지 쌍으로부터 켤레 거리에서 단일 평면에서의 파면을 획득하는 단계를 허용한다.

바람직한 일 실시예에서, 각각의 선택된 이미지 쌍의 두 이미지들은 각각 초점의 양쪽에서 테이크된다. 바람직한 일 실시예에서, 각각의 선택된 이미지 쌍의 두 이미지들은 초점의 양쪽에서 대칭 거리에서 테이크된다. 그러나, 본 발명의 방법은 임의의 디포커싱된 이미지 쌍에 대해 유효하다.

본 발명의 방법은, 샤크-하트만(Shack-Hartmann) 또는 피라미드(pyramid) 센서들과 같은 종래의 이차원 위상 센서들을 사용하는 대신, 큰 오브젝트들의 디포커싱된 이미지들을 사용하는 것에 기초한, 교류 층-지향 다중-켤레 단층 촬영(turbulence layer-oriented multi-conjugate tomography)(층-지향 MCAO(Layer-oriented MCAO))의 방법이다.

본 발명의 방법은, 광학 패스(optical path)에서의 마이크로렌즈 배열(microlens array)을 갖는 캡쳐에 대해 사용된 카메라 없이, 단일 뷰포인트 및 단일 렌즈로 심지어 실시간으로 획득되는(대기 교류(atmospheric turbulence)의 가시 범위에서 작동하는 경우에서 10ms 보다 작은, 비디오의 경우 초당 24이미지들, 등), 그의 디포커싱된 이미지들의 캡쳐로부터 장면과 관련된 전자기장의 복소 진폭을 결정하는 단계를 허용한다.

일 실시예에서, 파면은 식에 의해 결정된다:

여기서

각각 0 ≤ p, q ≤ N - 1.

유리하게는, 이 실시예에서 복소 지수들의 함수로서 확장된 이차원 파면은 검색되며, 이는 직접적으로 파면 위상 수평 및 수직 기울기들의 데카르트 분포를 획득하는 단계를 허용하고, 그러므로 허드진(Hudgin) 또는 푸리에 변환 필터링과 같은, 종래의 기울기 통합 방법들의 사용을 허용한다.

일 실시예에서, 누적된 파면은 복수의 이미지 쌍들에 대해 결정된다.

일 실시예에서, 방법은 결정된 상기 평면들과 누적된 파면들의 차로서 오브젝트 공간의 두 평면들 사이의 위상 시프트를 결정하는 단계를 추가적으로 포함한다. 바람직하게는, 위상 시프트는 복수의 평면들에 대해 결정된다.

본 발명은 파면 위상의 단층 촬영 검색과 함께, 측정 도메인(변환 도메인이 아님)에서 디포커싱된 이미지들과 작동함으로써, 그의 강도뿐만 아니라, 그것의 전체(절대값 및 위상)에서 전자기장을 획득하는 단계를 허용한다. 유리하게는, 측정 도메인의 작동의 결과는 변환 도메인에서 작동하는 것보다 훨씬 잘 정의되며, 특정 공간 주파수에서 정보가 없으면 적은 디포커싱된 이미지들로부터 시작할 때 흐려진다. 적은 디포커싱된 이미지들을 획득하는 것은 낮은 라이팅 시나리오들에서 가장 적합하다.

퓨필에서 단지 파면 위상을 검색하는 최신 기술로부터의 방법과 비교하면, 본 발명은 장면으로부터 획득된 디포커싱된 이미지들의 세트가 가장 피트되는 파면 위상을 단층 촬영으로(tomographically) 검색하는 장점을 갖는다. 파면 위상의 단층 촬영 측정은 진입 퓨필의 뷰의 전체 필드에서 수차를 보정하는 단계를 허용한다.

일 실시예에서, 방법은 방정식들의 시스템을 확인하는 라이트 필드의 값으로서, u, M ≤ P 외에 M 값들에서 거리 F에서 포커싱된 라이트 필드 (L)의 값을, 상기 복수의 캡쳐된 이미지들로부터 선택된 P 이미지들로부터, 결정하는 단계:

,

여기서 P는 상기 라이트 필드를 결정하기 위해 고려되는 상기 이미지들의 수이고, F 는 상기 렌즈의 초점 길이이고, L _F 는 거리 F에서 포커싱된 상기 라이트 필드의 값이고, α _j F는 상기 이미지 j의 초점 거리이고, I _j (x)는 상기 이미지 j의 강도이고, [x]는 x에 가장 가까운 정수를 표시함,

1 ≤ j ≤ P이고, 각각의 이미지 j에 대한 결과로서, 피트(fit)로부터의 결과인 u _j 의 값에서 평가된 상기 라이트 필드 L _F (x), 즉, 상기 값 u _j 에 대응하는 상기 라이트 필드의 뷰(view)를 획득하는 단계를 추가적으로 포함하고, x 및 u는 각각 상기 카메라의 렌즈 및 센서에서의 상기 위치를 결정하는 이차원 벡터들이다.

본 발명의 제1 측면에 따른 파면 위상을 결정하는 방법과 조합하여 라이트 필드를 결정하는 단계를 설명하였지만, 라이트 필드를 결정하는 방법은 개별적으로 수행될 수 있다. 따라서, 본 발명의 추가적인 측면은 라이트 필드를 결정하는 방법을 제공하고 이는 다음을 포함한다:

a) 사진 카메라에 의하여 상기 장면의 복수의 이미지들을 캡쳐하는 단계 - 상기 이미지들은 상이한 거리들에 배치된 초점의 평면들에 포커싱되고, 상기 카메라는 초점 길이 F의 렌즈 및 그것의 초점 길이와 동등한 상기 렌즈로부터 거리 배치된 센서를 포함함 - 및

방정식들의 시스템을 확인하는 라이트 필드의 값으로서, u, M ≤ P 외에 M 값들에서 거리 F에서 포커싱된 라이트 필드 (L)의 값을, 상기 복수의 캡쳐된 이미지들로부터 선택된 P 이미지들로부터, 결정하는 단계:

,

일 실시예에서, 라이트 필드의 값은 최소 제곱에 의해 상기 방정식의 시스템을 풀어서 결정되고, 즉, 상기 방정식 최소화는:

.

제2 측면에서, 장면과 관련된 전자기장의 복소 진폭을 결정하는 장치는 정의되고, 다음을 포함한다

그것의 이미지 공간에서 상기 렌즈로부터 일정한 거리에서, 초점 길이 F의 렌즈 및 상기 렌즈에 평행하게 배치된 이미지 센서를 포함하는, 이미지들을 캡쳐하는 수단, 및

본 발명의 제1 측면에 따른 상기 방법의 단계 b)를 수행하기 위해 구성된 처리 수단.

상호 배타적인 특징들의 조합을 제외하고, 본 명세서에서(청구항들, 상세한 설명 및 도면들을 포함하는) 설명된 방법들의 모든 특징들 및/또는 단계들은 임의의 조합으로 결합될 수 있다.

아래에 기술되는 설명을 보완하고 그의 바람직한 실시예에 따른 본 발명의 특징들을 더 잘 이해하도록 돕는 목적을 위해, 도면들의 세트가 상기 설명의 통합된 부분으로서 동봉되어 있으며, 다음은 예시적이고 비제한적인 방식으로 묘사된다.
도 1 및 2는 본 발명의 방법의 일부를 개략적으로 묘사한다.
도 3은 카메라의 센서 및 렌즈 사이의 라이트 필드를 개략적으로 묘사한다.
도 4 및 5는 본 발명의 방법의 일 부분을 개략적으로 예시한다.
도 6은 상이한 평면들에 대응하는 파면 위상을 획득하는 단계를 개략적으로 묘사한다.
도 7 및 8은 각각 변환 도메인 및 측정 도메인에서의 이미지 재구성을 도시한다.

이차원 파면 재구성

본 발명의 방법은, 다항식 기반에서의 파면 위상 수평 및 수직 기울기들의 데카르트 분포(Cartesian distribution)를, 둘 이상의 디포커싱된(defocused) 이미지들로부터, 검색하는(retrieving) 단계를 허용하며, 이는, 구형 방법들(zonal methods)(허드진(Hudgin), 등) 또는 모달 방법들(modal methods)이든, 기울기들로부터 위상 재조성을 위한 임의의 방법을 차례로 사용하는 단계를 허용한다. 모달 방법들의 경우, 파면 위상 지도가 확장되고 피트되는(fitted) 다항식의 세트는 문제의 필요에 따라 선택될 수 있다: 제르니케 다항식(Zernike polynomials)(고전적 광학 또는 자이델 수차와 일치), 복소 지수(푸리에 변환 커널 포함, 계산 속도가 빨라짐), 카루넨 루베 함수(Karhunen-Loeve function)(임의의 분석 형태가 없지만 고리형 퓨필(annular pupils)의 기초를 구성, 이는 망원경에서 전형적임), 등.

일반적으로, 다항식의 세트

에서 그의 확장으로부터 위상 지도를 복원하는 방법은 다음과 같이 포인트 (x,y)에서 파면 위상을 고려하는 단계를 포함한다:

N은 확장에 사용된 다항식의 수를 나타낸다.

수평 및 수직 데카르트 기울기

및

는 각각 파면의 다음의 부분 미분에 대응한다:

광자는 평면 -z로부터 평면 +z로 변위된다고 가정되고, 중간 평면의 포인트들 (x, y)에서의 파면은 추정된다.

전파된 파면 강도는, 대응하는 이차원 누적 분포 함수(CDF)(C(x, y)로 표시됨)를 통해, 광자의 발생 확률(f _XY 　(x,　y)로 표시됨)을 고려하기 위한 이차원 밀도 함수(PDF)에 의해 표현된다.

밀도 함수는 확인한다:

변수 x에서의 한계 누적 분포 함수(marginal cumulative distribution function)는 다음과 같이 구성된다:

f _X 는 밀도 함수(f _XY )로부터 다음과 같이 구성된 한계 밀도 함수(marginal density function)이다:

대응하는 변수에서의 누적 분포 함수가 되는 속성은 한계 밀도 함수에 대해 보존된다. 그러므로,

고려된 두 이미지들에 대응하는, 평면 -z 및 +z에 데이터가 있으므로, 두 누적 분포 함수들이 있다. 평면 -z에서의 한계 누적 분포 함수는 C ₁ _X 로 표시되고, 평면 +z에서의 한계 누적 분포 함수는 C ₂ _X 로 표시된다.

이 방법은 평면 -z 및 +z에서의 f _XY 의 값들로부터 시작하고, 평면 -z과 관련된 데이터는 f ₁ _XY 에 의해 정의되고 평면 +z과 관련된 데이터는 f ₂ _XY 에 의해 정의된다:

및

실수의 단조 증가 시퀀스 (s(j))는 0과 1 사이의 값들의 1 ≤ j ≤ T로 고려된다, 즉, 각각 1 ≤ j ≤ T 에 대해 0 ≤ s(j) ≤ 1.

한계 누적 분포 함수에서의 히스토그램 매칭은 수행되어, s(j)의 값들의 누적 분포 함수의 값들의 미러 이미지(mirror image)를 발견한다. 다시 말해, 다음을 충족하는 값 u ₁ _X (j)이 요구된다:

각각 1 ≤ j ≤ T에 대해, 그리고 다음을 충족하는 값 u _2X(j):

그러므로, u ₁ _X (j) 및 u ₂ _X (j)은 s(j)의 고정 값마다 발견되었다. 그래픽으로 말하자면, 도 1에서 개략적으로 묘사된 것과 같이, 검색(search)은, 모든 좌표들을 식별하는, 대응하는 포인트들의 x-축 스캔으로 수행된다.

더 정확한 값들을 제공하는 것은 이제 각 이 값들에 대한 두 변수들의 밀도 함수로부터 다음을 충족하는 값들 u ₁ _Y (k) 및 u ₂ _Y (k)를, 1로부터 T 로 각 값 k에 대해 발견하는 것이다:

및

함수들

및

은 각각 고려된 이미지들 I ₁(x,y) 및 I ₂(x,y)에 대응한다.

그래픽적으로, 수행되는 작동은, 도 2에 개략적으로 묘사된 것과 같이, x-축의 각 대응하는 값을 누적 분포 함수를 통해 미러 이미지들을 일치시키는 좌표와 연관시키는 것이다.

결과는 높이 -z에서

, 및

높이 +z에서

에 의해 결정된 포인트들의 이차원 메쉬(two-dimensional mesh)이고, 각각 1 ≤ j, k ≤ T이고, 점들 (u ₁ _X (j), u ₁ _Y (k)) 및 (u ₂ _X (j), u ₂ _Y (k))은 파면의 광선의 동일한 값과 관련된다.

중간 평면의 포인트들에서의 파면의 방향 미분들은 식들에 의해 결정되는 것으로 간주될 수 있다:

각각 1 ≤ j ≤ T, 및

각각 1 ≤ k ≤ T.

그러므로, 방정식들 (2) 및 (3)의 시스템은 다음과 같이 작성될 수 있다:

또는 단순화된 형태로:

(6) S=A·d

여기서 미지수는 계수들의 행렬 d이다. 방정식 (6)은 미지수들 (N)보다 더 많은 방정식들 (2T²)이 있는 방정식들의 과도하게 결정된 시스템(overdetermined system) 을 나타내며, 2T²는 사용 가능한 픽셀들의 수 (x,y)이다.

확장의 계수 d는 최소 제곱의 장면에서의 평면에 가장 피트되는 것으로서 발견될 수 있다. 선행 시스템을 푸는 바람직한 방법은 다음과 같이 최소 제곱에 의해 푸는 것이다:

(7) d = (A^TA)^- ¹A^TS = A⁺ S

방적식 (7)은 행렬 A^TA가 특이(singular)인지 아닌지 여부에 따라, 당업자에게 공지된 다수의 기술들에 의해 풀어질 수 있다.

일 특정 실시예에서, 파면은 복소 지수의 함수로서 학장된다. 확장은 일정 N ≥ 1에서 절단되고(truncated) 다음과 같이 작성될 수 있으며

여기서 (d_pq)_p,q ≥ 0는 계수의 이중으로 인덱싱된 패밀리(doubly indexed family)이며,

각각 0 ≤ p, q ≤ N - 1.

이 포인트에서, 최소 제곱의 문제는 x 또는 y에 대해 도출함으로써 획득된 데이터로 해결될 수 있고, 다음은 식(8)로부터 유도된다:

그러므로, 각각 0 ≤ p, q ≤ N - 1:

중간 포인트들(midpoints)에서 식 (4) 및 (5)를 고려하고 식 (9) 및 (10)에서의 이들 값들을 대체하여 평가함으로써, 다음의 과도하게 결정된 시스템에서 도달하는(arrive) 것이 가능하고:

N ² 미지수 및 2T ² 방정식들과 함께. T의 값은 데이터에 의해 결정되며, 이는 지수의 관점에서 위상의 확장에서 가수(addends)의 수보다 훨씬 큰 것으로 간주된다.

이 경우에서, 확장의 계수들은 식으로부터 획득될 수 있다:

여기서 DF는 이산 푸리에 변환을 표시한다.

이미지의 단층 촬영 복원

본 발명의 방법은 디포커싱된 이미지들로부터 파면 위상의 이차원 복원을 제공한다. 획득된 파면 위상은 오브젝트 공간에서 켤레 위치에 대한 누적 위상 차에 대응한다. 다시 말해, 디포커싱된 이미지들이 퓨필에서 테이크된 이미지들과(또는 광학 시스템의 진입 퓨필(entrance pupil)로부터의 아주 작은 분리와) 거의 대응하는 렌즈의 초점으로부터 너무 멀리 떨어져 있어 테이크된 경우, 대물 렌즈(objective)에 도달까지 장면의 뷰의 전체 필드에 축정된 위상은 획득될 것이다. 사용된 디포커싱된 이미지 쌍이 초점에 접근함에 따라, 오브젝트 공간에서의 켤레 평면은 진입 퓨필로부터 멀리 떨어진 평면에 대응할 것이고, 이는 해당 평면에 장면에서의 누적된 위상을 서술할 것이다.

두 누적된 위상들 사이의 차는 광학 시스템의 퓨필 평면 및 가장 먼 평면 사이에 존재하는 위상 시프트(phase shift)를 제공한다. 그러므로, 사용된 디포커싱된 이미지들의 수가 많을수록, 오브젝트 공간의 이산화(discretization) 및 파면 위상의 획득된 단층 촬영 분포가 더 완전해질 것이다. 이 파면 위상의 단층 촬영 분포는 사용된 이미지들의 수가 허용하는 삼차원 해상도(광축 z에서) 및 캡쳐 센서와 연관된 원래의 이차원 광학 해상도(optical resolution)를 갖을 것이다. 도 6에 개략적으로 묘사된 바와 같이, 누적된 파면 위상들의 서브이산화(subdiscretization)를 획득하기 위한 획득 평면들(acquisition planes)의 임의의 쌍을 고려하는 것이 가능하기 때문에, 삼차원 해상도가 획득된 디포커싱된 이미지들 또는 평면들의 수와 엄격하게 일치하지 않는다는 점을 지적해야 한다.

평면 I_a 및 I_b 으로, 퓨필에 대한 누적된 위상 W ₁(x,y)은 발견된다. I_a _' 및 I_b'로, 누적된 위상 W ₂(x,y)은 발견된다. W ₂ 및 W ₁ 사이의 차는 키(key)에 의해 표시되는 섹션(section)에 위상을 제공한다. 더 많은 평면들(더 많은 캡쳐된 이미지들)을 사용함으로써, 위상의 z 축에서의 해상도는 증가되고, 파면 위상의 삼차원 지도가 획득된다.

본 발명의 방법은, 전산 사진술 및 적응 광학, 특히 대기의 칼럼(column)과 연관된 교류(turbulences)(파면 위상)의 삼차원 지도를 획득하는 천문 관찰들과 관련된 응용 분야에서, 교류 매체(turbulent media)(예컨대 증강 현실 안경, 휴대 전화, 현미경 또는 내시경)를 통해 뷰를 수정해야 하는 응용 분야에서, 투명 유기 조직 샘플들(transparent organic tissue samples)의 굴절률의 변화의 단층 촬영 측정에 대한 응용 분야에서, 또는 교류 매체(대기, 해양, 체액, 등)를 통한 광 통신의 응용 분야를 포함하는, 장면의 관찰과 관련된 파면이 알려져야 하는 임의의 기술 분야에 적용될 수 있다.

이미지 강도 재구성

라이트 필드 L은 카메라의 대물 렌즈를 통과하는 광선의 사차원 표현이다. 단순화를 위해, 단순화된 이차원 표기법(notation)이 사용된다. 그러므로, 도 3에 묘사되는 바와 같이, L _F (x,u)는 위치 u = (u ₁, u ₂)에서의 카메라의 메인 렌즈를 통과하고 초점 길이 F의 카메라에 대한 위치 x = (x ₁, x ₂)의 센서에 도달하는 광선을 나타낸다.

그러므로, 카메라에 들어오는 모든 광선 및 센서에 도달하는 위치들을 나타내는 사차원 볼륨(four-dimensional volume)이 있다. 엔쥐(Ng)(엔쥐, 알.(Ng, R.), 푸리에 슬라이스 사진술(Fourier slice photography), ACM 트랜잭션스 온 그래픽스(in ACM Transactions on Graphics)(TOG), 24권, 3호, 페이지 735-744, ACM, 2005, 7월)는 상기 센서가 거리 αF에 있으면 센서 상에 투영될 이미지가 각도

에서 라이트 필드의 이차원 투영에 대응할 것이라고 설명한다:

도 4에 개략적으로 묘사되는 바와 같이.

본 발명의 방법은, 도 5에 개략적으로 도시된 바와 같이, 서로에 대해 변위된 상이한 값들 u에서 이미지들의 합으로서 I _α (x)를 해석하는 것, 및 값 α'로 인해 변위되어 서로에 부가된 이미지들의 세트가 초점 거리 Fα '로 캡쳐되는 입력 이미지에 가장 가까운(approximates) 것을 발견하여, 상이한 값들 u에서 이미지들을 추정하는 것에 기초한다. 그러므로 x차원의 변위(픽셀에서)는 u+(x-u)/α'이다.

이 방법은 종래의 사진 카메라로 캡쳐되고 거리 α ₁ F , α ₂ F … α _P F 에서 포커싱된 P 이미지들(I ₁(x), I ₂(x)…I _P (x))로부터 u외의 M 값들에서 거리 F (L _F )에서 포커싱된 라이트 필드의 값을 추정하는 단계를 포함한다. 이를 위해, 상기 방법은 라이트 필드의 값을 발견하고자 하여 다음을 충족한다:

위 식은 유형 Ax = b 의 방정식의 선형 시스템에 의해 간단하게 표현될 수 있다. 이 시스템은 그것이 최소화

가 되도록 x를 위해 발견함으로써 풀릴 수 있다.

지금까지 단일 채널 이미지들이 가정되었다. (다중 채널들을 갖는)컬러 이미지들의 경우에서, 행렬 A를 한 번 생성하는 것은 충분하다. 그런 다음 풀려질 채널의 이미지들에 대한 정보가 포함되는 새로운 벡터 b가 만들어진다.

본 발명에 따른 이미지의 강도를 재구성하는 방법은 완전한 광학 해상도(올-인-포커스(all-in-focus))로 완전히 포커싱된 단일 이미지를 생성하는 단계, 올-인-포커스 스테레오 쌍을 생성하는 단계, 올-인-포커스 다중-스테레오 이미지(라이트 필드)를 생성하는 단계, 및 현미경, 사진술, 내시경, 촬영 기술, 등의 응용 분야로, 원하는 곳에 포커싱된 라이트 필드를 생성하는 단계를 허용한다.

예시

8 요소들의 두 이미지들을 가정하여, F = 1 m 의, 거리 α₁=2 및 α₂=4에서 포커싱된, I₁(x) 및 I₂(x). 이 경우에서의 합산은 n = 1로부터 n = 2로 인덱스들을 사용한다.

j = 1에 대한 방정식들은:

이고 j=2에 대한

확장:

행렬 형태에서:

선행 시스템의 해상도는 라이트 필드 L _F 의 값들을 제공한다. 선행 시스템에서 임의의 방정식에서 정의되지 않은 라이트 필드의 값들은 값 0을 취한다.

도 7은 최신 기술로부터의 방법에 따른, 변환 도메인에 수행된 장면의 이미지 재구성을 도시한다. 도 8은 디포커싱된 이미지들로부터 라이트 필드를 획득하기 위한 본 발명의 방법을 사용하여, 측정 도메인에 수행된 동일한 장면의 이미지 재구성을 도시한다. 도 7 및 8의 이미지들이 동일한 신호 강도(strength) 값이 정규화되지 않았지만, 측정 도메인에서 수행되는 재구성이 해상도 테스트 수치들의 가장자리에서 더 잘 정의되고 더 선명하다는 것을 알 수 있다. 박스에 표시되고 확대된 영역은 두 검색들(retrievals) 사이의 품질 차이를 더 완벽하게 보여준다.

Claims

장면과 관련된 전자기장의 복소 진폭을 결정하는 방법에 있어서,
a) 사진 카메라에 의하여 상기 장면의 복수의 이미지들을 캡쳐하는 단계 - 상기 이미지들은 상이한 거리들에 배치된 초점의 평면들에 포커싱되고, 상기 카메라는 초점 길이 F의 렌즈들의 시스템 또는 렌즈 및 상기 이미지 공간에서 상기 렌즈로부터 일정한 거리에 배치된 센서를 포함함 -
b) 상기 복수의 이미지들로부터 적어도 하나의 이미지 쌍을 테이크하고 상기 쌍의 두 이미지들의 초점의 평면들에 관한 상기 중간 평면에 대응하는 오브젝트 공간에서의 상기 켤레 평면에 누적된 파면을 결정하는 단계
를 포함하고,
파면 W(x,y)을 결정하는 단계는:

는 미리 결정된 다항식들의 세트이고 N은 확장에 사용된 상기 다항식들의 수이며,
계수 d _j 는 방정식들의 시스템을 푸는 것에 의해 결정되고:

2z는 상기 쌍의 두 이미지들의 초점의 평면들 사이의 거리이고,
는 상기 쌍 중 상기 제1 이미지에 속하는 포인트들이고,
는 상기 쌍 중 상기 제2 이미지에 속하는 포인트들이며, 각각 1 ≤ j, k ≤ T이며, 다음이 확인되며:

및

s(j)는 0과 1 사이의 실수 값들의 시퀀스이고, 각각 1 ≤ j ≤ T에 대해 단조적으로 증가하고,
f _XY 는 광자의 발생 확률을 고려한 이차원 밀도 함수이고, 상기 쌍의 대응하는 이미지의 정규화된 강도 I (x,y)에 의해 각각의 경우에서 결정되는, 즉:

방법.
제1항에 있어서,
상기 파면은 방정식에 의해 결정되는:

여기서

각각 0 ≤ p, q ≤ N - 1인
방법.
제1항 또는 제2항에 있어서,
복수의 이미지 쌍들에 대한 상기 누적된 파면을 결정하는 단계
를 포함하는 방법.
제3항에 있어서,
상기 누적된 파면들과 상기 평면들의 차로서 상기 오브젝트 공간의 두 평면들 사이의 위상 시프트를 결정하는 단계
를 포함하는 방법.
제4항에 있어서,
복수의 대상 평면들에 대한 상기 위상 시프트를 결정하는 단계
를 포함하는 방법.
제1항 내지 제5항 중 어느 항에 있어서,
방정식들의 시스템을 확인하는 라이트 필드의 값으로서, u, M ≤ P 외에 M 값들에서 거리 F에서 포커싱된 라이트 필드 (L)의 값을, 상기 복수의 캡쳐된 이미지들로부터 선택된 P 이미지들로부터, 결정하는 단계:

,

P는 상기 라이트 필드를 결정하기 위해 고려되는 상기 이미지들의 수이고,
F 는 상기 렌즈의 초점 길이이고, L _F 는 거리 F에서 포커싱된 상기 라이트 필드의 값이고, α _j F는 상기 이미지 j의 초점 거리이고, I _j (x)는 상기 이미지 j의 강도이고, [x]는 x에 가장 가까운 정수를 표시함,
1 ≤ j ≤ P이고, 각각의 이미지 j에 대한 결과로서, 피트(fit)로부터의 결과인 u _j 의 값에서 평가된 상기 라이트 필드 L _F (x), 즉, 상기 값 u _j 에 대응하는 상기 라이트 필드의 뷰(view)를 획득하는 단계
를 추가적으로 포함하고,
x 및 u는 각각 상기 카메라의 렌즈 및 센서에서의 상기 위치를 결정하는 이차원 벡터들인
방법.
제6항에 있어서,
상기 라이트 필드의 값은 최소 제곱에 의해 상기 방정식의 시스템을 풀어서 결정되고, 즉, 최소화는:

인 방법.
제1항 내지 제7항 중 어느 항에 따라서,
상기 각 선택된 이미지 쌍의 두 이미지들은 각각 초점의 양쪽에서 테이크되는
방법.
제1항 내지 제8항 중 어느 항에 따라서,
상기 각 선택된 이미지 쌍의 두 이미지들은 초점의 양쪽에서 대칭 거리로부터 테이크되는
방법.
장면과 관련된 전자기장의 위상을 결정하는 장치에 있어서,
그것의 이미지 공간에서 상기 렌즈로부터 일정한 거리에서, 초점 길이 F의 렌즈 및 상기 렌즈에 평행하게 배치된 이미지 센서를 포함하는, 이미지들을 캡쳐하는 수단, 및
제1항에 따른 상기 방법의 단계 b)를 수행하기 위해 구성된 처리 수단
을 포함하는 장치.
제10항에 있어서,
상기 처리 수단은,
제2항 내지 제9항 중 임의의 항에 정의된 동작을 수행하기 위해 추가로 구성되는
장치.