KR101590778B1 - 3차원 장면으로부터 시각 정보의 실시간 포착을 위한 방법 및 카메라 - Google Patents

Abstract

본 발명은 대상 공간과 관련된 초점 스택을, 이산 하이퍼큐브 내의 제한된 평면의 길이를 따른 합산 변환을 사용하여, 대상 공간의 플레놉틱 함수로부터 계산하는 방법에 관한 것으로, 이 방법은 계산 시간이 상당히 줄어들게 한다. 본 발명은 또한 획득된 초점 스택의 해상도를 증가시키는 방법에 관한 것이다. 또한, 본 발명은, 3차원 장면의 표면의 각 위치에서 각각 파면의 복합 진폭의 계수와 위상, 및 깊이의 실시간 회복을 위한 두 가지 방법과, 상술한 방법을 수행하기 위해 적응된 시스템에 관한 것이다.

Description

3차원 장면으로부터 시각 정보의 실시간 포착을 위한 방법 및 카메라{METHOD AND CAMERA FOR THE REAL-TIME ACQUISITION OF VISUAL INFORMATION FROM THREE-DIMENSIONAL SCENES}

본 발명은 광학 및 영상 처리 분야에 관한 것이다.

본 발명은 대상 체적(object volume)과 관련된 초점 스택(focal stack)을 계산하기 위한 방법, 얻어진 초점 스택의 영상의 해상도를 개선하기 위한 방법, 3차원 장면 내에서 거리의 실시간 측정을 위한 방법 및 파면(wavefront)과 관련된 전자기장의 복합 진폭의 실시간 단층촬영 측정을 위한 방법에 관한 것이다.

본 발명은 장면의 표면 위치에서 거리와 전자기장의 복합 진폭을 알 수 있도록 허용한다.

게다가, 본 발명은 넓은 범위의 체적 내에서 3차원 장면의 시각 정보의 실시간 포착을 위한 카메라에 관한 것으로, 이러한 카메라는, 대물 렌즈와 대물 렌즈의 영상 공간 내에 위치한 렌즈렛(lenslet, 소형렌즈) 어레이, 렌즈렛의 초점에 놓인 센서(렌즈렛에 의해 형성된 영상을 수집함), 및 카메라에 의해 측정된 대상의 체적과 관련된 초점 스택을 계산하고, 카메라에 관해 전자기장의 복합 진폭(계수 및 위상)과 감지된 대상 공간의 임의의 점에서의 방사 표면의 3차원 위치를 계산하기 위한 병렬 계산 처리수단의 사용을 특징으로 한다.

본 발명은, 파면을 알 필요가 있는 임의의 영역 또는 응용, 예컨대 지상 천문 관측, 안과학, 입체영상 등에서뿐만 아니라, 도량형이 요구되는 실제 장면, 3D 텔레비전, CCD의 세척, 자동차 기계학 등에서 유용할 수 있다.

본 발명은 영상 품질이 필수적인(예, 진단을 위해) 임의의 광학적 문제점과 관련된 파면의 복합 진폭의 3차원 측정을 달성하기 위한 수요와, 수 미크론에서 수 킬로미터에 이르는 넓은 범위의 체적 내에서 충분히 신뢰성 있고 정확한 깊이의 맵을 얻기 위한 수요에 관한 것으로, 3D 텔레비전, 3D 영화, 의학 등을 위한 3차원 정보의 실시간 생성에 관한 것이다.

대형 구경을 갖는 현재의 망원경(GRANTECAN, Keck,...)과 미래의 대형 망원경(직경이 50 또는 100 미터)을 위한 보상광학(adaptive optics)은 다중공역파면 광학(multiconjugate optics)으로 불리는 단층촬영의 형태를 이용하여 대기 위상의 3차원 분포를 측정하는 것에 초점을 맞춘다. 망원경으로 관찰되는 대상의 시야에 항상 하나의 자연적인 포인트 소스(point source)가 있는 것과 같이, 하늘에서 충분한 수의 자연적인 포인트 소스의 부재는 인공적인 포인트 소스 : Na stars(고도 90 Km)의 사용을 강요한다.

초점 언아이소플라나티즘(anisoplanatism)을 방지하면서, 하늘의 대상으로부터 들어오는 광빔에 영향을 주는 전체 대기를 정정하기 위하여, 수 개의 이들 인공적인 별(적어도 5개)을 사용할 필요가 있다. 생성을 위해서, 이들 각각은 매우 높은 해상도 및 높은 출력의 펄스 레이저를 필요로 하는데, 이는 매우 값비싼 기술이다. 게다가, 이러한 높은 코스트에도 불구하고, 다중공역파면 광학은 기껏해야 난류의 3개의 수평층(3개의 동시 측정 위상 센서를 통해)과 관련된 대기 위상만을 측정할 수 있다, 즉, 이는 영상에 영향을 미치는 3차원 원통의 매우 작은 부분을 스캔한다. 더욱이, 위상의 추정은 가시 영역에서 대기의 안정 시간(10 ms) 내에서 광 빔의 보상 정정을 상당히 복잡하게 하는 복잡한 계산을 통해 회복된다.

그러나, 본 발명의 배경은 천체물리학 분야에만 초점을 맞추는 것은 아니다. 광학 또는 안과학 분야에서, 인간 눈의 단층촬영을 수행하는데 있어서 주된 관심은, 보다 쉽게 진단을 수행할 수 있도록 하기 위해 환자 망막의 저부의 선명한 영상을 획득하여 취하는 의료 전문가를 기반으로 한다. 눈 내의 수성 액, 유리 액 및 결정 렌즈는 망막 저부의 획득될 수 있는 영상을 왜곡시키는 수단처럼 거동한다.

이러한 경우에 대해, 안정적인 변형이기 때문에, 지상 대기에서처럼 빈번하게(매 10 ms) 측정하는 것은 필요치 않다 할지라도, 망막 저부의 양호한 영상을 얻을뿐만 아니라, 가능한 눈의 외상의 공간적인 위치를 검출하기 위해서라도 충분한 3차원 해상도가 요구된다.

최종적으로, 텔레비전 또는 영화의 영상과 같은 다른 분야에서 콘텐츠의 실시간 생성인 3차원 텔레비전에 관한 도전과제가 존재하고, 필수적인 문제점 중 하나는 그 기술이 복잡하고 힘들어 기존 3D 디스플레이에서 볼 수 있는 3D 컨텐츠의 생성을 위한 처리 도중에, 인간의 간섭을 필요로 한다는 점이다. 이러한 관점에서, 본 명세서에 제안한 기술의 병렬 계산 하드웨어(GPUs 및 FPGAs)에 대한 최적화된 구현은 3차원 콘텐츠의 실시간 생성을 허용한다.

렌즈렛이 수렴 렌즈의 영상 평면에 위치하여, 영상 파라메터의 측정을 위한 디바이스와 방법을 야기하는 접근법이 상술한 분야의 종래 기술에서 알려져 있지만, 그럼에도 불구하고, 광학적 왜곡의 단층촬영 측정을 하거나, 장면 내에서 거리를 획득하기 위하여 상기 조립체를 사용하지 않는다.

예컨대, Adelson과 Wang은 본 발명의 기술과는 완전히 다른 기술을 통해 거리를 획득하기 위하여 디바이스를 사용한다("Single lens stereo with a plenoptic camera ", 패턴 분석 및 기계 지능에 대한 IEEE 회보(Vol 14, No.2, 99-106, 1992)참조).

저자 Ren Ng 등은 수 세제곱 미터 체적의 범위에서 실제 장면의 초점이 맞춰진 사진을 획득하기 위해서만, 통상적인 필드 깊이 기술 보다 뚜렷이 양호한 품질을 갖는 영상 평면 내의 렌즈렛과 관련된 푸리에 슬라이스 기술을 사용한다("Light field photography with a handheld plenoptic camera ", 스탠포드 기술 보고서 CTSR 2005-02 참조). 이 경우, 제안된 기술은 필요한 체적을 담당하는 거리에 대해 반복적으로 적용된다면 초점 스택의 계산을 허용하는데, 이는 실시간 처리를 불가능하게 하는 계산 요건을 수반한다.

본 발명의 명세서 전체를 통해, 한 장면의 초점 스택은, 동일한 시점으로부터, 하지만 초점 거리가 변하는 종래의 사진 영상의 그룹을 취하는 것으로부터 초래되는 영상 체적으로서 이해될 것이다.

정보 추출 처리에 관해, 라이트-필드(light-field) 또는 4차원 플레놉틱(plenoptic) 함수{f(u,v,x,y)}로부터 사진 영상을 얻는 것이, 렌즈의 평면의 각 점(u,v)로부터 들어와 센서의 각 점(x,y)에 도달하는 모든 광선을 적분함으로써 가능한 것으로 알려져 있다. 상기 적분을 통해, 플레놉틱 캡쳐 효과는 원상태로 돌려진다. 즉, 렌즈렛에 의해 캡쳐될 때 광선이 다른 공간 위치로 방향이 재-지정되면, 종래의 영상을 고쳐 쓰기 위하여, 재-그룹화하는 것이 필요하다. 다시 말해, 다른 각도 값(u,v)으로부터 들어오는 위치(x,y)에 대해 공통적으로 다시 적분하는 것이 필요하다.

연산자 {

} 또는 사진 구성 적분에 의해 획득된 영상은, 렌즈렛-센서 조립체의 대물 렌즈에 대해 결합된, 거리 F에서의 평면 상에 초점이 맞춰진 종래의 센서로 얻어졌을 사진 영상을 재영상화한다. F 이전 또는 이후에 거리(

)에서의 평면 내에서 재영상화가 요구된다면, Ren Ng는 삼각형의 유사성을 통해 다음 사항이 추정되어야 함을 나타내었다:

각각의 가능한 거리(

)에 대한 이러한 연산자의 추정는 O(N⁴)번의 연산을 필요로 하고, 따라서 N개의 평면에 대해 O(N⁵)번의 연산을 필요로 할 것이고, 여기에서 N은 플레놉틱 함수의 각 차원이 샘플링되는 해상도이다.

Ren Ng는 또한

복합 합산 및 곱셈 연산을 수반하는 라이트-필드의 4D 푸리에 변환이 계산된다면, 다른 재초점 평면들이 라이트-필드의 4D 변환 함수의 절단된 2D 회전 및 2D 안티-푸리에 변환을 수행함으로써 얻어질 수 있고, 이들 각각은 감지된 4D 함수의 푸리에 변환의 초기 비용에 더해질 계산상의 복잡도{

+

}를 갖는다.

그러므로, 초점 스택의 계산의 계산 비용을 줄이고, 따라서 그 계산 시간을 줄일 수 있는 방법이 필요하다.

본 발명의 초점 스택을 계산하는 방법의 가장 밀접하게 관련된 배경 문헌은 Gotz와 Druckmuller("A fast digital Radon transform - an efficient means for evaluating the Hough transform". 패턴 인식, Vol 29, no. 4, 711-718쪽, 1996)에 의해, 그리고 단독으로 Brady("A Fast Discrete Approximation Algorithm for the Radon Transform ". SIAM J. Comput., vol. 27, no. 1, 107-119쪽, 1998)에 의해 제안된 이산의 고속(또는 저자에 따라, 근사) 라돈 변환(Radon transform)이고, 이는 일련의 이산 라인의 길이를 따라

번의 합산을 통해 값의 합산을 동시에 추정하고, 이산 라인 각각은 2차원 데이터 격자 상에 배열된 원점에 대한 경사와 변위를 특징으로 한다. 이는

번의 합산에서 각 라인 상의 합산의 직접 추정은

번의 연산을 필요로 할 것이고, 따라서 N 경사와 N 변위에 대한 평가는

번의 합산을 필요로 할 것이다.

최종적으로, 장면의 정보를 획득하기 위한 처리를 무시하고, 본 발명의 시스템을 고려하면서, Richard M. Clare 와 Richard G. Lane("Wave - front sensing from subdivision of the focal plane with a lenslet array", J. Opt . Soc . Am . A, Vol. 22, No. 1, 117-125쪽, 2005)은 영상 평면의 임의의 위치가 아니라 수렴 렌즈의 초점에 렌즈렛 배열이 곧바로 배치되는 시스템을 제안하였고, 이를 통해 파면의 위상이 렌즈의 동공에서만 얻어진다.

그러므로, 파면의 위상을 지형적으로, 즉 렌즈의 동공에서만이 아니라 대상 공간의 3차원 체적 내의 임의의 거리에서 결정하는 것을 허용하는 방법이 필요하다.

본 발명은 제 1양상에서 청구항 제 1항에 따라 한 장면과 관련된 초점 스택을 계산하기 위한 방법을 제공함으로써 이전에 언급한 단점을 해결하는데 그 목적이 있으며, 상기 방법은 처리의 계산 비용과 계산 시간을 상당히 줄이는 것을 허용하고, 이는 종래 기술에서 알려진 방법에 대해 상당한 개선을 수반한다.

본 발명의 부가적인 목적은 장면 내에서 거리를 측정하는 방법과, 계산적으로 최적화되고 병렬 계산을 위해 적합한 전자기장의 복합 진폭을 측정하는 방법을 제안하는 데 있다.

본 발명은 다음 사항들을 허용한다.

- 대기 안정의 각 시간 내에서 단일 측정 및 단일 센서에 제한되는 것,

- 각 난류 수평층과 관련된 계수와 위상의 회복, 즉 사용하는 연산(합산)의 개수와 유형을 고려시 고속이지만, FPGA(필드 프로그램 가능한 게이트 어레이)와 같은 그래픽 처리 유닛(GPU) 또는 재구성 가능한 하드웨어 유닛에 대해 이들의 지능 적응을 통해 더 가속될 수 있는, 초점 스택을 계산하기 위한 방법을 통해 전체 대기의 단층촬영,

- 인공적인 레이저 별을 사용할 필요성의 제거, 왜냐하면 이 새로운 기술이 후속 디컨벌루션(deconvolution)을 위해 하나의 점 신호를 통한 교정을 필요로 하지 않아, 지상 대기에 도달 시에 대상 영상의 실시간 회복을 수행할 수 있기 때문이다.

SCPH(Summation of Constrained Planes in a Hypercube) 변환으로 언급되는 본 발명의 초점 스택을 계산하기 위한 방법은 광 축의 길이를 따라 다른 위치에 초점이 맞춰지는 3차원 장면의 일련의 평면을 획득할 수 있게 하여, 프로세스의 계산의 복잡도를 감소시킨다.

본 발명의 초점 스택을 계산하기 위한 방법은 이산의 고속 라돈 변환의 계산을 위한 다중 스케일 방법의 원리에 기초하고, 부분 결과를 재사용함으로써 수행될 연산의 수를 최소화한다.

초점 스택의 계산시에 계산 비용을 줄이기 위하여, 본 발명의 방법은 이산 하이퍼큐브(hypercube) 내에서 제한된 평면의 길이를 따라 합산 변환을 사용한다. 사진 구성 적분이 4차원 하이퍼큐브의 영역을 갖는 함수에서 평편의 길이를 따른 적분을 평가하는 것과 기하학적으로 동등한 것이 관찰되어야만 한다. 이러한 점이 이해되는 상황하에, 사진 형성 적분은 적분 평면을 한정하는 경사(

과

)가 가까운 경우에 동일하다는 제한을 부가한,

의 특별한 경우이어서, 수행될 연산의 수를 줄이는 것을 허용한다.

초점 스택을 계산하기 위해 제안한 방법은, 특정 이산화 조건하에서 평면들 상에서 이산 4D 함수(

) 내에 위치한 점들의 좌표가

와

를 동시에 충족하게 되도록 그곳에 위치한 값들의 합을 계산하고, 하나보다 많은 이산 평면에 의해 수용된 점들의 부분 합을 재사용하는 것으로 이루어지는데, 여기에서

와

는 렌즈의 평면상의 수평 및 수직 차원이고,

와

는 센서 평면 상의 수평 및 수직 차원이고,

,

및

은 획득될 초점 스택의 수평, 수직 및 깊이 차원이다. 즉, 평면에서 선 적분의 경우에 이미 존재하는 이산의 고속 근사 라돈 변환을 계산하는 알고리즘은 더해진 계수를 갖고 수평 및 수직 경사가 동일한, 4차원 하이퍼큐브 상의 4차원 하이퍼평면 적분에 도달할 때까지 확장될 수 있다.

단계 m까지의 데이터의 부분 변환은 다음과 같이 정의된다:

여기에서, 함수는

차원을 갖고,

이다.

함수

는

인 점들{

}의 연속이 점들{

와

}을 결합시켜, 경사(s/ (N-1))인 이산 라인을 형성함을 기술하고, 함수{

}는 이진 nuple{

}에 대응하는 값{

}을 되돌린다(return).

만약 단계 O까지의 변환된 데이터{

}가 캡쳐된 데이터{

}와 동일하게 이루어진다면,

이고, 따라서

이고,

이는 N 깊이 평면의 체적에 대해, 사진 형성 적분을 근사시킨다,

다른 N 깊이 평면은 음의 경사에 대해 유사하게 계산할 수 있다. 두 절반 체적이 깊이 O를 공유하기 때문에, 다른 거리에 초점이 다시 맞춰진 2N-1개의 영상으로 이루어진 총 초점 스택이 얻어질 것이다.

두개의 부분 단계 m과 단계 m+1을 맵핑하는 순환 공식은 상기 방법을 완벽하게 기술하고, n 회 적용해야 한다:

부분 변환(

)이 기술되는 영역은

번의 합산을 필요로 하는 프로세스에서 4D 영역으로부터 3D 영역으로 점진적으로 변하는

에 의해 요구되는 것의 절반이고, 이는 현재의 프로세스에 비해 80% 이상의 계산 시간의 절약으로 해석된다.

이러한 프로세스를 따름으로써, 그리고 본 명세서에서 제안된 방법을 통해, 장면의 표면의 각 위치에서 깊이와 파면의 복합 진폭의 계수 및 위상을 회복하는 것이 가능하고, 이는 장면의 완전한 3차원 및 실시간 스캐닝을 허용하고, 따라서 상술한 분야에서 잘 적용될 수 있다.

본 발명의 초점 스택을 계산하는 방법은 곱셈 또는 삼각 연산을 필요로 하지 않고, 오직 합산만을 필요로 하며, 차원 N⁴의 라이트-필드(light-field)로부터 다른 깊이에 초점이 맞춰진 2N-1 사진 평면을 포함하는 최종 체적에 대해 그 계산 복잡도는

정도이다.

본 발명의 방법은, 전체 체적에 대해, 종래 기술(Ren Ng)에서 기술된 초점 스택을 얻기 위한 방법이 단일 평면에서 계산을 위해 사용하는 것보다 더 적은 수의 연산을 통해, 초점 스택을 계산하는 것을 허용한다.

그럼에도 불구하고, 4D 라이트-필드를 캡쳐하는데 있어서 발생하는 문제점은 2차원 센서를 사용할 필요성이다. 정보의 전체 4D 체적을 2D 센서 상에서 얻기 위하여, 매우 높은 해상도를 갖는 센서가 필요하다. 따라서,

개의 픽셀의 센서에 대해, O(N²)개의 픽셀의 영상, 따라서, 오직 O(N²)개의 거리로 이루어진 초점 스택을 얻는 것이 가능할 뿐이다. O(N²) 정도의 해상도 감소는 매우 비싼 센서를 사용하는 것을 필요로 한다.

이러한 문제를 해결하기 위하여, 본 발명의 제 2 양상은 청구항 제 2항에 따라 초점 스택의 영상의 해상도를 개선하는 방법을 제공한다. 상기 방법에서, 장면의 요소들은 람베르시안(Lambertian) 유형의 반사율을 갖는 것으로, 즉 대상에서의 한 점에 의해 방출된 강도는 각도에 무관한 것으로 간주된다. 이러한 경우, 라이트-필드는 O(aN² ) 정도의 여분의 정보를 갖고, 여기에서 a는 0<a< 1 인 임의의 상수이다. 이러한 여분의 정보는 초점 스택의 영상의 해상도를 증가시키기 위하여 사용될 수 있다.

청구항 제 2항에 따른 방법은 O(N² )의 해상도를 갖는 영상에 대한 초점 스택으로부터 O((1-a)N⁴)의 해상도를 갖는 다른 영상에 대한 초점 스택으로 진행하는 것을 허용한다.

결정된 거리에서의 한 평면에 대응하는 초점 스택의 영상이 주어지면, 초점 스택의 해상도를 증가시키는 방법은 다음의 단계를 포함한다,

1. 라이트-필드의

개 광선을 백-프로젝팅(back-projecting)하고, 그 평면으로부터 이들 광선의 부분 위치에 대한 고(高)해상도로 하나의 영상을 구성하는 단계.

2. 람레르시안(Lumbertian) 가정에 따라 여분을 결정하는 단계.

3. 증가된 해상도(수퍼 해상도)를 갖는 이러한 영상에서, 두 가지 유형의 픽셀이 존재한다: 백프로젝팅된 광선의 값이 위치하는, 여분이 전혀 없는 픽셀, 및 평균과 같은 여분의 광선의 대표 값이 위치하는, 여분이 존재하는 픽셀.

원래의 초점 스택에 대한 영상의 O(N² ) 요소의 각각에 대해 O(aN² ) 여분을 가정하면, 초점 스택에 대한 영상의 최종 해상도는 O(N² )로부터 O((1-a)N⁴)로 증가할 것이다.

본 명세서의 배경 내에서, 수퍼 해상도는 렌즈렛에서의 해상도 O(N² )에 비해, 영상과 관련 거리 맵 모두의 증가된 임의의 선명도로서 이해된다. 그러므로 이들의 최대 한계는 픽셀의 수 O(N⁴ )이고, O((1-a)N⁴)정도의 해상도는 본 발명의 방법으로 유리하게 획득된다.

전형적으로, a의 값은 고려하는 초점 스택의 영상에 의존한다. 거리의 계산을 위해, 최소 해상도가 고정되고, 영상은 상기 최소 해상도를 얻기 위하여 암시적으로 또는 명시적으로 재샘플링된다.

본 발명의 제 3양상은 청구항 제 3항에 따라, 3차원 장면에서 거리의 실시간 측정을 위한 방법을 제공한다. 상기 방법은 위상 카메라를 통해 대상 공간의 영상을 얻는 단계와, 청구항 제 1항의 방법을 통해 초점 스택을 계산하는 단계와, 초점 스택에서 초점 품질 측정 연산자(분산, 라플라시안, 그래디언트)를 적용하는 단계와, 랜덤 마르코프 필드(random Markov field) 상의 최적의 상태를 계산하는 단계를 포함한다.

상기 방법의 단계들은 GPU 또는 FPGA와 같은 병렬 계산 하드웨어 상에서 구현되도록 적응(adapt)될 수 있고, 이는 심지어 처리 시간의 더 유리한 최적화를 초래한다.

제 4양상에 있어서, 본 발명은 청구항 제 5항에 따라, 한 장면의 파면과 관련된 전자기장의 복합 진폭의 실시간 단층촬영 측정을 위한 방법을 제공한다. 상기 방법은, 위상 카메라를 통해 대상 공간의 영상을 획득하는 단계와, 파면의 복합 진폭의 제곱 계수의 단층 촬영을 제공하는 청구항 제 1항의 방법을 통해 초점 스택을 계산하는 단계와, 대상 공간의 체적의 임의의 점에서 파면 위상의 그래디언트의 생성을 위해 연산자를 적용하는 단계와, 관련된 전자기장의 파면의 위상을 회복하는 단계를 포함한다.

상기 방법의 단계들은 GPU 또는 FPGA와 같은 병렬 계산 하드웨어 상에서 구현되도록 적응될 수 있고, 이는 심지어 처리 시간의 더 유리한 최적화를 초래한다.

3차원 장면에서 거리의 실시간 측정을 위한 방법과, 파면과 관련된 전자기장의 복합 진폭의 실시간 단층 촬영 측정을 위한 방법 모두에서, 대상 공간의 측정은 오직 한 번만 수행된다, 즉 단일 영상이 3차원 환경을 회복하기 위한 충분한 정보를 포함한다. 이러한 영상은 4차원으로 이루어진 것으로 이해할 수 있다 : 각 렌즈렛의 내부와 관련된 검출기 상의 2개 좌표와, 렌즈렛 어레이와 관련된 2개의 다른 좌표.

조립체는 단일 렌즈렛으로 구성되어, 수렴 렌즈의 영상 공간의 위치에 배치되는 충분한 해상도를 검출하기 위한 검출 표면(예, CCD 디바이스) 상에 영상을 형성할 것이고, 이는 3차원 대상 공간의 단층촬영 측정을 허용한다.

최종적으로, 본 발명의 제 5양상은 청구항 제 7항에 따라, 3차원 장면의 시각 정보의 실시간 포착을 위한 위상 카메라를 제공하고, 이러한 위상 카메라는 수렴 렌즈, 수렴 렌즈의 영상 공간의 위치에 놓이고 충분한 해상도를 검출하기 위해 검출 표면상에 영상을 형성하는 렌즈렛 어레이, 및 전자기장의 복합 진폭(계수와 위상)을 획득하고 감지된 대상 공간의 임의의 위치에서 거리를 획득하기 위해 청구항 제 1항의 방법을 통해 상기 카메라에 의해 측정된 대상 공간과 관련된 초점 스택을 계산하기 위해 적응된 병렬 계산 처리 수단을 포함한다.

종래 기술의 방법 및 시스템과 비교하면, 본 발명에 따른 초점 스택을 계산하기 위한 방법은 파면의 위상을 지형적으로, 즉 대상 공간의 3차원 체적 내의 임의의 거리에서 결정하는 것을 허용한다. 더욱이, 본 발명의 초점 스택을 계산하기 위한 방법은 평면 내의 파면의 위상뿐만 아니라, 오히려 전체 체적 내의 파면과 관련된 전자기장의 복합 진폭에 의해서도 전자기장의 특징화를 허용한다.

아래에 제공될 설명을 보충하고, 본 발명의 특징을 양호하게 이해하는 것을 돕기 위하여, 상기 설명을 구성하는 한 부분으로서 도면이 첨부되는데, 예시적이고 제한적이지 않은 특성을 이용하여 도시된다.

본 발명의 방법은, 전체 체적에 대해, 종래 기술(Ren Ng)에서 기술된 초점 스택을 얻기 위한 방법이 단일 평면에서 계산을 위해 사용하는 것보다 더 적은 수의 연산을 통해, 초점 스택을 계산하는 것을 허용한다.

도 1은 본 발명에 따라 3차원 장면의 시각 정보의 실시간 포착을 위한 카메라의 주 요소를 도시하는 개략도.
도 2는 보상광학을 이용하여 별(8)의 천체물리학적 관찰시 대기의 단층촬영을 수행하기 위한 대형 주 거울(1)을 갖는 망원경에 적용한 본 발명의 개념도.
도 3은 대기 내의 두개의 난류 층(9, 10)에서 다중공역파면 보상광학을 이용하는 별(8)의 고전적인 천체물리학적 관찰의 개념도.

본 발명의 제 1실시예에서는 장면의 대상이 위치한 거리의 측정을 고찰한다.

본 발명으로부터 관찰의 특별한 경우인, 가구가 비치된 방의 내부로 이루어진 장면을 고려하는데, 여기에서 카메라의 위치로부터 0.5m에서 4m에 이르는 범위의 깊이에 위치한 수 개의 대상이 구성요소로서 구별된다.

도 1은 본 발명에 따른 위상 카메라 내에 포함된 개구 렌즈(1), 렌즈렛 어레이(2) 및 검출 표면(3)의 장치를 도시하는 개략도이다. 더욱이, 수렴 렌즈로부터 대상 공간의 결정된 대상 위의 한 초점까지의 거리(5), 렌즈렛 어레이의 각 렌즈렛의 초점(6), 파면의 국부적인 경사각도(7) 및 왜곡되지 않은 파면에 대해 난류 파면에 의해 야기되는 광 경로 내의 변위(4)가 도시된다. 본 발명의 카메라는 또한 도면에 도시되지 않은 처리 수단을 포함한다.

3차원 장면의 시각 정보를 실시간 포착하기 위한 본 발명의 카메라를 구성하기 위하여, Imperx IPX-11M5 모델의 4000×2672의 최대 해상도를 갖는 CCD 센서가 사용된다. 도 1의 조립체를 따르면, CCD 앞에 위치하는 것은 1024×1024 픽셀을 커버하는 CCD 상에 초점이 맞춰진 후속 렌즈렛 어레이(16×16이며 F-Nikon에 장착됨)와 동일한 초점 비율을 갖는 대물 렌즈이다. 이러한 장치에서 카메라는 30°의 수평 각도 개구를 갖고, 대략 2m에서 장면의 중심 영역에 초점이 맞춰진다.

검출된 영상은 처리 수단, 본 예에서는 GPU nVidia 8800 GTX 그래픽 카드를 통해 처리되고, 이 그래픽 카드는 다음 사항을 위해 적응된다:

- 병렬 계산 하드웨어 상에서 최적으로 구현되도록 적응된 본 발명의 초점 스택을 계산하기 위한 방법을 통한 초점 스택의 계산,

- 초점 품질 측정 연산자, 예컨대 동일한 병렬 계산 하드웨어에 대해 최적으로 적응된, 초점의 품질을 추정하기 위한 연산자 "분산"을 초점 스택에 적용, 및

- 랜덤 마르코프 필드 상에서 최적 상태의 계산을 통해, 예컨대 병렬 계산 하드웨어 상에서 최적화된 방식으로 구현된, 콜모고로프(Kolmogorov) 트리의 재-가중화(re-weighting)에 기초한 신뢰(belief)의 전파를 통한 거리의 회복.

장면의 깊이 맵은 본 발명의 카메라와 방법에 의해 획득된다.

본 발명의 제 2실시예에서는 전자기장의 복합 진폭의 측정을 고찰한다.

대기의 코히어런스(coherence) 직경(r_O)(대략 가시 범위에서 20 cm)보다 큰 직경을 갖는 망원경을 통한 천체물리학적 관찰의 특별한 경우를 고려한다. 대기의 난류는 망원경으로 얻은 영상에서 해상도의 손실, 즉 높은 공간 주파수의 정보 손실을 초래한다. 이러한 점을 방지하기 위하여, 대기 난류가 조사중인 별로부터 들어오는 광의 파면을 악화시키는 방식을 알아야만 한다. 그것을 위해, 파면에서 대기에 의해 야기된 변형의 특징화를 허용하는 자연적인 또는 인공적인 점의 별들을 기준으로서 사용할 수 있다.

도 3은 대기 내의 두개의 난류 층에서 고전적인 다중공역파면 보상광학을 이용하는 별(8)의 천체물리학적 관찰을 개략적으로 도시한다. 다중공역파면 광학을 통해, 파면 위상 센서가 난류의 개별 층에 결합된 각 변형 가능한 거울, 즉 광 축과 평행하게 정렬되어 광 축과 다른 위치에서 동작해야 하는 두 개의 다른 위상 센서(WFS)에 의해 사용되어야만 한다. 도 3은 망원경(1)과, 각 난류층(9 및 10)과 결합된 방식으로 관련된 두 개의 파면 센서(11 및 12)를 도시한다. 고전적인 다중공역파면 광학을 통해 매우 적은 수의 난류 개별 층(최대 3개의 층)을 회복하는 것이 가능할 뿐이다. 대기가 가시 범위에서 매 10 ms(밀리초)마다 변하기 때문에, 계산의 복잡도와 속도의 필요성은 현재 대기 난류의 단 3개층에서의 정정을 극복하는 것도 불가능하게 한다.

본 발명을 통해, 도 1에 도시된 설계에 따라, 그리고 이 경우 도 2에 도시된 그 연산에 따라, 광 축의 단일 위치에 놓인 오직 하나의 센서만이 사용된다.

도 2는 보상 광학을 이용하여 별(8)의 천체물리학적 관찰에서 대기 단층촬영을 수행하기 위한 본 발명에 따른 시스템을 개략적으로 도시한다. 대기에서 난류의 개별 층은 (9)와 (10)에 대응한다. 이 경우, 상술한 망원경(1) 자체는 대물렌즈로서 작용한다. IXON ANDOR 모델의 512×512 픽셀 카메라(3)에 초점이 맞춰지는 렌즈렛 어레이(2)(32×32, 마운트 C)는 그 영상 공간에 위치한다. 본 발명의 위상 카메라는 망원경의 최종 영상에 영향을 주는 대기 난류의 완전한 원통(13)을 스캐닝하는 것을 허용한다. 데이터는 다음의 처리를 통해 수행하도록 이전에 적응된 Virtex ML501 모델의 FPGA를 통해 수집되어 처리된다:

- 청구항 제 1항의 방법을 통한 초점 스택의 계산, 초점 스택의 제곱근은 대상 공간의 체적의 임의의 점에서 전자기장의 복합 진폭의 계수를 직접적으로 제공한다,

- 대상 공간의 체적의 임의의 점에서 파면 위상의 그래디언트의 생성을 위한 연산자(예컨대, Clarke 및 Lane 연산자)의 적용, 및

- 예컨대, 복수 지수에서의 확장, 즉 Zernike 다항식 또는 Hudgin 알고리즘의 함수로서 확장을 갖는 방법을 통해 관련 전자기장의 파면의 위상을 회복.

이전 기술과는 달리, 본 발명의 방법에서 파면 위상의 그래디언트의 생성을 위한 연산자는 전체로서 플레놉틱 영상에 적용되기보다는 국부적으로 적용된다.

상술한 바와 같이 후속적으로 처리되는 단일 측정은, 우리의 망원경을 통한 관찰에 영향을 주는 전체 대기 컬럼과 관련된 난류(파면의 복합 진폭), 이들 난류층이 위치한 높이 및 거리의 3차원 맵의 실시간 포착, 그리고 만약 인공 레이저 별이 사용되었다면 3차원 프로파일의 실시간 포착을 허용한다.

본 발명은, 파면을 알 필요가 있는 지상 천문 관측, 안과학, 입체영상 등에서와 도량형이 요구되는 실제 장면, 3D 텔레비전, CCD의 세척, 자동차 기계학 등의 임의의 영역 또는 응용에 이용 가능하다.

1 : 개구 렌즈 2 : 렌즈렛 어레이
3 : 검출 표면 4 : 광 경로 내의 변위
5 : 초점까지의 거리 6 : 렌즈렛의 초점
7 : 경사각도 8 : 별
9,10 : 난류 층 11,12 : 파면 센서
13 : 대기 난류의 완전한 원통

Claims (10)

1. 대상 공간(object space)과 관련된 초점 스택(focal stack)을 계산하는 방법으로서,
   (a) 대물 렌즈, 상기 대물 렌즈의 영상 공간 내에 위치한 렌즈렛 어레이, 및 상기 렌즈렛의 초점에 놓여진 센서를 포함하는 카메라에 의하여, 상기 대상 공간을 측정하는 단계, 및
   (b) 상기 대상 공간의 이산 플레놉틱(plenoptic) 함수{

   

   }로부터 상기 카메라에 의해 측정된 상기 대상 공간과 관련된 초점 스택을 계산하되, 4D 하이퍼큐브(hypercube) 내의 평면들의 길이를 따른 합산으로서 사진 형성 적분{

   

   }을 산출하는 단계
   (여기에서, u, v 는 렌즈의 평면상의 수평 및 수직 차원들(dimensions), 그리고 j, k, r 은 추출될 초점 스택의 수평, 수직, 깊이 차원들(dimensions)임)
   를 포함하며,
   상기 사진 형성 적분의 산출은,
   (b1) 계산의 시작시, 포착된 데이터{

   

   }를 단계 0 까지 변환된 데이터{

   

   , 즉 :

   

   }와 동일하게 하는 단계, 및
   (b2) 부분 변환
   

   

   
   을

   

   를 얻을 때까지

   

   회 적용하여 N 깊이 평면들(N depth planes)의 체적(volume)에 대해 사진 형성 적분 E_r(j,k) 을 근사화(approximate)하는 단계,
   (여기에서 ρ= (r₀, ..., r_m-1), s = (s_m+1, ..., s_n-1), t = (t_m+1, ..., t_n-1), 그리고,

   

   )
   를 포함하는 것을 특징으로 하는 초점 스택(focal stack)을 계산하는 방법.
   
2. 제 1항의 방법을 통해 얻어진 초점 스택의 영상 해상도를 개선하는 방법으로서,
   결정된 거리에 상기 초점 스택의 한 영상이 주어지면, 상기 플레놉틱 함수의

   

   개 광선을 백-프로젝팅하여, 이들 광선의 부분 위치에 대한 고 해상도로 한 영상을 구성하는 단계와,
   장면의 요소가 람레르시안(Lambertial) 유형의 반사율을 갖는다는 가정으로부터 초래되는 여분을 결정하는 단계와,
   여분이 전혀 없는 수퍼 해상도를 갖는 초점 스택의 위치에서 백프로젝팅된 광선의 값을 위치시키고, 여분이 존재하는 곳에서 평균과 같은 여분의 광선의 대표 값을 위치시키는 단계를 포함하는, 초점 스택의 영상 해상도를 개선하는 방법.
   
3. 3차원 장면에서 거리의 실시간 측정을 위한 방법으로서,
   제 1항의 방법을 통해 초점 스택을 계산하는 단계와,
   상기 초점 스택에서 초점 품질 측정 연산자를 적용하는 단계와,
   랜덤 마르코프 필드(random Markov field)에 의해 최적의 상태를 계산하는 단계를 포함하는, 3차원 장면에서 거리의 실시간 측정을 위한 방법.
   
4. 제 3항에 있어서, 제 2항의 방법을 통해 상기 초점 스택의 영상의 해상도를 개선하는 단계를 더 포함하는 3차원 장면에서 거리의 실시간 측정을 위한 방법.
   
5. 파면과 관련된 전자기장의 복합 진폭의 실시간 단층촬영 측정을 위한 방법으로서,
   제 1항의 방법을 통해 초점 스택을 계산하는 단계로서, 상기 초점 스택의 제곱근은 상기 대상 공간의 체적의 임의의 점에서 상기 전자기장의 상기 복합 진폭의 계수를 직접 제공하는, 초점 스택을 계산하는 단계와,
   상기 대상 공간의 상기 체적의 임의의 점에서 파면 위상의 그래디언트의 생성을 위한 연산자를 적용하는 단계와,
   관련 전자기장의 파면의 위상을 회복하는 단계를 포함하는, 파면과 관련된 전자기장의 복합 진폭의 실시간 단층촬영 측정을 위한 방법.
   
6. 제 5항에 있어서, 제 2항의 방법을 통해 초점 스택의 영상의 해상도를 개선하는 단계를 더 포함하는, 파면과 관련된 전자기장의 복합 진폭의 실시간 단층촬영 측정을 위한 방법.
   
7. 3차원 장면의 시각 정보의 실시간 포착을 위한 위상 카메라로서,
   수렴 렌즈와,
   상기 수렴 렌즈의 영상 공간의 한 위치에 위치하고, 충분한 해상도를 검출하기 위한 검출 표면상에서 영상을 형성하는 렌즈렛 어레이(lenslet array)와,
   병렬 계산 처리 수단으로서,
   - 제 1항의 방법을 통해 상기 카메라에 의해 측정된 대상 공간과 관련된 초점 스택을 계산하고,
   - 전자기장의 복합 진폭(계수와 위상)을 획득하고,
   - 감지된 대상 공간의 임의의 위치에서 거리를 획득하도록
   적응된 병렬 계산 처리 수단을 포함하는, 3차원 장면의 시각 정보의 실시간 포착을 위한 위상 카메라.
   
8. 제 7항에 있어서, 상기 병렬 계산 처리 수단은 제 2항의 방법을 통해 초점 스택의 영상 해상도를 개선하기 위해 적응되는, 3차원 장면의 시각 정보의 실시간 포착을 위한 위상 카메라.
   
9. 제 7항에 있어서, 상기 병렬 계산 처리 수단은 제 3항의 방법을 통해 대상 공간의 임의의 위치에서 거리를 획득하기 위해 적응되는, 3차원 장면의 시각 정보의 실시간 포착을 위한 위상 카메라.
   
10. 제 7항에 있어서, 상기 병렬 계산 처리 수단은 제 5항의 방법을 통해 전자기장의 복합 진폭을 획득하기 위해 적응되는, 3차원 장면의 시각 정보의 실시간 포착을 위한 위상 카메라.

Images