KR102582261B1

KR102582261B1 - 이미징 시스템의 점 확산 함수를 결정하는 방법

Info

Publication number: KR102582261B1
Application number: KR1020180112925A
Authority: KR
Inventors: 알도 마알루프; 모크란 말렉
Original assignee: 아이데미아 아이덴티티 앤드 시큐리티 프랑스
Priority date: 2017-09-20
Filing date: 2018-09-20
Publication date: 2023-09-22
Also published as: KR20190033037A; US20190087943A1; FR3071344A1; FR3071344B1; EP3460749B1; EP3460749A1; US10628925B2

Abstract

본 발명은 이미징 시스템(1)의 점 확산 함수를 결정하는 방법으로서, 상기 이미징 시스템의 광학 필드에서 타겟의 복수의 위치들에서의 각각의 위치에 관해,
실제 이미지라고 부르는 타겟의 이미지를 획득하는 단계(43);
상기 타겟에 대응하는 실제 이미지의 부위로 조정된 상기 타겟의 디지털 모델을 묘사하는 타겟의 합성 이미지를 얻어서, 상기 모델이 상기 부위와 일치하게 하는 단계(45);
상기 실제 이미지와 상기 합성 이미지를 사용하여 점 확산 함수를 추정하는 단계(46);
상기 점 확산 함수에 푸리에 변환을 적용하여 광학 전달(transfer) 함수를 계산하는 단계(47);
복수의 위치에서의 각각의 위치에 관해 계산된 상기 광학 전달 함수로부터 평균 광학 전달 함수를 계산하는 단계(50); 및
상기 평균 광학 전달 함수에 역 푸리에 변환을 적용하여 평균 점 확산 함수를 얻는 단계(51)를 포함하는 것을 특징으로 한다.

Description

이미징 시스템의 점 확산 함수를 결정하는 방법{METHOD FOR DETERMINING A POINT SPREAD FUNCTION OF AN IMAGING SYSTEM}

본 발명은 이미징(imaging) 시스템의 점 확산 함수를 결정하는 방법, 이미징 시스템에 의해 얻은 이미지를 개선하는 방법, 및 상기 방법 중 적어도 하나를 구현하는 장치에 관한 것이다.

OPR(optical pulse response)이라고도 부르는 점 확산 함수(PSF: point spread function)는 점 원(point source)에 대한 이미징 시스템의 응답을 묘사하는 수학적 함수이다. PSF는 어떻게 한 점이 이미징 시스템에 의해 이미지화되고, 그러한 이미징 시스템의 광학적 변형을 반영하는지를 모델화한다. 광학 시스템으로부터 나오는 물체의 이미지는 그러한 물체로부터 나오는 신호(즉, 광학적 변형이 없는 완벽한 이미징 시스템으로부터 나오는 이미지)와 그러한 이미징 시스템을 모델화하는 PSF 사이의 콘볼루션(convolution)의 결과라는 점이 고려된다. 이러한 함수가 알려질 때에는, 그러한 물체의 개선된 이미지를 얻기 위해, PSF에 의해 이미징 시스템으로부터 나오는 이미지를 디콘볼루션(deconvolution)(즉, 역(inverse) 콘볼루션을 적용하는 것)하는 것이 가능하다.

이미징 시스템의 특성을 묘사하는 다양한 방법이 존재한다. 예를 들면, ISO12333:2014, Photography -- Electronic still picture imaging -- Resolution and spatial frequency responses에 포함된 소위 기울어진 가장자리 방법이 알려져 있다. 이러한 방법은 신호를 충실히 복원하기 위해 이미징 시스템의 능력을 평가하는 것을 허용하는 MTF(modulation transfer function)를 결정하는 것을 허용한다. 광학에서는, MTF가 복원될 세부 사항의 정밀함(fineness)에 따라, 즉 공간 주파수들에 따른 콘트라스트(contrast)를 정의하는 함수이다. MTF는 그 자체가 PSF의 푸리에 변환에 대응하는 OTF(optical transfer function)의 계수(modulus)에 대응한다.

특허 문서 US2016/0080737A1에서 설명된 방법은 렌즈 시스템의 PSF를 결정하는 것을 허용한다. 이러한 방법은 PSF를 결정하기 위해 테스트 그리드(grid)의 형태를 갖는 타겟을 사용한다. 이러한 테스트 그리드는 렌즈 시스템을 향하게 그러한 렌즈 시스템의 초점 거리에 대응하는 위치에 놓이고, 이러한 초점 거리는 테스트 그리드의 사이즈에 의존적이다. 그러므로 이러한 방법은 오로지 테스트 그리드의 위치에 대응하는 PSF를 결정하는 것을 허용한다. 그러므로 얻어진 PSF는 테스트 그리드의 임의의 다른 위치에 관해서는 효과적이지 않다. PSF가 계산된 위치 외의 위치에 있는 물체의 이미지는 PSF에 의해 올바르게 정정될 수 없다. 이러한 방법은 이러한 다른 위치에 관한 또 다른 PSF를 계산하는 것과, 이미징 시스템에 대한 물체의 위치를 결정하기 위한 수단을 가지는 것을 수반한다.

종래 기술의 이러한 결점들을 극복하는 것이 바람직하다. 이미징 시스템에 대한 물체의 복수의 위치에 관해 유효한 "일반적인(generic)" PSF를 결정하는 것을 허용하는 방법 및 장치를 제안하는 것이 특히 바람직하다. 게다가, 이러한 방법은 구현하기가 간단해야 한다.

본 발명의 일 양태에 따르면, 본 발명은 이미징 시스템의 점 확산 함수를 결정하기 위한 방법에 관한 것으로, 상기 이미징 시스템의 광학 필드에서 타겟의 복수의 위치들에서의 각각의 위치에 관해, 실제 이미지라고 부르는 타겟의 이미지를 획득하는 단계; 상기 타겟에 대응하는 실제 이미지의 부위로 조정된 상기 타겟의 디지털 모델을 묘사하는 타겟의 합성 이미지를 얻어서, 상기 모델이 상기 부위와 일치하게 하는 단계; 상기 실제 이미지와 상기 합성 이미지를 사용하여 점 확산 함수를 추정하는 단계; 상기 점 확산 함수에 푸리에 변환을 적용하여 광학 전달(transfer) 함수를 계산하는 단계; 복수의 위치에서의 각각의 위치에 관해 계산된 상기 광학 전달 함수들로부터 평균 광학 전달 함수를 계산하는 단계; 및 상기 평균 광학 전달 함수에 역 푸리에 변환을 적용하여 평균 점 확산 함수를 얻는 단계를 포함한다.

그러므로 이미징 시스템의 광학 필드에 있는 물체의 복수의 위치들에 관해 유효한 점 확산 함수가 얻어진다. 그럴 경우 이미징 시스템의 광학 필드에서 물체의 각각의 가능한 위치에 전용인 점 확산 함수를 가지거나 그러한 이미징 시스템에 대한 상기 물체의 위치를 반드시 결정해야 하는 것은 아니다.

일 실시예에 따르면, 복수의 위치에서의 각각의 위치는 이미징 시스템에 의해 이미지화되어야 하는 물체가 상기 이미징 시스템에 의해 이미지화될 수 있게 하기 위해 있어야 하는 상기 이미징 시스템의 작용 부위(working zone)에 있다.

그러므로 점 확산 함수는 그러한 작용 부위에서의 임의의 위치에 있는 물체에 관해 유효하다.

일 실시예에 따르면, 점 확산 함수의 추정은, 실제 윤곽(contour) 이미지라고 부르는 실제 이미지로부터의 윤곽 이미지와, 합성 윤곽 이미지라고 부르는 합성 이미지로부터의 윤곽 이미지를 계산하는 단계와, 추정될 점 확산 함수와 합성 윤곽 이미지 사이의 콘볼루션 곱(convolution product)과 실제 윤곽 이미지 사이의 거리에 대응하는 제1 값(term)을 포함하는 비용 함수를 최소화하는 점 확산 함수를 결정하는 단계를 포함하고, 상기 윤곽 이미지는 본래 이미지로부터 얻어지며 상기 본래 이미지에 담겨 있는 물체들의 윤곽만을 나타낸다.

일 실시예에 따르면, 최소화될 비용 함수는 와 같이 표현되고,

여기서 f(h)는 최소화될 비용 함수이고, h는 구한 점 확산 함수를 나타내는 매트릭스이며,

는 제곱 놈(norm) L²을 나타내고, ∥.∥₁은 놈 L¹을 나타내며, *는 콘볼루션 연산자(operator)이고,

는 최소화의 수렴을 가속화하기 위해 사용된 제1 정규화(regularisation) 항(term)이며,

은 상기 이미징 시스템에 의해 획득한 전체 이미지에 걸쳐 유도할 수 있는 점 확산 함수를 얻기 위해 사용된 제2 정규화 항이고, γ와 β는 미리 결정된 상수이다.

일 실시예에 따르면, 타겟은 복수의 상이한 방향으로 높은 공간 기울기(gradient)를 가지는 가장자리들을 포함하는 물체를 포함한다.

일 실시예에 따르면, 타겟에 대응하는 실제 이미지 부위와 일치하도록 상기 타겟의 디지털 모델을 변환하기 위한 기하학적 변환이 상기 복수의 위치에서의 각각의 위치에 관해 얻어진다.

일 실시예에 따르면, 이러한 기하학적 변환은 타겟 상의 미리 정해진 특별한 점들을 사용하여 계산된다.

일 실시예에 따르면, 이러한 방법은 타겟에 대응하는 실제 이미지의 부위의 세분화(segmentation)를 포함하고, 상기 타겟의 기하학적 모델을 조정하는 동안과 상기 점 확산 함수를 추정하는 동안에 사용된 실제 이미지는 상기 타겟을 포함하는 부위만을 포함하며, 상기 실제 이미지의 각각의 부위는 추정된 타겟에 대응하지 않는다.

본 발명의 제2 양태에 따르면, 본 발명은 이미징 시스템을 사용하여 얻은 이미지를 개선하는 방법에 관한 것으로, 이러한 방법은 제1 양태에 따른 방법을 적용하여 상기 이미징 시스템의 점 확산 함수를 얻는 단계와, 그렇게 얻은 상기 점 확산 함수와, 상기 이미징 시스템을 사용하여 얻은 각각의 이미지 사이에 역 콘볼루션(reverse convolution)을 적용하는 단계를 포함한다.

본 발명의 제3 양태에 따르면, 본 발명은 이미징 시스템의 점 확산 함수를 결정하는 장치에 관한 것으로, 이러한 장치는 상기 이미징 시스템의 광학 필드에서 타겟의 복수의 위치에서의 각각의 위치에 관해 사용된 수단; 복수의 위치에서의 각각의 위치에 관해 계산된 광학 전달 함수로부터 평균 광학 전달 함수를 계산하기 위한 계산 수단; 및 상기 평균 광학 전달 함수에 역 푸리에 변환을 적용함으로써 평균 점 확산 함수를 얻기 위한 수단을 포함하고, 상기 이미징 시스템의 광학 필드에서 타겟의 복수의 위치에서의 각각의 위치에 관해 사용된 수단은, 실제 이미지라고 부르는 타겟의 이미지를 획득하기 위한 이미지 획득 수단, 상기 타겟에 대응하는 실제 이미지의 부위로 조정된 상기 타겟의 디지털 모델을 묘사하는 타겟의 합성 이미지를 얻어서, 상기 모델이 상기 부위와 일치하게 하는 수단, 실제 이미지와 합성 이미지를 사용하여 점 확산 함수를 추정하기 위한 추정 수단, 및 점 확산 함수에 푸리에 변환을 적용하여 광학 전달 함수를 계산하기 위한 계산 수단을 포함한다.

본 발명의 제4 양태에 따르면, 본 발명은 컴퓨터 프로그램에 관한 것으로, 이러한 컴퓨터 프로그램은 그러한 프로그램이 장치의 프로세서에 의해 실행될 때, 제1 양태 또는 제2 양태에 따른 방법을 장치에 의해 구현하기 위한 명령들을 포함한다.

본 발명의 제4 양태에 따르면, 본 발명은 컴퓨터 프로그램을 저장하는 것을 특징으로 하는 저장 수단에 관한 것으로, 이러한 컴퓨터 프로그램은 그러한 프로그램이 장치의 프로세서에 의해 실행될 때, 제1 양태 또는 제2 양태에 따른 방법을 상기 장치에 의해 구현하기 위한 명령들을 포함한다.

전술한 본 발명의 특징들은 다른 것들과 더불어, 이어지는 실시예의 설명을 읽음으로써 더 명확하게 드러나게 되고, 이러한 설명은 첨부 도면에 관하여 주어진다.
도 1은 본 발명에 따른 방법을 사용하여 PSF가 결정되는 이미징 시스템을 개략적으로 설명하는 도면.
도 2는 본 발명에 따른 방법에 적합하게 된 타겟(target)의 일 예를 개략적으로 예시하는 도면.
도 3은 본 발명에 따라 PSF를 결정하는 방법을 구현하는 처리 모듈의 하드웨어 아키텍처의 일 예를 개략적으로 예시하는 도면.
도 4는 본 발명에 따라 PSF를 결정하는 방법의 일 예를 개략적으로 예시하는 도면.
도 5는 본 발명에 따라 PSF를 결정하는 방법을 포함하는 이미지 개선 방법의 일 예를 개략적으로 예시하는 도면.

이어지는 설명은 렌즈들의 시스템, 포커싱 시스템(focusing system)(자동초점(autofocus) 시스템과 같은), 및 CCD(charge coupled device) 또는 CMOS(complementary metal oxide semiconductor) 이미지 센서와 같은 이미지 센서를 포함하는 대물렌즈(objective)를 포함하는 디지털 카메라와 같은 이미지 획득 시스템을 이미징 시스템이 포함하는 상황에서 본 발명의 실시예를 더 특별히 상세하게 설명한다. 하지만, 이러한 방법은 아날로그 카메라, 대물렌즈 등과 같은 디지털 방식으로(digitally) 처리될 수 있는 이미지들을 만들어내는 다른 타입의 이미징 시스템에 적합하다.

도 1은 본 발명에 따른 방법을 사용하여 PSF가 결정되는 이미징 시스템(1)을 개략적으로 묘사한다.

도 1에서의 이미징 시스템은 디지털 카메라(10)를 포함한다. 이러한 카메라(10)는 본 발명에 따른 방법을 구현하는 처리 장치(14)에 연결된다. 카메라(10) 앞에는 물체(12), 즉 이 경우에는 편평한 물체가 놓여 있고, 이는 타겟을 포함한다. 일 실시예에서, 물체(12)는 타겟의 중심이 거리(Zi)에서 카메라(10)의 광학 축 상에 있도록 놓인다. 거리(Zi)는 최소 거리(13B)와 최대 거리(13A) 사이에 있고, 거리(13B, 13A) 사이의 부위(zone)가 작용(working) 부위를 형성한다. 이러한 작용 부위는 카메라(10)에 의해 이미지화되어야 하는 물체들이 카메라(10)에 의해 이미지화될 수 있도록 있어야 하는 부위로서 정의된다. 이러한 작용 부위는, 예를 들면 물체의 특정 세부 사항을 충실하게 복원하기 위한 기준을 사용하여 결정될 수 있다. 한 이미지에서의 흐릿함(fuzziness)의 정도 측정은 그러한 기준을 구성할 수 있다.

이미징 시스템(1)은 물체(12)를 비추는 조명 시스템(11)을 더 포함한다.

일 실시예에서, 카메라(10)는 "2.5㎛" 크기의 화소들을 포함하는 이미지 센서와 "25㎜"의 초점 길이를 갖는 대물렌즈, 그리고 "2.8"의 고정된 개구(aperture)를 포함하고, 이러한 조명 시스템은 "860㎚"의 파장을 갖는 적외선을 만들어낸다. 작용 부위는 "55㎝"와 "95㎝" 사이에 있고, 최적의 초점 거리는 "75㎝"이다.

일 실시예에서, 물체(12)는 타겟의 중심이 카메라(10)의 광학 필드에 있도록, 즉 카메라(10)의 광학 축 상에 있지 않고 카메라(10)에 보일 수 있는 장소에 있도록 놓일 수 있다.

도 2는 본 발명에 따른 방법에 적합한 타겟(120)의 일 예를 개략적으로 예시한다.

일 실시예에서, 타겟(120)은 복수의 상이한 방향으로 높은 공간 기울기들을 가지는 물체들(기하학적 모양들)을 포함한다. 도 2에서의 예에서는 타겟(120)이 방사상으로 배치된 예리한 가장자리들을 가지는 디스크(disc)의 끝이 잘린 부분들을 포함한다.

일 실시예에서, 타겟(120)은 이미징 시스템(1)의 광학적 변형들(대물렌즈의 결함, 이미지 센서의 결함 등)로 인한 타겟의 기하학적 변환을 추정하는 것을 허용하는 특별한 점들을 포함한다. 도 2에서의 타겟(120)에서, 그러한 특별한 점들은 그것들의 모서리 중 하나에 의해 연결된 정사각형들의 4개의 쌍이다.

일 실시예에서, 이미징 시스템(1)이 복잡한 광학적 변형을 일으킬 때에는, 5개 이상이 특별한 점들을 포함하는 타겟을 사용하는 것이 가능하고, 그러한 특별한 점들은 그것들의 모서리들 중 하나에 의해 연결된 정사각형들의 쌍들일 수 있거나, 디스크, 크로스(cross)들, 삼각형들 등과 같은 임의의 다른 알맞은 기하학적 모양일 수 있다.

도 3은 처리 모듈(14)의 하드웨어 아키텍처의 일 예를 개략적으로 예시한다.

도 3에 도시된 하드웨어 아키텍처의 예에 따르면, 처리 모듈(14)은 프로세서 또는 CPU(central processing unit)(141), 하드 디스크와 같은 저장 유닛 또는 SD(secure digital) 카드 리더(144)와 같은 저장 매체 판독기(reader), 카메라(10)에 의한 이미지들의 획득을 제어하고 상기 카메라(10)에 의해 획득한 이미지들을 수신하기 위해 처리 모듈(14)이 카메라(10)와 교신을 행할 수 있게 하는 적어도 하나의 통신(communication) 인터페이스(145)를 포함하고, 이들은 모두 통신 버스(140)에 의해 연결되어 있다.

프로세서(141)는 ROM(143), 외부 메모리(미도시), 저장 매체(SC 카드와 같은), 또는 통신 네트워크로부터 RAM(142)에 로드(load)된 명령들을 실행할 수 있다. 분석 모듈(14)에 전원이 들어오면, 프로세서(141)는 RAM(142)으로부터의 명령들을 판독하고 그것들을 실행할 수 있다. 이들 명령은 도 4 또는 도 5에 관련하여 설명된 방법의 프로세서(141)에 의한 구현을 야기하는 컴퓨터 프로그램을 형성한다.

도 4 또는 도 5에 관련하여 설명된 방법들은 예를 들면 DSP(digital signal processor), 마이크로컨트롤러 또는 GPU(graphics processing unit)와 같은 프로그램 가능한 기계에 의해 명령들의 집합을 실행함으로써 소프트웨어 형태로 구현될 수 있거나, 예를 들면 FPGA(field-programmable gate array), 또는 ASIC(application-specific integrated circuit)과 같은 전용 구성 성분 또는 기계에 의해 하드웨어 형태로 구현될 수 있다.

처리 모듈(14)은 또한 마찬가지로 카메라(10)에 포함될 수 있다는 점이 주목되어야 한다.

도 4는 본 발명에 따른 PSF를 결정하기 위한 방법의 일 예를 개략적으로 예시한다.

도 4에서의 방법의 한 가지 목적은 이러한 PSF가 오직 하나의 특정 위치보다는 작용 부위에서의 물체의 복수의 위치에 적합해야 한다는 점에서 일반적인 이미징 시스템(1)의 PSF를 결정하는 것이다.

도 4에서의 방법은 단계(41)로부터 시작되고, 이러한 단계(41) 동안에 처리 모듈(14)은 0을 변수 i의 초기값으로 설정한다. 변수 i는 이후 작용 부위에서 포함된 거리(Z_i)들의 미리 정해진 집합을 통해 실행하기 위해 사용된 양의 정수이다. 미리 정해진 집합은 거리(Z_i)의 개수(i_max)를 포함한다.

단계(42)에서는, 처리 모듈(14)이 변수 i의 현재 값에 대응하는 거리(Z_i)들 중 하나의 값에서 거리를 나타내는 변수(z)를 초기화한다.

단계(43)에서는, 처리 모듈이 이미징 시스템(1)으로부터의 거리(z)에서 물체(12)의 위치 선정을 야기하는데, 즉 타겟에 가장 가까운 카메라(10)의 대물렌즈의 외측 가장자리에 대한 거리(z)에서 물체(12)의 위치 선정을 야기한다. 일 실시예에서, 물체(12)는 카메라(10)의 광학 축에 평행한 수평 레일(rail) 상에 있는 슬라이딩(sliding) 장치에 고정된다. 그럴 경우 처리 모듈(14)은 카메라(10)로부터 요구된 거리에 물체(12)의 위치를 정하기 위해 슬라이딩 장치를 제어한다.

단계(43)에서는 처리 모듈(14)이 이미징 시스템(1)에 의해 물체(12)의 실제 이미지라고 부르는 이미지의 획득을 야기한다.

단계(45)에서는, 처리 모듈(14)이 타겟에 대응하는 실제 이미지의 부위로 조정된 타겟(120)의 디지털 모델을 묘사하는 타겟의 합성 이미지를 얻는데, 이는 상기 디지털 모델이 실제 이미지의 상기 부위와 일치하게(즉, 그 위에 겹쳐 놓게) 하기 위함이다. 타겟(120)의 디지털 모델은 이미징 시스템(1)의 PSF에 의한 콘볼루션이 없고 광학적 변형이 없이 타겟(120)의 이상적인 이미지에 대응한다.

일 실시예에서, 타겟의 중심이 카메라(10)의 광학 축 상에 있도록 물체(12)가 광학 축에 수직이 되게 위치한다. 이 경우, 디지털 모델의 재조정이 반복적으로 행해진다. 처리 모듈(14)은 타겟(120)이 실제 이미지에서 가질 수 있는 최대 사이즈에 대응하는 미리 정해진 사이즈로 타겟(120)의 디지털 모델을 저장한다고 가정된다. 첫 번째 반복에서는, 처리 모듈이 미리 정해진 사이즈로 타겟(120)의 디지털 모델을 사용하고, 디지털 모델과 실제 이미지에서의 타겟(120) 사이의 차이를 계산한다. 각각의 이어지는 반복에서는, 처리 모듈(14)이 타겟의 사이즈를 감소시키고, 디지털 모델과 실제 이미지에서의 타겟(120) 사이의 차이를 다시 한번 계산한다. 이러한 반복은 처리 모듈(14)이 최소 차이를 찾았을 때 중지된다. 그런 다음 그러한 차이를 최소화하는 사이즈에서의 타겟(120)의 디지털 모델은 실제 이미지의 타겟(120)으로 조정되는 것으로 간주된다. 그런 다음 처리 모듈(120)은 그렇게 조정된 타겟(120)의 디지털 모델로부터 합성 이미지를 생성한다.

일 실시예에서, 처리 모듈(14)은 미리 정해진 사이즈에서의 타겟(120)의 디지털 모델로부터 실제 이미지에서 그것이 나타날 때의 타겟(120)까지 지나가는 것을 허용하는 기하학적 변환을 결정한다. 이러한 결정은 실제 이미지의 특별한 점들 상으로 디지털 모델의 특별한 점들을 투영하는 것을 허용하는 기하학적 변환의 결정와 실제 이미지에서의 특별한 점들의 검출에 기초한다. 이러한 변환은 그 다음 합성 이미지를 얻기 위해 타겟(120)의 디지털 모델에 적용된다. 기하학적 변환의 결정은, 예를 들면 공보인 Goshtasby, Ardeshir의 "Piecewise linear mapping functions for image registration", Pattern Recognition, Vol. 19, 1986, pp. 459-466과 Goshtasby, Ardeshir의 "Image registration by local approximation methods," Image and Vision Computin, Vol. 6, 1988, pp. 255-261에 설명된 방법을 사용할 수 있다.

특별한 일 실시예에서, 실제 이미지는 사용자의 표시 장치상에 표시되고, 사용자는 각각의 특별한 점의 위치의 윤곽을 그린다. 그런 다음 그렇게 윤곽이 그려진 각각의 특별한 점의 위치는 그것이 기하학적 변환을 추정하는 절차를 구현하도록 처리 모듈(14)에 공급된다.

일 실시예에서, 처리 모듈(14)은 각각의 거리(Zi)에 관해, 미리 결정된 기하학적 변환을 얻는다. 각각의 기하학적 변환은 이미징 시스템(1)으로부터의 거리(Z_i)에 물체를 놓고, 상기 물체의 이미지를 획득한 다음, 상기 물체의 기준 이미지로부터 이미징 시스템(1)에 의해 획득한 이미지로 변경되는 것을 허용하는 기하학적 변환을 결정함으로써 결정되었다.

단계(46)에서는, 처리 모듈(14)이 실제 이미지와 합성 이미지를 사용하여 이미징 시스템(1)의 PSF를 추정한다.

일 실시예에서, 처리 모듈(14)은 실제 이미지(ΔI)로부터 실제 윤곽 이미지라고 부르는 윤곽 이미지와, 합성 이미지(ΔO)로부터 합성 윤곽 이미지라고 부르는 윤곽 이미지를 계산한다. 윤곽 이미지는 본래 이미지로부터 얻어지고, 오직 본래 이미지에 담긴 물체들의 윤곽들만을 나타낸다. 예를 들면 캐니(Canny) 필터링 또는 소벨(Sobel) 필터링과 같은 다양한 방법들에 의해 윤곽 이미지를 얻는 것이 가능하다. 특별한 일 실시예에서, 각각의 윤곽 이미지는 기울기 연산자를 각각의 본래 이미지(즉, 실제 이미지와 합성 이미지)에 적용함으로써 얻어진다. 그 다음 처리 모듈(14)은 추정될 이미징 시스템(1)의 PSF와 합성 윤곽 이미지(ΔO) 사이의 콘볼루션 곱(product)과 실제 윤곽 이미지(ΔI) 사이의 차이에 대응하는 제1 항(term)을 포함하는 비용 함수인 f(h)를 최소화하는 PSF를 결정한다.

비용 함수 f(h)는 와 같이 표현될 수 있고, 여기서 h는 구한 PSF를 나타내는 매트릭스이고,

는 제곱 놈(squared norm) L²을 나타내며, ∥.∥₁은 놈 L¹을 나타내고, *는 콘볼루션 연산자(operator)이다. 항

는 최소화의 수렴을 가속화하기 위해 처리 모듈(14)이 선택적으로 사용하는 제1 정규화(regularisation) 항이다. 항

은 전체 이미지에 걸쳐 유도될 수 있는, 즉 매끄럽게 된(smoothed) 형태를 가지는 PSF를 얻기 위해 처리 모듈(14)이 선택적으로 사용하는 제2 정규화 항이다. γ와 β는 미리 결정된 상수이다. 일 실시예에서, 상수 γ은 베이스(base)에 있는 각각의 이미지에서 상수 γ을 변화시킴으로써, 이미지 베이스에서의 복수의 최소화를 행함으로써 결정된다.

각각의 최소화 끝에서는, PSF에 의한 디콘볼루션에 의해 얻어진 이미지의 예리한 수준(level)을 나타내는 정보가 계산되고, 예리함이 가장 좋은 수준을 얻는 것을 허용하는 상수 γ이 유지된다. 상수 β는 비슷한 방식으로 얻어진다.

비용 함수인 f(h)의 최소화에 적용 가능한 다양한 알려진 최소화 방법들이 존재한다.

일 실시예에서, 비용 함수인 f(h)는 공역 구배법(conjugate gradient method) 또는 라그랑주 승수법(Lagrange multipliers)의 방법에 의해 최소화된다. 비용 함수인 f(h)를 최소화하는 PSF는 h_i로 표시된다.

단계(47)에서는, 푸리에 변환을 PSF h_i에 적용함으로써, H_i로 표시된, PSF h_i의 OTF를 처리 모듈(14)이 계산한다.

단계(48)에서는, 처리 모듈(14)이 변수 i가 거리(Z_i)들의 미리 정해진 집합에서의 거리들의 숫자(number)와 같은지를 결정한다. 만약 그렇지 않다면, 변수 i는 단계(49) 동안에 처리 모듈(14)에 의해 하나의 단위(one unit)만큼 증가되고, 처리 모듈(14)은 단계(42)로 되돌아간다.

만약 변수 i가 거리(Z_i)들의 미리 정해진 집합에서의 거리들의 숫자에 도달하였다면, 처리 모듈(14)은 단계(50)로 넘어가고, 그러한 단계(50) 동안에는 처리 모듈(14)이 각각의 거리(Z_i)에 관해 계산된 OTFsH_i로부터 H_mean라고 표시된 평균 OTF를 계산한다. 일 실시예에서:

이다.

OTFsH_i는 매트릭스들의 형태로 나타내어지고, 평균은 평균 매트릭스인데, 즉 매트릭스 H_i에서의 각각의 계수는 다른 매트릭스들인 H_i에서 동일한 위치에 있는 계수를 가지고 평균이 구해진다.

단계(51)에서는, 평균 OTF H_av에 역 푸리에 변환을 적용함으로써, 처리 모듈이 평균 PSF h_av를 얻는데, 즉 그럴 경우 평균 PSF h_av는 이미징 시스템(1)의 PSF이라고 간주된다. 이러한 PSF는 작용 부위에 포함된 이미징 시스템(1)에 대한 물체의 거리가 무엇이든지 간에 유효하다. 그러므로 이러한 PSF는 작용 부위에서의 임의의 위치에 있는 물체의 이미징 시스템(1)에 의해 획득한 이미지를 개선하기 위해 효과적으로 사용될 수 있다.

PSFs h_i의 평균을 취함으로써 평균 PSF를 직접 계산하는 것보다 평균 PSF를 계산하기 위해 평균 OTF를 통과하는 것은, PSF h_av를 계산하기 위해 각각의 PSF h_i에 담긴 정보의 더 나은 보존을 제공한다는 점이 주목되어야 한다.

일 실시예에서, 도 4의 방법은 단계 43과 단계 45 사이에 있는 단계 44를 포함하고, 이러한 단계 45 동안에는 처리 모듈(14)이 실제 이미지에서 타겟(120)을 포함하는 부위를 검출한다. 이러한 단계는 실제 이미지로부터 타겟(120)을 포함하는 부위를 추출하도록 실제 이미지를 세분화하는 것에 이르게 된다. 일 실시예에서는, 사용자의 컴퓨터와 같은 표시 장치상에 실제 이미지가 표시되고, 사용자는 마우스와 같은 포인팅(pointing) 장치에 의해 실제 이미지에서 타겟(120)의 윤곽을 그린다. 또 다른 실시예에서는, 실제 이미지에서 타겟(120)을 세분화하기 위해, 활성 윤곽선 기반의(active-contour-based) 자동 세분화 방법이 사용된다. 단계(45)와 단계(46) 동안에 사용된 실제 이미지는 타겟(120)을 포함하는 부위만을 포함하는 이미지이고, 실제 이미지의 모든 부위는 제거되었던 타겟에 대응하지 않는다. 그러므로 타겟(120)의 디지털 모델의 조정과, 이미징 시스템(1)의 PSF의 추정은 타겟(120)에 대응하지 않는 실제 이미지의 부위들에 의해 간섭받지 않는다.

도 5는 본 발명에 따른 방법을 포함하는 이미지 개선 방법의 일 예를 개략적으로 예시한다.

도 5에서의 방법은 이미징 시스템(1)에 의한 물체의 이미지의 각각의 획득시 처리 모듈(14)에 의해 구현된다.

이미징 시스템(1)에 의한 물체의 이미지의 획득 전에, 구성 단계라고 부를 수 있는 단계(501)에서는, 처리 모듈(14)이 도 4와 관련하여 설명된 방법을 실행한다. 이러한 실행 동안에, 처리 모듈(14)은 이미징 시스템(1)의 PSF를 얻는다.

단계(502)에서는, 처리 모듈(14)이 이미징 시스템(1)에 의해 획득한 물체의 이미지를 얻는다.

단계(503)에서는, 물체의 개선된 이미지를 얻기 위해, 처리 모듈(14)이 단계(501) 동안에 얻어진 PSF에 의해 수신한 물체의 이미지에 역 콘볼루션(즉, 디콘볼루션)을 적용한다. 일 실시예에서, 처리 모듈(14)은 물체의 이미지에 위너(Wiener) 디콘볼루션을 적용한다.

단계(503) 뒤에는, 처리 모듈이 이미징 시스템(1)에 의해 획득한 물체의 새로운 이미지를 기다리고, 새로운 이미지를 얻자마자 단계(502)로 되돌아간다.

Claims

이미징(imaging) 시스템(1)의 점(point) 확산 함수를 결정하는 방법으로서,
실제 이미지라고 부르는 타겟의 이미지를 상기 타겟이 위치에 있는 동안 획득하는 단계(43);
상기 타겟에 대응하는 실제 이미지의 부위로 조정된 상기 타겟의 디지털 모델을 묘사하는 상기 타겟의 합성 이미지를 얻어서, 상기 모델이 상기 부위와 일치하게 하는 단계(45);
상기 실제 이미지와 상기 합성 이미지를 사용하여 점 확산 함수를 추정하는 단계(46);
상기 점 확산 함수에 푸리에 변환을 적용하여 상기 위치에 연관된 광학 전달(transfer) 함수를 계산하는 단계(47);
복수의 위치들의 각 위치에 대해 상기 단계를 반복하는 단계로서, 상기 복수의 위치들은 제 1 위치 및 제 2 위치를 포함하고, 상기 제 1 위치와 상기 이미징 시스템 사이의 거리는 상기 제 2 위치와 상기 이미징 시스템 사이의 거리와 상이한 단계;
복수의 위치들의 상기 위치들과 각기 연관된 상기 광학 전달 함수들로부터 평균 광학 전달 함수를 계산하는 단계(50); 및
상기 평균 광학 전달 함수에 역 푸리에 변환을 적용하여 평균 점 확산 함수를 얻는 단계(51)를 포함하는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 복수의 위치에서의 각각의 위치는 상기 이미징 시스템에 의해 이미지화되어야 하는 물체가 상기 이미징 시스템에 의해 이미지화될 수 있게 하기 위해 있어야 하는 상기 이미징 시스템의 작용 부위(working zone)에 있는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 점 확산 함수의 추정은, 실제 윤곽 이미지라고 부르는 실제 이미지로부터의 윤곽 이미지와, 합성 윤곽 이미지라고 부르는 합성 이미지로부터의 윤곽 이미지를 계산하는 단계와,
추정될 점 확산 함수와 합성 윤곽 이미지 사이의 콘볼루션 곱(convolution product)과 실제 윤곽 이미지 사이의 거리에 대응하는 제1 항(term)을 포함하는 비용 함수를 최소화하는 점 확산 함수를 결정하는 단계를 포함하고,
상기 윤곽 이미지는 본래 이미지로부터 얻어지며 상기 본래 이미지에 담겨 있는 물체들의 윤곽만을 나타내는 것을 특징으로 하는 방법.
제3 항에 있어서,
상기 최소화될 비용 함수는
와 같이 표현되고,
여기서 f(h)는 최소화될 비용 함수이고, h는 구한 점 확산 함수를 나타내는 매트릭스이며,
는 제곱 놈(norm) L²을 나타내고, ∥.∥₁은 놈 L¹을 나타내며, *는 콘볼루션 연산자(operator)이고,
는 최소화의 수렴을 가속화하기 위해 사용된 제1 정규화(regularisation) 항이며,
은 상기 이미징 시스템에 의해 획득한 전체 이미지에 걸쳐 유도할 수 있는 점 확산 함수를 얻기 위해 사용된 제2 정규화 항이고, γ와 β는 미리 결정된 상수인 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 타겟은 복수의 상이한 방향으로 높은 공간 기울기(gradient)를 가지는 가장자리들을 포함하는 물체를 포함하는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 타겟에 대응하는 상기 실제 이미지 부위와 일치하도록 상기 타겟의 디지털 모델을 변환하기 위한 기하학적 변환이 상기 복수의 위치에서의 각각의 위치에 관해 얻어지는 것을 특징으로 하는 방법.
제6 항에 있어서,
상기 기하학적 변환은 상기 타겟 상의 미리 정해진 특별한 점들을 사용하여 계산되는 것을 특징으로 하는 방법.
제1 항에 있어서,
상기 방법은 상기 타겟에 대응하는 실제 이미지의 부위의 세분화(44)를 포함하고, 상기 타겟의 기하학적 모델을 조정(45)하는 동안과 상기 점 확산 함수를 추정(46)하는 동안에 사용된 실제 이미지는 상기 타겟을 포함하는 부위만을 포함하며, 상기 실제 이미지의 각각의 부위는 추정된 타겟에 대응하지 않는 것을 특징으로 하는 방법.
이미징 시스템을 사용하여 얻은 이미지를 개선하는 방법으로서,
제1 항에 따른 방법을 적용하여 상기 이미징 시스템의 점 확산 함수를 얻는 단계(51)와,
그렇게 얻은 상기 점 확산 함수와, 상기 이미징 시스템을 사용하여 얻은 각각의 이미지 사이에 역 콘볼루션(reverse convolution)을 적용하는 단계(53)를 포함하는 것을 특징으로 하는 방법.
이미징 시스템(1)의 점 확산 함수를 결정하는 장치로서,
상기 이미징 시스템의 광학 필드에서 타겟(120)의 복수의 위치들에서 각각의 위치에 관해 사용되는 수단으로서,
실제 이미지라고 부르는 타겟의 이미지를 상기 타겟이 상기 위치에 있는 동안 획득하는 이미지 획득 수단(10):
상기 타겟에 대응하는 실제 이미지의 부위로 조정된 상기 타겟의 디지털 모델을 묘사하는 상기 타겟의 합성 이미지를 얻어서, 상기 모델이 상기 부위와 일치하게 하는 획득 수단(45);
상기 실제 이미지와 상기 합성 이미지를 사용하여 점 확산 함수를 추정하는 추정 수단(46);
상기 점 확산 함수에 푸리에 변환을 적용하여 상기 위치에 연관된 광학 전달(transfer) 함수를 계산하는 계산 수단(47);
상기 복수의 위치들의 각 위치와 각기 연관되고 상기 복수의 위치들의 각 위치에 대해 계산된 상기 광학 전달 함수들로부터 평균 광학 전달 함수를 계산하는 계산 수단(50); 및
상기 평균 광학 전달 함수에 역 푸리에 변환을 적용하여 평균 점 확산 함수를 얻는 획득 수단(51)을 포함하는 수단을 포함하고,
상기 복수의 위치들은 제 1 위치 및 제 2 위치를 포함하고, 상기 제 1 위치와 상기 이미징 시스템 사이의 거리는 상기 제 2 위치와 상기 이미징 시스템 사이의 거리와 상이한, 점 확산 함수를 결정하는 장치.
저장 매체에 저장된 컴퓨터 프로그램으로서,
상기 프로그램이 장치(14)의 프로세서(141)에 의해 실행될 때, 제1 항에 따른 방법을 상기 장치(14)에 의해 구현하기 위한 명령들을 포함하는 저장 매체에 저장된 컴퓨터 프로그램.
컴퓨터 프로그램을 저장하는 것을 특징으로 하는 저장 수단으로서,
상기 프로그램이 장치(14)의 프로세서(141)에 의해 실행될 때, 제1 항에 따른 방법을 상기 장치(14)에 의해 구현하기 위한 명령들을 상기 컴퓨터 프로그램이 포함하는, 저장 수단.