KR20060129433A

KR20060129433A - 깊이 정보를 포함하는 영상을 생성하기 위한 방법 및 장치

Info

Publication number: KR20060129433A
Application number: KR1020067017710A
Authority: KR
Inventors: 브렌단 에드워드 알만; 케이스 누젠트
Original assignee: 이아티아 이미징 피티와이 엘티디
Priority date: 2004-03-01
Filing date: 2005-02-18
Publication date: 2006-12-15
Also published as: JP2007526457A; US20070183647A1; WO2005083377A1; EP1721137A1; CN1926417A; US7657080B2; CN100565141C

Abstract

깊이 정보를 포함하는 영상을 생성하기 위한 방법 및 장치가 제공된다. 본 발명에 따른 방법은 한 장소(장면)로부터 발산되는 복사광을 검출하고 그 장면의 적어도 두 개의 영상을 다른 평면에 형성한다. 각각의 영상은 한 세트의 강도 데이터 값들을 포함한다. 상기한 데이터 값들의 변동이 획득됨으로써 두 세트의 강도 분산이 그 데이터 값들로부터 획득되고, 또한 그 강도 분산 데이터가 처리되어 깊이 정보를 획득하도록 한다. 상기한 깊이 정보는 영상 데이터에서 다른 깊이 정보를 식별하도록 코드화된다.

깊이 정보(depth information), 전자기 스펙트럼, 영상, 강도 데이터, 강도 분산, 복사(radiation)

Description

깊이 정보를 포함하는 영상을 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR PRODUCING AN IMAGE CONTAING DEPTH INFORMATION}

본 발명은 깊이 정보를 포함하는 영상을 생성하기 위한 방법 및 장치에 관한 것이다. 본 발명은 8 내지 12 마이크론 대역의 전자기 스펙트럼에서의 열적 영상(thermal image)에 특히 응용성을 갖는다. 그러나 본 발명의 방법 및 장치는 전자 빔 영상뿐만 아니라 전자기 스펙트럼의 다른 부분에서(특히 가시광선에서) 취해지는 영상에도 또한 유용하고, 음향 영상뿐만 아니라 다른 형태의 입자 복사 영상을 구현하는 데에도 유용하다.

열적 영상은 어두운 장소에서 시각적 영상을 만들기 위해 이용된다. 이러한 영상에서는 주변 온도를 넘어서는 장소에 존재하는 물건들이 용이하게 시각화될 수 있다. 그러나 종래의 열적 영상과 관련된 하나의 중대한 애로사항은, 상기 영상은 깊이 정보(depth information)를 거의 또는 전혀 포함하고 있지 않아서 그 영상의 일부가 그 영상의 다른 부분의 전방에 있는지 또는 후방에 있는지를 알아내기가 매우 곤란하다는 것이다. 따라서, 예컨대, 사람을 포함할 수도 있는 장면에 대해서 어떤 열 영상이 취해진다면, 그 열 영상은 사람들의 개인 각각에 대해서는 명료하 게 보여줄 수 있지만 공간상에서의 사람들의 상대적인 위치를 확인하기 위한 충분한 정보는 제공치 않을 것이다.

많은 응용분야에 있어서, 영상이 특정한 목적에 적합하도록 하기 위해서는 그 장면에 대한 충분한 정보를 제공하도록 해당 영상이 깊이 정보까지 포함하는 것이 필요하다.

따라서, 본 발명의 목적은 영상(이미지)의 여러 부분들의 상호 간의 거리에 대하여, 그리고 그 영상이 취하여지는 위치에서부터의 거리에 대한 측정이 이루어질 수 있도록 보다 개선된 깊이(depth) 정보를 포함하는 영상을 생성하는 방법 및 장치를 제공함에 있다.

본 발명은 깊이 정보를 포함하는 영상을 생성하는 방법을 제공하는바, 상기 방법은:

한 장면으로부터 발산되는 복사 파동장(radiation wavefield)을 검출하고 상기 장면에 대하여 서로 다른 평면에서 그 장면의 적어도 두 개의 영상들을 획득하여 제1 세트의 강도(intensity) 데이터 값들을 포함하는 제1 영상과 제2 세트의 강도 데이터 값들을 포함하는 제2 영상을 생성하는 과정과;

상기 제1 세트의 데이터 값들에서의 다른 데이터 값들에 대한 상기 제1 세트의 데이터 값들에서의 데이터 값들의 강도 변화량을 측정하여 제1 세트의 강도 분산 데이터를 생성하고, 또한 상기 제2 세트의 데이터 값들에서의 다른 데이터 값들에 대한 상기 제2 세트의 데이터 값들에서의 데이터 값들의 강도 변화량을 측정하여 제2 세트의 강도 분산 데이터를 생성하는 과정과;

상기 제1 및 제2 세트의 강도 분산 데이터를 처리하여 깊이 정보를 포함하는 장면의 영상 데이터를 획득하는 과정과; 그리고

동일한 깊이 정보를 갖는 영상 데이터를 기준 코드로서 코딩하여 상기 영상 데이터에서의 상이한 깊이 정보를 식별하는 과정을 포함하여 이루어진다.

따라서, 분산 데이터를 생성하고 그 다음 그 분산 데이터를 처리함으로써, 상기 분산 데이터는 서로 상이한 깊이 정보가 영상에서 식별가능하게끔 코드화될 수 있는 영상에 있어서의 깊이 정보의 생성으로 귀착될 수가 있게 된다.

본 발명의 바람직한 실시예에 따르면, 강도 분산 데이터는 본 출원인의 계류중인 국제특허출원 PCT/AU99/00949호 및 PCT/AU02/01398호에 개시된 위상 이미지(phase image) 생성 방법에 따라 처리된다. 이들 두 국제출원의 내용은 본 명세서에 참조로서 포함된다.

이에 따라서, 바람직하게는, 상기한 강도 분산 데이터를 처리하는 과정은 다음의 과정들을 포함하여 이루어진다:

(a) 대체적으로 파동장(wave field)을 가로질러 연장되는 하나의 선택된 평면에 대하여 복사 파동장의 분산 데이터 값들의 변화율에 상응하는 대표 측정치를 생성하는 과정과;

(b) 상기 선택된 평면상에서의 그 장면에 관련된 상기 복사 파동장에 상응하는 대표 측정치를 생성하는 과정과;

(c) 상기 분산 데이터의 변화율의 측정치를 변환하여 제1 적분형 변환 대표치(integral transform representation)를 생성하고, 상기 분산 데이터의 변화율의 측정치에 반영된 제1 미분 연산자(differential operator)의 역(inversion)에 해당하는 제1 필터를 상기 제1 적분형 변환 대표치에 적용하여 제1 수정 적분형 변환 대표치(modified integral transform representation)를 생성하는 과정과;

(d) 상기 제1 수정 적분형 변환 대표치에 상기 제1 적분형 변환 대표치의 역함수(inverse)을 적용하여 비변환된 대표치를 생성하는 과정과;

(e) 상기 선택된 표면상의 상기 측정치에 기초한 수정치를 상기 비변환된 대표치에 적용하는 과정과;

(f) 수정된 비변환 대표치를 변환하여 제2 적분형 변환 대표치(integral transform representation)를 생성하고, 상기 수정된 비변환 대표치에 반영된 제2 미분 연산자(differential operator)의 역에 해당하는 제2 필터를 상기 제2 적분형 변환 대표치에 적용하여 제2 수정 적분형 변환 대표치(modified integral transform representation)를 생성하는 과정과; 그리고

(g) 상기 제2 수정 적분형 변환 대표치에 상기 제2 적분형 변환 대표치의 역함수를 적용하여 상기 선택된 표면을 가로질러 상기 복사 파동장의 상(phase)의 측정치를 생성함으로써 상기 영상 데이터를 깊이 정보를 포함하는 위상 영상 데이터로서 생성하는 과정.

선택된 표면상의 상기 장면에 관련된 상기 복사 파동장에 상응하는 대표 측정치를 생성하는 과정은 대표 측정치 또는 분산 값들을 구하기 위하여 강도 값(intensity value)들을 이용해도 좋다.

특히, 일 실시예에 따르면, 선택된 표면에서의 강도 값들이 사용된다.

또 다른 실시예에 따르면, 강도 데이터 값들 중의 어떤 것으로부터 최대 초점을 나타내는 값들이 취해진다.

또 다른 실시예에 있어서는 분산 데이터 값들이 대표 측정치로서 사용된다.

한편, 또 다른 실시예에 따르면, 분산 데이터 값들의 세트들로부터 취하여진 최대 분산 값들이 사용된다.

바람직하게는, 적어도 하나의 상기한 제1 또는 제2 미분 연산자는 대체로 파동장을 가로질러 연장되는 선택된 평면에 대하여 복사 파동장의 분산 변화율에 상응하는 대표 측정치를 생성하기 위하여 복사에너지를 포착하도록 사용되는 하나의 광학 시스템에 기초하는 형태를 갖는다.

바람직하게는, 상기 제1 및 제2 미분 연산자들 모두는 광학 시스템에 기초한 형태를 갖는다.

바람직하게는, 상기 제1 및 제2 적분형 변환치들은 푸리에 변환을 이용하여 생성된다.

본 발명의 일 실시예에 있어서, 상기 미분 연산자들은 하기의 형태를 갖는데,

여기서,

그리고,

그리고, 상기 수학식에서 ρ는 방사상 수평 공간 주파수(radial lateral spatial frequency)이고, η는 수직 공간 주파수(longitudinal spatial frequency)이고, δz는 물체의 평면에서 디포커스 거리(defocus distance)이다. 또한,

여기서, NA_condensor 및 NA_objective는 각각 집광기(condenser)와 대물렌즈(objective)의 개구수(numerical aperture)인데, 이들은 모두 현미경 상의 설정된 셋팅이며 치수이다. ρ_obj 는 대물렌즈에 의해 수용되는 최대 공간 주파수이다.

바람직하게는, 한 장면의 적어도 두 개의 영상들을 획득하는 과정은, 제1 디포커스(defocused) 면에서 제1 영상을 획득하여 상기 제1 영상을 음으로 포커스가 된 영상 데이터로서 생성하고, 또한 제2 디포커스 면에서 상기 장면의 제2 영상을 획득하여 양으로 디포커스가 된 영상 데이터를 생성하는 과정을 포함하되, 상기한 음 및 양으로 디포커스가 된 영상은 상기 장면의 초점 영상을 생성하는 초점면(focal plane)의 각 측면 상에서 획득되도록 한다.

바람직하게는, 강도 분산을 결정하는 과정은 그 데이터 값을 에워싼 데이터 값들의 선명도(sharpness)에 대하여 해당 데이터 값들 각각의 선명도의 측정치를 결정하는 과정을 포함한다.

본 발명의 바람직한 실시예에 있어서, 영상은 전하 결합 장치에 의해 포착되고, 그 영상에서의 픽셀(pixel)들의 강도 값이 결정되며, 각 픽셀에서 분산 값을 제공하기 위하여 그 강도 값은 주위의 픽셀들의 강도와 비교된다.

바람직하게는, 상기 분산은 하기의 방정식에 의하여 각 픽셀에 대해 구해진다.

여기서, n은 특정한 픽셀이고, 1 내지 9의 값은 한 어레이의 픽셀들에서 해당 픽셀을 에워싼 픽셀들을 나타낸다.

따라서, 본 실시예에서 각각의 픽셀은 분산(variance)을 결정하기 위하여 특정한 그 픽셀을 바로 접하여 둘러싸는 픽셀들과 비교된다. 다른 실시예에서는 각 픽셀은 그 픽셀을 에워싸는 픽셀들과 한 픽셀만큼 멀리 떨어진 픽셀 등과 함께 그 픽셀을 둘러싼 픽셀들과 비교될 수도 있다. 상기 분산은 또한 각각의 데이터 세트에서 다른 픽셀들에 대한 각 픽셀의 분산을 구할 수 있도록 다른 방법에 의해 결정될 수도 있다.

바람직하게는, 상기 영상 데이터의 일부분을 코딩하는 과정은, 그 장면의 부분들의 서로에 대해 비교된 상대적 거리가 측정될 수 있는 하나의 시각적 이미지를 생성하도록 같은 깊이 정보를 갖는 영상의 일부분에 다른 색깔을 입히는 과정을 포함한다.

바람직하게는, 상기 장면의 제3 영상이 초점면에서 획득되어 제3 세트의 강도 데이터 값들을 생성하며, 이 제3 세트의 강도 데이터 값들은 코드화된 영상 데이터가 그 위에 씌워져서 그 장면의 서로 다른 깊이 정보뿐만 아니라 그 장면의 구조 정보를 포함하는 시각 이미지를 생성한다.

그러나, 다른 실시예에서는 시각 이미지를 제공하기보다 상기 영상은 컴퓨터에 저장되는 전자 이미지일 수도 있으며, 기준 코드는 단순히 상이한 깊이 정보에 대해서 컴퓨터에 의해 할당된 하나의 코드값일 수도 있는데, 이렇게 함으로써 특정한 한 위치의 영상이 필요할 경우 기준 코드에 의해 컴퓨터로 그러한 영상의 부분들에 대한 정보가 추출될 수 있다.

바람직하게는, 상기 상이한 깊이 정보는 해당 영상에서의 픽셀 값들에 그레이 스케일(grey scale) 값을 할당함으로써 제공된다.

본 발명은 또한 전기한 방법을 수행하기 위한 컴퓨터 프로그램에 존재하는 것일 수 있다.

본 발명은 깊이 정보를 포함하는 영상을 생성하기 위한 장치를 제공하는 것일 수도 있는데, 상기 장치는:

하나의 장면으로부터 발산되는 복사 파동장을 검출하고 그 장면에 대하여 다른 평면에서 적어도 두 개의 영상(이미지)을 획득하여, 제1 세트의 강도 데이터 값들과 제2 세트의 강도 데이터 값들을 생성하기 위한 카메라; 그리고

상기 제1 세트의 데이터 값들의 다른 데이터 값들과 비교되는 제1 세트의 데이터 값들에서의 임의의 데이터 값들의 강도 변화를 측정하여 제1 세트의 분산 데이터 값들을 생성하는 한편, 상기 제2 세트의 데이터 값의 다른 데이터 값들과 비교되는 제2 세트의 데이터 값들에서의 한 데이터 값의 분산을 측정하여 제2 세트의 분산 데이터 값들을 생성하기 위한 프로세서를 포함하되;

상기 프로세서는 또한 상기 제1 및 제2 분산 데이터 값들을 처리하여 깊이 정보를 포함하는 그 장면의 영상 데이터를 생성하도록 구성하며;

상기 프로세서는 또한 소정의 기준 코드로써 동일 깊이 정보를 갖는 영상의 일부분들을 코드화하여 상기 영상에 있어서의 상이한 깊이 정보를 식별하도록 구성된다.

따라서 강도 변화를 측정하기 위한 프로세서는 하기의 과정을 수행하기 위한 프로세서이다:

(a) 파동장(wave field)을 대체적으로 가로질러 연장되는 하나의 선택된 평면에 대하여 복사 파동장의 분산 데이터 값들의 변화율에 상응하는 대표 측정치를 생성하는 과정과;

(d) 상기 제1 수정 적분형 변환 대표치에 상기 제1 적분형 변환 대표치의 역함수를 적용하여 비변환된 대표치를 생성하는 과정과;

(e) 상기 선택된 표면상의 상기 측정치에 기초하여 수정치를 상기 비변환 대표치에 적용하는 과정과;

(f) 수정된 비변환 대표치를 변환하여 제2 적분형 변환 대표치를 생성하고, 상기 수정된 비변환 대표치에 반영된 제2 미분 연산자의 역에 해당하는 제2 필터를 상기 제2 적분형 변환 대표치에 적용하여 제2 수정 적분형 변환 대표치를 생성하는 과정과; 그리고

특히, 일 실시예에 있어서는 선택된 표면에서의 강도 값들이 사용된다.

또 다른 실시예에 따르면, 강도 데이터 값들 중의 임의의 것으로부터 최대 초점을 나타내는 값들이 취해진다.

한편, 또 다른 실시예에 따르면, 분산 데이터 값들의 세트들로부터 획득된 최대 분산 값들이 사용된다.

바람직하게는, 적어도 하나의 상기 제1 또는 제2 미분 연산자는 대체적으로 파동장을 가로질러 연장되는 상기한 선택된 평면에 대하여 복사 파동장의 분산 변화율에 상응하는 대표 측정치를 생성하기 위하여 복사에너지를 포착하도록 사용되는 하나의 광학 시스템에 기초하는 형태를 갖는다.

바람직하게는, 상기 제1 및 제2 미분 연산자들은 푸리에 변환(Fourier transform)을 이용하여 생성된다.

여기서,

그리고,

여기서, NA_condensor 및 NA_objective는 각각 집광기(condenser)와 대물렌즈(objective)의 개구수(numerical aperture)인데, 여기서 만일 카메라로 다양한 영상들을 포착하는데에 있어 현미경이 사용된다면 이들은 모두 현미경 상의 설정된 셋팅이며 치수이다. ρ_obj 는 대물렌즈에 의해 수용되는 최대 공간 주파수이다.

만일 망원경과 같은 다른 광학 시스템 또는 단순히 광학 카메라에 의해 영상이 포착된다면, 상기 연산자는 다양한 광학 시스템에 맞추기 위해 다소 수정되어야 할 것이다.

바람직하게는, 한 장면의 적어도 두 개의 영상들을 획득하는 과정은, 제1 디포커스(defocused) 면에서 제1 영상을 획득하여 음으로 포커스가 된 영상을 생성하고, 또한 제2 디포커스 면에서 상기 장면의 제2 영상을 획득하여 양으로 디포커스가 된 영상을 생성하는 과정을 포함하되, 상기한 음 및 양으로 디포커스가 된 영상은 상기 장면의 초점 영상을 생성하는 초점면(focal plane)의 각각의 측면에서 획득되도록 한다.

본 발명의 바람직한 실시예에 있어서, 영상은 전하 결합 장치에 의해 포착되고, 그 영상에서의 픽셀(pixel)들의 강도 값이 결정되며, 각 픽셀에서 분산(variation)을 제공하기 위하여 그 강도 값은 주위의 픽셀들의 강도와 비교된다.

여기서, n은 특정한 픽셀이고, 1 내지 9의 값은 하나의 어레이의 픽셀들에서 해당 픽셀을 에워싼 픽셀들을 나타내며, I는 각 픽셀의 강도 값이다.

바람직하게는, 상기 처리된 영상의 일부분을 코딩하는 과정은, 서로에 대하여 비교된 그 장면의 부분들의 상대적 거리가 측정될 수 있는 하나의 시각적 이미지를 생성하도록 같은 깊이 정보를 갖는 영상의 일부분에 대해 다른 색깔을 입히는 과정을 포함한다.

그러나, 다른 실시예에서는 시각 이미지를 제공하기보다는 상기 영상은 컴퓨터에 저장되는 전자 이미지일 수도 있으며, 또한 기준 코드는 단순히 상이한 깊이 정보에 대해서 컴퓨터에 의해 할당된 하나의 코드값일 수도 있는데, 이렇게 함으로써 특정한 한 위치에서의 영상이 필요할 경우 해당 기준 코드를 참조함에 의해 컴퓨터로 그러한 영상의 부분들에 대한 정보가 추출될 수 있다.

이하, 본 발명의 실시예를 첨부 도면들을 참조로 하여 예시적으로 설명할 것이다. 첨부 도면들에 있어서:

도 1은 본 발명의 실시예를 예시함에 있어 도움이 되는 도면이다;

도 2는 본 발명을 구현하는 장치의 개략도이다;

도 3은 본 발명의 실시예에서 영상을 얻기 위해 사용되는 카메라의 픽셀들을 도시하는 도면이다;

도 4는 상이한 깊이 정보의 생성을 예시하는 도면이다;

도 5는 본 발명의 실시예에 따라서 상이한 깊이 정보가 어떻게 코드화되는지를 예시하는 도면이다;

도 6은 바람직한 실시예에 따른 방법의 구현을 도시하는 흐름도이다;

도 7은 영상의 포착에 있어 현미경을 이용하는 구성을 개략적으로 도시하는 도면이다;

도 8은 본 발명의 일 실시예에 따른 예시적인 시스템의 개략적인 도면;

도 9는 본 발명의 일 실시예에 관한 흐름도이다.

본 발명의 바람직한 실시예에서는 출원인의 국제출원 제PCT/AU99/00949 및 제PCT/AU02/01398호에 개시된 위상(phase) 결정 기법에 따라 영상을 효과적으로 처리한다. 그러나, 이러한 출원에 개시된 알고리즘이 영상을 생성하기 위해 포착된 장면(scene)에 관련된 데이터를 처리하기 위해 사용되기 전에 상기 데이터는 분 산(variance) 데이터를 생성하도록 먼저 조작되고 따라서 상기 분산 데이터는 상기한 국제출원에 개시된 바와 같은 순수한 강도 데이터보다는 알고리즘에 따라 처리된다. 그러나, 이를 차치하고는, 상기 데이터를 처리하는 방법은 전기한 국제출원에 기재된 것과 동일하다.

도 1은 세 개의 상이한 초점면(focal plane)에서 한 장면(scene)의 영상을 도시하는 도면이다. 평면 Io는 그 장면의 초점내 영상(in focus image)을 포착하기 위해 이용될 초점내 면(in focus plane)이다. 상기 장면은 차량, 사람 또는 그와 유사한 것과 같은 다수의 물품 또는 대상들을 포함할 수 있으며, 일반적으로 본 발명의 바람직한 실시예는 열적 영상(thermal image)을 얻기 위해 사용될 것이다. 그러나 본 발명은 다른 종류의 영상들에 이용될 수도 있고 그러한 영상에 있어서 깊이 정보를 향상시킬 수 있을 것이다. 본 발명은, 열 영상이 대체로 그 영상의 상이한 부분들이 영상의 다른 부위와 거리의 측면에서 비교될 수 있게 하는 깊이 정보를 거의 또는 전혀 포함하고 있지 않기 때문에 열 영상에 특별한 응용성을 갖는다. 따라서, 열적 영상에 있어서 그 영상의 일부가 영상이 포획되었던 위치에 근접하거나 또는 그로부터 멀리 떨어져 있는지, 또는 그 영상의 일부가 서로에 대해 공간적으로 배열되어 있는지를 확인하는 것은 매우 어렵다.

도면에서 평면 V-는 영상을 포착하기 위해 사용되는 카메라(20)(도 2 참고))의 필드의 깊이 내에서 음으로 디포커스 된(negatively defocused) 평면이고, 평면 I₀는 초점면(focal plane)이고, 평면 V+는 카메라(20)의 필드 깊이 내에서의 양으로 디포커스 된, 그러나 상기 평면 I₀에 대해서 양으로 디포커스 된 평면이다. 달리 말하면, 평면 V-는 초점내 면(in focus plane) I₀ 보다 상기 장면에 더 가깝고, 평면 V+는 초점내 면 I₀ 보다 상기 장면으로부터 더 떨어져 있다.

전형적으로 평면 V-에 우연히 초점 t 에 존재하는 평면 V-에서 취해진 영상의 일부분들은 평면 V-에서는 매우 날카로운 영상 포인트(21)를 만들게 될 것이지만, 참조기호 22에 의해 도시된 바와 같은 평면 V+에서는 매우 흐린 디포커스된 영상일 것이다. 위치 21 및 22에서 영상을 생성하는 파형은 도 1에서 23으로 도시된다. 마찬가지로, 평면 V-에서 디포커스된 희미한 영상(24)의 일부는 참조기호 25에 의해 지시되는 바와 같이 평면 V+에서 초점이 맞춰질 수도 있다. 다시 한번, 이러한 영상의 일부분들을 형성하는 파동장의 형태는 참조기호 26으로 도시된다.

도 2에 도시된 바와 같이, 카메라(20)는 평면들 V-, I₀ 및 V+에서 도 2의 참조기호 S로써 개략적으로 도시된 장면의 영상을 포착하기 위해 사용되며, 이로써 상기 세 개의 평면에서 세 세트의 강도 데이터가 카메라(20)의 픽셀들에 의해 획득된다.

본 발명의 바람직한 실시예에 있어서, 상기 카메라(20)는 가변초점형 Ge 렌즈를 구비한 8 내지 12 마이크론 대역에서 동작하는 극저온-냉각식(cryogenically-cooled) 640 x 480 픽셀 어레이 열 카메라이다. 카메라(20)에 의해 획득된 강도 데이터는 프로세서(40)에서 처리되고 그 영상은 표시장치(42)에서 디스플레이될 수 있다.

상기 프로세서(40)는 일단 평면들 V- 및 V+에서 두 개의 영상들 중의 각각에 대하여 각각의 픽셀에 대한 분산 값을 결정한다. 따라서, 두 세트의 분산 데이터가 생성된다.

도 3은 상기한 픽셀 어레이 형성 카메라(20)에서의 9 개의 픽셀들의 예를 도시하며, 여기서 픽셀 I₅에서의 분산은 다음의 수학식에 따라서 결정된다.

따라서, 도 3의 어레이에 있어서 다섯 번째 픽셀에 대한 분산 값이 결정된다. 도 3에서 어레이의 모서리에 배열된 픽셀들은 계산에 포함되지 않도록 0(zero)으로 설정될 수 있다. 이것은 영상의 크기를 두 개의 픽셀 폭만큼 다소 감소시킨다. 그러나 그것은 계산을 더욱 쉽게 만드는데, 그 이유는 모든 픽셀들이 8개의 다른 픽셀들에 의해 둘러싸일 것이므로 전술한 방법으로 모든 분산 값들이 결정될 수 있기 때문이다. 마찬가지로 상기 어레이에서의 다른 픽셀들 각각에 대한 분산 값들은 평면들 V- 및 V+의 영상 픽셀들의 각각에 대해 결정되고, 이로써 두 세트의 분산 데이터가 생성된다. 그 다음에 상기 두 세트의 분산 데이터가 상기 알고리즘에 사용되어 카메라(20)에 의해 원래에 획득된 순수한 강도 데이터 대신에 그 장면의 위상 영상 데이터를 생성하도록 한다. 분산 데이터를 이용하여 각각의 평면들 V- 및 V+에서 영상의 선명도에 대한 측정을 하며, 이에 따라서 영상의 다른 부분들에 대한 영상의 일부분의 깊이에 대한 측정을 본질적으로 포함한다. 상기 분산 데이터는 전술한 국제출원에 기재된 바와 같이 강도(intensity) 데이터와 같은 방법으로 처리되어, 장면의 필드 깊이 정보가 포함되어 있는 위상 영상(phase image)을 생성하도록 한다. 분산 데이터는 위상 영상을 생성하기 위해 사용되기 때문에, 그 영상은 상기 장면에 있는 물건들이나 물체의 실질적인 구조에 대한 세부사항을 거의 포함하지 않을 것이지만 그 장면의 특징을 나타내는 대체적인 윤곽을 포함할 것이다. 처리된 영상에서의 위치의 깊이 정보는 처리된 영상 데이터의 각 픽셀들에서의 그레이 스케일(grey scale) 값에 의해 제공될 수 있는데, 따라서 이것은 다시 상기 영상이 획득되었던 장면의 일부분들의 위치에 대해서뿐만 아니라 그 장면의 다른 부분들에 대하여 각 픽셀에 관련되는 장면의 부분에 대한 상대적인 척도(measure)를 제공한다. 예를 들면, 도 4에 가장 잘 도시된 바와 같이, 그 영상이 획득되는 장면에 매우 근접한 어떤 것은 참조기호 61로 나타낸 것과 같이 더 어둡게 보이고, 또한 더 멀리 떨어진 어떤 것은 62에서와 같이 더 밝게 보인다.

처리된 위상 영상에서 각각의 픽셀들에 할당된 그레이 스케일 값들은, 그 영상이 획득된 현장으로부터의 그리고 서로에 대한 해당 장면(scene)의 일부분들의 거리에 대한 실질적인 측정을 제공하도록 이용될 수 있다. 예를 들면, 카메라의 광학이 알려지고 또한 평면들 V₁과 V₊ 사이의 거리가 알려진다면, 실질적인 측정치는 그 영상에 있어서의 여러 가지의 그레이 스케일 값들과 결부될 수가 있어서 상기 장면의 부분들 서로에 대한, 그리고 그 영상이 취해졌던 위치로부터의 상기 장면의 부분들에 대한 거리 측정을 제공한다.

도 4에 도시된 영상은 같은 그레이 스케일 값을 갖는 영상의 일부에 기준 코드(code reference)를 적용함으로써 그 영상에서의 물품들의 상이한 거리를 더욱 뚜렷하게 나타내도록 코드화될 수가 있다. 이것은 여러 가지의 다른 방식으로 수행될 수 있으나, 가장 바람직하게는, 같은 그레이 스케일 값을 갖는 영상의 부분들이 같은 색으로 색이 입혀지도록 거짓 색으로 된 색조(false colour palette)로써 영상의 일부분을 코딩함으로써 수행된다. 따라서 이것은 전체적 영상이 전반적으로 같은 음영으로 된 것처럼 보이는 단순한 종래의 열 영상의 경우보다 영상의 깊이 정보를 인식하는 것을 더욱 쉽게 만든다. 예를 들면, 도 5에서는 상기한 그레이 스케일 값들은 영상이 취해지는 곳으로부터 말하자면 10미터 정도에서 100미터까지도 떨어져 있을 수 있는 그 영상에서의 가까운 물건들에 대하여 보여주고 있다. 그러한 그레이 스케일 값들은 전술한 방법에서 다른 색들로 할당될 수도 있으며, 이리하여 상기 영상 내의 물건들이 서로에 대하여 실제로 어디에 위치되어 있는지를 인식하는 것을 훨씬 더 쉽게 만들기 위하여 어느 특정한 색깔이 그 영상 내에서의 특정한 거리와 서로 연결되도록 할 수도 있다.

순수한 거리 정보보다는 그 물건의 세부가 보이는 영상을 생성하기 위해서, 한 영상에서 영상의 깊이 정보와 그 영상의 강도 정보를 모두 제공하도록, 상기한 처리된 영상이 초점거리 평면인 평면 I₀에서 획득된 강도 영상에 적용될 수 있다. 따라서, 강도 정보는 그 영상에서의 여러 가지 성분들의 구조상의 세부사항을 제공하고, 전술한 바와 같이, 깊이 정보는 영상의 부분들에 대한 상대적인 위치를 확인할 수 있도록 해준다. 그리하여, 이러한 영상은 깊이 정보를 포함할 뿐만 아니라 그 영상의 여러 가지 성분들이 무엇인지를 확인하는 것을 더욱 용이하게 만들 것이다. 그 이유는 영상에 있어서 실제적 구조가 보이기 때문이다.

따라서, 본 발명의 바람직한 실시예에 따르면, 카메라(20) 상에서 렌즈의 영상 범위(imaging range)와 연색성(color rendering)이 측정(calibration)될 수가 있고, 따라서 그 영상의 위치가 정량화될 수가 있다. 다음으로 이러한 기술에 의하면 수동형 거리측정(passive ranging) 기능을 제공할 기회가 주어진다. 시야의 영역에서 대비(contrast)가 거의 없는 거의 열적 균일성(thermal uniformity)인 조건에서, 이 과정에 의해 제공된 상기한 깊이 위치 정보는 장면의 영상을 관찰하고 처리하기 위한 또 다른 하나의 대비 구조를 제안한다. 마지막으로, 위장(camouflage)과 같은 흐릿한 시계 조건 하에서는 어떤 물체의 윤곽이 혼란스러워질 수가 있으며, 이것은 그 물체에 대한 식별을 곤란하게 만든다. 상기 장면에 대해 깊이적 색 표현(color depth rendering)을 함으로써, 윤곽이 은폐될 수는 있을지라도, 공간상의 그의 물리적 위치들은 그럴 수가 없기 때문에, 공통 위치에서 영상 요소들을 함께 간파하는 것을 가능하게 한다.

분산 데이터를 처리하여 위상 영상을 생성하도록 알고리즘이 동작하는 방식 은 다음과 같다.

각각의 공간적 지점에서 광 빔(optical beam)은 두 개의 성질을 보유한다. 즉 강도(intensity)와 위상(phase)이다. 강도는 각 지점을 통해 흐르는 에너지 양의 측정치인 반면에 위상은 에너지 흐름의 방향에 대한 측정치를 제공한다.

강도는 예를 들면, 직접 필름상에 이미지를 기록함으로써 측정될 수 있다. 위상은 전형적으로 "기준 빔(reference beam)"과의 간섭을 이용하여 측정된다. 이와 대조적으로, 본 발명에 따른 방법은 위상을 측정하기 위한 비간섭계적인(non-interferometric) 방법을 제공한다.

강도는 입사하는 복사광으로부터 먼 쪽에서 파동 장의 전파 방향을 가로질러 연장되는 두 개의 평행한 평면들 V- 및 V+에 대해서 측정될 수 있다.

본 발명은 하기의 수학식 1에 의해 정의되는 강도 옮김 방정식(transport-of-intensity equation)에 대한 해(solution)를 제공함으로써 위상을 결정한다:

여기서 I는 해당 평면에서의 강도이고, 그 평면에서의 증감 연산자(gradient operator)는 ∇_┴로 표시되고, k는 복사 광의 파동수(wave number)이고, 그리고 ∂I/∂z는 강도 미분계수(derivative) 또는 강도 변화율이다. 그러나, 이전에 언급된 깊이 정보를 획득하기 위하여, 두 개의 평면에서 카메라에 의해 획득되는 강도 값 들을 이용하기보다는, 전술한 방법으로 계산된 분산 값들이 분산 미분계수 또는 분산 변화율 ∂V/∂z가 되도록 획득된다. ∂V/∂z는 도 1에 도시된 평면들 V- 및 V+에 있어서의 측정의 차이로부터 추산되는 반면에, 강도 I는 그러한 측정들의 평균에 의해 주어진다.

상기 수학식 1에 대한 해를 구하기 위하여 함수 A가 먼저 다음과 같이 정의된다.

따라서 수학식 1은 아래와 같이 된다.

표준 항등식 ∇_┴ㆍ∇_┴= ∇_┴ ²을 이용하면, 이것은 하기와 같이 된다.

여기서, ∇_┴ ²은 영상의 표면에 대하여 작용하는 이차 라플라스 함수(Laplacian acting)를 나타낸다. 이 방정식은 다음과 같은 기호 해(symbolic solution)를 갖는다:

만일 상기 증감 연산자 ∇_┴가 이 방정식의 양변에 부가된다면 다음과 같다:

함수 A에 대한 정의 식 (2)는 상기 식(6)을 다음과 같이 변환되도록 한다:

양변을 I로 나누면, 다음 식과 같이 된다:

그러나, 전술한 바와 같이, 강도 값 I로 양 변을 나누는 것보다는 모든 영상에 걸쳐 최대 초점 값을 사용하거나, 해당 평면에서의 분산 데이터를 사용하거나, 또는 분산 상태의 값들 모두에 걸쳐서 최대 분산치를 사용할 수도 있다.

식 (8)의 양변의 이차원 발산(divergence) ▽_┴ㆍ 을 취하고, 다시 표준 항 등식 ▽_┴ㆍ ▽_┴ =▽_┴ ²을 이용하면, 식 (8)은 하기와 같이 된다:

이 방정식은 다음과 같은 기호 해를 갖는다:

식 (10)의 실제 해(practical solution)를 실행하기 위해서는 다음과 같은 공식이 필요하다. 적절히 처리된 함수 f(x,y)는 다음의 이차원 푸리에 적분의 형태로 이루어질 수 있다:

상기 함수

는 f(x,y)의 푸리에 변환(Fourier Transform)이라 불리워진다.

식 (11)의 x 미분계수는 다음과 같이 된다.

그러므로

f(x,y)의 푸리에 변환은

에 의해 곱해진 f(x,y)의 푸리에 변환과 같다. 달리 설명하면,

가 되는데, 여기서 F는 푸리에 변환을 나타내고, F^-1은 역 푸리에 변환을 나타낸다.

f(x,y)에 대해서도 유사한 고찰이 적용된다.

만일 식 (11)의 라플라시안(Laplacian)

이 구해져서 유사한 추론이 적용된다면, 다음 식이 나오게 되는데:

여기서,

이다.

따라서 다음 식과 같이 된다:

여기서, F는 푸리에 변환을 나타내고, F^-1은 역 푸리에 변환을 나타내며, (k_x, k_y)는 (x,y)에 대하여 짝(conjugate) 푸리에 변수(Fourier variables)들이다. 그리고,

상기 식 (13)은 다음과 같은 형식으로 식 (10)을 다시 쓰도록 이용될 수가 있다.

실제로는 강도에 의한 나누기 연산(division)은 단지 그 강도가 특정 임계치(예를 들면, 최대 값의 0.1%)보다 더 클 경우에만 수행된다.

k_r에 의한 나누기 연산은 k_r = 0인 푸리에 공간의 지점에서는 이루어지지 않는다. 대신에 0(제로)에 의한 곱하기(multiplication)가 이 지점에서 일어난다. 이것은 적분 연산자 ▽_┴ ^-2의 코시 기본값(Cauchy primary value)을 취함에 상당한다.

물체의 위상을 정량적으로 측정하기 위해서는, 상기 변수들 k_x, k_y를 정량화 하기 위해 사용되는 실험적 설정에 관하여 방정식 (14)에서 주어지는 위상 복구 알고리즘에 약간의 물리적 상수들을 편입하는 것이 필요하다. 이것은 패스트 푸리에 변환(Fast Fourier Transform)을 이용하여 완성하기에 적당한 다음과 같은 형태로 식 (14)를 다시 써서 수행될 수 있다.

여기서,

는

의 빈도 성분(frequent components)을 지시하며, 강도 미분계수

는 거리 δz로 분리된 두 개의 영상들 V₊ 및 V_-를 뺌으로써 획득되며, i 및 j는 그 영상 상의 픽셀 수이고 푸리에 공간 스텝 사이즈가 다음의 식에 의해 주어진다는 사실을 이용한다. 여기서, 영상은 △x 크기의 픽셀로 이루어진 N x N 어레이이다.

따라서, 정량적 위상 측정을 하기 위해서는 세 개의 강도 분포(intensity distribution)를 측정함에 부가하여 픽셀의 크기 △x, 디포커스(defocus) 거리 δz 및 파장 λ를 아는 것이 필요하다. 모든 이러한 양들은 쉽게 측정될 수가 있는데, 픽셀 크기는, 예를 들면, CCD 검출기의 기하학적 배열로부터 직접적으로(직접 방식의 영상처리일 경우), 또는 횡단 거리 스케일의 측정(calibration)을 위한 기존의 기법을 이용하여(영상 시스템의 경우) 용이하게 측정될 수가 있고, 디포커스 거리는 직접 측정이 가능하며, 그리고 조명의 스펙트럼 분포는 입사광 영역을 단색화(monochromating) 함으로써 또는 기존의 분광기적(spectroscopic) 기법을 이용하여 복사광의 스펙트럼 분포를 분석함으로써 결정될 수가 있다.

식 (14)의 해를 구하는 위상-복구(phase-retrieval) 방법의 예는 도 6에 도시된 흐름도에 의해 표현될 수 있다. 도 2에 도시된 바와 같이, 복사 파동장(wave field)의 위상의 정량적 결정과정은 두 개의 이격된 평면들 V_- 및 V₊에 대한 한 세트의 분산 측정치들{V_n}로부터 진행된다. 상기 평면들 V_- 및 V₊에 평행하고 그 사이의 중간쯤에 위치한 하나의 선택된 평면에서 중심 강도 I(x,y)의 측정이 또한 구해진다. 강도 측정은 두 개의 평면들 A 및 B 각각 상에 정의된 어레이에 대하여 수행되며 그 각각의 값들은 뺄셈되어 강도 미분계수(intensity derivative)의 측정치를 만들게 된다. 이 값에 평균 파동 수의 음수를 곱한다. 그 데이터는 두 성분의 세트들로 분할되고 패스트 푸리에 변환이 수행되어 푸리에 도메인에서 각각의 x 및 y 성분을 생성한다. 다음으로 비변환된 대표치로 나타낸 미분 연산자의 역에 상당하도록 푸리에 도메인 대표치에 필터가 적용된다. 그 다음, 역 푸리에 변환이 상기한 x 및 y 성분들 각각에 대해 수행되어 미분 연산자가 그로부터 제거된 하나의 공간 도메인 값을 생성한다. 만일 강도 수준이 소정의 선택된 임계치 수준을 넘는다면, 평면들 V_- 및 V₊상의 강도 측정치들을 평균함으로써 획득되는 중심 강도 I(x,y)에 의한 나누기 연산이 그 다음에 수행된다. 그의 결과 데이터는 다시 푸리에 변환되고, 동일한 필터에 의해 곱해져서, 다시 비변환된 데이터에 반영된 미분 연산자의 역에 해당하도록 한다. 결과적인 성분들은 다시금 역 푸리에 변환되고 합산되어 복구된 위상 측정치를 제공하게 된다.

일반적으로 본 발명에 따른 방법은 전파 방향을 가로질러 연장되는 하나의 선택된 평면에 대한 강도 변화율 및 상기 동일한 평면에 대한 강도 또는 강도의 미분계수(derivative)의 적절한 대표적 결정치로부터 진행될 수 있다는 것이 명백할 것이다. 여러 가지의 예에서 설명되었듯이, 이러한 데이터들은 복사 파동장의 위상을 생성하도록 구현된 다양한 방식과 방법으로 획득될 수 있다.

아래의 수학식들,

로써 상기 식 (14)를 다시 쓰면, 다음과 같은 식 (15)가 나오게 된다:

여기서, φ(x,y)는 복구된 위상을 나타내고,

F는 푸리에 변환을, 그리고 F^-1은 역 푸리에 변환을 나타내며,

I(x,y)는 관련 평면상의 강도 분포이고,

(x,y)는 관련 평면상의 데카르트 좌표(Cartesian coordinates)이고,

(k_x, k_y)는 좌표 (x,y)에 대한 짝(conjugate) 푸리에 변수들이고,

는 복사광의 평균 파동 수이고,

는 복사 광의 평균 파장이며,

∂V/∂z는 종축 방향의 분산 미분계수(longitudinal variance derivative)에 대한 추정치이고,

α는 노이즈가 존재할 때 알고리즘을 안정화하기 위해 이용되는 정규화 매개변수(regularization parameter)이다.

전술한 바와 같이, 강도 옮김(transport-of-intensity) 방정식 (1)에 대한 해는 완전 영상 시스템을 가정한다. 즉, 상기 알고리즘에 제공될 강도 데이터를 얻 기 위해 사용되는 광학 시스템에는 어떠한 "수차(aberration)"도 존재하지 않는다. 물론, 어떠한 영상화 시스템도 완벽하지는 않다. 영상 시스템에 존재하는 결함들은 수차 계수라고 일컬어지는 다음과 같은 한 세트의 숫자들로 정량화될 수도 있다:

만일 결함들이 위와 같은 알려진 수차계수의 특정 세트에 의해 특징지어지는 불완전한 기구장치에 대하여 강도 데이터가 취해진다면, 상기 식 (15)에 존재하는 필터들 Ω_x(k_xk_y,α) 및 Ω_y(k_xk_y,α)가 하기의 식과 같이 수차 계수에 명시적으로 의존하는 수정된 필터들로서 교체될 수 있다면 바람직할 것이다.

이것은 영상 시스템의 결함들이 명시적으로 고려되는 것을 가능하게 함으로써 수차화(aberrated) 영상 시스템을 이용하여 정량적으로 정확한 위상 복구에 이르게끔 한다. 미약한 위상 변동(즉, 2π 라디안보다 훨씬 적은)을 갖는 균일한 강도의 복사 파동장에서의 비흡수성 위상 물체(non-absorbing phase object)의 특별한 경우에 대하여, 적절한 변형 필터들은 위상-복구 알고리즘에 대하여 하기의 함수 형태로 귀착된다:

여기서, V_aberrated(x,y)는 디포커스 거리 δz에서 측정된 수차 분산(aberrated variance)이고, 그리고

A_mn은 불완전 영상 시스템의 특징을 나타내는 수차 계수이다.

만일 하나의 필터가 정의된다면:

그러면, 식 (18)은 다음 식과 같이 된다:

상기 항 {I_aberrated(x,y) - 1}은 강도 변화율의 측정치이다. I₀은 상기 식 (20)이 식 (15)와 같은 일반적인 형태가 되도록 하는 균일한 강도를 위한 측정가능한 상수이다. 따라서, 수차의 특별한 경우는 전술한 일반적인 방법으로 필터를 변경함으로써 다루어질 수 있다. x 및 y 성분 필터들 Ω_x 및 Ω_y는 다음 식에 의해 주어진다:

도 7은 정량적 위상 진폭 현미경적 기법(quantitative phase amplitude microscopy)를 위한 구성을 개략적으로 도시한다. 광학 현미경에서 흔히 발견되는 백색광 쾰러(Koehler) 광원(15)을 이용하는 샘플이 예시된다. 빛은 대물렌즈(16)를 통해 전달되고 현미경 영상 시스템(17)에 의해 수집되어 CCD 카메라(18) 또는 편평한 영상 면을 구비한 다른 디지털 영상 장치에 중계된다. 다음의 세 개의 영상이 수집되는데, 즉 하나의 초점 내(in-focus) 영상 I₀ 및 두 개의 약간 초점에서 벗어난(out-of-focus) 영상들 I₊ 및 I_-이다. 현미경 초점 스위치를 조절하기 위한 구동 시스템(19)과 같은 적절한 수단에 의해 초점이 흐려진다(defocused). 사용할 디포커스의 최적량은 샘플 특성과 배율, 개구수(numerical aperture) 등과 같은 영상화 구조배열에 의해 결정될지라도 통상 도입된 디포커스는 공간 해상도의 저하가 최소화되도록 아주 작다.

영상을 취할 때 집광기의 개구수는 사용되고 있는 대물렌즈의 개구수보다 더 적게 되도록 선택된다. 만일 이것이 그렇지 않다면, 상기 집광기와 대물렌즈 개구수가 서로 달라야만 하는 정확한 양이 영상 충실도와 공간 해상도 간의 상쇄(tradeoff)를 수반할지라도 중대한 영상 저하가 일어날 것이다. 여기서 상기 최적 차이는 샘플 특성과 사용된 광학장치에 따라 결정된다.

분산 데이터 값들은 평면들 V₊ 및 V_-에서 수집된 강도 값들로부터 전술한 방법으로 결정되고, 뺄셈되어 분산의 변화율(분산 도함수 또는 미분계수)에 대한 대표적인 측정치를 생성한다. 이것으로부터 그리고 수집된 영상 I₀의 강도 데이터로부터 전술한 방법은 영상 면에 있어서의 위상 편이(shift)의 크기에 대한 정량적 정보를 생성하기 위해 이용될 수 있다.

강도 미분계수(dV/dz)의 더 양호한 추정치를 획득하기 위하여 두 개 이상의 영상들을 이용하는 것이 바람직한 경우가 있을 수 있다. 그 다음, 하나의 함수를 이 데이터에 알맞게 만들 수 있는데, 그로부터 정상적으로 이용되는 두 개의 영상들의 단순한 뺄셈(subtraction) 대신에 dV/dz가 계산되어 위상 결정 방법에서 사용될 수가 있다.

또한 표면 지형(surface topography)을 구하기 위해 기하학적 반사 배열(reflection geometry)에서 이 시스템을 작동시키는 것이 가능하다. 동작 원리는 마찬가지이지만, 기하학적 반사 배열을 형성하기 위해서 광학장치(optics)는 그 자체에 대해 접혀 포개지도록 할 필요가 있다. 다른 점에 있어서는 과정은 동일하다.

그것은 전술한 영상 과정은 백색광에 대해서 똑같이 잘 동작하므로 그에 대해서는 불필요하다고 하더라도, 어떤 응용에 대해서는 특정한 파장에 대해 빛이 필터를 거치도록 하는 것이 바람직할 수 있다.

도 8에 하나의 구현장치가 도시된다. 올림푸스 BX-60 광학 현미경(20)은 UMPlan 금속 대물렌즈(metallugical objective)와 유니버샬 콘덴서의 한 세트가 장착되어 쾰러(Kohler) 조명을 제공한다. 결과물을 기존의 영상 모드와 비교하는 것을 가능하게 하기 위해 노마스키 DIC(Nomarski DIC) 광학장치와, 한 세트의 커버-슬립 수정형 UplanApo 대물렌즈가 또한 이러한 현미경을 위해 구비되어, 정량적인 비교를 위하여 위상 복구(phase retrieval) 및 노마스키 DIC 양자를 이용하여 동일한 시계 영역에 대해 영상이 취해질 수 있도록 한다. 1300 x 1035 픽셀 코닥 KAF-1400 CCD 칩이 장착된 12-비트 과학용 Photometrics SenSys CCD 카메라(21)가 샘플의 디지털 영상을 획득하기 위해 현미경의 0.5x 비디오 포트에 추가되었다.

본 발명의 이러한 실시예에 따른 위상 복구 기법은 디포커스된 영상의 포착을 필요로 한다. 스테퍼 모터 구동 시스템(22)이 현미경의 초점 조절용 스위치에 부착되었다. 이 스테퍼 모터(22)는 CCD 카메라(21)를 제어하기 위하여 사용되는 133MHz 펜티엄 PC(33)의 병렬 포트에 부착되어 초점-통과(through-focus) 영상 과정의 포착을 완전히 자동화하는 것을 가능하게 한다. 이러한 데이타 포착 시스템은 CCD 영상으로부터 위상 영상을 복구하도록 작성된 커스텀 소프트웨어에 연결됨으로써, 영상 포착과 데이터 처리 과정들에 있어서의 완전 자동화를 가능하게 해준다.

본 발명의 바람직한 실시예에서 이용된 미분 연산자의 형태는 전술한 영상을 획득하기 위해 사용된 시스템의 광학장치에 기초하고 있다. 따라서, 상기 연산자는 영상을 얻기 위해 사용된 광학 시스템의 세부 사양을 고려하여야 한다. 이것은 다음에 의해 달성된다:

- 집광기의 개구수(numerical aperture)인 NA_condensor를 결정한다

- 대물렌즈의 개구수인 NA_objective 및 대물렌즈 조리개(aperture)의 반경 ρ_objective를 결정한다.

(이들은 모두 현미경 상의 설정 및 치수이다.)

- 방사상 수평(lateral) 공간 주파수인 ρ와 수직(longitudinal) 공간 주파수인 η를 결정한다.

(이들은 일련으로 취해진 영상들의 위치 분포와 픽셀 화소화(pixelation)에 따른다.);

- 사용될 복사광의 파장 λ를 결정한다.

연산자의 새로운 형태는 다음과 같다:

여기서,

그리고,

도 9는 T_ρ가 상기 방정식을 이용하여 어떻게 결정되는가를 전반적으로 예시하는 흐름도인데, 상기 방정식의 여러 가지 성분들의 세부 사항을 단순히 나타내고 있다.

상기한 계산기 깊이 영상 (calculator depth image)은 더 양호한 시각화를 제공하기 위하여 다른 양태로 표현될 수도 있다. 그러한 양태(modality)는 DIC, 밝은 영역 영상(bright field image), 어두운 영역 영상(dark field image) 및 다른 통상적인 양태의 이미지들을 포함한다. 본 발명에 따라 결정되는 위상 데이터로부터 이러한 형태의 이미지들을 형성하기 위한 기법들은 동시 계류중인 국제출원 제PCT/AU02/00590호에 기술되어 있으며, 그 내용은 본 명세서에 참조로서 포함된다.

본 발명의 사상과 범위 내에서의 변경은 당해 기술분야의 전문가에 의해서 용이하게 달성될 수도 있기 때문에, 본 발명은 지금까지 예를 들어 기술된 특정한 실시예예 한정되지는 않는다는 것을 이해하여야 할 것이다.

후술하는 청구범위와 전술한 본 발명의 설명에 있어서, 문맥상 어떤 언어 또는 필요한 함축을 표현하기 위해 달리 필요한 경우를 제외하고는, "포함한다"라는 용어 또는 "포함하는"이라는 용어는 포괄적인 의미, 즉 본 발명의 여러 가지의 실시예들에 있어서의 추가적인 특징들의 존재 또는 추가를 배제하는 것이 아니라 기술된 특징사항의 존재를 지정하기 위하여 사용되고 있음을 유념하여야 할 것이다.

본 발명은 깊이 정보를 포함하는 영상을 생성함에 이용된다. 본 발명은 8 내지 12 마이크론 대역의 전자기 스펙트럼에서의 열 영상(thermal image)에 특히 응용성을 갖는다. 본 발명은 전자 빔 영상뿐만 아니라 전자기 스펙트럼의 다른 부분에서(특히, 가시광선에서) 얻어지는 영상에도 또한 유용하고, 음향 영상뿐만 아니라 다른 형태의 입자 복사 영상을 구현함에 있어서도 유용하다.

Claims

깊이 정보를 포함하는 영상을 생성하는 방법에 있어서,

한 장면으로부터 발산되는 복사 파동장을 검출하고, 상기 장면에 대하여 서로 다른 평면에서 그 장면의 적어도 두 개의 영상들을 획득하여, 제1 세트의 강도 데이터 값들을 포함하는 제1 영상과 제2 세트의 강도 데이터 값들을 포함하는 제2 영상을 생성하는 과정과;

상기 제1 세트의 데이터 값들에서의 다른 데이터 값들에 대한 제1 세트의 데이터 값들에서의 데이터 값들의 강도 변화량을 결정하여 제1 세트의 강도 분산 데이터를 생성하고, 또한 상기 제2 세트의 데이터 값들에서의 다른 데이터 값들에 대한 제2 세트의 데이터 값들에서의 데이터 값들의 강도 변화량을 결정하여 제2 세트의 강도 분산 데이터를 생성하는 과정과;

상기 제1 및 제2 세트의 강도 분산 데이터를 처리하여 깊이 정보를 포함하는 장면의 영상 데이터를 획득하는 과정; 그리고

동일한 깊이 정보를 갖는 영상 데이터를 기준 코드로 코딩하여 영상 데이터에 있어서의 상이한 깊이 정보를 식별하는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기한 강도 분산 데이터를 처리하는 과정은:

(a) 대체적으로 파동장을 가로질러 연장되는 하나의 선택된 평면에 대하여 복사 파동장의 분산 데이터 값들의 변화율에 상응하는 대표 측정치를 생성하는 과정과;

(b) 상기 선택된 평면상에서의 그 장면에 관련된 상기 복사 파동장에 상응하는 대표 측정치를 생성하는 과정과;

(c) 상기 분산 데이터의 변화율의 측정치를 변환하여 제1 적분형 변환 대표치를 생성하고, 상기 분산 데이터의 변화율의 측정치에 반영된 제1 미분 연산자(differential operator)의 역(inversion)에 해당하는 제1 필터를 상기 제1 적분형 변환 대표치에 적용하여 제1 수정 적분형 변환 대표치를 생성하는 과정과;

(d) 상기 제1 수정 적분형 변환 대표치에 상기 제1 적분형 변환 대표치의 역함수(inverse)를 적용하여 비변환된 대표치를 생성하는 과정과;

(e) 상기 선택된 표면상의 상기 측정치에 기초한 수정치를 상기 비변환된 대표치에 적용하는 과정과;

(f) 수정된 비변환 대표치를 변환하여 제2 적분형 변환 대표치를 생성하고, 상기 수정된 비변환 대표치에 반영된 제2 미분 연산자의 역에 해당하는 제2 필터를 상기 제2 적분형 변환 대표치에 적용하여 제2 수정 적분형 변환 대표치를 생성하는 과정; 그리고

(g) 상기 제2 수정 적분형 변환 대표치에 상기 제2 적분형 변환 대표치의 역함수를 적용하여 상기 선택된 표면을 가로질러 상기 복사 파동장의 위상의 측정치를 생성함으로써 상기 영상 데이터를 깊이 정보를 포함하는 위상 영상 데이터로 서 생성하는 과정을 포함하는 것을 특징으로 하는 방법.
제2항에 있어서, 선택된 표면상의 상기 장면에 관련된 상기 복사 파동장에 상응하는 대표 측정치를 생성하는 과정은 대표 측정치 또는 분산 값들을 구하기 위하여 강도 값(intensity value)들을 이용할 수 있음을 특징으로 하는 방법.
제3항에 있어서, 선택된 표면에서의 강도 값들이 사용됨을 특징으로 하는 방법.
제3항에 있어서, 강도 데이터 값들 중의 임의의 것으로부터 최대 초점을 나타내는 값들이 취해짐을 특징으로 하는 방법.
제3항에 있어서, 분산 데이터 값들이 대표 측정치로서 사용됨을 특징으로 하는 방법.
제3항에 있어서, 분산 데이터 값들의 세트들로부터 취하여진 최대 분산 값들이 사용됨을 특징으로 하는 방법.
제1항에 있어서, 제1 또는 제2 미분 연산자 중 적어도 하나는 대체적으로 파동장을 가로질러 연장되는 선택된 평면에 대하여 복사 파동장의 분산 변화율에 상응하는 대표 측정치를 생성하기 위하여 복사에너지를 포착하도록 사용되는 광학 시스템에 기초하는 형태를 가짐을 특징으로 하는 방법.
제8항에 있어서, 상기 제1 및 제2 미분 연산자들 모두는 광학 시스템에 기초한 형태를 가짐을 특징으로 하는 방법.
제2항에 있어서, 상기 제1 및 제2 미분 연산자들은 푸리에 변환을 이용하여 생성됨을 특징으로 하는 방법.
제2항에 있어서, 상기 미분 연산자들은 하기의 형태를 가지며:

여기서,

이며,

그리고, 상기 수학식에서 ρ는 방사상 수평 공간 주파수(radial lateral spatial frequency)이고, η는 수직 공간 주파수(longitudinal spatial frequency)이고, δz는 물체의 평면에서 디포커스 거리(defocus distance)이며, 또한,

이고 여기서, NA_condensor 및 NA_objective는 각각 집광기와 대물렌즈의 개구수이 며, 이들은 모두 현미경 상의 설정된 셋팅이며 치수이고, ρ_obj 는 대물렌즈에 의해 수용되는 최대 공간 주파수임을 특징으로 하는 방법.
제1항에 있어서, 한 장면에서의 적어도 두 개의 영상들을 획득하는 과정은, 제1 디포커스(defocused) 면에서 제1 영상을 획득하여 음으로 포커스가 된 영상 데이터로서 상기 제1 영상을 생성하고, 또한 제2 디포커스 면에서 상기 장면의 제2 영상을 획득하여 양으로 디포커스가 된 영상 데이터를 생성하는 과정을 포함하되, 상기한 음 및 양으로 디포커스가 된 영상은 상기 장면의 초점내 영상(in focus image)을 생성하는 초점면(focal plane)의 각각의 측면 상에서 획득되도록 함을 특징으로 하는 방법.
제1항에 있어서, 강도 분산을 결정하는 과정은 데이터 값을 에워싼 데이터 값들의 선명도(sharpness)에 대하여 해당 데이터 값들 각각의 선명도의 측정치를 결정하는 과정을 포함함을 특징으로 하는 방법.
제1항에 있어서, 상기 영상은 전하 결합 장치에 의해 포착되고, 그 영상에서 의 픽셀(pixel)들의 강도 값이 결정되며, 각 픽셀에서 분산 값을 제공하기 위하여 그 강도 값은 주위의 픽셀들의 강도와 비교됨을 특징으로 하는 방법.
제14항에 있어서, 상기 분산은 하기의 방정식에 의하여 각 픽셀에 대해 구해지며,

여기서, n은 특정한 픽셀이고, 1 내지 9의 값은 한 어레이의 픽셀들에서 해당 픽셀을 에워싼 픽셀들을 나타냄을 특징으로 하는 방법.
제1항에 있어서, 상기 영상 데이터의 부분들을 코딩하는 과정은, 그 장면의 부분들의 서로에 대해 비교된 상대적 거리가 측정될 수 있는 하나의 시각적 이미지를 생성하도록 같은 깊이 정보를 갖는 영상의 부분들에 다른 색깔을 입히는 과정을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 장면의 제3 영상이 초점내 면(in focus plane)에서 획득되어 제3 세트의 강도 데이터 값들을 생성하며, 이 제3 세트의 강도 데이터 값들은 코드화된 영상 데이터가 그 위에 씌워져서 그 장면의 서로 다른 깊이 정보뿐만 아니라 그 장면의 구조 정보를 포함하는 시각 이미지를 생성함을 특징으로 하는 방법.
제15항에 있어서, 상기 상이한 깊이 정보는 해당 영상에서의 픽셀 값들에 그레이 스케일(grey scale) 값을 할당함으로써 제공됨을 특징으로 하는 방법.
깊이 정보를 포함하는 영상을 생성하기 위한 장치에 있어서,

하나의 장면으로부터 발산되는 복사 파동장을 검출하고 그 장면에 대하여 다른 평면에서 적어도 두 개의 영상을 획득하여, 제1 세트의 강도 데이터 값들과 제2 세트의 강도 데이터 값들을 생성하기 위한 카메라; 및

상기 제1 세트의 데이터 값들의 다른 데이터 값들과 비교되는 제1 세트의 데이터 값들에서의 데이터 값들의 강도 변화를 측정하여 제1 세트의 분산 데이터 값들을 생성하는 한편, 상기 제2 세트의 데이터 값의 다른 데이터 값들과 비교되는 제2 세트의 데이터 값들에서의 한 데이터 값의 분산을 측정하여 제2 세트의 분산 데이터 값들을 생성하기 위한 프로세서를 포함하되;

상기 프로세서는 또한 상기 제1 및 제2 분산 데이터 값들을 처리하여 깊이 정보를 포함하는 그 장면의 영상 데이터를 생성하도록 구성되며;

상기 프로세서는 또한 기준 코드로써 동일 깊이 정보를 갖는 영상의 부분들을 코드화하여 상기 영상에 있어서의 상이한 깊이 정보를 식별하도록 함을 특징으로 하는 장치.
제19항에 있어서, 강도 변화를 측정하기 위한 프로세서는,

(a) 파동장(wave field)을 대체적으로 가로질러 연장되는 하나의 선택된 평면에 대하여 복사 파동장의 분산 데이터 값들의 변화율에 상응하는 측정치를 생성하는 과정과;

(b) 상기 선택된 평면상에서의 그 장면에 관련된 상기 복사 파동장에 상응하는 대표 측정치를 생성하는 과정과;

(c) 상기 분산 데이터의 변화율의 측정치를 변환하여 제1 적분형 변환 대표치를 생성하고, 상기 분산 데이터의 변화율의 측정치에 반영된 제1 미분 연산자의 역(inversion)에 해당하는 제1 필터를 상기 제1 적분형 변환 대표치에 적용하여 제1 수정 적분형 변환 대표치를 생성하는 과정과;

(d) 상기 제1 수정 적분형 변환 대표치에 상기 제1 적분형 변환 대표치의 역함수를 적용하여 비변환된 대표치를 생성하는 과정과;

(e) 상기 선택된 표면상의 상기 측정치에 기초하여 수정치를 상기 비변환 대표치에 적용하는 과정과;

(f) 수정된 비변환 대표치를 변환하여 제2 적분형 변환 대표치를 생성하고, 상기 수정된 비변환 대표치에 반영된 제2 미분 연산자의 역에 해당하는 제2 필터를 상기 제2 적분형 변환 대표치에 적용하여 제2 수정 적분형 변환 대표치를 생성하는 과정; 그리고

(g) 상기 제2 수정 적분형 변환 대표치에 상기 제2 적분형 변환 대표치의 역함수를 적용하여 상기 선택된 표면을 가로지르는 상기 복사 파동장의 위상의 측정치를 생성함으로써 상기 영상 데이터를 깊이 정보를 포함하는 위상 영상 데이터로서 생성하는 과정을 수행하기 위한 프로세서인 것을 특징으로 하는 장치.
제20항에 있어서, 제1 또는 제2 미분 연산자 중 적어도 하나는 대체적으로 파동장을 가로질러 연장되는 상기 선택된 평면에 대하여 복사 파동장의 분산 변화율에 상응하는 대표 측정치를 생성하기 위하여 복사에너지를 포착하도록 사용되는 하나의 광학 시스템에 기초하는 형태를 가짐을 특징으로 하는 장치.
제21항에 있어서, 상기 제1 및 제2 미분 연산자들 모두는 광학 시스템에 기초한 형태를 가짐을 특징으로 하는 장치.
제21항에 있어서, 상기 제1 및 제2 미분 연산자들은 푸리에 변환(Fourier transform)을 이용하여 생성됨을 특징으로 하는 장치.
제21항에 있어서, 상기 미분 연산자들은 하기의 형태를 가지며,

여기서,

이며,

그리고, 상기 식에서 ρ는 방사상 수평 공간 주파수(radial lateral spatial frequency)이고, η는 수직 공간 주파수(longitudinal spatial frequency)이고, δ z는 물체의 평면에서 디포커스 거리(defocus distance)이며, 또한,

이고, 여기서 NA_condensor 및 NA_objective는 각각 집광기와 대물렌즈(objective)의 개구수(numerical aperture)이며, 카메라로 다양한 영상들을 포착하는데에 있어 현미경이 사용되는 경우 이들은 모두 현미경 상의 설정된 셋팅이며 치수이고, ρ_obj 는 대물렌즈에 의해 수용되는 최대 공간 주파수임을 특징으로 하는 장치.
제19항에 있어서, 상기 영상은 전하 결합 장치에 의해 포착되고, 그 영상에서의 픽셀들의 강도 값이 결정되며, 각 픽셀에서 분산을 제공하기 위하여 그 강도 값은 주위의 픽셀들의 강도와 비교됨을 특징으로 하는 장치.
제25항에 있어서, 상기 분산은 하기의 식에 의하여 각 픽셀에 대해 구해지며,

여기서, n은 특정한 픽셀이고, 1 내지 9의 값은 하나의 어레이의 픽셀들에서 해당 픽셀을 에워싼 픽셀들을 나타내며, I는 각 픽셀의 강도 값임을 특징으로 하는 장치.
제26항에 있어서, 상기 프로세서는 서로에 대하여 비교된 그 장면의 부분들의 상대적 거리가 측정될 수 있는 하나의 시각적 이미지를 생성하도록 같은 깊이 정보를 갖는 영상의 부분들에 다른 색깔을 입히기 위한 것임을 특징으로 하는 장치.
제27항에 있어서, 상기 상이한 깊이 정보는 해당 영상에서의 픽셀 값들에 그레이 스케일(grey scale) 값을 할당함으로써 제공됨을 특징으로 하는 장치.