KR101125842B1

KR101125842B1 - 3파장 디지털 홀로그래픽 현미경의 자료처리 방법

Info

Publication number: KR101125842B1
Application number: KR1020100017759A
Authority: KR
Inventors: 양병관
Original assignee: 지니포토닉스(주)
Priority date: 2010-02-26
Filing date: 2010-02-26
Publication date: 2012-03-28
Also published as: KR20110098241A

Abstract

본 발명은 3파장 디지털 홀로그래픽 현미경과 자료처리 방법에 관한 것으로, 컬러 카메라와, 청색/녹색/적색의 빛을 출력하는 광원 모듈과, 현미경 대물렌즈 MO와, 물체광 O와, 참조광 R과, 시료S를 포함하여 이루어지며, 광원으로서 개별적으로 ON/OFF할 수 있는 청색/녹색/적색의 빛을 결합한 모듈을 사용하고, 검출기로 상용의 컬러 카메라를 사용하여 간섭무늬를 측정한 후, 색 얽힘을 분리하여 청색/녹색/적색의 홀로그램을 복원하는 것을 특징으로 하는 3파장 디지털 홀로그래픽 현미경에 관한 것이다.

Description

3파장 디지털 홀로그래픽 현미경의 자료처리 방법{3 WAVELENGTH DIGITAL HOLOGRAPHIC MICROSCOPE AND DATA PROCESSING METHOD THEREOF}

본 발명은 3파장 디지털 홀로그래픽 현미경과 자료 처리방법에 관한 것으로, 더욱 상세하게는, 청색/녹색/적색의 빛을 출력하는 광원 모듈과, 현미경 대물렌즈를 포함하는 간섭 현미경과, 컬러 카메라로 이루어지며, 컬러 카메라 색필터의 투과대역이 겹쳐 생기는 색 얽힘(color coupling)을 되풀어(decoupling) 자료처리과정을 통해 청색/녹색/적색의 홀로그램을 각각 분리하여 3차원 영상의 색순도를 높이고 위상분포의 측정 정밀도와 측정범위를 넓히는 것에 관한 것이다.

현미경은 세포 수준의 분해능으로 육안으로 관측할 수 없는 미세구조를 볼 수 있어서 전통적으로 많이 써온 관측기구이다. CCD(Charge Coupled Device) 카메라와 결합하면 2차원 측정까지는 가능하게 되었으나 대물렌즈의 초점심도 내의 영상이 겹쳐 깊이 방향의 단차 또는 두께 등의 정보를 잃어버린다. 반면에 디지털 홀로그래피가 현미경과 결합한 디지털 홀로그래픽 현미경은 1회 측정만으로 온전한 3차원 영상을 얻을 수 있고 계산 과정에서 위상분포도 함께 구해진다. 위상은 광경로에 민감하게 변하므로 단차 또는 시료의 두께를 정밀하게 재는데 유용하게 쓰인다.

통상의 홀로그래피는 가간섭 빛을 둘로 나눠 한 가닥은 기준광으로 쓰고 다른 한 가닥은 물체에 조사한다. 물체에서 산란되어 나오는 물체광이 기준광과 중첩하여 생긴 간섭무늬를 사진건판에 기록한 다음 현상하여 홀로그램을 만든다. 홀로그램에 기준광을 조사하면 물체의 온전한 3차원 영상을 얻을 수 있다(도 1a). 디지털 홀로그래피는 사진건판을 CCD와 같은 2차원 검출기 소자로 바꿔친 것으로(도 1b), 사진 건판의 현상 등의 과정이 필요 없고 컴퓨터로 실시간 획득된 홀로그램으로부터 전적으로 수치 계산만으로 3차원 영상을 복원한다. 여기에 공간 분해능을 높이기 위해 현미경 대물렌즈를 결합한 것이 디지털 홀로그래픽 현미경이고 세포 수준의 분해능으로 물체의 3차원 영상을 얻을 수 있다. 게다가 수치 계산 과정에서 영상의 위상정보도 함께 구해진다.

물체광 O와 참조광 R이 결합하여 만든 간섭무늬 I_H는 하기와 표현될 수 있다.

여기에서 위첨자 *는 복소공액을 나타낸다. 또한, CCD 카메라에 실제 측정된 디지털 홀로그램 h(x,y)은 하기와 같이 쓸 수 있다.

여기에서

는 카메라의 암전류로 따로 측정하여 없앨 수 있고,

는 응답특성이고,

는 누적시간이다. 영상의 재생은 기존의 홀로그래피에서와 같이 참조광과 같은 재생광을 홀로그램에 넣어주는 것과 같으나, 디지털 홀로그래피에서는 이를 수치적으로 계산하여 구하는 것이다.

상기의 식에 있어서, 우변의 첫 번째 항은 0차이고, 두 번째 항은 물체의 허상이다. 또한, 마지막 항은 실상을 만드는데 R²이 붙어 왜곡된 상을 만들게 되므로 하기의 식과 같이 재생광으로 참조광 R의 복소공액 R^*를 사용하여 왜곡된 상을 만드는 상기 R²를 소거하도록 한다.

물체광 O는 물체에서 산란되어 발산하므로 상기 물체광 O의 복소공액인 실상

는 수렴하여 상을 만든다. 참조광 R은 진폭이 상수이거나 잘 알고 있으므로 복원한 물체의 상에 영향을 주지 않는다. 실제 물체의 상을 얻기 위해서는 Fresnel-Kirchhoff 적분을 통해서 상평면에서의 전기장 분포를 구해야 한다.

결상면에서의 전기장은 하기의 식과 같이 표현된다.

여기에서

이다. x와 y는 홀로그램 평면의 직교좌표축이고,

와

는 결상면의 직교좌표축이며 d는 홀로그램 면과 결상면 사이의 거리이다(도 2 참조). 실상을 0차항과 허상과 분리하기 위해서 참조광 R과 물체광 O를 경사지게 결합하여 전송 주파수(carrier frequency)를 주기도 한다. 영상을 복원하는 수학적 계산 방식은 상기와 같이 Fresnel-Kirchhoff 적분을 쓰는 것 외에 푸리에 변환(Fourier transform)을 쓰는 방식과 콘보류션(convolution)법이 있는데 장치 구성방식에 따라 다르다. 최종적으로 얻는 신호는 물체광

의 전기장 분포이므로 전기장 진폭의 제곱으로부터 3차원 영상을 얻고, 전기장의 위상을 구하면 물체광의 위상분포를 구하게 된다.

디지털 홀로그래픽 현미경은 본질적으로 홀로그래피를 쓰므로 가간섭 길이가 긴 단색의 레이저 빛을 광원으로 쓴다. 그 결과 복원된 영상은 광원으로 쓰인 레이저 빛에 대한 정보, 즉, 회색조 영상이고 위상은 단파장에 대한 것이다.

인간의 눈이 인식하는 것과 같이 3파장에 대한 홀로그래피가 가능하면 천연색 영상은 물론이고, 파장에 따른 흡수, 굴절률 분산 등 단색으로 관측할 수 없는 더 많은 정보를 얻을 수 있어 쓰임새가 더욱 확대될 것으로 기대된다.

3파장 홀로그래피의 또 다른 장점은 측정 가능한 시료의 두께 범위가 늘어나는 것이다. 위에서 구한 물체광의 위상 분포

는 2π의 정수배에 대한 정보가 없이 구해진다. 시료의 두께를 d, 굴절률을 n이라 할 때 위상과 두께 사이의 관계는 아래와 같다.

여기에서 m은 정수이고

는 2π의 정수배에 대한 애매함이 없는 실제의 위상분포이다. 단색의 레이저 빛을 쓰는 홀로그래피의 경우 정수 m을 알기 어려우므로 0으로 놓으면 위상분포

로부터 알 수 있는 광경로차의 범위는 nd는 아래의 식과 같다.

통상의 3차원 측정기와 같이 빛이 왕복하는 반사형 구조를 하고 공기 중에서 측정하는 경우(n=1) 측정 가능한 단차의 범위는 아래와 같다.

실리콘(Si) 계열의 검출기를 쓰는 경우 검출 가능한 최단 파장은 약 1.2㎛이므로 측정 가능한 최대 단차는 0.6㎛가 되어 쓰임새가 제한된다.

여러 파장을 쓰면 이 같은 제약을 극복할 수 있다. 청색/녹색/적색의 레이저 빛으로 잰 위상분포를 각각

,

이라 놓으면 아래와 같은 관계식이 성립한다.

,

,

,

여기에서, λ_B, λ_G, λ_R는 각각 청색/녹색/적색의 레이저 빛의 파장이다. 위상차

와

는 마치 유효파장 λ_BG,λ_GR으로 잰 위상분포와 같고 청색/녹색/적색의 레이저 빛의 파장을 450nm, 532nm와 650nm으로 하면 λ_BG은 2,920nm, λ_GR은 2,931nm가 되어 2π의 애매함 없이 측정할 수 있는 단차의 범위가 넓어진다. 더 나아가

을 구해 단차를 계산하면 유효파장 λ_BGR은 778,050nm가 되어 측정 가능한 단차의 범위가 획기적으로 늘어난다.

3파장 구현을 위해서는 청색/녹색/적색의 레이저 빛을 순차적으로 조사할 수 있는 광원과 흑백 카메라를 써서 청색/녹색/적색의 홀로그램을 개별적으로 측정하고 조합하는 순차주사 방식(시간분할 방식)을 이용해야 한다. 그러나 주사과정 중에 대상 물체가 움직이면 측정이 불가능하다. 따라서 이 방식으로는 생체 조직과 같이 살아 움직이는 시료의 천연색 구현은 어렵다.

또 다른 방식으로는 청색/녹색/적색의 레이저 빛을 동시에 보내고 컬러 카메라를 사용하여 일거에 청색/녹색/적색의 홀로그램을 재는 공간분할방식이 있다. 그러나 상용의 컬러 CCD카메라의 청색/녹색/적색 화소에 코팅된 필터의 투과 스펙트럼이 서로 겹쳐 각 부화소의 신호가 서로 섞이는 색 얽힘(Color Coupling)이 생긴다. 얽힌 신호는 잡음으로 작용하여 신호 대 잡음 비에 영향을 주어 화질과 측정 정밀도를 저하시키는 문제점이 발생하게 된다.

본 발명은 상기와 같은 종래기술의 문제점을 해결하기 위하여 발명된 3파장 디지털 홀로그래픽 현미경과 자료 처리방법에 관한 것으로, 청색/녹색/적색의 빛을 동시에 보내면서도 개별적으로 ON/OFF할 수 있는 광원 모듈과 컬러 카메라로 구성되어 있으며 뒤섞인 3파장의 홀로그램을 분리하여 화질과 위상분포의 측정 정밀도를 개선하는 것을 목적으로 한다.

본 발명에 따른 3파장 디지털 홀로그래픽 현미경은 컬러 카메라와, 개별적으로 ON/OFF가 가능한 청색 /녹색/적색의 빛을 출력하는 광원 모듈과, 투과형 또는 반사형 구조의 간섭 현미경과, 물체광 O와, 참조광 R과, 시료S를 포함하여 이루어지며, 상기 광원 모듈의 청색/녹색/적색의 빛을 각각 차례로 조사하여 생긴 참조광 R을 컬러 카메라로 투입하여 형성된 홀로그램을 이용하여 장치행렬을 구하고 상기 참조광 R과 물체광 O와의 간섭신호를 측정한 후, 상기 장치행렬의 역행렬과 간섭신호를 이용하여 컬러 카메라 색필터에 의해 투과대역이 겹쳐 생기는 색 얽힘을 되풀어(decoupling) 색 얽힘이 분리된 각 홀로그램을 복원한 후 복원된 각 홀로그램의 영상신호를 조합하여 천연색의 3차원 영상을 얻도록 구성된 것을 특징으로 한다.

또한, 본 발명에 따른 3파장 디지털 홀로그래픽 현미경의 자료처리 방법은 컬러 카메라와, 개별적으로 ON/OFF가 가능한 청색/녹색/적색의 빛을 출력하는 광원 모듈과, 투과형 또는 반사형 구조의 간섭 현미경과, 물체광 O와, 참조광 R과, 시료S를 포함하여 이루어지며, 상기 물체광 O를 차단한 후 상기 광원 모듈의 청색/녹색/적색의 빛을 차례로 조사하여 컬러 카메라의 응답특성을 재는 단계; 상기 응답특성으로부터 장치의 특성을 나타내는 장치행렬을 구하는 단계; 상기 시료S를 장착하고 차단했던 물체광 O을 열어 참조광 R과 물체광 O와의 간섭신호를 측정하는 단계; 상기 장치행렬의 역행렬과 상기 간섭신호를 이용하여 컬러 카메라 색필터에 의해 투과대역이 겹쳐 생기는 색 얽힘을 되풀어(decoupling) 색 얽힘이 없는 청색/녹색/적색의 홀로그램을 찾아내는 단계; 상기 청색/녹색/적색의 홀로그램으로부터 3차원 영상과 위상분포를 찾아내는 단계; 상기 3차원 영상을 조합하여 천연색의 3차원 영상을 얻는 단계;를 포함하는 것을 특징으로 한다.

또한, 본 발명은 상기 청색/녹색/적색의 홀로그램으로부터 영상과 위상분포를 찾아내는 단계는 Fresnel-Kirchhoff 적분법, 푸리에 변환(Fourier transform)법 또는 콘보류션(convolution)법을 써서 청색/녹색/적색 각각의 3차원 영상을 얻고 각각의 영상에 가중치를 두는 것을 특징으로 한다.

또한, 본 발명은 상기 청색/녹색/적색 파장의 위상분포를 구하고 각 위상분포를 조합하여 넓은 범위의 단차를 높은 정밀도로 잴 수 있도록 하는 것을 특징으로 한다.

또한, 본 발명은 상기 광원 모듈은 청색/녹색/적색의 레이저 다이오드, 청색/녹색/적색의 LED 또는 대역투과 필터와 청색/녹색/적색의 LED의 조합인 것을 특징으로 한다.

본 발명은 3파장 디지털 홀로그래픽 현미경에 관한 것으로, 청색/녹색/적색의 빛을 출력하는 광원 모듈과, 투과형 또는 반사형 구조의 간섭 현미경과, 2차원 또는 3차원 구조의 검출기 열을 갖는 컬러 카메라로 이루어지며, 컬러 카메라 색필터의 투과대역이 겹쳐 생기는 색 얽힘을 되풀어(decoupling) 청색/녹색/적색의 홀로그램을 각각 분리하고 각각의 홀로그램으로부터 영상을 복원한 후 재결합하여 천연색 3차원 영상을 얻을 수 있고, 영상 복원과정에서 구해진 위상분포를 활용하여 3차원 단차 측정기로 쓸 때 청색/녹색/적색 파장의 위상분포를 조합하여 측정 가능한 단차의 범위가 넓어진다는 효과가 있다.

또한, 본 발명은 또 색 얽힘을 분리하여 색순도가 높은 고화질의 천연색 영상을 얻을 수 있고, 측정 정밀도를 향상시키고 측정범위를 넓힐 수 있는 효과가 있다.

도 1a 및 1b는 홀로그래피의 기본원리를 보여주는 도면.
도 2는 디지털 홀로그램을 구하는 과정을 보여주는 도면.
도 3a 및 3b는 컬러 카메라의 색필터 구조 및 색필터의 투과 스펙트럼.
도 4는 본 발명의 일실시예에 따른 3파장 디지털 홀로그래픽 현미경을 도시한 도면.
도 5는 본 발명의 다른 실시예에 따른 3파장 디지털 홀로그래픽 현미경을 도시한 도면.

이하, 본 발명에 따른 3파장 디지털 홀로그래픽 현미경을 첨부된 도면을 참조하면서 상세히 설명한다.

도 4는 본 발명의 일실시예에 따른 3파장 디지털 홀로그래픽 현미경의 기본구조를 도시한 것으로, 도시된 바와 같이 상기 3파장 디지털 홀로그래픽 현미경은 시료를 장착하고 청색/녹색/적색의 레이저 다이오드 모두를 ON상태에 두고 홀로그램을 측정하는 것이다.

본 발명의 일실시예에 따른 3파장 디지털 홀로그래픽 현미경은 컬러 카메라와, 청색/녹색/적색의 빛을 출력하는 광원 모듈과, 투과형 또는 반사형 구조의 간섭 현미경과, 물체광 O와, 참조광 R과, 시료S를 포함하여 이루어진다.

상기 광원 모듈로서는 청색/녹색/적색의 레이저 다이오드 또는 청색/녹색/적색의 LED 또는 대역투과 필터와 청색/녹색/적색의 LED를 조합하여 사용할 수 있다. 본 실시예에서는 청색/녹색/적색의 레이저 다이오드를 사용하였으며, 컬러 카메라로서 CCD 컬러 카메라를 사용하였다.

본격적으로 측정을 시작하기 전에 시료를 지나는 빛(물체광)을 차단하여 참조광을 잴 수 있도록 한 후, 청색/녹색/적색의 레이저 다이오드를 순차적으로 ON/OFF하면서 장치행렬을 측정하도록 한다. 상기 장치행렬을 측정하는 목적은 장치행렬이 측정되면 상기 장치행렬의 역행렬을 구해 입사광의 신호에 대응되는 청색/녹색/적색의 레이저 빛의 광도를 구할 수 있기 때문이다.

i번째 화소에 입사하는 적색/녹색/청색의 레이저 빛의 광도를 각각 r_i, g_i, b_i라 놓고 적색/녹색/청색 부화소의 신호를 R_i, G_i, B_i라 놓으면 하기의 식과 같은 관계가 형성된다.

여기에서 Mⁱ는 i번째 화소에 입사하는 적색/녹색/청색의 광량과 실제 측정된 신호 사이의 관계를 나타내는 실수의 3×3 행렬인 장치행렬이다. 장치행렬의 대각 성분은 주로 검출기의 분광감도 등에 영향을 받는다. 색필터의 투과 스펙트럼의 대역 폭이 좁아 청색/녹색/적색의 필터가 청색/녹색/적색의 레이저 빛만을 투과하면 장치행렬의 비대각 성분은 모두 0이다. 도 3a 및 3b의 색필터 구조 및 색필터의 투과 스펙트럼에 도시한 바와 같이, 통상의 컬러 CCD 카메라의 색필터의 투과 스펙트럼의 투과 대역이 넓어 청색/녹색/적색 레이저 빛이 서로 섞여 측정되므로 일반적으로 장치행렬 Mⁱ의 비대각 성분이 0이 아니다. 그러나 장치행렬 Mⁱ를 알고 있으면 측정한 부화소의 측정신호 R_i, G_i, B_i으로부터 하기 식에 따라 입사광의 신호에 대응되는 r_i, g_i, b_i를 구할 수 있다.

장치행렬 Mⁱ를 측정하기 위해 물체광을 차단한 뒤 적색/녹색/청색 레이저 빛을 순차적으로 ON/OFF하면서 각각의 신호를 측정한다. 이때, 적색/녹색/청색 레이저 빛의 출력을 1로 가정하여 규격화하도록 한다.

먼저, 적색 레이저만 ON, 다른 레이저는 OFF인 경우 상기의 식에 따라,

.

녹색 레이저만 ON, 다른 레이저는 OFF인 경우 상기의 식에 따라,

.

청색 레이저만 ON, 다른 레이저는 OFF인 경우 상기의 식에 따라,

.

따라서 i번째 화소의 장치행렬 Mⁱ는 다음과 같이 측정되는 것이다.

상기 장치행렬은 i번째 화소의 것으로 2차원 화소 모두에 대해서 이 같은 방식으로 장치행렬을 구하고, 샘플을 올려놓은 다음 차단했던 물체광을 열어 참조광과의 간섭무늬 측정에 들어간다. i번째 화소의 간섭신호를 H_i ^R, H_i ^G, H_i ^B라 놓으면 색 얽힘이 없는 홀로그램 신호 h_i ^r, h_i ^g, h_i ^b는 식에 따라 다음과 같다.

각 화소에서 h_i ^r, h_i ^g, h_i ^b를 구해, h_i ^r, h_i ^g과 h_i ^b를 모으면 각각 색 얽힘이 없는 적색/녹색/청색의 홀로그램이 된다. 각각의 홀로그램을 영상복원하면 적색/녹색/청색의 3차원 영상과 위상분포를 구하고, 영상신호를 조합하여 천연색 3차원 영상을 얻는다.

컬러 카메라에 쓰이는 검출기로는 보통 CCD를 많이 쓰는데 CCD 칩의 크기는 가로/세로 수 mm이다. 그래서 상기 장치행렬은 화소의 위치에 상관없이 거의 동일하다. 이 경우 개개 화소의 장치행렬 대신 평균한 장치행렬을 써서 색 얽힘을 되풀 수 있는 것이다.

상기 3파장 디지털 홀로그래픽 현미경은 1회 촬영으로 대상물체의 3차원 데이터를 획득하고, 수치적 재생을 통해 3차원 영상을 재구성하여 표시할 수 있다. 상기의 수학식에서 결상면의 위치 d가 일정하면 대상물체의 종단면의 영상을 얻게 되고, 결상면에서 복원될 면이 횡단면이 되도록 d와 관련좌표값(

)을 바꿔가면서 계산하면 횡단면의 영상을 얻게 되는 것이다. 또한, 렌즈를 수치적으로 덧붙이면 기구적인 조작이 없이 대상물체를 확대하거나 축소한 상을 얻을 수 있는 것이다.

도 5와 같이, 측정 시료가 빛을 투과시키지 않는 경우 시료에서 반사된 빛이 물체광이 되고 반사경에서 반사한 빛이 참조광이 되어 두 빛을 간섭무늬를 컬러 카메라로 잰다. 이 같은 구조는 주로 3차원 측정기에서 많이 쓰이는 구조이고 3파장에 대한 색 얽힘을 되푸는 과정은 전술한 과정과 동일하다.

Claims

삭제
컬러 카메라와, 개별적으로 ON/OFF가 가능한 청색/녹색/적색의 빛을 출력하는 광원 모듈과, 투과형 또는 반사형 구조의 간섭 현미경과, 물체광 O와, 참조광 R과, 시료S를 포함하여 이루어지며,
상기 물체광 O를 차단한 후 상기 광원 모듈의 청색/녹색/적색의 빛을 차례로 조사하여 컬러 카메라의 응답특성을 재는 단계;
상기 응답특성으로부터 장치의 특성을 나타내는 장치행렬을 구하는 단계;
상기 시료S를 장착하고 차단했던 물체광 O을 열어 참조광 R과 물체광 O와의 간섭신호를 측정하는 단계;
상기 장치행렬의 역행렬과 상기 간섭신호를 이용하여 컬러 카메라 색필터에 의해 투과대역이 겹쳐 생기는 색 얽힘을 되풀어(decoupling) 색 얽힘이 없는 청색/녹색/적색의 홀로그램을 찾아내는 단계;
상기 청색/녹색/적색의 홀로그램으로부터 3차원 영상과 위상분포를 찾아내는 단계;
상기 3차원 영상을 조합하여 천연색의 3차원 영상을 얻는 단계;
를 포함하는 것을 특징으로 하는 3파장 디지털 홀로그래픽 현미경의 자료처리 방법.
제2항에 있어서, 상기 청색/녹색/적색의 홀로그램으로부터 영상과 위상분포를 찾아내는 단계는 Fresnel-Kirchhoff 적분법, 푸리에 변환(Fourier transform)법 또는 콘보류션(convolution)법을 써서 청색/녹색/적색 각각의 3차원 영상을 얻고 각각의 영상에 가중치를 두는 것을 특징으로 하는 3파장 디지털 홀로그래픽 현미경의 자료처리 방법.
제2항에 있어서, 상기 청색/녹색/적색의 홀로그램으로부터 위상분포를 구한 후 각 위상분포를 조합하여 넓은 범위의 단차를 높은 정밀도로 잴 수 있도록 하는 것을 특징으로 하는 3차원 디지털 홀로그래픽 현미경의 자료처리 방법.
제2항에 있어서, 상기 광원 모듈은 청색/녹색/적색의 레이저 다이오드, 청색/녹색/적색의 LED 또는 대역투과 필터와 청색/녹색/적색의 LED의 조합인 것을 특징으로 하는 3파장 디지털 홀로그래픽 현미경의 자료처리 방법.