KR20060080353A

KR20060080353A - 렌즈 없는 칩위의 광학 현미경 및 이를 이용한 영상 획득시스템

Info

Publication number: KR20060080353A
Application number: KR1020050000720A
Authority: KR
Inventors: 최원재; 박제균; 예종철
Original assignee: 한국과학기술원
Priority date: 2005-01-05
Filing date: 2005-01-05
Publication date: 2006-07-10
Also published as: KR100764003B1

Abstract

본 발명은 렌즈(lens)를 사용하지 않는 광학 현미경 및 이를 이용한 영상 획득 시스템에 관한 것이다. 특히 디지털 영상 센서 앞에 수직에 가깝게 들어온 빛만 통과시키는 콜리메이터(collimator)를 이용하여 렌즈 없는 구조를 갖는 것을 특징으로 한다. 이 구조물은 나란한 관들의 집합으로써, 각 관의 관찰할 표본 쪽 끝에는 작은 구멍이 나있어서, 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영을 수행한다. 상을 확대, 축소하는 렌즈를 배제하였으므로 현미경의 제작비용이 절감되고 소형화가 가능하다.

칩 상의 현미경, 렌즈 없는 광학 현미경, 소형화, 휴대화, 내삽(interpolation), 디지털(digital), 형광.

Description

렌즈 없는 칩위의 광학 현미경 및 이를 이용한 영상 획득 시스템{Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof}

도 1은 본 발명에 따른 렌즈 없는 현미경의 구조.

도 2는 본 발명에 따른 수직으로 들어온 빛만 통과시키는 구조물.

도 3은 암시야용 수직으로 들어온 빛만 통과시키는 구조물.

도 4는 렌즈 없는 현미경 시스템의 내부 구조.

도 5는 렌즈 없는 현미경 시스템의 외부 구성.

도 6은 렌즈 없는 현미경 시스템의 기능적 구성.

도 7은 여러 가지 이동(scan) 방법.

도 8은 내삽(interpolation) 원리(100 x 40 화소(pixel) )

도 9는 내삽(interpolation) 원리(도 8의 일부를 확대, 16 x 20 화소)

도 10은 내삽(interpolation) 원리(도 9를 확대하고 격자(grid)를 보여줌)

<도면의 주요 부분에 대한 부호의 설명>

10: 수직에 가깝게 들어온 빛만 통과시키는 구조물(collimator)

11: 영상 센서 12: 시료

13: 직선 구멍 14: 차단막

L: 구조물의 높이 D: 시료와 구조물 사이 거리

P: 구멍간격 G: 열린 구멍의 폭

S: 화소에서 특정점에 빛이 도달하는 시료상의 길이

본 발명은 휴대하기 용이한 소형 현미경 및 이를 이용한 영상 획득 시스템에 관한 것으로서, 특히 디지털 영상 센서 앞에 수직으로 들어온 빛만 통과시키는 구조물(collimator)을 이용하여 렌즈 없는 구조를 갖는 렌즈 없는 칩위에 광학 현미경 및 이를 이용한 영상 획득 시스템에 관한 것이다.

광학 현미경은 물체의 미세한 부분을 빛을 이용하여 확대하여 관찰 또는 기록하는 장치이다. 생물학을 비롯하여 여러 과학 분야, 즉 반도체, 의학, 재료과학 뿐만 아니라 학교의 선진화 교육에까지 다양한 목적으로 활용되는 필수적인 실험기구이다. 일반적인 현미경의 구조는 대물렌즈와 대안렌즈를 사용하며, 보통 50X ~ 1000X의 배율을 갖는다. 사람 눈으로 관찰할 경우에는, 먼저 대물렌즈로 시료의 상을 확대하여 20mm 크기의 중간상을 만든 다음, 대안렌즈를 사용하여 이것을 눈에서 250mm 떨어진 위치에 크기 200mm의 허상을 만들어 눈으로 볼 수 있게 만든다. 대안렌즈는 보통 10X 배율이며, 대물렌즈는 5X, 10X, 20X, 50X, 100X 등을 갖는다.

시료의 구조를 자세히 볼 수 있는 능력을 해상력(혹은 분해능)이라 한다. 이것 은 현미경의 성능을 좌우하는 요소로써, 대물렌즈의 성능에 의하여 결정된다. 따라서 대물렌즈와 접안렌즈와의 조합에 의하여 배율을 증가시키더라도 대물렌즈의 성능이 나쁘면 흐릿한 상이 단순히 확대될 뿐으로, 미세한 구조의 식별은 되지 않는다. 일반적으로 현미경의 총배율이 대물렌즈의 개구수(NA: numerical aperture)의 500~1,000배가 되도록 한다. 해상력은 그것으로 식별되는 두 점의 최소거리 d로 표시되며, 조명광의 파장을 λ, 대물렌즈의 개구수를 a로 나타내면, d＝λ/a로 주어진다. 가시광선의 파장은 400nm~700nm이고, 건조계 대물렌즈의 개구수는 0.05~0.95의 범위이고, 액체계 대물렌즈도 1.4가 최고이므로 보통 현미경의 해상력은 0.4 μm 정도이다.

최근 컴퓨터기술의 발달로 인해 현미경에서 얻은 영상정보의 디지털화 작업이 이루어지고 있다. 현재 디지털 영상을 받아들이기 위해서는 광학현미경의 구조에 변경을 가하여 영상을 얻는다. 바로 광학현미경의 대물렌즈로 확대된 상을 카메라를 이용하여 다시 축소하는 방법을 사용하고 있는데, 그 이유는 250mm거리의 200mm 영상에 적합한 사람의 눈과는 달리 디지털 영상 센서는 5 X 4mm 정도의 센서 표면적을 갖기 때문이다. 즉 10X 확대 기능을 갖는 대안렌즈를 사용하지 않고, 20mm 크기의 중간상을 카메라의 광학계를 이용하여 축소하여 센서 표면에 상을 맺게 하는 것이다.

디지털 영상 센서는 반도체 기술의 발전과 더불어 지난 십여년 동안 빠른 속도로 발전해 왔다. 반도체 영상 센서(semiconductor image sensor)는 CCD(Charge Coupled Devices)와 CIS(CMOS Image Sensor) 두 종류로 나누어진다. CCD는 방송용 카메라를 비롯하여 비교적 오랜 동안 사용되어 왔으며, CIS는 90년대 기술이 개발되어 2000년대 이후 휴대폰, 디지털 카메라 등에서 사용되고 있다. 현재, 화소(pixel)크기는 4x4μm 정 도이며, 가로 1300개 세로1000개의 직사각형 배열로 이루어진 130만화소의 경우 센서 표면적(sensing size)은 5x4mm 정도이다.

반면 소형 영상 시스템(miniaturized imaging system)은 주로 공초점 (confocal) 방식에 기반하여 연구되고 있다. 공초점 방식이란 두꺼운 시료에서 특정한 얇은 층의 형태만을 정확하게 관찰하는 현미경의 특수한 형태로써, 레이저와 바늘구멍(pinhole)을 이용하는 등 일반 광학 현미경과는 상당히 다르다. 최근 University of Arizona 연구팀을 비롯하여 몇몇 기관에서, 공초점 칩 상 현미경(confocal microscope-on-a-chip)을 보고한 바 있다(US 6749346, 2004; IEEE Jour. of Quantum Electronics, 38(2): 122-130, 2002; Optical Letters 29(7): 706-708, 2004).

디지털 영상을 받아들이는 방법으로는 디지털 사진기 외에 스캐너가 있다. 바코드 스캐너 같이 단 1축의 정보만 인식하면 되는 경우는 제외하면, 문서와 같은 2차원 영상을 처리하기 위해서 스캐너는 문서나 센서를 한 축으로 움직이며 (scan) 인식한다. 스캐너의 해상력은 일반 사무용의 경우에 600dpi, 1200dpi, 2400dpi등이 사용되고 있으며, 필름 스캐너의 경우에는 4000dpi, 8000dpi등이 사용되고 있다. 각각의 경우에 화소 크기를 계산해보면 사무용은 10~42 μm와 필름용은 3~6 μm이다. 디지털 사진기와 스캐너는 공통적으로 2차원 영상을 처리하고 천연색(칼라) 기능도 갖고 있는데, 주요 차이점은 영상센서의 구조와 렌즈 사용 유무이다. 디지털 사진기는 2차원 센서 배열을 사용하여 한 순간에 한 장면의 영상을 얻고 렌즈를 사용하는 반면, 스캐너는 1차원 센서 배열을 사용하고 스캔하며- 대부분 렌즈를 사용하지 않는다.

그러나, 종래의 현미경은 디지털 영상이미지를 얻는 과정에 있어서, 대물렌즈를 사용하여 상을 확대한 다음, 카메라를 사용하여 다시 이를 축소해야 한다. 따라서 이러한 과정에서 렌즈를 사용하기 때문에 크기가 크고 가격이 비싸며, 또한 광학 수차 때문에 해상도에 있어 한계점을 갖는 단점이 있다.

본 발명은 종래 기술의 문제점을 해결하기 위해 제안된 것으로써, 본 발명의 목적은 기존의 렌즈를 사용하는 현미경과는 달리 렌즈를 이용하여 상을 확대/축소하지 않고 바로 디지털 영상을 얻는 데 그 특징이 있으며, 디지털 영상 센서 앞에 수직으로 들어온 빛만 통과시키는 구조물(collimator)을 사용하면 스캐너와 비슷한 원리로 렌즈 없이도 영상을 얻을 수 있고, 즉 현재 현미경을 이용해 디지털 영상을 받을 때는 대물렌즈로 확대하고 카메라로 축소해야 하는데, 이런 불필요한 과정을 제거하여 현미경 시스템의 소형화 등에 크게 기여할 수 있으며, 또한 렌즈를 사용하면 개구수(혹은 광학수차) 때문에 해상력의 한계를 갖게 되는데, 렌즈를 사용하지 않으므로 해상력을 더 높일 수 있는 장점을 갖는 렌즈 없는 칩 위의 광학 현미경 및 이를 이용한 영상 획득 시스템을 제공하는 것이다.

상기 본 발명의 목적을 달성하기 위하여, 본 발명은 영상 센서(11)와, 상기 영상 센서(11)의 각 화소에 대응하는 위치에 빛을 투과하지 않는 재료로 사각형 형태의 여러 개의 직선 구멍들(13)을 가지며, 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영(one-to-one mapping)을 수행하는 수직에 가깝데 들어온 빛만 통과시키는 콜리메이터(collimator)(10)로 구성되는 것을 특징으로 하는 렌즈 없는 칩 상의 현미경을 제공한다.

또한, 암시야 용 렌즈 없는 칩 상의 광학 현미경은 상기 영상 센서(11) 위의 한 화소로 일대일 사영을 수행하는 콜리메이터(collimator)(10)는 암시야 영상을 위해, 상기 영상 센서 쪽에 차단막(14)을 더 포함하는 것을 특징으로 한다.

상기 현미경은 시료 샘플이 올라와 있는 슬라이드 글래스(42); 시료 샘플 트레이(53); 수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(43); CIS(CMOS image sensor) 또는 CCD(charge coupled devices)를 사용하여 영상을 처리하는 영상 센서(44); 상하좌우 이동이 가능한 모터(66); LCD display backlight를 적용할 수 있으며, LD(laser diode)와 LED, 유기 EL등도 등을 이용하는 여러 가지 고체광원을 이용하는 광원(64); 상기 상하좌우 이동이 가능한 모터(66)와 상기 광원(64)을 제어하는 컨트롤러(65); 색 보정이나 잡음 제거 등의 디지털 영상을 처리하고 현미경 시스템의 모든 기능을 제어하는 CPU(61); 상기 영상 센서(44)로부터 촬영된 디지털 영상 정보를 저장하는 메모리(62); 현미경 시스템이 유선 혹은 무선 디지털 통신을 이용하여 PC나 TV, 프린터 같은 다른 기기로 영상을 전송하고 명령을 주고 받기 위한 통신부(68); 상기 통신부(68)가 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF 전송방식으로 무선으로 이용하기 위한 안테나(69); 상기 통신부(68)와 연결되어 USB, IEEE 1394, NTSC(TV video표준) 전송방식으로 유선으로 디지털 사진을 전송하기 위한 시스템 외부에 연결잭(55); 사용자에게 영상을 보여주고 명령을 받아들이는 기능을 제 공하는 User Interface부(67); 확대/축소나 상하좌우 이동, 화면 밝게/어둡게 등의 여러 가지 조작을 입력하는 조작키(54); 전체 시스템의 동작 전력을 공급하는 배터리(46); 및 지금 촬영하거나 이미 촬영한 영상은 적절한 처리 과정을 거쳐 사용자에게 표시하는 LCD display(52)가 직접화(integration)되어 포함되는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경을 제공한다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 보다 상세하게 설명한다. 단, 하기 실시예는 본 발명을 예시하는 것일 뿐 본 발명의 내용이 하기 실시예에 한정되는 것은 아니다.

본 발명은 미소 구조물을 관찰하기 위하여 렌즈 없는 영상 획득 시스템, 즉 현미경을 구현한 것으로, 메모리, 디스플레이 등이 직접화된 현미경으로 구현하고, 렌즈 없이 시료 위 한 점에서 영상 센서 각 화소로 일대일 사영으로 현미경 영상을 얻으며, 암시야 영상 및 형광 영상을 획득할 수 있다.

본 발명에 의한 칩 상의 현미경은 도 1에 도시한 바와 같이 디지털 이미지 센서와 수직으로 들어온 빛만 통과시키는 콜리메이터(collimator)로 구성된다. 이 구조물(collimator)은 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영(one-to-one mapping)을 수행하고, 영상 센서의 전기적 결과는 현미경으로 본 이미지와 동일한 정보를 준다.

렌즈를 사용하지 않는 일대일 사영은 다음과 같이 구현한다. 즉, 시료에서 나온 빛이 영상 센서로 들어가는 과정에서, 구조물을 이용해 시료에서 나온 빛 중에서 수직에 가깝게 들어온 빛만 통과시킨다. 이렇게 하면 시료에서 여러 방향으로 산란된 빛은 제거되고, 영상 센서에 들어오는 빛의 양은 시료의 각 부분이 빛을 통과시키는 정도를 반영한다.

다음은 사람의 눈으로 보는 현미경(a)과, 디지털 카메라를 사용하는 현미경(b)과, 본 발명이 제안하는 렌즈 없는 현미경(c)을 비교한다.

사람 눈으로 관찰할 경우에는, 먼저 대물렌즈로 시료의 상을 확대하여 20mm 크기의 중간상을 만든 다음, 대안렌즈를 사용하여 이것을 눈에서 250mm떨어진 위치에 크기 200mm의 허상을 만들어 눈으로 볼 수 있게 만든다. 디지털 카메라를 이용할 경우에는 광학현미경의 대물렌즈로 확대된 상을 카메라를 이용하여 다시 축소하는데, 그 이유는 디지털 영상 센서가 5 x 4 mm정도의 센서 표면적을 갖기 때문이다. 즉 10X 확대 기능을 갖는 대안렌즈를 사용하지 않고, 카메라의 광학계를 이용하여 축소하여(약 1/4X) 센서 표면에 상을 맺게 한다. 본 발명이 제안하는 렌즈 없는 현미경은 산란된 빛만 제거하는 구조물을 사용하여 바로 영상을 얻는다. 렌즈를 사용하지 않기 때문에, 작고 가벼운 현미경을 제작할 수 있다. 뿐만 아니라 렌즈 때문에 발생하는 광학 수차(NA: numerical aperture)문제가 없으므로 추가적인 해상력 향상이 가능할 것이다.

(실시예 1) 명시야 상을 얻는 렌즈 없는 소형 현미경

수직에 가깝게 들어온 빛만 통과시키는 콜리메이터(10)를 만드는 한 가지 방법 은, 빛을 투과하지 않는(opaque) 재료로 여러 개의 직선 구멍(13)을 갖도록 하는 것이다. 즉 산란된 빛을 흡수하여 한 방향으로 진행하는 빛만 통과시키는, 다시 말해 좁은 통과 각을 갖는 필터를 만들면 된다. 구조를 살펴보면, 도 1에 도시된 바와 같이 영상 센서(11)의 각 화소에 대응하는 위치에 구멍을 가진다. 화소의 숫자와 구멍의 숫자는 정확히 같은 개수인 것은 아니다. 흑백 영상을 얻을 경우에는 각 화소마다 한 구멍을 가지도록 하는 것이 좋고, 천연색 영상을 얻을 경우에는 가로 세로 각각 2개씩 총 4개의 화소에 하나의 구멍을 배열하는 것이 좋다. 대부분의 영상 센서는 사각형 형태로 배열되므로, 구멍의 배열 역시 사각형으로 구성한다. 그림은 구멍 모양의 한 가지 예시로써 사각형 형태를 나타내는데, 구멍의 형태는 다른 모양도 가능하다. 본 발명의 한 실시예에서 도 1과 같은 형태로 필터를 제작한다. 제작하는 방법에는 여러 가지 Micromachining(MEMS: micro electro mechanical systems) 기술이 있다. 플라스틱을 재료로 하여 미소 구조를 만들어내는 방법에는 Hot embossing, Injection molding, Replica molding 등의 방법을 사용할 수 있다(Anal. Chem. 37; 550-575, 1998).

도 2는 빛의 전달 경로를 설명한다. 구조물의 높이(L)와 열린 구멍의 폭(G)은 시료와 구조물 사이 거리(D)와 구멍 간격(P)을 고려하여 결정된다. 시료(12)의 각 해당하는 점에서 센서의 각 화소로만 빛이 들어가고, 이웃한 화소에는 영향을 미치지 않도록 구조물의 높이(L)와 열린 구멍의 폭(G)을 결정한다. 구멍 간격(P)은 앞에서 설명하였듯이 영상 센서의 화소 크기 관련되어 결정되는데, 보통 화소 크기의 1배 혹은 2배이다. 발명의 일 실시예에서, 상기 시료와 구조물 사이의 거리(D)는 슬라이드 글래스의 두께가 될 것이다. 상기 구조물의 높이(L)는 시료와 구조물 사이 거리(D)의 2배가 되도 록 하고, 열린 구멍의 폭(G)은 구멍 간격(P)의 1/3이 되도록 한다. 일반적으로 슬라이드의 두께는 1mm이므로 구조물의 높이는 2mm이고, 영상 센서의 크기가 4 μm이고 구멍 간격은 그 2배라면, 열린 구멍의 폭은 약 2.7 μm이다. 화소에서 특정 점에 빛이 도달하는 시료 상의 길이(S)는 구조물의 높이(L), 열린 구멍의 폭(G)으로 결정된다. 빛이 직진한다는 성질을 가정하면 다음 수학식과 같이 표시된다.

L=2D, G =P/3인 경우에 시료 상의 길이(S)는 P/2이다.

(실시예 2) 암시야 상을 얻는 렌즈 없는 소형 현미경

암시야(darkfield) 영상을 위해서는 다른 구조를 사용한다. 암시야 영상이란 박테리아나 살아있는 세포와 같은 무색 표본을 잘 관찰하기 위한 방법으로써, 물체를 측면에서 조명하고 가능한 어두운 배경에서 관찰한다. 이런 물체는 명시야(bright field)에서는 빛을 거의 흡수하지 않기 때문에 관찰하기 어렵다. 인간의 눈은 국지적 강도의 변화가 10~20%이상일 때 인식 가능하므로, 명시야에서는 상당수의 표본이 이 정도로 빛을 변조(modulation)시키지 못한다. 그러나, 암시야 방법을 사용하면 배경 영역은 빛이 들어오지 않아 까맣고, 시료 부분만 빛이 들어오므로 잘 볼 수 있게 된다.

도 3은 암시야(darkfield) 영상을 얻기 위한 콜리메이터 구조이다. 도 2의 필터 구조에서 아래 부분에 빛 차단막(14)을 추가한다. 이것은 정확히 수직으로 들어온 빛, 즉 조명이 표본을 투과하여 들어오는 빛만 차단하는 역할을 한다. 시료(12)에서 약간 산란된 빛은 약간 비스듬한 각도로 필터를 통과하여 영상센서(11)에 도달한다. 물론, 많이 꺾여서 이웃한 화소로 향하는 빛은 차단된다. 차단막(14)의 폭과 영상 센서(11)로부터의 거리는 통과시킬 빛의 양을 고려하여 결정한다. 본 발명의 한 실시예에서 차단막(14)은 바로 영상 센서(11)와 접하며, 그 폭은 열린 구멍의 폭(G)과 동일하다.

암시야 방법에서는 시료에서 꺽인 빛 중에서도 일부는 차단막(14)에서 차단되므로 영상 센서(11)에 들어오는 빛의 양은 줄어든다. 화소 위 특정 점에 빛이 도달하는 시료 상의 길이(S)는 명시야의 그것과 차이가 없지만, 빛을 받아들이는 영상 센서(11) 위의 면적은 줄어든다. 차단막(14)이 바로 영상 센서(11)와 접하고 그 폭이 열린 구멍의 폭과 동일할 때, 줄어드는 빛의 비율은 다음과 같다.

G=P/3인 경우에 줄어든 비율은 1/9이고, 시료에서 나온 빛은 명시야의 8/9 만큼이 통과한다.

(실시예 3) 형광 측정이 가능한 렌즈 없는 소형 현미경

본 발명은 형광 측정이 가능하도록 할 수도 있다. 광원에 excitation filter를, 영상 센서에 emission filter를 사용하여 형광을 측정할 수 있다. Excitation filter는 얇은 필름을 광원과 시료 사이에 끼워 넣어서 구현할 수 있다. 다른 방법으로는 이미지 센서 제작 공정 중에 증착하여도 된다. 아예 특정한 파장의 빛을 내는 레이저(laser) 광원을 사용할 수도 있다.

Emission filter도 얇은 thin film을 광원과 시료 사이에 끼워 넣는 방법과, 얇은 필름 증착 방법으로 제작할 수 있다. 필름 증착할 때 각 화소마다 다른 파장을 통과시키는 필터를 만들면, 천연색 영상을 얻는 것과 마찬가지로, 한 센서에서 여러 파장의 형광을 관찰할 수 있다. 좀 다른 방법으로, Emission filter 대신에 기존의 천연색을 얻는 필터를 사용한 다음, 각 화소마다 빛의 파장 영역에서 스펙트럼 추적하여(deconvolution)어떤 파장의 빛이 통과되었는지 추적하는 방법도 가능하다.

(실시예 4) 렌즈 없는 소형 현미경 시스템의 제작

본 발명에 의한 렌즈 없는 소형 현미경 시스템은 필터, 영상 센서와 함께 여러 소자들을 결합하여(integration) 만든다. 도 4와 도 5는 렌즈 없는 소형 현미경의 내부 구조와 외부 형태를 개략적으로 나타낸다.

도 4를 참조하면, 상기 렌즈 없는 소형 현미경의 내부 구조는 광원(41), 시료 샘플이 올라와 있는 슬라이드 글래스(42), 수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(collimator)(43), 영상 센서(44), 전자회로기판(45), 배터리(46) 및 전자회로칩(47)을 포함한다.

도 5를 참조하면, 상기 렌즈 없는 현미경의 외부 형태는 소형 현미경 본체(51) 에 데이터 표시를 위한 LCD 디스플레이(52)와, 소형 현미경 본체의 일측면의 소정 크기의 개구면으로 탈착이 가능한 시료 샘플 트레이(53)와, 상하좌우 이동과 밝기 조정, 및 온도 조절을 위한 조작키(54)와 우측 상단의 일측면에 영상 센서에 의해 촬영된 디지털 사진을 USB, IEEE1394, NTSC(TV video 표준) 전송방식으로 유선으로 전송하기 위한 외부 연결잭(55)을 포함한다.

도 6은 각 소자를 기능별로 연결한 그림이다. 대표적인 기능 소자는 시료 샘플이 올라와 있는 슬라이드 글래스(42), 시료 샘플 트레이(53), 수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(43), 영상 센서(44), CPU(61), 메모리(62), 배터리(46), 광원(64), 모터(66), 컨트롤러(65), User Interface부(67), 조작키(54), LCD display(52) 등을 포함한다.

상기 CPU(61)은 색 보정이나 잡음 제거 등의 디지털 영상을 처리하고 현미경 시스템의 모든 기능을 제어한다. 상기 메모리(62)는 영상 센서(44)로부터 촬영된 디지털 영상 정보를 저장하는 저장소로써, 몇 가지 메모리를 결합하여 사용한다.

상기 메모리(62)는 전원이 꺼져도 영상을 저장하기 위해서는 비휘발성인 FRAM 등이 필요하고, 영상 처리를 위해서는 빠른 SRAM이 필요하다. 상기 영상 센서(44)로는 CIS(CMOS image sensor) 혹은 CCD(charge coupled devices)를 사용한다.

상기 통신부(68)는 현미경시스템이 유선 혹은 무선 디지털 통신을 이용하여 PC나 TV, 프린터 같은 다른 기기로 영상을 전송하고 명령을 주고 받을 수 있도록 한다. 무선인 경우에는 안테나(69)를 사용하며, 전송방식은 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF 등을 이용할 수 있다. 유선으로는 통신부(68)와 연결되어 시스템 외부에 연결잭(55)이 있어야 하며, 전송방식으로는 USB, IEEE 1394, NTSC(TV video표준) 등을 적용하면 된다.

상기 User Interface부(67)는 사용자에게 영상을 보여주고 명령을 받아들이는 기능을 갖는다. 지금 촬영하거나 이미 촬영한 영상은 적절한 처리 과정을 거쳐 LCD display(52)를 통해 사용자가 확인할 수 있다. 상기 조작키(54)를 이용하여 확대/축소나 상하좌우 이동, 화면 밝게/어둡게 등의 여러 가지 조작을 한다. 상기 컨트롤러(65)는 상하좌우 이동이 가능한 모터(66)와 광원(64)을 제어하는 기능을 갖는다. 상기 광원(64)으로는 여러 고체 광원을 사용할 수 있다. LCD display backlight를 적용할 수 있으며, LD(laser diode)와 LED(light emitting diode), 유기 EL등도 가능할 것이다. 상기 배터리(46)는 전체 시스템의 동작 전력을 공급한다.

(실시예 5) 렌즈 없는 소형 현미경 시스템을 이용한 영상취득 방법

스캔(Scan) 기능을 이용하면 센서 크기보다 더 큰 영상을 얻는다. 시료와 센서가 가로 세로 2축으로 상대적으로 이동하면 다른 부분의 영상을 얻을 수 있고, 넓은 면적에 걸친 시료를 측정할 수 있다. 이 방법은 인공지능과 결합하여 넓은 공간 (10 x 10 mm)에서 작은 시료(10 μm)를 현미경 스스로 찾아서 사진을 찍는 기능까지 갖출 수 있다. 가로 세로 이동하는 방법으로는 도 7처럼 여러 가지 방법이 있다. 필터와 영상 센서는 고정되어있고, 표본(시료)만 가로 세로 이동하는 방법(71), 표본과 필터는 고정되어 있고, 영상 센서가 가로 세로 이동하는 방법(72), 필터는 고정되어 있고, 표본과 영상 센서가 서로 수직인 2축으로 이동하는 방법(73) 등이 있다.

Sub-pixel 방법을 적용하면소형 현미경의 영상 해상력(image resolution)을 높일 수 있다. 상을 약간 다른 위치에서 여러 번 찍고, 이것을 영상 처리(image process)하여 원래 화소 간격(pixel pitch)보다 더 세밀한 영상을 얻는다. 제 8도처럼 영상 81을 가로 세로로 1/2 화소 크기만큼 움직여서 4장의 사진 82-85를 얻고, 이것을 처리하여, 그냥 얻은 사진보다 해상도(영상의 화소 수)를 4배 높인 영상 86을 얻는다. 도 9는 도 8의 각 사진 81-86에서 K 글자 부분을 확대한 이미지(91-96) 이다. 도 10은 도 9의 몇몇에 대하여 화소 격자와 함께 보여주는 그림(101-105)이다. 사진 101, 104,105는 각각 사진 91, 95, 96을 확대한 이미지이고, 102와 103은 101에다 각각 격자를 표현한 것으로써, 양자화를 수행한 결과가104와 105이다. (같은 면적에서 화소 수가 4배로 늘었으므로 가상 화소 크기가 면적으로 1/4로, 길이로 1/2로 줄었다고 표현할 수도 있다.) 더 여러 장 찍어서 해상도를 더 높이는 것도 가능하다. 도 7~10에서는 1/2만큼 움직여서 4장을 찍어서 같은 면적에서 화소수를 4배로 늘렸다. 마찬가지로 화소 크기의 1/3만큼씩 움직여서 총 9장의 사진을 찍는 방법, 화소 크기의 1/4만큼 움직이는 방법 등도 가능하다. 가로 세로로 이동하는 방법으로는 앞의 scan 기능(도 7)처럼 여러 가지 방법이 있다. 필터와 영상 센서는 고정되어있고, 표본이 이동(71), 표본과 필터는 고정되어 있고, 영상 센서가 이동(72), 필터는 고정되어 있고, 표본과 영상 센서가 서로 수직인 2축으로 이동하는 방법(73) 등이 있다.

본 발명은 다음과 같은 부가 기능을 더하여 구현하면 더 유용할 것이다.

1) 바이오 마이크로어레이 측정에 사용한다.

DNA 마이크로어레이(microarray), Protein 마이크로어레이 등을 측정하는 데 있 어 렌즈 없는 소형 현미경을 사용한다.

2) 온도조절 기능을 가진다.

세포 같은 경우에는 온도에 따라 반응한다.

3) 특정한 물질을 넣어주는 기능을 갖는다.

본 발명에 의한 현미경에 상기 특정한 물질을 넣어주는 기능을 추가하면 더 유용하다. 예를 들면, 상기 특정한 물질로 염색약을 넣어주어 현미경 내부에서 염색할 수 있다. 또한, 상기 특정한 물질로 생화학적 물질 첨가 기능을 가지면- 신약개발후보 물질 같은 생화학적 물질을 현미경 내부에서 넣어주며 실험할 수 있다. 또한, 상기 특정한 물질로 세포 및 화학반응에 영향을 주는 완충용액(buffer) 조성을 바꾸거나 조절하는 기능을 갖는다. 이런 기능은 공학적으로 볼 때 어떤 액체 상태의 물질을 넣어주는 것이므로, 마이크로펌프를 사용하면 된다. 현재 다양한 MEMS기술로 마이크로펌프를 개발하고 있다. 또는 펌프대신 전기삼투압(electrophoretic force), 모세관현상(capillary force), 전기적 적심 현상(electro-wetting), 또는 층류(laminar flow)에 의한 미세유체제어 기술(microfluidics)을 사용해도 된다.

상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 렌즈 없는 칩위의 광학 현미경 및 이를 이용한 영상 획득 시스템은, 렌즈를 사용하지 않고 메모리와 LCD 디스플레이와 현미경을 소형화함으로써 미소 구조물을 관찰하기 위한 렌즈 없는 영상 획득 시스템을 현미경으로 구현한다. 종래의 현미경은 디지털 영상이미지를 얻는 과정에 있어서, 대물렌즈를 사용하여 상을 확대한 다음, 카메라를 사용하여 다시 이를 축소해야 한다. 따라서 이러한 과정에서 렌즈를 사용하기 때문에 크기가 크고 가격이 비싸며, 또한 광학 수차 때문에 해상도에 있어 한계점을 갖는 단점이 있다. 본 발명은 현미경의 대상 크기와 영상센서(image sensor)의 크기가 비슷하다는 점에서 착안하여, 확대와 축소에 있어 렌즈를 사용하지 않는다는 점을 특징으로 한다. 현미경 시스템은 핸드폰이나 디지털카메라와 유사한 형태가 될 것이며, 휴대하기 용이하고 가격도 상당히 절감된다. 본 발명을 이용하면 현미경을 소형화할 수 있고, 가격 절감, 휴대 용이 등의 장점을 갖는다. 또한 본 발명에 의한 렌즈 없는 칩위의 현미경 및 칩위의 현미경 시스템은, 종래의 현미경에서는 구현하기 어려웠던 염색약이나 약물 주입 같은 여러 부가기능을 추가하기에 용이하므로, 현미경 시스템의 활용성을 높일 수 있을 것이다.

Claims

영상 센서와, 상기 영상 센서의 각 화소에 대응하는 위치에 빛을 투과하지 않는 재료로 여러 개의 관들을 가지며 시료상의 각 점에서 영상 센서 위의 한 화소로 일대일 사영(one-to-one mapping)을 수행하는 수직에 가깝게 들어온 빛만 통과시키는 콜리메이터(collimator)로 구성되는 것을 특징으로 하는 렌즈 없는 칩 상의 현미경.
제 1 항에 있어서, 상기 영상 센서위의 각 화소로 일대일 사영을 수행하는 콜리메이터(collimator)는 나란한 관들의 집합으로써, 각 관의 관찰할 표본 쪽 끝에 작은 구멍을 갖는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경.
제 1 항에 있어서, 상기 영상 센서 위의 각 화소로 일대일 사영을 수행하는 콜리메이터(collimator)는 암시야 영상을 위해, 상기 영상 센서 쪽에 차단막을 더 포함하는 것을 특징으로 하는 암시야 용 렌즈 없는 칩 상의 광학 현미경.
제 1 항에 있어서, 상기 영상 센서는 특정 파장 대역의 빛만 통과시키는 한 개 혹은 두 개 이상의 필터를 장착하여 형광 영상을 얻을 수 있는 렌즈 없는 칩 상의 광학 현미경.
제 1 항에 있어서, 상기 영상 센서는 CIS(CMOS image sensor) 또는 CCD (Charge Coupled Devices)를 사용하는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경.
제 1 항에 있어서, 상기 현미경은

시료 샘플이 올라와 있는 슬라이드 글래스(42);

시료 샘플 트레이(53);

수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(43);

CIS(CMOS image sensor) 또는 CCD(charge coupled devices)를 사용하여 영상을 처리하는 영상 센서(44);

상하좌우 이동이 가능한 모터(66);

LCD display backlight를 적용할 수 있으며, LD(laser diode)와 LED, 유기 EL등도 등을 이용하는 여러 가지 고체광원을 이용하는 광원(64);

상기 상하좌우 이동이 가능한 모터(66)와 상기 광원(64)을 제어하는 컨트롤러(65);

색 보정이나 잡음 제거 등의 디지털 영상을 처리하고 현미경 시스템의 모든 기능을 제어하는 CPU(61);

상기 영상 센서(44)로부터 촬영된 디지털 영상 정보를 저장하는 메모리(62);

현미경 시스템이 유선 혹은 무선 디지털 통신을 이용하여 PC나 TV, 프린터 같은 다른 기기로 영상을 전송하고 명령을 주고 받기 위한 통신부(68);

상기 통신부(68)가 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF 전송방식으로 무선으로 이용하기 위한 안테나(69);

상기 통신부(68)와 연결되어 USB, IEEE 1394, NTSC(TV video표준) 전송방식으로 유선으로 디지털 사진을 전송하기 위한 시스템 외부에 연결잭(55);

사용자에게 영상을 보여주고 명령을 받아들이는 기능을 제공하는 User Interface부(67);

확대/축소나 상하좌우 이동, 화면 밝게/어둡게 등의 여러 가지 조작을 입력하는 조작키(54);

전체 시스템의 동작 전력을 공급하는 배터리(46); 및

지금 촬영하거나 이미 촬영한 영상은 적절한 처리 과정을 거쳐 사용자에게 표시하는 LCD display(52)가 직접화(integration)되어 포함되는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경.
제 1 항에 있어서, 상기 현미경은 가로세로 이동(scan)기능을 가지며, 상기 이동 기능을 구현함에 있어, 영상 시료가 x축, y축으로 이동하는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경.
제 7 항에 있어서, 상기 이동 기능을 구현함에 있어, 시료와 영상 센서가 서로 이동하는 방향은 수직이 되도록 각각 한 방향으로 이동함을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경.
제 6 항에 있어서, 상기 광원으로 고체광원 소자를 사용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 6 항에 있어서, 상기 광원으로 반도체광원의 하나인 LD (laser diode) 및 LED (light emitting diode)를 사용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 6 항에 있어서, 상기 광원으로 유기 EL(electroluminescence) 소자를 사용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 6 항에 있어서, 디지털 사진을 PC, TV를 비롯한 다른 기기로 전송이 가능한 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 12 항에 있어서, 상기 디지털 사진의 전송방식은 USB, IEEE1394, NTSC(TV video표준) 유선으로 전송하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 12 항에 있어서, 상기 디지털 사진의 전송방식은 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF를 이용해 무선으로 전송하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 6 항에 있어서, 상기 현미경 시스템의 모든 기능은 유선 혹은 무선 네트워크를 통해 외부에서 조작이 가능한 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
영상 센서와, 시료상의한 점에서 영상 센서 위의 한 화소로 일대일 사영을 수행하는 구조물(collimator)을 포함하는 렌즈 없는 칩 상의 현미경에서,

상기 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법으로 상을 약간 다른 위 치에서 여러 번 찍고, 이것을 영상 처리하여 원래 화소 크기보다 더 세밀한 해상도를 얻는 sub-pixel 방식을 이용하는 것을 특징으로 하는 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법.
제 16 항에 있어서,

상기 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법으로 가로/세로로 1/2 화소만큼 움직여서 4장의 사진을 얻고, 이것을 처리하여 해상도를 4배 높이는 것을 특징으로 하는 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법.
영상 센서와, 상기 영상 센서의 각 화소에 대응하는 위치에 빛을 투과하지 않는 재료로 여러 개의 직선 구멍들을 가지며, 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영을 수행하는 구조물(collimator)을 포함하는 렌즈 없는 칩 상의 현미경을 이용한 DNA 마이크로어레이, 단백질 마이크로어레이 측정하는 데 사용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 6 항에 있어서, 상기 렌즈 없는 소형 현미경 시스템은 온도조절 기능을 가지는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 6 항에 있어서, 상기 렌즈 없는 소형 현미경 시스템은 특정한 물질을 넣어주는 기능을 가지며, 상기 특정한 물질로 염색약을 넣어주는 기능을 가지는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 20 항에 있어서, 상기 특정한 물질로 신약개발 후보 물질 같은 생화학적 물질을 넣어주는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 20 항에 있어서, 상기 특정한 물질로 세포 및 화학 반응에 영향을 주는 완충용액(buffer)조성을 바꾸는 기능을 가지는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.
제 20 항에 있어서, 상기 특정한 물질 주입을 위해 마이크로펌프 또는 미세유체기술을 이용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.