KR100764003B1 - Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof - Google Patents

Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof Download PDF

Info

Publication number
KR100764003B1
KR100764003B1 KR1020050000720A KR20050000720A KR100764003B1 KR 100764003 B1 KR100764003 B1 KR 100764003B1 KR 1020050000720 A KR1020050000720 A KR 1020050000720A KR 20050000720 A KR20050000720 A KR 20050000720A KR 100764003 B1 KR100764003 B1 KR 100764003B1
Authority
KR
South Korea
Prior art keywords
lensless
microscope
optical microscope
image
image sensor
Prior art date
Application number
KR1020050000720A
Other languages
Korean (ko)
Other versions
KR20060080353A (en
Inventor
최원재
박제균
예종철
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020050000720A priority Critical patent/KR100764003B1/en
Publication of KR20060080353A publication Critical patent/KR20060080353A/en
Application granted granted Critical
Publication of KR100764003B1 publication Critical patent/KR100764003B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B43WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43KIMPLEMENTS FOR WRITING OR DRAWING
    • B43K23/00Holders or connectors for writing implements; Means for protecting the writing-points
    • B43K23/001Supporting means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B43WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43KIMPLEMENTS FOR WRITING OR DRAWING
    • B43K23/00Holders or connectors for writing implements; Means for protecting the writing-points
    • B43K23/08Protecting means, e.g. caps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B43WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
    • B43KIMPLEMENTS FOR WRITING OR DRAWING
    • B43K29/00Combinations of writing implements with other articles
    • B43K29/02Combinations of writing implements with other articles with rubbers

Abstract

본 발명은 렌즈(lens)를 사용하지 않는 광학 현미경 및 이를 이용한 영상 획득 시스템에 관한 것이다. 특히 디지털 영상 센서 앞에 수직에 가깝게 들어온 빛만 통과시키는 콜리메이터(collimator)를 이용하여 렌즈 없는 구조를 갖는 것을 특징으로 한다. 이 구조물은 나란한 관들의 집합으로써, 각 관의 관찰할 표본 쪽 끝에는 작은 구멍이 나있어서, 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영을 수행한다. 상을 확대, 축소하는 렌즈를 배제하였으므로 현미경의 제작비용이 절감되고 소형화가 가능하다. The present invention relates to an optical microscope that does not use a lens and an image acquisition system using the same. In particular, it has a lensless structure by using a collimator that passes only light coming near the vertical in front of the digital image sensor. This structure is a set of side-by-side tubes, each with a small hole at the end of the specimen to be observed, to perform one-to-one projection from one point on the sample to one pixel on the image sensor. Since the lens that enlarges or reduces the image is excluded, the manufacturing cost of the microscope is reduced and miniaturization is possible.

칩 상의 현미경, 렌즈 없는 광학 현미경, 소형화, 휴대화, 내삽(interpolation), 디지털(digital), 형광.Microscope on chip, optical microscope without lens, miniaturization, portability, interpolation, digital, fluorescence.

Description

렌즈 없는 칩위의 광학 현미경 및 이를 이용한 영상 획득 시스템{Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof} Lensless Optical Microscope on Chip and Image Acquisition System Using It {Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof}             

도 1은 본 발명에 따른 렌즈 없는 현미경의 구조. 1 is a structure of a microscope without a lens according to the present invention.

도 2는 본 발명에 따른 수직으로 들어온 빛만 통과시키는 구조물. Figure 2 is a structure for passing only the light vertically entered in accordance with the present invention.

도 3은 암시야용 수직으로 들어온 빛만 통과시키는 구조물.Figure 3 is a structure that passes only the light vertically entered for the dark field.

도 4는 렌즈 없는 현미경 시스템의 내부 구조.4 shows the internal structure of a lensless microscope system.

도 5는 렌즈 없는 현미경 시스템의 외부 구성.5 is an external configuration of a lensless microscope system.

도 6은 렌즈 없는 현미경 시스템의 기능적 구성.6 is a functional configuration of a lensless microscope system.

도 7은 여러 가지 이동(scan) 방법.7 shows various scan methods.

도 8은 내삽(interpolation) 원리(100 x 40 화소(pixel) )8 shows the interpolation principle (100 x 40 pixels)

도 9는 내삽(interpolation) 원리(도 8의 일부를 확대, 16 x 20 화소)FIG. 9 shows the interpolation principle (enlarge part of FIG. 8, 16 x 20 pixels)

도 10은 내삽(interpolation) 원리(도 9를 확대하고 격자(grid)를 보여줌) FIG. 10 illustrates the interpolation principle (enlarged FIG. 9 and shows a grid)

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for main parts of the drawings>

10: 수직에 가깝게 들어온 빛만 통과시키는 구조물(collimator) 10: A collimator that only passes light near the vertical

11: 영상 센서 12: 시료11: image sensor 12: sample

13: 직선 구멍 14: 차단막13: straight hole 14: barrier

L: 구조물의 높이 D: 시료와 구조물 사이 거리 L: Height of the structure D: Distance between the sample and the structure

P: 구멍간격 G: 열린 구멍의 폭P: hole spacing G: width of open hole

S: 화소에서 특정점에 빛이 도달하는 시료상의 길이 S: length of the sample at which light reaches a specific point in the pixel

본 발명은 휴대하기 용이한 소형 현미경 및 이를 이용한 영상 획득 시스템에 관한 것으로서, 특히 디지털 영상 센서 앞에 수직으로 들어온 빛만 통과시키는 구조물(collimator)을 이용하여 렌즈 없는 구조를 갖는 렌즈 없는 칩위에 광학 현미경 및 이를 이용한 영상 획득 시스템에 관한 것이다. The present invention relates to a compact microscope that is easy to carry and an image acquisition system using the same. In particular, an optical microscope and a lens on a lensless chip having a lensless structure using a collimator for passing only light vertically in front of a digital image sensor are provided. It relates to an image acquisition system used.

광학 현미경은 물체의 미세한 부분을 빛을 이용하여 확대하여 관찰 또는 기록하는 장치이다. 생물학을 비롯하여 여러 과학 분야, 즉 반도체, 의학, 재료과학 뿐만 아니라 학교의 선진화 교육에까지 다양한 목적으로 활용되는 필수적인 실험기구이다. 일반적인 현미경의 구조는 대물렌즈와 대안렌즈를 사용하며, 보통 50X ~ 1000X의 배율을 갖는다. 사람 눈으로 관찰할 경우에는, 먼저 대물렌즈로 시료의 상을 확대하여 20mm 크기의 중간상을 만든 다음, 대안렌즈를 사용하여 이것을 눈에서 250mm 떨어진 위치에 크기 200mm의 허상을 만들어 눈으로 볼 수 있게 만든다. 대안렌즈는 보통 10X 배율이며, 대물렌즈는 5X, 10X, 20X, 50X, 100X 등을 갖는다. An optical microscope is a device that magnifies or observes a minute portion of an object by using light. It is an essential experimental instrument that is used for a variety of purposes, including biology, various scientific fields, such as semiconductor, medicine, and material science, as well as advanced education in schools. The structure of a general microscope uses an objective lens and an alternative lens, and usually has a magnification of 50X to 1000X. In the case of the human eye, first, the image of the sample is magnified with an objective lens to make a 20mm medium image, and then, using an alternative lens, a virtual image of 200mm size is placed 250mm away from the eye to make it visible. . Alternative lenses are usually 10X magnification, and objective lenses have 5X, 10X, 20X, 50X, 100X, and the like.

시료의 구조를 자세히 볼 수 있는 능력을 해상력(혹은 분해능)이라 한다. 이것 은 현미경의 성능을 좌우하는 요소로써, 대물렌즈의 성능에 의하여 결정된다. 따라서 대물렌즈와 접안렌즈와의 조합에 의하여 배율을 증가시키더라도 대물렌즈의 성능이 나쁘면 흐릿한 상이 단순히 확대될 뿐으로, 미세한 구조의 식별은 되지 않는다. 일반적으로 현미경의 총배율이 대물렌즈의 개구수(NA: numerical aperture)의 500~1,000배가 되도록 한다. 해상력은 그것으로 식별되는 두 점의 최소거리 d로 표시되며, 조명광의 파장을 λ, 대물렌즈의 개구수를 a로 나타내면, d=λ/a로 주어진다. 가시광선의 파장은 400nm~700nm이고, 건조계 대물렌즈의 개구수는 0.05~0.95의 범위이고, 액체계 대물렌즈도 1.4가 최고이므로 보통 현미경의 해상력은 0.4 μm 정도이다.The ability to see the structure of a sample in detail is called resolution (or resolution). This is a factor that determines the performance of the microscope and is determined by the performance of the objective lens. Therefore, even if the magnification is increased by the combination of the objective lens and the eyepiece, if the performance of the objective lens is poor, the blurry image is simply enlarged, and the fine structure is not identified. In general, the total magnification of the microscope should be 500 to 1,000 times the numerical aperture (NA) of the objective lens. The resolution is expressed by the minimum distance d of the two points identified thereon, where d = λ / a, where the wavelength of the illumination light is λ and the numerical aperture of the objective lens is a. The wavelength of visible light is 400 nm to 700 nm, the numerical aperture of the dry objective lens is 0.05 to 0.95, and the liquid objective lens also has the highest 1.4, so the resolution of a microscope is usually about 0.4 μm.

최근 컴퓨터기술의 발달로 인해 현미경에서 얻은 영상정보의 디지털화 작업이 이루어지고 있다. 현재 디지털 영상을 받아들이기 위해서는 광학현미경의 구조에 변경을 가하여 영상을 얻는다. 바로 광학현미경의 대물렌즈로 확대된 상을 카메라를 이용하여 다시 축소하는 방법을 사용하고 있는데, 그 이유는 250mm거리의 200mm 영상에 적합한 사람의 눈과는 달리 디지털 영상 센서는 5 X 4mm 정도의 센서 표면적을 갖기 때문이다. 즉 10X 확대 기능을 갖는 대안렌즈를 사용하지 않고, 20mm 크기의 중간상을 카메라의 광학계를 이용하여 축소하여 센서 표면에 상을 맺게 하는 것이다.Recently, due to the development of computer technology, digitalization of image information obtained from a microscope has been performed. In order to accept the current digital image, the structure of the optical microscope is changed to obtain an image. The camera uses the camera to reduce the image magnified by the objective of the optical microscope. The reason is that unlike the human eye, which is suitable for the 200mm image of 250mm distance, the digital image sensor is about 5 X 4mm. This is because it has a surface area. In other words, instead of using an alternative lens having a 10X magnification function, the intermediate image having a size of 20 mm is reduced by using the optical system of the camera to form an image on the sensor surface.

디지털 영상 센서는 반도체 기술의 발전과 더불어 지난 십여년 동안 빠른 속도로 발전해 왔다. 반도체 영상 센서(semiconductor image sensor)는 CCD(Charge Coupled Devices)와 CIS(CMOS Image Sensor) 두 종류로 나누어진다. CCD는 방송용 카메라를 비롯하여 비교적 오랜 동안 사용되어 왔으며, CIS는 90년대 기술이 개발되어 2000년대 이후 휴대폰, 디지털 카메라 등에서 사용되고 있다. 현재, 화소(pixel)크기는 4x4μm 정 도이며, 가로 1300개 세로1000개의 직사각형 배열로 이루어진 130만화소의 경우 센서 표면적(sensing size)은 5x4mm 정도이다.Digital image sensors have evolved rapidly over the last decade with the development of semiconductor technology. Semiconductor image sensors are classified into two types: charge coupled devices (CCD) and CMOS image sensors (CIS). CCD has been used for a relatively long time, including broadcast cameras, and CIS has been used in mobile phones and digital cameras since the late 2000s because of technology developed in the 90s. At present, the pixel size is about 4x4μm, and in the case of 1.3 million pixels having 1,300 horizontal and 1000 rectangular arrays, the sensor size is about 5x4mm.

반면 소형 영상 시스템(miniaturized imaging system)은 주로 공초점 (confocal) 방식에 기반하여 연구되고 있다. 공초점 방식이란 두꺼운 시료에서 특정한 얇은 층의 형태만을 정확하게 관찰하는 현미경의 특수한 형태로써, 레이저와 바늘구멍(pinhole)을 이용하는 등 일반 광학 현미경과는 상당히 다르다. 최근 아리조나 대학(University of Arizona) 연구팀을 비롯하여 몇몇 기관에서, 공초점 칩 상 현미경(confocal microscope-on-a-chip)을 보고한 바 있다(US 6749346, 2004; IEEE Jour. of Quantum Electronics, 38(2): 122-130, 2002; Optical Letters 29(7): 706-708, 2004). Miniaturized imaging systems, on the other hand, are mainly studied based on confocal methods. The confocal method is a special type of microscope that accurately observes the shape of a specific thin layer in a thick sample. It is quite different from a general optical microscope such as using a laser and a pinhole. Recently, several organizations, including a team at the University of Arizona, have reported confocal microscope-on-a-chip (US 6749346, 2004; IEEE Jour. Of Quantum Electronics, 38 ( 2): 122-130, 2002; Optical Letters 29 (7): 706-708, 2004).

디지털 영상을 받아들이는 방법으로는 디지털 사진기 외에 스캐너가 있다. 바코드 스캐너 같이 단 1축의 정보만 인식하면 되는 경우는 제외하면, 문서와 같은 2차원 영상을 처리하기 위해서 스캐너는 문서나 센서를 한 축으로 움직이며 (scan) 인식한다. 스캐너의 해상력은 일반 사무용의 경우에 600dpi, 1200dpi, 2400dpi등이 사용되고 있으며, 필름 스캐너의 경우에는 4000dpi, 8000dpi등이 사용되고 있다. 각각의 경우에 화소 크기를 계산해보면 사무용은 10~42 μm와 필름용은 3~6 μm이다. 디지털 사진기와 스캐너는 공통적으로 2차원 영상을 처리하고 천연색(칼라) 기능도 갖고 있는데, 주요 차이점은 영상센서의 구조와 렌즈 사용 유무이다. 디지털 사진기는 2차원 센서 배열을 사용하여 한 순간에 한 장면의 영상을 얻고 렌즈를 사용하는 반면, 스캐너는 1차원 센서 배열을 사용하고 스캔하며- 대부분 렌즈를 사용하지 않는다.In addition to digital cameras, there are scanners that accept digital images. Except when only one axis of information such as a barcode scanner needs to be recognized, the scanner scans a document or sensor on one axis to process a two-dimensional image such as a document. In the case of general office use, the resolution of the scanner is 600 dpi, 1200 dpi, 2400 dpi, etc., and in the case of a film scanner, 4000 dpi, 8000 dpi is used. In each case, the pixel size is calculated from 10 to 42 μm for office and 3 to 6 μm for film. Digital cameras and scanners commonly process two-dimensional images and also have color (color) functions. The main differences are the structure of the image sensor and the presence or absence of lenses. Digital cameras use a two-dimensional sensor array to capture an image of a scene at a moment and use a lens, while a scanner uses and scans a one-dimensional sensor array—most often without a lens.

그러나, 종래의 현미경은 디지털 영상이미지를 얻는 과정에 있어서, 대물렌즈를 사용하여 상을 확대한 다음, 카메라를 사용하여 다시 이를 축소해야 한다. 따라서 이러한 과정에서 렌즈를 사용하기 때문에 크기가 크고 가격이 비싸며, 또한 광학 수차 때문에 해상도에 있어 한계점을 갖는 단점이 있다. However, in the process of obtaining a digital image, a conventional microscope needs to magnify an image using an objective lens and then reduce it again using a camera. Therefore, there is a disadvantage in that the lens is used in this process, which is large in size and expensive, and also has a limitation in resolution due to optical aberration.

본 발명은 종래 기술의 문제점을 해결하기 위해 제안된 것으로써, 본 발명의 목적은 기존의 렌즈를 사용하는 현미경과는 달리 렌즈를 이용하여 상을 확대/축소하지 않고 바로 디지털 영상을 얻는 데 그 특징이 있으며, 디지털 영상 센서 앞에 수직으로 들어온 빛만 통과시키는 구조물(collimator)을 사용하면 스캐너와 비슷한 원리로 렌즈 없이도 영상을 얻을 수 있고, 즉 현재 현미경을 이용해 디지털 영상을 받을 때는 대물렌즈로 확대하고 카메라로 축소해야 하는데, 이런 불필요한 과정을 제거하여 현미경 시스템의 소형화 등에 크게 기여할 수 있으며, 또한 렌즈를 사용하면 개구수(혹은 광학수차) 때문에 해상력의 한계를 갖게 되는데, 렌즈를 사용하지 않으므로 해상력을 더 높일 수 있는 장점을 갖는 렌즈 없는 칩 위의 광학 현미경 및 이를 이용한 영상 획득 시스템을 제공하는 것이다.
The present invention has been proposed to solve the problems of the prior art, and an object of the present invention is to obtain a digital image directly without enlarging / reducing an image using a lens, unlike a microscope using a conventional lens. If you use a collimator that passes only light vertically in front of the digital image sensor, you can obtain an image without a lens on the principle similar to a scanner. This unnecessary process can be eliminated, which can greatly contribute to the miniaturization of the microscope system. Also, the use of a lens has a limitation of resolution due to the numerical aperture (or optical aberration). Optical microscope on a lensless chip with advantages and images using the same It is to provide an acquisition system.

상기 본 발명의 목적을 달성하기 위하여, 본 발명은 영상 센서(11)와, 상기 영상 센서(11)의 각 화소에 대응하는 위치에 빛을 투과하지 않는 재료로 사각형 형태의 여러 개의 직선 구멍들(13)을 가지며, 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영(one-to-one mapping)을 수행하는 수직에 가깝데 들어온 빛만 통과시키는 콜리메이터(collimator)(10)로 구성되는 것을 특징으로 하는 렌즈 없는 칩 상의 현미경을 제공한다.In order to achieve the object of the present invention, the present invention is an image sensor 11 and a plurality of straight holes of a rectangular shape made of a material that does not transmit light at a position corresponding to each pixel of the image sensor 11 ( 13) and comprises a collimator 10 that passes only light that is close to vertical, which performs one-to-one mapping with one pixel on the image sensor at a point on the sample. A microscope on a chip without a lens is provided.

또한, 암시야 용 렌즈 없는 칩 상의 광학 현미경은 상기 영상 센서(11) 위의 한 화소로 일대일 사영을 수행하는 콜리메이터(collimator)(10)는 암시야 영상을 위해, 상기 영상 센서 쪽에 차단막(14)을 더 포함하는 것을 특징으로 한다.In addition, the optical microscope on the chip without a dark field lens is a collimator (10) to perform one-to-one projection to one pixel on the image sensor 11, the blocking film 14 on the image sensor side for the dark field image It characterized in that it further comprises.

상기 현미경은 시료 샘플이 올라와 있는 슬라이드 글래스(42); 시료 샘플 트레이(53); 수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(43); CIS(CMOS image sensor) 또는 CCD(charge coupled devices)를 사용하여 영상을 처리하는 영상 센서(44); 상하좌우 이동이 가능한 모터(66); LCD 디스플레이 백라이트를 적용할 수 있으며, LD(laser diode)와 LED, 유기 EL등도 등을 이용하는 여러 가지 고체광원을 이용하는 광원(64); 상기 상하좌우 이동이 가능한 모터(66)와 상기 광원(64)을 제어하는 컨트롤러(65); 색 보정이나 잡음 제거 등의 디지털 영상을 처리하고 현미경 시스템의 모든 기능을 제어하는 CPU(61); 상기 영상 센서(44)로부터 촬영된 디지털 영상 정보를 저장하는 메모리(62); 현미경 시스템이 유선 혹은 무선 디지털 통신을 이용하여 PC나 TV, 프린터 같은 다른 기기로 영상을 전송하고 명령을 주고 받기 위한 통신부(68); 상기 통신부(68)가 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF 전송방식으로 무선으로 이용하기 위한 안테나(69); 상기 통신부(68)와 연결되어 USB, IEEE 1394, NTSC(TV video표준) 전송방식으로 유선으로 디지털 사진을 전송하기 위한 시스템 외부에 연결잭(55); 사용자에게 영상을 보여주고 명령을 받아들이는 기능을 제공하는 사용자 인터페이스(User Interface)부(67); 확대/축소나 상하좌우 이동, 화면 밝게/어둡게 등의 여러 가지 조작을 입력하는 조작키(54); 전체 시스템의 동작 전력을 공급하는 배터리(46); 및 지금 촬영하거나 이미 촬영한 영상은 적절한 처리 과정을 거쳐 사용자에게 표시하는 LCD 디스플레이(52)가 직접화(integration)되어 포함되는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경을 제공한다.The microscope includes a slide glass 42 on which a sample sample is placed; Sample sample tray 53; A collimator 43, which is a structure that only passes light that enters near to the vertical; An image sensor 44 for processing an image using a CMOS image sensor (CIS) or a charge coupled device (CCD); A motor 66 capable of moving up, down, left and right; LCD display backlight can be applied, the light source 64 using a variety of solid light sources using a laser diode (LD), LED, organic EL, etc .; A controller (65) for controlling the motor (66) and the light source (64) which are movable up, down, left and right; A CPU 61 for processing digital images such as color correction and noise reduction and controlling all functions of the microscope system; A memory 62 for storing digital image information photographed from the image sensor 44; A communication unit 68 for the microscope system to transmit images to and send commands to other devices such as PCs, TVs, and printers using wired or wireless digital communication; An antenna 69 for the communication unit 68 to wirelessly use a mobile phone technology (W-CDMA, CDMA-2000), wireless LAN, Bluetooth, IR / RF transmission method; A connection jack (55) connected to the communication unit (68) outside the system for transmitting a digital picture by wire by USB, IEEE 1394, NTSC (TV video standard) transmission method; A user interface unit 67 for displaying a video to a user and providing a function of receiving a command; Operation keys 54 for inputting various operations such as zooming in / out, moving up, down, left, and right, and screen brighter / darker; A battery 46 for supplying operating power for the entire system; And an image taken now or already taken is provided with an integrated LCD display 52 for displaying to the user through appropriate processing.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 보다 상세하게 설명한다. 단, 하기 실시예는 본 발명을 예시하는 것일 뿐 본 발명의 내용이 하기 실시예에 한정되는 것은 아니다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the following examples are merely to illustrate the present invention is not limited to the contents of the present invention.

본 발명은 미소 구조물을 관찰하기 위하여 렌즈 없는 영상 획득 시스템, 즉 현미경을 구현한 것으로, 메모리, 디스플레이 등이 직접화된 현미경으로 구현하고, 렌즈 없이 시료 위 한 점에서 영상 센서 각 화소로 일대일 사영으로 현미경 영상을 얻으며, 암시야 영상 및 형광 영상을 획득할 수 있다.The present invention implements a lensless image acquisition system, that is, a microscope, for observing microstructures, and implements a microscope with a memory, a display, and the like, and uses a one-to-one projection with each pixel of an image sensor at a point on a sample without a lens Microscopic images are obtained and darkfield images and fluorescence images can be obtained.

본 발명에 의한 칩 상의 현미경은 도 1에 도시한 바와 같이 디지털 이미지 센서와 수직으로 들어온 빛만 통과시키는 콜리메이터(collimator)로 구성된다. 이 구조물(collimator)은 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영(one-to-one mapping)을 수행하고, 영상 센서의 전기적 결과는 현미경으로 본 이미지와 동일한 정보를 준다. The microscope on a chip according to the present invention is composed of a collimator that passes only light that is perpendicular to the digital image sensor as shown in FIG. 1. The collimator performs one-to-one mapping with one pixel on the image sensor at a point on the sample, and the electrical results of the image sensor give the same information as the image seen by the microscope.

렌즈를 사용하지 않는 일대일 사영은 다음과 같이 구현한다. 즉, 시료에서 나온 빛이 영상 센서로 들어가는 과정에서, 구조물을 이용해 시료에서 나온 빛 중에서 수직에 가깝게 들어온 빛만 통과시킨다. 이렇게 하면 시료에서 여러 방향으로 산란된 빛은 제거되고, 영상 센서에 들어오는 빛의 양은 시료의 각 부분이 빛을 통과시키는 정도를 반영한다. One-to-one projection without a lens is implemented as follows. That is, in the process of the light from the sample entering the image sensor, only the light coming near the vertical of the light from the sample is passed through the structure. This removes light scattered in different directions from the sample, and the amount of light entering the image sensor reflects the extent to which each part of the sample passes the light.

Figure 112005000482126-pat00001
Figure 112005000482126-pat00001

다음은 사람의 눈으로 보는 현미경(a)과, 디지털 카메라를 사용하는 현미경(b)과, 본 발명이 제안하는 렌즈 없는 현미경(c)을 비교한다.Next, the microscope (a) seen by a human eye, the microscope (b) using a digital camera, and the microscope (c) without a lens which this invention proposes are compared.

사람 눈으로 관찰할 경우에는, 먼저 대물렌즈로 시료의 상을 확대하여 20mm 크기의 중간상을 만든 다음, 대안렌즈를 사용하여 이것을 눈에서 250mm떨어진 위치에 크기 200mm의 허상을 만들어 눈으로 볼 수 있게 만든다. 디지털 카메라를 이용할 경우에는 광학현미경의 대물렌즈로 확대된 상을 카메라를 이용하여 다시 축소하는데, 그 이유는 디지털 영상 센서가 5 x 4 mm정도의 센서 표면적을 갖기 때문이다. 즉 10X 확대 기능을 갖는 대안렌즈를 사용하지 않고, 카메라의 광학계를 이용하여 축소하여(약 1/4X) 센서 표면에 상을 맺게 한다. 본 발명이 제안하는 렌즈 없는 현미경은 산란된 빛만 제거하는 구조물을 사용하여 바로 영상을 얻는다. 렌즈를 사용하지 않기 때문에, 작고 가벼운 현미경을 제작할 수 있다. 뿐만 아니라 렌즈 때문에 발생하는 광학 수차(NA: numerical aperture)문제가 없으므로 추가적인 해상력 향상이 가능할 것이다.When observing with the human eye, first magnify the image of the sample with an objective lens to make a 20mm intermediate image, and then use an alternative lens to make a virtual image of 200mm size 250mm away from the eye and make it visible. . In the case of using a digital camera, the image magnified by the optical microscope objective lens is reduced again by using the camera, because the digital image sensor has a sensor surface area of about 5 x 4 mm. In other words, instead of using an alternative lens having a 10X magnification function, it is reduced by using an optical system of the camera (about 1 / 4X) to form an image on the sensor surface. The lensless microscope proposed by the present invention directly obtains an image using a structure that removes only scattered light. Since no lens is used, a small and light microscope can be produced. In addition, there are no numerical aperture (NA) problems caused by the lens, which will further improve the resolution.

(실시예 1) 명시야 상을 얻는 렌즈 없는 소형 현미경Example 1 Compact Microscope without Lens to Obtain Bright Field Image

수직에 가깝게 들어온 빛만 통과시키는 콜리메이터(10)를 만드는 한 가지 방법은, 빛을 투과하지 않는(opaque) 재료로 여러 개의 직선 구멍(13)을 갖도록 하는 것이다. 즉 산란된 빛을 흡수하여 한 방향으로 진행하는 빛만 통과시키는, 다시 말해 좁은 통과 각을 갖는 필터를 만들면 된다. 구조를 살펴보면, 도 1에 도시된 바와 같이 영상 센서(11)의 각 화소에 대응하는 위치에 구멍을 가진다. 화소의 숫자와 구멍의 숫자는 정확히 같은 개수인 것은 아니다. 흑백 영상을 얻을 경우에는 각 화소마다 한 구멍을 가지도록 하는 것이 좋고, 천연색 영상을 얻을 경우에는 가로 세로 각각 2개씩 총 4개의 화소에 하나의 구멍을 배열하는 것이 좋다. 대부분의 영상 센서는 사각형 형태로 배열되므로, 구멍의 배열 역시 사각형으로 구성한다. 그림은 구멍 모양의 한 가지 예시로써 사각형 형태를 나타내는데, 구멍의 형태는 다른 모양도 가능하다. 본 발명의 한 실시예에서 도 1과 같은 형태로 필터를 제작한다. 제작하는 방법에는 여러 가지 마이크로 머시닝(Micromachining, MEMS: micro electro mechanical systems) 기술이 있다. 플라스틱을 재료로 하여 미소 구조를 만들어내는 방법에는 핫 엠보싱(Hot embossing), 사출 성형(Injection molding), 복제 몰딩(Replica molding) 등의 방법을 사용할 수 있다(Anal. Chem. 37; 550-575, 1998). One way to make the collimator 10 which only passes light close to the vertical is to have several straight holes 13 with a material that does not transmit light. In other words, it is necessary to make a filter that absorbs scattered light and passes only light traveling in one direction, that is, a narrow pass angle. Looking at the structure, as shown in Figure 1 has a hole in the position corresponding to each pixel of the image sensor (11). The number of pixels and the number of holes are not exactly the same number. When obtaining a black and white image, it is good to have one hole for each pixel, and when obtaining a color image, it is good to arrange one hole in a total of four pixels, each of two horizontally and vertically. Since most image sensors are arranged in a rectangular shape, the hole arrangement is also rectangular. The figure shows a rectangular shape as an example of the shape of the hole, and the shape of the hole may be another shape. In one embodiment of the present invention to manufacture a filter in the form as shown in FIG. There are a variety of micromachining techniques (Micromachining, MEMS). Hot embossing, injection molding, replica molding, or the like can be used as a method for producing a microstructure using plastic as a material (Anal. Chem. 37; 550-575, 1998).

도 2는 빛의 전달 경로를 설명한다. 구조물의 높이(L)와 열린 구멍의 폭(G)은 시료와 구조물 사이 거리(D)와 구멍 간격(P)을 고려하여 결정된다. 시료(12)의 각 해당하는 점에서 센서의 각 화소로만 빛이 들어가고, 이웃한 화소에는 영향을 미치지 않도록 구조물의 높이(L)와 열린 구멍의 폭(G)을 결정한다. 구멍 간격(P)은 앞에서 설명하였듯이 영상 센서의 화소 크기 관련되어 결정되는데, 보통 화소 크기의 1배 혹은 2배이다. 발명의 일 실시예에서, 상기 시료와 구조물 사이의 거리(D)는 슬라이드 글래스의 두께가 될 것이다. 상기 구조물의 높이(L)는 시료와 구조물 사이 거리(D)의 2배가 되도 록 하고, 열린 구멍의 폭(G)은 구멍 간격(P)의 1/3이 되도록 한다. 일반적으로 슬라이드의 두께는 1mm이므로 구조물의 높이는 2mm이고, 영상 센서의 크기가 4 μm이고 구멍 간격은 그 2배라면, 열린 구멍의 폭은 약 2.7 μm이다. 화소에서 특정 점에 빛이 도달하는 시료 상의 길이(S)는 구조물의 높이(L), 열린 구멍의 폭(G)으로 결정된다. 빛이 직진한다는 성질을 가정하면 다음 수학식과 같이 표시된다.2 illustrates a light transmission path. The height L of the structure and the width G of the open hole are determined in consideration of the distance D between the sample and the structure and the hole spacing P. At each corresponding point of the sample 12, light enters only each pixel of the sensor, and the height L of the structure and the width G of the open hole are determined so as not to affect neighboring pixels. The hole spacing P is determined in relation to the pixel size of the image sensor as described above, which is usually one or two times the pixel size. In one embodiment of the invention, the distance D between the sample and the structure will be the thickness of the slide glass. The height (L) of the structure is to be twice the distance (D) between the sample and the structure, the width (G) of the open hole is to be 1/3 of the hole spacing (P). In general, if the slide is 1 mm thick, the height of the structure is 2 mm, and if the size of the image sensor is 4 μm and the hole spacing is twice that, the width of the open hole is about 2.7 μm. The length S on the sample at which light reaches a specific point in the pixel is determined by the height L of the structure and the width G of the open hole. Assuming that the light goes straight, it is expressed as the following equation.

Figure 112005000482126-pat00002
Figure 112005000482126-pat00002

L=2D, G =P/3인 경우에 시료 상의 길이(S)는 P/2이다.In the case where L = 2D and G = P / 3, the length S on the sample is P / 2.

(실시예 2) 암시야 상을 얻는 렌즈 없는 소형 현미경Example 2 Compact Microscope without Lens to Obtain Dark Field Image

암시야(darkfield) 영상을 위해서는 다른 구조를 사용한다. 암시야 영상이란 박테리아나 살아있는 세포와 같은 무색 표본을 잘 관찰하기 위한 방법으로써, 물체를 측면에서 조명하고 가능한 어두운 배경에서 관찰한다. 이런 물체는 명시야(bright field)에서는 빛을 거의 흡수하지 않기 때문에 관찰하기 어렵다. 인간의 눈은 국지적 강도의 변화가 10~20%이상일 때 인식 가능하므로, 명시야에서는 상당수의 표본이 이 정도로 빛을 변조(modulation)시키지 못한다. 그러나, 암시야 방법을 사용하면 배경 영역은 빛이 들어오지 않아 까맣고, 시료 부분만 빛이 들어오므로 잘 볼 수 있게 된다.Different structures are used for darkfield imaging. Dark field imaging is a way to observe colorless specimens, such as bacteria and living cells, by illuminating the object from the side and viewing it in the darkest background possible. These objects are difficult to observe because they absorb little light in the bright field. The human eye is recognizable when the local intensity change is more than 10-20%, so in the bright field many samples do not modulate this much light. However, when the dark field method is used, the background area is black because no light is input, and only the sample part is lighted so that it can be easily seen.

도 3은 암시야(darkfield) 영상을 얻기 위한 콜리메이터 구조이다. 도 2의 필터 구조에서 아래 부분에 빛 차단막(14)을 추가한다. 이것은 정확히 수직으로 들어온 빛, 즉 조명이 표본을 투과하여 들어오는 빛만 차단하는 역할을 한다. 시료(12)에서 약간 산란된 빛은 약간 비스듬한 각도로 필터를 통과하여 영상센서(11)에 도달한다. 물론, 많이 꺾여서 이웃한 화소로 향하는 빛은 차단된다. 차단막(14)의 폭과 영상 센서(11)로부터의 거리는 통과시킬 빛의 양을 고려하여 결정한다. 본 발명의 한 실시예에서 차단막(14)은 바로 영상 센서(11)와 접하며, 그 폭은 열린 구멍의 폭(G)과 동일하다. 3 is a collimator structure for obtaining darkfield images. In the filter structure of FIG. 2, a light blocking layer 14 is added to the lower portion. This serves to block only light that is exactly vertical, ie light that passes through the sample. Light scattered slightly from the sample 12 passes through the filter at a slightly oblique angle and reaches the image sensor 11. Of course, the light directed to the neighboring pixels by breaking a lot is blocked. The width of the blocking film 14 and the distance from the image sensor 11 are determined in consideration of the amount of light to pass through. In one embodiment of the present invention, the blocking film 14 is directly in contact with the image sensor 11, the width of which is equal to the width G of the open hole.

암시야 방법에서는 시료에서 꺽인 빛 중에서도 일부는 차단막(14)에서 차단되므로 영상 센서(11)에 들어오는 빛의 양은 줄어든다. 화소 위 특정 점에 빛이 도달하는 시료 상의 길이(S)는 명시야의 그것과 차이가 없지만, 빛을 받아들이는 영상 센서(11) 위의 면적은 줄어든다. 차단막(14)이 바로 영상 센서(11)와 접하고 그 폭이 열린 구멍의 폭과 동일할 때, 줄어드는 빛의 비율은 다음과 같다. In the dark field method, some of the light bent from the sample is blocked by the blocking film 14, so the amount of light entering the image sensor 11 is reduced. The length S on the sample at which light reaches a specific point on the pixel does not differ from that of the bright field, but the area on the image sensor 11 that receives light is reduced. When the blocking film 14 is in direct contact with the image sensor 11 and its width is equal to the width of the open hole, the ratio of the reduced light is as follows.

Figure 112005000482126-pat00003
Figure 112005000482126-pat00003

G=P/3인 경우에 줄어든 비율은 1/9이고, 시료에서 나온 빛은 명시야의 8/9 만큼이 통과한다. When G = P / 3, the reduced rate is 1/9, and light from the sample passes through 8/9 of the bright field.

(실시예 3) 형광 측정이 가능한 렌즈 없는 소형 현미경Example 3 Compact Microscope without Lens for Fluorescence Measurement

본 발명은 형광 측정이 가능하도록 할 수도 있다. 광원에 여기 필터(excitation filter)를, 영상 센서에 방사 필터(emission filter)를 사용하여 형광을 측정할 수 있다. 여기 필터(Excitation filter)는 얇은 필름을 광원과 시료 사이에 끼워 넣어서 구현할 수 있다. 다른 방법으로는 이미지 센서 제작 공정 중에 증착하여도 된다. 아예 특정한 파장의 빛을 내는 레이저(laser) 광원을 사용할 수도 있다. The present invention may also enable fluorescence measurement. Fluorescence may be measured using an excitation filter for a light source and an emission filter for an image sensor. Excitation filter (Excitation filter) can be implemented by sandwiching a thin film between the light source and the sample. Alternatively, it may be deposited during the image sensor fabrication process. It is also possible to use a laser light source that emits light of a specific wavelength.

방사 필터(Emission filter)도 얇은 필름(thin film)을 광원과 시료 사이에 끼워 넣는 방법과, 얇은 필름 증착 방법으로 제작할 수 있다. 필름 증착할 때 각 화소마다 다른 파장을 통과시키는 필터를 만들면, 천연색 영상을 얻는 것과 마찬가지로, 한 센서에서 여러 파장의 형광을 관찰할 수 있다. 좀 다른 방법으로, 방사 필터(Emission filter) 대신에 기존의 천연색을 얻는 필터를 사용한 다음, 각 화소마다 빛의 파장 영역에서 스펙트럼 추적하여(deconvolution)어떤 파장의 빛이 통과되었는지 추적하는 방법도 가능하다.An emission filter can also be produced by sandwiching a thin film between a light source and a sample and a thin film deposition method. If you make a filter that passes different wavelengths for each pixel during film deposition, you can observe multiple wavelengths of fluorescence on one sensor, just as you would for a color image. Alternatively, it is possible to use an existing natural color filter instead of an emission filter, and then to deconvolution each pixel in the wavelength range of light to track which wavelength of light has passed. .

(실시예 4) 렌즈 없는 소형 현미경 시스템의 제작Example 4 Fabrication of a Lensless Microscope System

본 발명에 의한 렌즈 없는 소형 현미경 시스템은 필터, 영상 센서와 함께 여러 소자들을 결합하여(integration) 만든다. 도 4와 도 5는 렌즈 없는 소형 현미경의 내부 구조와 외부 형태를 개략적으로 나타낸다. The lensless microscopy system according to the invention integrates several elements together with a filter and an image sensor. 4 and 5 schematically show the internal structure and external shape of a small microscope without a lens.

도 4를 참조하면, 상기 렌즈 없는 소형 현미경의 내부 구조는 광원(41), 시료 샘플이 올라와 있는 슬라이드 글래스(42), 수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(collimator)(43), 영상 센서(44), 전자회로기판(45), 배터리(46) 및 전자회로칩(47)을 포함한다. Referring to FIG. 4, the internal structure of the small microscope without a lens includes a light source 41, a slide glass 42 on which a sample sample is raised, a collimator 43, which is a structure that passes only light coming close to the vertical, and an image sensor. 44, an electronic circuit board 45, a battery 46 and an electronic circuit chip 47.

도 5를 참조하면, 상기 렌즈 없는 현미경의 외부 형태는 소형 현미경 본체(51) 에 데이터 표시를 위한 LCD 디스플레이(52)와, 소형 현미경 본체의 일측면의 소정 크기의 개구면으로 탈착이 가능한 시료 샘플 트레이(53)와, 상하좌우 이동과 밝기 조정, 및 온도 조절을 위한 조작키(54)와 우측 상단의 일측면에 영상 센서에 의해 촬영된 디지털 사진을 USB, IEEE1394, NTSC(TV video 표준) 전송방식으로 유선으로 전송하기 위한 외부 연결잭(55)을 포함한다. Referring to FIG. 5, the external shape of the lensless microscope is a sample of the LCD display 52 for displaying data on the small microscope body 51 and a sample sample detachable to an opening of a predetermined size on one side of the small microscope body. USB, IEEE1394, NTSC (TV video standard) transmission of digital photos taken by the image sensor on the tray 53, operation keys 54 for up, down, left and right movement, brightness adjustment, temperature control and one side of the upper right External connection jack 55 for wired transmission in a manner.

도 6은 각 소자를 기능별로 연결한 그림이다. 대표적인 기능 소자는 시료 샘플이 올라와 있는 슬라이드 글래스(42), 시료 샘플 트레이(53), 수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(43), 영상 센서(44), CPU(61), 메모리(62), 배터리(46), 광원(64), 모터(66), 컨트롤러(65), 사용자 인터페이스(User Interface)부(67), 조작키(54), LCD 디스플레이(52) 등을 포함한다. 6 is a diagram in which each device is connected by function. Representative functional elements include a slide glass 42, a sample sample tray 53, a collimator 43, an image sensor 44, a CPU 61, and a memory 62, which are structures that allow only light entering near to the vertical to pass through. ), A battery 46, a light source 64, a motor 66, a controller 65, a user interface 67, an operation key 54, an LCD display 52, and the like.

상기 CPU(61)은 색 보정이나 잡음 제거 등의 디지털 영상을 처리하고 현미경 시스템의 모든 기능을 제어한다. 상기 메모리(62)는 영상 센서(44)로부터 촬영된 디지털 영상 정보를 저장하는 저장소로써, 몇 가지 메모리를 결합하여 사용한다.The CPU 61 processes digital images such as color correction and noise removal and controls all functions of the microscope system. The memory 62 is a storage for storing digital image information photographed from the image sensor 44, and uses a combination of several memories.

상기 메모리(62)는 전원이 꺼져도 영상을 저장하기 위해서는 비휘발성인 FRAM 등이 필요하고, 영상 처리를 위해서는 빠른 SRAM이 필요하다. 상기 영상 센서(44)로는 CIS(CMOS image sensor) 혹은 CCD(charge coupled devices)를 사용한다. The memory 62 requires a nonvolatile FRAM for storing an image even when the power is turned off, and a fast SRAM for image processing. The image sensor 44 uses a CMOS image sensor (CIS) or a charge coupled device (CCD).

상기 통신부(68)는 현미경시스템이 유선 혹은 무선 디지털 통신을 이용하여 PC나 TV, 프린터 같은 다른 기기로 영상을 전송하고 명령을 주고 받을 수 있도록 한다. 무선인 경우에는 안테나(69)를 사용하며, 전송방식은 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF 등을 이용할 수 있다. 유선으로는 통신부(68)와 연결되어 시스템 외부에 연결잭(55)이 있어야 하며, 전송방식으로는 USB, IEEE 1394, NTSC(TV video표준) 등을 적용하면 된다. The communication unit 68 allows the microscope system to transmit images and send and receive commands to other devices such as a PC, a TV, or a printer by using wired or wireless digital communication. In the case of wireless, the antenna 69 is used, and a transmission method may use mobile phone technology (W-CDMA, CDMA-2000), wireless LAN, Bluetooth, IR / RF, and the like. It is connected to the communication unit 68 by a wire and should have a connection jack 55 outside the system, the transmission method may be applied to USB, IEEE 1394, NTSC (TV video standard) and the like.

상기 사용자 인터페이스(User Interface)부(67)는 사용자에게 영상을 보여주고 명령을 받아들이는 기능을 갖는다. 지금 촬영하거나 이미 촬영한 영상은 적절한 처리 과정을 거쳐 LCD 디스플레이(52)를 통해 사용자가 확인할 수 있다. 상기 조작키(54)를 이용하여 확대/축소나 상하좌우 이동, 화면 밝게/어둡게 등의 여러 가지 조작을 한다. 상기 컨트롤러(65)는 상하좌우 이동이 가능한 모터(66)와 광원(64)을 제어하는 기능을 갖는다. 상기 광원(64)으로는 여러 고체 광원을 사용할 수 있다. LCD 디스플레이 백라이트를 적용할 수 있으며, LD(laser diode)와 LED(light emitting diode), 유기 EL등도 가능할 것이다. 상기 배터리(46)는 전체 시스템의 동작 전력을 공급한다.The user interface 67 has a function of showing an image to a user and receiving a command. The image taken now or already taken can be checked by the user through the LCD display 52 through appropriate processing. Various operations such as enlargement / reduction, up / down, left / right movement, lighter / darker the screen are performed by using the operation key 54. The controller 65 has a function of controlling the motor 66 and the light source 64 that can be moved up, down, left, and right. Various solid light sources may be used as the light source 64. An LCD display backlight may be applied, and a laser diode (LD), a light emitting diode (LED), and an organic EL may be used. The battery 46 supplies the operating power of the entire system.

(실시예 5) 렌즈 없는 소형 현미경 시스템을 이용한 영상취득 방법Example 5 Image Acquisition Method Using a Lensless Microscope System

스캔(Scan) 기능을 이용하면 센서 크기보다 더 큰 영상을 얻는다. 시료와 센서가 가로 세로 2축으로 상대적으로 이동하면 다른 부분의 영상을 얻을 수 있고, 넓은 면적에 걸친 시료를 측정할 수 있다. 이 방법은 인공지능과 결합하여 넓은 공간 (10 x 10 mm)에서 작은 시료(10 μm)를 현미경 스스로 찾아서 사진을 찍는 기능까지 갖출 수 있다. 가로 세로 이동하는 방법으로는 도 7처럼 여러 가지 방법이 있다. 필터와 영상 센서는 고정되어있고, 표본(시료)만 가로 세로 이동하는 방법(71), 표본과 필터는 고정되어 있고, 영상 센서가 가로 세로 이동하는 방법(72), 필터는 고정되어 있고, 표본과 영상 센서가 서로 수직인 2축으로 이동하는 방법(73) 등이 있다. Using the Scan function, you get an image larger than the sensor size. When the sample and the sensor are moved relative to each other in two horizontal and vertical axes, an image of another part can be obtained and a sample over a large area can be measured. This method, combined with artificial intelligence, can be used to find and photograph small samples (10 μm) in large spaces (10 x 10 mm). As a method of horizontally and vertically moving, there are various methods as shown in FIG. 7. The filter and the image sensor are fixed, the method of moving only the specimen (sample) horizontally and vertically (71), the sample and the filter are fixed, the method of moving the image sensor horizontally and vertically (72), the filter is fixed, the sample And a method 73 in which the image sensor and the image sensor move in two axes perpendicular to each other.

서브 픽셀(Sub-pixel) 방법을 적용하면 소형 현미경의 영상 해상력(image resolution)을 높일 수 있다. 상을 약간 다른 위치에서 여러 번 찍고, 이것을 영상 처리(image process)하여 원래 화소 간격(pixel pitch)보다 더 세밀한 영상을 얻는다. 제 8도처럼 영상 81을 가로 세로로 1/2 화소 크기만큼 움직여서 4장의 사진 82-85를 얻고, 이것을 처리하여, 그냥 얻은 사진보다 해상도(영상의 화소 수)를 4배 높인 영상 86을 얻는다. 도 9는 도 8의 각 사진 81-86에서 K 글자 부분을 확대한 이미지(91-96) 이다. 도 10은 도 9의 몇몇에 대하여 화소 격자와 함께 보여주는 그림(101-105)이다. 사진 101, 104,105는 각각 사진 91, 95, 96을 확대한 이미지이고, 102와 103은 101에다 각각 격자를 표현한 것으로써, 양자화를 수행한 결과가104와 105이다. (같은 면적에서 화소 수가 4배로 늘었으므로 가상 화소 크기가 면적으로 1/4로, 길이로 1/2로 줄었다고 표현할 수도 있다.) 더 여러 장 찍어서 해상도를 더 높이는 것도 가능하다. 도 7~10에서는 1/2만큼 움직여서 4장을 찍어서 같은 면적에서 화소수를 4배로 늘렸다. 마찬가지로 화소 크기의 1/3만큼씩 움직여서 총 9장의 사진을 찍는 방법, 화소 크기의 1/4만큼 움직이는 방법 등도 가능하다. 가로 세로로 이동하는 방법으로는 앞의 스캔 기능(도 7)처럼 여러 가지 방법이 있다. 필터와 영상 센서는 고정되어있고, 표본이 이동(71), 표본과 필터는 고정되어 있고, 영상 센서가 이동(72), 필터는 고정되어 있고, 표본과 영상 센서가 서로 수직인 2축으로 이동하는 방법(73) 등이 있다.By applying the sub-pixel method, the image resolution of a small microscope can be improved. The image is taken several times at slightly different locations, which are then image processed to obtain a finer image than the original pixel pitch. As shown in FIG. 8, the image 81 is moved horizontally and vertically by 1/2 pixel to obtain four photographs 82-85, and this is processed to obtain an image 86 having four times the resolution (number of pixels in the image) than the obtained photograph. 9 is an enlarged image 91-96 of the letter K in each picture 81-86 of FIG. 8. FIG. 10 is a diagram 101-105 showing some of FIG. 9 with the pixel grid. Photos 101, 104, and 105 are enlarged images 91, 95, and 96, respectively, and 102 and 103 represent grids of 101, respectively, resulting in 104 and 105 quantization. (You can also say that the virtual pixel size has been reduced to 1/4 in area and 1/2 in length because the number of pixels has increased four times in the same area.) It is also possible to increase the resolution by taking more pictures. In Figs. 7 to 10, four shots were taken by moving 1/2 to increase the number of pixels four times in the same area. Similarly, you can take a total of nine pictures by moving one third of the pixel size, or move one quarter of the pixel size. As a method of moving vertically and horizontally, there are various methods as in the previous scanning function (FIG. 7). The filter and the image sensor are fixed, the sample moves (71), the sample and the filter are fixed, the image sensor moves (72), the filter is fixed, and the sample and the image sensor move in two axes perpendicular to each other. 73, and the like.

본 발명은 다음과 같은 부가 기능을 더하여 구현하면 더 유용할 것이다. The present invention may be more useful if implemented by adding the following additional functions.

1) 바이오 마이크로어레이 측정에 사용한다.1) Used to measure bio microarrays.

DNA 마이크로어레이(microarray), 단백질(Protein) 마이크로어레이 등을 측정하는 데 있어 렌즈 없는 소형 현미경을 사용한다.A small lensless microscope is used to measure DNA microarrays and protein microarrays.

2) 온도조절 기능을 가진다.2) It has a temperature control function.

세포 같은 경우에는 온도에 따라 반응한다. In the case of cells, they react with temperature.

3) 특정한 물질을 넣어주는 기능을 갖는다.3) It has a function to put a specific substance.

본 발명에 의한 현미경에 상기 특정한 물질을 넣어주는 기능을 추가하면 더 유용하다. 예를 들면, 상기 특정한 물질로 염색약을 넣어주어 현미경 내부에서 염색할 수 있다. 또한, 상기 특정한 물질로 생화학적 물질 첨가 기능을 가지면- 신약개발후보 물질 같은 생화학적 물질을 현미경 내부에서 넣어주며 실험할 수 있다. 또한, 상기 특정한 물질로 세포 및 화학반응에 영향을 주는 완충용액(buffer) 조성을 바꾸거나 조절하는 기능을 갖는다. 이런 기능은 공학적으로 볼 때 어떤 액체 상태의 물질을 넣어주는 것이므로, 마이크로펌프를 사용하면 된다. 현재 다양한 MEMS기술로 마이크로펌프를 개발하고 있다. 또는 펌프대신 전기삼투압(electrophoretic force), 모세관현상(capillary force), 전기적 적심 현상(electro-wetting), 또는 층류(laminar flow)에 의한 미세유체제어 기술(microfluidics)을 사용해도 된다.It is more useful to add the function of putting the specific substance in the microscope according to the present invention. For example, a dye may be added to the specific material to dye inside the microscope. In addition, if the specific substance has a function of adding a biochemical material-a biochemical material such as a new drug candidate can be put in the microscope and tested. In addition, the specific substance has a function of changing or adjusting the buffer composition (buffer) affecting the cells and chemical reactions. This function is, in engineering terms, to add a liquid substance, so a micropump can be used. Currently, micro pumps are being developed with various MEMS technologies. Alternatively, microfluidics may be used instead of pumps by electrophoretic force, capillary force, electro-wetting, or laminar flow.

상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다. As described above, although described with reference to a preferred embodiment of the present invention, those skilled in the art various modifications of the present invention without departing from the spirit and scope of the invention described in the claims below Or it may be modified.

이상에서 설명한 바와 같이, 본 발명에 따른 렌즈 없는 칩위의 광학 현미경 및 이를 이용한 영상 획득 시스템은, 렌즈를 사용하지 않고 메모리와 LCD 디스플레이와 현미경을 소형화함으로써 미소 구조물을 관찰하기 위한 렌즈 없는 영상 획득 시스템을 현미경으로 구현한다. 종래의 현미경은 디지털 영상이미지를 얻는 과정에 있어서, 대물렌즈를 사용하여 상을 확대한 다음, 카메라를 사용하여 다시 이를 축소해야 한다. 따라서 이러한 과정에서 렌즈를 사용하기 때문에 크기가 크고 가격이 비싸며, 또한 광학 수차 때문에 해상도에 있어 한계점을 갖는 단점이 있다. 본 발명은 현미경의 대상 크기와 영상센서(image sensor)의 크기가 비슷하다는 점에서 착안하여, 확대와 축소에 있어 렌즈를 사용하지 않는다는 점을 특징으로 한다. 현미경 시스템은 핸드폰이나 디지털카메라와 유사한 형태가 될 것이며, 휴대하기 용이하고 가격도 상당히 절감된다. 본 발명을 이용하면 현미경을 소형화할 수 있고, 가격 절감, 휴대 용이 등의 장점을 갖는다. 또한 본 발명에 의한 렌즈 없는 칩위의 현미경 및 칩위의 현미경 시스템은, 종래의 현미경에서는 구현하기 어려웠던 염색약이나 약물 주입 같은 여러 부가기능을 추가하기에 용이하므로, 현미경 시스템의 활용성을 높일 수 있을 것이다.  As described above, the optical microscope on the lensless chip and the image acquisition system using the same according to the present invention provide a lensless image acquisition system for observing microstructures by miniaturizing a memory, an LCD display, and a microscope without using a lens. Implement under a microscope. Conventional microscopes have to magnify an image using an objective lens and then reduce it again using a camera in the process of obtaining a digital image. Therefore, there is a disadvantage in that the lens is used in this process, which is large in size and expensive, and also has a limitation in resolution due to optical aberration. The present invention focuses on the fact that the object size of a microscope and the size of an image sensor are similar, and is characterized in that a lens is not used for enlargement and reduction. The microscope system will be similar to a cell phone or digital camera, which is easy to carry and saves a lot of money. By using the present invention, the microscope can be miniaturized and has advantages such as cost reduction and portability. In addition, the microscope on the chip without the lens and the microscope system on the chip according to the present invention, it is easy to add a number of additional functions, such as dye or drug injection, which was difficult to implement in the conventional microscope, it will be able to increase the usability of the microscope system.

Claims (23)

영상 센서와, 상기 영상 센서의 각 화소에 대응하는 위치에 빛을 투과하지 않는 재료로 형성된 여러 개의 관들을 가지며 시료상의 각 점에서 영상 센서 위의 한 화소로 일대일 사영(one-to-one mapping)을 수행하여 각 화소당 수직에 가깝게 들어온 빛만 통과시키는 콜리메이터를 포함하고, One-to-one mapping with an image sensor and multiple tubes formed of a material that does not transmit light at a location corresponding to each pixel of the image sensor and one pixel on the image sensor at each point on the sample Includes a collimator for passing only light that comes close to the vertical for each pixel, 상기 콜리메이터는 암시야 영상을 위해, 상기 영상 센서 쪽에 차단막을 더 포함하는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경. And the collimator further comprises a barrier on the image sensor side for darkfield imaging. 제 1 항에 있어서, 상기 영상 센서위의 각 화소로 일대일 사영을 수행하는 콜리메이터(collimator)는 나란한 관들의 집합으로써, 각 관의 관찰할 표본 쪽 끝에 작은 구멍을 갖는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경.2. The collimator of claim 1, wherein a collimator that performs one-to-one projection to each pixel on the image sensor is a set of side-by-side tubes, each having a small hole at the end of the specimen to be observed. Optical microscope. 삭제delete 제 1 항에 있어서, 상기 영상 센서는 특정 파장 대역의 빛만 통과시키는 한 개 혹은 두 개 이상의 필터를 장착하여 형광 영상을 얻을 수 있는 렌즈 없는 칩 상의 광학 현미경. The optical microscope of claim 1, wherein the image sensor is equipped with one or two or more filters for passing only light of a specific wavelength band to obtain a fluorescent image. 제 1 항에 있어서, 상기 영상 센서는 CIS(CMOS image sensor) 또는 CCD (Charge Coupled Devices)를 사용하는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경. The optical microscope on a lensless chip of claim 1, wherein the image sensor uses a CMOS image sensor (CIS) or a charge coupled device (CCD). 제 1 항에 있어서, 상기 현미경은 The method of claim 1, wherein the microscope 시료 샘플이 올라와 있는 슬라이드 글래스(42); A slide glass 42 on which a sample sample is raised; 시료 샘플 트레이(53); Sample sample tray 53; 수직에 가깝게 들어온 빛만 통과시키는 구조물인 콜리메이터(43); A collimator 43, which is a structure that only passes light that enters near to the vertical; CIS(CMOS image sensor) 또는 CCD(charge coupled devices)를 사용하여 영상을 처리하는 영상 센서(44);An image sensor 44 for processing an image using a CMOS image sensor (CIS) or a charge coupled device (CCD); 상하좌우 이동이 가능한 모터(66); A motor 66 capable of moving up, down, left and right; LCD 디스플레이 백라이트를 적용할 수 있으며, LD(laser diode)와 LED, 유기 EL등도 등을 이용하는 여러 가지 고체광원을 이용하는 광원(64); LCD display backlight can be applied, the light source 64 using a variety of solid light sources using a laser diode (LD), LED, organic EL, etc .; 상기 상하좌우 이동이 가능한 모터(66)와 상기 광원(64)을 제어하는 컨트롤러(65); A controller (65) for controlling the motor (66) and the light source (64) which are movable up, down, left and right; 색 보정이나 잡음 제거 등의 디지털 영상을 처리하고 현미경 시스템의 모든 기능을 제어하는 CPU(61); A CPU 61 for processing digital images such as color correction and noise reduction and controlling all functions of the microscope system; 상기 영상 센서(44)로부터 촬영된 디지털 영상 정보를 저장하는 메모리(62); A memory 62 for storing digital image information photographed from the image sensor 44; 현미경 시스템이 유선 혹은 무선 디지털 통신을 이용하여 PC나 TV, 프린터 같은 다른 기기로 영상을 전송하고 명령을 주고 받기 위한 통신부(68); A communication unit 68 for the microscope system to transmit images to and send commands to other devices such as PCs, TVs, and printers using wired or wireless digital communication; 상기 통신부(68)가 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF 전송방식으로 무선으로 이용하기 위한 안테나(69); An antenna 69 for the communication unit 68 to wirelessly use a mobile phone technology (W-CDMA, CDMA-2000), wireless LAN, Bluetooth, IR / RF transmission method; 상기 통신부(68)와 연결되어 USB, IEEE 1394, NTSC(TV video표준) 전송방식으로 유선으로 디지털 사진을 전송하기 위한 시스템 외부에 연결잭(55);A connection jack (55) connected to the communication unit (68) outside the system for transmitting a digital picture by wire by USB, IEEE 1394, NTSC (TV video standard) transmission method; 사용자에게 영상을 보여주고 명령을 받아들이는 기능을 제공하는 사용자 인터페이스부(67); A user interface unit 67 for displaying a video to a user and providing a function of receiving a command; 확대/축소나 상하좌우 이동, 화면 밝게/어둡게 등의 여러 가지 조작을 입력하는 조작키(54); Operation keys 54 for inputting various operations such as zooming in / out, moving up, down, left, and right, and screen brighter / darker; 전체 시스템의 동작 전력을 공급하는 배터리(46); 및 A battery 46 for supplying operating power for the entire system; And 지금 촬영하거나 이미 촬영한 영상은 적절한 처리 과정을 거쳐 사용자에게 표시하는 LCD 디스플레이(52)가 직접화되어 포함되는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경.Image taken now or already taken is an optical microscope on a lensless chip, characterized in that the LCD display 52 which is directly displayed to the user through an appropriate process. 제 1 항에 있어서, 상기 현미경은 가로세로 이동(scan)기능을 가지며, 상기 이동 기능을 구현함에 있어, 영상 시료가 x축, y축으로 이동하는 것을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경. The optical microscope of claim 1, wherein the microscope has a horizontal scanning function, and in implementing the moving function, the image sample moves on the x-axis and the y-axis. 제 7 항에 있어서, 상기 이동 기능을 구현함에 있어, 시료와 영상 센서가 서로 이동하는 방향은 수직이 되도록 각각 한 방향으로 이동함을 특징으로 하는 렌즈 없는 칩 상의 광학 현미경. 8. The optical microscope according to claim 7, wherein in implementing the movement function, the direction in which the sample and the image sensor move with each other moves in one direction so as to be perpendicular to each other. 제 6 항에 있어서, 상기 광원으로 고체광원 소자를 사용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.7. A lensless chipped optical microscope according to claim 6, wherein a solid light source element is used as said light source. 제 6 항에 있어서, 상기 광원으로 반도체광원의 하나인 LD (laser diode) 및 LED (light emitting diode)를 사용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.7. The lensless chipped optical microscope according to claim 6, wherein a light emitting diode (LD) and a light emitting diode (LD) are used as the light source. 제 6 항에 있어서, 상기 광원으로 유기 EL(electroluminescence) 소자를 사용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.7. The lensless chipped optical microscope according to claim 6, wherein an organic electroluminescence (EL) element is used as the light source. 제 6 항에 있어서, 디지털 사진을 PC, TV를 비롯한 다른 기기로 전송이 가능한 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.7. The lensless chipped optical microscope of claim 6, wherein digital photographs can be transferred to other devices, including PCs and TVs. 제 12 항에 있어서, 상기 디지털 사진의 전송방식은 USB, IEEE1394, NTSC(TV video표준) 유선으로 전송하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경. 13. The lensless chip optical microscope of claim 12, wherein the digital photograph is transmitted by USB, IEEE1394, or NTSC (TV video standard). 제 12 항에 있어서, 상기 디지털 사진의 전송방식은 휴대폰 기술(W-CDMA, CDMA-2000), 무선 랜, 블루투스(bluetouth), IR/RF중 어느 하나의 방식을 이용해 무선으로 전송하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경. The method of claim 12, wherein the digital photo is transmitted wirelessly using any one of cellular phone technology (W-CDMA, CDMA-2000), wireless LAN, Bluetooth, and IR / RF. Optical microscope on chip without lens. 제 6 항에 있어서, 상기 현미경의 모든 기능은 유선 혹은 무선 네트워크를 통해 외부에서 조작이 가능한 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경. 7. The lensless chipped optical microscope of claim 6, wherein all of the functions of the microscope are operable externally through a wired or wireless network. 영상 센서와, 시료상의 한 점에서 영상 센서 위의 한 화소로 일대일 사영을 수행하는 구조물(collimator)을 포함하는 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법에서,In an image acquisition method using a microscope on a lensless chip comprising an image sensor and a collimator that performs one-to-one projection to one pixel on the image sensor at a point on a sample, 상기 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법으로 상을 약간 다른 위치에서 여러 번 찍고, 이것을 영상 처리하여 원래 화소 크기보다 더 세밀한 해상도를 얻는 서브 픽셀(sub-pixel) 방식을 이용하는 것을 특징으로 하는 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법. Lens acquisition method using a microscope on the chip without a lens to take an image several times at a slightly different position, using the sub-pixel method to obtain a finer resolution than the original pixel size by processing the image Image acquisition method using on-chip microscopy. 제 16 항에 있어서, The method of claim 16, 상기 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법으로 가로/세로로 1/2 화소만큼 움직여서 4장의 사진을 얻고, 이것을 처리하여 해상도를 4배 높이는 것을 특징으로 하는 렌즈 없는 칩 상의 현미경을 이용한 영상획득 방법. An image acquisition method using a microscope on a lensless chip is obtained by using a microscope on the chip without a lens to obtain four pictures by moving 1/2 pixel horizontally and vertically, and processing this to increase the resolution four times. . 삭제delete 제 6 항에 있어서, 상기 렌즈 없는 칩상의 광학 현미경은 온도조절 기능을 가지는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.7. The lensless chipped optical microscope according to claim 6, wherein the lensless chipped optical microscope has a temperature control function. 제 6 항에 있어서, 상기 렌즈 없는 칩상의 광학 현미경은 특정한 물질을 넣어주는 기능을 가지며, 상기 특정한 물질로 염색약을 넣어주는 기능을 가지는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경. 7. The lensless chipped optical microscope of claim 6, wherein the optical microscope on the chipless lens has a function of inserting a specific substance and a function of introducing a dye into the specific substance. 제 20 항에 있어서, 상기 특정한 물질로 신약개발 후보 물질 같은 생화학적 물질을 넣어주는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경. 21. An optical microscope on a lensless chip as set forth in claim 20, wherein biochemical materials such as candidates for drug development are introduced into the specific materials. 제 20 항에 있어서, 상기 특정한 물질로 세포 및 화학 반응에 영향을 주는 완충용액(buffer)조성을 바꾸는 기능을 가지는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.21. An optical lens-on-chip microscopy as recited in claim 20, wherein said specific substance has a function of altering buffer composition that affects cellular and chemical reactions. 제 20 항에 있어서, 상기 특정한 물질 주입을 위해 마이크로펌프 또는 미세유체기술을 이용하는 것을 특징으로 하는 렌즈 없는 칩상의 광학 현미경.21. A lensless chipped optical microscope as recited in claim 20, wherein micropump or microfluidic technology is used for the injection of the particular material.
KR1020050000720A 2005-01-05 2005-01-05 Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof KR100764003B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050000720A KR100764003B1 (en) 2005-01-05 2005-01-05 Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050000720A KR100764003B1 (en) 2005-01-05 2005-01-05 Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof

Publications (2)

Publication Number Publication Date
KR20060080353A KR20060080353A (en) 2006-07-10
KR100764003B1 true KR100764003B1 (en) 2007-10-08

Family

ID=37171716

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050000720A KR100764003B1 (en) 2005-01-05 2005-01-05 Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof

Country Status (1)

Country Link
KR (1) KR100764003B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284018B1 (en) 2012-04-05 2013-07-09 단국대학교 산학협력단 Neutron beam phase differential imaging device

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100956165B1 (en) 2008-11-27 2010-05-19 한국과학기술원 A atom-microscope using surface analysis measurement based on flowing resistance of fluid
KR101038484B1 (en) * 2009-08-18 2011-06-02 한양대학교 산학협력단 Microfluidic cell chip, cell image analyzing apparatus and method for quantitative analysis of cell using the same
WO2011081434A2 (en) * 2009-12-29 2011-07-07 한양대학교 산학협력단 Quantitative analysis method of apoptosis using light absorption image analysis of each cell
KR102105138B1 (en) * 2016-08-05 2020-04-28 (주) 솔 Light sensor module
WO2019170757A2 (en) * 2018-03-07 2019-09-12 LIFE TECHNOLOGIES GmbH Imaging apparatuses, systems and methods
WO2019170762A2 (en) * 2018-03-07 2019-09-12 LIFE TECHNOLOGIES GmbH Systems and methods for identifying light emitting droplets using an image sensor and lens system
KR102032251B1 (en) * 2018-10-04 2019-10-15 (주) 솔 Image sensor module, small size digital microscope and small size digital microscope array system
WO2020071834A1 (en) * 2018-10-04 2020-04-09 (주) 솔 Image sensor module, small digital microscope and small digital microscope array system, real-time three-dimensional digital microscope, and digital microscope and digital microscope system in which high magnification image isguided by low magnification image

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01282452A (en) * 1988-05-06 1989-11-14 Horiba Ltd Fluorescence x rays analysis
JP2000055842A (en) 1998-08-13 2000-02-25 Natl Res Inst For Metals X-ray image pick-up analysis method and device
JP2002171429A (en) * 2000-11-30 2002-06-14 Canon Inc Compound eye imaging system, imaging device and electronic apparatus
JP2003329622A (en) 2002-05-14 2003-11-19 National Institute For Materials Science X-ray imaging device and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01282452A (en) * 1988-05-06 1989-11-14 Horiba Ltd Fluorescence x rays analysis
JP2000055842A (en) 1998-08-13 2000-02-25 Natl Res Inst For Metals X-ray image pick-up analysis method and device
JP2002171429A (en) * 2000-11-30 2002-06-14 Canon Inc Compound eye imaging system, imaging device and electronic apparatus
JP2003329622A (en) 2002-05-14 2003-11-19 National Institute For Materials Science X-ray imaging device and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101284018B1 (en) 2012-04-05 2013-07-09 단국대학교 산학협력단 Neutron beam phase differential imaging device

Also Published As

Publication number Publication date
KR20060080353A (en) 2006-07-10

Similar Documents

Publication Publication Date Title
Jonkman et al. Any way you slice it—a comparison of confocal microscopy techniques
Orth et al. Microscopy with microlens arrays: high throughput, high resolution and light-field imaging
CN106062606B (en) Image processing method and image processing apparatus
US9343494B2 (en) Light guided pixel configured for emissions detection and comprising a guide layer with a wavelength selective filter material and a light detector layer
CN103782155B (en) There is the optical biosensor of multiple sensor region
JP5589619B2 (en) Information processing apparatus, stage waviness correction method, and program
US20160161409A1 (en) Fluorescent imaging using a flatbed scanner
US20150185456A1 (en) Microscope system and control method therefor
KR100764003B1 (en) Lensless Optical Microscope-on-a-Chip and Lensless Imaging System Thereof
WO2010109811A1 (en) Observation device
US9798129B2 (en) Microscope system and method for deciding stitched area
CN102216827A (en) Microscope device and fluorescent observing method using same
CN101542353A (en) Image processing device, image processing program, and observation system
JP2012237693A (en) Image processing device, image processing method and image processing program
US20180246306A1 (en) Mobile microscope
WO2014041820A1 (en) Microscope
WO2013126271A1 (en) Systems and methods for utilizing microscopy
JP2012013804A (en) Image processing apparatus, image processing system and image processing method, and program
Orth et al. High throughput multichannel fluorescence microscopy with microlens arrays
US11353320B2 (en) Imaging apparatuses, systems and methods
JP4555796B2 (en) Optical apparatus and imaging method
JP2017134115A (en) Microscope device, and image display program
Ugawa et al. High-speed 3D imaging flow cytometry with optofluidic spatial transformation
Harfouche et al. Imaging across multiple spatial scales with the multi-camera array microscope
CA3035109C (en) Scanning microscope using a mosaic scan filter

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20110901

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120111

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee