KR101888924B1 - 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법 - Google Patents

디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법 Download PDF

Info

Publication number
KR101888924B1
KR101888924B1 KR1020170002524A KR20170002524A KR101888924B1 KR 101888924 B1 KR101888924 B1 KR 101888924B1 KR 1020170002524 A KR1020170002524 A KR 1020170002524A KR 20170002524 A KR20170002524 A KR 20170002524A KR 101888924 B1 KR101888924 B1 KR 101888924B1
Authority
KR
South Korea
Prior art keywords
structured illumination
time
digital micromirror
pattern
micromirror device
Prior art date
Application number
KR1020170002524A
Other languages
English (en)
Other versions
KR20180081657A (ko
Inventor
박용근
이겨레
신승우
Original Assignee
주식회사 토모큐브
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 토모큐브, 한국과학기술원 filed Critical 주식회사 토모큐브
Priority to KR1020170002524A priority Critical patent/KR101888924B1/ko
Priority to PCT/KR2017/006034 priority patent/WO2017213464A1/ko
Priority to US16/308,329 priority patent/US10976532B2/en
Publication of KR20180081657A publication Critical patent/KR20180081657A/ko
Application granted granted Critical
Publication of KR101888924B1 publication Critical patent/KR101888924B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036—Scanning details, e.g. scanning stages
    • G02B21/0048—Scanning details, e.g. scanning stages scanning mirrors, e.g. rotating or galvanomirrors, MEMS mirrors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052—Optical details of the image generation
    • G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence

Abstract

디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법이 제시된다. 일 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템은 광원; 상기 광원으로부터 조사된 빛을 전달받아 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 디지털 마이크로미러 소자(Digital Micromirror Device, DMD); 및 상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 형광 이미지 측정부를 포함하여 이루어질 수 있다.

Description

디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법{Time-Multiplexed Structured Illumination with Digital Micromirror Device for Structured Illumination Microscopy and Method of Operating the same}
아래의 실시예들은 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법에 관한 것으로, 더욱 상세하게는 디지털 마이크로미러 소자(DMD)를 이용하여 시간-복합 구조화 조명을 구현하고, 이를 통해 고해상도 3차원 형광 이미지를 추출하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법에 관한 것이다.
세포의 형광 이미지를 위해서는 세포의 특정 기관(분자)에 형광 단백질이나 염료를 발현시키거나 붙인다. 이렇게 발현된 형광 물질에 여기 광원(excitation light source)이 입사하면 형광 단백질은 이를 흡수한 뒤 다른 파장으로 형광 신호를 방출한다. 이 형광 신호를 통해 세포 내부 특정 구조의 이미지를 구별하여 측정할 수 있다.
최근에는 이러한 형광 이미지의 해상도(resolution)를 증가시키는 방법으로 구조화 조명 현미경(structured illumination microscopy) 기술을 사용하기 시작하였다. 구조화 조명 현미경 기술은 여기 광원을 특정 패턴으로 입사시켜, 광학적으로 측정 가능한 범위 밖의 신호를 측정하여 회절 한계치를 능가하는 초고해상도의 이미지를 얻을 수 있는 방법이다.
처음 구조화 조명 현미경 기술은 회절 격자를 통과시킴으로써 패턴을 만들어 이미지를 획득하였다(비특허문헌 1, 2). 구조화 조명 현미경 기술은 격자 무늬를 회전 및 평행이동을 하여 다양한 패턴에서 이미지를 측정하고 이러한 저해상도 이미지에서 알고리즘을 통하여 고해상도의 이미지를 구한다. 또한, 최근에 비선형 구조화 조명 현미경 기술(nonlinear structured illumination microscopy)을 통하여 해상도를 더욱 더 좋게 만들 수 있게 되었다(비특허문헌 3).
그리고 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)를 사용하여 패턴화된 저간섭성 빛(low coherent light)과 z축 이동 스테이지를 이용하여 광학적인 구간 측정(optical sectioning), 이 두 가지를 통하여 3차원의 형광 이미지를 얻는 방법 또한 제안되었다(비특허문헌 4, 5).
하지만, 물리적인 회절 격자를 이용한 기술(비특허문헌 2)은 회절 격자를 기계적으로 크게 움직여야 하기 때문에 발생하는 진동과 속도 제한 문제, 그리고 회절 격자 패턴을 바꿀 수 없다는 단점이 있다. 또한, 종래의 디지털 마이크로미러 소자(DMD)를 이용한 기술(비특허문헌 4)은 디지털 마이크로미러 소자(DMD)에 바이너리 패턴(binary pattern)을 입사하는 방식이기 때문에, LED와 같은 비간섭성(incoherent) 광원을 이용해야 정현파(sinusoidal) 패턴을 만들 수 있다는 문제가 있어서 고속 측정이 불가능하다. 속도를 올리기 위해 레이저와 같은 간섭성(coherent) 광원을 이용하는 경우 바이너리 패턴(binary pattern)에서 발생하는 회절(diffraction)로 인해, 원하지 않는 노이즈 패턴(noise pattern)이 발생하고 결과적으로 이미지 분석이 불가능해진다.
Gustafsson, M. G. (2000). "Surpassing the lateral resolution limit by a factor of two using structured illumination microscopy." Journal of microscopy 198(2): 82-87. Kalkbrenner, T., et al. (2014). Microscope with structured illumination, US Patent 20,140,291,484. Gustafsson, M. G. (2005). "Nonlinear structured-illumination microscopy: wide-field fluorescence imaging with theoretically unlimited resolution." Proceedings of the National Academy of Sciences of the United States of America 102(37): 13081-13086.
Figure 112017002108306-pat00001
, et al. (2011). High-speed structure illumination optical microscope system and method based on digital micromirror device, China Patent CN102540466A. Dan, D., et al. (2013). "DMD-based LED-illumination Super-resolution and optical sectioning microscopy." Scientific reports 3. Lee, W.-H. (1979). "Binary computer-generated holograms." Applied Optics 18(21): 3661-3669.
실시예들은 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)를 이용하여 세포의 고해상도 3차원 형광 이미지를 측정할 수 있는 기술을 제공한다.
실시예들은 레이저 광원과 디지털 마이크로미러 소자(DMD)를 이용하여 시간-복합 구조화 조명을 구현하고, 이를 통해 고해상도 3차원 형광 이미지를 추출 가능한 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법을 제공하는데 있다.
일 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템은 광원; 상기 광원으로부터 조사된 빛을 전달받아 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 디지털 마이크로미러 소자(Digital Micromirror Device, DMD); 및 상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 형광 이미지 측정부를 포함하여 이루어질 수 있다.
여기서, 상기 광원은 레이저 빔을 조사하는 레이저(laser)일 수 있다.
그리고 상기 디지털 마이크로미러 소자는 간섭성(coherent)이 높은 광원에서도 작동하도록 제어된 시간-복합 패턴을 상기 샘플에 제공할 수 있다.
상기 디지털 마이크로미러 소자는 초고해상도 이미지를 얻기 위해서 상기 평면파를 특정 패턴으로 입사시키고 패턴을 구성하는 상기 평면파 간의 위상을 조절하여 정현파 패턴(sinusoidal pattern)의 시간-복합 구조화 조명을 구현할 수 있다.
상기 디지털 마이크로미러 소자는 상기 광원에서 입사되는 평면파의 파면의 위상 또는 패턴을 제어하고, 상기 형광 이미지 측정부는 상기 평면파의 파면의 위상 또는 패턴이 제어됨에 따라 복수의 형광 이미지들을 획득하여 고해상도 3차원 형광 이미지를 획득할 수 있다.
상기 형광 이미지 측정부는 제어된 패턴들에 의하여 복수의 형광 이미지들을 얻고, 상기 복수의 형광 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건하며, 형광의 저간섭성(low coherent) 특성을 이용하여 스테이지 또는 렌즈를 z축으로 움직이고, 상기 샘플의 z축의 각 부분을 측정하여 고해상도 3차원 형광 이미지를 얻을 수 있다.
다른 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법은 광원에서 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)로 빛을 조사하는 단계; 상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계; 및 상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계를 포함하여 이루어질 수 있다.
여기서, 상기 광원은 레이저 빔을 조사하는 레이저(laser)로 이루어질 수 있다.
상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계는, 간섭성(coherent)이 높은 광원에서도 작동하도록 제어된 시간-복합 패턴을 상기 샘플에 제공할 수 있다.
상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계는, 초고해상도 이미지를 얻기 위해서 상기 평면파를 특정 패턴으로 입사시키고 패턴을 구성하는 상기 평면파 간의 위상을 조절하여 정현파 패턴(sinusoidal pattern)의 시간-복합 구조화 조명을 구현할 수 있다.
상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계는, 상기 광원에서 입사되는 평면파의 파면의 위상 또는 패턴을 제어하고, 상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계는, 상기 평면파의 파면의 위상 또는 패턴이 제어됨에 따라 복수의 형광 이미지들을 획득하여 고해상도 3차원 형광 이미지를 획득할 수 있다.
상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계는, 제어된 패턴들에 의하여 복수의 형광 이미지들을 얻는 단계; 상기 복수의 형광 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건하는 단계; 및 형광의 저간섭성(low coherent) 특성을 이용하여 스테이지 또는 렌즈를 z축으로 움직이고, 상기 샘플의 z축의 각 부분을 측정하여 고해상도 3차원 형광 이미지를 얻는 단계를 포함하여 이루어질 수 있다.
실시예들에 따르면 레이저 광원과 디지털 마이크로미러 소자(DMD)를 이용하여 시간-복합 구조화 조명을 구현하고, 이를 통해 고해상도 3차원 형광 이미지를 추출 가능한 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법을 제공할 수 있다.
도 1은 일 실시예에 따른 구조화 조명 현미경 시스템을 설명하기 위한 도면이다.
도 2a는 일 실시예에 따른 평면파의 상대적인 위상 차이를 설명하기 위한 도면이다.
도 2b는 일 실시예에 따른 공간주파수 조절을 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 3차원 초고해상도 형광 이미지 획득 방법을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 광학 회절 토모그래피(optical diffraction tomography)를 위한 시간-복합 구조화 조명의 선형 분해를 나타내는 도면이다.
도 6은 일 실시예에 따른 시간-복합 구조화 조명의 실험적 측정을 나타내는 도면이다.
도 7은 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 구조를 개략적으로 나타내는 도면이다.
도 8은 다른 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법을 나타내는 흐름도이다.
도 9는 일 실시예에 따른 시간 적분을 이용하여 8bit 디지털 패턴을 표현하는 방법을 설명하기 위한 도면이다.
도 10은 일 실시예에 따른 분할된 각 디지털 패턴에 시간을 할당하여 더하는 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
살아있는 세포 내부의 구조를 3차원적으로 파악하고 실시간으로 구조의 변화를 측정하는 것은 생물학적, 병리학적 연구에 크게 기여할 수 있는 기술이다.
아래의 실시예들은 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)를 이용하여 세포의 고해상도 3차원 형광 이미지를 측정할 수 있는 기술을 제공하는 것으로, 더 구체적으로 디지털 마이크로미러 소자(DMD)를 이용하여 시간-복합 구조화 조명을 구현하고 이를 통해 고해상도 3차원 형광 이미지를 추출할 수 있는 시스템을 제공할 수 있다.
다시 말하면, 실시예들은 시간-복합 구조화 조명 방법을 제안하여 구조화된 광 패턴을 샘플에 입사하여 분석할 수 있는 방법과 이를 이용한 고해상도 3차원 형광 이미지를 추출할 수 있는 시스템을 제공할 수 있다.
디지털 마이크로미러 소자(DMD)의 각 픽셀은 온(on)/오프(off) 형태의 1bit 디지털 작동만 가능하여 원하는 입사광을 정확하게 표현하는데 어려움이 있다. 다시 말하면 원하는 형태의 입사광의 패턴은 공간상에서 연속적인 반면, 디지털 마이크로미러 소자(DMD)는 온(on) 또는 오프(off) 형태로의 표현만 가능하여 의도하지 않았던 형태의 입사광을 필연적으로 유발하게 된다. 이로 인해 원하지 않는 회절 패턴이 샘플에 입사되어 노이즈의 원인으로 작용하기도 한다.
이에, 시간 적분법을 활용한 구조화된 입사광을 제공함으로써 온(on)/오프(off) 형태의 1bit 디지털 작동만 가능한 디지털 마이크로미러 소자에 필연적으로 유발되는 부정확성의 문제를 해결할 수 있다. 여기에서, 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법은 디지털 마이크로미러 소자를 이용하여 연속적인 구조화된 입사광을 생성하고, 상기의 구조화된 입사광을 활용하여 3차원 형광 이미지를 얻을 수 있다.
도 1은 일 실시예에 따른 구조화 조명 현미경 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 구조화 조명 현미경 시스템을 설명하기 위해 하나의 예로써, 파면 제어기(Wavefront Shaper)를 활용하여 고해상도 3차원 형광 이미지를 측정하는 시스템을 나타낼 수 있다.
구조화 조명 현미경 기술을 위해서는 입사 파면의 위상 및 패턴을 제어할 수 있어야 한다. 파면 제어기를 활용하는 경우 평면파의 입사 각도를 조절할 수 있을 뿐 아니라, 평면파 파면의 위상 및 패턴을 제어할 수 있다. 여기에서 파면 제어기는 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)가 사용될 수 있다. 아래에서 하나의 예를 들어 구조화 조명 현미경 시스템을 더 구체적으로 설명한다.
일 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템은 광원, 변조부, 간섭계, 및 형광 이미지 측정부를 포함하여 이루어질 수 있다.
광원(Light source)은 샘플(sample)에 광을 조사할 수 있다.
여기에서, 레이저(laser)가 광원으로 이용될 수 있으며, 광원은 측정하고자 하는 세포 등의 샘플에 레이저 빔을 조사할 수 있다.
변조부는 파면 제어기(110)를 사용하여 입사광의 조사 각도 및 파면 패턴 중 적어도 하나를 변경하여 샘플(시편)에 입사시킬 수 있다.
예를 들어, 변조부는 파면 제어기(110), 튜브 렌즈(120), 및 집광 렌즈(130)를 포함하여 이루어질 수 있다. 또한 실시예에 따라 변조부는 공간 필터(spatial filter)를 더 포함하여 이루어질 수 있다.
파면 제어기(110)는 빛의 위상을 제어할 수 있는 기기 또는 위상이 제어될 수 있는 고정된 형태의 필름이 사용될 수 있다. 예를 들면, 파면 제어기는 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)를 포함할 수 있다. 즉, 디지털 마이크로미러 소자(DMD)는 파면 제어기로 다수의 마이크로미러를 포함하는 배열을 구비할 수 있다.
튜브 렌즈(120) 및 집광 렌즈(130)는 평면파 진행 각도를 확대하여 샘플에 입사시킬 수 있다.
여기에서 샘플(sample)은 측정하고자 하는 대상을 나타내는 것으로, 세포, 세균 또는 미생물 등이 될 수 있으며 세포 등을 포함하고 있는 대상물이 될 수도 있다.
그리고, 간섭계는 샘플을 통과한 2차원 광학장을 적어도 하나 이상의 입사광에 따라 측정할 수 있다.
형광 이미지 측정부는 평면파의 파면의 위상 및 패턴을 제어하여 고해상도 3차원 형광 이미지를 획득할 수 있다.
한편, 일 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템을 이용하여 3차원 굴절률 영상을 획득할 수도 있다. 3차원 굴절률 단층 촬영법에서 굴절률 분포를 얻기 위해서는 임의의 다양한 각도의 평면파에 의한 샘플 이미지가 필요하다.
다시 말하면, 일 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템은 굴절률 영상부를 더 포함할 수 있다. 이러한 굴절률 영상부는 측정된 2차원 광학장의 정보를 통해 3차원 굴절률 영상을 획득할 수 있다.
이에 따라 파면 제어기를 이용하여 샘플의 고해상도 3차원 형광 이미지를 획득할 수 있을 뿐 아니라, 3차원 굴절률 입체 영상을 동시에 측정할 수도 있다.
3차원 굴절률 단층 촬영 이미지를 얻기 위해서 Lee Hologram(비특허문헌 6) 방법을 사용하여 파면 제어기로 입사 평면파의 조사 각도를 조절할 수 있다. 예컨대 파면 제어기는 디지털 마이크로미러 소자(DMD)가 사용될 수 있다. 입사되는 평면파의 진행 각도를 제어하기 위해서, 디지털 마이크로미러 소자(DMD)에 표출(display)하는 Lee Hologram 패턴을 적절히 변경할 수 있다.
더 구체적으로, 다양한 진행 각도의 평면파를 디지털 마이크로미러 소자로 형성하기 위해서 디지털 마이크로미러 소자에 아래의 식과 같은 Lee Hologram 패턴을 입력할 수 있다.
[식 1]
Figure 112017002108306-pat00002
여기에서, u, v는 공간주파수로 디지털 마이크로미러 소자에서의 픽셀을 통해 조절되는 값이며,
Figure 112017002108306-pat00003
는 평면파의 상대적인 위상 차이를 나타낼 수 있다.
이 중 두 번째 식에서, 세 개의 항 중 두 번째 항에 해당하는 회절광만 샘플에 입사시키고 나머지를 차폐하면 하나의 평면파의 진행 방향을 제어할 수 있게 된다.
광축을 z축으로 정하고 표현하고자 하는 파장
Figure 112017002108306-pat00004
을 갖는 레이저 평면파의 x축 y축 방향의 각도를 각각
Figure 112017002108306-pat00005
로 한다면, 이에 해당하는 파면의 위상 정보는 다음 식과 같이 나타낼 수 있다.
[식 2]
Figure 112017002108306-pat00006
따라서 식 1에서 디지털 마이크로미러 소자의 패턴을 조절하면 식 2를 이용하여 원하는 위상 정보를 얻을 수 있게 된다. 이때, 하나의 반사광을 사용하기 위해서 공간 필터(spatial filter)를 통해 디지털 마이크로미러 소자에 의한 회절광 중 특정 회절광 하나만 사용할 수 있다.
샘플을 통과한 2차원 광학장과 참조파(reference beam)의 간섭계를 만들고, 평면파의 조사 각도를 다양하게 바꾸며 광학장을 측정할 수 있다. 이렇게 측정된 2차원 광학장의 정보를 광회절 단층 촬영법(optical diffraction tomography) 또는 여과된 역투사 알고리즘(filtered back projection algorithm) 기술을 활용하여 3차원 굴절률 영상을 얻을 수 있다.
아래에서는 구조화 조명 현미경 기술을 이용하여 초고해상도의 형광 이미지를 얻는 방법을 설명한다.
구조화 조명 현미경 기술에서 초고해상도 이미지를 얻기 위해서는 특정 패턴을 입사하고 패턴을 구성하는 평면파 간의 위상을 조절할 수 있어야 한다.
일례로, 정현파 패턴(sinusoidal pattern)을 다음 식과 같이 나타낼 수 있다.
[식 3]
Figure 112017002108306-pat00007
여기서, u, v는 공간주파수로 앞에서 설명한 바와 같이 디지털 마이크로미러 소자의 픽셀을 통해서 조절되는 값이며,
Figure 112017002108306-pat00008
는 평면파의 상대적인 위상 차이로 디지털 마이크로미러 소자의 패턴의 형태를 통해 조절이 가능하다.
도 2a는 일 실시예에 따른 평면파의 상대적인 위상 차이를 설명하기 위한 도면이다. 도 2a를 참조하면, 평면파의 상대적인 위상 차이
Figure 112017002108306-pat00009
는 디지털 마이크로미러 소자의 패턴의 형태를 통해 조절이 가능하다. 3차원 굴절률 단층 촬영법에서는 식 1 또는 식 3의 세 개의 항 중 두 번째 항만을 사용하였으나, 구조화 조명 현미경 기술에서는 식의 세 항을 모두 사용할 수 있다.
이때, 입사된 정현파 패턴을 구성하는 세 항 각각에 대한 샘플의 광학장을 구별하기 위해 위상 변환 방법(phase shifting method)을 사용하고, 상대적 위상 차이
Figure 112017002108306-pat00010
를 3 스텝 이상의 다른 값으로 제어하여야 한다.
도 2b는 일 실시예에 따른 공간주파수 조절을 설명하기 위한 도면이다. 도 2b를 참조하면, 해상도의 방위각 대칭(azimuthal symmetry)을 유지하기 위해서 공간주파수를 조절하여 정현파 패턴의 방향을 돌려가며 여러 방위각
Figure 112017002108306-pat00011
에 대하여 측정할 수 있다.
즉, 광학장 구별을 위한 N개의 패턴, 방위각 스캐닝(azimuthal angle scanning)을 위한 M개의 패턴으로 총 N*M개의 패턴이 필요하다. 필요한 패턴은 디지털 마이크로미러 소자(DMD)의 패턴을 통하여 각도와 위상이 조절 가능하다.
이때, 위상
Figure 112017002108306-pat00012
는 디지털 마이크로미러의 픽셀 수를
Figure 112017002108306-pat00013
이라 하면
Figure 112017002108306-pat00014
의 스텝으로 조절이 된다.
도 3은 일 실시예에 따른 3차원 초고해상도 형광 이미지 획득 방법을 설명하기 위한 도면이다. 도 3을 참조하면, 제어된 패턴들에 의하여 형광 이미지를 얻고 이러한 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건할 수 있다.
그리고 광원으로 저간섭성 빛을 사용하면 z축으로 특정 부분만 구별하여 측정하게 되며, 스테이지나 집광 렌즈(condenser lens)(330)를 z축으로 움직여 샘플(340)의 z축의 각 부분을 측정하면 3차원 초고해상도 형광 이미지를 얻을 수 있다. 한편, 도 1에서 설명한 바와 같이 변조부는 파면 제어기(310), 튜브 렌즈(320), 및 집광 렌즈(330)를 포함하여 이루어질 수 있다. 또한 실시예에 따라 변조부는 공간 필터(spatial filter)를 더 포함하여 이루어질 수 있다.
이러한 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경에 대해 아래에서 더 구체적으로 설명하기로 한다.
아래에서는 연속적인 코사인 형태의 구조화된 입사광을 활용하여 3차원 형광 이미지를 측정하는 기술에 대해 더 구체적으로 설명한다.
일 실시예에서는 연속적인 구조화된 입사광을 생성하여 기존 간섭계 기반의 홀로그래픽 이미징 시스템에 활용할 수 있다. 여기에서, 연속적인 구조화된 입사광은 연속적인 코사인 형태의 구조화된 입사광을 포함할 수 있다.
이 때, 간섭계는 일반적으로 홀로그래픽 이미징에 활용되는 간섭계가 사용될 수 있으며, 예컨대 마흐-젠더(Mach-Zehnder) 간섭계, 마이켈슨(Michelson) 간섭계, 위상 정량 현미경 유닛(quantitative phase imaging unit) 등 일반적으로 홀로그래픽 이미징에 활용될 수 있는 모든 간섭계 종류를 포괄할 수 있다.
일례로, 마흐-젠더 간섭계를 이용한 홀로그래픽 이미징 시스템에서 연속적인 코사인 형태의 구조화된 입사광을 활용하여 3차원 형광 이미지를 측정 방법을 구현하는 예를 더 구체적으로 살펴보기로 한다.
도 4는 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템을 설명하기 위한 도면이다.
도 4를 참조하면, 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템을 이용하여 간섭계 기반의 홀로그래픽 이미징 시스템이 이루어질 수 있다. 이 때, 간섭계는 마흐-젠더 간섭계가 사용될 수 있다. 간섭계는 마흐-젠더 간섭계뿐 아니라, 일반적으로 홀로그래픽 이미징에 활용되는 간섭계가 사용될 수 있다.
일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템은 광원(410), 디지털 마이크로미러 소자(420), 집광렌즈(430), 초점면(440), 대물렌즈(450), 및 카메라(480)를 포함하여 이루어질 수 있다. 그리고 실시예에 따라 적어도 하나 이상의 렌즈, 빔 스플리터(460), 편광판(470)을 더 포함하여 이루어질 수 있다.
일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템은 도 1에서 설명한 일 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조도 현미경 시스템에 포함될 수 있다. 예를 들어, 디지털 마이크로미러 소자(420)는 파면 제어기(110)에 포함될 수 있으며, 광원(410)으로부터 조사된 빛을 연속적인 구조화된 입사광으로 만들 수 있다.
이 때, 집광렌즈(430) 및 대물렌즈(450) 사이에 측정 대상인 샘플(440)이 배치될 수 있다. 이에 따라 광원(410)에서 조사되는 빛을 디지털 마이크로미러 소자(420)를 이용하여 조절하고, 집광렌즈(430)와 대물렌즈(450) 사이에 배치된 샘플(440)을 통과시켜 카메라(480)를 이용하여 영상을 측정할 수 있다.
광원(Light source)(410)은 샘플(sample)(440)에 광을 조사할 수 있다.
예를 들어, 레이저(laser)가 광원으로 이용될 수 있으며, 광원(410)은 측정하고자 하는 세포 등의 샘플(440)에 레이저 빔을 조사할 수 있다.
디지털 마이크로미러 소자(Digital Micromirror Device, DMD)(420)는 광원(410)에서 조사된 빛을 조절할 수 있으며, 입사광의 조사 각도 및 파면 패턴 중 적어도 하나를 변경하여 샘플(440)에 입사시킬 수 있다.
집광렌즈(Condenser lens)(430)는 광원(410)으로부터 조사된 빛을 통과시키며, z축 방향으로 높이 조절이 가능하다. 이에, 집광렌즈(430)의 높이에 따라 빛이 조사되는 영역의 위치의 변화량을 검토하여 자동으로 최적의 집광렌즈(430)의 위치를 찾을 수 있다.
여기서 집광렌즈(430)는 빛을 한 곳으로 모으기 위한 렌즈로, 빛을 원하는 방향 및 장소로 집중시키는데 사용되며 목적과 용도에 따라 단순히 빛을 모으는 역할뿐 아니라 상의 해상도를 높이거나 빛을 굴절시킬 수도 있다.
즉, 집광렌즈(430)는 초점을 맞추는 것에 따라 밝기 정도만 조절할 수 있으며, 이미지를 맞추는 것은 쉽지 않다. 이에 따라 획득된 영상을 확인하여 초점을 맞출 수 있다.
대물렌즈(Objective lens)(450)는 집광렌즈(430)와 소정 거리 이격되어 배치되며 집광렌즈(430)를 통과한 빛을 통과시킬 수 있다.
여기서, 대물렌즈(450)는 광학계에서 샘플(440)에 가까운 측의 렌즈로, 샘플(440)의 상을 맺기 위해 사용될 수 있다. 이때 대물렌즈(450)는 동일한 목적으로 사용되는 반사 거울을 포함할 수도 있다.
한편, 초점면(focal plane)은 집광렌즈(430)와 대물렌즈(450) 사이에 형성되어 최적 포커스(best focus)를 확인할 수 있다. 이 때, 초점이 정확하게 맞으면 어떠한 위치에 놓이더라도 항상 중앙에 빛이 조사될 수 있다. 초점면에는 샘플(440)이 배치될 수 있다.
샘플(440)은 측정하고자 하는 대상으로, 집광렌즈(430)와 대물렌즈(450) 사이에 배치되고, 예컨대 세포, 세균 또는 미생물 등이 될 수 있으며 세포 등을 포함하고 있는 대상물이 될 수도 있다.
카메라(camera)(480)는 대물렌즈(450)를 통과한 이미지를 촬영하는 촬영 장치일 수 있다.
더욱이, 실시예에 따라 적어도 하나 이상의 렌즈, 빔 스플리터(460), 편광판(470)을 더 포함하여 이루어질 수 있다.
예를 들어, 적어도 하나 이상의 렌즈는 디지털 마이크로미러 소자(420)를 통과한 빛을 조절하여 집광렌즈(430)로 전달하는 집광렌즈 튜브렌즈(431)가 될 수 있으며, 대물렌즈(450)를 통과하여 카메라(480)로 전달되는 빛을 조절하는 튜브렌즈(151)가 될 수 있다.
빔 스플리터(460)는 대물렌즈(450)를 통과한 빛을 카메라(480)로 통과시키고, 카메라(480) 측에서 반사된 빛을 광원(410) 측으로 보낼 수 있다.
편광판(470)은 빔 스플리터(460)와 카메라(480) 사이에 배치될 수 있다.
일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경은, 디지털 마이크로미러 소자(DMD)에 시간-복합 패턴 조명을 입사하여 레이저와 같은 간섭성(coherent)이 높은 광원에서도 작동하도록 구조화 조명 현미경 기술을 제공할 수 있다. 이를 이용하여 샘플에 정밀하게 제어된 구조화 조명을 입사한 후, 측정된 여러 형광 이미지를 구조화 조명 현미경 기술로 분석하여 세포 또는 조직과 같은 샘플의 고해상도 3차원 형광 이미지를 얻을 수 있다.
이 구조화 조명 현미경 기술의 원리는 두 부분으로 나누어 설명할 수 있다. (1) 시간 멀티플렉싱(time multiplexing)을 사용하여 그레이 스케일 강도 이미지(grey-scaled intensity images)를 디지털 마이크로미러 소자(DMD), 바이너리 강도 변조기(binary intensity modulator)로 투영할 수 있다. (2) 정현파 강도 패턴(sinusoidal intensity pattern)을 갖는 구조화 조명은 3 개의 별개의 공간주파수로 구성될 수 있다. 일 실시예에 따른 구조화 조명 현미경 기술은 동일한 물리적 개념의 구조화 조명 현미경(structured illumination microscopy, SIM)을 이용할 수 있다(비특허문헌 1). 이는 구조화 조명 현미경의 홀로그램 버전으로 이해될 수 있다.
도 5는 일 실시예에 따른 광학 회절 토모그래피(optical diffraction tomography)를 위한 시간-복합 구조화 조명의 선형 분해를 나타내는 도면이다. 더 구체적으로, 도 5a는 조명에 사용되는 3 개의 다른 평면파 성분으로 구성된 2 차원 정현파 패턴을 나타내고, 도5b는 샘플로부터 산란되는 산란계를 나타낸다.
도 5를 참조하면, 공간 필터가 있는 Lee Hologram을 사용하는 방법과 달리, 정현파 강도 패턴의 시간-복합 구조화 조명을 이용할 수 있다. 정현파 강도 패턴은 3 개의 평면파로 구성될 수 있으며, 다음 식과 같이 나타낼 수 있다.
[식 4]
Figure 112017002108306-pat00015
여기서,
Figure 112017002108306-pat00016
는 DMD 평면상의 변위 벡터이고, k 는
Figure 112017002108306-pat00017
로서 정현파 패턴의 공간주기
Figure 112017002108306-pat00018
와 관련될 수 있는 파동 벡터이다.
Figure 112017002108306-pat00019
는
Figure 112017002108306-pat00020
= 0 인 위상 값이다.
샘플이 식 4에서 강도 패턴을 갖는 조명일 때, 도 1b에 도시된 바와 같이, 투과된 라이트 필드(light field)
Figure 112017002108306-pat00021
는 평면파 조명
Figure 112017002108306-pat00022
에 상응하는 산란계(scattered fields) U k 의 중첩으로 표현될 수 있고, 다음 식과 같이 나타낼 수 있다.
[식 5]
Figure 112017002108306-pat00023
식 5는 3 개의 미지의 변수(U0, U+k, U-k)의 선형 방정식이다. 따라서 식 5는 다양한 위상 값
Figure 112017002108306-pat00024
로 3 회 이상의 측정으로 해결할 수 있다.
Figure 112017002108306-pat00025
의 제어는 식 4의 정현파 패턴을 횡 방향으로 시프팅 함으로써 간단히 제어할 수 있다.
개별적으로 산란계 Uk를 구하기 위해 다음과 같은 분해 과정을 수행할 수 있다. 정현파 강도 패턴은 변조되지 않은 (정상적인) 조명 또는 식 5의 DC 항으로, 먼저 U0를 개별적으로 측정할 수 있다. 그런 다음, 각 파동 k 에 대해
Figure 112017002108306-pat00026
= 0,
Figure 112017002108306-pat00027
인 두 개의 추가적인 측정을 수행하여 U+k와 U-k를 추출할 수 있다. 따라서, 본 방법은 N 개의 정현파 패턴에 대한 2N + 1 필드 측정을 필요로 하며, 다음 식과 같이 나타낼 수 있다.
[식 6]
Figure 112017002108306-pat00028
여기서, 총 2N + 1 산란계 성분(
Figure 112017002108306-pat00029
Figure 112017002108306-pat00030
)이 구해질 수 있다.
도 6은 일 실시예에 따른 시간-복합 구조화 조명의 실험적 측정을 나타내는 도면이다.
도 6a는 시간-복합 구조화 조명을 갖는 측정된 홀로그램을 나타내며, 도 6b는 분해 후 진폭 및 위상지도 검색을 나타내고, 도 6c는 각각의 공간주파수 성분을 명확하게 보여주는 푸리에 스펙트럼 지도(Fourier spectra map)를 나타내며, 도 6d는 Lee Hologram을 이용한 방법으로 얻은 푸리에 스펙트럼 지도를 나타낸다. 이때, 빨간색 화살표로 표시된 것처럼 원치 않는 회절 패턴이 여러 개 발생될 수 있다.
도 6을 참조하면, 제안된 방법의 타당성을 검증하기 위해 산란계의 성분 검색을 실험적으로 수행할 수 있다. 도 6a에 도시된 바와 같이 시간-복합 구조화 조명을 통해 얻어진 실험적으로 측정된 홀로그램으로부터 도 6b에 도시된 바와 같이 산란계는 분해 후 구해질 수 있다. 이러한 3 개의 산란계를 분해하기 위해 3 개의 홀로그램
Figure 112017002108306-pat00031
을 측정할 수 있다.
이상적인 경우 3번보다 많은 측정이 필요 없으나 진동 등으로 인한 잡음이 있는 경우 4번 이상의 많은 측정이 잡음에 의한 효과를 최소화할 수 있다. 또한, 모든 코사인 형태의 구조화된 입사광이 샘플에 수직한 평면파 성분(
Figure 112017002108306-pat00032
)을 포함하므로, 디지털 마이크로미러 소자(DMD)에 수직한 평면 패턴을 올려 수직한 평면파 성분을 측정 시, 이후 모든 코사인 형태의 구조화된 입사광들은 2번의 위상 변형 측정만으로 각각의 평면파 성분으로 분리될 수 있다.
이와 같이, 제어된 패턴들에 의하여 형광 이미지를 얻고 이러한 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건할 수 있다. 이때 형광의 저간섭성(low coherent) 특성으로 인해, 스테이지나 렌즈를 z축으로 움직여 세포의 z축의 각 부분을 측정하면 3차원 초고해상도 형광 이미지를 얻을 수 있다.
따라서 실시예들에 따르면 디지털 마이크로미러 소자(DMD)와 레이저 광원을 이용하여 세포의 3차원 초고해상도 형광 이미지를 측정할 수 있게 된다.
도 7은 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 구조를 개략적으로 나타내는 도면이다.
도 7을 참조하면, 일 실시예에 따른 디지털 마이크로미러 소자(720)와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템(700)은 광원(710), 디지털 마이크로미러 소자(720), 및 형광 이미지 측정부(730)를 포함하여 이루어질 수 있다.
광원(710)(Light source)은 디지털 마이크로미러 소자(720)에 빛을 조사함으로써 샘플에 빛을 조사할 수 있다.
예를 들어, 레이저(laser)가 광원(710)으로 이용될 수 있으며, 광원(710)은 측정하고자 하는 세포 등의 샘플에 디지털 마이크로미러 소자(720)를 통해 레이저 빔을 조사할 수 있다.
디지털 마이크로미러 소자(720)는 광원(710)에 조사된 빛을 조절할 수 있으며, 입사광의 조사 각도 및 파면 패턴 중 적어도 하나를 변경하여 샘플(시편)에 입사시킬 수 있다.
디지털 마이크로미러 소자(720)는 광원(710)으로부터 조사된 빛을 연속적인 구조화된 입사광으로 만들 수 있다. 즉, 디지털 마이크로미러 소자(720)는 광원(710)으로부터 조사된 빛을 전달받아 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시킬 수 있다.
이러한 디지털 마이크로미러 소자(720)는 간섭성(coherent)이 높은 광원(710)에서도 작동하는 제어된 시간-복합 패턴을 샘플에 제공할 수 있다.
디지털 마이크로미러 소자(720)는 초고해상도 이미지를 얻기 위해서 평면파를 특정 패턴으로 입사시키고 패턴을 구성하는 평면파 간의 위상을 조절하여 정현파 패턴(sinusoidal pattern)의 시간-복합 구조화 조명을 구현할 수 있다.
디지털 마이크로미러 소자(720)는 측정을 위해 카메라의 셔터가 열려있는 시간 동안 기설정된 속도로 움직여 시간 적분법을 이용하여 비트(bit) 깊이를 표현하고, 1 비트(bit) 디지털 형태의 작동으로 연속적인 패턴의 구조화된 입사광(제어된 시간-복합 패턴)을 만들 수 있다.
디지털 마이크로미러 소자(720)에서 비트(bit)로 표현되는 디지털 패턴을 가중치가 부여된 복수의 1 비트(bit) 디지털 패턴으로 분리하고, 카메라의 셔터가 열려있는 시간 동안 각각의 복수의 1 비트(bit) 디지털 패턴에 가중치가 반영된 시간을 할당한 후, 합하여 연속적인 구조화된 입사광을 만들 수 있다.
아래에서 시간 적분법을 이용하여 디지털 마이크로미러 소자(720)의 1bit 디지털 형태의 작동만으로 연속적인 패턴을 구현하는 기술에 대해 더 구체적으로 설명한다.
일 실시예에서 시간 적분은 카메라의 셔터가 열려있는 시간 동안 디지털 마이크로미러 소자(720)가 빠르게 움직임으로써 더욱 깊은 bit 깊이를 표현할 수 있다. 예를 들어 시간 적분을 이용하여 8bit 디지털 패턴을 표현하는 경우의 절차를 다음과 같이 나타낼 수 있다.
도 9는 일 실시예에 따른 시간 적분을 이용하여 8bit 디지털 패턴을 표현하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 먼저 디지털 마이크로미러 소자(720)(DMD)에서 8bit 디지털 패턴을 가중치가 20부터 27까지 해당되는 1bit 디지털 패턴 8개로 나눌 수 있다. 여기에서 가중치가 2n인 1bit 디지털 패턴을 n 비트 플레인(bit plane)이라고 할 수 있다(n = 0, 1, ..., 7).
도 10은 일 실시예에 따른 분할된 각 디지털 패턴에 시간을 할당하여 더하는 방법을 설명하기 위한 도면이다.
도 9 및 도 10을 참조하면, 카메라의 셔터가 열려있는 시간을 T 라고 할 때, 각각의 n 비트 플레인을
Figure 112017002108306-pat00033
동안 디지털 마이크로미러 소자(720) 위에 표시할 수 있다.
이 때, 카메라의 셔터는 계속 열려 있게 된다. 따라서 각각의 비트 플레인이 디지털 마이크로미러 소자(720)에 표시되어있는 시간만큼 가중되어 더해짐으로써, 8bit 디지털 패턴을 생성할 수 있게 된다.
이와 같이 시간 적분 방법을 통한 연속적인 패턴의 생성은 디지털 마이크로미러 소자(720)를 활용한 프로젝터 등에 활용될 수 있다. 더욱이, 시간 적분 방법을 통한 연속적인 패턴의 생성을 구조화된 입사광을 통한 고해상도의 3차원 형광 이미지 측정이 가능하다.
한편, 구조화된 입사광을 만든 후, 3차원 굴절률 영상을 획득하기 위해 연속적인 패턴의 구조화된 입사광에서 촬영된 홀로그래픽 영상을 선처리할 수 있다. 구조화된 입사광을 코사인 패턴으로 나타내어 코사인 패턴의 구조화된 입사광을 복수의 평면파로 분리하고, 코사인 패턴의 구조화된 입사광을 샘플에 통과시켜 간섭계를 통해 홀로그래픽 영상을 측정하며, 각 평면파로부터 유도된 결과를 분리하기 위해 복수의 서로 다른 측정이 수행될 수 있다.
여기에서, 동일한 주기를 가진 코사인 패턴의 구조화된 입사광에서 서로 다른 측정을 얻기 위해서 디지털 마이크로미러 소자(720) 상에서 코사인 패턴의 위상을 변형(phase shifting)시키면서 측정할 수 있다.
다시 말하면, 디지털 마이크로미러 소자(720)는 광원(710)에서 입사되는 평면파의 파면의 위상 또는 패턴을 제어함으로써, 형광 이미지 측정부(730)는 평면파의 파면의 위상 또는 패턴이 제어됨에 따라 복수의 형광 이미지들을 획득하여 고해상도 3차원 형광 이미지를 획득할 수 있다.
한편, 간섭계는 적어도 하나 이상의 입사광에서 간섭 신호를 추출하는 것으로, 샘플을 통과한 2차원 광학장을 적어도 하나 이상의 입사광에 따라 측정할 수 있다. 이에 따라, 간섭계를 이용한 홀로그래픽 이미징 시스템에서 연속적인 코사인 형태의 구조화된 입사광을 활용하여 3차원 광 단층 촬영 방법을 구현할 수 있다.
디지털 마이크로미러 소자(720)에 샘플과 수직한 평면파 성분을 측정하는 경우, 코사인 패턴의 구조화된 입사광이 샘플과 수직한 평면파 성분을 포함하여 이후 코사인 패턴의 구조화된 입사광은 2번의 위상을 변형시켜 측정함에 따라 각각의 평면파 성분으로 분리될 수 있다.
형광 이미지 측정부(730)는 샘플의 고해상도 3차원 형광 이미지를 추출할 수 있다. 이때 형광 이미지를 측정하기 위한 카메라 등이 사용될 수 있다.
형광 이미지 측정부(730)는 제어된 패턴들에 의하여 복수의 형광 이미지들을 얻고, 복수의 형광 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건하며, 형광의 저간섭성(low coherent) 특성을 이용하여 스테이지 또는 렌즈를 z축으로 움직이고, 샘플의 z축의 각 부분을 측정하여 고해상도 3차원 형광 이미지를 얻을 수 있다.
더욱이, 구조화된 입사광을 샘플에 통과시켜 카메라를 통해 3차원 굴절률 영상 또는 산란 포텐셜을 획득할 수 있다. 이 때, 사용한 빛과 시편 간의 반응에 따라 산란 포텐셜은 굴절률, 흡수 계수 등으로 표현된다. 이러한 측정된 2차원 광학장의 정보를 통해 3차원 굴절률 영상을 획득함으로써 고속 정밀하게 3차원 굴절률을 측정 가능하다.
도 8은 다른 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법을 나타내는 흐름도이다.
도 8을 참조하면, 다른 실시예에 따른 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법은 광원에서 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)로 빛을 조사하는 단계(810), 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계(820), 및 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계(830)를 포함하여 이루어질 수 있다.
여기서, 광원은 레이저 빔을 조사하는 레이저(laser)로 이루어질 수 있다.
샘플의 고해상도 3차원 형광 이미지를 추출하는 단계(830)는, 제어된 패턴들에 의하여 복수의 형광 이미지들을 얻는 단계(831), 복수의 형광 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건하는 단계(832); 및 형광의 저간섭성(low coherent) 특성을 이용하여 스테이지 또는 렌즈를 z축으로 움직이고, 샘플의 z축의 각 부분을 측정하여 고해상도 3차원 형광 이미지를 얻는 단계(833)를 포함하여 이루어질 수 있다.
아래에서 다른 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법을 하나의 예를 들어 더 구체적으로 설명하기로 한다.
다른 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법은 도 7에서 설명한 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템을 이용하여 더 구체적으로 설명할 수 있다. 일 실시예에 따른 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템은 광원, 디지털 마이크로미러 소자, 및 형광 이미지 측정부를 포함하여 이루어질 수 있다.
단계(810)에서, 광원에서 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)로 빛을 조사할 수 있다.
여기서, 광원은 레이저 빔을 조사하는 레이저(laser)로 이루어질 수 있다.
단계(820)에서, 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시킬 수 있다.
디지털 마이크로미러 소자는 간섭성(coherent)이 높은 광원에서도 작동하도록 제어된 시간-복합 패턴을 샘플에 제공할 수 있다.
디지털 마이크로미러 소자는 초고해상도 이미지를 얻기 위해서 평면파를 특정 패턴으로 입사시키고 패턴을 구성하는 평면파 간의 위상을 조절하여 정현파 패턴(sinusoidal pattern)의 시간-복합 구조화 조명을 구현할 수 있다.
디지털 마이크로미러 소자는 측정을 위해 카메라의 셔터가 열려있는 시간 동안 기설정된 속도로 움직여 시간 적분법을 이용하여 비트(bit) 깊이를 표현하고, 1 비트(bit) 디지털 형태의 작동으로 연속적인 패턴의 구조화된 입사광(제어된 시간-복합 패턴)을 만들 수 있다.
디지털 마이크로미러 소자에서 비트(bit)로 표현되는 디지털 패턴을 가중치가 부여된 복수의 1 비트(bit) 디지털 패턴으로 분리하고, 카메라의 셔터가 열려있는 시간 동안 각각의 복수의 1 비트(bit) 디지털 패턴에 가중치가 반영된 시간을 할당한 후, 합하여 연속적인 구조화된 입사광을 만들 수 있다.
디지털 마이크로미러 소자는 광원에서 입사되는 평면파의 파면의 위상 또는 패턴을 제어함으로써, 형광 이미지 측정부는 평면파의 파면의 위상 또는 패턴이 제어됨에 따라 복수의 형광 이미지들을 획득하여 고해상도 3차원 형광 이미지를 획득할 수 있다.
단계(830)에서, 샘플의 고해상도 3차원 형광 이미지를 추출할 수 있다.
형광 이미지 측정부는 샘플의 고해상도 3차원 형광 이미지를 추출할 수 있다.
형광 이미지 측정부는 제어된 패턴들에 의하여 복수의 형광 이미지들을 얻고, 복수의 형광 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건하며, 형광의 저간섭성(low coherent) 특성을 이용하여 스테이지 또는 렌즈를 z축으로 움직이고, 샘플의 z축의 각 부분을 측정하여 고해상도 3차원 형광 이미지를 얻을 수 있다.
실시예들에 따르면 레이저 광원과 디지털 마이크로미러 소자(DMD)를 이용하여 시간-복합 구조화 조명을 구현하고, 이를 통해 고해상도 3차원 형광 이미지를 추출 가능한 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법을 제공할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (14)

  1. 광원;
    상기 광원으로부터 조사된 빛을 전달받아 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 디지털 마이크로미러 소자(Digital Micromirror Device, DMD); 및
    상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 형광 이미지 측정부
    를 포함하고,
    상기 디지털 마이크로미러 소자는,
    간섭성(coherent) 특성을 갖는 광원을 이용할 경우, 시간 적분법을 이용하여 연속적인 패턴을 생성하고, 상기 간섭성(coherent) 특성을 갖는 광원에서도 작동하도록 제어된 시간-복합 패턴을 상기 샘플에 제공하며, 초고해상도 이미지를 얻기 위해 평면파를 특정 패턴으로 입사시키고 패턴을 구성하는 상기 평면파 간의 위상을 조절하여 정현파 패턴(sinusoidal pattern)의 시간-복합 구조화 조명을 구현하며,
    상기 형광 이미지 측정부는,
    상기 시간-복합 구조화 조명을 이용하여 복수의 형광 이미지들을 획득함에 따라 상기 고해상도 3차원 형광 이미지를 추출하는 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템.
  2. 제1항에 있어서,
    상기 광원은,
    레이저 빔을 조사하는 레이저(laser)인 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 디지털 마이크로미러 소자는,
    측정을 위해 카메라의 셔터가 열려있는 시간 동안 기설정된 속도로 움직여 시간 적분법을 이용하여 비트(bit) 깊이를 표현하고, 1 비트(bit) 디지털 형태의 작동으로 연속적인 패턴의 제어된 시간-복합 구조화 조명을 구현하며,
    비트(bit)로 표현되는 디지털 패턴을 가중치가 부여된 복수의 1 비트(bit) 디지털 패턴으로 분리하고, 카메라의 셔터가 열려있는 시간 동안 각각의 복수의 1 비트(bit) 디지털 패턴에 가중치가 반영된 시간을 할당한 후, 합하여 연속적인 시간-복합 구조화 조명을 구현하는 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템.
  6. 제1항에 있어서,
    상기 디지털 마이크로미러 소자는,
    상기 광원에서 입사되는 평면파의 파면의 위상 또는 패턴을 제어하고,
    상기 형광 이미지 측정부는,
    상기 평면파의 파면의 위상 또는 패턴이 제어됨에 따라 복수의 형광 이미지들을 획득하여 고해상도 3차원 형광 이미지를 획득하는 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템.
  7. 제1항에 있어서,
    상기 형광 이미지 측정부는,
    제어된 패턴들에 의하여 복수의 형광 이미지들을 얻고, 상기 복수의 형광 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건하며, 형광의 저간섭성(low coherent) 특성을 이용하여 스테이지 또는 렌즈를 z축으로 움직이고, 상기 샘플의 z축의 각 부분을 측정하여 고해상도 3차원 형광 이미지를 얻는 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템.
  8. 광원에서 디지털 마이크로미러 소자(Digital Micromirror Device, DMD)로 빛을 조사하는 단계;
    상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계; 및
    상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계
    를 포함하고,
    상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계는,
    간섭성(coherent) 특성을 갖는 광원을 이용할 경우, 시간 적분법을 이용하여 연속적인 패턴을 생성하고, 상기 간섭성(coherent) 특성을 갖는 광원에서도 작동하도록 제어된 시간-복합 패턴을 상기 샘플에 제공하며, 초고해상도 이미지를 얻기 위해 평면파를 특정 패턴으로 입사시키고 패턴을 구성하는 상기 평면파 간의 위상을 조절하여 정현파 패턴(sinusoidal pattern)의 시간-복합 구조화 조명을 구현하며,
    상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계는,
    상기 시간-복합 구조화 조명을 이용하여 복수의 형광 이미지들을 획득함에 따라 상기 고해상도 3차원 형광 이미지를 추출하는 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법.
  9. 제8항에 있어서,
    상기 광원은,
    레이저 빔을 조사하는 레이저(laser)인 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법.
  10. 삭제
  11. 삭제
  12. 제8항에 있어서,
    상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계는,
    측정을 위해 카메라의 셔터가 열려있는 시간 동안 기설정된 속도로 움직여 시간 적분법을 이용하여 비트(bit) 깊이를 표현하고, 1 비트(bit) 디지털 형태의 작동으로 연속적인 패턴의 제어된 시간-복합 구조화 조명을 구현하며,
    비트(bit)로 표현되는 디지털 패턴을 가중치가 부여된 복수의 1 비트(bit) 디지털 패턴으로 분리하고, 카메라의 셔터가 열려있는 시간 동안 각각의 복수의 1 비트(bit) 디지털 패턴에 가중치가 반영된 시간을 할당한 후, 합하여 연속적인 시간-복합 구조화 조명을 구현하는 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법.
  13. 제8항에 있어서,
    상기 디지털 마이크로미러 소자를 통해 시간-복합 구조화 조명을 구현하여 제어된 구조화 조명을 샘플에 입사시키는 단계는,
    상기 광원에서 입사되는 평면파의 파면의 위상 또는 패턴을 제어하고,
    상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계는,
    상기 평면파의 파면의 위상 또는 패턴이 제어됨에 따라 복수의 형광 이미지들을 획득하여 고해상도 3차원 형광 이미지를 획득하는 것
    을 특징으로 하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법.
  14. 제8항에 있어서,
    상기 샘플의 고해상도 3차원 형광 이미지를 추출하는 단계는,
    제어된 패턴들에 의하여 복수의 형광 이미지들을 얻는 단계;
    상기 복수의 형광 이미지들을 알고리즘을 통해 초고해상도의 2차원 형광 이미지를 재건하는 단계; 및
    형광의 저간섭성(low coherent) 특성을 이용하여 스테이지 또는 렌즈를 z축으로 움직이고, 상기 샘플의 z축의 각 부분을 측정하여 고해상도 3차원 형광 이미지를 얻는 단계
    를 포함하는 디지털 마이크로미러 소자와 시간-복합 구조화 조명을 이용한 구조화 조명 현미경 시스템의 동작 방법.
KR1020170002524A 2016-06-10 2017-01-06 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법 KR101888924B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170002524A KR101888924B1 (ko) 2017-01-06 2017-01-06 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법
PCT/KR2017/006034 WO2017213464A1 (ko) 2016-06-10 2017-06-09 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법
US16/308,329 US10976532B2 (en) 2016-06-10 2017-06-09 Structured illumination microscopy system using digital micromirror device and time-complex structured illumination, and operation method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170002524A KR101888924B1 (ko) 2017-01-06 2017-01-06 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법

Publications (2)

Publication Number Publication Date
KR20180081657A KR20180081657A (ko) 2018-07-17
KR101888924B1 true KR101888924B1 (ko) 2018-08-17

Family

ID=63048854

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170002524A KR101888924B1 (ko) 2016-06-10 2017-01-06 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법

Country Status (1)

Country Link
KR (1) KR101888924B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102272366B1 (ko) 2020-01-22 2021-07-02 주식회사 토모큐브 위상 정보 추출과 입체 영상 구성 방법 및 장치
KR102355140B1 (ko) * 2020-07-28 2022-02-07 주식회사 토모큐브 저간섭성 광원과 다중 패턴 조명을 이용한 3차원 광회절 단층촬영 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102451422B1 (ko) * 2020-11-24 2022-10-07 울산과학기술원 초고해상도 이미지와 고속 광시야 이미지를 동시에 획득하는 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007212305A (ja) 2006-02-09 2007-08-23 V Technology Co Ltd 微小高さ測定装置及び変位計ユニット
US20150177133A1 (en) 2007-07-10 2015-06-25 Massachusetts Institute Of Technology Tomographic phase microscopy

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101352803B1 (ko) * 2012-12-03 2014-01-23 광주과학기술원 편광 민감 광 간섭 단층 촬영장치를 위한 파장 가변 레이저
JP6163685B2 (ja) * 2013-05-23 2017-07-19 国立研究開発法人物質・材料研究機構 ３次元干渉計
KR101609029B1 (ko) * 2013-12-13 2016-04-04 고려대학교 산학협력단 광 전달 매질의 투과 특성을 측정하는 방법 및 이를 이용한 이미지 획득 장치
KR101612512B1 (ko) * 2014-08-04 2016-04-15 나노스코프시스템즈(주) 공초점 라인스캔 카메라 및 이를 포함한 공초점 현미경

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007212305A (ja) 2006-02-09 2007-08-23 V Technology Co Ltd 微小高さ測定装置及び変位計ユニット
US20150177133A1 (en) 2007-07-10 2015-06-25 Massachusetts Institute Of Technology Tomographic phase microscopy

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102272366B1 (ko) 2020-01-22 2021-07-02 주식회사 토모큐브 위상 정보 추출과 입체 영상 구성 방법 및 장치
KR102355140B1 (ko) * 2020-07-28 2022-02-07 주식회사 토모큐브 저간섭성 광원과 다중 패턴 조명을 이용한 3차원 광회절 단층촬영 방법 및 장치
US11408725B2 (en) 2020-07-28 2022-08-09 Tomocube, Inc. Three-dimensional optical tomography method and apparatus using partially coherent light and multi-illumination pattern

Also Published As

Publication number Publication date
KR20180081657A (ko) 2018-07-17

Similar Documents

Publication Publication Date Title
JP6622154B2 (ja) 波面制御器を用いた３次元屈折率映像撮影および蛍光構造化照明顕微鏡システムと、これを利用した方法
US10976532B2 (en) Structured illumination microscopy system using digital micromirror device and time-complex structured illumination, and operation method therefor
US8019136B2 (en) Optical sectioning microscopy
US10310246B2 (en) Converter, illuminator, and light sheet fluorescence microscope
CN112930492B (zh) 用于使用时间复用光片的快速体积荧光显微术的装置和方法
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
JP6091314B2 (ja) ホログラフィック反射撮像装置および方法
CN106885796B (zh) 一种超分辨率荧光数字全息断层显微成像系统与方法
CN104459971B (zh) 一种基于集成光子芯片的结构光照明显微成像系统
JP6228965B2 (ja) 三次元屈折率測定方法および三次元屈折率測定装置
KR101888924B1 (ko) 디지털 마이크로미러 소자와 시간 복합 구조화 조명을 이용한 구조화 조명 현미경 시스템 및 그 동작 방법
KR101356706B1 (ko) 광량 변조와 스캐닝 시스템 기반의 구조 조명 현미경
CN109870441B (zh) 基于移频的三维超分辨光切片荧光显微成像方法和装置
KR20180055994A (ko) 디지털 마이크로미러 소자를 활용한 구조 입사 3차원 굴절률 토모그래피 장치 및 방법
KR101784336B1 (ko) 파면 제어기를 활용한 초고속 고정밀 3차원 굴절률 측정 방법 및 장치
RU2579640C1 (ru) Конфокальный спектроанализатор изображений
CN114324245B (zh) 基于部分相干结构光照明的定量相位显微装置和方法
CN214374304U (zh) 一种复合超分辨成像装置
CN115096857A (zh) 一种基于艾里光片线扫描的oct成像方法和装置
KR101727832B1 (ko) 헤테로다인 간섭을 이용한 초고분해능 촬영 장치
JP6565100B2 (ja) 光断層計測装置および光断層計測方法
KR102272366B1 (ko) 위상 정보 추출과 입체 영상 구성 방법 및 장치
RU2723890C1 (ru) Многоканальный конфокальный спектроанализатор изображений
KR20120041839A (ko) 렌즈의 색수차를 이용한 3차원 영상 획득 방법 및 이를 이용한 3차원 현미경
Chmelik et al. Quantitative phase imaging in turbid media by coherence controlled holographic microscopy

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant