KR20230101259A - 구조조명 현미경 시스템 및 이의 제어방법 - Google Patents

구조조명 현미경 시스템 및 이의 제어방법 Download PDF

Info

Publication number
KR20230101259A
KR20230101259A KR1020210191213A KR20210191213A KR20230101259A KR 20230101259 A KR20230101259 A KR 20230101259A KR 1020210191213 A KR1020210191213 A KR 1020210191213A KR 20210191213 A KR20210191213 A KR 20210191213A KR 20230101259 A KR20230101259 A KR 20230101259A
Authority
KR
South Korea
Prior art keywords
dmd
structured illumination
pattern
light
control unit
Prior art date
Application number
KR1020210191213A
Other languages
English (en)
Inventor
김덕영
김종우
이희중
전필준
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020210191213A priority Critical patent/KR20230101259A/ko
Publication of KR20230101259A publication Critical patent/KR20230101259A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/082—Condensers for incident illumination only
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

구조조명 현미경 시스템은 레이저 광원부로부터 조사되는 레이저 빔을 반사시키는 DMD(Digital Micromirror Device); 상기 DMD에서 반사된 광 경로에 구비된 복수의 렌즈; 상기 복수의 렌즈 사이에 구비된 조리개; 상기 복수의 렌즈와 상기 조리개를 투과한 광을 집광하여 샘플에 조사하는 대물렌즈; 및 상기 DMD 및 상기 조리개를 제어하는 제어부를 포함하고, 상기 제어부는 변경된 블레이즈 컨디션(Modified Blaze condition)을 이용하여 상기 DMD를 정렬할 수 있다. 이에 의하면, 2차원 구조조명 현미경에서 3차원 구조조명 현미경으로 혹은 그 반대로 모드 전환 시 해당 블로커가 필요하거나 교체할 필요가 없이 전자적인 제어만으로 DMD를 정렬할 수 있고, 2차원 및 3차원 구조조명 현미경의 조사부를 단일 시스템으로 구성할 수 있다.

Description

구조조명 현미경 시스템 및 이의 제어방법{SYSTEM FOR STRUCTURED ILLUMINATION MICROSCOPY AND CONTROL METHOD FOR THE SAME}
본 발명은 구조조명 현미경 시스템 및 이의 제어방법에 관한 것으로서, 더욱 상세하게는 초고해상도 이미징을 위한 구조조명을 디지털 미소 반사 표시기로 만들 수 있는 방법에 관한 것이다.
구조조명 현미경은 형광 샘플에 사인파 형태의 구조조명(Structured light)을 조사함으로 상기 샘플을 여기(excitation)시켜 2차원 또는 3차원 초고해상도 이미지를 얻는 시스템이다.
구조조명 현미경은 종래에 광학 현미경의 분해능 한계를 뛰어 넘은 초고해상도 현미경의 한 종류이다.
구조조명 현미경은 다른 초고해상도 현미경들과 달리 형광 물질의 종류에 상관없이 이미지를 얻을 수 있기 때문에 다양한 분야에서 널리 활용되고 있다.
분해능을 증가시키는 원리는 모아레(Moire) 패턴을 이용하면 쉽게 설명될 수 있다.
도 1a는 샘플에 구조조명을 조사하는 시스템을 보여주는 개념도이다. 도 1b는 모아레 패턴을 이용해 해상도를 높이는 방법을 설명하기 위한 개념도이다.
도 1a에 도시한 바와 같이 회절격자(1)를 통과시켜 여러 개로 쪼갠 후, 대물렌즈(2)를 통해 샘플(3)에 조사하면, 간섭으로 인해 생기는 구조조명을 샘플(3)에 만들 수 있다.
이때, 샘플(3)의 형태와 넣어준 구조조명으로 인해 얻을 수 있는 이미지에 도 1b와 같은 모아레 패턴이 나타나게 된다.
분해능이 작은 샘플(unknown)의 미세한 부분이 조사해준 구조조명 패턴과 합해져서 측정 가능한 모아레 패턴으로 나타난다.
이때, 조사해준 구조조명의 형태를 정확히 알고 있으면(known), 이를 역추적하여 상기 분해능이 작은 샘플의 구조를 얻을 수 있다.
샘플에 조사해준 구조조명의 방향으로만 분해능이 좋아지기 때문에, 도 1b의 두 번째 줄과 같이 조사해주는 구조조명의 방향을 3번이상 돌려가며 측정함에 따라 모든 방향의 분해능을 높일 수 있다.
한편, 2차원 구조조명 현미경과 3차원 구조조명 현미경은 그 원리는 비슷하나, 샘플에 조사해주는 구조조명의 형태가 다르다.
도 2a는 2차원 구조조명 현미경의 조사부를 보여주는 개념도이다. 도 2b는 3차원 구조조명 현미경의 조사부를 보여주는 개념도이다.
도 2a에 도시한 바와 같이, 2차원 구조조명 현미경의 조사부는 1st 와 -1st, 총 2개 빛의 간섭을 이용하여 패턴을 만든다. 이 경우 샘플에 x, y축으로 줄무늬 패턴이 생긴다.
도 2b에 도시한 바와 같이, 3차원 구조조명 현미경 조사부는 1st 와 -1st 뿐만 아니라 0th 까지 총 3개 빛의 간섭을 이용해 패턴을 만들 수 있다. 이 경우 샘플에서 x, y축 뿐만 아니라, z축으로까지 줄무늬 패턴이 생기게 된다.
따라서, 모아레 패턴을 분석하여 이미지를 얻게 되면 3차원 구조조명 현미경 조사부는 x, y, z축으로 모두 분해능이 좋아진 초고해상도 이미지를 얻을 수 있다.
이와 같이 샘플에 조사하는 구조조명은 2차원과 3차원 각각의 경우에 차이가 나기 때문에, 광학 시스템에서도 차이가 발생한다.
도 3은 일반적인 구조조명 현미경 시스템을 보여주는 개념도이다.
도 3을 참고하면, 레이저 빔 사이즈를 빔조사경로를 따라 핀홀(Pinhole)을 사이에 두고 이격 배치된 두 개의 제1 및 제2렌즈(L1, L2)를 통해 크게 만들고, 공간 광 변조기(10)에 의해 반사시킨다.
공간 광 변조기(10)는 회절 격자 역할을 해서 빛을 여러 개로 쪼갠다.
공간 광 변조기(10)에 의해 회절된 빛들은 제3렌즈(L3)와 블로커(blocker)를 통과한다. 2차원 구조조명 현미경 시스템의 블로커는 회절된 빛 중 1st 와 -1st 만을 통과시키고, 3차원 구조조명 현미경 시스템의 블로커는 회절된 빛 중 1st, -1st 및 0th 까지 통과시킨다.
2차원 구조조명 현미경 시스템의 블로커는 0th 를 막아야 하기 때문에 블로커의 중앙 부분이 막혀있는 2 빔 블록(11; 2-beam block)을 사용한다.
반면에, 3차원 구조조명 현미경 시스템의 블로커는 0th 를 통과시켜야 하기 때문에, 블로커의 중앙 부분이 뚫려 있는 3 빔 블록(12; 3-beam block)을 사용한다. 이 경우 구조조명의 방향을 3번 돌린다고 가정할 수 있다.
블로커를 통과한 빛은 다시 제4렌즈(L4), 제5렌즈(L5) 및 대물렌즈(13)를 통해 샘플에 조사된다.
따라서, 2차원 구조조명 현미경 시스템에서 3차원 구조조명 현미경 시스템으로 혹은 그 반대로 구조조명 현미경 모드를 전환하기 위해서는, 물리적으로 해당 차원에 맞는 2 빔 블록(11) 혹은 3 빔 블록(12)으로 교체해주어야 한다.
도 4는 실제 2차원 및 3차원 구조조명 현미경(SIM; Structured Illumination Microscopy)의 실험 결과를 보여주는 이미지이다.
도 4의 Raw Data를 보면 줄무늬 패턴이 샘플에 나타나는 것을 볼 수 있다. Wide Field는 일반적인 형광 현미경으로 촬영했을 때의 결과이다.
SIM은 Raw Data를 분석해 얻은 초고해상도 형광 이미지이다.
SIM은 Wide Field와 비교했을 때 X축, Y축 분해능이 훨씬 좋아진 것을 확인할 수 있다.
2차원과 3차원 SIM 결과를 비교해보면, 3차원 SIM에서 얻은 이미지는 2차원 SIM에서 얻은 이미지에 비해 초점이 맞지 않은 샘플 부분이 상당 수 없어진 것을 볼 수 있다. 이는 Z축 분해능이 3차원 구조조명 현미경에서만 증가하기 때문이다.
한편, 종래에 구조조명을 만드는 방법에는 회절격자(Grating), 공간 광 변조기 (Spatial light modulator, SLM) 또는 디지털 미소 반사 표시기(Digital Micromirror Device, DMD)를 이용한다.
회절격자 같은 경우는 가격이 저렴하지만 구조조명의 주기와 방향을 바꾸는 것이 매우 어려워 선호되지 않는다.
SLM은 DMD에 비해 정렬 방법이 간단하기에 많이 사용되지만, 비싼 가격과 빛 변조 속도가 느리다는 단점이 있다.
반면에, DMD는 SLM보다 정렬 방법이 어렵지만, 가격면이나 변조 속도 측면에서 훨씬 우월하다.
DMD는 수많은 미소 거울들로 이루어진 공간 광 변조기로, 각 미소 거울들을 개별적으로 제어하여 빛을 변조한다.
도 5a는 실제 DMD(20)를 보여주는 사진이다. Texas Instrument 사의 Lightcrafter 6500 이다. 도 5b는 도 5a에서 Vb를 확대한 모습을 보여준다. 도 5c는 단일 미소 거울(21)의 온/오프(on/off) 상태를 보여주는 개념도이다.
DMD 칩 부분을 확대해보면 도 5b와 같은 구조로 이루어져 있다. DMD 칩은 미소 거울들이 정렬된 구조로 되어 있으며, on/off는 대각선 기준 방향으로 이루어진다. Lightcrafter 6500 기준으로, 미소 거울은 한 변의 크기가 7.56um이며, 총 1920x1080 개가 있다.
DMD(20)는 미소 거울을 on, off 상태 두가지로 조절하여 빛을 변조한다.
도 5c를 참고하면, on 상태의 미소 거울(21)은 들어온 빛(Incident Illumination)을 원하는 방향으로 유도하고, off 상태의 미소 거울(21)은 원하는 광경로에서 많이 벗어난 쪽으로 빛을 보낸다.
Lightcrafter 6500 기준으로, on 상태는 미소거울(21)을 12도, off 상태는 미소거울(21)을 -12도 기울인다.
DMD(20)의 미소 거울(21)들이 전부 on 상태인 상황에서 레이저 빔이 θinc 각도로 입사할 때 발생하는 m번째 차수(order)의 회절각도 θm과 회절 포락선(diffraction envelope) 중심의 각도 θenv는 다음과 같다.
[수학식 1]
Figure pat00001
[수학식 2]
Figure pat00002
m은 정수, λ는 레이저의 파장, d는 DMD 미소 거울의 주기이다.
수식(1)은 DMD에서 반사되는 다양한 차수의 빛들의 각도를 나타낸다.
수식(2)는 DMD에서 반사되는 다양한 차수의 빛들의 크기를 결정하는 회절 포락선의 중심이 향하는 방향이다.
일반적으로 디지털 미소 반사 표시기(Digital Micromirror Device, 이하, 'DMD'라고 함)를 이용하여 구조조명 현미경의 조사부를 만들 때 Blaze condition을 이용하여 DMD를 정렬한다.
도 6은 Blaze condition을 이용한 DMD의 정렬방법을 설명하기 위한 개념도이다.
도 6에 도시한 바와 같이, 특정 차수의 빛과 회절 포락선 중심이 일치(θmth=θenv)하도록 DMD를 정렬한다.
이와 같은 정렬 방식을 Blaze condition이라고 한다.
Blaze condition을 만족시키는 입사각은 아래의 방정식을 풀면 얻을 수 있다.
[수학식 3]
Figure pat00003
[수학식 4]
Figure pat00004
도 7a는 Blaze condition으로 정렬된 DMD를 이용한 구조조명 현미경 조사부 시스템을 보여주는 개념도이다.
도 7b는 DMD(20)의 미소 거울이 모두 on 상태일 때 실제 푸리에 도메인 사진이다.
도 7c는 DMD(20)에 주기적인 패턴을 띄웠을 때 실제 푸리에 도메인 사진이다.
DMD(20)의 모든 미소거울을 온 상태로 하고 레이저 광원을 입사시키면, 도 7b와 같은 이미지가 푸리에 평면(Fourier plane)에 나타난다.
Blaze condition을 이용하여 DMD(20)를 정렬하면, 회절 포락선의 중심, 회절된 특정 차수의 빛, 그리고 광축이 일치하기 때문에 항상 0th(DC)가 생긴다.
도 7a에 도시한 바와 같이, DMD(20)에 주기적인 패턴을 띄우게 되면, 도 7c와 같은 이미지가 푸리에 평면에 나타난다.
도 7c를 참고하면, 흰색 원 안의 3개의 빛은 각각 1st, -1st, 0th 가 된다.
상술한 바와 같이, 2차원 구조조명 현미경을 위해서는 0th 를 막아주는 2차원 빔 블록(22)을 설치해야 하고, 3차원 구조조명 현미경을 위해서는 0th 까지 통과하는 3차원 빔 블록(23)을 설치해 주어야 한다.
따라서, 종래의 구조조명 현미경 시스템은 2차원 구조조명 현미경(2D SIM)에서 3차원 구조조명 현미경(3D SIM)으로 모드를 전환하거나 반대로 3D SIM에서 2D SIM으로 모드를 전환 시 해당 차원 구조조명 현미경 모드에 맞는 블로커(빔 블록)로 교체해주어야 하는 번거로움이 있고, 블로커의 교체가 어려운 문제가 있다.
본 발명의 첫 번째 목적은 2차원 구조조명 현미경에서 3차원 구조조명 현미경으로 혹은 그 반대로 모드 전환 시 해당 블로커가 필요하거나 교체할 필요가 없이 2차원 및 3차원 구조조명 현미경의 조사부를 단일 시스템으로 구성할 수 있고, 일반적인 광학 현미경으로의 전환도 가능한 구조조명 현미경 시스템 및 이의 제어방법을 제공하는데 있다.
본 발명의 두 번째 목적은 순수 DMD에 띄우는 패턴만을 변경하여 2차원 구조조명, 3차원 구조조명 및 일반 광학 현미경 시스템의 조사부를 만들 수 있는 구조조명 현미경 시스템 및 이의 제어방법을 제공하는데 있다.
상술한 첫 번째 목적을 달성하기 위해, 본 발명에 따른 구조조명 현미경 시스템 및 이의 제어방법은, 제어부는 Modified Blaze Condition(MBC)를 이용하여 DMD를 정렬한다.
상기 MBC를 이용하여 DMD를 정렬한다라고 함은 회절 포락선의 중심이 회절된 특정 두 차수의 중심에 위치하도록 DMD를 정렬함을 의미한다.
상술한 두 번째 목적을 달성하기 위해, 본 발명에 따른 구조조명 현미경 시스템 및 이의 제어방법은 제어부는 DMD에 특정 패턴을 띄우고 조리개를 조절하여 2차원 구조조명, 3차원 구조조명 및 일반 광학 현미경 시스템의 조사부를 전환할 수 있다.
본 발명과 관련된 일 예에 따르면, 상기 구조조명 현미경 시스템은 레이저 광원부로부터 조사되는 레이저 빔을 반사시키는 DMD(Digital Micromirror Device); 상기 DMD에서 반사된 광 경로에 구비된 복수의 렌즈; 상기 복수의 렌즈 사이에 구비된 조리개; 상기 복수의 렌즈와 상기 조리개를 투과한 광을 집광하여 샘플에 조사하는 대물렌즈; 및 상기 DMD 및 상기 조리개를 제어하는 제어부를 포함하고, 상기 제어부는 변경된 블레이즈 컨디션(Modified Blaze condition)을 이용하여 상기 DMD를 정렬할 수 있다.
본 발명과 관련된 일 예에 따르면, 상기 변경된 블레이즈 컨디션은 회절 포락선의 중심이 회절된 특정 두 차수의 중심에 위치하도록 상기 DMD를 정렬할 수 있다.
본 발명과 관련된 일 예에 따르면, 상기 특정 두 차수의 회절각도(θm, θm-1)와 상기 회절 포락선 중심의 각도(θenv)의 관계는 식 1 및 식 2와 같고,
상기 식 1은
Figure pat00005
이고,
상기 식 1은 상기 DMD에서 반사된 특정 차수의 빛의 각도를 나타내고,
상기 식 2는
Figure pat00006
이고, 상기 빛의 크기를 결정하는 회절 포락선(envelope)의 중심이 향하는 방향이고,
상기 식 1과 상기 식 2에서 m은 정수, λ는 레이저의 파장, d는 DMD 미소 거울의 주기이고, 상기 θinc는 상기 DMD에서 반사된 빛의 입사각이다.
본 발명과 관련된 일 예에 따르면, 상기 제어부는, 상기 미소거울을 전부 온 상태로 제어하고, 상기 레이저 빔을 상기 DMD에 입사시켜, 상기 회절 포락선과 광축을 일치시키며, 0th(DC)는 미존재한다.
본 발명과 관련된 일 예에 따르면, 상기 제어부는, 상기 DMD에 기설정된 패턴을 띄워 상기 조리개로 두 개의 빛(1st, -1st)만을 통과시켜, 2차원 구조조명 현미경 조사부로 전환할 수 있다.
본 발명과 관련된 일 예에 따르면, 상기 제어부는, 상기 DMD에 기설정된 패턴을 띄워 상기 조리개로 세 개의 빛(1st, -1st, 0th)을 통과시켜, 3차원 구조조명 현미경 조사부로 전환할 수 있다.
본 발명과 관련된 일 예에 따르면, 상기 제어부는, 상기 DMD에 일반 광학 현미경용 패턴을 띄워 일반 광학 현미경 조사부로 전환할 수 있다.
본 발명과 관련된 다른 일 예에 따르면, 상기 구조조명 현미경 시스템의 제어방법은, 레이저 광원부로부터 조사되는 레이저 빔을 반사시키는 DMD(Digital Micromirror Device); 상기 DMD에서 반사된 광 경로에 구비된 복수의 렌즈; 상기 복수의 렌즈 사이에 구비된 조리개; 상기 복수의 렌즈와 상기 조리개를 투과한 광을 집광하여 샘플에 조사하는 대물렌즈; 및 상기 DMD 및 상기 조리개를 제어하는 제어부를 포함하는 구조조명 현미경 시스템의 제어하기 위해, (A) 제어부가 DMD 패턴을 생성하는 단계; (B) 상기 DMD 패턴에 의해 발생하는 회절광에 대한 회절 연산을 수행하는 단계; (C) 회절 연산의 결과가 기설정된 조건을 만족하는지를 판단하는 단계; (D) 상기 제어부는 상기 기설정된 조건을 만족하는 상기 회절 연산의 결과를 대응하는 DMD 패턴과 함께 LUT(Look Up Table)로 저장하는 단계; 및 (E) 상기 제어부는 상기 저장된 LUT에 대해 원하는 주기의 구조조명 패턴을 추출하는 단계를 포함하고, 상기 (A) 단계에서, 상기 제어부는, 회절 포락선의 중심이 회절된 특정 두 차수의 중심에 위치하도록 상기 DMD를 정렬하는 단계를 포함한다.
본 발명과 관련된 다른 일 예에 따르면, 상기 특정 두 차수의 회절각도(θm, θm-1)와 상기 회절 포락선 중심의 각도(θenv)의 관계는 식 1 및 식 2와 같고,
상기 식 1은
Figure pat00007
이고,
상기 식 1은 상기 DMD에서 반사된 특정 차수의 빛의 각도를 나타내고,
상기 식 2는
Figure pat00008
이고, 상기 빛의 크기를 결정하는 회절 포락선(envelope)의 중심이 향하는 방향이고,
상기 식 1과 상기 식 2에서 m은 정수, λ는 레이저의 파장, d는 상기 DMD 미소 거울의 주기이고, 상기 θinc는 상기 DMD에서 반사된 빛의 입사각이다.
본 발명과 관련된 다른 일 예에 따르면, 상기 (C) 단계에서 2차원 구조조명 현미경(2D SIM) 패턴을 위한 상기 기설정된 조건은,
① (-0.5/d, -0.5/d) 중앙위치에 회절광(S0)이 미존재하는지 여부;
② (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 거리에 회절된 광(S1, S2)이 2개만 존재하는지 여부;
③ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 광(S1)과 두번째로 가까운 광(S3)의 거리 차이(R2-R1)가 기설정값보다 큰 값을 갖는지 여부;
④ DMD 패턴에서 픽셀 한 칸을 밀었을 때 발생하는 위상변화가 π/2 ×n(n=0, 1, 2, 3,…) 이외의 값을 갖는지 여부를 포함할 수 있다.
본 발명과 관련된 다른 일 예에 따르면, 상기 (C) 단계에서 3차원 구조조명 현미경(3D SIM) 패턴을 위한 상기 기설정된 조건은,
① (-0.5/d, -0.5/d) 중앙위치에 회절광(S0)이 존재하는지 여부;
② (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 거리에 회절된 광(S1, S2)이 2개만 존재하는지 여부;
③ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 광(S1)과 두번째로 가까운 광(S3)의 거리 차이(R2-R1)가 기설정값보다 큰 값을 갖는지 여부;
④ DMD 패턴에서 픽셀 한 칸을 밀었을 때 발생하는 위상변화가 π/2 ×n(n=0, 1, 2, 3,…) 이외의 값을 갖는지 여부를 포함할 수 있다.
본 발명과 관련된 다른 일 예에 따르면, 상기 (A) 단계에서, 상기 제어부는, 상기 DMD와 상기 조리개를 제어하여, 상기 DMD에 기설정된 패턴을 띄우고 상기 조리개로 두 개의 빛(1st, -1st)만을 통과시켜, 2차원 구조조명 현미경 조사부로 전환할 수 있다.
본 발명과 관련된 다른 일 예에 따르면, 상기 (A) 단계에서, 상기 제어부는, 상기 DMD와 상기 조리개를 제어하여, 상기 DMD에 기설정된 패턴을 띄우고 상기 조리개로 세 개의 빛(1st, -1st, 0th)을 통과시켜, 3차원 구조조명 현미경 조사부로 전환할 수 있다.
본 발명과 관련된 다른 일 예에 따르면, 상기 (A) 단계에서, 상기 제어부는, 상기 DMD와 상기 조리개를 제어하여, 상기 DMD에 일반 광학 현미경용 패턴을 띄우고 일반 광학 현미경 조사부로 전환할 수 있다.
본 발명과 관련된 다른 일 예에 따르면, 상기 제어부는, 상기 DMD와 상기 조리개를 제어하여 2차원 구조조명 및 3차원 구조조명의 주기를 변경할 수 있다.
본 발명의 실시예에 따르면, 다음과 같은 효과가 달성될 수 있다.
첫 번째, 2차원 구조조명 현미경과 3차원 구조조명 현미경에 각각 맞는 블로커(빔 블록)로 교체해주지 않아도, Modified Blaze Condition(MBC)를 이용하여 디지털 미소반사 표시기(Digital Micromirror Device; DMD)에 띄우는 패턴만을 변경해주면, 일반적인 조리개로 2D, 3D SIM에 필요한 구조조명을 만들 수 있다.
두 번째, DMD에 띄우는 패턴만을 변경해주면, 일반적인 조리개로 일반 광학 현미경을 위한 조사부로의 전환도 가능하다.
세 번째, Modified Blaze Condition로 정렬된 DMD 패턴 제작방법을 이용하면, 일반적인 조리개의 동공 크기를 조절하면서 다양한 주기를 갖는 구조조명을 만들 수 있다.
따라서, DMD를 Modified Blaze Condition로 정렬시켜 구조조명 현미경의 조사부를 만들면, 전자적인 제어만으로 2차원 구조조명 현미경, 3차원 구조조명 현미경 및 일반 광학 현미경의 전환이 가능하고, 샘플에 조사하는 구조조명의 주기를 바꿀 수 있다.
또한, 기존의 DMD 기반 구조조명 현미경 시스템에 비해 사용 목적에 따라 전환이 자유롭다. 따라서 현미경 실사용자들에게 하나의 현미경 시스템으로 다양한 연구를 실행할 수 있도록 효율성을 향상시킬 수 있다.
아울러, 구조조명 현미경뿐만 아니라, 구조조명을 이용하는 다른 분야에서도 활용될 수 있다.
도 1a는 샘플에 구조조명을 조사하는 시스템을 보여주는 개념도이다.
도 1b는 모아레 패턴을 이용해 해상도를 높이는 방법을 설명하기 위한 개념도이다.
도 2a는 2차원 구조조명 현미경의 조사부를 보여주는 개념도이다.
도 2b는 3차원 구조조명 현미경의 조사부를 보여주는 개념도이다.
도 3은 일반적인 구조조명 현미경 시스템을 보여주는 개념도이다.
도 4는 실제 2차원 및 3차원 구조조명 현미경(SIM; Structured Illumination Microscopy)의 실험 결과를 보여주는 이미지이다.
도 5a는 실제 DMD를 보여주는 사진이다. Texas Instrument 사의 Lightcrafter 6500 이다.
도 5b는 도 5a에서 Vb를 확대한 모습을 보여준다.
도 5c는 단일 미소 거울의 온/오프(on/off) 상태를 보여주는 개념도이다.
도 6은 Blaze condition을 이용한 DMD의 정렬방법을 설명하기 위한 개념도이다.
도 7a는 Blaze condition으로 정렬된 DMD를 이용한 구조조명 현미경 조사부 시스템을 보여주는 개념도이다.
도 7b는 DMD의 미소 거울이 모두 on 상태일 때 실제 푸리에 도메인 사진이다.
도 7c는 DMD에 주기적인 패턴을 띄웠을 때 실제 푸리에 도메인 사진이다.
도 8은 본 발명에 따른 구조조명 현미경 시스템의 구성을 설명하기 위한 개념도이다.
도 9는 본 발명에 따른 변경된 블레이즈 컨디션(Modified Blaze Condition)을 이용하여 DMD의 정렬방법을 설명하기 위한 개념도이다.
도 10a는 본 발명에 따른 MBC로 정렬된 DMD를 이용한 구조조명 현미경 조사부를 보여주는 개념도이다.
도 10b는 도 10a에서 DMD의 미소 거울이 모두 온 상태일 때 실제 푸리에 도메인 사진이다.
도 10c는 도 10a에서 DMD에 주기적인 패턴을 띄웠을 때 실제 푸리에 도메인 사진이다.
도 11은 MBC로 DMD를 정렬할 때 사용가능한 패턴과 그 결과를 보여주는 개념도이다.
도 12는 본 발명에 따른 구조조명 현미경 시스템의 제어방법을 보여주는 순서도이다.
도 13은 도 12의 제어방법에 따라 DMD 패턴을 생성하는 과정을 보여주는 예시도이다.
도 14는 도 12의 제어방법에 따라 LUT를 저장하기 위한 기설정된 조건을 설명하기 위한 예시도이다.
도 15는 본 발명에 따른 구조조명 현미경 시스템의 제어방법에 따라 구조조명을 추출하는 과정을 나타낸 예시도이다.
도 16은 본 발명에 따른 구조조명 현미경 시스템의 제어방법에 따라 대물렌즈의 분해능 한계선을 기준으로 구조조명을 구현하는 과정을 설명하기 위한 예시도이다.
도 17a는 본 발명에 따라 실제로 구한 2차원 구조조명 현미경 패턴 LUT (Look Up Table)이다.
도 17b는 본 발명에 따라 실제로 구한 3차원 구조조명 현미경 패턴 LUT이다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시 예에 따른 연산 블록을 상세하게 설명한다.
이하의 설명에서는 본 발명의 특징을 명확하게 하기 위해, 일부 구성 요소들에 대한 설명이 생략될 수 있다.
1. 용어의 정의
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
1. 본 발명의 일 실시 예에 따른 구조조명 현미경 시스템의 구성의 설명
도 8은 본 발명에 따른 구조조명 현미경 시스템의 구성을 설명하기 위한 개념도이다.
본 발명에 따른 구조조명 현미경 시스템은 레이저 광원부(100), 반사판(110), DMD(120; Digital Micromirror Device), 제1렌즈(121), 제2렌즈(122), 조리개(123), 제3렌즈(125), 대물 렌즈(126), 카메라(128) 및 제어부(129)를 포함하여 구성될 수 있다.
레이저 광원부(100)는 레이저 빔을 생성하여 기설정된 방향으로 조사하도록 구성된다.
반사판(110)은 레이저 광원부(100)로부터 조사되는 레이저 빔을 반사하여 DMD(120)로 전달하도록 구성된다.
DMD(120)는 주기적인 패턴을 생성하도록 이루어진다.
DMD(120)는 다수의 마이크로 미소 거울(픽셀로 지칭될 수 있음)을 제어부(129)의 제어신호에 따라 2차원으로 배열한 패턴으로 구비하는 장치로서, 레이저 광원부(100)의 조사광을 반사시키면서 공간 변조하여 제1렌즈(121)로 전달하는 장치이다.
이때, DMD(120)는 제어부(129)의 제어에 따라 다수의 픽셀이 소정의 주기를 갖고 온(on)과 오프(off)의 반복된 형태를 갖고 2차원으로 배열된 패턴을 생성할 수 있다.
제1렌즈(121)와 제2렌즈(122)는 DMD(120)에 반사된 레이저 빔의 광 경로에 순서대로 이격되게 배치된다. 제1렌즈(121)는 레이저 빔의 조사방향을 기준으로 제2렌즈(122)의 상류측에 배치될 수 있다.
조리개(123)는 제1렌즈(121)와 제2렌즈(122) 사이에 배치된다. 조리개(123)는 제1렌즈(121)에 인접하게 위치한다. 조리개(123)는 제어부(129)의 제어신호에 따라 제1렌즈(121)의 유효 직경을 변화시켜 빛의 양을 결정하도록 구성된다.
예를 들면, 조리개(123; Iris diaphragm)는 대물렌즈(126)의 배율과 개구수에 따라 내측 개구부의 직경이 설정될 수 있다.
조리개(123)는 가동조절부를 움직임으로써 동심형의 개구부의 지름을 연속적으로 변화시켜 제1렌즈(121)를 통해 들어오는 빛의 양을 조절할 수 있다.
제3렌즈(125)는 레이저 빔의 조사방향을 기준으로 제2렌즈(122)의 하류측에 배치된다.
다이크로익 미러(124; dichroic mirror)는 레이저 빔의 이동방향을 기준으로 제2렌즈(122)와 제3렌즈(125) 사이에 구비된다.
다이크로익 미러(124)는 투명한 다층박막(多層薄膜) 코팅을 한 평면거울에서, 빛의 입사각을 45°로 했을 때, 박막내의 빛의 간섭효과에 의해서 어떤 파장범위의 빛은 반사하고, 다른 것은 투과하는 성질을 가지도록 구성된다.
대물 렌즈(126)는 레이저 빔의 이동방향을 기준으로 제3렌즈(125)의 하류측에 배치된다.
대물 렌즈(126)는 제3렌즈(125)를 투과한 광을 집광하여 샘플 거치대의 샘플(127)에 조사하도록 구성된다.
샘플(127)로부터 방출된 형광 신호는 제3렌즈(125)를 투과하여 다이크로익 미러(124)에서 반사된다.
카메라(128)는 다이크로익 미러(124)와 대응되게 배치된다. 카메라(128)는 다이크로익 미러(124)에서 반사된 형광 신호 경로에 배치된다. 카메라(128)는 샘플(127)로부터 방출된 샘플(127)의 화상(패턴)을 촬상하도록 구성된다.
제어부(129)는 대물렌즈(126) 및 DMD(120), 조리개(123), 카메라(128) 등과 통신가능하게 연결된다.
제어부(129)는 마이컴, 모니터(130) 등을 포함하여 구성될 수 있다.
제어부(129)는 구조조명 현미경 시스템의 전반적인 동작을 제어하도록 구성된다.
특히 제어부(129)는 대물렌즈(126)의 배율과 개구수에 따라 조리개(123)의 내측 개구부의 직경을 조절할 수 있다.
제어부(129)는 DMD(120)에 띄울 패턴에 대해 연산하며 원하는 주기와 방향을 갖는 구조조명을 생성할 수 있다. 제어부(129)는 샘플(127)을 분석하도록 구성된다.
도 9는 본 발명에 따른 변경된 블레이즈 컨디션(Modified Blaze Condition)을 이용하여 DMD(120)의 정렬방법을 설명하기 위한 개념도이다.
본 발명은 기존의 블레이즈 컨디션(Blaze condition)으로 DMD(120)를 정렬할 때 항상 생기는 0th(DC)를 DMD 정렬 방법으로만 없앨 수 있는 방법을 제공한다.
이를 위해, 도 9에 도시한 바와 같이 회절 포락선(θenv)의 중심이 회절된 특정 두 차수(θmth, θm-1th)의 중심에 위치시키도록 DMD를 정렬시킨다(도 9의 점선 화살표로 표시). 이러한 DMD 정렬 방법을 기존의 블레이즈 컨디션과 차별화를 위해 변경된 블레이즈 컨디션(Modified Blaze Condition; 이하, 'MBC' 라고 함)이라고 한다.
MBC를 만족시키는 입사각은 아래의 방정식을 풀면 얻을 수 있다.
[수학식 5]
Figure pat00009
[수학식 6]
Figure pat00010
도 10a는 본 발명에 따른 MBC로 정렬된 DMD를 이용한 구조조명 현미경 조사부를 보여주는 개념도이다.
도 10b는 도 10a에서 DMD(120)의 미소 거울이 모두 온 상태일 때 실제 푸리에 도메인 사진이다.
도 10c는 도 10a에서 DMD(120)에 주기적인 패턴을 띄웠을 때 실제 푸리에 도메인 사진이다. 도 10c에서 흰색원은 조리개의 위치를 나타낸다.
MBC로 정렬된 DMD(120)를 이용한 구조조명 현미경 조사부는 도 10a와 같다.
DMD(120)의 미소 거울(121)을 전부 온 상태로 만들고 레이저를 입사시키면, 도 10b와 같은 이미지를 푸리에 평면에서 얻을 수 있다.
회절 포락선과 광축은 일치하지만, 0th (DC)는 존재하지 않는다.
이때, 도 10a에 도시된 주기적인 패턴을 DMD(120)에 띄워주면, 도 10c와 같은 결과가 나온다.
이러한 구성에 의하면, 0th (DC)가 기본적으로 존재하지 않기에 따로 가운데 부분을 막아주는 블록이 필요 없다.
또한 일반적인 조리개(123)로 두 개의 빛만을 통과시키도록 하면 2차원 구조조명 현미경 조사부가 된다.
뿐만 아니라, 특정 패턴을 띄워주면 3차원 구조조명 현미경 조사부로 전환이 가능하다.
아울러, 일반적인 광학 현미경(Wide Field) 조사부로도 전환이 가능하다.
도 11은 MBC로 DMD를 정렬할 때 사용가능한 패턴과 그 결과를 보여주는 개념도이다.
도 11을 참조하면, MBC로 정렬된 DMD에 특정 패턴, 예를 들면 2차원 구조조명(이하, 2D SIM), 3차원 구조조명(이하, 3D SIM), 일반적인 광학 현미경 용 패턴이 띄워진 모습을 보여준다. 각 패턴들을 매우 짧은 시간동안 연속적으로 DMD에 띄우고, 카메라의 노출 시간을 길게 해서, 모든 패턴들이 푸리에 평면에 만들어진 결과를 한 번에 촬영했다.
RESULT 이미지의 흰색 원 안쪽만 통과하도록 조리개를 열어주면, DMD에 띄우는 패턴만을 변경함으로써, 2D SIM, 3D SIM 및 일반 광학 현미경 조사부로 전환이 자유롭게 가능하다.
일반적인 광학 현미경 조사부를 위한 패턴은 도 11의 와이드 필드(Wide Field) 패턴을 사용하면 된다.
그 외, 2D SIM, 3D SIM을 위한 패턴은 본 출원인이 출원한 특허출원 10-2021-0076564호에서 사용한 DMD 패턴 제작 방법을 이용할 수 있다.
1. 본 발명의 일 실시 예에 따른 구조조명 현미경 시스템의 제어방법의 설명
도 12는 본 발명에 따른 구조조명 현미경 시스템의 제어방법을 보여주는 순서도이다.
도 13은 도 12의 제어방법에 따라 DMD 패턴을 생성하는 과정을 보여주는 예시도이다.
도 14는 도 12의 제어방법에 따라 LUT를 저장하기 위한 기설정된 조건을 설명하기 위한 예시도이다.
도 15는 본 발명에 따른 구조조명 현미경 시스템의 제어방법에 따라 구조조명을 추출하는 과정을 나타낸 예시도이다.
도 16은 본 발명에 따른 구조조명 현미경 시스템의 제어방법에 따라 대물렌즈의 분해능 한계선을 기준으로 구조조명을 구현하는 과정을 설명하기 위한 예시도이다.
본 발명에 따른 구조조명 현미경 시스템의 제어방법은, (A) 제어부가 DMD 패턴을 생성하는 단계(S1210); (B) 상기 제어부는 상기 DMD 패턴에 의해 발생하는 회절광에 대한 회절 연산을 수행하는 단계(S1220); (C) 상기 제어부는 원하는 구조 조명 주기를 만들어 내는 DMD 패턴을 찾기 위해 상기 회절 연산의 결과가 기설정된 조건을 만족하는지를 판단하는 단계(S1230); (D) 상기 제어부는 상기 기설정된 조건을 만족하는 상기 회절 연산의 결과를 대응하는 DMD 패턴과 함께 LUT(Look Up Table)로 저장하는 단계(S1240); 및 (E) 상기 제어부는 상기 저장된 LUT에 대해 원하는 주기의 구조조명 패턴을 추출하는 단계(S1250)를 포함한다.
본 발명의 구조조명 현미경 시스템의 제어방법에 따르면, 도 12에 도시된 바와 같이 먼저 제어부가 시뮬레이션을 이용하여 일정 주기를 갖는 DMD 패턴을 생성한다(S1210).
구체적으로, 도 13에 도시된 바와 같이 DMD에 픽셀들의 배열방향으로 x축과 y축을 설정하고, x축과 y축으로 일정 주기를 갖는 DMD 패턴을 시뮬레이션으로 생성할 수 있다.
도 13을 참고하면, DMD 패턴은 X축 방향으로 픽셀의 주기를 증가시킬 수 있다. 예를 들면, 왼쪽부터 4픽셀 주기에서 5픽셀 주기로 증가시킬 수 있다.
DMD 패턴은 Y축 방향으로 픽셀의 온/오프 비율을 증가시킬 수 있다. 위쪽부터 온/오프 비율을 1/3에서 2/2로 증가시킬 수 있다. 각 픽셀이 흰 색일 경우 온 상태이고, 검정색일 경우 오프 상태이다.
도 13의 좌측 상부로부터 (1)번 내지 (12)번까지 DMD는 일정한 패턴을 가질 수 있다.
예를 들면, 4픽셀 주기를 갖는 (1)번 패턴은 왼쪽으로부터 제1열의 4픽셀은 온상태이고 나머지 제2 내지 제4열의 12픽셀은 오프상태이다. (1)번 패턴은 0칸 밀기로 이루어질 수 있다. 여기서 n칸 밀기라고 함은 같은 행의 왼쪽에서 같은 행의 오른쪽으로 n칸만큼 이동시킨다는 의미이다. 1칸은 1픽셀을 의미한다.
4픽셀 주기를 갖는 (2)번 패턴은 왼쪽 아래로부터 제1열 제1행, 제2열 제2행, 제3열 제3행, 제4열 제4행의 픽셀은 온상태이고, 나머지 12픽셀은 오프상태이다. (2)번 패턴은 1칸 밀기 패턴으로 이루어질 수 있다.
4픽셀 주기를 갖는 (3)번 픽셀은 왼쪽 아래로부터 제1열 제1행, 제3열 제2행, 제1열 제3행, 제3열 제4행의 픽셀은 온상태이고, 나머지 12픽셀은 오프상태이다. (3)번 패턴은 2칸 밀기 패턴으로 이루어질 수 있다.
4픽셀 주기를 갖는 (4)번 픽셀은 왼쪽 아래로부터 제1열 제1행, 제4열 제2행, 제3열 제3행, 제2열 제4행의 픽셀은 온상태이고, 나머지 12픽셀은 오프상태이다.
4픽셀 주기를 갖는 (5)번 내지 (8) 픽셀은 (1)번 내지 (4)번 픽셀을 시계방향으로 각각 90도 회전한 것이다.
4픽셀 주기를 갖는 (9)번 내지 (12)픽셀은 온상태의 픽셀 수와 오프상태의 픽셀 수가 서로 동일하다(2/2).
도 13의 오른쪽 상부로부터 5픽셀 주기를 갖는 DMD 패턴은 4픽셀 주기를 갖는 DMD 패턴과 주기만 다를 뿐 기타 DMD 패턴 생성 방법이 유사하므로, 중복된 설명을 생략하기로 한다.
이렇게 생성된 DMD 패턴에 대해, 제어부는 DMD 패턴에 의해 발생하는 회절광에 대한 회절 연산을 수행한다(S1220).
DMD 패턴에 의해 발생하는 회절광의 각도 또는 위치는 DMD 패턴의 주기성에만 영향을 받으므로, 제어부는 x축과 y축으로 일정 주기를 갖는 DMD 패턴을 벡터로 나타내고, 근사함수 형태로 근사 표현할 수 있다.
예컨대, x축으로 10 픽셀 주기, y축으로 5 픽셀 주기를 갖는 DMD 패턴을 디락 빗 함수 (Dirac comb function)를 이용하여 아래의 [수학식 7]로 근사 표현할 수 있다.
[수학식 7]
Figure pat00011
각 벡터 X1,2,3,4,5의 1은 on 상태이고, 0은 off 상태를 의미하며, d는 픽셀 한변의 길이를 나타낸다.
이후, 제어부는 조리개에 대응하는 푸리에 도메인에서 DMD 패턴에 의해 회절된 광의 결과를 2차원 푸리에 변환을 이용하여 아래의 [수학식 8]로 구할 수 있다.
[수학식 8]
Figure pat00012
여기서, u, v는 각각 x, y에 해당하는 공간 주파수이다.
이때, 10×5 주기를 갖는 DMD 패턴의 결과인 [수학식 8]을 일반적인 N×M 주기의 패턴(x축으로 N픽셀 주기, y축으로 M픽셀 주기)의 결과로 확장하면, 아래의 [수학식 9]으로 나타낼 수 있다.
[수학식 9]
Figure pat00013
[수학식 9]을 이용하면, DMD에 특정 주기의 DMD 패턴을 생성한 후 발생하는 광의 회절 결과를 푸리에 변환의 과정없이 고속으로 계산할 수 있다.
이러한 [수학식 9]는 공간 주파수 도메인에서의 결과이고, 이러한 공간 주파수 도메인에서의 결과를 스페이스 도메인 또는 빛의 회절 각도 도메인으로 변환 가능하다.
즉, 아래의 [수학식 10]을 이용하여 공간 주파수 도메인과 스페이스 도메인의 관계로 변환할 수 있다.
[수학식 10]
Figure pat00014
또는, 아래의 [수학식 11]를 이용하여 공간 주파수 도메인과 회절 각도 도메인의 관계로 변환할 수 있다.
[수학식 11]
Figure pat00015
이때, λ는 레이저 광원부에서 광원의 파장이고, f는 푸리에 도메인을 만들어주는 제 1 렌즈의 초점거리이다.
회절 연산을 수행한 후, 제어부는 원하는 구조조명 주기를 만들어 내는 DMD 패턴을 찾기 위해 회절 결과가 다음의 기설정된 조건을 만족하는지를 판단한다(S1230).
상기 (C) 단계에서 2차원 구조조명 현미경(2D SIM) 패턴을 위한 상기 기설정된 조건은 다음과 같다.
① (-0.5/d, -0.5/d) 중앙위치에 회절광(S0)이 존재하면 안된다.
② (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 거리에 회절된 광(S1, S2)이 2개만 존재해야 한다.
③ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 광(S1)과 두번째로 가까운 광(S3)의 거리 차이(R2-R1)가 기설정값보다 커야 한다.
④ DMD 패턴에서 픽셀 한 칸을 밀었을 때 발생하는 위상변화가 π/2 ×n(n=0, 1, 2, 3,…) 이외의 값을 가져야한다.
상기 (C) 단계에서 3차원 구조조명 현미경(3D SIM) 패턴을 위한 상기 기설정된 조건은 다음과 같다.
① (-0.5/d, -0.5/d) 중앙위치에 회절광(S0)이 존재해야 한다.
② (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 거리에 회절된 광(S1, S2)이 2개만 존재해야 한다.
③ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 광(S1)과 두번째로 가까운 광(S3)의 거리 차이(R2-R1)가 기설정값보다 커야 한다.
④ DMD 패턴에서 픽셀 한 칸을 밀었을 때 발생하는 위상변화가 π/2 ×n(n=0, 1, 2, 3,…) 이외의 값을 가져야한다.
상술한 특허출원 '564호 특허에서의 조건과 비교해봤을 때, 본 발명은 중앙위치가 (-0.5/d, -0.5/d)로 변경되었고, S0의 존재 여부가 추가되었을 뿐 나머지 내용은 그대로다.
구체적으로, ②의 조건은 조리개로 두 개의 빛(1st, -1st) 또는 세 개의 빛(1st, -1st, 0th)만을 통과시키기 위해 필요한 조건이다.
③의 조건은 (-0.5/d, -0.5/d) 중앙 위치로부터 가장 가까운 거리에 회절된 2개의 광(S1,S2)만 통과시키고 이외의 광(S3)을 차단하기 위해 시스템에 따라 설정된 특정값을 기준으로 거리 차이(R2-R1)가 특정값보다 커야하는 조건으로, 특정값은 아래의 [수학식 12]을 갖는다.
[수학식 12]
Figure pat00016
여기서, d는 픽셀의 간격이고, D는 레이저 광원부에서 레이저 광의 직경이다.
이러한 특정값은 시스템에 따라 의존도가 있는 값이기 때문에 시스템의 상황에 따라 다르게 설정해줘야 한다.
④의 조건은 구조조명 현미경 이미지 복원에 필요한 조건으로, ④의 조건을 만족하지 못하면 구조조명 현미경 이미지를 복원하는 과정 중 오더 언믹싱(Order unmixing)이 불가능하게 되어 구조조명 현미경 이미지의 복원이 불가능하게 된다.
이러한 4가지 조건을 만족하는 회절 결과를 대응하는 DMD 패턴과 함께 LUT(Look Up Table)로 저장한다(S1240).
이러한 LUT 저장 단계(S1240)까지의 전술한 과정은 도 13에 도시된 DMD 패턴 각각에 대해 모두 수행되고, 4가지 기설정된 조건을 만족하는 회절 결과를 포함한 DMD 패턴 정보는 제어부에 연결된 데이터베이스(도시하지 않음)에 LUT의 분류표 형태로 저장될 수 있다.
이렇게 저장된 LUT에 대해 제어부는 원하는 주기의 구조조명 패턴을 추출한다(S1250).
예를 들어, 레이저 광원부(101)에서 광원의 파장이 405nm이고, 제 1 렌즈와 제 2 렌즈의 초점거리가 10cm이며, 픽셀 한변의 길이가 7.56㎛이며, DMD의 틀어진 각도가 12.6°를 갖는 구조조명 현미경 시스템을 가정한다.
이러한 구조조명 현미경 시스템에서 원하는 구조조명의 주기가 25.3 ~ 26.3㎛인 경우의 구조조명 패턴을 추출하기 위해, 제어부는 먼저 도 15a에서 도 15b로 도시된 바와 같이 스페이스 도메인의 LUT에 대해 정사영 효과를 반영하여 변환한다.
즉, 도 15a에 도시된 기설정된 조건을 만족하는 모든 회절광을 표시한 스페이스 도메인의 LUT에 대해 제어부는 DMD가 틀어진 12.6°의 각도로 패턴의 정사영 효과를 반영하여, 도 15b에 도시된 바와 같이 변환할 수 있다.
정사영 효과를 반영하여 변환한 후, 도 15c에 도시된 바와 같이 제어부는 원하는 구조 조명의 주기에 따른 경계 범위를 임의로 설정한다.
즉, 제어부는 원하는 구조조명의 주기가 25.3 ~ 26.3㎛인 경우에 대응하여 도 15c에서처럼 25.3㎛의 주기를 갖는 파란원과 26.3㎛의 주기를 갖는 빨간원의 경계 범위를 설정할 수 있다.
이러한 경계 범위에 대해, 도 15d에 도시된 바와 같이 제어부는 경계 범위에 있는 회절광 패턴만을 남기고 삭제한다.
남겨진 회절광 패턴에 대해, 도 15e에 도시된 바와 같이 제어부는 임의의 각도를 갖는 회절광 패턴들을 선택한다.
이렇게 선택된 회절광 패턴들에 대해 조리개의 위치에서 촬상장치로 촬상하면, 제어부는 도 15f에 도시된 바와 같은 영상 이미지를 획득할 수 있다.
이와 같이 LUT를 이용하면 원하는 주기의 구조조명을 만들어 주는 DMD 패턴을 매우 빠르게 찾아 적용하고, 샘플 거치대의 샘플에 원하는 주기의 구조조명을 조사하여 분석할 수 있다.
특히, 제어부는 다양한 대물렌즈를 구조조명 현미경 시스템에 선택하여 적용하기 위해, 도 16에 도시된 바와 같이 대물렌즈의 배율에 따라 상이한 분해능 한계선을 참조하여 분해능 한계선에 가까운 주기를 갖는 DMD 패턴을 LUT에서 추출하여 발생한 구조조명을 샘플에 조사한다.
이때, 제어부는 조리개의 개구부 크기를 대물렌즈의 배율과 개구수에 따라 상이한 분해능 한계선에 맞춰 설정하여, 다양한 대물렌즈가 하나의 구조조명 현미경 시스템에 사용될 수 있도록 한다.
도 17a는 본 발명에 따라 실제로 구한 2차원 구조조명 현미경 패턴 LUT (Look Up Table)이다.
도 17b는 본 발명에 따라 실제로 구한 3차원 구조조명 현미경 패턴 LUT이다.
이와 같이 본 발명의 다른 실시예에 따른 구조조명 현미경 시스템의 제어방법은 DMD에 띄우는 DMD 패턴을 고속 연산하고 원하는 주기의 구조조명을 용이하게 추출하여 높은 분해능으로 샘플을 분석할 수 있다.
이러한 구성의 DMD 패턴 제작방법을 사용하면, DMD에 띄우는 패턴과 조리개의 동공 크기를 변경하는 것만으로 다양한 주기의 구조조명을 샘플에 조사할 수 있다.
따라서, 본 발명에 의하면, 2D SIM과 3D SIM에 각각 맞는 블로커(빔 블록)로 교체해주지 않아도, 상술한 MBC(Modified Blaze Condition)를 이용하여 DMD에 띄우는 패턴만을 변경해주면, 일반적인 조리개로 2D, 3D SIM에 필요한 구조조명을 만들 수 있다.
또한, DMD에 띄우는 패턴만을 변경해주면, 일반적인 조리개로 일반 광학 현미경을 위한 조사부로의 전환도 가능하다.
여기에 상술한 특허출원 '564호 특허에서 사용하는 DMD 패턴 제작법을 이용하면, 일반적인 조리개의 동공 크기를 조절하면서 다양한 주기를 갖는 구조조명을 만들 수 있다.
따라서, DMD를 MBC로 정렬시켜 구조조명 현미경의 조사부를 만들면, 전자적인 제어만으로 2D SIM, 3D SIM 및 일반 광학 현미경의 전환이 가능하고, 샘플에 조사하는 구조조명의 주기를 바꿀 수 있다.
100 : 레이저 광원부 110 : 반사판
120 : DMD 121 : 제1렌즈
122 : 제2렌즈 123 : 조리개
124 : 다이크로익 미러 125 : 제3렌즈
126 : 대물렌즈 127 : 샘플
128 : 카메라 129 : 제어부
130 : 모니터

Claims (15)

  1. 복수의 미소 거울을 구비하고, 레이저 광원부로부터 조사되는 레이저 빔을 반사시키는 DMD(Digital Micromirror Device);
    상기 DMD에서 반사된 광 경로에 구비된 복수의 렌즈;
    상기 복수의 렌즈 사이에 구비된 조리개;
    상기 복수의 렌즈와 상기 조리개를 투과한 광을 집광하여 샘플에 조사하는 대물렌즈; 및
    상기 DMD 및 상기 조리개를 제어하는 제어부를 포함하고,
    상기 제어부는 변경된 블레이즈 컨디션(Modified Blaze condition)을 이용하여 상기 DMD를 정렬하는 구조조명 현미경 시스템.
  2. 제1항에 있어서,
    상기 변경된 블레이즈 컨디션은 회절 포락선의 중심이 회절된 특정 두 차수의 중심에 위치하도록 상기 DMD를 정렬하는 것을 특징으로 하는 구조조명 현미경 시스템.
  3. 제2항에 있어서,
    상기 특정 두 차수의 회절각도(θm, θm-1)와 상기 회절 포락선의 중심의 각도(θenv)의 관계는 식 1 및 식 2와 같고,
    상기 식 1은
    Figure pat00017
    이고,
    상기 식 1은 상기 DMD에서 반사된 특정 차수의 빛의 각도를 나타내고,
    상기 식 2는
    Figure pat00018
    이고, 상기 빛의 크기를 결정하는 회절 포락선(envelope)의 중심이 향하는 방향이고,
    상기 식 1과 상기 식 2에서 m은 정수, λ는 레이저의 파장, d는 DMD 미소 거울의 주기이고, 상기 θinc는 상기 DMD에서 반사된 빛의 입사각인 구조조명 현미경 시스템.
  4. 제1항에 있어서,
    상기 제어부는,
    상기 미소 거울을 전부 온 상태로 제어하고, 상기 레이저 빔을 상기 DMD에 입사시켜, 상기 회절 포락선과 광축을 일치시키며, 0th(DC)는 미존재하는 구조조명 현미경 시스템.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 DMD에 기설정된 패턴을 띄워 상기 조리개로 두 개의 빛(1st, -1st)만을 통과시켜, 2차원 구조조명 현미경 조사부로 전환하는 구조조명 현미경 시스템.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 DMD에 기설정된 패턴을 띄워 상기 조리개로 세 개의 빛(1st, -1st, 0th)을 통과시켜, 3차원 구조조명 현미경 조사부로 전환하는 구조조명 현미경 시스템.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 DMD에 일반 광학 현미경용 패턴을 띄워 일반 광학 현미경 조사부로 전환하는 구조조명 현미경 시스템.
  8. 복수의 미소 거울을 구비하고, 레이저 광원부로부터 조사되는 레이저 빔을 반사시키는 DMD(Digital Micromirror Device);
    상기 DMD에서 반사된 광 경로에 구비된 복수의 렌즈;
    상기 복수의 렌즈 사이에 구비된 조리개;
    상기 복수의 렌즈와 상기 조리개를 투과한 광을 집광하여 샘플에 조사하는 대물렌즈; 및
    상기 DMD 및 상기 조리개를 제어하는 제어부를 포함하는 구조조명 현미경 시스템의 제어방법에 있어서,
    (A) 제어부가 DMD 패턴을 생성하는 단계;
    (B) 상기 DMD 패턴에 의해 발생하는 회절광에 대한 회절 연산을 수행하는 단계;
    (C) 회절 연산의 결과가 기설정된 조건을 만족하는지를 판단하는 단계;
    (D) 상기 제어부는 상기 기설정된 조건을 만족하는 상기 회절 연산의 결과를 대응하는 DMD 패턴과 함께 LUT(Look Up Table)로 저장하는 단계; 및
    (E) 상기 제어부는 상기 저장된 LUT에 대해 원하는 주기의 구조조명 패턴을 추출하는 단계를 포함하고,
    상기 (A) 단계에서, 상기 제어부는,
    회절 포락선의 중심이 회절된 특정 두 차수의 중심에 위치하도록 상기 DMD를 정렬하는 단계를 포함하는 구조조명 현미경 시스템의 제어방법.
  9. 제1항에 있어서,
    상기 특정 두 차수의 회절각도(θm, θm-1)와 상기 회절 포락선의 중심의 각도(θenv)의 관계는 식 1 및 식 2와 같고,
    상기 식 1은
    Figure pat00019
    이고,
    상기 식 1은 상기 DMD에서 반사된 특정 차수의 빛의 각도를 나타내고,
    상기 식 2는
    Figure pat00020
    이고, 상기 빛의 크기를 결정하는 회절 포락선(envelope)의 중심이 향하는 방향이고,
    상기 식 1과 상기 식 2에서 m은 정수, λ는 레이저의 파장, d는 상기 DMD의 미소 거울의 주기이고, 상기 θinc는 상기 DMD에서 반사된 빛의 입사각인 구조조명 현미경 시스템의 제어방법.
  10. 제8항에 있어서,
    상기 (C) 단계에서 2차원 구조조명 현미경(2D SIM) 패턴을 위한 상기 기설정된 조건은,
    ⑤ (-0.5/d, -0.5/d) 중앙위치에 회절광(S0)이 미존재하는지 여부;
    ⑥ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 거리에 회절된 광(S1, S2)이 2개만 존재하는지 여부;
    ⑦ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 광(S1)과 두번째로 가까운 광(S3)의 거리 차이(R2-R1)가 기설정값보다 큰 값을 갖는지 여부;
    ⑧ DMD 패턴에서 픽셀 한 칸을 밀었을 때 발생하는 위상변화가 π/2 ×n(n=0, 1, 2, 3,…) 이외의 값을 갖는지 여부를 포함하는 구조조명 현미경 시스템의 제어방법.
  11. 제8항에 있어서,
    상기 (C) 단계에서 3차원 구조조명 현미경(3D SIM) 패턴을 위한 상기 기설정된 조건은,
    ⑤ (-0.5/d, -0.5/d) 중앙위치에 회절광(S0)이 존재하는지 여부;
    ⑥ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 거리에 회절된 광(S1, S2)이 2개만 존재하는지 여부;
    ⑦ (-0.5/d, -0.5/d) 중앙위치로부터 가장 가까운 광(S1)과 두번째로 가까운 광(S3)의 거리 차이(R2-R1)가 기설정값보다 큰 값을 갖는지 여부;
    ⑧ DMD 패턴에서 픽셀 한 칸을 밀었을 때 발생하는 위상변화가 π/2 ×n(n=0, 1, 2, 3,…) 이외의 값을 갖는지 여부를 포함하는 구조조명 현미경 시스템의 제어방법.
  12. 상기 (A) 단계에서, 상기 제어부는,
    상기 DMD와 상기 조리개를 제어하여, 상기 DMD에 기설정된 패턴을 띄우고 상기 조리개로 두 개의 빛(1st, -1st)만을 통과시켜, 2차원 구조조명 현미경 조사부로 전환하는 구조조명 현미경 시스템의 제어방법.
  13. 제8항에 있어서,
    상기 (A) 단계에서, 상기 제어부는,
    상기 DMD와 상기 조리개를 제어하여, 상기 DMD에 기설정된 패턴을 띄우고 상기 조리개로 세 개의 빛(1st, -1st, 0th)을 통과시켜, 3차원 구조조명 현미경 조사부로 전환하는 구조조명 현미경 시스템의 제어방법.
  14. 제8항에 있어서,
    상기 (A) 단계에서, 상기 제어부는,
    상기 DMD와 상기 조리개를 제어하여, 상기 DMD에 일반 광학 현미경용 패턴을 띄우고 일반 광학 현미경 조사부로 전환하는 구조조명 현미경 시스템의 제어방법.
  15. 제8항에 있어서,
    상기 제어부는,
    상기 DMD와 상기 조리개를 제어하여 2차원 구조조명 및 3차원 구조조명의 주기를 변경하는 구조조명 현미경 시스템의 제어방법.
KR1020210191213A 2021-12-29 2021-12-29 구조조명 현미경 시스템 및 이의 제어방법 KR20230101259A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210191213A KR20230101259A (ko) 2021-12-29 2021-12-29 구조조명 현미경 시스템 및 이의 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210191213A KR20230101259A (ko) 2021-12-29 2021-12-29 구조조명 현미경 시스템 및 이의 제어방법

Publications (1)

Publication Number Publication Date
KR20230101259A true KR20230101259A (ko) 2023-07-06

Family

ID=87185452

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210191213A KR20230101259A (ko) 2021-12-29 2021-12-29 구조조명 현미경 시스템 및 이의 제어방법

Country Status (1)

Country Link
KR (1) KR20230101259A (ko)

Similar Documents

Publication Publication Date Title
US9753265B2 (en) Variable orientation illumination-pattern rotator
EP2681533B1 (en) Systems and methods for illumination phase control in fluorescence microscopy
JP4723806B2 (ja) 共焦点顕微鏡
AU2006224935B2 (en) Optical manipulation system using a plurality of optical traps
US9897790B2 (en) Structured illumination device and structured illumination microscope device
CN109416321B (zh) 基于空间光调制器的高光谱共焦显微镜及其使用方法
US8946619B2 (en) Talbot-illuminated imaging devices, systems, and methods for focal plane tuning
CN109407293A (zh) 基于双振镜双物镜的三维结构光照明超分辨显微成像装置和方法
JP2017219826A (ja) 波面制御器を用いた３次元屈折率映像撮影および蛍光構造化照明顕微鏡システムと、これを利用した方法
US20180164562A1 (en) Confocal microscopy system with vari-focus optical element
JP2017026596A (ja) 三次元屈折率測定方法および三次元屈折率測定装置
KR20230101259A (ko) 구조조명 현미경 시스템 및 이의 제어방법
KR20180018899A (ko) 워킹 디스턴스 내에서 각도를 확대하여 빛을 조사하는 광학 현미경 및 그 방법
TWI673516B (zh) 多層多工共焦顯微之光源裝置與系統
CN112639448A (zh) 利用光开关和驻波照射技术提高显微镜轴向分辨率的系统和方法
KR102628867B1 (ko) 구조조명 현미경 시스템 및 그 제어방법
KR102281306B1 (ko) 다파장 레이저 파장 변조를 이용한 현미경 시스템
KR102281319B1 (ko) 연속 파장 레이저 파장 변조를 이용한 현미경 시스템
JP2020112735A (ja) 構造化照明装置、構造化照明顕微鏡装置
CN217930555U (zh) 一种高光谱显微成像系统
US11156818B2 (en) Flexible light sheet generation by field synthesis
JP2002286654A (ja) 光学検査装置
JP2002196253A (ja) 干渉縞投影光学系及びこの光学系を用いた顕微鏡
CN116953905A (zh) 一种斜光片成像系统

Legal Events

Date Code Title Description
E902 Notification of reason for refusal