KR102461745B1 - 물체의 초 해상도 이미지를 얻기 위한 이미징 방법 및 시스템 - Google Patents
물체의 초 해상도 이미지를 얻기 위한 이미징 방법 및 시스템 Download PDFInfo
- Publication number
- KR102461745B1 KR102461745B1 KR1020177020566A KR20177020566A KR102461745B1 KR 102461745 B1 KR102461745 B1 KR 102461745B1 KR 1020177020566 A KR1020177020566 A KR 1020177020566A KR 20177020566 A KR20177020566 A KR 20177020566A KR 102461745 B1 KR102461745 B1 KR 102461745B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- matrix
- super
- block
- pixel values
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 75
- 238000006073 displacement reaction Methods 0.000 claims abstract description 67
- 238000005286 illumination Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 230000005540 biological transmission Effects 0.000 claims description 14
- 238000010521 absorption reaction Methods 0.000 claims description 10
- 239000000523 sample Substances 0.000 description 43
- 238000002073 fluorescence micrograph Methods 0.000 description 22
- 210000004027 cell Anatomy 0.000 description 14
- 239000005090 green fluorescent protein Substances 0.000 description 11
- 241000588724 Escherichia coli Species 0.000 description 10
- 238000000386 microscopy Methods 0.000 description 10
- 238000000799 fluorescence microscopy Methods 0.000 description 9
- 108010043121 Green Fluorescent Proteins Proteins 0.000 description 8
- 102000004144 Green Fluorescent Proteins Human genes 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000009826 distribution Methods 0.000 description 7
- 230000005284 excitation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 3
- 238000010870 STED microscopy Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 108020004707 nucleic acids Proteins 0.000 description 3
- 102000039446 nucleic acids Human genes 0.000 description 3
- 150000007523 nucleic acids Chemical class 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 102000004169 proteins and genes Human genes 0.000 description 3
- 108090000623 proteins and genes Proteins 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000004621 scanning probe microscopy Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 230000001580 bacterial effect Effects 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 239000012472 biological sample Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 2
- 239000010931 gold Substances 0.000 description 2
- 229910052737 gold Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 229920000936 Agarose Polymers 0.000 description 1
- 241000894006 Bacteria Species 0.000 description 1
- 102000052510 DNA-Binding Proteins Human genes 0.000 description 1
- 101710096438 DNA-binding protein Proteins 0.000 description 1
- 238000002835 absorbance Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000032823 cell division Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- LOKCTEFSRHRXRJ-UHFFFAOYSA-I dipotassium trisodium dihydrogen phosphate hydrogen phosphate dichloride Chemical compound P(=O)(O)(O)[O-].[K+].P(=O)(O)([O-])[O-].[Na+].[Na+].[Cl-].[K+].[Cl-].[Na+] LOKCTEFSRHRXRJ-UHFFFAOYSA-I 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001506 fluorescence spectroscopy Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000003632 microfilament Anatomy 0.000 description 1
- 239000004005 microsphere Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 239000002953 phosphate buffered saline Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000010869 super-resolution microscopy Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0072—Optical details of the image generation details concerning resolution or correction, including general design of CSOM objectives
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0052—Optical details of the image generation
- G02B21/0076—Optical details of the image generation arrangements using fluorescence or luminescence
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/008—Details of detection or image processing, including general computer control
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
- G02B21/002—Scanning microscopes
- G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
- G02B21/0036—Scanning details, e.g. scanning stages
Landscapes
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Microscoopes, Condenser (AREA)
Abstract
물체를 지탱하기 위한 지지판(6), 조명 빔(14)을 지지판의 타겟 영역으로 포커싱하기 위한 조명원(1), 센서의 매트릭스를 포함하는 디지털 카메라(9)를 포함하는 광학 현미경(21)에 기초하여 물체(5)의 초 해상도 이미지(22)를 얻는 방법으로서, 디지털 카메라에 의해, 타겟 영역의 제 1 이미지를 캡쳐하는 단계; 제 1 이미지로부터, 센서의 매트릭스의 서브 매트릭스(B0)에 의해 제공된 픽셀 값의 제 1 블록을 추출하는 단계; 서브 회절 제한 거리만큼, 변위 축을 따라 변위 블록에 의해 지지 플레이트를 변위시키는 단계; 디지털 카메라에 의해, 타겟 영역의 제 2 이미지를 캡쳐하는 단계; 제 2 이미지로부터, 센서의 매트릭스의 서브 매트릭스(B0)에 의해 제공된 픽셀 값의 제 2 블록을 추출하는 단계; 상기 픽셀 값의 제 1 및 제 2 블록을 변위 축에 대응하는 이미지 축(X, Y)을 따라 초 해상도 이미지에서 서로 바로 옆에 배치될 픽셀 값의 제 1 및 제 2 블록으로서 저장하는 단계를 포함한다.
Description
본 발명은 일반적으로 광학 현미경을 사용하여 작은 물체의 확대 이미지를 생성하는 분야에 관한 것이다.
보다 상세하게는, 본 발명은 물체의 이미지를 캡쳐하도록 구성된 광학 현미경에 기초하여 물체의 초 해상도 이미지를 얻는 이미징 방법에 관한 것으로, 상기 광학 현미경은:
물체를 지탱하기 위한 지지판,
물체를 조명하기 위한 조명 빔을 생성하도록 구성된 조명원,
지지판 상에 조명 빔을 포커싱하기 위한 광학 요소로서, 포커싱된 조명 빔에 의해 현재 조명되는 지지판 상의 물체의 섹션은 이후로는 타겟 영역으로 불리는, 광학 요소,
타겟 영역의 이미지를 캡쳐하기 위한 센서의 매트릭스를 포함하는 디지털 카메라로서, 각각의 센서는 각각의 픽셀 값을 제공하는, 디지털 카메라, 및
서로 수직인 3개의 축 x, y, z 중에서 적어도 2개의 변위 축을 따라 포커싱된 조명 빔 및 디지털 카메라에 대해 지지판을 변위시키기 위한 변위 블록으로서, 여기서 축 x 및 y는 지지판의 평면을 규정하고, 상기 적어도 2개의 변위 축은 초 해상도 이미지의 2개의 대응하는 수직 이미지 축을 규정하는, 변위 블록을 포함한다.
광학 현미경의 해상도는 인접한 세부사항을 구별되고 분리된 것으로 보여주는 현미경의 능력과 관련있다. 렌즈의 불완전성에 관계없이, 광학 현미경의 해상도는 광의 회절에 의해 제한된다.
사실, 광의 회절 때문에, 하나의 포인트의 이미지는 하나의 포인트가 아니고, "에어리 디스크 (Airy disk)"또는 "포인트 확산 함수(point spread function)"라고 불리는 회절로 둘러싸인 퍼지 디스크처럼 보인다. 따라서 인접하지만 구별되는 물체의 2개의 포인트는 이미지 포인트에 대해 2개의 스팟을 가지며, 2개의 스팟의 중첩은 2개의 이미지를 구분하지 못하게 하며: 그래서 세부사항이 분해되지(resolve) 않는다.
아베(Abbe) 회절 한계에 따르면, 회절 한계로 알려진, 광학 현미경에 의한 분리된 포인트를 분해하는 한계는 
로 표시되며, 여기서 
는 조명원의 파장이고, NA는 광학 현미경의 대물 렌즈의 개구수이다. 일반적으로, 종래의 대물 렌즈로 얻을 수 있는 회절 한계의 가장 낮은 값은 가시 파장 영역에 대해 약 150 나노미터(nm)이다.
회절 한계 광학의 간단한 사용으로 허용되는 해상도보다 높은 해상도로 이미지를 생성하는 공지된 프로세스가 있다: 예를 들어, STED(Stimulated Emission Depletion microscopy), SSIM(Spatially Structured Illumination Microscopy), PALM(Photoactivated Localization microscopy), STORM(Stochastic Optical Reconstruction Microscopy).
그러한 기술에 관한 문헌은 예를 들어 WO 2013/153294 A1, 또는 <"Fluorescence microscopy with diffraction resolution barrier broken by stimulated emission", Klar 외, Proc Natl Acad Sci U S A. 2000 97,8206-8210>이다.
이러한 기술의 공통된 맥락은 회절 한계 이상으로 세부사항을 분해할 수 있다는 것인데, 예를 들어 PALM에서는 시간에 따라 형광체를 순차적으로 켜고 끔으로써, 신호가 연속적으로 기록될 수 있다.
안타깝게도, 이러한 초 해상도 방법은 고가의 광학 플랫폼(예를 들어, STED의 경우 1 백만 유로 이상)을 구입할 것을 요구하고/하거나 상당한 사후 신호 데이터 처리를 또한 요구하며, 이는 모두 대부분의 세포 생물학 실험실의 자원을 넘어선다.
이미지 스캐닝 현미경(image scanning microscopy, ISM) 기술의 현재 상태는 다음의 공개물의 요약으로 구체화될 수 있다:
그러한 공개물은 데이터 획득 및 사후 신호 처리 중에, 전체 CCD이든지 또는 보다 작은 관심 영역(region of interest, ROI)이 사용되든 간에, 검출 구역에 걸쳐 통합적으로 구현되는 바와 같은 수학적으로 집약적인 절차를 요구한다.
따라서 구현하기가 더 쉬운 초 해상도 이미징 방법이 필요하다.
제 1 양상에 따르면, 본 발명은 본원에서 상술된 바와 같이 물체의 초 해상도 이미지를 얻는 이미징 방법을 제안하며, 상기 방법은 다음 단계들의 세트를 반복하는 것을 특징으로 한다:
- 디지털 카메라에 의해, 포커싱된 조명 빔에 의해 현재 조명되는 타겟 영역의 제 1 이미지를 캡쳐하는 단계;
- 캡쳐된 제 1 이미지로부터, 센서의 매트릭스의 서브 매트릭스에 의해 제공된 픽셀 값의 제 1 블록을 추출하는 단계;
- 상기 픽셀 값의 제 1 블록을 초 해상도 이미지의 픽셀 값의 제 1 블록으로서 저장하는 단계;
- 서브 회절 제한 거리만큼, 변위 축 중 하나를 따라 변위 블록에 의해 지지판을 변위시키는 단계;
- 디지털 카메라에 의해, 포커싱된 조명 빔에 의해 현재 조명되는 타겟 영역의 제 2 이미지를 캡쳐하는 단계;
- 캡쳐된 제 2 이미지로부터, 상기 센서의 매트릭스의 서브 매트릭스에 의해 제공된 픽셀 값의 제 2 블록을 추출하는 단계;
- 상기 픽셀 값의 제 2 블록을 초 해상도 이미지의 픽셀 값의 제 2 블록으로서 저장하는 단계, 상기 픽셀 값의 제 2 블록은 상기 하나의 변위 축에 대응하는 이미지 축을 따라 초 해상도 이미지에서의 상기 픽셀 값의 제 1 블록 바로 옆에 위치된다.
전술한 기술에 대한 우리의 유사한 방법은 제한된 계산 및 처리로 물체의 초 해상도 이미지를 얻는 간단한 방식을 제공한다.
본 발명의 일부 실시예에 따르면, 물체의 초 해상도 이미지를 얻는 이미징 방법은 다음의 특징을 더 포함한다:
- 서브 매트릭스는 오직 하나의 센서를 포함한다;
- 상기 센서가 지지판 상의 포커싱된 조명 빔의 이미지의 일부를 캡쳐하는 경우에만, 매트릭스의 센서가 예비 단계에서 서브 매트릭스의 센서로서 선택된다;
- 매트릭스의 센서들 중 하나의 센서(들)가 이미지가 최상 포커스에 있는, 지지판 상의 포커싱된 조명 빔의 이미지의 일부를 캡쳐할 때 매트릭스의 센서(들)는 예비 단계에서 서브 매트릭스의 센서(들)로서 선택된다;
- 매트릭스의 센서들 중 하나의 센서(들)가 이미지가 기하학적인 포커스에 있는, 지지판 상의 포커싱된 조명 빔의 이미지의 일부를 캡쳐할 때 매트릭스의 센서(들)는 예비 단계에서 서브 매트릭스의 센서(들)로서 선택된다;
- 방법은 (형광 현미경을 고려하는 경우) 개별 형광체와 관련된 픽셀 값으로부터 이웃하는 형광체의 중첩 강도를 제거하기 위해, 초 해상도 이미지의 픽셀 값에 대해 배경 제거를 적용하는 단계를 포함하고/하거나, 상한 강도 값의 적어도 하나의 특정 범위 밖에 있는 상기 픽셀 값을 크롭핑(cropping)하는 단계를 포함한다;
- 물체는 적어도 하나의 형광원을 포함하고, 조명원은 조명된 물체로부터 형광을 발생시키도록 조명 빔을 생성하도록 구성되며, 디지털 카메라에 의해 캡쳐된 타겟 영역의 이미지는 조명된 물체에 의해 발생된 형광의 이미지이고, 얻게 된 초 해상도 이미지는 초 해상도 형광 이미지이다;
제 2 양상에 따르면, 본 발명은 물체의 초 해상도 이미지를 얻기 위한 시스템을 제안하며, 상기 이미징 시스템은 제어기 및 광학 현미경을 포함하고, 상기 광학 현미경은:
- 이미징될 물체를 지탱하기 위한 지지판,
- 물체를 조명하기 위한 조명 빔을 생성하도록 구성된 조명원;
- 지지판 상에 조명 빔을 포커싱하기 위한 광학 요소로서, 포커싱된 조명 빔에 의해 현재 조명되는 지지판 상의 물체의 섹션은 이후로는 타겟 영역으로 불리는, 광학 요소,
- 타겟 영역의 이미지를 캡쳐하기 위한 센서의 매트릭스를 포함하는 디지털 카메라로서, 각각의 센서는 각각의 픽셀 값을 제공하는, 디지털 카메라, 및
- 서로 수직인 3개의 축 x, y, z 중에서 적어도 2개의 변위 축을 따라 포커싱된 조명 빔 및 디지털 카메라에 대해 지지판을 변위시키기 위한 변위 블록으로서, 여기서 축 x 및 y는 지지판의 평면을 규정하고, 상기 적어도 2개의 변위 축은 초 해상도 이미지의 2개의 대응하는 수직 이미지 축을 규정하는, 변위 블록을 포함한다.
상기 이미징 시스템은, 제어기가 다음의, 포커싱된 조명 빔에 의해 현재 조명되는 타겟 영역의 제 1 이미지를 캡쳐하도록 상기 디지털 카메라에 명령하는 동작, 캡쳐된 제 1 이미지로부터, 센서의 매트릭스의 서브 매트릭스에 의해 제공된 픽셀 값의 제 1 블록을 추출하는 동작, 상기 픽셀 값의 제 1 블록을 물체의 초 해상도 이미지의 픽셀 값의 제 1 블록으로서 저장하는 동작, 그 다음에 서브 회절 제한 거리만큼, 변위 축 중 하나를 따라 지지판을 변위시키도록 변위 블록에 명령하는 동작, 그 다음에 포커싱된 조명 빔에 의해 현재 조명되는 타겟 영역의 제 2 이미지를 캡쳐하도록 디지털 카메라에 명령하는 동작, 캡쳐된 제 2 이미지로부터, 상기 센서의 매트릭스의 서브 매트릭스에 의해 제공된 픽셀 값의 제 2 블록을 추출하는 동작, 상기 픽셀 값의 제 2 블록을 초 해상도 이미지의 픽셀 값의 제 2 블록으로서 저장하는 동작으로서, 상기 픽셀 값의 제 2 블록은 상기 하나의 변위 축에 대응하는 이미지 축을 따라 초 해상도 이미지에서의 상기 픽셀 값의 제 1 블록 바로 옆에 위치되는, 저장하는 동작의 세트를 반복하도록 구성된 것을 특징으로 한다.
본 발명은 첨부된 도면에 제한되는 것이 아니라 예로서 예시되며, 여기서 유사한 참조 번호는 유사한 요소를 지칭한다:
- 도 1은 본 발명의 일 실시예에서 물체의 초 해상도 형광 이미지를 얻기 위한 시스템의 개략적인 측면도를 도시한다;
- 도 2는 샘플을 지지하는 플랫폼의 평면도이다;
- 도 3은 카메라 센서 매트릭스의 저면도이다;
- 도 4는 본 발명의 일 실시예에 따라 얻어진 초 해상도 이미지의 도면이다;
- 도 5는 본 발명의 일 실시예에서 물체의 초 해상도 형광 이미지를 얻는 방법의 단계를 나타낸다;
- 도 6은 일반적인 형광 스캐닝 현미경의 개략도이다;
- 도 7은 일반적인 공초점 형광 스캐닝 레이저 현미경의 개략도이다;
- 도 8은 본 발명에 따른 형광 스캐닝 현미경의 개략도이다;
- 도 9는 2개의 단일 포인트 형광원에 대한 검출기 평면에서 정규화된 강도의 단면을 도시한다;
- 도 10 내지 도 15는 STORM 이미징(Wang, Science 2011. 333, 1445-1449)과 본 발명에 따른 초 해상도 이미징 기술 간의 비교 측정의 예시적인 도면이다; 그리고
- 도 16은 핵산을 착색하는 Sybre®Gold(Invitrogen)로 표지된 15 nm의 더 작은 변위 크기로 측정된 대장균 세포의 형광 이미지의 예시적인 도면이다.
상이한 도면에서 사용된 동일한 참조는 유사한 참조된 요소에 대응한다.
- 도 1은 본 발명의 일 실시예에서 물체의 초 해상도 형광 이미지를 얻기 위한 시스템의 개략적인 측면도를 도시한다;
- 도 2는 샘플을 지지하는 플랫폼의 평면도이다;
- 도 3은 카메라 센서 매트릭스의 저면도이다;
- 도 4는 본 발명의 일 실시예에 따라 얻어진 초 해상도 이미지의 도면이다;
- 도 5는 본 발명의 일 실시예에서 물체의 초 해상도 형광 이미지를 얻는 방법의 단계를 나타낸다;
- 도 6은 일반적인 형광 스캐닝 현미경의 개략도이다;
- 도 7은 일반적인 공초점 형광 스캐닝 레이저 현미경의 개략도이다;
- 도 8은 본 발명에 따른 형광 스캐닝 현미경의 개략도이다;
- 도 9는 2개의 단일 포인트 형광원에 대한 검출기 평면에서 정규화된 강도의 단면을 도시한다;
- 도 10 내지 도 15는 STORM 이미징(Wang, Science 2011. 333, 1445-1449)과 본 발명에 따른 초 해상도 이미징 기술 간의 비교 측정의 예시적인 도면이다; 그리고
- 도 16은 핵산을 착색하는 Sybre®Gold(Invitrogen)로 표지된 15 nm의 더 작은 변위 크기로 측정된 대장균 세포의 형광 이미지의 예시적인 도면이다.
상이한 도면에서 사용된 동일한 참조는 유사한 참조된 요소에 대응한다.
일반적인 형광 스캐닝 현미경 검사
일반적인 형광 스캐닝 현미경 검사(Ordinary fluorescence scanning microscopy, OFSM)에서, 레이저 광은 스팟 내부의 물체의 형광을 여기시키는 회절 한계 스팟에 포커싱된다. 형광으로 방출된 광은 광 검출기에 의해 수집된다. 그 다음에, 레이저 빔은 보통 레이저 빔에 대해 x-y-(z) 이동 스테이지로 샘플을 이동시킴으로써 샘플의 표면을 스캔한다. 최종 형광 이미지는 단계적으로 측정된 형광 강도로부터 재구성된다. OFSM 기술 설정의 일반화된 도식이 도 6에 도시되며, 이는 샘플 평면(31), 회절 제한된 레이저 스팟(32), 필터 입방체 및/또는 거울과 같은 광학 요소(33), 검출기 평면(34), 검출기 평면 상의 회절 제한된 레이저 스팟의 이미지(35)를 포함하는 형광 스캐닝 현미경을 도시한다.
샘플 평면 상에 2개의 단일 포인트(무한히 작음) 형광 광원이 있고, 광의 파장이 500 nm이고, 우리 시스템의 개구수(NA)가 1.45인 것으로 가정하면, 따라서 이상적인 조건에서 그러한 시스템의 측방향 해상도는 아베 회절 한계에 기초하여 약 176 nm(0.51*500 nm/1.45)와 동일하다. 일반적으로, 2개의 독립적인 형광원에 의해 방출되는 광은 간섭하지 않을 것임에 유의한다. 검출기 평면 상의 이 2개의 물체에 의해 생성된 이미지는 (에어리(Airy) 패턴이라고 불리는) 훨씬 낮은 강도를 갖는 주변 동심원을 가진 2개의 원형 광 스팟을 나타낼 것이다. 따라서, 이들 형광원 각각은 중심의 밝은 부분과 주변 동심 링을 포함하는 검출기 평면상의 단일 포인트 소스의 통상적인 회절 이미지를 생성할 것이다.
주된 형광의 강도는 일반적으로 명목상 가우시안(Gaussian) 분포로 기술될 수 있는 중심의 밝은 부분 내부에 축적될 것이다. 다음의 설명에서, 동심 링의 영향은 무시될 것이며, 오직 중심 부분만이 고려될 것이다. 또한, 종종 사용되는 바와 같은 OFSM 소형 검출기의 경우, 그래서 주로 이미지의 중심 부분만이 단계별 형광 이미지 재구성을 위해 수집된다.
OFSM의 경우에 단일 스캐닝 단계에 대해 수집된 신호는 해당 포인트를 측정하는 동안 검출기에 부딪치는 총 형광 신호의 통합 형광 강도일 것이다. 이상적인 경우에서는, 단지 회절 이미지의 중심이다. 고려된 가정(500 nm의 광 파장, NA=1.45)에서 그리고 이상적인 실험 조건 하에서, 수집된 신호의 중심 부분의 단면은 반치전폭(full width at half maximum, fwhm)이 176 nm인 가우시안으로 나타낼 수 있다. 결과적으로, 장래의 형광 이미지에서 단일 포인트에 대한 전체 신호 강도는 fwhw=176 nm 가우시안 분포에 의해 제한된 신호이다. 이러한 이상적인 조건에서 시스템의 해상도를 결정하기 위해, 더 이상 개별 물체로 구분될 수 없는 시점을 결정하도록 2개의 가우시안 분포의 거동이 검사될 수 있다.
이를 달성하기 위해, 중첩 가우시안의 2차 미분을 검토할 수 있다(이것이 더 정확한 방법이다). 좀더 단순한 접근법에서는, 형광 신호 기록 영역이 어떻게 중첩되는지를 살펴볼 수 있다. (검출기가 작고 바르게 위치되어 있지 않는 한) 정상적인 OFSM 현미경은 이론적인 해상도인 176 nm 이상에 도달하지 않을 것임은 직관적이다. 또한, OFSM 기록 조건에 있어서 검출기 평면 상의 2개의 단일 포인트 소스의 단면으로부터, 200 nm 거리에서도 OFSM에 대한 이상적인 경우에 2개의 단일 포인트 소스를 분해할 수 있는 간단한 방법은 없다는 것을 알 수 있다.
공초점
형광 스캐닝 레이저 현미경 검사
전술한 OFSM과 공초점 형광 스캐닝 레이저 현미경 검사의 주된 차이점은 에어리 디스크로부터 추가적인 링의 존재로 인한 스펙트럼 오염의 일부를 제거/차단하는 추가적인 작은 크기의 핀홀의 삽입이며, 따라서 검출기는 입사 레이저 빔에 의해 여기된 형광의 중심 부분만 수신한다. 일반적으로, 최상의 해상도는 하나의 에어리 유닛과 동일한 핀홀을 사용하는 경우에 얻어진다.
도 6의 현미경과 비교하여 추가적인 핀홀(36)을 포함하고, 그렇게 함으로써 검출기 평면(34) 상에 회절 제한된 레이저 스팟의 이미지(39)를 제공하는 개략적인 공초점 형광 스캐닝 레이저 현미경이 도 7에 도시되어 있다. 도시된 바와 같이, 회절 제한된 레이저 스팟의 이미지(39)는 도 6의 현미경으로 얻어진 회절 제한된 레이저 스팟의 이미지(35)의 한 섹션일 뿐이다.
광학 경로에 하나의 에어리 유닛 핀홀이 삽입된(핀홀이 클수록 결과 이미지 품질 및 해상도는 낮아짐) OFSM에 의해 관찰된 바와 같은 2개의 단일 포인트 형광원의 전술한 예가 이제 그러한 OFSM에 대해 재검토된다. 기록된 신호의 강도는 주로 막대 사이에서 제한된 적분 강도 구역일 것이며, 여기서 막대 사이의 거리는 fwhm과 동일하다. 따라서, OFSM과는 달리, 200 nm 떨어져 있는 2개의 단일 포인트 형광원은 1개의 에어리 유닛 핀홀을 갖는 공초점 체제에서 쉽게 분해될 수 있어야 한다. 따라서, 이론적인 예측 해상도가 달성될 수 있다.
본 발명에 따른 초 해상도 현미경 검사
본 발명은 추가로 몇 가지 단계를 거친다:
i) 이미지 재구성을 위해, 검출기 평면 상의 회절 제한된 스팟의 중심 구역 내에 위치되고 검출기 평면 상의 회절 제한된 스팟보다 작은 단일 픽셀(또는 단일 픽셀 블록)이 사용된다.
ii) (평평한) 배경은 실시예에서 제거된다. 결과적으로, (형광 현미경 검사를 고려하는 경우) 픽셀의 기하학적 광축에 놓여 있는 물체로부터 비롯되는 형광 신호의 대부분이 이미지 재구성에 사용된다.
이 두 단계를 사용하면 상당히 높은 해상도가 달성되며, 복잡한 데이터 획득 방법 및 후속하는 분석 절차의 사용을 피한다. 이미지 재구성을 위해 하나의 픽셀을 이용 가능할 뿐만 아니라 몇 개의 픽셀이 사용되어, 평균화를 위해 이용 가능한 시프트된 이미지를 성공적으로 생성할 수 있다. 또한, 모든 픽셀이 조사 중인 3 차원 물체 내의 상이한 기하학적 포인트에서 찾기 때문에 단일 스캔으로부터 3 차원 픽쳐 복구에 대한 가능성이 존재한다. 기술적 설정의 일반화된 체계가 최종 이미지를 재구성하는 데 사용되는 검출기 평면(34)에서의 회절 제한된 레이저 스팟의 이미지(35) 내의 단일 픽셀(37)을 도시하고, 샘플 평면(31) 상의 검출기의 픽셀(37)의 기하학적 돌출부(38)를 또한 도시하는 본 발명에 따른 개략적인 현미경을 도시하는 도 8에 도시되어 있다.
또한, 상당히 정확하고 작은 단계로 스캐닝하는 것이 필수적이다. 그러나, (필요한 수정으로) 평균화를 위해 다수의 픽셀에서 얻은 이미지를 사용하는 경우 단계 크기가 상대적으로 클 수 있으므로, 전체 스캐닝 속도가 더 빨라진다.
예를 들어, 형광 현미경 검사의 예에서 전술한 경우를 조사하고, 2개의 단일 포인트 형광원에 대한 검출기 평면에서의 정규화된 강도의 단면을 도시하는 도 9를 참조하면, ~50 nm의 "검출기" 픽셀 사이즈(여기서는 원형으로 가정됨) 및 30% 평평한 배경 제거를 적용함으로써 적용함으로써 100 nm의 거리에 놓여 있는 2개의 단일 포인트 형광원을 분해하는 것이 가능하다. 더 큰 배경 제거가 종종 더 좋지만, 항상 신호대 잡음비와 트레이드 관계에 있다. 보다 작은 픽셀 크기는 보다 낮은 배경 제거 크기 및 보다 좋은 해상도와 신호대 잡음비를 가져온다.
따라서, 본 발명은 다른 초 해상도 이미징 기술과 유사하지만 그것들에 기초하지는 않는다.
본 발명은 다른 공지된 기술과 비슷한 고배율 하에서 초 해상도 이미지를 얻을 수 있다.
본 발명은 샘플의 배율 값에 관계없이 임의의 이미지의 해상도를 증가시킬 수 있다. 따라서, 본 발명은 지금까지 고해상도 이미징에 적합하지 않다고 여겨졌던 저배율에서 이미지를 개선할 수 있다.
이하, 본 발명의 특정 실시예가 설명된다.
본 발명의 일 실시예에서의 물체의 초 해상도 형광 이미지를 얻기 위한 시스템(20)이 도 1에서 개략적으로 나타내어진다.
시스템(20)은 광학 현미경(21)을 포함한다.
광학 현미경(21)은 조명원(1), 공간 필터(2), 다이크로익 미러(3), 대물렌즈(4), 플랫폼(6), 방출 필터(7), 예를 들어 무색의 렌즈의 조합(8), 및 디지털 카메라(9)를 포함한다.
선택적으로, 광학 현미경(21)은 광 필터(1a)를 더 포함한다.
광학 현미경(21)은 예를 들어 Nikon Ti Eclipse®와 같은 형광 이미지를 캡쳐하는 데 통상 사용되는 현미경일 수 있다.
시스템(20)은 제어기(10) 및 모션 블록(11)을 더 포함한다.
이미징될 샘플(5)은 플랫폼(6) 상의 샘플 홀더에 의해 단단히 고정된 표준 커버슬립 또는 다른 적합한 지지부에 부착된다.
플랫폼(6) 상의 샘플의 표면은 수직 축 x, y에 의해 규정되는 평면 상에 놓여 있다.
플랫폼(6) 상의 샘플의 평면도가 도 2에 나타나 있다.
고전적인 형광 이미징에 따르면, 작은 형광원, 예를 들어 하나의 광자 형광 물리 현상에 기초한 형광체가 샘플(5)에 부착되어 있다. 이러한 형광원은 샘플에 내재되어 있을 수 있다.
조명원 파장은 부착된 형광원으로부터 형광을 유도하도록 선택된다: 형광원은 조명원에 의해 광이 비추어지는 경우, 조명원의 파장(들)의 에너지를 흡수하고, 파장이 조명원의 파장(들)보다 높은 파장의 형광 광을 방출한다.
제어기(10)는 변위 명령을 규정하도록 구성되고 변위 명령을 모션 블록(11)에 제공한다.
변위 명령은 샘플(5)의 미리 결정된 관심 영역(Region of Interest, ROI)의 함수로서 제어기(10)에 의해 규정된다. 변위 명령은 플랫폼(6)을 변위시키도록 모션 블록(11)에 명령하고, 축 x, y, z를 따라 명령된 변위를 지정하는데, z는 축 x, y에 수직인 축이다.
제어기(10)는 또한 디지털 카메라(9)에 캡쳐 명령을 전송함으로써 디지털 카메라(9)에 의한 이미지 캡쳐를 트리거하도록 더 구성되며, 제어기(10)는 이후에 상세히 설명되는 바와 같이 디지털 카메라(9)에 의해 캡쳐된 연속적인 형광 이미지로부터 샘플 ROI의 초 해상도 이미지를 구성하도록 구성된다.
일 실시예에서, 제어기(10)는 마이크로프로세서 및 메모리(미도시)를 포함한다. 메모리는 마이크로프로세서에 의해 실행되는 경우 제어기(10)의 동작을 생성하는 소프트웨어 명령 10을 저장한다.
디지털 카메라(9)는 예를 들어 센서의 2 차원(2D) 매트릭스를 포함하며, 여기서 각각의 센서는 결정된 시간 동안 국소 형광 강도를 검출하도록 구성된다.
디지털 카메라(9)는 제어기(10)로부터 캡쳐 명령의 수신 시에 이미지를 캡쳐하도록 구성된다.
디지털 카메라(9)가 조명원(1)에 의해 현재 조명되는 샘플의 이미지를 캡쳐하는 경우, 각각의 센서는 각각의 국소 형광 강도를 검출하고, 그 다음에 카메라(9)는 각각의 센서에 대응하는 각각의 픽셀에 대해, 센서에 의해 검출된 국소 형광 강도의 함수로서 각각의 픽셀 강도를 결정한다.
그 다음에, 디지털 카메라(9)는 픽셀의 매트릭스로 구성된 이미지를 제공하도록 구성된다(픽셀의 매트릭스에서 픽셀의 위치는 센서 매트릭스에서 대응하는 센서의 위치와 동일하다).
도 3은 카메라(9)의 센서 매트릭스의 저면도를 나타낸다. 상기 센서 매트릭스는 축 x에 평행한 L 센서 가로줄(rank) 및 축 y에 평행한 I 센서 열을 갖는다. 도 3의 이 뷰는 카메라(9)에 의해 캡쳐된 이미지의 L×I 픽셀의 매트릭스를 나타내는 것으로 또한 고려되며, 여기서 I는 축 x에 대응하는 이미지 차원 X를 따른 매트릭스의 크기이고, L은 축 y에 대응하는 이미지 차원 Y에 따른 매트릭스의 크기이다.
모션 블록(11)은 제어기(10)로부터 변위 명령을 수신하고, 명령된 변위를 규정하는 그러한 명령의 수신 시에 명령된 변위에 의해 플랫폼(6)을 이동시키도록 구성된다.
광학 현미경(21)의 동작이 이후에서 설명된다.
조명원(1)은 단색광을 방출한다.
필요하다면, 샘플로부터의 형광(여기 파장)을 포함하는 파장의 함수로서, 방출된 광은 방출된 광으로부터 여기 파장과 구별되는 파장을 거부하도록 광학 LASER(Light Amplification by Stimulated Emission of Radiation) 필터(1a)에 의해 클리닝된다.
광의 시준은 공간 필터(2)의 사용에 의해 얻어진다.
그에 따라 시준된 입사광의 여기 광선은 플랫폼(6)에 의해 지지되는 샘플(5) 상에 포커싱된 회절 제한된 스팟(14)을 생성하기 위해 다이크로익 미러(3)(알려진 바와 같이, 다이크로익 미러(3)는 여기 빔을 플랫폼(6)에 낙하시키고, 형광 광은 디지털 카메라(9)로 반사시킨다), 및 대물렌즈(4)를 통과한다.
스팟(14)에 의해 커버된 샘플(5)의 구역에 의해 방출된 형광 광은 샘플 이미지를 확대하는 대물렌즈(4)를 통해 입사 광학 경로를 따라 다이크로익 미러(3)로 복귀하고, 관심 형광 파장(들)만을 유지하는 방출 필터(7)를 향해 계속된다.
(선택적) 조합 렌즈(8)은 카메라 센서 매트릭스(9) 상에 제공된 형광 광을 추가로 확대시킨다.
카메라(9)의 센서 매트릭스는 스팟(14)에서의 샘플 구역에 의해 방출된 형광 광이 센서 매트릭스를 향해 수집되도록 스팟(14)에 대하여 위치된다.
알려진 바와 같이, 형광 측정은 입사광의 펄스가 샘플에 도달할 것을 요구한다. 이것은 소스(1)의 출구에 셔터(미도시)를 위치시킴으로써 얻어진다.
이미징될 샘플 표면은 z 축에서 포커싱되어야 한다.
그러한 초점은 예를 들어 대물렌즈(4)에 부착된 피에조 디바이스에 의해, 또는 제어기(10)에 의해 플랫폼(6)의 축 z를 따른 변위를 모션 블록(10)에 명령함으로써 예비적으로 얻어진다.
일 실시예에서, 일정 강도(연속파 - Continuous Wave, CW) 또는 펄스화된 조명원(1)으로서 LASER가 사용된다.
일 실시예에서, 형광 광에 대한 대물렌즈(4)의 배율은 요구되는 바와 같이 디지털 카메라의 사양 및 렌즈 조합(8)의 줌에 의해 규정되는 범위 내에 있다.
디지털 카메라(9)는 예를 들어 (EM)CCD((Electron Multiplying) Charge Coupled Device) 유형 또는 CMOS(Complementary Metal Oxide Semiconductor)와 같은 2D 검출기이다. 2D 검출기는 요구되는 경우, 1D 검출기 또는 포인트 검출기로 교체될 수 있다. 이 후자의 경우에, B0는 이하에 설명되는 설명에서 I×L과 동일하다.
숫자 L과 I는 예를 들어 [128, 512]의 범위 내에 있다.
일 실시예에서, 각각의 EMCCD 픽셀은 s×s ㎛2의 정사각형이며, 여기서 s는 [6 ㎛, 15 ㎛]의 범위 내에 있다.
예를 들어, NA=1.45의 대물렌즈를 사용할 때, 평면 (x, y)에서 스팟(14)의 직경은 [150nm, 350nm]의 범위 내에 있다.
여기서 이러한 위의 값들은 물론 단지 예로서 주어지며 사용된 카메라의 유형에 따라 다르다.
일 실시예에서, 다이크로익 미러(3)에 도달할 때 시준된 빔이 모두 동일한 궤적을 갖도록 조명원의 조합이 사용될 수 있다. 레이저빔의 상이한 극성으로 인한 임의의 잠재적인 인공물을 제거하기 위해, 다이크로익 미러(3)에 입사되어 편광이 소멸된다. 우선, 모든 레이저 빔의 극성은 선형 편광자(1b)에 의해 동일한 방향으로 배향된다. 두 번째로, 무색 탈편광자(1c)에 결합된 원형 편광자의 어셈블리(1c)는 공간 필터(2) 직후에 광학 경로에 삽입된다. 대안으로, 파장 및 레이저 출력 파워의 조합이 너무 다양하다면, 각각의 레이저 빔은 탈편광자(1c)에 도달하기 전에 그 자체의 공간 필터(2)를 가질 것이다. 따라서, 빔은 공간 필터(2) 후에 수렴할 것이다. 완전히 탈편광된 빔의 사용이 요구되는 것으로 고려되지 않는다면, 이 옵션은 공간 필터(들)(2)만을 남겨두고 광학 경로로부터 제거될 수 있다.
본 발명의 일 실시예에 따르면, 다음 단계가 시스템(21)에 기초하여 구현된다.
고려된 실시예에서, 스팟(14)은 본 발명에 따른 초 해상도 이미지의 구성 동안 카메라(9)에 대해 이동하지 않는다.
제 1 단계(101)에서, 센서의 블록 B0가 카메라(9)의 I×L 센서 중에서 선택된다. B0 내의 센서의 수 n은 I×L보다 절대적으로 적다.
블록 B0의 센서는 센서 매트릭스에서 정사각형을 형성한다.
블록 B0의 센서는 센서 매트릭스를 형성하는데, 이는 임의의 형상(정사각형, 직사각형, 타원형, 선형 어레이, 단일 포인트 등)일 수 있다. 여기서는, 블록 B0이 차원 n의 제곱인 경우를 고려할 것이다.
예를 들어, n은 1, 또는 적합한 것으로 간주되는 임의의 다른 크기와 같다. n의 값은 예를 들어 4, 16, 25보다 작다.
센서의 블록 B0은 센서의 블록 B0에 대응하는 픽셀의 블록이 임의의 캡쳐된 이미지의 스팟(14)의, 도 3에서 참조부호가 A인 이미지 내에 위치되도록 더 선택된다. 이는 센서의 블록 B0에 대응하는 픽셀의 블록의 크기가 회절 스팟(14)의 이미지의 크기보다 작다는 것을 의미한다(센서의 블록 B0에 대응하는 픽셀의 블록은 실제로 회절 스팟(14)의 이미지 내부에 있다).
다음에서, n=1이 고려된다: B0는 센서의 매트릭스의 (n0, m0) 센서, 즉 센서의 매트릭스에서 위치 (n0, m0)의 센서만을 포함한다.
단계(102)에서, 샘플(5)의 ROI가 규정되는데, 예를 들어 도 2의 평면도의 평면에서 직사각형 O1, O2, O3, O4에 의해 규정된 ROI가 정의되고, 이 ROI의 정의가 제어기(10)에 제공된다.
예를 들어, ROI는 전체 원핵 생물 또는 더 큰 생물학적 샘플(5)에서 작은 서브 세포 구조, cf. 액틴 필라멘트로 한정된다.
이후로 d라고 불리는 거리 스텝의 값이 규정되며, d는 예를 들어 오퍼레이터에 의해 선택된다.
d의 값은 광학 현미경(21)의 회절 한계보다 절대적으로 작다: d＜
, 여기서 
는 조명원(1)의 파장이고, NA는 대물렌즈(4)에서의 렌즈의 개구수이다.
예를 들어, 회절 한계가 200 nm인 경우에, d는 [15 nm, 50 nm]의 범위 내에서 선택된다.
그 다음에, 제어기(10)는 이후에 상세하게 설명되는 바와 같이 반복되는 단계(103 및 104)에서 ROI의 초기 포인트로부터 축 x를 따라 또는 축 y를 따라 거리 스텝 d에 의해 ROI의 점진적 스캐닝을 명령할 것이다.
우선, 플랫폼(6)의 초기 변위가 플랫폼(6)의 현재 위치에 대하여 제어기(10)에 의해 결정된다.
고려된 실시예에서, 플랫폼(6)의 초기 변위는 포인트 O1 상에 포커싱된 회절 제한된 스팟(14)을 먼저 다이렉팅하도록 제어기(10)에 의해 결정된다.
결정된 초기 변위를 나타내는 변위 명령은 제어기(10)에 의해 모션 블록(11)에 제공된다.
이 변위 명령의 수신 시에, 플랫폼(6)은 스팟(14)이 포인트 O1을 커버하도록 모션 블록에 의해 위치된다.
단계(103)의 첫 번째에서, 제어기(10)는 이미지 명령을 카메라(9)에 전송함으로써 이미지의 캡쳐를 트리거하는데 반해, 스팟(14)은 포인트 O1을 커버한다.
이 캡쳐 명령의 수신 시에, 카메라(9)는 센서 매트릭스에 의해 수집된 현재 형광 광의 함수로서 이미지를 캡쳐한다.
제어기(10)는 캡쳐된 이미지로부터, 이 첫 번째에서 B0에 대응하는 픽셀의 블록을 추출한다. 따라서, 고려된 실시예에서, (n0, m0) 센서에 대응하는 픽셀 P(n0, m0)(즉, 픽셀의 매트릭스에서 위치 (n0, m0)의 픽셀)의 강도를 추출한다.
이 추출된 강도는 Int(n0, m0)1 ,1이라고 한다.
상기 강도 Int(n0, m0)1 ,1은 도 4를 참조하여 초 해상도 이미지(22)의 픽셀의 매트릭스에서 위치 (1,1)의 픽셀의 강도로서 저장된다.
그 다음에, 단계(104)의 첫 번째 반복에서, 제어기(10)는 스팟(14)이 [O2, 03]에 의해 규정된 ROI의 한계의 방향으로 x를 따라 플랫폼(6) 상의 샘플(5)에 대해 변위되도록, 현재 위치로부터 축 x를 따른 d의 변위를 모션 블록(11)에 명령한다.
그리고, 모션 블록(11)은 변위 명령의 수신 시에, 수신된 변위 명령에 따라 플랫폼(6)을 변위시킨다.
그 다음에, 단계(103)의 두 번째 반복에서, 제어기(10)는 이미지 명령을 카메라(9)에 전송함으로써 이미지의 캡쳐를 트리거한다.
이 캡쳐 명령의 수신 시에, 카메라(9)는 (축 x를 따라 O1로부터 거리 d 만큼 시프트된 샘플 구역으로부터 방출된) 센서 매트릭스에 의해 수집된 현재 형광 광의 함수로서 이미지를 캡쳐한다.
제어기(10)는 캡쳐된 이미지로부터, 단계(103)의 이 두 번째 반복에서 B0에 대응하는 픽셀의 블록을 추출하는데, 따라서 고려된 실시예에서는, (n0, m0) 센서에 대응하는 픽셀 P(n0, m0)의 강도를 추출한다.
이 강도는 Int(n0,m0)1 ,2라고 한다.
상기 강도 Int(n0,m0)1 ,2는 도 4를 참조하여 초 해상도 이미지(22)의 픽셀의 매트릭스에서 위치 (1,2)의 픽셀의 강도로서 저장된다.
초 해상도 이미지(22)에서, 이 픽셀은 이전에 저장된 강도 Int(n0, m0)1 ,1의 픽셀에, 축 X를 따라 인접한다.
그 다음에, 단계(104)의 두 번째 반복에서, 제어기(10)는 스팟(14)이 (02, 03)에 의해 규정된 ROI의 한계의 방향으로 x를 따라 플랫폼(6) 상의 샘플(5)에 대해 변위되도록, 현재 위치로부터 축 x를 따른 d의 변위를 모션 블록에 명령한다.
그리고, 모션 블록(11)은 변위 명령의 수신 시에, 수신된 변위 명령에 따라 플랫폼(6)을 변위시킨다.
단계(103 및 104)의 그룹은 N번째 반복까지 축 x를 따라 반복되며, 여기서 플랫폼의 위치는 스팟(14)이 포인트 02에 다이렉팅되도록 한다.
단계(103)의 상기 N번째 반복에서, 픽셀 P(n0,m0)의 강도 Int(n0,m0)1,N은 초 해상도 이미지(22)의 픽셀의 매트릭스에서 위치 (1,N)의 픽셀의 강도로서 저장된다. 초 해상도 이미지(22)에서, 이 픽셀은 이전에 저장된 강도 Int(n0,m0)1,N -1의 픽셀에 축 X를 따라 인접한다.
제어기(10)는 축 x를 따른 ROI의 한계에 도달되었다는 것을 검출하며, 단계(104)의 N번째 반복에서, 제어기(10)는 스팟(14)이 (03, 04)에 의해 규정된 ROI의 한계의 방향으로 y를 따라 플랫폼(6) 상의 샘플(5)에 대해 O2로부터 변위되도록, 현재 위치로부터 이번에는 축 y를 따른 d의 변위 명령을 모션 블록(11)에 명령한다.
그리고, 모션 블록(11)은 변위 명령의 수신 시에, 수신된 변위 명령에 따라 플랫폼(6)을 변위시킨다.
그 다음에, 단계(103)의 N+1번째 반복에서, 픽셀 P(n0,m0)의 강도 Int(n0,m0)2,N은 초 해상도 이미지(22)의 픽셀의 매트릭스에서 위치 (2,N)의 픽셀의 강도로서 저장된다.
초 해상도 이미지(22)에서, 이 픽셀은 이전에 저장된 강도 Int(n0,m0)1,N의 픽셀에 축 Y를 따라 인접한다.
그 다음에, 단계(104)의 N+1번째 반복에서, 스팟(14)이 (01, 04)에 의해 규정된 ROI의 한계의 방향으로 x를 따라 플랫폼(6) 상의 샘플(5)에 대해 변위되도록, 현재 위치로부터 축 x를 따른 d의 변위가 제어기(10)에 의해 모션 블록(11)에 명령된다.
그리고, 모션 블록(11)은 변위 명령의 수신 시에, 수신된 변위 명령에 따라 플랫폼(6)을 변위시킨다.
단계(103 및 104)의 그룹의 연속적인 반복이 적용되어, ROI의 측 (O1, 04)를 향해 축 x를 따라 스텝 d만큼 스팟(14)을 변위시키고, 따라서 단계(103)의 2N번째 반복에서 도달된 Int(n0,m0)2,N에서 Int(n0,m0)2 ,1까지의 초 해상도 이미지(22)의 픽셀의 제 2 가로줄을 구성한다.
그 다음에, 단계(104)의 2N번째 반복에서, 본원의 이하에에서의 설명과 유사하게, 제어기(10)는 그러면 축 x를 따른 ROI의 한계에 도달되었다는 것을 검출하고, 그 결과, 단계(104)의 2N번째 반복에서, 제어기(10)는 스팟(14)이 (03, 04)에 의해 규정된 ROI의 한계의 방향으로 y를 따라 현재 위치로부터 변위되도록, 현재 위치로부터 축 y를 따른 d의 변위 명령을 모션 블록(11)에 명령한다.
그리고, 모션 블록(11)은 변위 명령의 수신 시에, 수신된 변위 명령에 따라 플랫폼(6)을 변위시킨다.
그리고, 유사한 반복은 모든 ROI가 각각 거리 d의 연속적인 변위에 의해 스팟(14)에 의해 스캐닝될 때까지 프로세싱된다.
ROI가 직사각형인 고려된 경우에서, 결과 초 해상도 이미지(22)는 픽셀의 M개의 가로줄 및 N개의 열을 포함하고, 여기서 
이고, E는 "정수 부분" 함수이고 
는 2개의 포인트 P 및 P' 사이의 거리를 제공하는 함수이다.
그러나 다른 실시예에서, ROI는 다양한 형상을 가질 수 있고, 제어기(10)는 전체 ROI를 스캔하고 이 ROI에 대한 초 해상도 이미지를 구성하도록 구성된다.
일 실시예에서, 본 발명에 따른 서브 회절 변위를 통한 평면 (x, y)에서의 스캔 및 연속적으로 추출된 픽셀 블록에 의한 초 해상도 이미지의 구성은 수집되면 각각의 평면 z에 대해 되풀이된다(즉, 샘플을 통한 연속적인 층에 대해 되풀이되며, 따라서 3D 초 해상도 이미지를 구성한다).
본원의 이하에서, 제공된 초 해상도 이미지는 축 x 및 y에 의해 규정된 평면에서의 스캔에 대응한다. 다른 실시예에서, 초 해상도 이미지의 스캔 및 구성은 축 x 및 축 z에 의해, 또는 축 y 및 축 z에 의해 규정된 평면에서 달성된다. 그 다음에, 본원의 이하에서 설명된 바와 같이, 축 x 및 축 y 대신에 고려된 축 x 및 축 z 또는 축 y 및 축 z를 따라 서브 회절 변위가 달성된다.
본원의 이하에서 개시된 상세한 실시예에서, 블록 B0에서의 숫자 n은 1과 동일한 것으로 고려되었다.
n이 1보다 큰 경우에, 프로세스는 유사하다.
따라서, 제 1 이미지 및 제 2 이미지가 연속적인 단계(103)에서 캡쳐되는 경우, 제 1 이미지에 대한 플랫폼(6)의 위치는 (각각) 축 x(축 y)를 따른 방향으로 회절 한계보다 작은 변위 d만큼 제 2 이미지에 대한 플랫폼(6)의 위치로부터 분리되며, 초 해상도 이미지는 픽셀의 제 1 블록을 포함할 것이며, 상기 픽셀의 제 1 블록은 제 1 이미지에서 n개의 센서의 블록 B0에 대응하는 픽셀의 블록이다. 그리고, 초 해상도 이미지는 (각각) 축 X(축 Y)를 따르는 방향에서 상기 픽셀의 제 1 블록에 인접한 픽셀의 제 2 블록을 더 포함하며, 상기 픽셀의 제 2 블록은 제 2 이미지에서 n개의 센서의 블록 B0에 대응하는 픽셀의 블록이라는 것 등이다: 초 해상도 이미지는 각각의 서브 회절 변위 후에 블록 B0에 의해 연속적으로 캡쳐된 픽셀의 블록에 의해 구성된다. 언급된 바와 같이 일련의 이미지가 수집되고 형광 이미지가 재구성된 후에(단계 103-104), 일부 실시예에서는 요구되는 경우 (평평한) 배경을 제거하는 추가 단계가 구현된다; 그러면, (형광 현미경 검사를 고려하는 경우) 형광 이미지의 데이터는 특정 영역의 상부 형광 강도 값만이 나타내어지도록 일 실시예에서 크롭핑된다. 이는 이웃 발광체로부터의 형광 신호의 중첩을 제거/감소시킴으로써 개별 형광체를 더 잘 구별할 수 있게 한다.
명확하게 하기 위해, 획득 프로토콜(단계 103-104)로부터 재구성된 형광 이미지가 0(최소)에서 1(최대)까지의 정규화된 강도 범위를 갖는 것으로 고려한다. 가장 간단한 경우에, 단순한 배경이 제거될 수 있다(예를 들어, 초 해상도 이미지의 각각의 2D 서브 이미지에 있어서, 일 실시예에서 비 형광 구역으로부터 얻어진 이미지로부터 추정된 배경 잡음 강도의 추정치가 2D 서브 이미지의 픽셀 강도로 감산된다). 그 다음에, 결과 형광 이미지는 1에서 X%까지 스케일링될 수 있으며, 여기서 X는 1보다 작은 사용자 규정 정규화된 강도 값을 나타낸다: X% 아래의 강도 값은 0과 동일한 값으로 대체되며, X%를 넘는 강도 값 V는 (1-X%)V로 변환된다.
이는, 도 9에 도시된 예에서와 같이, 재구성된 신호의 최상위 X%(예를 들어, 30%)만을 나타내는 플롯을 초래하며, 여기서 상이한 형광체는 서로 크게 간섭하지 않는 것으로 간주된다. 배경의 제거, 특히 X의 값은 각각의 관심 샘플에 따라 특정된다. 그러한 값은 예비 단계에서 추정된다.
대안적으로, 일련의 정규화된 강도 슬라이스가 1에서 Xa, Xa에서 Xb, Xb에서 Xc 등의 범위에서 재현될 수 있으며, 여기서 a, b, c 등은 사용자 규정 강도 값을 나타낸다.
본원의 이하에서 상세히 설명되는 실시예에서 고려되는 샘플은 생물학적 샘플이지만, 샘플은 다른 실시예에서는 비 생물학적일 수 있다.
이하에서 설명되는 실시예에 따르면, 이미징될 샘플은 시준된 광의 고정된 빔 및 고정 된 카메라에 대해 이동된다. 그러나 다른 실시예에서는, 샘플은 고정되는 반면에, 시준된 빔 및 고정된 카메라의 어셈블리에 모션이 적용된다.
변위는 단계적으로 또는 일정한 모션에 의해 적용될 수 있다.
일 실시예에서, 블록 B0의 크기 n을 고려하면, 단계(101)에서 블록 B0의 센서(들)는 다음의 방식에 따라 선택된다: 샘플(5)은 스팟(14)이 형광 비드를 포함하는 샘플(5)(또는 형광 비드를 포함하는 상이한 테스트 샘플이 사용됨)의 테스트 구역 상으로 다이렉팅되도록 변위된다. 이미지는 카메라(9)에 의해 캡쳐된다. 스팟(14)의 이미지 내의 n개의 픽셀의 모든 블록에 의해 제공되는 이미지의 섹션은 신호의 품질을 검사함으로써, 그리고 예를 들어 알려진 샘플의 형광 특성을 참조하여 가장 잘 포커싱된 섹션을 결정하기 위해 분석된다. 종종 형광 강도의 거의 완벽한 가우시안 분포(응집되지 않았을 경우)를 제공하는 형광 마이크로스피어(ca. 50 내지 2000 nm 사이로 규정된 직경을 가짐)가 가장 잘 포커싱된 섹션을 결정하는 데 사용된다. 그러면, 최상의 포커스를 갖는 픽셀의 블록에 대응하는 센서의 블록이 블록 B0으로서 선택된다.
이러한 배치는 초 해상도 이미지를 손상시킬 임의의 추가적인 산란되는 광을 방지한다.
샘플(5)의 형광원이 별개의 방출원을 초래하고, 넓은(a carpet of) 형광 강도를 초래하도록 집중되지 않는다면, 초 해상도 이미지의 품질이 개선될 것이다.
본 발명에 따른 방법이 샘플로서, 대장균 세포에서, 형광 물질 GFP(Green Fluorescent Protein)로 표지된 DNA 결합 단백질, H-nS 단백질에 적용되었다. 본 발명의 결과에 따라 얻어진 이미지는 <Wang 등, Science (2011) 333, 1445-1449>에서 발표된 결과에 따른 STORM이라 불리는 초 해상도 기술을 사용하여 얻어진 이미지와 비교하여 우수한 해상도를 나타낸다.
예시로서, 도 10 내지 도 15는 H-NS-GFP 융합을 관찰하는 경우 본 발명에 따라 얻어진 이미지와 STORM 이미지의 성과를 비교하고 살아있는 세포에서 2개의 포커스를 형성하는 것을 가능하게 한다.
이들 수치에 대한 간략한 설명은 수행된 경험을 설명하고 본 발명에 따라 얻어진 이미지와 STORM 이미지의 성과를 비교하기 전에 이루어진다.
도 10은 GFP로 표지된 대장균 세포의 Wang 외(2011)의 재구성된 STORM 이미지이다. STORM 이미지는 고전적인 공초점 형광 이미지 위에 중첩된다. 따라서, 정사각형은 EMCCD 카메라(Ixon DV897DCS-BV, Andor)의 픽셀이다. 윤곽은 박테리아 세포의 한계를 나타낸다. 2개의 강렬한 보간된 스팟은 GFP 표지된 H-NS 단백질의 좌위(locus)를 나타낸다.
도 11은 본 발명에 사용된 EMCCD 카메라(Ixon 987 Ultra, Andor)에 의해 캡쳐된 GFP로 표지된 대장균 세포의 고전적인 공초점 형광 이미지이다. 사각형은 EMCCD 카메라의 픽셀에 해당한다. 본 발명에 사용된 카메라의 픽셀 크기는 STORM 이미지(도 10)의 픽셀 크기와 동일하므로, 본 발명에 따른 공초점 형광 이미지는 Wang 외(2011)의 문헌에 나타내어진 것과 유사하다.
도 12는 고전적인 공초점 형광 이미지 위에 중첩된 본 발명을 사용하여 GFP로 표지된 대장균 세포의 재구성된 이미지이다. 정사각형은 본 발명에 따라 50 nm 단위(vis. 변위 증가)를 나타낸다. 2개의 강렬한 스팟은 유의미한 신호 강도 정보를 포함하며, GFP 표지된 H-NS 단백질의 공간 분포를 나타낸다. 박테리아 세포의 윤곽은 명료하게 관찰될 수 있으며, (a) 및 (b)는 특히 도 13에서의 고전적인 공초점 형광 이미지와 비교한 경우, 히스토그램에서 강화된 신호 정보를 강조하도록 표시된 위치이다(도 14 및 도 15 참조).
도 13은 EMCCD 카메라(Ixon 987 Ultra, Andor)에 의해 캡쳐된 GFP로 표지된 대장균 세포의 고전적인 공초점 형광 이미지이다. x, y 좌표는 카메라 픽셀 위치(이 경우, 512×512 배열)로 주어진다. 검은 십자선은 강도 단면(히스토그램)의 위치를 표시한다. CCD에서 강도는 중요하다. 스케일 바는 500 nm이다.
도 14는 도 12에서의 단면 (a)에 의해 입증된 바와 같은 본 발명을 사용하여 얻어진 공간 해상도 및 신호대 잡음의 요약이다. x, y 단위는 나노미터이며, 도면에서 관찰되지 않는 원점을 기준으로 한다. 히스토그램에서의 데이터는 보간되지 않으며, 본원에서 설명된 이미징 방법으로부터의 출력, 이 경우에 X 평면과 Y 평면에서의 변위 거리 50 nm을 나타낸다.
도 15는 도 12에서의 단면 (b)에 의해 입증된 바와 같은 본 발명을 사용하여 얻어진 공간 해상도 및 신호대 잡음의 요약이다. x, y 단위는 나노미터이며, 도면에서 관찰되지 않는 원점을 기준으로 한다. 히스토그램에서의 데이터는 보간되지 않으며, 본원에서 설명된 이미징 방법으로부터의 출력, 이 경우에 X 평면과 Y 평면에서의 변위 거리 50 nm을 나타낸다.
도 10은 Wang 외에 의해 얻어진 대응하는 이미지를 도시한다. 도 11은 H-NS-GFP를 발현하는 대장균의 밝은 부분 이미지를 도시하고, 도 12는 본 발명으로 얻어진 초 해상도 형광 이미지를 나타낸다. H-NS-GFP를 발현하는 대장균 MG1655Z1의 배양물 수확되었고, 세포는 인산 완충 식염수로 세척되고, 포름알데히드(Sigma, Saint-Louis, USA)로 고정되고, 그 다음에 유리 커버슬립 사이에 끼워 넣어진 아가로스(Invitrogen, Carlsbad, USA) 베드 위에 층층이 놓였다(Xiao 외, 2007, in Single Molecule technics: A laboratory Manual, P. Selvin, T.Ha, Eds. 5cold Spring Harbor Laboratory Prees, pp149-170). OBIS 레이저(Coherent, Les Ulis, France)에 의해 488nm의 여기 파장이 제공되었고, 100x CFI PlanApochromat 대물 렌즈를 갖춘 Nikon-Ti 현미경에 장착되고 EMCCD 카메라(Ixon 987 Ultra, Andor)와 커플링된 59904-ET-488/561 nm Laser Dual Band Set(Chroma Technology Corporation, Bellows Falls, USA)로 형광 데이터가 수집되었다. 개별 이미지는 20 ms의 획득 시간으로 기록되었고, 본원에서 설명된 바와 같이 재구성된 이미지가 생성되었다.
이미지의 스케일은 동일하다. 이것은 질적 비교를 수행하는 것을 가능하게 한다. 수치(figure)를 고려할 때, 본 발명의 방법으로 두 포커스 모두를 분리하는 것이 시각적으로 더 쉬워 보인다.
도 13 내지 도 15는 도 11과 도 12 사이의 양적 비교를 가능하게 한다. 예를 들어, 최대 강도의 절반에서 두 광 분포 모두가 여전히 구분 가능한 경우 해상도가 2개의 광 분포를 구분하는 능력에 의해 규정된다고 가정하면, 도 11에 따른 방법의 해상도는 2개의 포커스를 구분하는 데 충분하지 않은 데 반해, 본 발명의 방법의 해상도는 2개의 포커스를 구분하기에 충분하다.
이는 실험적으로 본 발명의 방법이 보다 우수한 해상도를 제공함을 보여준다.
도 16은 위의 예의 것보다 우수한 해상도로 본 발명에서 기술된 장비에 의해 어떤 이미지가 생성될 수 있는지를 도시한다. 이미지는 총 핵산 함량을 보여주기 위해 염색된 대장균 세포의 이미지이다.
보다 정확하게, 도 16은 핵산(DNA 및 RNA)의 검출을 위해 SYBR® gold(Invitrogen)로 염색된 대장균 MG1655Z1 세포의 형광 이미지이다. 세포는 두 개의 주요 좌위에 의해 입증되는 바와 같이 세포 분열을 겪고 있다. 히스토그램은 수직선에 따른 형광 강도를 나타낸다. 이미지 및 히스토그램에서의 데이터는 보간되지 않았으며, 본원에서 설명된 이미징 방법으로부터의 출력을 나타낸다. 우리의 발명에 따르면, X 및 Y 평면에서 15 nm의 변위 거리로; 재구성된 이미지의 각각의 픽셀은 15 nm × 15 nm의 단위 크기를 나타낸다.
결과 XY(Z) 이미지의 해상도는 2D 검출기의 픽셀 크기뿐만 아니라 서브 회절 제한 기계적 변위의 증가량 d에 따라 달라진다. 예를 들어, <Donnert 외, Proc Natl Acad Sci U S A. 2006,103, 1 1440-1 1445>에 의해 규정된 바와 같이, 40 nm보다 우수한 해상도는 다음의 하드웨어로 488 nm의 여기 파장으로 얻을 수 있다: 광학 현미경(21) - Nikon Ti; 대물 렌즈(4) - Nikon 100x CFI Plan Apochromat; 변위 블록(11) - Physik Instrumente; 나노 포지셔닝 스테이지 P-733 및 디지털 카메라(9) - Andor iXon Ultra 897.
본 발명의 이 실시예에 따른 초 해상도는 기본적으로 보통의 epi-형광 현미경(진동이 없는 환경에 설치됨)을 고전적인 형광 현미경 검사와 동일한 실험 조건 하에서 고 정밀도의 이동 플랫폼, 및 이미지를 재구성하는 적절한 소프트웨어와 결합시켜 달성된다: 따라서 매우 많은 실험실에서 초 해상도에 접근 가능하게 한다.
특정 실시예가 본원에서 형광 현미경에 대하여 상기에서 설명되었다.
물론, 본 발명은 상이한 유형의 현미경 검사: 예를 들어, 투과, 산란 또는 흡수 현미경 검사에 기초하여 초 해상도 이미지를 생성하도록 구현 가능하다.
그러한 경우에, 단계 ii)는 포커스를 벗어난 방출자 및/또는 산란자의 영향을 최소화하도록 의도된 배경을 제거하는 것으로 해석될 수 있다.
형광 현미경 검사에서, 조명 광(여기 파장(들)) 및 캡쳐된 광(방출 파장(들))은 동일하지 않은데 반해, 투과(T) 현미경 검사 및 흡수(A) 현미경 검사에서 그것들을 동일하다. 광을 투과시키는 능력은 흡광도 A라는 용어로 표현되며, 이는 보통 
로 쓰여지고, 여기서 I 및 10은 각각 (입사 방사선이라고 하는) 조명 광의 강도(단위 구역 당 파워) 및 (투과된 방사선이라고 하는) 캡쳐된 광으로 규정된다. 산란 현미경 검사에서, 조명 광은 물체에 의해 그리고 2D 검출기에 의해 기록된 캡쳐된 광으로서 (탄성적으로 또는 비탄성적으로) 반사된다.
따라서, 본 발명은 연구의 대상이 포커싱된 광원으로 조명되는 동안에 2 차원(x, y) 또는 3 차원(x, y, z)에서의 서브 회절 길이 변위에 의해 아베 회절 한계의 것보다 우수한 유효 해상도를 갖는 샘플의 이미지를 얻는 것을 가능하게 한다. 데이터 획득 중에, 연구 샘플은 시준된 광의 고정된 빔에 대해 이동하는 xy(z) 스테이지에 보관된다. 대안적으로, 레이저 빔이 공진 스캐닝 거울과 같은 적응 광학기에 의해 연구 대상을 스캔하는 동안에 xy(z) 스테이지는 x 축 및 y 축에 고정될 수 있다.
본 발명은 포커싱된, 회절 제한된, 단색 조사 스팟 내에서부터 방출되는 불균일한 광 분포를 이용한다.
Claims (12)
- 광학 현미경(21) 및 변위 블록(11)에 기초하여 물체(5)의 초 해상도 이미지(22)를 얻는 이미징 방법으로서,
상기 광학 현미경(21)은 상기 물체(5)의 이미지를 캡쳐하도록 구성되고,
상기 광학 현미경(21)은:
상기 물체(5)를 지탱하기 위한 지지판(6),
상기 물체(5)를 조명하기 위한 조명 빔을 생성하도록 구성된 조명원(1),
상기 지지판 상에 상기 조명 빔을 포커싱하기 위한 광학 요소(4)로서, 포커싱된 조명 빔(14)에 의해 현재 조명되는 상기 지지판 상의 상기 물체의 섹션은 타겟 영역으로 지칭되는, 광학 요소(4),
상기 타겟 영역의 이미지를 캡쳐하기 위한 센서의 매트릭스를 포함하는 디지털 카메라(9)로서, 각각의 센서는 각각의 픽셀 값을 제공하는, 디지털 카메라(9)를 포함하고,
상기 변위 블록(11)은 서로 수직인 3개의 축 x, y, z 중에서 적어도 2개의 변위 축을 따라 상기 포커싱된 조명 빔 및 상기 디지털 카메라(9)에 대해 상기 지지판(6)을 변위시키도록 구성되고, 축 x 및 축 y는 상기 지지판(6)의 평면을 규정하고, 상기 적어도 2개의 변위 축(x, y)은 상기 초 해상도 이미지(22)의 2개의 대응하는 수직 이미지 축(X, Y)을 규정하고,
상기 방법은:
- 상기 디지털 카메라(9)에 의해, 상기 포커싱된 조명 빔(14)에 의해 현재 조명되는 상기 타겟 영역의 제 1 이미지를 캡쳐하는 단계로서, 상기 타겟 영역의 상기 제 1 이미지는 상기 타겟 영역의 회절 스팟 이미지에 대응하는, 상기 타겟 영역의 제 1 이미지를 캡쳐하는 단계;
- 캡쳐된 제 1 이미지로부터, 상기 센서의 매트릭스의 서브 매트릭스(B0)에 의해 제공된 픽셀 값의 제 1 블록을 추출하는 단계로서, 상기 센서의 매트릭스의 상기 서브 매트릭스(B0)는 상기 서브 매트릭스(B0)가 상기 타겟 영역의 상기 회절 스팟 이미지 내에 위치되도록 선택되는, 픽셀 값의 제 1 블록을 추출하는 단계;
- 상기 픽셀 값의 제 1 블록을 상기 초 해상도 이미지의 픽셀 값의 제 1 블록으로서 저장하는 단계;
- 서브 회절 제한 거리만큼, 상기 변위 축 중 하나를 따라 변위 상기 블록(11)에 의해 상기 지지판(6)을 변위시키는 단계;
- 상기 디지털 카메라(9)에 의해, 상기 포커싱된 조명 빔(14)에 의해 현재 조명되는 상기 타겟 영역의 제 2 이미지를 캡쳐하는 단계로서, 상기 타겟 영역의 상기 제 2 이미지는 상기 타겟 영역의 상기 회절 스팟 이미지에 대응하는, 상기 타겟 영역의 제 2 이미지를 캡쳐하는 단계;
- 캡쳐된 제 2 이미지로부터, 상기 센서의 매트릭스의 상기 서브 매트릭스(B0)에 의해 제공된 픽셀 값의 제 2 블록을 추출하는 단계; 및
- 상기 픽셀 값의 제 2 블록을 상기 초 해상도 이미지의 픽셀 값의 제 2 블록으로서 저장하는 단계로서, 상기 픽셀 값의 제 2 블록은 하나의 상기 변위 축(x, y)에 대응하는 이미지 축(X, Y)을 따라 상기 초 해상도 이미지에서 상기 픽셀 값의 제 1 블록 바로 옆에 배치되는, 저장하는 단계
의 세트를 반복하는 것을 특징으로 하는, 물체(5)의 초 해상도 이미지(22)를 얻는 이미징 방법. - 제 1 항에 있어서,
상기 서브 매트릭스(B0)는 오직 하나의 센서를 포함하는, 물체(5)의 초 해상도 이미지(22)를 얻는 이미징 방법. - 제 1 항에 있어서,
상기 매트릭스의 센서는 상기 센서가 상기 지지판(6) 상의 상기 포커싱된 조명 빔(14)의 이미지의 일부를 캡쳐하는 경우에만 예비 단계에서 상기 서브 매트릭스(B0)의 센서로서 선택되는, 물체(5)의 초 해상도 이미지(22)를 얻는 이미징 방법. - 제 3 항에 있어서,
상기 매트릭스의 센서는 상기 매트릭스의 센서들 중의 센서가 상기 지지판 상의 상기 포커싱된 조명 빔(14)의 이미지의 일부를 캡쳐할 때 예비 단계에서 상기 서브 매트릭스(B0)의 센서로서 선택되며, 상기 이미지는 기하학적 포커스에 있는, 물체(5)의 초 해상도 이미지(22)를 얻는 이미징 방법. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
각각의 형광, 투과, 산란, 또는 흡수 물체와 관련된 픽셀 값으로부터 이웃하는 형광, 투과, 산란, 또는 흡수 물체의 중첩 강도를 제거하기 위해, 상기 초 해상도 이미지의 픽셀 값에 대해 배경 제거를 적용하는 단계를 포함하고 및/또는 상한 강도 값의 적어도 하나의 특정 범위 밖에 있는 상기 픽셀 값을 크롭핑하는 단계를 포함하는, 물체(5)의 초 해상도 이미지(22)를 얻는 이미징 방법. - 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 물체는 적어도 하나의 형광, 투과, 산란 또는 흡수원을 포함하고, 상기 조명원(1)은 조명된 물체로부터 형광, 투과, 산란 또는 흡수를 발생시키도록 조명 빔을 생성하도록 구성되며, 상기 디지털 카메라(9)에 의해 캡쳐된 상기 타겟 영역의 이미지는 상기 조명된 물체에 의해 발생된 형광, 투과, 산란 또는 흡수의 이미지이고, 얻게 된 초 해상도 이미지는 초 해상도 형광, 투과, 산란 또는 흡수 이미지인, 물체(5)의 초 해상도 이미지(22)를 얻는 이미징 방법. - 물체(5)의 초 해상도 이미지(22)를 얻기 위한 이미징 시스템(20)으로서,
상기 이미징 시스템(20)은 제어기(10), 광학 현미경(21), 및 변위 블록(11)을 포함하고,
상기 광학 현미경(21)은:
- 이미징될 물체(5)를 지탱하기 위한 지지판(6),
- 상기 물체(5)를 조명하기 위한 조명 빔을 생성하도록 구성된 조명원(1);
- 상기 지지판(6) 상에 상기 조명 빔을 포커싱하기 위한 광학 요소(4)로서, 포커싱된 조명 빔(14)에 의해 현재 조명되는 상기 지지판 상의 상기 물체의 섹션은 타겟 영역으로 지칭되는, 광학 요소(4), 및
- 상기 타겟 영역의 이미지를 캡쳐하기 위한 센서의 매트릭스를 포함하는 디지털 카메라(9)로서, 각각의 센서는 각각의 픽셀 값을 제공하는, 디지털 카메라(9)를 포함하고,
상기 변위 블록(11)은 서로 수직인 3개의 축 x, y, z 중에서 적어도 2개의 변위 축을 따라 상기 포커싱된 조명 빔 및 상기 디지털 카메라에 대해 상기 지지판을 변위시키도록 구성되고, 축 x 및 축 y는 상기 지지판의 평면을 규정하고, 상기 적어도 2개의 변위 축(x, y)은 상기 초 해상도 이미지(22)의 2개의 대응하는 수직 이미지 축을 규정하고;
상기 이미징 시스템(20)은, 상기 제어기(10)가:
- 상기 포커싱된 조명 빔(14)에 의해 현재 조명되는 상기 타겟 영역의 제 1 이미지를 캡쳐하도록 상기 디지털 카메라(9)에 명령하는 동작으로서, 상기 타겟 영역의 상기 제 1 이미지는 상기 타겟 영역의 회절 스팟 이미지에 대응하는, 상기 타겟 영역의 제 1 이미지를 캡쳐하도록 디지털 카메라(9)에 명령하는 동작,
- 캡쳐된 제 1 이미지로부터, 상기 센서의 매트릭스의 서브 매트릭스(B0)에 의해 제공된 픽셀 값의 제 1 블록을 추출하는 동작으로서, 상기 센서의 매트릭스의 상기 서브 매트릭스(B0)는 상기 서브 매트릭스(B0)가 상기 타겟 영역의 상기 회절 스팟 이미지 내에 위치되도록 선택되는, 픽셀 값의 제 1 블록을 추출하는 동작,
- 상기 픽셀 값의 제 1 블록을 상기 물체의 초 해상도 이미지의 픽셀 값의 제 1 블록으로서 저장하는 동작,
- 서브 회절 제한 거리만큼, 상기 변위 축 중 하나를 따라 상기 지지판(6)을 변위시키도록 상기 변위 블록(11)에 명령하는 동작,
- 상기 포커싱된 조명 빔(14)에 의해 현재 조명되는 상기 타겟 영역의 제 2 이미지를 캡쳐하도록 상기 디지털 카메라(9)에 명령하는 동작,
- 캡쳐된 제 2 이미지로부터, 상기 센서의 매트릭스의 상기 서브 매트릭스(B0)에 의해 제공된 픽셀 값의 제 2 블록을 추출하는 동작으로서, 상기 타겟 영역의 상기 제 2 이미지는 상기 타겟 영역의 상기 회절 스팟 이미지에 대응하는, 픽셀 값의 제 2 블록을 추출하는 동작, 및
- 상기 픽셀 값의 제 2 블록을 상기 초 해상도 이미지의 픽셀 값의 제 2 블록으로서 저장하는 동작으로서, 상기 픽셀 값의 제 2 블록은 하나의 상기 변위 축(x, y)에 대응하는 이미지 축(X, Y)을 따라 상기 초 해상도 이미지에서 상기 픽셀 값의 제 1 블록 바로 옆에 배치되는, 저장하는 동작
의 세트를 반복하도록 구성되는, 물체(5)의 초 해상도 이미지(22)를 얻기 위한 이미징 시스템(20). - 제 7 항에 있어서,
상기 서브 매트릭스(B0)는 오직 하나의 센서를 포함하는, 물체(5)의 초 해상도 이미지(22)를 얻기 위한 이미징 시스템(20). - 제 7 항에 있어서,
상기 제어기(10)는 상기 센서가 상기 지지판(6) 상의 상기 포커싱된 조명 빔(14)의 이미지의 일부를 캡쳐하는 경우에만 상기 매트릭스의 센서를 상기 서브 매트릭스(B0)의 센서로서 선택하도록 구성되는, 물체(5)의 초 해상도 이미지(22)를 얻기 위한 이미징 시스템(20). - 제 9 항에 있어서,
상기 제어기(10)는 상기 매트릭스의 센서들 중의 센서가 상기 지지판(6) 상의 상기 포커싱된 조명 빔(14)의 이미지의 일부를 캡쳐할 때 예비 단계에서 상기 매트릭스의 센서를 상기 서브 매트릭스(B0)의 센서로서 선택하도록 구성되며, 상기 이미지는 최상의 포커스에 있는, 물체(5)의 초 해상도 이미지(22)를 얻기 위한 이미징 시스템(20). - 제 7 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 제어기(10)는 각각의 형광, 투과, 산란, 또는 흡수 물체와 관련된 픽셀 값으로부터 이웃하는 형광, 투과, 산란, 또는 흡수 물체의 중첩 강도를 제거하기 위해, 상기 초 해상도 이미지의 픽셀 값에 대해 배경 제거를 적용하고 및/또는 상한 강도 값의 적어도 하나의 특정 범위 밖에 있는 상기 픽셀 값을 크롭핑하도록 구성되는, 물체(5)의 초 해상도 이미지(22)를 얻기 위한 이미징 시스템(20). - 제 7 항 내지 제 10 항 중 어느 한 항에 있어서,
상기 이미징 시스템은, 적어도 하나의 형광, 투과, 산란 또는 흡수원을 포함하는 물체(5)를 이미징하고 초 해상도 형광, 투과, 산란, 또는 흡수 이미지를 얻도록 구성되고, 상기 조명원(1)은 조명된 물체로부터 형광, 투과, 산란 또는 흡수를 발생시키도록 조명 빔을 생성하도록 구성되며, 상기 디지털 카메라(9)에 의해 캡쳐된 상기 타겟 영역의 이미지는 상기 조명된 물체에 의해 발생된 형광, 투과, 산란 또는 흡수의 이미지인, 물체(5)의 초 해상도 이미지(22)를 얻기 위한 이미징 시스템(20).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14307179.3A EP3037861A1 (en) | 2014-12-23 | 2014-12-23 | Imaging method, and system, for obtaining an super-resolution image of an object |
| EP14307179.3 | 2014-12-23 | ||
| PCT/EP2015/081220 WO2016102700A1 (en) | 2014-12-23 | 2015-12-23 | Imaging method, and system, for obtaining a super-resolution image of an object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170099985A KR20170099985A (ko) | 2017-09-01 |
| KR102461745B1 true KR102461745B1 (ko) | 2022-10-31 |
Family
ID=52423546
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177020566A KR102461745B1 (ko) | 2014-12-23 | 2015-12-23 | 물체의 초 해상도 이미지를 얻기 위한 이미징 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10527837B2 (ko) |
| EP (2) | EP3037861A1 (ko) |
| JP (1) | JP6706263B2 (ko) |
| KR (1) | KR102461745B1 (ko) |
| CN (1) | CN107209357B (ko) |
| WO (1) | WO2016102700A1 (ko) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2549298B (en) * | 2016-04-12 | 2022-02-02 | Univ I Tromsoe Norges Arktiske Univ | Super-resolution imaging |
| JP2019520596A (ja) * | 2016-06-21 | 2019-07-18 | イラミーナ インコーポレーテッド | 超解像顕微鏡法 |
| CN107015353B (zh) * | 2017-03-07 | 2019-12-13 | 中国科学院化学研究所 | 多色受激辐射耗尽超分辨成像装置、方法及光学显微镜 |
| CN107678154B (zh) * | 2017-10-25 | 2020-06-09 | 首都师范大学 | 一种超分辨率显微ct成像系统 |
| NL2020619B1 (en) | 2018-01-16 | 2019-07-25 | Illumina Inc | Dual optical grating slide structured illumination imaging |
| KR102085755B1 (ko) * | 2018-04-03 | 2020-03-06 | 재단법인대구경북과학기술원 | 시냅스 영상 촬영 장치 및 그의 구동 방법 |
| CN109633883B (zh) * | 2019-01-23 | 2021-01-01 | 浙江大学 | 一种大视场高分辨的荧光显微镜物镜 |
| CN110082898A (zh) * | 2019-04-24 | 2019-08-02 | 中国科学院自动化研究所 | 荧光显微镜镜头及荧光显微镜 |
| CN110187356B (zh) * | 2019-06-14 | 2021-07-09 | 中国科学技术大学 | 远距离超分辨单光子成像重构方法 |
| CN110596059B (zh) * | 2019-09-05 | 2024-05-28 | 北京世纪桑尼科技有限公司 | 光学超分辨显微成像系统 |
| CN110955039B (zh) * | 2019-11-15 | 2022-10-14 | 上海安翰医疗技术有限公司 | 相差显微成像系统及其成像方法 |
| CN118605000A (zh) * | 2019-11-25 | 2024-09-06 | 豪洛捷公司 | 数字成像系统及方法 |
| CN111474150B (zh) * | 2020-04-08 | 2022-03-22 | 华南师范大学 | 一种sted超分辨图像背景噪声差分抑制方法 |
| CN113155755B (zh) * | 2021-03-31 | 2022-05-24 | 中国科学院长春光学精密机械与物理研究所 | 微透镜阵列型成像光谱仪在线标定方法 |
| CN113534435B (zh) * | 2021-07-08 | 2024-03-26 | 南京泰立瑞信息科技有限公司 | 一种景深控制型超分辨率显微数字成像方法及系统 |
| CN113504635B (zh) * | 2021-07-08 | 2024-03-26 | 南京泰立瑞信息科技有限公司 | 一种透射式超分辨率显微数字成像方法及系统 |
| CN113450259A (zh) * | 2021-08-31 | 2021-09-28 | 深圳百胜扬工业电子商务平台发展有限公司 | 一种微图像观测处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004514920A (ja) | 2000-05-03 | 2004-05-20 | ダーク・ソーンクセン | 全自動迅速顕微鏡用スライドスキャナ |
| JP2010503847A (ja) | 2006-09-14 | 2010-02-04 | オックスフォード・ジーン・テクノロジー・アイピー・リミテッド | 単一分子を撮像する装置 |
| JP2013109119A (ja) | 2011-11-21 | 2013-06-06 | Nikon Corp | 顕微鏡制御装置およびプログラム |
| WO2013153294A1 (fr) | 2012-04-13 | 2013-10-17 | Bioaxial Sas | Procédé et dispositif de mesure optique |
| CN104122662A (zh) | 2014-08-15 | 2014-10-29 | 北京大学 | 一种超高密度超分辨光学闪烁显微成像系统及方法 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4209471B2 (ja) * | 1997-02-20 | 2009-01-14 | ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア | プラズモン共鳴粒子、方法、および装置 |
| US6813008B2 (en) * | 2002-06-10 | 2004-11-02 | Palantyr Research, Llc | Microdissection optical system |
| JP4236123B1 (ja) * | 2008-04-21 | 2009-03-11 | 株式会社林創研 | 三次元画像取得装置 |
| JP5310773B2 (ja) * | 2011-04-15 | 2013-10-09 | パナソニック株式会社 | 有機ｅｌディスプレイの製造方法 |
| JP6000554B2 (ja) * | 2012-01-24 | 2016-09-28 | オリンパス株式会社 | 顕微鏡システム |
| CN102928384A (zh) | 2012-10-24 | 2013-02-13 | 浙江大学 | 基于微波导的超分辨显微成像方法和装置 |
| CN103473751B (zh) * | 2013-08-14 | 2016-06-01 | 西安理工大学 | 基于多目标的cmos传感器细胞图像超分辨率重构方法 |
-
2014
- 2014-12-23 EP EP14307179.3A patent/EP3037861A1/en not_active Withdrawn
-
2015
- 2015-12-23 CN CN201580074902.2A patent/CN107209357B/zh active Active
- 2015-12-23 KR KR1020177020566A patent/KR102461745B1/ko active IP Right Grant
- 2015-12-23 JP JP2017533815A patent/JP6706263B2/ja active Active
- 2015-12-23 WO PCT/EP2015/081220 patent/WO2016102700A1/en active Application Filing
- 2015-12-23 US US15/539,457 patent/US10527837B2/en active Active
- 2015-12-23 EP EP15820861.1A patent/EP3237948B1/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004514920A (ja) | 2000-05-03 | 2004-05-20 | ダーク・ソーンクセン | 全自動迅速顕微鏡用スライドスキャナ |
| JP2010503847A (ja) | 2006-09-14 | 2010-02-04 | オックスフォード・ジーン・テクノロジー・アイピー・リミテッド | 単一分子を撮像する装置 |
| JP2013109119A (ja) | 2011-11-21 | 2013-06-06 | Nikon Corp | 顕微鏡制御装置およびプログラム |
| WO2013153294A1 (fr) | 2012-04-13 | 2013-10-17 | Bioaxial Sas | Procédé et dispositif de mesure optique |
| CN104122662A (zh) | 2014-08-15 | 2014-10-29 | 北京大学 | 一种超高密度超分辨光学闪烁显微成像系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2016102700A1 (en) | 2016-06-30 |
| EP3037861A1 (en) | 2016-06-29 |
| KR20170099985A (ko) | 2017-09-01 |
| JP2018502325A (ja) | 2018-01-25 |
| JP6706263B2 (ja) | 2020-06-03 |
| US10527837B2 (en) | 2020-01-07 |
| US20170351080A1 (en) | 2017-12-07 |
| EP3237948B1 (en) | 2023-07-12 |
| CN107209357B (zh) | 2020-01-21 |
| EP3237948A1 (en) | 2017-11-01 |
| CN107209357A (zh) | 2017-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102461745B1 (ko) | 물체의 초 해상도 이미지를 얻기 위한 이미징 방법 및 시스템 | |
| JP5656920B2 (ja) | 蛍光ナノスコピー方法 | |
| US5900949A (en) | CCD imager for confocal scanning microscopy | |
| JP6596001B2 (ja) | 多焦点多光子イメージングシステム及び方法 | |
| JP5746161B2 (ja) | 顕微鏡画像における蛍光の評価方法 | |
| JP2018517171A (ja) | 共焦点レーザ走査顕微鏡を使用した蛍光走査顕微鏡法の信号の評価 | |
| WO2015164844A1 (en) | Super resolution microscopy | |
| US10247930B2 (en) | Resolution enhancement for line scanning excitation microscopy systems and methods | |
| US20110043619A1 (en) | Resolution-Enhanced Luminescence Microscopy | |
| US11449964B2 (en) | Image reconstruction method, device and microscopic imaging device | |
| US10649188B2 (en) | High-resolution spectrally selective scanning microscopy of a sample | |
| CN111413791B (zh) | 高分辨率扫描显微术 | |
| CA2978123A1 (en) | Real time multichannel sted microscopy system | |
| US20240205546A1 (en) | Impulse rescan system | |
| US10776955B2 (en) | Method for the analysis of spatial and temporal information of samples by means of optical microscopy | |
| US20210003834A1 (en) | Method and apparatus for optical confocal imaging, using a programmable array microscope | |
| CN107850766B (zh) | 用于光学显微镜中的图像处理的系统和方法 | |
| EP3273285A1 (en) | Optical system for high-speed three-dimensional imaging | |
| JP2010271522A (ja) | 非線形光学顕微鏡 | |
| JP2006275964A (ja) | 走査型蛍光顕微鏡のシェーディング補正方法 | |
| US20230221541A1 (en) | Systems and methods for multiview super-resolution microscopy | |
| US20240418652A1 (en) | Volumetric Imaging | |
| Zunino et al. | Extending the Three-Dimensional Resolution with Focus-ISM | |
| Koschan et al. | Improving 3D Reconstruction from STEM Data | |
| Qu et al. | A novel field of view zoom scanning protocol for simultaneous time-and spectrum-resolved multifocal multiphoton microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20170721 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20201123 Comment text: Request for Examination of Application |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220817 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20221027 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20221027 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |